文字探勘的快思慢想與遐想_Text Mining_Text Analytics_TF-IDF

 

Social Media Insights
Social Media Insights

文字探勘(text mining)是大數據領域的文本分析(text analytics),用來處理這世間最大量的非結構化資料–文字。您可以想像:我們每天不斷透過網路接觸到大量的文字、圖片、影音…Facebook的近況更新、留言、Twitter的推文、轉推,文字不像數字,它多半是自然語言,是非結構化、沒有固定欄位的。處理如此巨量的文字資料,首先必須考慮,我們如何把文字【量化】?接著,量化文字以後,又該如何將數字變得有意義?

如果要我試著用比較生動的方式來形容文字探勘,就是把文字抓進【表格】裡面,有如Excel的欄列表格,再去計算特定的文字出現在單篇文章的頻率(term frequency, TF),以及在所有的文章中,有幾篇文章提及這些特定的文字(inverse document frequency, IDF)。如果想進一步了解運用Python進行文本分析,可參考Mark Chang這篇自然語言的文章,淺顯易懂又有範例。

因此,爬文很重要:先觀察網頁結構(有些網頁資料還不讓人抓~XD),再使用自製或應用程式的【爬蟲】(crawler)捕捉文本。當然,網路文本大多數是複雜且凌亂的,特別是文字,爬下來的文本還必須經過清整才能使用,除了過濾【贅字】以外,將文本轉換到符合自然語言的結構,例如【中文斷詞系統】,就是透過它使得文本合乎日常使用的形式。目前各方積極大量且廣泛的進行語料庫建立,連ptt鄉民常用語彙也視為重要的語料之一,文字探勘功能強大與否,乃直接影響大數據分析成敗的關鍵因素,可見一斑。

NodeXL也有內建的「文字探勘」功能,可針對貼文與網友留言的文字或圖形,擷取至資料欄位,並可進一步統計「字詞」(words)、「成對字詞(字詞對)」(word pairs)在欄位中出現(共現)的次數,以及「字詞特徵值」(Salience)的計算。「字詞特徵值」是「詞頻-逆向文件頻率」(term frequency-inverse document frequency, TF-IDF)統計的改進形式,主要用來測量字或詞,在整個文本列當中的重要性,值的大小與字詞在文本列當中的重要性成正比。計算公式如下:

字詞特徵值=〔(出現次數)÷(文本列去除雜字後總字詞數)〕× Log10〔(文本列非空格格數)÷(字詞顯示格數)〕

此外,「相互訊息值」(Mutual Information)是文字探勘另一個重點,它在於衡量一個字詞對的互相依賴和關聯性;也就是說:某些字比較容易一起出現,當這些字一起出現時,可能帶有某種訊息。此處所說的關聯性,與統計上的相關係數不一樣,相互訊息值在於衡量x和y彼此【共享訊息的程度】;例如,若計算出x和 y相互獨立(值為0),則可推得x對y不提供任何訊息,反之亦然。NodeXL內建字詞對的相互訊息值計算公式如下:

相互訊息值 = Log10{ P(x,y) / 〔 P(x,*) × P(*,y) 〕 }

P(x,y)=某字詞對出現的機率=(某字詞對的次數)/(總字詞對次數)。

P(x,*)=共享某字詞對第一個字的字詞對次數。

P(*,y)=共享某字詞對第二個字的字詞對次數。

就方法論的層面,把文字量化,並非大數據領域所獨有,至少,廣為社會科學界應用的量化【內容分析法】(Content Analysis),在還沒有電腦輔助之前,就是以人工(評分員)的方式執行文本的統計(請參閱陳世榮【社會科學中的文字探勘應用】)。其他如【書目計量學】,透過共現分析(co-occurrence analysis),亦可了解文獻在共同引用、共同作者、作者共引、期刊共引等數值與關係(請參閱陳良駒等人【以特徵詞共現特性探討知識管理研究議題相關性】)。

但是,【文本多義性】告訴我們,意義的產生沒那麼簡單,可以是基於歷史、文化、語境的因素,也可能涉及字詞前後連結的關係,甚至相同的文本,每個人的解讀不見得都一樣。關於【意義】的探討,「質化」或「量化」方法各有擅場,流於誰比較好之爭,沒甚麼實質意義。眼下,大數據的宗旨與核心概念,在於【快思慢想】。當我們看報時,應該很少人從左上角第一個字開始讀到右下角最後一個字,很可能是目光把標題掃過一遍,有興趣的才會細看,相信大家滑手機看新聞也是這樣,如果有懶人包、一張圖讓你了解xxx,才會繼續點閱。很明顯地,網路時代的大量數位文本訊息,成就了大數據分析的先天條件;然而,在快速有效率的文字探勘過程中,除了【快思】:大量的蒐集文本、找出關鍵字詞;那麼,後續的【慢想】呢?

或許,荷蘭語言學家van Dijk的批判論述分析(Critical Discourse Analysis,請參閱倪炎元【初探論述分析與傳播研究】)當中「鉅觀結構分析」(Macro-structure Analysis)的概念,可為這【慢想】帶來些啟示。 van Dijk的文本分析策略,所要嘗試處理的問題,就是如何從文本當中,識讀隱藏在其中的意識形態(請參閱倪炎元【從語言中搜尋意識形態】)。van Dijk提出的「鉅觀結構法則」(Macro-rules)建構了一種文本階層關係,亦即:「鉅觀結構」(Macro-structure)是由一系列的「鉅觀命題」(Macro-propositions propositions)所組成;而「鉅觀命題」則由「命題」(Propositions)所組成,這些「命題」是由一大段落的語句所融匯而成的語義命題。van Dijk亦認為,這些命題也可能同時包含了文本所沒有明示出現的「隱喻世界」(請參閱van Dijk, T. A. (1988). News as discourse. Hillsdale, NJ: Erlbaum.)。van Dijk的「鉅觀結構法則」示意圖如下:

van dijk_Macro-rules

P:命題(Proposition),M:鉅觀命題(Marcoproposition)。

最後,除了遐想,我還進一步幻想:我們能不能試著結合van Dijk的鉅觀結構法則,設計成一套輔助我們理解、詮釋的應用程式;至於歷史、文化、社會、語境等層面的問題,也要思考一下有無開發外掛的可能?XD

廣告

對「文字探勘的快思慢想與遐想_Text Mining_Text Analytics_TF-IDF」的想法

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com 標誌

您的留言將使用 WordPress.com 帳號。 登出 /  變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 /  變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 /  變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 /  變更 )

連結到 %s