Expectation-Maximization (EM) Algorithm 介紹

演算法，用來計算混合模型(Mixture Model)下的 Maximum Likelyhood 估計。

混合模型(Mixture Model):
觀察到的資料點(Data Point) 來自於兩個分配(Distribution), 哪些資料點是屬於那個分配呢？

Youtube 影片介紹
EM Algorithm: How it works (1) by Victor Lavrenco
EM Algorithm: How it words (2) by Victor Lavrenco

心得整理 - 文字探勘者的入門心法.

文字探勘(Text mining) 是由人類文字中找出知識的研究。其過程，先對需進行文字處理，將人類自然語言文字和機器文字(如 HTML 標籤)分離。之後，在應用 Data Mining 的技術，找出文字間的關係或者分群等，以找出文字背後所代表的群眾知識[1]。


一、研究範疇

文字探勘的研究主題可依人類產生文字的過程進行區分。文字是人類對於客觀世界現象的主觀描述。在文字探勘的第一個主題是找出自然語言的知識，內容包括：

• 自然語言處理(Natural Language Processing): 將人類自然語言轉化為電腦更易於處理的形式，如詞性分析、句法分析、語義分析等。
• Text Representation: 利用數字表示沒有結構化的文字，以利後續數學處理。
• 文字關聯及探勘(Word association and  Mining): 找出具有相同用途的文字，也稱為 Paradigmatic Analysis；或者找出文字間不同的組合的方式，也稱為 Syntagmatic Analysis。
•  Topic Mining: 在了解字與字之間的關係後，找出主觀描述者在討論的話題(Topic)。
•  Concept Mining: 試著找出文字中的抽象想象(abstract idea)或稱概念，此概念是大家都知道的概念，雖然所有的字彙不同，但描述的都是相同的概念。如自然語言中的同義字或者片語，be completely dead = be as dead as doornail。

文字探勘的第二個主題是找出主觀描述者背後的知識，試著分析出描述者的主觀意見(Opinions)。 這個主題稱為 Opinion Mining, 從文字中分析主觀描述者的意見或情緒, 如 positive/negative, happy/sad 等.

第三個主題是從主觀描述者所提供的文字, 分析出主觀描述者所處客觀環境中發生的情境資料, 如地點、事件、描述者的人際網絡等, 此主題稱之為 Contextual Text Mining。


二、方法整理