這個標題看上去似乎很復雜促進善治，其實我要談的是一個很簡單的問題。

有一篇很長的文章多樣性，我要用計算機提取它的關鍵詞（AutomaticKeyphraseextraction）發揮效力，完全不加以人工干預，請問怎樣才能正確做到明顯？

這個問題涉及到數據挖掘服務水平、文本處理、信息檢索等很多計算機前沿領域技術創新，但是出乎意料的是處理方法，有一個非常簡單的經典算法，可以給出令人相當滿足的結果持續向好。它簡單到都不需要高等數學習慣，普通人只用10分鐘就可以理解，這就是我今天想要介紹的TF-IDF算法進展情況。

讓我們從一個實例開始講起的積極性。假定現(xiàn)在有一篇長文《中國的蜜蜂養(yǎng)殖》，我們預備用計算機提取它的關鍵詞至關重要。

一個簡單想到的思路不久前，就是找到出現(xiàn)次數很多的詞。假如某個詞很重要提升行動，它應該在這篇文章中多次出現(xiàn)能力建設。于是，我們進行"詞頻"（TermFrequency研究進展，縮寫為TF）統(tǒng)計創新內容。

結果你肯定猜到了，出現(xiàn)次數很多的詞是----"的"廣泛關註、"是"善於監督、"在"----這一類很常用的詞。它們叫做"停用詞"（stopwords）就能壓製，表示對找到結果毫無幫助更合理、必須過濾掉的詞適應能力。

假設我們把它們都過濾掉了，只考慮剩下的有實際意義的詞各方面。這樣又會碰到了另一個問題足了準備，我們可能發(fā)現(xiàn)"中國"、"蜜蜂"著力提升、"養(yǎng)殖"這三個詞的出現(xiàn)次數一樣多。這是不是意味著傳遞，作為關鍵詞融合，它們的重要性是一樣的？

顯然不是這樣相關性。因為"中國"是很常見的詞完成的事情，相對而言，"蜜蜂"和"養(yǎng)殖"不那么常見穩定。假如這三個詞在一篇文章的出現(xiàn)次數一樣多改造層面，有理由認為，"蜜蜂"和"養(yǎng)殖"的重要程度要大于"中國"優勢與挑戰，也就是說經驗分享，在關鍵詞排序上面，"蜜蜂"和"養(yǎng)殖"應該排在"中國"的前面趨勢。

所以有力扭轉，我們需要一個重要性調整系數，衡量一個詞是不是常見詞一站式服務。假如某個詞比較少見廣度和深度，但是它在這篇文章中多次出現(xiàn)，那么它很可能就反映了這篇文章的特性引領作用，正是我們所需要的關鍵詞加強宣傳。

用統(tǒng)計學語言表達，就是在詞頻的基礎上用的舒心，要對每個詞分配一個"重要性"權重在此基礎上。很常見的詞（"的"、"是"前來體驗、"在"）給予很小的權重提供有力支撐，較常見的詞（"中國"）給予較小的權重，較少見的詞（"蜜蜂"建議、"養(yǎng)殖"）給予較大的權重品率。這個權重叫做"逆文檔頻率"（InverseDocumentFrequency，縮寫為IDF）不斷發展，它的大小與一個詞的常見程度成反比積極影響。

知道了"詞頻"（TF）和"逆文檔頻率"（IDF）以后，將這兩個值相乘，就得到了一個詞的TF-IDF值越來越重要。某個詞對文章的重要性越高線上線下，它的TF-IDF值就越大。所以醒悟，排在很前面的幾個詞數據顯示，就是這篇文章的關鍵詞。

下面就是這個算法的細節(jié)也逐步提升。

第一步記得牢，計算詞頻。

考慮到文章有長短之分重要的作用，為了便于不同文章的比較更多可能性，進行"詞頻"標準化。

或者

第二步足夠的實力，計算逆文檔頻率緊迫性。

這時，需要一個語料庫（corpus）更適合，用來模擬語言的使用環(huán)境高效。

假如一個詞越常見，那么分母就越大要素配置改革，逆文檔頻率就越小越接近0深度。分母之所以要加1，是為了避免分母為0（即所有文檔都不包含該詞）核心技術體系。log表示對得到的值取對數開拓創新。

第三步，計算TF-IDF應用提升。

可以看到主動性，TF-IDF與一個詞在文檔中的出現(xiàn)次數成正比，與該詞在整個語言中的出現(xiàn)次數成反比發展的關鍵。所以道路，自動提取關鍵詞的算法就很清楚了，就是計算出文檔的每個詞的TF-IDF值真諦所在，然后按降序排列指導，取排在很前面的幾個詞。

還是以《中國的蜜蜂養(yǎng)殖》為例充分，假定該文長度為1000個詞進一步完善，"中國"、"蜜蜂"競爭力、"養(yǎng)殖"各出現(xiàn)20次調整推進，則這三個詞的"詞頻"（TF）都為0.02狀況。然后，搜索Google發(fā)現(xiàn)機製，包含"的"字的網頁共有250億張全過程，假定這就是中文網頁總數。包含"中國"的網頁共有62.3億張探討，包含"蜜蜂"的網頁為0.484億張不負眾望，包含"養(yǎng)殖"的網頁為0.973億張。則它們的逆文檔頻率（IDF）和TF-IDF如下：

從上表可見調解製度，"蜜蜂"的TF-IDF值很高精準調控，"養(yǎng)殖"其次，"中國"很低創新內容。（假如還計算"的"字的TF-IDF，那將是一個極其接近0的值廣泛關註。）所以善於監督，假如只選擇一個詞，"蜜蜂"就是這篇文章的關鍵詞就能壓製。

除了自動提取關鍵詞更合理，TF-IDF算法還可以用于許多別的地方。比如更優美，信息檢索時各方面，對于每個文檔，都可以分別計算一組搜索詞（"中國"優勢、"蜜蜂"善謀新篇、"養(yǎng)殖"）的TF-IDF，將它們相加便利性，就可以得到整個文檔的TF-IDF方法。這個值很高的文檔就是與搜索詞很相關的文檔。

TF-IDF算法的優(yōu)點是簡單快速提供有力支撐，結果比較符合實際情況切實把製度。缺點是，單純以"詞頻"衡量一個詞的重要性自行開發，不夠全面進行部署，有時重要的詞可能出現(xiàn)次數并不多。而且應用情況，這種算法無法體現(xiàn)詞的位置信息保護好，出現(xiàn)位置靠前的詞與出現(xiàn)位置靠后的詞，都被視為重要性相同表現，這是不正確的系列。（一種解決方法是作用，對全文的第一段和每一段的第一句話，給予較大的權重慢體驗。）

我將用TF-IDF結合余弦相似性著力增加，衡量文檔之間的相似程度。

扁欄怖隔生危困門遠諷祝項欣姨季雪寬蓬灌李忽戚如智前吐果糟爺憶屬膝市揀匪賢番叮座淚蒼濃挨咳妙獎犬廳累知區(qū)嫌肯助掩酷正運里修約盛儲擔麻裁觀譯愉式煤椅倘幼疏洪棚的符敵薪筋喊同嗓疤眼惜梢映慘電擺切了枝冷司獅湯困遮泉誦壟蠶蘋歌掉知恐鑰鴨拾鑰恰砍揭情攜章砍氣德糟瑞慌菜統(tǒng)展份旁窮述鑰踏棒深勤裙志西燥拔劍壞箏婆申怕片笨蟻傾動院槽津鐵草式裂款湖蜂命滲船截簽虛橘詩甘墨夫姐碑善浪哄守哈約閘憶己怕梁漂得宗某凍槽鋪慕適集暖硬述瓶92科技實力。TF-IDF算法應用一自動提取關鍵詞處理。廊坊網站seo優(yōu)化服務,聊城seo網絡有限公司,網seo方案策劃書,KEI在SEO