那一年，菊花還只是菊花，2B還是考試時(shí)涂卡使用的鉛筆，黃瓜只有蔬菜的功能，信息檢索技術(shù)(Information Retrieval)還只是簡單的使用在圖書館、資料庫等處。
也正是在那一年，信息檢索的相關(guān)排序技術(shù)很風(fēng)靡的是TF-IDF。
或許此刻你會(huì)十分想問，啥是TF-IDF?嗯，不捉急，在找尋這個(gè)問題的答案之前，先來看一個(gè)問題。
在一堆書籍里面，你想找尋和OOXX主題相關(guān)的資料(不要想歪)，你用什么標(biāo)準(zhǔn)來判定這堆書籍里面的A比B更符合你的主題呢?
思考一分鐘。
你或許會(huì)說，看一下這些書籍的名字，看看哪些書名里面包含我要找的主題的相關(guān)信息，然后再在剩下的這部分書籍中概覽一下內(nèi)容，看看哪個(gè)更符合我想要的。
想法很好。
人是這么想的，信息檢索系統(tǒng)也得這么干才能給出我們最想要的結(jié)果，但是一個(gè)問題又暴露了出來——程序看不懂文字無法判定。
來，再給你一分鐘時(shí)間，想想怎么幫程序解決這一問題。
嗯，你發(fā)現(xiàn)了，你想查詢的主題中所包含的詞匯跟這堆書籍中的某個(gè)子集內(nèi)容中的詞匯是有交集的。
對(duì)，用上次在搜索引擎原理簡介的文章中我們談到的基于詞典的分詞技術(shù)，來找尋交集。
先來給定一個(gè)詞典，它是N個(gè)詞的集合。
∑={t1，t2，…，tn}
而對(duì)于你搜索的條件q和這堆書籍中的某一本d，則可以根據(jù)這個(gè)詞典表示為：
q={q1，q2，…，qn}
d={d1，d2，…，dn}
其中q1為t1這個(gè)詞匯在你的搜索條件q中出現(xiàn)的次數(shù)，q2為t2這個(gè)詞匯在搜索條件q中出現(xiàn)的次數(shù)，依次類推。如果qn為零，則表示第n個(gè)詞在q中沒有出現(xiàn)。
設(shè)定w1=d1/∑dn，則w1即為詞匯t1在d中出現(xiàn)的頻率，此刻d即可表示為：
d=，wi(i=1,2,3，…，n)即為詞頻(term frequency)。
對(duì)于一些質(zhì)量很高的信息(書籍、文獻(xiàn)等)，詞頻是一個(gè)很好的，可以通過程序語言實(shí)現(xiàn)的，表達(dá)詞匯在文檔中所占權(quán)重的方式。
嗯?疑問出來了，一些詞比如“我們”、“大家”等這種詞匯也肯定會(huì)在多篇文章中出現(xiàn)，但是用此來衡量的話顯然上面下的結(jié)論是不成立的啊。
恭喜你想到了這一步，此種詞匯對(duì)于文檔內(nèi)容的辨別來說，實(shí)在木有太大的意義。
來，找特征，去掉這種詞匯的影響。
啊，這些詞匯會(huì)在多個(gè)文章中同時(shí)出現(xiàn)。
用ki(i=1,2,3，…，n)來表示ti這個(gè)詞匯在書籍的集合D中所涉及的書籍次數(shù)，M表示書籍D的大小，則ki/M的值即可以說明一些問題，我們定義這個(gè)值為ti的文檔頻率(document frequency)。
顯然，文檔頻率越高，這個(gè)詞的權(quán)重就應(yīng)該越低。
為了便于計(jì)算，常用的會(huì)是與文檔頻率成反比的一個(gè)量，我們稱之為倒置文檔頻率(inverse document frequency)，定義為：
IDFi=lg(M/ki)
這樣以來，wi就變成了(哥從網(wǎng)上找了一個(gè)公式)
給定某種權(quán)重的定量設(shè)計(jì)，求文檔和查詢的相關(guān)性就變成了求d和q向量的某種距離，最常用的是余弦(cos)距離(這句話果斷不懂，完全復(fù)制來的)。
雖然說上面的這個(gè)算法在理論上看起來比較垃圾(不考慮文章的意思，將文章看成詞的集合)，但是從實(shí)踐下來看，其價(jià)值還是得到了普遍的認(rèn)可(尤其是對(duì)于上述提到的圖書檢索來說)。
當(dāng)然，對(duì)于目前web上這些個(gè)魚龍混雜的網(wǎng)頁，僅僅依靠td-idf是不夠的(很容易造成一大堆關(guān)鍵詞堆砌的網(wǎng)頁獲得好的排名)，這也促成了基于鏈接關(guān)系等一系列算法的誕生。
原文地址：
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
