- 相關(guān)推薦
基于SVM的重復(fù)網(wǎng)頁檢測算法分析論文
引言
隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)上的文本信息越來越容易復(fù)制，由此產(chǎn)生了大量的重復(fù)網(wǎng)頁和鏡像文檔，這一方面增加了網(wǎng)絡(luò)爬蟲的負擔(dān)，另一方面降低了用戶體驗。因此，越來越多的學(xué)者關(guān)注重復(fù)網(wǎng)頁檢測這一領(lǐng)域。
對于重復(fù)網(wǎng)頁可以定義為內(nèi)容完全重復(fù)和近似重復(fù)，對于完全重復(fù)的網(wǎng)頁可以計算其MD5值，通過比較網(wǎng)頁問MD5值是否相等即可作出判斷。因此，本文只討論近似重復(fù)網(wǎng)頁的檢測。大量重復(fù)網(wǎng)頁的產(chǎn)生基本上是通過用戶轉(zhuǎn)載，如一些新聞文章、熱門事件及經(jīng)典文章等，也就是說一般重復(fù)網(wǎng)頁改動比較小，如加入引文信息、插入廣告導(dǎo)航等。
本文把相似網(wǎng)頁的比較轉(zhuǎn)換成二元分類問題，即兩張網(wǎng)頁相似標記為+1(相似)，否則標記為-1(小相似)。SVM(Support Vector Machine)算法在文本分類中取得了較好的效果。因此，本文采用SVM算法對每對網(wǎng)頁分類，通過訓(xùn)練數(shù)據(jù)的學(xué)習(xí)得到分類判別函數(shù)，由判別函數(shù)對新的數(shù)據(jù)進行計算。
1相關(guān)研究
目前，對重復(fù)網(wǎng)頁檢測問題已經(jīng)提出了很多解決方案:有基于字符串比較的方法，即按小同粒度提取指紋，有基于詞頻統(tǒng)計的方法，還有基于聚類的方法等。
Border提出將文本中連續(xù)的n個term序列作為文本的一個特征，稱之為二shingleo M-Theobald等人提出的SpotSig算法，以停用詞作為先行詞，提取其后的k個詞形成一個個特征，使用Jaccard計算相似度。
哈工大張剛等人把句號作為一個提取位置，分別在句號兩邊L/2長的詞串構(gòu)成網(wǎng)頁的一個特征。清華大學(xué)吳平博等人提取每個句子中首尾字符作為特征串。彭淵等人提出將兩篇文檔的最長公共子序列(LCS)作為特征碼。
2算法實現(xiàn)過程
2. 1特征碼提取
網(wǎng)頁通常由以下幾部分組成:標題、正文內(nèi)容、鏈接和廣告等。正文是原始網(wǎng)頁中真正描述主題的部分。本文采用通用網(wǎng)頁正文抽取算法州提取網(wǎng)頁的正文內(nèi)容，網(wǎng)頁中其余部分當作噪音過濾掉。
從長段落中提取特征碼，可以減少一些次要特征，使計算更簡潔。長段落定義:段落的長度要大于設(shè)定的閾值或以句號、問號、感嘆號分割得到的句子數(shù)大于設(shè)定的閾值。
提取出長段落后，以逗號、句號、感嘆號和問號分割得到每個句子，提取每個句子首尾各L/2個字作為特征碼;把各個特征碼按序組成特征串，該特征串代表了該篇文檔。
2. 2相似度計算
在比較特征串差異性的基礎(chǔ)上得到網(wǎng)頁的相似度。目前，比較文本之問差異算法主要有兩大類:一類是基于最短編輯距離算法;一類是基于最長公共子串算法。最短編輯距離算法是以字符串八變成另一個字符串B的過程中，通過插入字符、刪除字符、替換字符等操作的次數(shù)表示兩個字符串的差異，數(shù)值越小字符串的差異越小算法表示字符串八和字符串B的最長公共子串長度，數(shù)值越大字符串的差異越小。
通用的做法是根據(jù)以上計算出的相似度數(shù)值，作一些規(guī)范化處理后與閾值比較。但是在現(xiàn)實中閾值的設(shè)定往往是依靠經(jīng)驗來設(shè)置的，因此很難設(shè)定準確，這樣就有誤差。本文采用了監(jiān)督學(xué)習(xí)算法，通過學(xué)習(xí)得到的判別函數(shù)來判斷文檔是否相似，避免了人為設(shè)定閾值帶來的風(fēng)險。
2. 3支持向量機(SVM )
2. 3. 1 SVM簡介
支持向量機是一種二元分類模型，它的基本模型是定義在特征空間上的問隔最大的線性分類器。在重復(fù)網(wǎng)頁檢測應(yīng)用中，我們把每對網(wǎng)頁中計算出的特征定義如過程中，通過插入字符、刪除字符、替換字符等操作的次數(shù)表示兩個字符串的差異，數(shù)值越小字符串的差異越小算法表示字符串八和字符串B的最長公共子串長度，數(shù)值越大字符串的差異越小。
通用的做法是根據(jù)以上計算出的相似度數(shù)值，作一些規(guī)范化處理后與閾值比較。但是在現(xiàn)實中閾值的設(shè)定往往是依靠經(jīng)驗來設(shè)置的，因此很難設(shè)定準確，這樣就有誤差。本文采用了監(jiān)督學(xué)習(xí)算法，通過學(xué)習(xí)得到的判別函數(shù)來判斷文檔是否相似，避免了人為設(shè)定閾值帶來的風(fēng)險。
2. 3. 2操作流程
SVM在重復(fù)網(wǎng)頁檢測應(yīng)用中的大致流程，主要分為訓(xùn)練階段和測試階段。訓(xùn)練階段主要從預(yù)先給定的數(shù)據(jù)集中學(xué)習(xí)并建立分類器，得到判別函數(shù)。因此，訓(xùn)練數(shù)據(jù)的好壞對于分類器的性能至關(guān)重要。測試階段用來分類未知結(jié)果的數(shù)據(jù)集，可以判斷出文檔集中與輸入文檔重復(fù)的文檔，即把文檔集中每個文檔與輸入的文檔使用判別函數(shù)計算
2. 4算法描述
本文算法大致分為3大步:提取特征串、衡量指標和構(gòu)造分類器。
3結(jié)語
本文提出一種使用機器學(xué)習(xí)的方法檢測網(wǎng)頁是否重復(fù)，通過訓(xùn)練數(shù)據(jù)構(gòu)造SVM分類器。提取網(wǎng)頁特征串，計算兩個特征串的相似度，使用SVM判別函數(shù)計算。實驗表明:加入兩個網(wǎng)頁間的長度差異值能提高算法的準確率和查全率。
【基于SVM的重復(fù)網(wǎng)頁檢測算法分析論文】相關(guān)文章：
畢業(yè)格式修改論文重復(fù)率改10-26
本科論文查重檢測-查重論文檢測本科10-26
基于SWOT分析的泰安市旅游資源分析10-26
案例分析論文11-07
基于檔案的社會作用管理論文10-13
職稱論文檢測系統(tǒng)10-26
基于霍爾傳感器的機油壓力檢測裝置10-26