TF-IDF算法的改進及在語義檢索中應(yīng)用
針對傳統(tǒng)的TF-IDF算法、K-means算法、自適應(yīng)遺傳算法在網(wǎng)絡(luò)檢索結(jié)果中含有大量不相關(guān)數(shù)據(jù)、語義檢索準確性不高的問題,研究了TF-IDF算法的改進及其在語義檢索中的應(yīng)用。將正則表達式和語義分析技術(shù)相結(jié)合,從而實現(xiàn)對TF-IDF算法的改進。利用語義庫對搜索主題進行描述,根據(jù)正則原予語義的重要性和在網(wǎng)頁標簽中的不同位置進行加權(quán)計算,得到正則原子在文檔中的相似度。通過空間向量模型對文檔相似度和主題模型進行余弦運算,從而獲取最終的搜索結(jié)果。最后,將改進的TF-IDF算法、傳統(tǒng)的TF-IDF算法、K-means算法和自適應(yīng)遺傳算法運用于聚焦主題網(wǎng)絡(luò)爬蟲中,對其檢索結(jié)果進行了對比分析。計算結(jié)果表明,在聚焦主題網(wǎng)絡(luò)爬蟲語義分析的垂直搜索中,改進TF-IDF算法的相似度準確率比傳統(tǒng)的TF-IDF算法檢索準確率提高了17.1個百分點,遺漏率降低了7.76個百分點;比K-means算法檢索準確率提高6個百分點;比自適應(yīng)遺傳算法檢索準確率提高了8.1個百分點??傊?,改進的TF-IDF算法可以有效地提高文檔相似度檢測的準確率,很好地改善聚焦主題網(wǎng)絡(luò)爬蟲在語義分析中的缺陷。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%