大規(guī)模網(wǎng)絡(luò)環(huán)境和大數(shù)據(jù)相關(guān)技術(shù)的發(fā)展對傳統(tǒng)數(shù)據(jù)融合分析技術(shù)提出了新的挑戰(zhàn)。針對目前多源數(shù)據(jù)融合分析過程靈活性差，處理效率低的問題，提出了一種基于相似連接的多源數(shù)據(jù)并行預(yù)處理方法，該方法采用了分治和并行的思想。首先，通過對多源數(shù)據(jù)中的相似語義進(jìn)行統(tǒng)一，對個(gè)性語義進(jìn)行保留的預(yù)處理方法提高了靈活性;其次，提出了一種改進(jìn)的并行MapReduce框架，提高了相似連接的效率。實(shí)驗(yàn)結(jié)果表明，所提方法在保證數(shù)據(jù)完整性的基礎(chǔ)上，使總的數(shù)據(jù)量減小了32%.與傳統(tǒng)的MapReduce框架相比，改進(jìn)后的框架在耗費(fèi)時(shí)間方面減小了43. 91%，因此該方法可以有效提高多源數(shù)據(jù)融合分析的效率.

　　多源數(shù)據(jù)的預(yù)處理過程是網(wǎng)絡(luò)環(huán)境進(jìn)行安全分析的重要環(huán)節(jié)，根據(jù)實(shí)際的應(yīng)用采取相應(yīng)的具體措施山。一般性地，包括數(shù)據(jù)清理、數(shù)據(jù)格式轉(zhuǎn)換、數(shù)椐簡約等過程。其中數(shù)據(jù)清洗作為一個(gè)重要的環(huán)節(jié)，通過按照一定規(guī)則篩選數(shù)據(jù)，去除數(shù)據(jù)中的冗余部分。好的數(shù)據(jù)清洗方法不僅能夠降低系統(tǒng)處理數(shù)據(jù)所需的時(shí)間，并且能夠提高數(shù)據(jù)分析結(jié)果的準(zhǔn)確度。為了對數(shù)據(jù)源進(jìn)行靈活的數(shù)據(jù)清洗，盡量保留數(shù)據(jù)源的個(gè)性屬性，本文采用基于相似連接的數(shù)據(jù)清洗方法。相似連接在相似對象匹配問題中得到廣泛應(yīng)用，如互聯(lián)網(wǎng)、數(shù)據(jù)分析、數(shù)據(jù)庫等，匹配對象也日益多樣，如串、圖、字符串和集合等。為了適應(yīng)各種各樣的場景和對象，相似連接相關(guān)算法也得到了優(yōu)化和改進(jìn)。無論是基于單行串行數(shù)據(jù)還是集合數(shù)據(jù)，或是基于樹結(jié)構(gòu)還是圖結(jié)構(gòu)，優(yōu)化和改進(jìn)的方案主要以提高效率和靈活性或伸縮性為主。為了解決單行申行的相似連接候選集過多的問題，等提出了一種基于劃分的傳遞性的相似連接，該方法在相似匹配過程中利用傳遞性沒有使用全部子串，從而減少了匹配的候選集數(shù)目，提升了匹配的效率。為了提升算法的靈活性與伸縮性，Wang等提出了種快速相似連接算法，該算法既考慮到了相似的準(zhǔn)確度，又考慮到了相似連接屬性的模糊度，可以進(jìn)行靈活的篩選;然而隨著大數(shù)據(jù)與云計(jì)算等的出現(xiàn)，由于數(shù)據(jù)量的龐大導(dǎo)致算法效率低，這也是相似連接算法面臨的難題之一。