為解決冪迭代聚類算法并行實(shí)現(xiàn)中存在的編程繁瑣、效率低下等問題，基于Spark大規(guī)模數(shù)據(jù)通用計(jì)算引擎及其GraphX組件，提出了一種在分布式環(huán)境下實(shí)現(xiàn)冪迭代聚類的方法。首先，利用某種相似性度量方法，將原始數(shù)據(jù)轉(zhuǎn)換成一個(gè)可以視為圖的親和矩陣；然后，通過頂點(diǎn)切割，把行歸一化后的親和矩陣切分成若干個(gè)小圖，分別存儲(chǔ)在不同的機(jī)器上；最后，利用Spark基于內(nèi)存計(jì)算的特點(diǎn)，對(duì)存儲(chǔ)在集群中的圖進(jìn)行多次迭代計(jì)算，得到這個(gè)圖的一個(gè)切割，圖的每一個(gè)劃分子圖對(duì)應(yīng)一個(gè)類簇。在不同規(guī)模的數(shù)據(jù)集和不同executor個(gè)數(shù)下進(jìn)行的實(shí)驗(yàn)結(jié)果表明，基于GraphX的分布式冪迭代聚類算法具有良好的可擴(kuò)展性，算法運(yùn)行時(shí)間與executor個(gè)數(shù)呈負(fù)相關(guān)的線性關(guān)系，在6個(gè)executor下，與單個(gè)executor相比，算法的加速比達(dá)到了2.09到3.77。同時(shí)，通過與基于Hadoop的冪迭代聚類進(jìn)行對(duì)比，在新聞數(shù)量為40000篇時(shí)，運(yùn)行時(shí)間降低了6l%。