基于CombBLAS圖聚類(lèi)并行算法
推薦 + 挑錯(cuò) + 收藏(0) + 用戶(hù)評(píng)論(0)
圖聚類(lèi)是指把圖中相對(duì)連接緊密的頂點(diǎn)及其相關(guān)的邊分組形成一個(gè)子圖的過(guò)程,在包括機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識(shí)別、圖像分析及生物信息等領(lǐng)域有著廣泛應(yīng)用。但是,隨著大數(shù)據(jù)時(shí)代的到來(lái),圖數(shù)據(jù)海量增長(zhǎng)。面對(duì)廣泛的大規(guī)模圖計(jì)算需求,由于圖結(jié)構(gòu)本身的不規(guī)則性,單機(jī)算法運(yùn)行效率低下,用傳統(tǒng)的并行計(jì)算方法進(jìn)行圖計(jì)算難以獲得高性能。使用線性代數(shù)的方法在Combinatorial BLAS上實(shí)現(xiàn)了同輩壓力(Peer Pressure)圖聚類(lèi)的分布式算法,首先將該圖聚類(lèi)的算法轉(zhuǎn)換為對(duì)稀疏矩陣的運(yùn)算,從而結(jié)構(gòu)化表示圖的不規(guī)則數(shù)據(jù)結(jié)構(gòu)及接入模式,然后基于MPI編程模型將其并行實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明,在并行處理規(guī)模達(dá)到43億的由稀疏矩陣表示的超大規(guī)模圖時(shí),基于線性代數(shù)表示的同輩壓力圖聚類(lèi)算法在曙光超級(jí)計(jì)算機(jī)上取得了較高的并行性能及良好的可擴(kuò)展性,在64個(gè)核上獲得了40.1的并行加速。
?
非常好我支持^.^
(0) 0%
不好我反對(duì)
(0) 0%