摘要：

為了改善網(wǎng)絡(luò)大數(shù)據(jù)傳輸效率及其精度，降低網(wǎng)絡(luò)數(shù)據(jù)傳輸負(fù)荷，基于多層概率網(wǎng)絡(luò)模型和聯(lián)合決策研究了一種網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法。首先，以復(fù)雜異構(gòu)多層網(wǎng)絡(luò)的數(shù)據(jù)采集與緩存為對象，以實(shí)時感知數(shù)據(jù)及其準(zhǔn)確處理為優(yōu)化目標(biāo)，設(shè)計了一種多層概率聯(lián)合決策模型。接著，通過主層-分層和信號強(qiáng)度進(jìn)行網(wǎng)絡(luò)大數(shù)據(jù)的多維描述，結(jié)合3步分解和三性融合，以逆變換去噪為驅(qū)動，提出了網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作數(shù)據(jù)融合算法。最后，實(shí)驗和仿真結(jié)果表明，與實(shí)驗統(tǒng)計值相比，所提算法在數(shù)據(jù)融合精度和效率等方面具有明顯優(yōu)勢。

0 引言

復(fù)雜網(wǎng)絡(luò)控制與大數(shù)據(jù)傳輸已經(jīng)成為大數(shù)據(jù)質(zhì)量保障面臨的關(guān)鍵研究問題[1]，特別是，復(fù)雜網(wǎng)絡(luò)時滯擴(kuò)散性[1]、同步控制[2]、應(yīng)急通信網(wǎng)絡(luò)的大數(shù)據(jù)分析[3]、空地跨域大數(shù)據(jù)通信[4-5]等問題對大數(shù)據(jù)質(zhì)量的影響嚴(yán)重。為有效解決上述問題，數(shù)據(jù)融合[6]被引入，并得到廣泛應(yīng)用[7]。不過，復(fù)雜網(wǎng)絡(luò)的大數(shù)據(jù)融合性能依然受到網(wǎng)絡(luò)復(fù)雜度、數(shù)據(jù)碰撞和外界干擾等因素[8]制約，這些問題亟待解決。

在充分考慮網(wǎng)絡(luò)狀況及服務(wù)器之間的通信關(guān)聯(lián)等基礎(chǔ)上，文獻(xiàn)[9]基于OpenFlow網(wǎng)絡(luò)控制器，集中管理網(wǎng)絡(luò)狀態(tài)信息，提出了基于OpenFlow網(wǎng)絡(luò)的數(shù)據(jù)中心服務(wù)器負(fù)載均衡策略，從而有效改善虛擬機(jī)遷移后網(wǎng)絡(luò)擁塞而影響系統(tǒng)性能。文獻(xiàn)[10]研究了具有隨機(jī)噪聲和隨機(jī)概率分布的隨機(jī)鏈路網(wǎng)絡(luò)的最優(yōu)控制問題。為了應(yīng)對大數(shù)據(jù)的影響，文獻(xiàn)[11]將傳統(tǒng)的個人計算、通信和存儲系統(tǒng)結(jié)合起來，討論了一種有效的信息系統(tǒng)容量，以便在更有自由度的新范式下挖掘信息系統(tǒng)的潛力。文獻(xiàn)[12]首先提出了一個通用的建模框架，描述了在大數(shù)據(jù)流處理所有的任務(wù)關(guān)系語義間的代表，在此基礎(chǔ)上解決了通信成本最小化的問題。文獻(xiàn)[13]提出了一種系統(tǒng)和自動化的方法來建立一個混合的入侵檢測系統(tǒng)，學(xué)習(xí)基于時域的電力系統(tǒng)場景的規(guī)范，包括干擾、正?？刂撇僮骱途W(wǎng)絡(luò)攻擊等。文獻(xiàn)[14]所提出的區(qū)間自適應(yīng)加權(quán)波長選擇算法采用多模型融合方案，通過減少波長數(shù)量來精準(zhǔn)預(yù)測，自適應(yīng)優(yōu)化選擇波長。在異構(gòu)信息空間中，文獻(xiàn)[15]通過查詢時間上下文關(guān)鍵字，研究了一種時間感知的查詢時實(shí)體識別與數(shù)據(jù)融合方法。

在已有復(fù)雜網(wǎng)絡(luò)控制、大數(shù)據(jù)傳輸和數(shù)據(jù)融合的一系列研究基礎(chǔ)上，本文從多層概率模型、數(shù)據(jù)傳輸聯(lián)合決策和網(wǎng)絡(luò)寫作控制等多維角度出發(fā)，研究了一種具有高傳輸精度、高傳輸效率和低數(shù)據(jù)融合誤差的網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合機(jī)制。

1 多層概率聯(lián)合決策模型

復(fù)雜異構(gòu)多層網(wǎng)絡(luò)的數(shù)據(jù)采集與緩存機(jī)制以實(shí)時感知數(shù)據(jù)和準(zhǔn)確處理決策信息為核心，消除外界環(huán)境的冗余信息與各類型干擾對網(wǎng)絡(luò)數(shù)據(jù)的質(zhì)量制約。但對于多層網(wǎng)絡(luò)的數(shù)據(jù)采集與傳輸概率控制和維護(hù)系統(tǒng)穩(wěn)定性的決策機(jī)制，成為網(wǎng)絡(luò)大數(shù)據(jù)融合的瓶頸問題。

首先，假設(shè)一個多層離散線性隨機(jī)網(wǎng)絡(luò)系統(tǒng)如式(1)所示：

其中，N表示多層網(wǎng)絡(luò)的分層數(shù)。

2 網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法

基于多層概率聯(lián)合決策的網(wǎng)絡(luò)收集的大數(shù)據(jù)，從主層-分層角度出發(fā)采用S、L描述，如式（7）所示，還可以從信號強(qiáng)度出發(fā)采用H、M、L描述，如式（9）所示。

綜上所述，網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法實(shí)施過程如圖3所示。其中，根據(jù)分解3步進(jìn)行三性融合，結(jié)合聯(lián)合決策，以逆變換去噪為驅(qū)動，實(shí)現(xiàn)協(xié)作數(shù)據(jù)融合。

3 實(shí)驗結(jié)果分析

通過在200 m2的室內(nèi)環(huán)境部署50個傳感器節(jié)點(diǎn)，持續(xù)采集100小時的溫度數(shù)據(jù)為網(wǎng)絡(luò)大數(shù)據(jù)源。傳感器節(jié)點(diǎn)采用無源供電方式，會因電池耗盡而消亡，網(wǎng)絡(luò)拓?fù)鋾l(fā)生動態(tài)變化。每個傳感器節(jié)點(diǎn)間隔10 s發(fā)送一次數(shù)據(jù)?？赏ㄟ^是否供電來激活傳感器節(jié)點(diǎn)。本文所提出的網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法記為CFA-MJD，偽代碼如下：

采用Java與C++相結(jié)合的方式實(shí)現(xiàn)上述算法，測試不同傳輸精度下的數(shù)據(jù)傳輸速率以及數(shù)據(jù)融合誤差。實(shí)驗環(huán)境參數(shù)詳見表1。

圖4和圖5給出了兩種不同傳輸精度下所提出CFA-MJD算法的數(shù)據(jù)傳輸速率與實(shí)驗速率統(tǒng)計值的對比結(jié)果。對比發(fā)現(xiàn)，當(dāng)傳輸精度為40%時，CFA-MJD算法的傳輸率與實(shí)驗值較為接近；當(dāng)傳輸精度為90%時，CFA-MJD算法的傳輸率反而高于實(shí)驗值。這表明，所提算法可以有效改進(jìn)網(wǎng)絡(luò)大數(shù)據(jù)傳輸率并且保障較高的傳輸精度。這是因為所提算法采用了多層隨機(jī)網(wǎng)絡(luò)架構(gòu)?；诜謱有盘柛蓴_和局部不確定因素集，結(jié)合網(wǎng)絡(luò)整體信號傳輸優(yōu)化目標(biāo)需求，通過聯(lián)合決策保持了大數(shù)據(jù)的一致性，并有效降低了數(shù)據(jù)發(fā)生沖突的概率。

圖6給出了服務(wù)器響應(yīng)延遲為5 s、10 s、15 s和20 s時，所提算法的數(shù)據(jù)融合誤差與實(shí)際統(tǒng)計誤差的對比結(jié)果。分析發(fā)現(xiàn)，所提算法所采用的在分層協(xié)作控制下對聯(lián)合決策下的接收信號yU分解即對yU按層還原，消除冗余信號和逐層更新yU，以及三性融合，確保了網(wǎng)絡(luò)大數(shù)據(jù)融合精度，并且可以很好地化解服務(wù)器大延遲造成的數(shù)據(jù)誤差。

4 結(jié)束語

復(fù)雜異構(gòu)網(wǎng)絡(luò)的大數(shù)據(jù)傳輸面臨著效率低下、精度難以得到保障等問題，同時網(wǎng)絡(luò)數(shù)據(jù)傳輸負(fù)荷較大，導(dǎo)致資源利用率較低。為了有效解決上述問題，本文提出了一種基于多層概率網(wǎng)絡(luò)模型和聯(lián)合決策的網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法。一方面，為多層網(wǎng)絡(luò)的數(shù)據(jù)源及其存儲控制建立實(shí)時感知和分層傳輸處理模型，在此基礎(chǔ)上提出一種具有多層概率協(xié)作的網(wǎng)絡(luò)大數(shù)據(jù)傳輸聯(lián)合決策模型；另一方面，從主層-分層和多層接收信號強(qiáng)度出發(fā)，給出了網(wǎng)絡(luò)大數(shù)據(jù)的多維描述，通過接收信號的3步分解和網(wǎng)絡(luò)的三性融合，提出了網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作數(shù)據(jù)融合算法。實(shí)驗統(tǒng)計和仿真表明，所提算法可以有效改善網(wǎng)絡(luò)大數(shù)據(jù)融合精度、傳輸精度和網(wǎng)絡(luò)效率等性能。