如何使用MapReduce進(jìn)行大數(shù)據(jù)的主動(dòng)學(xué)習(xí)
資料介紹
針對(duì)傳統(tǒng)的主動(dòng)學(xué)習(xí)算法只能處理中小型數(shù)據(jù)集的問題,提出一種基于MapReduce的大數(shù)據(jù)主動(dòng)學(xué)習(xí)算法。首先,在有類別標(biāo)簽的初始訓(xùn)練集上,用極限學(xué)習(xí)機(jī)( ELM)算法訓(xùn)練一個(gè)分類器,并將其輸出用軟最大化函數(shù)變換為一個(gè)后驗(yàn)概率分布。然后,將無類別標(biāo)簽的大數(shù)據(jù)集劃分為Z個(gè)子集,并部署到Z個(gè)云計(jì)算節(jié)點(diǎn)上。在每一個(gè)節(jié)點(diǎn),用訓(xùn)練出的分類器并行地計(jì)算各個(gè)子集中樣例的信息熵,并選擇信息熵大的前q個(gè)樣例進(jìn)行類別標(biāo)注,將標(biāo)注類別的Z×q個(gè)樣例添加到有類別標(biāo)簽的訓(xùn)練集中。重復(fù)以上步驟直到滿足預(yù)定義的停止條件。在Artificial、Skin、Statlog和Poker 4個(gè)數(shù)據(jù)集上與基于ELM的主動(dòng)學(xué)習(xí)算法進(jìn)行了比較,結(jié)果顯示,所提算法在4個(gè)數(shù)據(jù)集上均能完成主動(dòng)樣例選擇,而基于ELM的主動(dòng)學(xué)習(xí)算法只在規(guī)模最小的數(shù)據(jù)集上能完成主動(dòng)樣例選擇。實(shí)驗(yàn)結(jié)果表明,所提算法優(yōu)于基于極限學(xué)習(xí)機(jī)的主動(dòng)學(xué)習(xí)算法。
大數(shù)據(jù)具有以下幾個(gè)特征:海量( Volume)、多模態(tài)(Variety)、變化速度快(Velocity)、蘊(yùn)含價(jià)值高(Value)和可靠性高( Veracity)。在大數(shù)據(jù)環(huán)境下,傳統(tǒng)的機(jī)器學(xué)習(xí)面臨著巨大的挑戰(zhàn),其中也包括主動(dòng)學(xué)習(xí)。主動(dòng)學(xué)習(xí)算法大致可以分為兩大類:基于池的主動(dòng)學(xué)習(xí)算法和基于流的主動(dòng)學(xué)習(xí)算法。
- 大數(shù)據(jù)環(huán)境下的移動(dòng)學(xué)習(xí)發(fā)展趨勢(shì) 21次下載
- 基于MapReduce的時(shí)間序列索引及數(shù)據(jù)查詢 7次下載
- 車聯(lián)網(wǎng)場(chǎng)景下汽車大數(shù)據(jù)應(yīng)用模式綜述 13次下載
- 一種改進(jìn)的主動(dòng)標(biāo)記分布學(xué)習(xí)算法 7次下載
- 一種改進(jìn)的主動(dòng)標(biāo)記分布學(xué)習(xí)算法 7次下載
- 一種面向MapReduce的中間數(shù)據(jù)傳輸流水線優(yōu)化機(jī)制 4次下載
- 基于MapReduce和加權(quán)網(wǎng)絡(luò)信息熵的DBWGIE-MR算法 11次下載
- SDR 主動(dòng)學(xué)習(xí)模塊
- 基于MapReduce/Spark的大規(guī)模壓縮模糊K-近鄰算法 5次下載
- 大數(shù)據(jù)時(shí)代有什么樣的利與弊 11次下載
- 大數(shù)據(jù)環(huán)境下的移動(dòng)學(xué)習(xí)發(fā)展是怎么樣的 0次下載
- 水文大數(shù)據(jù)標(biāo)準(zhǔn)化方法和水文大數(shù)據(jù)共享平臺(tái)關(guān)鍵技術(shù)的設(shè)計(jì)和資料概述 12次下載
- 如何使用Q學(xué)習(xí)算法進(jìn)行X光主動(dòng)視覺的安檢方法資料說明概述 2次下載
- 面向并行迭代的MapReduce模型 1次下載
- 基于PRank算法的主動(dòng)排序學(xué)習(xí)算法
- 學(xué)習(xí)大數(shù)據(jù)前必須知道的知識(shí) 2712次閱讀
- 零基礎(chǔ)可以學(xué)習(xí)大數(shù)據(jù)開發(fā)嗎?學(xué)什么內(nèi)容? 3372次閱讀
- 大數(shù)據(jù)技術(shù)發(fā)展史簡(jiǎn)介 淺談大數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí) 7241次閱讀
- 大數(shù)據(jù)技術(shù)如何進(jìn)行融合發(fā)展 9408次閱讀
- 視覺大數(shù)據(jù)領(lǐng)域的最好分析方法之一:深度學(xué)習(xí) 4945次閱讀
- 大數(shù)據(jù)是什么_大數(shù)據(jù)技術(shù)和應(yīng)用的現(xiàn)狀與前景 2.4w次閱讀
- java工程師有必要轉(zhuǎn)做大數(shù)據(jù)嗎大數(shù)據(jù)學(xué)習(xí)路線你了解嗎 7635次閱讀
- 大數(shù)據(jù)產(chǎn)業(yè)生態(tài)聯(lián)盟的中國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展白皮書 5591次閱讀
- 大數(shù)據(jù)分析到底需要多少種工具_(dá)大數(shù)據(jù)分析總結(jié) 1.1w次閱讀
- mapreduce二次排序_ mapreduce二次排序原理 6297次閱讀
- mapreduce的應(yīng)用開發(fā)步驟 4806次閱讀
- 詳解MapReduce的模式、算法和用例 2443次閱讀
- mapreduce編程實(shí)例 1.1w次閱讀
- 什么是mapreduce_mapreduce工作原理_mapreduce_mapreduce邏輯模型圖 2.5w次閱讀
- 機(jī)器學(xué)習(xí)究竟如何促進(jìn)大數(shù)據(jù)管理的革命以及解決問題而采取的行動(dòng) 3318次閱讀
下載排行
本周
- 1電子電路原理第七版PDF電子教材免費(fèi)下載
- 0.00 MB | 1490次下載 | 免費(fèi)
- 2單片機(jī)典型實(shí)例介紹
- 18.19 MB | 92次下載 | 1 積分
- 3S7-200PLC編程實(shí)例詳細(xì)資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識(shí)別和講解說明
- 4.28 MB | 18次下載 | 4 積分
- 5開關(guān)電源原理及各功能電路詳解
- 0.38 MB | 10次下載 | 免費(fèi)
- 6基于AT89C2051/4051單片機(jī)編程器的實(shí)驗(yàn)
- 0.11 MB | 4次下載 | 免費(fèi)
- 7藍(lán)牙設(shè)備在嵌入式領(lǐng)域的廣泛應(yīng)用
- 0.63 MB | 3次下載 | 免費(fèi)
- 89天練會(huì)電子電路識(shí)圖
- 5.91 MB | 3次下載 | 免費(fèi)
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費(fèi)
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費(fèi)
- 4LabView 8.0 專業(yè)版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費(fèi)
- 5555集成電路應(yīng)用800例(新編版)
- 0.00 MB | 33562次下載 | 免費(fèi)
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費(fèi)
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費(fèi)
- 8開關(guān)電源設(shè)計(jì)實(shí)例指南
- 未知 | 21539次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費(fèi)
- 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
- 78.1 MB | 537791次下載 | 免費(fèi)
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費(fèi)
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 5Altium DXP2002下載入口
- 未知 | 233045次下載 | 免費(fèi)
- 6電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191183次下載 | 免費(fèi)
- 7十天學(xué)會(huì)AVR單片機(jī)與C語言視頻教程 下載
- 158M | 183277次下載 | 免費(fèi)
- 8proe5.0野火版下載(中文版免費(fèi)下載)
- 未知 | 138039次下載 | 免費(fèi)
評(píng)論