Hadoop的優(yōu)點(diǎn)
(1)Hadoop具有按位存儲(chǔ)和處理數(shù)據(jù)能力的高可靠性。
(2)Hadoop通過可用的計(jì)算機(jī)集群分配數(shù)據(jù),完成存儲(chǔ)和計(jì)算任務(wù),這些集群可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中,具有高擴(kuò)展性。
(3)Hadoop能夠在節(jié)點(diǎn)之間進(jìn)行動(dòng)態(tài)地移動(dòng)數(shù)據(jù),并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡,處理速度非??欤哂懈咝?。
(4)Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本,并且能夠自動(dòng)將失敗的任務(wù)重新分配,具有高容錯(cuò)性。
Hadoop的缺點(diǎn)
(1)Hadoop不適用于低延遲數(shù)據(jù)訪問。
(2)Hadoop不能高效存儲(chǔ)大量小文件。
(3)Hadoop不支持多用戶寫入并任意修改文件。
Hadoop的核心組件
Hadoop自誕生以來(lái),主要出現(xiàn)了Hadoop1、Hadoop2、Hadoop3三個(gè)系列多個(gè)版本。
HDFS和MapReduce是Hadoop1的核心組件,Hadoop生態(tài)圈里的很多組件都是基于HDFS和MapReduce發(fā)展出來(lái)的。在繼Hadoop1之后出現(xiàn)了Hadoop2,Hadoop2在Hadoop1的基礎(chǔ)上做了改進(jìn)。
相比Hadoop1,Hadoop2的三大核心組件分別是HDFS、MapReduce、Yarn。目前市面上絕大部分企業(yè)使用的是Hadoop2,本書使用的是Hadoop2.7.3這一版本。
Hadoop2的一個(gè)公共模塊和三大核心組件組成了四個(gè)模塊,簡(jiǎn)介如下。
(1)HadoopCommon:為其他Hadoop模塊提供基礎(chǔ)設(shè)施。
(2)HDFS:具有高可靠性、高吞吐量的分布式文件系統(tǒng)。
(3)MapReduce:基于Yarn系統(tǒng),分布式離線并行計(jì)算框架。
(4)Yarn:負(fù)責(zé)作業(yè)調(diào)度與集群資源管理的框架。
-
數(shù)據(jù)處理
+關(guān)注
關(guān)注
0文章
615瀏覽量
28643 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8910瀏覽量
137836
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
hadoop hdfs 文件優(yōu)點(diǎn)
hadoop框架結(jié)構(gòu)的說(shuō)明介紹
DKHadoop大數(shù)據(jù)平臺(tái)架構(gòu)詳解
基于hadoop的免費(fèi)大數(shù)據(jù)平臺(tái)有哪些?
hadoop和spark的區(qū)別
大數(shù)據(jù)hadoop入門之hadoop家族產(chǎn)品詳解
腳本語(yǔ)言的優(yōu)缺點(diǎn)分別是什么
PBGA封裝的優(yōu)點(diǎn)和缺點(diǎn)分別是什么?
hadoop是什么_華為大數(shù)據(jù)平臺(tái)hadoop你了解多少
![<b class='flag-5'>hadoop</b>是什么_華為<b class='flag-5'>大數(shù)據(jù)</b>平臺(tái)<b class='flag-5'>hadoop</b>你了解多少](https://file1.elecfans.com//web2/M00/A7/1D/wKgZomUMQnaAFKGBAAA1LORmZP0730.png)
大數(shù)據(jù)的優(yōu)缺點(diǎn)有哪些?
php的優(yōu)點(diǎn)和缺點(diǎn)分別是什么
Hadoop是什么?其核心由兩大部分組成,分別是什么?
基于Kepware的Hadoop大數(shù)據(jù)應(yīng)用構(gòu)建-提升數(shù)據(jù)價(jià)值利用效能
![基于Kepware的<b class='flag-5'>Hadoop</b><b class='flag-5'>大數(shù)據(jù)</b>應(yīng)用構(gòu)建-提升<b class='flag-5'>數(shù)據(jù)</b>價(jià)值利用效能](https://file1.elecfans.com/web2/M00/09/0E/wKgZomcE21CAHUHqAAET3eiQ6hk257.png)
評(píng)論