Hadoop當中負責分布式存儲的HDFS，被定義為分布式文件系統(tǒng)，對于進入到平臺當中的數(shù)據(jù)，提供高效的、可容錯、可擴展的數(shù)據(jù)存儲，這得益于分布式文件系統(tǒng)的一個重要特性——伸縮性。今天的大數(shù)據(jù)開發(fā)分享，我們就來講講分布式文件系統(tǒng)的伸縮性設計。分布式文件系統(tǒng)當中，主從式的架構設計，使得伸縮性也基于存儲節(jié)點和中心節(jié)點兩個層面去實現(xiàn)。

1、存儲節(jié)點的伸縮

當在集群中加入一臺新的存儲節(jié)點，則它主動向中心節(jié)點注冊，提供自己的信息，當后續(xù)有創(chuàng)建文件或者給已有文件增加數(shù)據(jù)塊的時候，中心節(jié)點就可以分配到這臺新節(jié)點了，比較簡單。但同時也需要解決一些相應產(chǎn)生的問題。

1）如何盡量使各存儲節(jié)點的負載相對均衡？

首先要有評價存儲節(jié)點負載的指標?？梢詮拇疟P空間使用率考慮，也可以從磁盤使用率+CPU使用情況+網(wǎng)絡流量情況等做綜合判斷。一般來說，磁盤使用率是核心指標。其次在分配新空間的時候，優(yōu)先選擇資源使用率小的存儲節(jié)點；而對已存在的存儲節(jié)點，如果負載已經(jīng)過載、或者資源使用情況不均衡，則需要做數(shù)據(jù)遷移。

2）怎樣保證新加入的節(jié)點，不會因短期負載壓力過大而崩塌？

當系統(tǒng)發(fā)現(xiàn)當前新加入了一臺存儲節(jié)點，顯然它的資源使用率是最低的，那么所有的寫流量都路由到這臺存儲節(jié)點來，那就可能造成這臺新節(jié)點短期負載過大。因此，在資源分配的時候，需要有預熱時間，在一個時間段內，緩慢地將寫壓力路由過來，直到達成新的均衡。

3）如果需要數(shù)據(jù)遷移，那如何使其對業(yè)務層透明？

在有中心節(jié)點的情況下，這個工作比較好做，中心節(jié)點就包辦了——判斷哪臺存儲節(jié)點壓力較大，判斷把哪些文件遷移到何處，更新自己的meta信息，遷移過程中的寫入怎么辦，發(fā)生重命名怎么辦，無需上層應用來處理。如果沒有中心節(jié)點，那代價比較大，在系統(tǒng)的整體設計上，也是要考慮到這種情況，比如ceph，它要采取邏輯位置和物理位置兩層結構，對Client暴露的是邏輯層（pool和placegroup），這個在遷移過程中是不變的，而下層物理層數(shù)據(jù)塊的移動，只是邏輯層所引用的物理塊的地址發(fā)生了變化，在Client看來，邏輯塊的位置并不會發(fā)生改變。

2、中心節(jié)點的伸縮

如果有中心節(jié)點，還要考慮它的伸縮性。由于中心節(jié)點作為控制中心，是主從模式，那么在伸縮性上就受到比較大的限制，是有上限的，不能超過單臺物理機的規(guī)模。我們可以考慮各種手段，盡量地抬高這個上限。有幾種方式可以考慮：以大數(shù)據(jù)塊的形式來存儲文件——比如HDFS的數(shù)據(jù)塊的大小是64M，ceph的的數(shù)據(jù)塊的大小是4M，都遠遠超過單機文件系統(tǒng)的4k。它的意義在于大幅減少metadata的數(shù)量，使中心節(jié)點的單機內存就能夠支持足夠多的磁盤空間meta信息。

中心節(jié)點采取多級的方式——頂級中心節(jié)點只存儲目錄的metadata，其指定某目錄的文件去哪臺次級總控節(jié)點去找，然后再通過該次級總控節(jié)點找到文件真正的存儲節(jié)點；中心節(jié)點共享存儲設備——部署多臺中心節(jié)點，但它們共享同一個存儲外設/數(shù)據(jù)庫，meta信息都放在這里，中心節(jié)點自身是無狀態(tài)的。這種模式下，中心節(jié)點的請求處理能力大為增強，但性能會受一定影響。關于大數(shù)據(jù)開發(fā)，分布式文件系統(tǒng)的伸縮性設計，以上就為大家做了簡單的介紹了。關于伸縮性，這是影響分布式文件系統(tǒng)性能的重要指標之一，在架構層面就需要先做好構想。
責任編輯人：CC