麻省理工學院的研究人員設(shè)計了一種新穎的閃存系統(tǒng)，可以減少數(shù)據(jù)中心最昂貴組件之一所需的能量和物理空間的一半：數(shù)據(jù)存儲。數(shù)據(jù)中心是促進用戶和Web服務(wù)之間通信的服務(wù)器群，是世界上耗能最多的設(shè)施之一。其中，數(shù)以千計的耗電服務(wù)器存儲用戶數(shù)據(jù)，而單獨的服務(wù)器運行訪問該數(shù)據(jù)的應(yīng)用服務(wù)。其他服務(wù)器有時會促進這兩個服務(wù)器集群之間的計算。

如今大多數(shù)存儲服務(wù)器都使用固態(tài)硬盤(SSD)，它使用閃存 - 電子可編程和可擦除存儲器微芯片，沒有移動部件 - 以高速處理高吞吐量數(shù)據(jù)請求。在ACM國際編程語言和操作系統(tǒng)架構(gòu)支持會議上發(fā)表的一篇論文中，研究人員描述了一個名為LightStore的新系統(tǒng)，該系統(tǒng)修改了SSD以直接連接到數(shù)據(jù)中心的網(wǎng)絡(luò) - 無需任何其他組件 - 并且支持計算上更簡單，更高效的數(shù)據(jù)存儲操作。進一步的軟件和硬件創(chuàng)新將系統(tǒng)無縫集成到現(xiàn)有的數(shù)據(jù)中心基礎(chǔ)設(shè)施中。

在實驗中，研究人員發(fā)現(xiàn)一個由四個LightStore單元組成的集群，稱為存儲節(jié)點，其運行效率是傳統(tǒng)存儲服務(wù)器的兩倍，通過現(xiàn)場數(shù)據(jù)請求所需的功耗來衡量。群集還需要不到現(xiàn)有服務(wù)器占用的物理空間的一半。研究人員通過個人數(shù)據(jù)存儲操作分解了節(jié)能，以此更好地捕獲系統(tǒng)的全部節(jié)能。例如，在“隨機寫入”數(shù)據(jù)中，這是閃存中計算量最大的操作，LightStore的運行效率幾乎是傳統(tǒng)服務(wù)器的八倍。

希望有一天，LightStore節(jié)點可以取代數(shù)據(jù)中心的耗電量大的服務(wù)器。“我們正在用更簡單，更便宜的存儲解決方案取代這種架構(gòu)......這將占用一半的空間和一半的功率，同時提供相同的吞吐量容量性能，”共同作者，計算機科學的約翰遜教授Arvind說。工程學和計算機科學與人工智能實驗室的研究員。“這將有助于您的運營支出，因為它消耗更少的電力和資本支出，因為數(shù)據(jù)中心的節(jié)能直接轉(zhuǎn)化為節(jié)省資金?！?/p>

加入Arvind的論文是：第一作者Chanwoo Chung，電氣工程與計算機科學系的研究生;研究生Jinhyung Koo和Junsu Im，Sungjin Lee教授，大邱慶北科技學院(DGIST)。

當今數(shù)據(jù)中心的一個主要效率問題是架構(gòu)沒有改變以適應(yīng)閃存存儲。多年前，數(shù)據(jù)存儲服務(wù)器由相對較慢的硬盤組成，還有許多動態(tài)隨機存取存儲器電路(DRAM)和中央處理單元(CPU)，可幫助快速處理從應(yīng)用服務(wù)器涌入的所有數(shù)據(jù)。

然而，今天，硬盤大多被更快的閃存驅(qū)動器取代。Chung說：“人們只需將閃存插入硬盤所在的位置，而無需改變?nèi)魏纹渌麅?nèi)容?！薄叭绻憧梢灾苯訉㈤W存驅(qū)動器連接到網(wǎng)絡(luò)，那么根本不需要這些昂貴的存儲服務(wù)器?！睂τ贚ightStore，研究人員首先根據(jù)“鍵值對”修改了SSD，這是一種非常簡單有效的檢索數(shù)據(jù)的協(xié)議?；旧?，用戶請求顯示為鍵，如一串數(shù)字。密鑰被發(fā)送到服務(wù)器，服務(wù)器釋放與該密鑰相關(guān)聯(lián)的數(shù)據(jù)(值)。

這個概念很簡單，但是密鑰可能非常大，因此僅在SSD中計算(搜索和插入)它們需要大量的計算能力，這被傳統(tǒng)的“閃存轉(zhuǎn)換層”所消耗。這個相當復雜的軟件在閃存驅(qū)動器上的單獨模塊上運行，以管理和移動數(shù)據(jù)。研究人員使用某些數(shù)據(jù)結(jié)構(gòu)技術(shù)僅使用一小部分計算能力來運行此閃存管理軟件。在這樣做的過程中，他們將軟件完全卸載到閃存驅(qū)動器中的微小電路上，該電路運行效率更高。

這種卸載釋放了驅(qū)動器上已有的獨立CPU - 旨在簡化和更快地執(zhí)行計算 - 運行自定義LightStore軟件。該軟件使用數(shù)據(jù)結(jié)構(gòu)化技術(shù)來有效地處理鍵值對請求?；旧?，在不改變架構(gòu)的情況下，研究人員將傳統(tǒng)的閃存驅(qū)動器轉(zhuǎn)換為鍵值驅(qū)動器。“所以，我們正在為閃存添加這個新功能 - 但我們真的沒有添加任何內(nèi)容，”Arvind說。

然后面臨的挑戰(zhàn)是確保應(yīng)用服務(wù)器可以訪問LightStore節(jié)點中的數(shù)據(jù)。在數(shù)據(jù)中心中，應(yīng)用程序通過各種結(jié)構(gòu)協(xié)議訪問數(shù)據(jù)，例如文件系統(tǒng)，數(shù)據(jù)庫和其他格式。傳統(tǒng)存儲服務(wù)器運行復雜的軟件，通過所有這些協(xié)議提供應(yīng)用服務(wù)器訪問。但是這使用了大量的計算能量，并且不適合在LightStore上運行，LightStore依賴于有限的計算資源。

研究人員設(shè)計了非常計算輕便的軟件，稱為“適配器”，它將所有用戶請求從應(yīng)用服務(wù)轉(zhuǎn)換為鍵值對。適配器使用數(shù)學函數(shù)將有關(guān)所請求數(shù)據(jù)的信息(例如來自特定協(xié)議的命令和應(yīng)用服務(wù)器的標識號)轉(zhuǎn)換為密鑰。然后，它將該密鑰發(fā)送到相應(yīng)的LightStore節(jié)點，該節(jié)點查找并釋放配對數(shù)據(jù)。由于該軟件在計算上更簡單，因此可以直接安裝到應(yīng)用服務(wù)器上。

“無論你訪問什么數(shù)據(jù)，我們都會進行一些翻譯，告訴我關(guān)鍵和與之相關(guān)的價值。在這樣做的過程中，我也會從存儲服務(wù)器中獲得一些復雜性，”Arvind說。

最后一項創(chuàng)新是將LightStore節(jié)點添加到集群中與數(shù)據(jù)吞吐量成線性比例 - 數(shù)據(jù)處理的速率。傳統(tǒng)上，人們將SSD堆疊在數(shù)據(jù)中心以解決更高的吞吐量問題。但是，雖然數(shù)據(jù)存儲容量可能會增長，但僅在少量額外驅(qū)動器之后吞吐量就會穩(wěn)定下來。在實驗中，研究人員發(fā)現(xiàn)四個LightStore節(jié)點的吞吐量水平超過了相同數(shù)量的SSD。