摘要:市面上有大量的大數(shù)據(jù)存儲(chǔ)產(chǎn)品。
市面上有大量的大數(shù)據(jù)存儲(chǔ)產(chǎn)品。哪些產(chǎn)品是最好的?很顯然,沒有一個(gè)簡(jiǎn)單的答案。選擇大數(shù)據(jù)存儲(chǔ)工具牽涉許多變化因素,包括現(xiàn)有環(huán)境、目前的存儲(chǔ)平臺(tái)、數(shù)據(jù)增長(zhǎng)預(yù)期、文件的大小及類型、數(shù)據(jù)庫和應(yīng)用程序程序組合等。
雖然本文根本不是什么完整的清單,但還是列出了值得你考慮的幾種頂尖的大數(shù)據(jù)存儲(chǔ)工具。
大數(shù)據(jù)存儲(chǔ)領(lǐng)域的主要競(jìng)爭(zhēng)者
日立
日立提供了幾款大數(shù)據(jù)存儲(chǔ)產(chǎn)品。與Pentaho軟件公司合作開發(fā)的大數(shù)據(jù)分析工具、日立超級(jí)橫向擴(kuò)展平臺(tái)(HSP)、HSP技術(shù)架構(gòu)以及日立視頻管理平臺(tái)(VMP)。后一個(gè)例子專門針對(duì)大視頻這個(gè)方興未艾的大數(shù)據(jù)子集,面向視頻監(jiān)控及其他視頻密集型存儲(chǔ)應(yīng)用領(lǐng)域。
DDN
類似地,DataDirect Networks(DDN)也有一批面向大數(shù)據(jù)存儲(chǔ)的解決方案。
比如說,其高性能SFA7700X文件存儲(chǔ)可以自動(dòng)分層到WOS對(duì)象存儲(chǔ)歸檔系統(tǒng),支持快速收集、同時(shí)分析和經(jīng)濟(jì)高效地保留大數(shù)據(jù)。
DDN的營(yíng)銷戰(zhàn)略和運(yùn)營(yíng)高級(jí)主管邁克爾·金(Michael King)說:“斯克里普斯研究所使用該產(chǎn)品用于冷凍電子顯微鏡(Cryo-EM),每周收集30 多TB的數(shù)據(jù),尋找艾滋病毒、埃博拉、寨卡及主要神經(jīng)疾病的治療方法。而在過去,查看蛋白質(zhì)結(jié)構(gòu)和產(chǎn)生的抗體至少需要一年的時(shí)間。Cyro-EM在幾周內(nèi)就完成了發(fā)現(xiàn)過程?!?/p>
Spectra BlackPearl
Spectra Logic的BlackPearl深度存儲(chǔ)網(wǎng)關(guān)為基于SAS的磁盤、SMR降速磁盤或磁帶提供了對(duì)象存儲(chǔ)接口,所有這些技術(shù)都可以放在存儲(chǔ)環(huán)境中BlackPearl的后面。
Kaminario K2
Kamiario提供了另一種大數(shù)據(jù)存儲(chǔ)平臺(tái)。雖然它并不提供經(jīng)典的大數(shù)據(jù)設(shè)備,但其全閃存陣列正在許多大數(shù)據(jù)應(yīng)用領(lǐng)域找到一席之地。
Kaminario的首席技術(shù)官沙恰·菲恩布利特(Shachar Fienblit)說:“由于開發(fā)人員把實(shí)時(shí)分析融入到應(yīng)用中,存儲(chǔ)基礎(chǔ)設(shè)施策略必須能夠管理大數(shù)據(jù)分析工作負(fù)載以及傳統(tǒng)的事務(wù)處理工作負(fù)載。Kaminario K2全閃存陣列就是為了支持這種動(dòng)態(tài)工作負(fù)載環(huán)境而開發(fā)的?!?/p>
Caringo
Caringo成立于2005年,旨在發(fā)掘數(shù)據(jù)的價(jià)值,并解決大規(guī)模保護(hù)、管理、組織和搜索數(shù)據(jù)方面的問題。有了旗艦產(chǎn)品Swarm,用戶無需將數(shù)據(jù)遷移到不同的解決方案,即可實(shí)現(xiàn)長(zhǎng)期保存、交付和分析,因而降低總體擁有成本。它已經(jīng)被全球400多家組織所使用,比如美國(guó)國(guó)防部、巴西聯(lián)邦法院系統(tǒng)、奧斯汀市、西班牙電信、英國(guó)電信、Ask.com和約翰斯霍普金斯大學(xué)。
Caringo的產(chǎn)品副總裁托尼·巴巴加洛(Tony Barbagallo)說:“為了簡(jiǎn)化獲取數(shù)據(jù)、饋送給Swarm,我們有FileFly(用于Windows文件服務(wù)器及NetApp服務(wù)器)和SwarmNFS(提供功能齊全的NFSv4基礎(chǔ)設(shè)施)?!?/p>
Infogix
Infogix企業(yè)數(shù)據(jù)分析平臺(tái)基于五項(xiàng)核心功能:數(shù)據(jù)質(zhì)量、事務(wù)監(jiān)控、均衡及協(xié)調(diào)、身份匹配、行為分析以及預(yù)測(cè)模型。這些功能據(jù)說可幫助公司提高運(yùn)營(yíng)效率、帶來新的收入、確保合規(guī),并獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。該平臺(tái)可以實(shí)時(shí)檢測(cè)出現(xiàn)的數(shù)據(jù)錯(cuò)誤,并自動(dòng)實(shí)行全面分析,以優(yōu)化大數(shù)據(jù)項(xiàng)目的表現(xiàn)。
Avere混合云
Avere提供了另一種大數(shù)據(jù)存儲(chǔ)方案。其Avere混合云部署在混合云基礎(chǔ)設(shè)施中的各種用例。物理FXT集群用于NAS優(yōu)化這種用例,充分利用基于磁盤的現(xiàn)有NAS系統(tǒng)前面的全閃存高性能層。FXT集群使用緩存,以便自動(dòng)加快活躍數(shù)據(jù),使用集群擴(kuò)展性能(添加更多的處理器和內(nèi)存)及容量(添加更多的固態(tài)硬盤),并將有時(shí)部署在廣域網(wǎng)上的核心存儲(chǔ)的延遲隱藏起來。用戶發(fā)覺它是加速渲染、基因組分析、金融模擬、軟件工具和二進(jìn)制代碼庫等性能的好方法。
在面向私有對(duì)象的文件存儲(chǔ)這種用例下,用戶希望從NAS遷移到私有對(duì)象存儲(chǔ)。他們往往喜歡私有對(duì)象的效率、簡(jiǎn)單性和彈性,但不喜歡其性能或基于對(duì)象的API接口。在這種用例下,F(xiàn)XT集群提升了私有對(duì)象存儲(chǔ)的性能,其實(shí)現(xiàn)方式與NAS優(yōu)化這種用例一樣。
Avere Systems的產(chǎn)品管理和市場(chǎng)營(yíng)銷高級(jí)主管杰夫·泰伯(Jeff Tabor)說:“此外,F(xiàn)XT集群提供了熟悉的NAS協(xié)議,可轉(zhuǎn)換成存儲(chǔ)端的對(duì)象API,那樣用戶不用改寫應(yīng)用程序,或不用改變數(shù)據(jù)訪問方法,就可以使用對(duì)象存儲(chǔ)?!?/p>
最后,云存儲(chǔ)網(wǎng)絡(luò)這種用例類似面向私有對(duì)象的文件存儲(chǔ)這種用例,增添的一個(gè)好處是,企業(yè)可以開始構(gòu)建更少的數(shù)據(jù)中心,將數(shù)據(jù)遷移到云端。延遲是這種用例要克服的挑戰(zhàn)之一,這正是物理FXT集群所要解決的。訪問時(shí),數(shù)據(jù)在FXT集群上本地緩存,那樣之后進(jìn)行的所有訪問都具有低延遲的優(yōu)點(diǎn)。FXT集群可能擁有多達(dá)480TB的總緩存容量,因而大量數(shù)據(jù)可以在本地存儲(chǔ)起來,避免云的延遲。
DriveScale
大數(shù)據(jù)通常存儲(chǔ)在本地磁盤上,這意味著為了在大數(shù)據(jù)集群的規(guī)模不斷擴(kuò)大時(shí),能實(shí)現(xiàn)效率和擴(kuò)展性,就需要保持計(jì)算和存儲(chǔ)之間的邏輯關(guān)系。于是出現(xiàn)了一個(gè)問題是:如何將磁盤從服務(wù)器分離開來,又繼續(xù)在處理器/內(nèi)存組合和驅(qū)動(dòng)器之間提供同樣的邏輯關(guān)系?如何實(shí)現(xiàn)共享存儲(chǔ)池的成本、規(guī)模和可管理性等方面的效率,同時(shí)仍提供局部性的好處?據(jù)說DriveScale通過利用Hadoop數(shù)據(jù)存儲(chǔ),就可以做到這點(diǎn)。
然而,希望為大數(shù)據(jù)應(yīng)用安裝和管理資源的存儲(chǔ)專業(yè)人員主要受制于Hadoop架構(gòu),這種架構(gòu)本身是針對(duì)服務(wù)器上的本地驅(qū)動(dòng)器來優(yōu)化的。隨著數(shù)據(jù)量不斷增加,唯一的辦法就是購(gòu)買數(shù)量越來越多的服務(wù)器,不僅要滿足計(jì)算需求,還要提供更大的存儲(chǔ)容量。DriveScale讓用戶得以在獨(dú)立于計(jì)算容量的情況下單獨(dú)購(gòu)置存儲(chǔ)容量,從而在每個(gè)層面做到容量正好。
DriveScale的產(chǎn)品管理副總裁S.K. Vinod說:“沒有理由無法將大家在數(shù)據(jù)中心習(xí)慣獲得的專有縱向擴(kuò)展基礎(chǔ)設(shè)施環(huán)境具有的優(yōu)點(diǎn)引入到商用橫向擴(kuò)展環(huán)境。我們?yōu)镮T管理員提供了構(gòu)建和運(yùn)行彈性大數(shù)據(jù)基礎(chǔ)設(shè)施的工具,在這種基礎(chǔ)設(shè)施環(huán)境下,服務(wù)器和磁盤子系統(tǒng)可以根據(jù)需要,實(shí)時(shí)分解和重組。單個(gè)驅(qū)動(dòng)器從JBOD連接磁盤組成的共享池配置給服務(wù)器,因而消除了成本不相稱。”
Hedvig
Hedvig分布式存儲(chǔ)平臺(tái)提供了一種統(tǒng)一解決方案,讓你可以定制結(jié)合低成本商用硬件和高性能存儲(chǔ),以支持任何應(yīng)用程序、虛擬機(jī)管理程序、容器或云。據(jù)說它可以針對(duì)數(shù)據(jù)塊、文件和對(duì)象存儲(chǔ),為任何規(guī)模的任何計(jì)算提供存儲(chǔ),具有可編程性,而且支持任何操作系統(tǒng)、虛擬機(jī)管理程序或容器。此外,混合多站點(diǎn)復(fù)制使用獨(dú)特的災(zāi)難恢復(fù)策略來保護(hù)每個(gè)應(yīng)用程序,并通過跨多個(gè)數(shù)據(jù)中心或云的存儲(chǔ)集群提供高可用性。最后,高級(jí)數(shù)據(jù)服務(wù)讓用戶可以借助可按照卷來選擇的一系列企業(yè)服務(wù),定制存儲(chǔ)。
Hedvig公司首席執(zhí)行官兼創(chuàng)始人阿維納什·拉克希曼(Avinash Lakshman)說:“對(duì)于Hadoop來說,如果你想要一些功能由HDFS來處理,其他功能由存儲(chǔ)平臺(tái)來處理,這至關(guān)重要。”
Nimble
Nimble存儲(chǔ)預(yù)測(cè)閃存平臺(tái)據(jù)說可顯著提高分析應(yīng)用和大數(shù)據(jù)工作負(fù)載的性能。它通過結(jié)合閃存性能和預(yù)測(cè)分析,防止IT復(fù)雜性導(dǎo)致的數(shù)據(jù)速度面臨的障礙來做到這一點(diǎn)。
責(zé)任編輯:ct
評(píng)論