突如其來的新冠肺炎大流行打亂了眾多公司的產(chǎn)品發(fā)布計劃，比如本該在今年3月英偉達（NVIDIA）GTC 2020上發(fā)布的安培（Ampere）架構(gòu)曝光多次卻一直未發(fā)布。今天，英偉達CEO黃仁勛發(fā)布了英偉達新一代GPU架構(gòu)安培，并帶來了基于安培架構(gòu)GPU A100的DGX-A100 AI系統(tǒng)和面向邊緣AI計算的EGX A100。

有意思的是，受疫情影響，已經(jīng)在家工作四十五天的黃仁勛是在家里的廚房提前錄制了演講視頻，用三個視頻完成了2020 GTC的主題演講和新品發(fā)布。

此次GTC 2020最重磅的產(chǎn)品自然是安培架構(gòu)GPU A100，這是目前全球最大的7nm芯片，面積高達826平方毫米，集成了540億個晶體管。相比Volta架構(gòu)實現(xiàn)了高達20倍的性能提升，并且可以同時滿足AI訓練和推理的需求。

由8個安培A100 GPU打造的NVIDIA DGX A100 AI系統(tǒng)單節(jié)點性能達到了創(chuàng)紀錄的5 petaflops。

第八代安培GPU架構(gòu)性能提升高達20倍

安培是英偉達繼2018發(fā)布的Turing（圖靈）架構(gòu)之后的最新一代GPU架構(gòu)，也是英偉達推出的第八代GPU架構(gòu)。黃仁勛說：“Ampere架構(gòu)的突破性設(shè)計為英偉達第八代GPU提供了迄今為止最大的性能飛躍，集AI訓練和推理于一身，并且其性能相比于前代產(chǎn)品提升了高達20倍。這是有史以來首次，可以在一個平臺上實現(xiàn)對橫向擴展以及縱向擴展的負載的加速。A100將在提高吞吐量的同時，降低數(shù)據(jù)中心的成本。”

據(jù)悉，第八代安培架構(gòu)GPU采用的是臺積電7nm工藝，使用的是最新的3D封裝技術(shù)，集成540億個晶體管也讓安培架構(gòu)GPU A100成為了全球最大的7nm芯片。除此之外，A100還有另外四大關(guān)鍵特性：

具有TF32的第三代 Tensor Core核心，英偉達廣泛采用的 Tensor Core核心現(xiàn)在已變得更加靈活、快速且易于使用。

多實例GPU-MG，一種全新技術(shù)功能，可將單個A100GPU分割為多達七個獨立的GPU，為不同規(guī)模的工作提供不同的計算力，以此實現(xiàn)最佳利用率和投資回報率的最大化。

第三代 NVIDIA NVLInk，使GPU之間的高速聯(lián)接增加至原來的兩倍，實現(xiàn)服務(wù)器的高效性能擴展。

結(jié)構(gòu)化稀疏，這種全新效率技術(shù)利用AI數(shù)學固有的稀疏性，使性能提升了一倍。

對于具有TF32的第三代Tensor Core核心，黃仁勛解釋，其功能經(jīng)過擴展后加入了專為AI開發(fā)的全新TF32，它能在無需更改任何代碼的情況下，使FP32精度下的AI性能提高多達20倍。此外，TensorCore核心現(xiàn)在支持FP64精度，相比于前代，其為HPC應(yīng)用所提供的計算力比之前提高了多達2.5倍。

20倍的提升之所以是對比2017年發(fā)布的Volta架構(gòu)而不是2018年發(fā)布的圖靈架構(gòu)，雷鋒網(wǎng)（公眾號：雷鋒網(wǎng)）認為主要是因為此前英偉達發(fā)布的兩代AI系統(tǒng)DGX-1和DGX-2都是基于Volta架構(gòu)GPU Tesla V100，今天推出的基于安培架構(gòu)的DGXA100是最新第三代AI系統(tǒng)，把兩者進行對比更有意義。

憑借這些新功能，英偉達A100能夠成為了AI訓練和推理以及科學模擬、對話式AI、推薦系統(tǒng)、基因組學、高性能數(shù)據(jù)分析、地震建模和金融預(yù)測等各種高要求工作負載的理想選擇。

不過，雷鋒網(wǎng)認為，靈活性是性能之外A100更重要的競爭力所在，這個靈活性包括三個層面，第一個層面是A100采用的彈性計算技術(shù)能夠為每項工作分配適量的計算能力，多實例GPU技術(shù)可將每個A100 GPU分割為多達七個獨立實例來執(zhí)行推理任務(wù)。

第二個層面，第三代NVLink互聯(lián)技術(shù)能夠?qū)⒍鄠€A100 GPU合并成一個巨大的GPU來執(zhí)行更大規(guī)模的訓練任務(wù)。

最后一個也是最重要的，安培架構(gòu)的A100既可以做訓練也可以做推理。英偉達給出的數(shù)據(jù)顯示，A100對比前代Telsa V100，進行BERT模型訓練性能提升了6倍，BERT模型推理性能提升了7倍。

2017年發(fā)布Volta架構(gòu)的時候，黃仁勛就說：“從 Volta 開始，英偉達 GPU 將對訓練、推理兼顧，可謂是革命性的突破?！比旰?，他在很大程度上兌現(xiàn)了自己所說的，而這也能夠繼續(xù)保持英偉達在AI市場的領(lǐng)導力。

要把這個問題說清楚就得從最新推出的DGX A100說起。

DGX A100單節(jié)點性能達創(chuàng)紀錄的5 Petaflops

黃仁勛表示，“AI已經(jīng)被應(yīng)用到云計算、汽車、零售、醫(yī)療等眾多領(lǐng)域，AI算法也正變得越來越復雜和多樣。ResNet模型的算力需求從2016年到現(xiàn)在已經(jīng)增加了3000倍，我們需要更好的解決方案。”

為此，英偉達推出了第三代AI系統(tǒng)DGX A100，高達5 Petaflops（每秒一千萬億（10的15次方）次浮點運算）的Al性能刷新的全球最高激勵，并且首次將整個數(shù)據(jù)中心的性能和功能集成到一個靈活的平臺中。

DGXA100系統(tǒng)集成了8個A100 Tensor Core GPU， 具有320GB內(nèi)存用以訓練最大型的AI數(shù)據(jù)集，以及速度可達200Gbps MeLLanox HDR互連。

另外，利用A100的多實例GPU功能，每臺DGXA100系統(tǒng)能夠被分割為多達56個實例，用于加速多個小型工作負載的處理速度。憑借這些功能，企業(yè)可在一個完全集成的軟件定義平臺上根據(jù)自己的需求優(yōu)化計算力和資源，加快數(shù)據(jù)分析、訓練和推理等各種工作負載的速度。

總結(jié)起來，DGX A100有6大技術(shù)特性：

8 個 NVIDIA A100 TensorCore GPU， Al 性能達 5PetafLops， GPU 內(nèi)存共 320GB ，有著每秒 12.4TB的帶寬。

6 個采用第三代NVIDIA NVLink技術(shù)的NVIDIA NVSwitch互聯(lián)結(jié)構(gòu)，4.8TB每秒的雙向帶寬

9個 MeLLanox ConnectX-6 HDR 200Gb/s網(wǎng)絡(luò)接口，提供總計每秒3.6TB的雙向帶寬。 MeLLanox網(wǎng)絡(luò)計算和網(wǎng)絡(luò)加速引擎，例如RDMA、GPUDirect，以 及SHARP技術(shù)，實現(xiàn)最高性能和可擴展性。

15TB Gen4 NVMe 內(nèi)存，速度比 Gen3 NVMe SSDs 快 2 倍。

NVIDIA DGX軟件堆棧，其中包括專為AI和數(shù)據(jù)科學工作負載而優(yōu)化的軟件，能夠?qū)崿F(xiàn)性 能的最大化，使企業(yè)能夠更快獲得AI基礎(chǔ)架構(gòu)投資回報。

DGX A100系統(tǒng)的起售價為19.9萬美元，英偉達已經(jīng)開始銷售DGXA100。19.9萬美元看起來十分昂貴，但其實可以為云服務(wù)提供商降低成本和功耗，這是云服務(wù)提供商的痛點。

黃仁勛說，通過一個價值100萬美元由5個DGX A100系統(tǒng)組成的機架，可以取代當下價值1100萬美元，由50個DGX-1和600個CPU組成的25個機架AI訓練和推理的數(shù)據(jù)中心。并且，功耗也可以由630kW大幅降低至28kW。

也就是說，5個DGXA100組成的系統(tǒng)，實現(xiàn)相同的性能，耗電量為現(xiàn)有數(shù)據(jù)中心系統(tǒng)的1/20，空間為1/25，成本為1/10。

據(jù)悉，DGXA100的首批訂單將送往美國能源部的阿貢國家實驗室（Argonne National Laboratory），該實驗室將運用該集群的Al和計算力來更好地研究和應(yīng)對新冠肺炎。

更厲害的是，英偉達還展示了新一代DGXSuper POD，這個集群由140臺 DGXA100系統(tǒng)組成，AI算力高達700 Petaflops，利用 MeLLanox HDR 200Gbps InfiniBand 互連技術(shù)，NVIDIA 將 140 臺 DGX A100 系統(tǒng)結(jié)合在一起，構(gòu)建了 DGXSuper POD AI超級計算機，用于內(nèi)部對話式AI、基因組學和自動 駕駛等領(lǐng)域的研究。

黃仁勛稱，DGXSuper POD集群是全球速度最快的AI超級計算機之一，其性能相當于此前數(shù)千臺服務(wù)器的性能。憑借DGXA100的企業(yè)就緒型架構(gòu)和性能，NVIDIA得以在不到一個月的時間內(nèi)構(gòu)建了該系統(tǒng)，而以往交付具備這樣能力的超級計算機需要花費數(shù)月甚至數(shù)年的時間來計劃和采購專用的組件。

另外，為幫助客戶構(gòu)建他們自己的由A100提供算力的數(shù)據(jù)中心，英偉達發(fā)布了全新DGX Super POD參考架構(gòu)。還推出了 NVIDIA DGXpert計劃 ， 幫助DGX客戶與英偉達的Al專家建立聯(lián)系。同時，英偉達還推出DGX-Ready軟件計劃，幫助用戶在AI工作流程中充分利用各種經(jīng)過認證的企業(yè)級軟件。

更高性價比，更具靈活性的DGXA100對于全球的云服務(wù)提供商以及研究機構(gòu)顯然都很有吸引力，同樣基于A100的EGXA100也同樣如此。

兩款邊緣AI平臺擴大生態(tài)系統(tǒng)

面向邊緣AI市場，英偉達此次GTC 2020推出了兩款計算平臺，分別是適用于較大型商業(yè)通用服務(wù)器上的EGX A100和適用于微型邊緣服務(wù)器的微型EGX Jetson Xavier NX 。

黃仁勛介紹說，EGXA100聚合加速器和EGX Jetson Xavier NX微型邊緣服務(wù)器分別被設(shè)計用于滿足不同尺寸、成本和性能需求。例如搭載了EGX A100的服務(wù)器可以管理機場中的數(shù)百臺攝像頭，而 EGX Jetson Xavier NX則可用于管理便利店中的少量攝像頭。而云原生技術(shù)支持能夠確保整個EGX產(chǎn)品家族都可以使用同一經(jīng)過優(yōu)化的AI軟件輕松構(gòu)建和部署AI應(yīng)用。

其中，EGXA100是基于安培架構(gòu)的A100 GPU，借助英偉達的MeLLanox ConnectX-6 Dx板載網(wǎng)卡，EGXA100可以每秒接收高達200 Gb的數(shù)據(jù)并將其直接發(fā)送到GPU內(nèi)存以進行AI或 5G信號處理。

EGXA100作為一個云原生軟件定義加速器，可以處理對延遲最敏感的5G應(yīng)用，這為在一個行動點（如：商店、醫(yī)院和工廠車間）做出智能實時決策提供了局性能AI和 5G平臺。

EGX Jetson Xavier NX沒有采用最新GPU，不過英偉達稱其為全球體積最小、性能最強大的Al超級計算機，適用于微型服務(wù)器和邊緣智能物聯(lián)網(wǎng)盒。

據(jù)悉，在EGX Jetson Xavier NX的生態(tài)圈內(nèi)，合作伙伴已提供了超過20種解決方案。可以將英偉達Xavier SoC的性能整合到了一個信用卡大小的模塊中，運行 EGX云原生軟件堆棧的EGX Jetson Xavier NX可以快速處理來自多個高分辨率傳感器的流式數(shù)據(jù)。

值得一提的是，EGX邊緣AI平臺的云原生架構(gòu)使其可以運行容器化的軟件，英偉達應(yīng)用框架包括了用于醫(yī)療領(lǐng)域的Clara、用于電信領(lǐng)域的Aerial、用于對話式AI領(lǐng)域的Jarvis、用于機器人技術(shù)領(lǐng)域的Isaac， 以及用于零售、智慧城市、交通等領(lǐng)域的Mertopolis。

目前整個EGX產(chǎn)品家族均支持云原生技術(shù)，因此智能機器制造商和AI應(yīng)用開發(fā)者們可以在嵌入式及邊緣設(shè)備上構(gòu)建和部署針對機器人技術(shù)、智慧城市、醫(yī)療、工業(yè)物聯(lián)網(wǎng)等領(lǐng)域的的軟件定義功能。

雷鋒網(wǎng)小結(jié)

三年前的5月，黃仁勛發(fā)布了Volta架構(gòu)的Tesla V100 GPU，并推出了基于它的AI系統(tǒng)DGX-1。今天，由于新冠肺炎疫情的影響，本來計劃在三月發(fā)布的最新一代安培架構(gòu)推遲到了5月?；诎才嗉軜?gòu)的首款GPU A100是全球最大的7nm芯片，性能相比Volta架構(gòu)提升最高可以達到20倍，一個架構(gòu)就可以同時應(yīng)用于云端和邊緣端。

更為重要的是，基于A100的DGXA100 AI系統(tǒng)能夠幫助云服務(wù)提供商大幅降低數(shù)據(jù)中心的硬件采購成本和電費支出（這是數(shù)據(jù)中心的重要支出）。同樣基于A100的EGXA100邊緣計算平臺能夠?qū)I應(yīng)用于更多的AI場景以及已經(jīng)開始商用的5G市場。

這種架構(gòu)的靈活性以及產(chǎn)品的靈活組合，能夠讓英偉達昂貴的GPU有高的性價比，而安培架構(gòu)更好實現(xiàn)訓練和推理性能的提升，也更有助于英偉達打造云端和邊緣端一體化的AI產(chǎn)品，保持在AI市場的競爭力。

可以看到，在云端市場英偉達用安培架構(gòu)GPU同時滿足訓練和推理需求，這將在云端AI推理芯片市場占有優(yōu)勢的英特爾帶來更大的競爭壓力，而想要挑戰(zhàn)云端芯片市場的AI芯片的初創(chuàng)公司難度也進一步升級。在邊緣市場，英偉達用高性能、多產(chǎn)品組合去滿足市場豐富的應(yīng)用需求，持續(xù)開拓生態(tài)，要將云端的優(yōu)勢拓展至邊緣端。

這樣看來，已經(jīng)在數(shù)據(jù)中心、汽車、醫(yī)療AI市場都有優(yōu)勢的英偉達，還正在與開源社區(qū)合作為Apache Spark 3.0帶來端到端的GPU加速，正進一步向AI市場發(fā)起了全面的攻勢。這是否意味著英偉達離AI產(chǎn)品收入高于游戲顯卡收入的時代也不遠了？

責任編輯：gt