專為生成式AI設(shè)計的GPU：HBM密度是英偉達(dá)H100的2.4倍，帶寬是英偉達(dá)H100的1.6倍。

英偉達(dá)的頭號勁敵AMD，終于放出了令人期待已久的AI大招。

2014年，蘇姿豐成為AMD CEO時，這家芯片企業(yè)正瀕臨生存危機(jī)，裁員約1/4，股價徘徊在2美元。隨后在蘇姿豐的掌舵之下，AMD完成了漂亮的轉(zhuǎn)身，9年來股價飆升近30倍，對英偉達(dá)和英特爾兩家頂級芯片巨頭形成了制衡。 隨著生成式AI颶風(fēng)席卷全球，英偉達(dá)GPU被各家大廠爭相搶購，焦點很快轉(zhuǎn)移到AMD身上——AMD能否生產(chǎn)出足夠強(qiáng)大的AI芯片來打破英偉達(dá)近乎壟斷的市場地位，抓住新一波AI浪潮？ 今日，AMD交出階段性答卷。

在展示下一代AI芯片MI300X加速器時，蘇姿豐滿面笑容地說：“我愛這顆芯片”。 MI300X是一個純GPU版本，采用AMD CDNA 3技術(shù)，使用多達(dá)192 GB的HBM3高帶寬內(nèi)存來加速大型語言模型和生成式AI計算。 AMD主要客戶將在第三季度開始試用MI300X，第四季度開始全面生產(chǎn)。另一種型號Instinct MI300A現(xiàn)在正在向客戶發(fā)售。 蘇姿豐說，人工智能是AMD“最大、最具戰(zhàn)略意義的長期增長機(jī)會”。 現(xiàn)場，AMD與明星AI獨角獸企業(yè)Hugging Face宣布了一項新的合作伙伴關(guān)系，為AMD的CPU、GPU和其他AI硬件優(yōu)化他們的模型。

除了AI芯片外，AMD還推出專為云計算和超大規(guī)模用戶設(shè)計的全新EPYC服務(wù)器處理器，代號為Bergamo，每個插槽最多包含128個內(nèi)核，并針對各種容器化工作負(fù)載進(jìn)行了優(yōu)化。 亞馬遜旗下云計算部門AWS、甲骨文云、Meta、微軟Azure的高管均來到現(xiàn)場，分享在其數(shù)據(jù)中心使用AMD芯片及軟件的感受。

01. 加速生成式AI： 192GB HBM3，單個GPU跑大模型

此前，AMD Instinct GPU已經(jīng)被許多世界上最快的超級計算機(jī)采用。

MI300X加速器是AMD Instinct MI300系列的新成員，提供一個僅有GPU配置的芯片版本。

MI300X及其CDNA架構(gòu)專為大型語言模型和其他先進(jìn)AI模型而設(shè)計，將12個5nm chiplets封裝在一起，共有1530億顆晶體管。

這款全新AI芯片舍棄了APU的24個Zen內(nèi)核和I/O芯片，轉(zhuǎn)而采用更多的CDNA 3 GPU和更大的192GB HBM3，提供5.2 TB/s的內(nèi)存帶寬和896GB/s的無限帶寬。

MI300X的HBM密度是英偉達(dá)H100的2.4倍，帶寬是英偉達(dá)H100的1.6倍，這意味著AMD可以運行比英偉達(dá)芯片更大的模型。

AMD演示了在單個MI300X GPU上運行擁有400億個參數(shù)的Falcon-40B大型語言模型，讓它寫了一首關(guān)于舊金山的詩。

“模型尺寸變得越來越大，你需要多個GPU來運行最新的大型語言模型，”蘇姿豐說，隨著AMD芯片上內(nèi)存增加，開發(fā)者將不需要那么多GPU。

另一款MI300A被蘇姿豐稱作“面向AI和高性能計算的全球首款A(yù)PU加速器”，將多個CPU、GPU和高帶寬內(nèi)存封在一起，在13個chiplets上擁有1460億顆晶體管。

MI300A采用5nm和6nm制程、CDNA 3 GPU架構(gòu)，搭配24個Zen 4核心、128GB HBM3，相比MI250提供了8倍以上的性能和5倍以上的效率。 AMD還公布了一種AMD Infinity架構(gòu)。該架構(gòu)將8個 MI300X加速器連接在一個考慮了AI推理和訓(xùn)練的標(biāo)準(zhǔn)系統(tǒng)中，提供共1.5TB HBM3內(nèi)存。

據(jù)臺媒報道，AMD的Instinct MI300系列以及英偉達(dá)的H100/H800系列GPU都在采用臺積電先進(jìn)的后端3D封裝方法CoWoS，導(dǎo)致臺積電CoWoS產(chǎn)能短缺將持續(xù)存在。臺積電目前有能力每月處理大約8000片CoWoS晶圓，其中英偉達(dá)和AMD合計占了大約70%到80%。

此外，英偉達(dá)近年備受開發(fā)者偏愛的一大關(guān)鍵護(hù)城河是CUDA軟件。AMD 總裁Victor Peng也展示了AMD在開發(fā)軟件生態(tài)方面所做的努力。 AMD計劃在AI軟件生態(tài)系統(tǒng)開發(fā)中采用“開放（Open）、成熟（Proven）、就緒（Ready）”的理念。

AMD的ROCm是一套完整的庫和工具，用于優(yōu)化AI軟件棧。不同于CUDA，這是一個開放的平臺。

AMD還分享了PyTorch與ROCm的合作。新的PyTorch 2.0的速度幾乎是之前版本的兩倍。AMD是PyTorch基金會的創(chuàng)始成員之一。

AMD正在不斷優(yōu)化ROCm。Victor Peng說：“雖然這是一段旅程，但我們在構(gòu)建可與模型、庫、框架和工具的開放生態(tài)系統(tǒng)協(xié)同工作的強(qiáng)大軟件棧方面取得了真正的巨大進(jìn)步?！?/p>

02. 云原生處理器Bergamo： 128核，256個線程，最高vCPU密度

再來看下AMD的數(shù)據(jù)中心CPU。 蘇姿豐首先分享了AMD EPYC處理器的進(jìn)展，特別是在全球范圍內(nèi)可用的云計算實例方面。

她強(qiáng)調(diào)說，AMD第四代EPYC Genoa處理器在云計算工作負(fù)載方面的性能是英特爾競品的1.8倍，在企業(yè)工作負(fù)載方面的性能提高到1.9倍。

絕大多數(shù)AI都在CPU上運行，AMD稱，與英特爾至強(qiáng)8490H相比，第四代EPYC在性能上遙遙領(lǐng)先，性能優(yōu)勢高出1.9倍。

蘇姿豐說，云原生處理器以吞吐量為導(dǎo)向，需要最高的性能、可擴(kuò)展性、計算密度和能效。

新發(fā)布的Bergamo，便是云原生處理器市場的入口。

該芯片有820億顆晶體管，提供了最高的vCPU密度。

在大散熱器下，有一個表面看起來非常像以前的EPYC的芯片，跟與Rome或Milan一樣有中央I/O芯片和8個核心復(fù)合芯片（CCD）。

Bergamo的每個插槽有多達(dá)128個核心、256個線程，分布在8個CCD上，每個CCD的核心數(shù)量是Genoa 16個核心的兩倍，采用比標(biāo)準(zhǔn)Zen 4內(nèi)核提供更高密度的全新Zen 4c核心設(shè)計，并支持一致的x86 ISA。

“Zen 4c針對性能和功耗的最佳平衡點進(jìn)行了優(yōu)化，這為我們提供了更好的密度和能效，”蘇姿豐在演講中談道，“結(jié)果設(shè)計面積縮小了35%，每瓦性能顯著提高?！?/p>

Bergamo現(xiàn)在正在向AMD的云客戶發(fā)貨。AMD還分享了第四代EPYC 9754與英特爾至強(qiáng)8490H的性能、密度和能效和對比：

除了Bergamo的新核心和Chiplet架構(gòu)之外，該處理器與Genoa有很多共同之處，包括支持12通道DDR5內(nèi)存、最新PCIe 5.0、單插槽或雙插槽配置等等。 不過，多核心不再只是AMD處理器獨有的特色。

不久之前，數(shù)據(jù)中心處理器新起之秀Ampere Computing剛推出擁有多達(dá)192個單線程Ampere核心的Ampere One系列處理器。

英特爾也計劃在2024年初推出內(nèi)核優(yōu)化的至強(qiáng)處理器Sierra Forest，將內(nèi)置144個高效能核心。 AMD還展示了其最新的緩存堆疊X芯片，代號為Genoa-X，現(xiàn)已上市。

該芯片針對高性能計算工作負(fù)載，包括計算流體動力學(xué)、電子設(shè)計自動化、有限元分析、地震層析成像及其他帶寬敏感型工作負(fù)載，這些工作負(fù)載受益于大量共享緩存。

Genoa-X CPU基于AMD的標(biāo)準(zhǔn)Genoa平臺，采用AMD 3D V-Cache技術(shù)，通過在每個CCD上垂直堆疊SRAM模塊來提高可用的L3緩存。

該芯片可提供多達(dá)96個內(nèi)核和總計1.1GB的L3高速緩存，每個CCD上堆疊了一個64MB SRAM塊。 據(jù)AMD披露的數(shù)據(jù)，在各種計算流體動力學(xué)和有限元分析工作負(fù)載方面，與英特爾最高規(guī)格的60核Sapphire Rapids至強(qiáng)相比，Genoa-X緩存提升的性能提高到2.2倍到2.9倍。

03. 即將推出全新DPU

最后，AMD簡要介紹了其網(wǎng)絡(luò)基礎(chǔ)設(shè)施。 去年AMD以19億美元收購Pensando，進(jìn)入DPU賽道。AMD解釋了如何使用其DPU來減少數(shù)據(jù)中心的網(wǎng)絡(luò)開銷。

AMD將其P4 DPU架構(gòu)稱作“世界上最智能的DPU”，并稱其Pensando SmartNIC是新數(shù)據(jù)中心架構(gòu)不可或缺的一部分。

AMD還在現(xiàn)場展示了與Aruba Networks共同開發(fā)的智能交換機(jī)。AMD計劃將P4 DPU卸載集成到網(wǎng)絡(luò)交換機(jī)本身，從而提供機(jī)架級服務(wù)。

AMD最新的DPU旨在從CPU卸載網(wǎng)絡(luò)、安全和虛擬化任務(wù)，與當(dāng)前一代P4 DPU相比將提供更高的性能和能效。 其DPU已得到微軟、IBM云、甲骨文云等許多主要云提供商以及VMware虛擬機(jī)管理程序等軟件套件的支持。 AMD打算在今年晚些時候推出Giglio DPU之前擴(kuò)大兼容軟件列表，推出“芯片軟件開發(fā)工具包”，以便用戶更輕松地在其DPU上部署工作負(fù)載。

04. 結(jié)語：到2027年，數(shù)據(jù)中心AI加速器 市場規(guī)模將超過1500億美元

全球數(shù)據(jù)中心GPU和CPU的頭部企業(yè)英偉達(dá)和英特爾均在強(qiáng)調(diào)其加速AI的實力。作為這兩條賽道“萬年老二”的AMD，也在競相滿足對AI計算日益增長的需求，并通過推出適應(yīng)最新需求的數(shù)據(jù)中心GPU來挑戰(zhàn)英偉達(dá)在新興市場的主導(dǎo)地位。

生成式AI和大型語言模型的應(yīng)用熱潮正在將數(shù)據(jù)中心推向極限。截至目前，英偉達(dá)在提供處理這些工作負(fù)載所需的技術(shù)方面具有優(yōu)勢。根據(jù)市場調(diào)研機(jī)構(gòu)New Street Research的數(shù)據(jù)，英偉達(dá)占據(jù)了可用于機(jī)器學(xué)習(xí)的GPU市場的95%。 “我們?nèi)蕴幱贏I生命周期的非常、非常早的階段，”蘇姿豐預(yù)測，到2027年，數(shù)據(jù)中心AI加速器總潛在市場規(guī)模將增長5倍，從今年的300億美元左右以超過50%的復(fù)合年增長率增長到2027年的1500億美元以上。

AMD并未透露兩款MI300新芯片的價格，但這可能會給英偉達(dá)帶來一定價格壓力，之前H100價格據(jù)傳高達(dá)30000美元乃至更多。




審核編輯：劉清