來源：內(nèi)容由半導(dǎo)體行業(yè)觀察（ID：icbank）編譯自allaboutcircuits

ChatGPT 等生成式人工智能工具對社會眾多領(lǐng)域產(chǎn)生了巨大影響。作為工程師，了解使之成為可能的計算技術(shù)對我們很有幫助。近年來，隨著新技術(shù)以前所未有的速度出現(xiàn)，人工智能取得了重大飛躍。毫無疑問，ChatGPT、Bard 和 Einstein 等工具將影響各個行業(yè)——從媒體和內(nèi)容創(chuàng)建到研究、金融等。這些工具現(xiàn)在可以密切模擬人類對話，能夠理解上下文信息、實時對話，并以極高的精度執(zhí)行從翻譯到總結(jié)的任務(wù)。OpenAI 表示，為了了解這些 AI 技術(shù)的進步速度，“最大規(guī)模的 AI 訓(xùn)練運行所使用的計算量呈指數(shù)級增長，是 3.4 個月的兩倍” 。回顧 80 年代和 90 年代，神經(jīng)網(wǎng)絡(luò)研究活動非常活躍，訓(xùn)練引擎的計算和內(nèi)存與今天的能力相比非常弱。時間快進到 2012 年，摩爾定律的不斷發(fā)展使人工智能能夠有效地執(zhí)行分類——識別圖片和視頻中的對象。與此同時，自然語言處理（NLP）的發(fā)展也至關(guān)重要。

圖：此處顯示的是 2012 年至 2018 年期間用于訓(xùn)練選定結(jié)果的計算總量（以 petaflop/s 天為單位）

隨著 Siri 等工具開始興起，并隨著這些應(yīng)用程序慢慢發(fā)展和演變，顯然下一步就是讓它們生成。一旦這些訓(xùn)練算法能夠快速分類信息、在數(shù)據(jù)之間建立關(guān)聯(lián)并理解所提出的請求，問題就變成了它們是否可以利用這些學(xué)習(xí)成果以可識別的方式有效地組裝新內(nèi)容。得益于半導(dǎo)體行業(yè)在 HBM（高帶寬內(nèi)存）、DDR、異構(gòu)計算等方面的進步，隨著我們進入生成式 AI 新時代的開始，這已成為現(xiàn)實。

硬件如何讓我們走到這一步生成式人工智能的訓(xùn)練和應(yīng)用非常復(fù)雜，需要使用先進的學(xué)習(xí)模型和海量數(shù)據(jù)處理需求。當(dāng)我們今天熟悉的生成式人工智能應(yīng)用程序達到剛剛起步的階段時，計算（尤其是主內(nèi)存）的進步是不可或缺的。尤其是過去十年，由于 DDR DIMM 芯片組和 HBM 接口以及特定領(lǐng)域計算架構(gòu)的代際升級，人工智能訓(xùn)練和推理能力取得了巨大進步。這些都在生成式人工智能開發(fā)中發(fā)揮了關(guān)鍵作用，有助于提高速度、容量和連接性，以滿足日益苛刻的工作負載。用于通過生成式人工智能創(chuàng)建新圖像、音頻和文本的機器學(xué)習(xí)算法需要大量數(shù)據(jù)和快速內(nèi)存才能有效運行。DDR5是 DDR 內(nèi)存的最新標(biāo)準(zhǔn)，可提供更高的數(shù)據(jù)傳輸速率和更低的功耗，與前幾代產(chǎn)品相比，可以在低延遲的情況下實現(xiàn)更高效的數(shù)據(jù)處理。

轉(zhuǎn)向異構(gòu)計算服務(wù)器本身也開始轉(zhuǎn)向異構(gòu)計算架構(gòu)，因為越來越多地使用專用加速器來卸載 CPU 上的專用工作負載。一個示例異構(gòu)計算系統(tǒng)由 CPU、AI 加速器和網(wǎng)絡(luò)處理器組成。它們各自可以執(zhí)行不同類型的計算，以實現(xiàn)生成式人工智能，因為復(fù)雜的計算可以在專用處理單元上更快地執(zhí)行。例如，CPU 將用于通用處理任務(wù)，并且可以將某些任務(wù)卸載到人工智能加速器等專用處理器。AI加速器可以加速張量運算，提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理的速度。網(wǎng)絡(luò)處理器可以提高數(shù)據(jù)通過網(wǎng)絡(luò)移動到服務(wù)器中的CPU和AI加速器的速度。通過利用每個處理單元的優(yōu)勢，生成式人工智能可以以更高的效率提供高質(zhì)量的數(shù)據(jù)。處理器和 CXL 等新標(biāo)準(zhǔn)促進的內(nèi)存緩存一致性在這方面也發(fā)揮著關(guān)鍵作用，因為它支持 CPU 和加速器之間的內(nèi)存資源共享。

加速人工智能訓(xùn)練這些處理器極大地加快了人工智能訓(xùn)練和推理的速度，降低了總擁有成本并實現(xiàn)了更大的可擴展性?？偠灾@使得研究人員能夠超越分類而進入內(nèi)容生成本身。這些改進對這些模型學(xué)習(xí)速度的影響所產(chǎn)生的累積效應(yīng)如今已顯而易見。就在過去的幾個月里，我們看到 ChatGPT 取得了突飛猛進的進步。根據(jù)ABA Journal 的一篇文章，這項曾經(jīng)在 2022 年 11 月進行試驗的新技術(shù)現(xiàn)在已經(jīng)足以在幾個月后通過律師考試，排名前 10% 。雖然當(dāng)前的能力展示了人工智能令人印象深刻的潛力，但它們僅僅觸及了未來可以實現(xiàn)的目標(biāo)的表面。當(dāng)我們開始考慮這些技術(shù)如何徹底改變我們的溝通和開展業(yè)務(wù)的方式時，一個新的問題出現(xiàn)了：生成人工智能的下一個可能階段是什么？

半導(dǎo)體和 ChatGPT 的下一階段ChatGPT 和類似工具的發(fā)展速度如此之快，更先進的功能將很快進入主流。人工智能將超越文本和語音輸入，并有可能在新的未來包含解釋情感和細微差別等新功能。這將改變客戶服務(wù)、娛樂、游戲和更多行業(yè)的游戲規(guī)則，但我們?nèi)绾螌崿F(xiàn)這一目標(biāo)？硬件的快速發(fā)展表明，行業(yè)很快就達到了現(xiàn)有硬件的極限。為了繼續(xù)推動人工智能向前發(fā)展，為生成式人工智能提供動力的硬件必須具有更先進的計算能力以及更高帶寬的內(nèi)存互連和存儲。這將需要半導(dǎo)體行業(yè)的快節(jié)奏創(chuàng)新，以及解決內(nèi)存和處理之間瓶頸的承諾和協(xié)調(diào)努力。

一個全方位的行業(yè)隨著新需求的出現(xiàn)，繼續(xù)以目前的速度前進將具有挑戰(zhàn)性。值得慶幸的是，業(yè)界正在“全力以赴”推動內(nèi)存的改進，內(nèi)存一直在支持計算范式的開發(fā)中發(fā)揮著重要作用。如果沒有半導(dǎo)體行業(yè)生產(chǎn)更快的芯片和互連的能力，在過去 11 年里，最大規(guī)模的 AI 訓(xùn)練運行所使用的計算量不會增長 300,000 倍。即將出現(xiàn)的新技術(shù)展示了業(yè)界在推進內(nèi)存技術(shù)和探索新架構(gòu)以繼續(xù)改進人工智能方面的投資。