ChatGPT需要怎樣的芯片？
最近，以ChatGPT為首的生成類模型已經(jīng)成為了人工智能的新熱點(diǎn)，硅谷的微軟、谷歌等都紛紛大舉投資此類技術(shù)（微軟100億美元入股ChatGPT背后的OpenAI，谷歌也于近日發(fā)布了自研的BARD模型），而在中國(guó)以百度等為代表的互聯(lián)網(wǎng)科技公司也紛紛表示正在研發(fā)此類技術(shù)并且將于近期上線。以ChatGPT為代表的生成類模型有一個(gè)共同的特點(diǎn)，就是使用了海量數(shù)據(jù)做預(yù)訓(xùn)練，并且往往會(huì)搭配一個(gè)較為強(qiáng)大的語(yǔ)言模型。語(yǔ)言模型主要的功能是從海量的現(xiàn)有語(yǔ)料庫(kù)中進(jìn)行學(xué)習(xí)，在經(jīng)過(guò)學(xué)習(xí)之后可以理解用戶的語(yǔ)言指令，或者更進(jìn)一步根據(jù)用戶的指令去生成相關(guān)的文字輸出。生成類模型大致可以分成兩大類，一類是語(yǔ)言類生成模型，另一類是圖像類生成模型。語(yǔ)言類生成模型以ChatGPT為代表，如前所述其語(yǔ)言模型不僅可以學(xué)習(xí)理解用戶指令的意義（例如，“寫一首詩(shī)，李白風(fēng)格的”），而且在經(jīng)過(guò)海量數(shù)據(jù)訓(xùn)練之后，還能夠根據(jù)用戶的指令生成相關(guān)的文字（在上例中就是寫一首李白風(fēng)格的詩(shī)）。這意味著ChatGPT需要有一個(gè)足夠大的語(yǔ)言模型（Large Language Model，LLM）來(lái)理解用戶的語(yǔ)言，并且能有高質(zhì)量的語(yǔ)言輸出——例如該模型必須能理解如何生成詩(shī)歌，如何生成李白風(fēng)格的詩(shī)歌等等。這也意味著語(yǔ)言類生成式人工智能中的大語(yǔ)言模型需要非常多的參數(shù)，才能完成這類復(fù)雜的學(xué)習(xí)并且記住如此多的信息。以ChatGPT為例，其參數(shù)量高達(dá)1750億（使用標(biāo)準(zhǔn)浮點(diǎn)數(shù)的話會(huì)占用700GB的存儲(chǔ)空間），其語(yǔ)言模型之“大”可見(jiàn)一斑。
生成類模型對(duì)于芯片的需求如前所述，以ChatGPT為代表生成類模型需要在海量的訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)，才能實(shí)現(xiàn)高質(zhì)量的生成輸出。為了支持高效率訓(xùn)練和推理，生成類模型對(duì)于相關(guān)芯片也有自己的需求。首先就是對(duì)于分布式計(jì)算的需求。ChatGPT這類語(yǔ)言類生成模型的參數(shù)量高達(dá)千億，幾乎不可能使用單機(jī)訓(xùn)練和推理，而必須大量使用分布式計(jì)算。在進(jìn)行分布式計(jì)算時(shí)，對(duì)于機(jī)器之間的數(shù)據(jù)互聯(lián)帶寬，以及計(jì)算芯片對(duì)于這類分布式計(jì)算（例如RDMA）就有了很大的需求，因?yàn)楹芏鄷r(shí)候任務(wù)的瓶頸可能并不在計(jì)算，而是在數(shù)據(jù)互聯(lián)上面，尤其是在此類大規(guī)模分布式計(jì)算中，芯片對(duì)于分布式計(jì)算的高效率支持更加成為了關(guān)鍵。其次是內(nèi)存容量和帶寬。雖然對(duì)于語(yǔ)言類生成模型分布式訓(xùn)練和推理不可避免，但是每個(gè)芯片的本地內(nèi)存和帶寬也將很大程度上決定單個(gè)芯片的執(zhí)行效率（因?yàn)槊總€(gè)芯片的內(nèi)存都被使用到了極限）。對(duì)于圖像類生成模型來(lái)說(shuō)，可以把模型（20GB左右）都放在芯片的內(nèi)存中，但是隨著未來(lái)圖像生成類模型的進(jìn)一步演進(jìn)，它對(duì)于內(nèi)存的需求可能也會(huì)進(jìn)一步提升。在這個(gè)角度來(lái)看，以HBM為代表的超高帶寬內(nèi)存技術(shù)將會(huì)成為相關(guān)加速芯片的必然選擇，同時(shí)生成類模型也會(huì)加速HBM內(nèi)存進(jìn)一步增大容量和增大帶寬。除了HBM之外，CXL等新的存儲(chǔ)技術(shù)加上軟件的優(yōu)化也有將在這類應(yīng)用中增加本地存儲(chǔ)的容量和性能，估計(jì)會(huì)從生成類模型的崛起中獲得更多的工業(yè)界采用。最后是計(jì)算，無(wú)論是語(yǔ)言類還是圖像類生成類模型的計(jì)算需求都很大，而圖像類生成模型隨著生成分辨率越來(lái)越高以及走向視頻應(yīng)用，對(duì)于算力的需求可能會(huì)大大提升——目前的主流圖像生成模型的計(jì)算量在20 TFlops左右，而隨著走向高分辨率和圖像，100-1000 TFLOPS的算力需求很有可能會(huì)是標(biāo)準(zhǔn)。
GPU和新AI芯片，誰(shuí)更有機(jī)會(huì)生成式模型對(duì)于芯片有了新的需求，對(duì)于GPU（以Nvidia和AMD為代表）和新AI芯片（以Habana，GraphCore為代表），誰(shuí)更有機(jī)會(huì)能抓住這個(gè)新的需求和市場(chǎng)？首先，從語(yǔ)言類生成模型來(lái)看，由于參數(shù)量巨大，需要很好的分布式計(jì)算支持，因此目前在這類生態(tài)上已經(jīng)有完整布局的GPU廠商更有優(yōu)勢(shì)。這是一個(gè)系統(tǒng)工程問(wèn)題，需要完整的軟件和硬件解決方案，而在這個(gè)方面，Nvidia已經(jīng)結(jié)合其GPU推出了Triton解決方案。Triton支持分布式訓(xùn)練和分布式推理，可以把一個(gè)模型分成多個(gè)部分到不同的GPU上去處理，從而解決參數(shù)量過(guò)大一個(gè)GPU的主存無(wú)法容納的問(wèn)題。未來(lái)無(wú)論是直接使用Triton，還是在Triton的基礎(chǔ)上做進(jìn)一步開(kāi)發(fā)，都是擁有完整生態(tài)的GPU更加方便一點(diǎn)。從計(jì)算上來(lái)看，由于語(yǔ)言類生成模型的主要計(jì)算就是矩陣計(jì)算，而矩陣計(jì)算本身就是GPU的強(qiáng)項(xiàng)，因此從這一點(diǎn)來(lái)看新的AI芯片相比GPU的優(yōu)勢(shì)并不明顯。從圖像類生成模型來(lái)看，這類模型的參數(shù)量雖然也很大但是比語(yǔ)言類生成模型要小一到兩個(gè)數(shù)量級(jí)，此外其計(jì)算中還是會(huì)大量用到卷積計(jì)算，因此在推理應(yīng)用中，如果能做非常好的優(yōu)化的話，AI芯片可能有一定機(jī)會(huì)。這里的優(yōu)化包括大量的片上存儲(chǔ)來(lái)容納參數(shù)和中間計(jì)算結(jié)果，對(duì)于卷積以及矩陣運(yùn)算的高效支持等。總體來(lái)說(shuō)，目前這一代AI芯片在設(shè)計(jì)的時(shí)候主要針對(duì)的是更小的模型（參數(shù)量在億級(jí)別，計(jì)算量在1TOPS級(jí)別），而生成模型的需求相對(duì)而言還是比原來(lái)的設(shè)計(jì)目標(biāo)要大不少。GPU在設(shè)計(jì)時(shí)以效率為代價(jià)換取了更高的靈活度，而AI芯片設(shè)計(jì)則是反其道而行之，追求目標(biāo)應(yīng)用的效率，因此我們認(rèn)為在未來(lái)一兩年內(nèi)，GPU仍將會(huì)在此類生成式模型加速中獨(dú)占鰲頭，但是隨著生成式模型設(shè)計(jì)更加穩(wěn)定，AI芯片設(shè)計(jì)有時(shí)間能追趕上生成式模型的迭代后，AI芯片有機(jī)會(huì)從效率的角度在生成式模型領(lǐng)域超越GPU。
入群請(qǐng)加小編微信：eetrend89
Imagination Technologies是一家總部位于英國(guó)的公司，致力于研發(fā)芯片和軟件知識(shí)產(chǎn)權(quán)（IP），基于Imagination IP的產(chǎn)品已在全球數(shù)十億人的電話、汽車、家庭和工作 場(chǎng)所中使用。獲取更多物聯(lián)網(wǎng)、智能穿戴、通信、汽車電子、圖形圖像開(kāi)發(fā)等前沿技術(shù)信息，歡迎關(guān)注 Imagination Tech！
生成類模型對(duì)于芯片的需求如前所述，以ChatGPT為代表生成類模型需要在海量的訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)，才能實(shí)現(xiàn)高質(zhì)量的生成輸出。為了支持高效率訓(xùn)練和推理，生成類模型對(duì)于相關(guān)芯片也有自己的需求。首先就是對(duì)于分布式計(jì)算的需求。ChatGPT這類語(yǔ)言類生成模型的參數(shù)量高達(dá)千億，幾乎不可能使用單機(jī)訓(xùn)練和推理，而必須大量使用分布式計(jì)算。在進(jìn)行分布式計(jì)算時(shí)，對(duì)于機(jī)器之間的數(shù)據(jù)互聯(lián)帶寬，以及計(jì)算芯片對(duì)于這類分布式計(jì)算（例如RDMA）就有了很大的需求，因?yàn)楹芏鄷r(shí)候任務(wù)的瓶頸可能并不在計(jì)算，而是在數(shù)據(jù)互聯(lián)上面，尤其是在此類大規(guī)模分布式計(jì)算中，芯片對(duì)于分布式計(jì)算的高效率支持更加成為了關(guān)鍵。其次是內(nèi)存容量和帶寬。雖然對(duì)于語(yǔ)言類生成模型分布式訓(xùn)練和推理不可避免，但是每個(gè)芯片的本地內(nèi)存和帶寬也將很大程度上決定單個(gè)芯片的執(zhí)行效率（因?yàn)槊總€(gè)芯片的內(nèi)存都被使用到了極限）。對(duì)于圖像類生成模型來(lái)說(shuō)，可以把模型（20GB左右）都放在芯片的內(nèi)存中，但是隨著未來(lái)圖像生成類模型的進(jìn)一步演進(jìn)，它對(duì)于內(nèi)存的需求可能也會(huì)進(jìn)一步提升。在這個(gè)角度來(lái)看，以HBM為代表的超高帶寬內(nèi)存技術(shù)將會(huì)成為相關(guān)加速芯片的必然選擇，同時(shí)生成類模型也會(huì)加速HBM內(nèi)存進(jìn)一步增大容量和增大帶寬。除了HBM之外，CXL等新的存儲(chǔ)技術(shù)加上軟件的優(yōu)化也有將在這類應(yīng)用中增加本地存儲(chǔ)的容量和性能，估計(jì)會(huì)從生成類模型的崛起中獲得更多的工業(yè)界采用。最后是計(jì)算，無(wú)論是語(yǔ)言類還是圖像類生成類模型的計(jì)算需求都很大，而圖像類生成模型隨著生成分辨率越來(lái)越高以及走向視頻應(yīng)用，對(duì)于算力的需求可能會(huì)大大提升——目前的主流圖像生成模型的計(jì)算量在20 TFlops左右，而隨著走向高分辨率和圖像，100-1000 TFLOPS的算力需求很有可能會(huì)是標(biāo)準(zhǔn)。
綜上所述，我們認(rèn)為生成類模型對(duì)于芯片的需求包括了分布式計(jì)算，存儲(chǔ)以及計(jì)算，可謂是涉及了芯片設(shè)計(jì)的方方面面，而更重要的是如何把這些需求都以合理的方法結(jié)合到一起來(lái)確保某一個(gè)單獨(dú)的方面不會(huì)成為瓶頸，這也將會(huì)成為一個(gè)芯片設(shè)計(jì)系統(tǒng)工程的問(wèn)題。
GPU和新AI芯片，誰(shuí)更有機(jī)會(huì)生成式模型對(duì)于芯片有了新的需求，對(duì)于GPU（以Nvidia和AMD為代表）和新AI芯片（以Habana，GraphCore為代表），誰(shuí)更有機(jī)會(huì)能抓住這個(gè)新的需求和市場(chǎng)？首先，從語(yǔ)言類生成模型來(lái)看，由于參數(shù)量巨大，需要很好的分布式計(jì)算支持，因此目前在這類生態(tài)上已經(jīng)有完整布局的GPU廠商更有優(yōu)勢(shì)。這是一個(gè)系統(tǒng)工程問(wèn)題，需要完整的軟件和硬件解決方案，而在這個(gè)方面，Nvidia已經(jīng)結(jié)合其GPU推出了Triton解決方案。Triton支持分布式訓(xùn)練和分布式推理，可以把一個(gè)模型分成多個(gè)部分到不同的GPU上去處理，從而解決參數(shù)量過(guò)大一個(gè)GPU的主存無(wú)法容納的問(wèn)題。未來(lái)無(wú)論是直接使用Triton，還是在Triton的基礎(chǔ)上做進(jìn)一步開(kāi)發(fā)，都是擁有完整生態(tài)的GPU更加方便一點(diǎn)。從計(jì)算上來(lái)看，由于語(yǔ)言類生成模型的主要計(jì)算就是矩陣計(jì)算，而矩陣計(jì)算本身就是GPU的強(qiáng)項(xiàng)，因此從這一點(diǎn)來(lái)看新的AI芯片相比GPU的優(yōu)勢(shì)并不明顯。從圖像類生成模型來(lái)看，這類模型的參數(shù)量雖然也很大但是比語(yǔ)言類生成模型要小一到兩個(gè)數(shù)量級(jí)，此外其計(jì)算中還是會(huì)大量用到卷積計(jì)算，因此在推理應(yīng)用中，如果能做非常好的優(yōu)化的話，AI芯片可能有一定機(jī)會(huì)。這里的優(yōu)化包括大量的片上存儲(chǔ)來(lái)容納參數(shù)和中間計(jì)算結(jié)果，對(duì)于卷積以及矩陣運(yùn)算的高效支持等。總體來(lái)說(shuō)，目前這一代AI芯片在設(shè)計(jì)的時(shí)候主要針對(duì)的是更小的模型（參數(shù)量在億級(jí)別，計(jì)算量在1TOPS級(jí)別），而生成模型的需求相對(duì)而言還是比原來(lái)的設(shè)計(jì)目標(biāo)要大不少。GPU在設(shè)計(jì)時(shí)以效率為代價(jià)換取了更高的靈活度，而AI芯片設(shè)計(jì)則是反其道而行之，追求目標(biāo)應(yīng)用的效率，因此我們認(rèn)為在未來(lái)一兩年內(nèi)，GPU仍將會(huì)在此類生成式模型加速中獨(dú)占鰲頭，但是隨著生成式模型設(shè)計(jì)更加穩(wěn)定，AI芯片設(shè)計(jì)有時(shí)間能追趕上生成式模型的迭代后，AI芯片有機(jī)會(huì)從效率的角度在生成式模型領(lǐng)域超越GPU。
END
歡迎加入Imagination GPU與人工智能交流2群入群請(qǐng)加小編微信：eetrend89（添加請(qǐng)備注公司名和職稱）
推薦閱讀 對(duì)話Imagination中國(guó)區(qū)董事長(zhǎng)：以GPU為支點(diǎn)加強(qiáng)軟硬件協(xié)同，助力數(shù)字化轉(zhuǎn)型【有獎(jiǎng)下載】IMG DXT GPU 讓光線追蹤觸手可及
Imagination Technologies是一家總部位于英國(guó)的公司，致力于研發(fā)芯片和軟件知識(shí)產(chǎn)權(quán)（IP），基于Imagination IP的產(chǎn)品已在全球數(shù)十億人的電話、汽車、家庭和工作 場(chǎng)所中使用。獲取更多物聯(lián)網(wǎng)、智能穿戴、通信、汽車電子、圖形圖像開(kāi)發(fā)等前沿技術(shù)信息，歡迎關(guān)注 Imagination Tech！原文標(biāo)題：ChatGPT需要怎樣的芯片？
文章出處：【微信公眾號(hào)：Imagination Tech】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
imagination
+關(guān)注
關(guān)注
1文章
577瀏覽量
61455
原文標(biāo)題：ChatGPT需要怎樣的芯片？
文章出處：【微信號(hào)：Imgtec，微信公眾號(hào)：Imagination Tech】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
OpenAI免費(fèi)開(kāi)放ChatGPT搜索功能
的優(yōu)勢(shì)。它能夠以更快的速度抓取網(wǎng)絡(luò)信息，實(shí)現(xiàn)分鐘級(jí)別的內(nèi)容解析。這對(duì)于股票、體育、財(cái)經(jīng)等需要迅速獲取最新新聞內(nèi)容的行業(yè)來(lái)說(shuō)，無(wú)疑是一個(gè)巨大的福音。用戶能夠第一時(shí)間掌握行業(yè)動(dòng)態(tài)，做出更加明智的決策。 此外，ChatGPT搜索還借助了大模型的能力
大聯(lián)大推出基于MediaTek Genio 130與ChatGPT的AI語(yǔ)音助理方案
大聯(lián)大控股，作為亞太地區(qū)市場(chǎng)領(lǐng)先的半導(dǎo)體元器件分銷商，近日宣布了一項(xiàng)重要?jiǎng)?chuàng)新。其旗下子公司品佳，成功推出了基于聯(lián)發(fā)科技(MediaTek)Genio 130芯片與ChatGPT功能的AI語(yǔ)音助理方案
OpenAI推出ChatGPT搜索功能
近日，OpenAI再次邁出了重要的一步，為其廣受好評(píng)的ChatGPT平臺(tái)添加了一項(xiàng)全新的搜索功能。 據(jù)悉，這項(xiàng)被命名為“ChatGPT搜索”的新功能，將為用戶帶來(lái)前所未有的搜索體驗(yàn)。以往，當(dāng)用戶需要
ChatGPT：怎樣打造智能客服體驗(yàn)的重要工具？
ChatGPT作為智能對(duì)話生成模型，可以幫助打造智能客服體驗(yàn)的重要工具。以下是一些方法和步驟：1.數(shù)據(jù)收集和準(zhǔn)備：收集和整理與客服相關(guān)的數(shù)據(jù)，包括常見(jiàn)問(wèn)題、回答示例、客戶對(duì)話記錄等。這將用于訓(xùn)練
怎樣搭建基于 ChatGPT 的聊天系統(tǒng)
理解ChatGPT和API ChatGPT是由OpenAI開(kāi)發(fā)的一種先進(jìn)的自然語(yǔ)言處理模型，它能夠理解和生成自然語(yǔ)言文本。要使用ChatGPT，你需要訪問(wèn)其API。OpenAI提供了
ChatGPT 適合哪些行業(yè)
ChatGPT 是一種基于人工智能的自然語(yǔ)言處理技術(shù)，它能夠理解和生成人類語(yǔ)言。這種技術(shù)在多個(gè)行業(yè)中都有廣泛的應(yīng)用潛力。以下是一些ChatGPT特別適合的行業(yè)，以及它在這些行業(yè)中可能的應(yīng)用方式
如何使用 ChatGPT 進(jìn)行內(nèi)容創(chuàng)作
使用ChatGPT進(jìn)行內(nèi)容創(chuàng)作是一個(gè)高效且富有創(chuàng)意的過(guò)程。以下是一些關(guān)鍵步驟和建議，幫助您充分利用ChatGPT進(jìn)行內(nèi)容創(chuàng)作： 一、準(zhǔn)備階段 注冊(cè)與登錄 ： 確保您已注冊(cè)ChatGPT賬號(hào)，并登錄
華納云：ChatGPT 登陸 Windows
ChatGPT 現(xiàn)已在 Windows 上推出。 今天，OpenAI宣布已開(kāi)始預(yù)覽其 AI 聊天機(jī)器人平臺(tái)ChatGPT的專用 Windows 應(yīng)用程序。 OpenAI 表示， ChatGPT
用launch pad燒錄chatgpt_demo項(xiàng)目會(huì)有api key報(bào)錯(cuò)的原因？
我用launch pad燒錄chatgpt_demo項(xiàng)目問(wèn)題會(huì)有api key報(bào)錯(cuò)；請(qǐng)問(wèn)用launch pad要如何設(shè)置api key和調(diào)試？還是只能通過(guò)idf?
發(fā)表于 06-27 07:59
使用espbox lite進(jìn)行chatgpt_demo的燒錄報(bào)錯(cuò)是什么原因？
我使用espbox lite進(jìn)行chatgpt_demo的燒錄
我的idf是v5.1release版本的，espbox是master版本的
在編譯時(shí)似乎沒(méi)有什么問(wèn)題
在燒錄時(shí)報(bào)錯(cuò)
請(qǐng)問(wèn)這是什么原因
發(fā)表于 06-11 08:45
OpenAI 深夜拋出王炸 “ChatGPT- 4o”， “她” 來(lái)了
當(dāng)?shù)貢r(shí)間5月13日OpenAI推出ChatGPT-4o，代表了人工智能向前邁出的一大步。在GPT-4turbo的強(qiáng)大基礎(chǔ)上，這種迭代擁有顯著的改進(jìn)。在發(fā)布會(huì)的演示中，OpenAI展示該模型的高級(jí)
發(fā)表于 05-27 15:43
【Longan Pi 3H 開(kāi)發(fā)板試用連載體驗(yàn)】給ChatGPT裝上眼睛，還可以語(yǔ)音對(duì)話
感謝發(fā)燒友論壇和Sipeed舉辦的本次活動(dòng)，讓我有機(jī)會(huì)可以體驗(yàn)到Longan Pi 3H這塊超迷你的H618開(kāi)發(fā)板。我打算用這塊板子作為服務(wù)器，實(shí)現(xiàn)一個(gè)可以對(duì)話交互并且具備可視能力的ChatGPT
發(fā)表于 04-12 12:41
在FPGA設(shè)計(jì)中是否可以應(yīng)用ChatGPT生成想要的程序呢
當(dāng)下AI人工智能崛起，很多開(kāi)發(fā)領(lǐng)域都可看到ChatGPT的身影，F(xiàn)PGA設(shè)計(jì)中，是否也可以用ChatGPT輔助設(shè)計(jì)呢？
發(fā)表于 03-28 23:41
ChatGPT推出全新“朗讀”功能
近日，OpenAI為其備受矚目的聊天機(jī)器人ChatGPT推出了全新的“朗讀”功能，該功能以五種不同的聲音朗讀回復(fù)，并支持多達(dá)37種語(yǔ)言，進(jìn)一步豐富了用戶的交互體驗(yàn)。這一功能的推出，旨在讓用戶在使用ChatGPT時(shí)能夠更加方便、直觀地獲取信息，尤其是在無(wú)法閱讀文字或
【國(guó)產(chǎn)FPGA+OMAPL138開(kāi)發(fā)板體驗(yàn)】（原創(chuàng)）6.FPGA連接ChatGPT 4
: ChatGPT 4說(shuō)：\'優(yōu)化硬件設(shè)計(jì)需要考慮很多因素，如功耗、性能、成本等。你可以從改進(jìn)算法、優(yōu)化數(shù)據(jù)路徑、減少冗余操作等方面入手。\'\");
// 7. 關(guān)閉與ChatGPT 4服務(wù)器的連接
發(fā)表于 02-14 21:58
工商網(wǎng)監(jiān)
評(píng)論