ChatGPT 的爆火掀起了 AI 大模型熱潮，也進(jìn)一步拉動(dòng)了算力需求的爆發(fā)，面對(duì)呈指數(shù)級(jí)增長(zhǎng)的算力需求，如何用得起、用得上、用得好算力成為大家普遍關(guān)心的問(wèn)題。那么，在大規(guī)模 AI 模型訓(xùn)練中，如何保證算力的高效利用？有哪些技術(shù)或方法可以提升訓(xùn)練的效率和穩(wěn)定性？AIGC 應(yīng)用如何下沉到終端？近日，InfoQ《極客有約》邀請(qǐng)到了英特爾中國(guó)技術(shù)部總經(jīng)理高宇，為大家分享《AIGC 時(shí)代，如何提升端側(cè)算力利用效率？》。

以下為訪談實(shí)錄，完整視頻參看：https://www.infoq.cn/video/w4UPiNImmKac6OSgpEiP

姜雨生：歡迎大家來(lái)到 InfoQ 極客有約，我是今天的特邀主持人，微軟軟件工程師姜雨生。本期直播，我們邀請(qǐng)到了英特爾中國(guó)技術(shù)部總經(jīng)理高宇老師來(lái)給我們做分享。今天的直播主題是《AIGC 時(shí)代，如何提升端側(cè)算力利用效率？》。先請(qǐng)高宇老師給大家做一個(gè)簡(jiǎn)單的介紹。

高宇：InfoQ 的朋友們，大家晚上好。我是高宇（Gary Gao），來(lái)自英特爾中國(guó)，負(fù)責(zé)英特爾中國(guó)技術(shù)支持團(tuán)隊(duì)的工作。今天，我非常榮幸與大家分享關(guān)于在端側(cè)實(shí)現(xiàn) AIGC 的熱門(mén)話題。

生成式 AI 技術(shù)的發(fā)展與挑戰(zhàn)

姜雨生：去年推出的 ChatGPT 引起了廣泛關(guān)注，掀起了大型 AI 模型的熱潮，企業(yè)和個(gè)人對(duì)算力的需求呈現(xiàn)出爆發(fā)性增長(zhǎng)。這輪 AI 算力需求的爆發(fā)給您帶來(lái)最大的感受是什么？行業(yè)發(fā)生了哪些變化？

高宇：這一輪生成式 AI 熱潮確實(shí)代表了技術(shù)上的一個(gè)重大突破，無(wú)論是給消費(fèi)者、商業(yè)客戶(hù)還是數(shù)據(jù)科學(xué)家，都帶來(lái)了巨大的潛力和影響。從去年 ChatGPT 3.5 正式發(fā)布以來(lái)，它展示出的智能和生成文本的能力讓整個(gè)學(xué)術(shù)界、消費(fèi)市場(chǎng)和最終用戶(hù)都感到震驚。在短時(shí)間內(nèi)，ChatGPT 3.5 已成為全球最受歡迎的應(yīng)用之一，這一成就令人印象深刻。我認(rèn)為，它對(duì)整個(gè)行業(yè)的影響可以從正面和挑戰(zhàn)兩個(gè)維度來(lái)分析。

從正面來(lái)看，首先，生成式 AI 極大地改善了用戶(hù)體驗(yàn)。以前的搜索引擎和智能問(wèn)答系統(tǒng)在知識(shí)方面相對(duì)固定，而生成式 AI 具有強(qiáng)大的學(xué)習(xí)和涌現(xiàn)能力，這是以前所沒(méi)有的。因此，用戶(hù)體驗(yàn)得到了顯著改善。

其次，它激發(fā)了學(xué)術(shù)界和企業(yè)界對(duì)這項(xiàng)技術(shù)的研究興趣。在過(guò)去的半年里，全球企業(yè)和知名的學(xué)術(shù)機(jī)構(gòu)都大量投入到生成式 AI 的研究中。這種巨大的資金和智力投入使我們相信未來(lái)幾年生成式 AI 的發(fā)展將非常迅猛，因?yàn)樵S多人都在進(jìn)行相關(guān)研究和突破。

第三，我們看到生成式 AI 目前主要應(yīng)用于人機(jī)對(duì)話，但我們更看好它在各種行業(yè)中，尤其是垂直行業(yè)中的應(yīng)用潛力。例如，目前人們正在探討用于醫(yī)療領(lǐng)域的大型模型，專(zhuān)為銀行系統(tǒng)設(shè)計(jì)的大型模型，甚至為金融等垂直行業(yè)開(kāi)發(fā)的模型。因此，我們對(duì)它在這些領(lǐng)域的應(yīng)用前景非常期待。

當(dāng)然，大型模型的出現(xiàn)和生成式 AI 的發(fā)展確實(shí)帶來(lái)了一些重要挑戰(zhàn)。在這方面，我們可以總結(jié)為以下幾點(diǎn)。

首先，幾乎所有大型科技公司都加入到了這個(gè)浪潮中。因此，這個(gè)領(lǐng)域的應(yīng)用進(jìn)展非常迅速，有時(shí)候可能會(huì)出現(xiàn)一些重復(fù)性工作，甚至資源浪費(fèi)。

第二，數(shù)據(jù)隱私和可靠性是一個(gè)重大問(wèn)題。個(gè)人數(shù)據(jù)的保護(hù)以及互聯(lián)網(wǎng)上的開(kāi)源內(nèi)容如何得到保護(hù)都是重要考慮因素。此外，還涉及到更深層次的問(wèn)題，例如對(duì)問(wèn)題的解釋、價(jià)值觀的取向和正確判斷等，這些都是全新的挑戰(zhàn)。

英特爾倡導(dǎo)的 AI 不僅關(guān)注性能和能力，還強(qiáng)調(diào)負(fù)責(zé)任的 AI。這也是領(lǐng)先廠商共同的理念，即人工智能的發(fā)展應(yīng)該以對(duì)社會(huì)負(fù)責(zé)任的態(tài)度為基礎(chǔ)?？傊?，生成式 AI 對(duì)我們行業(yè)帶來(lái)了重要沖擊，后續(xù)我們可以深入探討這些挑戰(zhàn)的細(xì)節(jié)。

算力成本居高不下，如何找到破解之法？

姜雨生：無(wú)論是模型訓(xùn)練還是模型調(diào)用，計(jì)算資源的需求都在不斷增加。這背后伴隨著高昂的成本，對(duì)許多企業(yè)而言，這成為了業(yè)務(wù)擴(kuò)展的一道巨大障礙。您怎么看算力貴這一現(xiàn)象？隨著技術(shù)的發(fā)展，算力貴的現(xiàn)狀會(huì)有所改善嗎？

高宇：目前，大家都不得不承認(rèn)算力成本有待解決。因此，大家都對(duì)這個(gè)行業(yè)的情況非常關(guān)注。我們可以分析一下導(dǎo)致算力成本上升的原因。

首先，運(yùn)行生成實(shí)驗(yàn)，特別是訓(xùn)練模型所需的 GPU 性能相對(duì)較高，因此整個(gè) GPU 以及 GPU 卡的成本較高，它需要更大的 GPU 芯片來(lái)提供更高的算力。此外，它還需要更快的內(nèi)存，通常采用 HBM（High Bandwidth Memory，高帶寬內(nèi)存）內(nèi)存架構(gòu)，這也增加了成本。再加上需要用 8 卡互聯(lián)的訓(xùn)練機(jī)，整機(jī)的物料成本非常昂貴，這是導(dǎo)致成本高昂的原因之一。

第二，與之前提到的問(wèn)題相關(guān)，現(xiàn)在幾乎所有人都涌入了這個(gè)行業(yè)，導(dǎo)致了短期內(nèi)供大于求的情況。一度出現(xiàn)了 GPU 卡供不應(yīng)求的情況，這已經(jīng)從去年年底開(kāi)始，需求量大但供應(yīng)相對(duì)不足。

第三，整個(gè)大型 GPU 服務(wù)器或智算中心的運(yùn)營(yíng)成本極高，包括場(chǎng)地和能源消耗。一個(gè)標(biāo)準(zhǔn)的 GPU 服務(wù)器機(jī)柜功耗至少為 30 千瓦，而大多數(shù)數(shù)據(jù)中心機(jī)柜通常只能達(dá)到 10 千瓦到 20 千瓦之間，無(wú)法滿(mǎn)足 30 千瓦的要求，這也增加了成本因素。

當(dāng)然，我們還需要考慮一點(diǎn)，因?yàn)樯墒?AI 仍處于早期階段，所以在許多算法優(yōu)化和資源利用方面還有改進(jìn)的空間。因此，有望在未來(lái)降低算力成本。

姜雨生：在目前算力貴這個(gè)方向，英特爾目前有哪些相關(guān)的解決方案，這面方便給我們大概介紹一下嗎？

高宇：我們需要思考一個(gè)根本性問(wèn)題，即如何應(yīng)對(duì)昂貴的算力這一行業(yè)性的難題。我們有幾個(gè)想法，雖然稍后我們還會(huì)談及產(chǎn)品方面的問(wèn)題，但現(xiàn)在我們首先想從行業(yè)角度提出一些大的思路。

首先，我們認(rèn)為當(dāng)前的推理部分應(yīng)該更加分布式和層次化，充分利用云、邊緣和終端的不同層次來(lái)部署推理算力，以充分發(fā)揮算力性能。具體來(lái)說(shuō)，我們的建議是在云端進(jìn)行大規(guī)模的訓(xùn)練，這是云側(cè)的任務(wù)。此外，云側(cè)適合大集群訓(xùn)練，部署超大型模型，例如 ChatGPT 等超過(guò) 100 億的模型。第三，云側(cè)適合部署高并發(fā)的場(chǎng)景，即當(dāng)用戶(hù)數(shù)量龐大時(shí)，需要同時(shí)滿(mǎn)足所有客戶(hù)的需求，這也需要云端來(lái)實(shí)現(xiàn)。

對(duì)于不屬于以上幾種情況的 AI 推理算力，我們建議將其下沉到邊緣側(cè)。如今，運(yùn)營(yíng)商和企業(yè)都擁有許多邊緣側(cè)數(shù)據(jù)中心，雖然這些數(shù)據(jù)中心規(guī)模較小，機(jī)器配置的算力相對(duì)較低，但足以支持多種類(lèi)型的大型模型的推理。根據(jù)我們的判斷，大約在 10 億到 30 億之間的模型可以考慮部署在邊緣側(cè)，因?yàn)檫吘墏?cè)可以使用性能稍微較低端的 GPU 卡或 CPU 進(jìn)行推理，性能足夠。此外，在邊緣側(cè)部署可以提供更好的低延遲體驗(yàn)，成本也較低。

下沉的第二步就是把它部署在端側(cè)。我們認(rèn)為一些規(guī)模較小的模型，比如小于 10 億參數(shù)的模型，經(jīng)過(guò)一定的優(yōu)化和量化，以及低精度的比特量化后，完全可以部署到個(gè)人計(jì)算機(jī)（PC）或虛擬私有云（VPC）等設(shè)備上。將其部署到端側(cè)帶來(lái)兩個(gè)明顯的好處。首先，它的性能延遲是最低的，因?yàn)椴恍枰?jīng)過(guò)網(wǎng)絡(luò)傳輸，減少了任何網(wǎng)絡(luò)延遲。此外，邊緣側(cè)部署還有一個(gè)重要的優(yōu)勢(shì)，即對(duì)個(gè)人隱私的最大程度保護(hù)，因此數(shù)據(jù)泄露的風(fēng)險(xiǎn)幾乎不存在。因此，從大的原則上講，我們希望將大型模型轉(zhuǎn)化為云、邊緣和終端三層協(xié)同的架構(gòu)，這應(yīng)該是未來(lái)發(fā)展的趨勢(shì)之一。

姜雨生：有觀眾提問(wèn)，在算力優(yōu)化方面，我們業(yè)界還有沒(méi)有一些通用的方案？

高宇：我們了解到，在當(dāng)前的研究領(lǐng)域中，一個(gè)備受關(guān)注的通用方案是針對(duì)低比特量化的優(yōu)化。目前，大多數(shù)部署在云端的模型采用的是 FP16（16 位浮點(diǎn)數(shù)）的精度。然而，如果要將模型部署在邊緣側(cè)或終端側(cè)，通常的做法是首先將其量化為 INT8（8 位整數(shù)），然后可以進(jìn)一步將其量化為更低比特位，如 INT5、INT4 或 INT3，這都是可能的，而且我們看到在這方面行業(yè)已經(jīng)取得了一些顯著的進(jìn)展。

AIGC 應(yīng)用如何下沉到終端？

姜雨生：我認(rèn)為開(kāi)發(fā)者會(huì)積極采用 AIGC 的大型模型，因?yàn)檫@是未來(lái)的趨勢(shì)。在過(guò)去，我們主要在云服務(wù)器上運(yùn)行 AIGC 應(yīng)用，包括我自己目前使用的一些 Azure 云上的產(chǎn)品。但云端 AI 也存在延遲和各種限制等方面的一些短板。那么，AIGC 應(yīng)用有下沉到終端的可行性嗎？

高宇：根據(jù)我們目前的研究成果，我可以告訴大家，針對(duì)英特爾的最新平臺(tái)，也就是第 13 代（以及后續(xù)推出的第 14 代，采訪時(shí)第 14 代酷睿尚未發(fā)布）酷睿處理器家族，我們已經(jīng)取得了非常不錯(cuò)的優(yōu)化結(jié)果。這個(gè)平臺(tái)不僅適用于筆記本電腦，還包括臺(tái)式機(jī)。我相信許多開(kāi)發(fā)者和用戶(hù)在購(gòu)買(mǎi)電腦時(shí)都會(huì)選擇最新的酷睿平臺(tái)。

以第 13 代酷睿平臺(tái)為例，我們的優(yōu)化結(jié)果可以使模型從 7 億參數(shù)到 18 億參數(shù)都能夠流暢運(yùn)行。特別是在 7 億到 13 億參數(shù)范圍內(nèi)，性能效果非常出色，即使超過(guò) 13 億參數(shù)，模型也可以運(yùn)行，盡管速度稍慢，但我們認(rèn)為基本上也可以滿(mǎn)足用戶(hù)的需求。當(dāng)然，我們目前的優(yōu)化主要是在 CPU 上進(jìn)行的，但下一步我們將充分發(fā)揮平臺(tái)內(nèi)的集成顯卡（IGPU）能力，以進(jìn)一步提升速度。

此外，對(duì)于未來(lái)，我想提到最近引起廣泛關(guān)注的一項(xiàng)重要消息，那就是我們披露了英特爾即將發(fā)布的下一代平臺(tái)，內(nèi)部代號(hào)為 Meteor Lake，正式品牌叫做 Core Ultra。這個(gè)平臺(tái)不僅具有強(qiáng)大的 CPU 算力，還將 GPU 算力提高了一倍，因此 GPU 算力非常強(qiáng)大。另外，它還內(nèi)置了專(zhuān)用的 AI 加速器（NPU），可以提供超過(guò) 11 tops 的峰值算力。因此，在下一代平臺(tái)上，我們將能夠充分利用三種計(jì)算資源，包括 CPU、GPU 和 NPU 的算力，以實(shí)現(xiàn)更出色的性能。這是我們下一代平臺(tái)的亮點(diǎn)，敬請(qǐng)期待。

姜雨生：英特爾之前提出在 PC 端側(cè)跑 AIGC 應(yīng)用，具體是如何實(shí)現(xiàn)的？在軟硬件層面是如何提升算力利用效率，實(shí)現(xiàn)算力優(yōu)化的？

高宇：我來(lái)簡(jiǎn)要介紹一下我們目前正在發(fā)布的開(kāi)源框架，它叫做 BigDL，是專(zhuān)門(mén)為英特爾的處理器和 GPU 開(kāi)發(fā)的一個(gè)低比特量化框架。感興趣的觀眾可以進(jìn)入在 GitHub(https://github.com/intel-analytics/BigDL) 上查看，下載我們的 BigDL 開(kāi)源代碼，進(jìn)行實(shí)驗(yàn)。

BigDL 有一些顯著特點(diǎn)。首先，它支持低比特量化，從 INT8 到 INT5、INT4、INT3 等各種低比特的數(shù)據(jù)精度，從而提供更好的性能，并減少內(nèi)存占用。這一點(diǎn)尤其重要，因?yàn)樵谶吘売?jì)算領(lǐng)域，除了性能挑戰(zhàn)之外，內(nèi)存也相對(duì)較低，所以低比特量化是解決這個(gè)問(wèn)題的一種方法。

此外，BigDL 支持多種平臺(tái)，包括英特爾的各種 CPU 系列，從 Xeon 處理器到酷睿處理器等。它還支持英特爾的各種 GPU 系列，包括英特爾 Flex 系列用于數(shù)據(jù)中心的專(zhuān)用顯卡以及英特爾銳炫（ Arc） 系列面向消費(fèi)者的顯卡。

姜雨生：我也確實(shí)感受到了在個(gè)人電腦上運(yùn)行大型模型以及進(jìn)行內(nèi)容生成的可能性，特別是在我的個(gè)人電腦上裝備了這些硬件的情況下。實(shí)際上，我也想了解一下一些相關(guān)的技術(shù)，如果要大規(guī)模普及，關(guān)鍵的主要指標(biāo)可能是顛覆，即用戶(hù)在他們的實(shí)際工作和生活中所體驗(yàn)到的變革。那么 AI 能夠在端側(cè)帶給用戶(hù)哪些具體的體驗(yàn)提升？

高宇：從我們現(xiàn)在的觀察來(lái)看，大型模型在端側(cè)用戶(hù)領(lǐng)域可能有幾個(gè)可能的應(yīng)用場(chǎng)景。首先，大型模型可以成為每個(gè)用戶(hù)的個(gè)人超級(jí)助手。這種大型模型可以在云端運(yùn)行，同時(shí)也可以通過(guò)我們剛剛提到的低比特量化技術(shù)在個(gè)人電腦上運(yùn)行，從而提供更好的用戶(hù)體驗(yàn)。這是第一個(gè)應(yīng)用場(chǎng)景。

第二，它可以用于文檔處理，包括提取文檔的核心思想和糾正文檔中的語(yǔ)法錯(cuò)誤等任務(wù)。對(duì)于這種應(yīng)用場(chǎng)景，更適合將模型部署在端側(cè)，因?yàn)樵S多文檔包含一些個(gè)人屬性，用戶(hù)可能不愿意將其上傳到云端。

第三，我們觀察到大型模型，特別是 Diffusion 模型，在圖像生成方面具有出色的能力，這對(duì)于許多設(shè)計(jì)師來(lái)說(shuō)是一個(gè)強(qiáng)大的工具。許多圖形、圖像和三維設(shè)計(jì)公司積極采用 Stable Diffusion 以及相關(guān)衍生模型，以幫助設(shè)計(jì)師生成各種圖片和畫(huà)面，從而實(shí)現(xiàn)事半功倍的效果。

姜雨生：將 AIGC 相關(guān)應(yīng)用以預(yù)裝軟件的方式適配到未來(lái)的電腦中，是否是 PC 創(chuàng)新的一個(gè)新方向？它對(duì)于 PC 應(yīng)用效率的提升是否有著大幅超越以往的預(yù)期？

高宇：當(dāng)然，答案是肯定的。在未來(lái)的個(gè)人電腦上，無(wú)論是筆記本還是臺(tái)式機(jī)，它們的算力已經(jīng)足以支持像 7 到 13 億級(jí)別的大型語(yǔ)言模型在本地運(yùn)行。這種潛力已經(jīng)存在，接下來(lái)我們可以期待不同的商業(yè)模式的出現(xiàn)。

首先，我們可能會(huì)看到一些商業(yè)軟件集成了中小型大語(yǔ)言模型，將其變成了生成式人工智能的專(zhuān)業(yè)商業(yè)軟件。這些軟件還有可能集成了 Stable Diffusion 等功能，從而成為一種可用于文本生成和其他工作流程的商業(yè)軟件。因此，可以期待在桌面平臺(tái)上出現(xiàn)集成生成式人工智能能力的商業(yè)軟件，這是一個(gè)可能的落地方式。

另外一種方式是鼓勵(lì)更多的 OEM 制造商，也就是個(gè)人電腦的品牌制造商，為自己的產(chǎn)品開(kāi)發(fā)專(zhuān)門(mén)針對(duì)硬件優(yōu)化的生成式人工智能軟件，并將其預(yù)裝在他們的電腦上，以提高最終用戶(hù)的體驗(yàn)，使電腦更易于使用和更具趣味性。這種輔助性軟件可以提升用戶(hù)的使用體驗(yàn)，增加趣味性，我認(rèn)為這也是一個(gè)非常有潛力的方向。

端側(cè)運(yùn)行大模型存在哪些挑戰(zhàn)？

姜雨生：有觀眾提問(wèn)，端側(cè)跑這些大模型有沒(méi)有一些難點(diǎn)我也比較關(guān)注這個(gè)問(wèn)題，端側(cè)跑大模型有沒(méi)有一些相對(duì)不適用的場(chǎng)景或內(nèi)容？

高宇：端側(cè)與云側(cè)相比，目前存在兩大限制。首先，端側(cè)的計(jì)算能力明顯不如云端強(qiáng)大。這是顯而易見(jiàn)的。第二，端側(cè)的內(nèi)存相對(duì)有限。當(dāng)前，筆記本電腦和 PC 的主流配置通常為 16GB 內(nèi)存。明年我們可能會(huì)看到更多配置為 32GB 內(nèi)存的 PC，但即使是 32GB 內(nèi)存，相對(duì)于云端來(lái)說(shuō)，內(nèi)存仍然有限。因此，端側(cè)需要應(yīng)對(duì)以下兩個(gè)主要挑戰(zhàn)。

首先，模型的參數(shù)量需要受限，通常在 130 億以下。其次，必須進(jìn)行低比特量化，這是一種必不可少的手段。經(jīng)常有人問(wèn)一個(gè)常見(jiàn)的問(wèn)題，即將一個(gè) FP16 模型量化為 INT4 后，精度損失似乎很大，這對(duì)大型模型的性能會(huì)產(chǎn)生什么影響？我們目前的基本結(jié)論是，在大型語(yǔ)言模型的情況下，從 FP16 到 INT4 后，回答問(wèn)題的質(zhì)量會(huì)略微下降，但下降幅度并不是很大。如果我們使用評(píng)分機(jī)制，原來(lái)的模型可能是 85 分的模型，經(jīng)過(guò)量化后，可能會(huì)下降到 82 分左右，所以大致是一個(gè)個(gè)位數(shù)的質(zhì)量下降。但是在內(nèi)存方面，收益是非常大的，這是一個(gè)權(quán)衡。

然而，對(duì)于 Stable Diffusion 模型而言，如果將 FP16 量化為 INT8，整個(gè)圖像生成的質(zhì)量下降會(huì)比較大。因此，對(duì)于運(yùn)行穩(wěn)定擴(kuò)散模型的端側(cè)，我們?nèi)匀粓?jiān)持使用 FP16。幸運(yùn)的是， Stable Diffusion 模型的參數(shù)量不是很大，因此即使在端側(cè)，F(xiàn)P16 的性能也完全可以勝任。

姜雨生：在端側(cè)執(zhí)行一些生成式內(nèi)容和場(chǎng)景時(shí)，精確度并不是特別重要，尤其是對(duì)于一些模型復(fù)雜度不太高的情況來(lái)說(shuō)，這種方式會(huì)更加合適。下一步，英特爾有哪些技術(shù)探索和產(chǎn)品規(guī)劃呢？有哪些技術(shù)難題是我們?cè)谖磥?lái)需要解決的？

高宇：對(duì)于英特爾未來(lái)的產(chǎn)品規(guī)劃，目前英特爾在生成式 AI 領(lǐng)域有幾個(gè)主要的產(chǎn)品家族，可以從云端、邊緣和端側(cè)三個(gè)維度來(lái)介紹。

在云端，英特爾的關(guān)鍵產(chǎn)品是 Gaudi2，這是 英特爾 Habana 最新推出的產(chǎn)品。Gaudi2 具有非常高的算力性能，它還具有大容量的顯存，目前 Gaudi2 的配置為 96GB 的 HBM2 顯存，因此可以容納更多的模型。此外，英特爾還推出了專(zhuān)門(mén)針對(duì)中國(guó)市場(chǎng)定制的 Gaudi2 中國(guó)版本。云端英特爾還有一款產(chǎn)品叫做 Xeon HBM，它是一款針對(duì)大模型推理而設(shè)計(jì)的 CPU，內(nèi)置了 64GB 的 HBM2 高速內(nèi)存，這對(duì)于大型語(yǔ)言模型的推理性能提升非常有幫助。

邊緣側(cè)，英特爾推出了兩款顯卡產(chǎn)品，一款是英特爾 Flex 系列，另一款是銳炫（ Arc） 系列。Flex 系列是為數(shù)據(jù)中心和服務(wù)器設(shè)計(jì)的無(wú)風(fēng)扇 GPU 產(chǎn)品，而 Arc 系列則是面向消費(fèi)者市場(chǎng)的顯卡，在算力方面也非常強(qiáng)大，可以滿(mǎn)足邊緣側(cè)推理的要求。這些產(chǎn)品將為邊緣側(cè)大模型推理和 Stable Diffusion 提供強(qiáng)大的支持。

總的來(lái)說(shuō)，英特爾在生成式 A I 領(lǐng)域有一系列強(qiáng)大的產(chǎn)品，覆蓋了云端、邊緣和端側(cè)，為不同應(yīng)用場(chǎng)景提供了多樣化的解決方案。

姜雨生：有觀眾提問(wèn)，端側(cè)模型跟云端模型有可以配合的方式嗎？

高宇：端側(cè)模型和云端模型可以進(jìn)行協(xié)同配合，一種可能流行的做法是由端側(cè)模型進(jìn)行問(wèn)題的初步預(yù)判斷。這個(gè)端側(cè)模型可以是相對(duì)輕量級(jí)的，用于判斷用戶(hù)問(wèn)題的導(dǎo)向方向。如果這個(gè)初步判斷結(jié)果顯示性能足以在端側(cè)大模型上運(yùn)行，那么模型可以在端側(cè)執(zhí)行。但如果判斷需要更強(qiáng)大的計(jì)算能力，那么就可以將任務(wù)傳遞到云端進(jìn)行更大型的模型推理。這種方式可能比較容易實(shí)現(xiàn)，因?yàn)樗苊饬藢?duì)同一個(gè)模型進(jìn)行拆分，盡管拆分模型也是一種可能的方式，但會(huì)更加復(fù)雜。

姜雨生：如果希望在個(gè)人電腦上運(yùn)行之前所描述模型相關(guān)的內(nèi)容，最低配置要求如何？

高宇：關(guān)于個(gè)人電腦的配置，主要取決于您的耐心和使用場(chǎng)景，當(dāng)然這是個(gè)半開(kāi)玩笑，但基本上，為了達(dá)到基本的用戶(hù)體驗(yàn)要求，我們建議以下配置：

處理器（CPU）：最好選擇第 13/14 代酷睿處理器，尤其是選擇 I7 或更高級(jí)別的型號(hào)。如果有預(yù)算，并且想要更出色的性能，選擇 I9 處理器會(huì)更好，正如我在之前的演示視頻中展示的那樣。

內(nèi)存（RAM）：至少 16GB RAM 是起點(diǎn)，但更好的選擇是 32GB RAM。此外，要注意內(nèi)存的速度，因?yàn)楝F(xiàn)在的內(nèi)存，尤其是 DDR5 內(nèi)存，速度范圍從入門(mén)級(jí)的 5677 MHz，一直提升到高達(dá) 7233 MHz。內(nèi)存速度越快，性能表現(xiàn)通常越好。再次強(qiáng)調(diào)，大型模型通常對(duì)內(nèi)存帶寬要求較高，因此提高內(nèi)存帶寬會(huì)帶來(lái)更大的性能收益。

散熱設(shè)計(jì)：除了硬件配置，還要考慮系統(tǒng)的散熱設(shè)計(jì)。良好的散熱設(shè)計(jì)可以讓 CPU 在 Turbo 模式下更長(zhǎng)時(shí)間地運(yùn)行，從而提高性能表現(xiàn)。

選擇適合需求的個(gè)人電腦配置是一個(gè)綜合考慮的過(guò)程。明年新發(fā)布的電腦新品通常會(huì)公布其運(yùn)行大型模型的性能指標(biāo)，用戶(hù)可以根據(jù)廠商提供的指標(biāo)來(lái)選擇適合自己需求的配置，這應(yīng)該會(huì)更準(zhǔn)確地滿(mǎn)足你的期望。

當(dāng)然了，我認(rèn)為目前大模型仍然存在一些挑戰(zhàn)，尤其是在處理模型的一些幻覺(jué)問(wèn)題方面，這個(gè)問(wèn)題在整個(gè)行業(yè)中仍然是一個(gè)難點(diǎn)，需要不斷攻克。