電子發(fā)燒友網(wǎng)報道（文/李彎彎）日前，在2023世界半導體大會暨南京國際半導體博覽會上，高通全球副總裁孫剛發(fā)表演講時談到，目前高通能夠支持參數(shù)超過10億的模型在終端上運行，未來幾個月內(nèi)超過100億參數(shù)的模型將有望在終端側運行。

大模型在終端側運行的重要性

生成式AI正在快速發(fā)展，數(shù)據(jù)顯示，2020年至2022年，生成式AI相關的投資增長425%，初步預估生成式AI市場規(guī)模將達到1萬億美元。

然而孫剛指出，云經(jīng)濟難以支持生成式AI規(guī)模化拓展，為實現(xiàn)規(guī)?；卣?，AI處理的中心正在向邊緣轉移。比如XR、汽車、手機、PC、物聯(lián)網(wǎng)，生成式AI將影響各類終端上的應用。

高通在這方面展示出了領先的優(yōu)勢，高通AI引擎由多個硬件和軟件組件組成，用于在驍龍移動平臺上為終端側AI推理加速。它采用異構計算架構，包括高通Hexagon處理器、Adreno GPU、Kryo CPU和傳感器中樞，共同支持在終端上運行AI應用程序。

在7月初的2023年世界人工智能大會上，高通就已經(jīng)展示了全球首個在終端側運行生成式AI（AIGC）模型Stable Diffusion的技術演示，和全球最快的終端側語言-視覺模型（LVM）ControlNet運行演示。這兩款模型的參數(shù)量已經(jīng)達到10億-15億，僅在十幾秒內(nèi)就能夠完成一系列推理，根據(jù)輸入的文字或圖片生成全新的AI圖像。

今年7月18日，Meta官宣將發(fā)布其開源大模型LLaMA的商用版本，為初創(chuàng)企業(yè)和其他企業(yè)提供了一個強大的免費選擇，以取代OpenAI和谷歌出售的昂貴的專有模型。隨后，高通發(fā)布公告稱，從2024年起，Llama 2將能在旗艦智能手機和PC上運行。

高通技術公司高級副總裁兼邊緣云計算解決方案業(yè)務總經(jīng)理Durga Malladi表示，為了有效地將生成式人工智能推廣到主流市場，人工智能將需要同時在云端和邊緣終端（如智能手機、筆記本電腦、汽車和物聯(lián)網(wǎng)終端）上運行。

在高通看來，和基于云端的大語言模型相比，在智能手機等設備上運行Llama 2 等大型語言模型的邊緣云計算具有許多優(yōu)勢，不僅成本更低、性能更好，還可以在斷網(wǎng)的情況下工作，而且可以提供更個性化、更安全的AI服務。

如何讓大模型在終端規(guī)?；瘮U展

生成式AI進入未來生活的趨勢已經(jīng)不可阻擋，為了讓生成式AI規(guī)?；瘮U展到更多終端設備中，高通提出了混合AI架構的運行方式，即在云端和設備終端的邊緣側之間分配算力，協(xié)同處理AI工作負載。

所謂混合AI，是指充分利用邊緣側終端算力支持生成式AI應用的方式，相比僅在云端運行的AI，前者能夠帶來高性能、個性化且更安全的體驗。

比如，如果模型、提示或生成內(nèi)容的長度小于某個限定值，且精度足夠，推理就可以完全在終端側進行；如果任務相對復雜，則可以部分依靠云端模型；如果需要更多實時內(nèi)容，模型也可以接入互聯(lián)網(wǎng)獲取信息。

在未來，不同的生成式AI用不同分流方式的混合AI架構，AI也能在此基礎上持續(xù)演進：
?大量生成式AI的應用，比如圖像生成或文本創(chuàng)作，需求AI能夠進行實時響應。在這種任務上，終端可通過運行不太復雜的推理完成大部分任務。

在AI計算的實現(xiàn)上，軟件和硬件同樣重要，因為必須在端側做到運算更快，效率更高，并推動AI應用在廣泛終端上的部署和普及。

高通在2022年6月推出AI軟件棧（Qualcomm AI Stack），其支持包括TensorFlow、Pytorch和ONNX在內(nèi)的所有主流開發(fā)框架，所有runtimes（運行時，即某門編程語言的運行環(huán)境）和操作系統(tǒng)。借助高通AI軟件棧，開發(fā)者在智能手機領域開發(fā)的軟件可以快速擴展至汽車、XR、可穿戴設備等其他產(chǎn)品線進行使用。

高通技術公司產(chǎn)品管理高級副總裁兼AI負責人Ziad Asghar表示，未來公司需要加大終端側技術上的研發(fā)，尤其是進一步提升量化的算法。例如服務器上訓練的模型一般采用32位浮點運算（FP32），而我們在手機端現(xiàn)在能夠支持INT4計算，這能大大提高端側的處理能力。

小結

不僅僅是大模型的訓練需要極大的算力和功耗，部署也同樣如此。如果要讓大模型在更多的領域?qū)崿F(xiàn)落地應用，除了在云端部署之后，在終端側部署也很關鍵。目前已經(jīng)有諸多廠商在該領域進行探索，包括高通，期待未來大模型能夠走進人們生活的方方面面。