云邊AI的必然

云邊AI是指把AI大模型和算法在云端訓(xùn)練和優(yōu)化后，部署到邊緣設(shè)備上運(yùn)行，從而將AI能力融入終端設(shè)備。在前期的AI發(fā)展中，云端計(jì)算平臺(tái)憑借其強(qiáng)大的計(jì)算能力和能夠集中存儲(chǔ)和處理大規(guī)模數(shù)據(jù)的特點(diǎn)，發(fā)揮了重要的作用，但隨著邊緣計(jì)算和物聯(lián)網(wǎng)技術(shù)的興起，云邊AI替代云端AI會(huì)成為一種趨勢(shì)和必然。

邊緣計(jì)算能夠?qū)⒂?jì)算和存儲(chǔ)能力更接近數(shù)據(jù)來源和終端設(shè)備，極大地減少了數(shù)據(jù)傳輸和延遲，減少了網(wǎng)絡(luò)壓力提高了響應(yīng)速度，這使得在邊緣設(shè)備上實(shí)施AI算法和決策成為可能。并且，一些敏感數(shù)據(jù)和隱私數(shù)據(jù)可能不適合直接上傳到云端進(jìn)行處理。通過在邊緣設(shè)備上進(jìn)行處理，可以減少數(shù)據(jù)在傳輸過程中的風(fēng)險(xiǎn)，提升數(shù)據(jù)的隱私和安全性。此外，物聯(lián)網(wǎng)技術(shù)的興起意味著越來越多的設(shè)備將與互聯(lián)網(wǎng)連接，并產(chǎn)生海量的數(shù)據(jù)，處理這些分布在各個(gè)邊緣節(jié)點(diǎn)的數(shù)據(jù)，借助邊緣計(jì)算和物聯(lián)網(wǎng)技術(shù)，減輕了網(wǎng)絡(luò)帶寬和云端服務(wù)器的負(fù)荷的同時(shí)也降低了對(duì)網(wǎng)絡(luò)環(huán)境的依賴，使得終端設(shè)備執(zhí)行AI能力更加的高效和可行。因此，云邊AI替代云端AI是必然的趨勢(shì)，并將在未來的AI發(fā)展中成為眾多企業(yè)的首選。

云邊AI的硬件承載

談到AI的硬件承載，我們首先需要了解的是和AI芯片性能相關(guān)的重要指標(biāo)。在這里，我們重點(diǎn)講解四個(gè)指標(biāo)參數(shù)。

首先是算力，算力是評(píng)估芯片性能和效率的重要指標(biāo)，常見的算力單位包括每秒浮點(diǎn)運(yùn)算數(shù)FLOPS和每秒萬(wàn)億次運(yùn)算數(shù)TOPS，更低的有MOPS，即每秒執(zhí)行的百萬(wàn)次操作數(shù)。

其次是神經(jīng)網(wǎng)絡(luò)性能，跟軟件算法架構(gòu)、硬件加速器以及參數(shù)數(shù)量有關(guān)，選擇合適的軟件算法架構(gòu)可以提高神經(jīng)網(wǎng)絡(luò)的性能，例如CNN適用于圖像處理任務(wù)、RNN適用于序列數(shù)據(jù)處理，硬件加速器（如GPU、TPU、NPU等）可以提高神經(jīng)網(wǎng)絡(luò)的計(jì)算性能和效率，參數(shù)數(shù)量可以衡量模型的復(fù)雜性和容量，合適的參數(shù)數(shù)量可以優(yōu)化神經(jīng)網(wǎng)絡(luò)的性能和預(yù)測(cè)結(jié)果。

再次是能效比，指性能和功耗之間的關(guān)系，較高的能效比表示芯片能夠在相同計(jì)算性能下消耗較少的能量，減少了能源消耗和發(fā)熱問題。比如運(yùn)算功耗2 TOPS/W表示該芯片將能夠以每瓦特2 TOPS的速度進(jìn)行計(jì)算。

最后是存儲(chǔ)的容量和帶寬，高存儲(chǔ)帶寬可以加快數(shù)據(jù)傳輸和訪問速度，提高芯片的整體性能，而大容量的可以支持更復(fù)雜的模型和數(shù)據(jù)集。比如在芯片內(nèi)嵌MCRAM存儲(chǔ)架構(gòu)，通過將多個(gè)存儲(chǔ)芯片匯總到一個(gè)統(tǒng)一的接口上，實(shí)現(xiàn)了存儲(chǔ)容量的擴(kuò)展和高帶寬的訪問。

AI應(yīng)用的硬件適配

AI應(yīng)用對(duì)芯片的選擇根據(jù)具體應(yīng)用的需求和算法的特點(diǎn)進(jìn)行權(quán)衡和決策，綜合考慮處理能力、能效、存儲(chǔ)、并行處理能力以及可編程性等因素，可以包括CPU、NPU、GPU、DSP、FPGA等。CPU適用于處理串行任務(wù)和邏輯操作。NPU是專門用于處理神經(jīng)網(wǎng)絡(luò)計(jì)算的芯片，可以提供高效且低功耗的深度學(xué)習(xí)計(jì)算能力。GPU是具備較強(qiáng)并行處理能力的芯片，適用于對(duì)大規(guī)模數(shù)據(jù)進(jìn)行并行計(jì)算的AI任務(wù)，例如深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理。DSP適用于音頻、語(yǔ)音處理和移動(dòng)設(shè)備等嵌入式AI場(chǎng)景。而FPGA則適用于高性能計(jì)算、加速器設(shè)計(jì)和優(yōu)化以及快速原型開發(fā)等需要定制硬件和高度靈活性的AI應(yīng)用。

為了更直觀地展示不同硬件和AI應(yīng)用的匹配性，本文隨機(jī)選了6款不同芯片的特性進(jìn)行說明。

第一款芯片為通用CPU：“雙核Cortex-A7 SMP架構(gòu)，每個(gè)內(nèi)核內(nèi)嵌NEON向量處理單元以及32KB的L1指令緩存和數(shù)據(jù)緩存，工作頻率最高可達(dá)1GHz，具有128位的AXI矩陣總線”。此芯片雖然帶有L1緩存和NEON指令集，但是緩存相對(duì)較小，只適合處理一些輕量級(jí)的任務(wù)和小型模型，1GHz的主頻和AXI矩陣總線在高速數(shù)據(jù)傳輸方面有優(yōu)勢(shì)，根據(jù)以上信息此款芯片適合較簡(jiǎn)單的圖形處理任務(wù)、語(yǔ)音識(shí)別任務(wù)，以及規(guī)模較小且計(jì)算需求相對(duì)較低文本分類或情感分析模型。

第二款芯片為低端NPU：“4個(gè)支持NT8（8位整數(shù)）計(jì)算的Multiply-Accumulate單元，在12MHz的時(shí)鐘頻率下能夠提供96 MOPS的性能，同時(shí)帶有低功耗神經(jīng)網(wǎng)絡(luò)處理單元LP_NPU”。此芯片性能較低，不適合處理大型模型和算法，可用于低功耗、邊緣設(shè)備或嵌入式設(shè)備，用于處理輕量級(jí)的AI應(yīng)用，包括如圖像和視覺識(shí)別、語(yǔ)音和音頻處理、自然語(yǔ)言處理、智能物聯(lián)網(wǎng)控制等。

第三款芯片為第二款的升級(jí)版：“具有4.0~8.0 TOPS @ INT8的算力和20 TOPS/W的能效”。此芯片能效適合處理較大的神經(jīng)網(wǎng)絡(luò)模型和算法，特別是那些需要高計(jì)算密集度的任務(wù)。這樣的算力和能效可以應(yīng)對(duì)較為復(fù)雜的深度學(xué)習(xí)模型，如大規(guī)模的卷積神經(jīng)網(wǎng)絡(luò)（CNN）、遞歸神經(jīng)網(wǎng)絡(luò)（RNN）和生成對(duì)抗網(wǎng)絡(luò)（GAN）等。同時(shí)，高能效性能意味著處理器能夠以較低的功耗提供較高的計(jì)算性能，適合在資源受限的環(huán)境中運(yùn)行大型模型和算法。所以此芯片可以用于圖像、語(yǔ)言、醫(yī)療影像以及自動(dòng)駕駛和機(jī)器人相關(guān)的AI應(yīng)用。

第四款芯片為存算一體AI芯片：“0.5T OP/Sec，150萬(wàn)參數(shù)@Int8，2TOPS/W的能效，MCRAM存儲(chǔ)系統(tǒng)。”此芯片適合一些較小規(guī)模的大模型和算法，特別是那些相對(duì)較簡(jiǎn)單或計(jì)算需求較低的任務(wù)，比如淺層神經(jīng)網(wǎng)絡(luò)處理、輕量級(jí)的目標(biāo)檢測(cè)和圖形處理，以及嵌入式設(shè)備上的語(yǔ)音識(shí)別應(yīng)用等。

第五款芯片也為存算一體AI芯片：“1.6T OP/Sec，700萬(wàn)參數(shù)@Int8，2TOPS/W的能效，MCRAM存儲(chǔ)系統(tǒng)。”此芯片適合一些特定類型的大模型和算法，特別是針對(duì)計(jì)算密集型任務(wù)的應(yīng)用，包括如大規(guī)模的深度神經(jīng)網(wǎng)絡(luò)模型、需要進(jìn)行大量的計(jì)算操作的計(jì)算密集型任務(wù)、高精度數(shù)據(jù)處理和自動(dòng)駕駛以及機(jī)器人等實(shí)時(shí)推理場(chǎng)景的應(yīng)用。

第六款芯片為中高端AI芯片：“5T OP/Sec，3000萬(wàn)參數(shù)@Int8，8TOPS/W的能效，MCRAM存儲(chǔ)系統(tǒng)和KORU運(yùn)算架構(gòu)?！贝丝钚酒懊娴男酒啾龋m合處理更大規(guī)模的大模型和算法，具備更高的計(jì)算性能，可以適用包括高分辨率圖像處理、大規(guī)模的語(yǔ)言模型、超大規(guī)模的目標(biāo)檢測(cè)和圖像分割，以及深度學(xué)習(xí)等應(yīng)用。

邊緣AI芯片的發(fā)展

隨著邊緣智能設(shè)備需求的不斷增加，未來的邊緣AI芯片將迎來一個(gè)發(fā)展高峰。邊緣AI芯片的發(fā)展方向?qū)⒉豢杀苊獾爻尸F(xiàn)多元化的趨勢(shì)，這是由于終端設(shè)備和云端業(yè)務(wù)的差異性所決定的。邊緣AI芯片需要具備高效的計(jì)算能力和低功耗特性，同時(shí)需要有感知處理能力和數(shù)據(jù)加密能力，為了更好地實(shí)現(xiàn)云邊AI混合計(jì)算，邊緣AI芯片還需要具備穩(wěn)定可靠的通信和網(wǎng)絡(luò)連接能力，實(shí)現(xiàn)邊緣設(shè)備與云端的協(xié)同工作和數(shù)據(jù)共享任務(wù)。

審核編輯：湯梓紅