2023年3月28日，安謀科技（中國(guó)）有限公司正式發(fā)布自研新一代人工智能處理器“周易”X2 NPU。周易NPU是安謀的一個(gè)IP系列，此前發(fā)布的“周易”X1 NPU產(chǎn)品主要是基于的V1、V2架構(gòu)，更多是用在AIoT領(lǐng)域，此次發(fā)布的“周易”X2 NPU是安謀科技第一款基于V3架構(gòu)的NPU，算力有大幅提升，能夠支持int4/int8/int12/int16/int32，fp16/bf16/fp32多精度融合計(jì)算，計(jì)算效率與計(jì)算密度也得到了顯著提升。還針對(duì)車載、邊緣計(jì)算等應(yīng)用場(chǎng)景進(jìn)行了專門優(yōu)化，為新興領(lǐng)域不斷迭代的計(jì)算需求提供更為完善的解決方案。

“周易”X2 NPU性能全面升級(jí)

“周易”X2 NPU作為新一代人工智能處理器，采用第三代“周易”架構(gòu)，支持多核Cluster，最高可達(dá)320TOPS子系統(tǒng)。

安謀科技產(chǎn)品總監(jiān)楊磊介紹，相比于“周易”X1和“周易”Z系列都是單核NPU的解決方案，“周易”X2有一個(gè)集群（Cluster）的概念，擁有多個(gè)NPU的核，算力得到成倍的提升。Cluster內(nèi)部有總線的互聯(lián)，用于數(shù)據(jù)的溝通和維護(hù)，也有內(nèi)部的存儲(chǔ)系統(tǒng)，協(xié)調(diào)不同核間的數(shù)據(jù)通信。同時(shí)還支持多個(gè)Cluster，整個(gè)算力可以成倍提升。通過(guò)多核構(gòu)成Cluster，多個(gè)Cluster構(gòu)成一個(gè)子系統(tǒng)的方案來(lái)完成大算力的產(chǎn)品形態(tài)的交付。

“周易”X2 NPU主要功能升級(jí)

楊磊進(jìn)一步分析，這里面有一個(gè)很核心的功能，就是任務(wù)調(diào)度器Task Scheduling Manager，簡(jiǎn)稱為TSM，它可以同時(shí)調(diào)度多個(gè)Cluster的多個(gè)核心。舉例來(lái)說(shuō)，當(dāng)車有10個(gè)攝像頭，有10路數(shù)據(jù)進(jìn)來(lái)，可以每一路都跑一個(gè)檢測(cè)的算法，它可以當(dāng)成是10個(gè)任務(wù)，假設(shè)只有4個(gè)核心，通過(guò)調(diào)度器發(fā)現(xiàn)哪個(gè)核是空閑的，就可以把任務(wù)立刻調(diào)度給那個(gè)核心做計(jì)算，因此它完全是動(dòng)態(tài)、實(shí)時(shí)的調(diào)度的解決方案。實(shí)時(shí)的硬件任務(wù)管理使得“周易”X2 NPU可實(shí)現(xiàn)最高千萬(wàn)次/秒的任務(wù)調(diào)度，將各個(gè)計(jì)算單元的效能發(fā)揮到最佳。

一般來(lái)說(shuō)，數(shù)據(jù)要從片外的存儲(chǔ)設(shè)備中來(lái)讀取，這個(gè)傳輸通道在物理上有限制，其次通道速度越快整個(gè)方案的成本也會(huì)越高，而i-Tiling的技術(shù)方案節(jié)省帶寬需求，進(jìn)一步提升計(jì)算效率，從而大幅降低系統(tǒng)的成本。同時(shí)，還增加了無(wú)損權(quán)重壓縮技術(shù)，進(jìn)一步節(jié)省帶寬。以汽車應(yīng)用上處理一個(gè)4K分辨率的單路圖像為例，去噪聲計(jì)算需要40GB帶寬，基于i-Tiling技術(shù)，能夠大幅壓縮帶寬。它是把一個(gè)很大的圖片拆成若干個(gè)小塊，這樣每一個(gè)tile就變得很小，而memory緩存在芯片內(nèi)部，不需要把數(shù)據(jù)放到外部設(shè)備做讀寫操作，從而節(jié)省對(duì)外部帶寬的需求。

此前，“周易”Z系列，包括“周易”X1的處理都是基于定點(diǎn)的方案，也就是int8整型方案來(lái)做的NPU，它的好處是兼顧了計(jì)算性能和密度和芯片成本。在汽車領(lǐng)域?qū)τ谟?jì)算的精度要求更高，“周易”X2 NPU支持混合精度計(jì)算，支持int4/int8/int12/int16/int32，fp16/bf16/fp32多精度融合計(jì)算，既可以是定點(diǎn)的計(jì)算、整型的數(shù)據(jù)計(jì)算，也支持浮點(diǎn)的16bit或者是32bit的計(jì)算，計(jì)算效率與計(jì)算密度得到顯著提升。
“周易”X2 NPU優(yōu)化了Transformer性能。如今汽車領(lǐng)域大量地采用Transformer結(jié)構(gòu)，Transformer是一個(gè)在汽車領(lǐng)域很常見(jiàn)的AI模型，有基于圖像、基于分割檢測(cè)的模型。

此外，在低功耗領(lǐng)域做了很多的技術(shù)升級(jí)，在7nm工藝節(jié)點(diǎn)上做到10TOP/W的能效。面向手機(jī)、平板電腦、PC等市場(chǎng)可以提供30T算力，這個(gè)算力基本上可以對(duì)標(biāo)現(xiàn)在業(yè)界旗艦手機(jī)的NPU的解決方案。針對(duì)手持設(shè)備做了專門的優(yōu)化，比如說(shuō)拍照的AI去噪聲，視頻超分辨率、插幀等?？傊麄€(gè)“周易”X2產(chǎn)品有大量的技術(shù)升級(jí)，滿足面向汽車以及手持設(shè)備的產(chǎn)品的需求。

在靈活性方面，“周易”X2 NPU在支持自定義算子、滿足各種模型部署需求的基礎(chǔ)上，還面向各類應(yīng)用場(chǎng)景提供定制化AI解決方案，以進(jìn)一步滿足客戶在智能駕駛、手機(jī)影像AI處理、人機(jī)交互等場(chǎng)景中的差異化需求。
為幫助開(kāi)發(fā)者更方便、快速地進(jìn)行算法移植和調(diào)試，“周易”X2 NPU還提供了一套完善的人工智能軟件平臺(tái)，可以更好地滿足開(kāi)發(fā)者對(duì)性能調(diào)優(yōu)、系統(tǒng)部署的需求。目前，“周易”X2 NPU已面向客戶正式交付，并且今年會(huì)有多款搭載“周易”X2 NPU的芯片產(chǎn)品面世。

V3架構(gòu)突破，與完整的“周易” Compass軟件平臺(tái)

安謀科技NPU研發(fā)高級(jí)總監(jiān)孫錦鴻Ryan解析，在“周易”X2 NPU中，一個(gè)核分成兩個(gè)大的計(jì)算部件，一個(gè)是可編程的、靈活的單元，采用VLIW結(jié)構(gòu)，它是通用向量處理單元。另外，我們還專門為Tensor處理做了不同種類算子加速單元，跟靈活單元有機(jī)結(jié)合成為一個(gè)可擴(kuò)展性的核結(jié)構(gòu)。擴(kuò)展性層面，在一個(gè)Cluster里擴(kuò)展，通過(guò)高帶寬的內(nèi)部NoC，以及一些Debug單元、電源管理單元、內(nèi)部memory構(gòu)成一個(gè)計(jì)算Cluster，再通過(guò)Task Scheduling Manager，將計(jì)算任務(wù)調(diào)度到合適的核，或者合適的Cluster里?！爸芤住奔軜?gòu)能做到高效能AI固定運(yùn)算和靈活編程要求的有效平衡。



孫錦鴻表示，對(duì)比起“周易”v1、v2架構(gòu)，v3架構(gòu)更強(qiáng)調(diào)并行性和可擴(kuò)展性。整個(gè)“周易”NPU的設(shè)計(jì)核心思想在指令、數(shù)據(jù)處理單元的同構(gòu)計(jì)算里做到了最大并行。在整個(gè)v3架構(gòu)的指令集中，安謀科技定義了超過(guò)1000個(gè)專門針對(duì)不同場(chǎng)景的指令，這些指令也是基于VLIW結(jié)構(gòu)，由長(zhǎng)指令和短指令構(gòu)成，并且可以支持64bit和128bit的指令包，做到統(tǒng)一的指令集組合。



孫錦鴻分析，在運(yùn)算單元里，需要很多AI固定功能的加速，我們提供了高效的4K MAC矩陣，適用于CNN、RNN、Transformer等結(jié)構(gòu)。其次提供了很多可重置的結(jié)構(gòu)單元，以適配很多新算子，因?yàn)楹芏郃I功能背后的模型或算子更新是日新月異，這些可重置的結(jié)構(gòu)單元就給我們的NPU提供了很多的可擴(kuò)展性和適應(yīng)性。
靈活單元層面，我們就做了很多針對(duì)AI標(biāo)量、矢量的指令，這些指令都可以通過(guò)OpenCL實(shí)現(xiàn)很好的編程體驗(yàn)。每個(gè)基礎(chǔ)單元可以做到1024bit/cycle的數(shù)據(jù)處理，它的數(shù)據(jù)帶寬可以根據(jù)1024bit做到較為有效的拓展。也加入支持矩陣浮點(diǎn)運(yùn)算。

“周易”NPU不僅提供硬件NPU IP，還提供一整套完整的“周易” Compass軟件平臺(tái)，這個(gè)平臺(tái)中包括模型編譯器、調(diào)試器，不僅可以分析和判斷運(yùn)行中是否有一些異常和錯(cuò)誤，還可以調(diào)試性能。



孫錦鴻表示，基于V3架構(gòu)，安謀科技開(kāi)發(fā)了很多底層軟件、中間部件，包括runtime、IDE、simulator等等都整合到“周易” Compass軟件平臺(tái)里。也開(kāi)發(fā)了很多高效能的NN算子，供客戶直接調(diào)用。還開(kāi)發(fā)了專門的NN compiler，整合i-Tiling的技術(shù)。此外，提供一個(gè)友好的OpenCL的Compiler，通過(guò)單次編程就可以把這么多運(yùn)算單元整合起來(lái)。在頂層上，我們也有統(tǒng)一的Parser對(duì)接到各種神經(jīng)網(wǎng)絡(luò)框架。此外，還有一個(gè)核心部件是量化部件，可以把各種浮點(diǎn)的原始模型量化到合適精度，給NPU最高效的運(yùn)行。我們也定義了一套名為Compass IR的公開(kāi)標(biāo)準(zhǔn)接口，將IR直接對(duì)接到上層神經(jīng)網(wǎng)絡(luò)或底層硬件。并且這一部分設(shè)計(jì)已經(jīng)實(shí)現(xiàn)了開(kāi)源。


“周易” Compass軟件平臺(tái)現(xiàn)在已經(jīng)支持了上百種AI算子或者是AI層，支持上百種AI模型，希望通過(guò)這樣一套“周易” Compass軟件平臺(tái)來(lái)支持全部的軟件模型，因?yàn)檎麄€(gè)“周易”NPU具有完全可編程性，客戶可以開(kāi)發(fā)新的算子?！坝绕涫窃谄囶I(lǐng)域，無(wú)論是模型、數(shù)據(jù)，對(duì)客戶來(lái)講都是核心資產(chǎn)，它的算法中就采用了很多自定義算子，也就是非標(biāo)準(zhǔn)算子，這些算子都能體現(xiàn)出車廠、自動(dòng)駕駛廠商的特有技術(shù)或方案。這種情況下，我們就可以支持這些客戶進(jìn)行自定義算子的部署?！睂O錦鴻說(shuō)道。


同時(shí)，“周易” Compass軟件平臺(tái)不單可以把NPU的性能充分發(fā)揮出來(lái)，還結(jié)合通用的Arm CPU處理器，GPU IP單元，以及ISP、VPU、SPU等提供一套完整的異構(gòu)計(jì)算解決方案。目前支持TVM以及Arm NN兩套異構(gòu)計(jì)算平臺(tái)，能夠?qū)oC芯片中的CPU、GPU、NPU IP的性能協(xié)同發(fā)揮出來(lái)。

解決NPU碎片化問(wèn)題，“周易”NPU軟件開(kāi)源計(jì)劃

從AI訓(xùn)練和推理的生態(tài)來(lái)看，“周易”NPU主要做推理，沒(méi)有涉足訓(xùn)練的部分。安謀科技產(chǎn)品總監(jiān)楊磊分享了一個(gè)數(shù)據(jù)，安謀科技統(tǒng)計(jì)了過(guò)去一年里國(guó)內(nèi)的60個(gè)用到NPU的芯片項(xiàng)目。發(fā)現(xiàn)其中大概55%的項(xiàng)目用的都是自研NPU，但是每一家都不一樣。剩下的部分主要是基于IP的解決方案，過(guò)去1年大概有8個(gè)項(xiàng)目用了安謀科技“周易”NPU的方案，雖然“周易”NPU占的比例從整個(gè)餅圖來(lái)看不高，但在IP領(lǐng)域仍然是最多的。這就說(shuō)明整個(gè)硬件的平臺(tái)是極其碎片化的。



硬件碎片化所帶來(lái)的弊端就是每一家硬件都有自己的軟件工具鏈，對(duì)應(yīng)的可能就有40種工具鏈。這對(duì)應(yīng)用開(kāi)發(fā)來(lái)講是極其復(fù)雜或者是痛苦的。怎樣能在推理側(cè)使生態(tài)更加友好，尤其是對(duì)于軟件開(kāi)發(fā)者、應(yīng)用開(kāi)發(fā)者更加友好，可以讓他們更加方便、快捷地做應(yīng)用的開(kāi)發(fā)和部署，是安謀科技一直在深入思考的問(wèn)題。

隨著“周易”X2 NPU的推出，安謀科技正式發(fā)布“周易”NPU軟件開(kāi)源計(jì)劃，并更新了生態(tài)伙伴計(jì)劃的最新進(jìn)展。作為立足全球生態(tài)、深耕本土創(chuàng)新的重要舉措，安謀科技一方面通過(guò)開(kāi)放源碼的形式，攜手更多開(kāi)發(fā)者以及合作伙伴共建國(guó)內(nèi)NPU產(chǎn)業(yè)生態(tài)；另一方面，通過(guò)戰(zhàn)略合作、產(chǎn)品技術(shù)支持、項(xiàng)目協(xié)作等形式與合作伙伴共建上下游產(chǎn)業(yè)生態(tài)，共同推動(dòng)各領(lǐng)域軟硬件、工具鏈、行業(yè)標(biāo)準(zhǔn)以及社區(qū)聯(lián)盟等生態(tài)環(huán)節(jié)的發(fā)展。

在“周易”NPU軟件開(kāi)源計(jì)劃下，安謀科技已率先對(duì)外開(kāi)放NPU中間表示層規(guī)范、模型解析器、模型優(yōu)化器、驅(qū)動(dòng)等，并向相關(guān)合作伙伴提供“周易”Compass軟件平臺(tái)，包括軟件模擬器、調(diào)試器、C編譯器等在內(nèi)的多種軟件工具。在滿足合作伙伴更自主、更靈活的算法移植需求的同時(shí)，進(jìn)一步提升了軟件開(kāi)發(fā)效率，避免重復(fù)造輪。據(jù)悉，上述只是“周易”NPU軟件開(kāi)源計(jì)劃的第一步，安謀科技后續(xù)還將逐步開(kāi)放更多資源，如模型量化、算子實(shí)現(xiàn)等源代碼。

“周易”NPU軟件部署

截至目前，憑借完整的工具鏈及技術(shù)服務(wù)，“周易”NPU軟件開(kāi)源計(jì)劃已經(jīng)有第一批合作伙伴率先加入，其中不乏來(lái)自AIoT、智能汽車、智能操作系統(tǒng)等領(lǐng)域的明星企業(yè)。

小結(jié)：

安謀科技一直積極推進(jìn)自研IP的研發(fā)。安謀科技執(zhí)行副總裁、產(chǎn)品研發(fā)負(fù)責(zé)人劉澍 William Liu表示，以NPU研發(fā)團(tuán)隊(duì)來(lái)看，經(jīng)過(guò)5年的努力從零開(kāi)始建立，目前在北京、上海、深圳吸引和培養(yǎng)眾多工程師，整個(gè)團(tuán)隊(duì)擁有超過(guò)130位工程師從事開(kāi)發(fā)包含硬件和軟件的NPU全棧研發(fā)。我們可以看到，如今安謀科技已經(jīng)做了多款NPU產(chǎn)品，已發(fā)展到第三代架構(gòu)，此次大算力“周易”X2 NPU的推出可謂恰逢其時(shí)，趕上AIoT、智能終端和汽車大發(fā)展的浪潮。