各大半導(dǎo)體廠商紛紛發(fā)布了人工智能相關(guān)產(chǎn)品。九月初，先是華為的麒麟970集成了寒武紀(jì)的人工智能加速器IP。之后，蘋(píng)果在其發(fā)布會(huì)上展示了新一代的A11 Bionic SoC，其中集成了neural engine加速器。Imagination也不甘落后，在蘋(píng)果之后也發(fā)布了PowerVR NNA神經(jīng)網(wǎng)絡(luò)處理器IP。九月底，Nvidia的開(kāi)源深度學(xué)習(xí)加速器（DLA）正式上線，幾乎與之同時(shí)，Intel也公布了Loihi芯片。本文將盤(pán)點(diǎn)以上幾款產(chǎn)品，分析異同。

華為、蘋(píng)果、Imagination：面向手機(jī)的成熟產(chǎn)品發(fā)布，移動(dòng)端AI時(shí)代的敲門(mén)磚

2016年初，以Eyeriss為代表的深度學(xué)習(xí)加速器芯片乘著人工智能興起的東風(fēng)紛紛破土而出。目前基于深度學(xué)習(xí)的人工智能算法需要很大的計(jì)算量，而傳統(tǒng)CPU芯片上用于計(jì)算的ALU數(shù)目并不多，性能不足以支持深度學(xué)習(xí)算法的流暢執(zhí)行。

另外，GPU雖然在云端服務(wù)器獲得大規(guī)模應(yīng)用，但是一方面GPU架構(gòu)的功耗太大，無(wú)法在移動(dòng)端廣泛使用；另一方面GPU最適合的是深度學(xué)習(xí)訓(xùn)練，在深度學(xué)習(xí)的推理應(yīng)用中因?yàn)镚PU基于batch運(yùn)算的模式導(dǎo)致延遲過(guò)大，也不適合在移動(dòng)端使用。

深度學(xué)習(xí)加速器目前主打的是性能和能效比，其性能能幫助深度學(xué)習(xí)的推理流暢執(zhí)行，而其能效比則保證了算法加速過(guò)程中不會(huì)消耗太多電池，可以在移動(dòng)端長(zhǎng)時(shí)間使用。目前在移動(dòng)領(lǐng)域，智能攝像頭、無(wú)人機(jī)、手機(jī)等都是深度學(xué)習(xí)加速器潛在的應(yīng)用領(lǐng)域，其中以手機(jī)的應(yīng)用市場(chǎng)最大。

關(guān)于深度學(xué)習(xí)加速器的用法，一般分為芯片和IP兩種。芯片的代表如Movidius的Myriad系列（以及基于Myriad芯片的neural stick產(chǎn)品）和，用戶可以把芯片集成到自己的系統(tǒng)中來(lái)做深度學(xué)習(xí)加速。然而，在BOM可謂寸土寸金的手機(jī)領(lǐng)域，額外加一塊芯片加速深度學(xué)習(xí)幾乎不可能，可行的做法是在手機(jī)SoC里面集成一塊深度學(xué)習(xí)加速器IP，在手機(jī)執(zhí)行深度學(xué)習(xí)應(yīng)用的時(shí)候可以把計(jì)算放到加速器模塊去執(zhí)行。

華為、蘋(píng)果和Imagination紛紛發(fā)布人工智能加速I(mǎi)P

華為、蘋(píng)果和Imagination發(fā)布的深度學(xué)習(xí)加速器產(chǎn)品都是這樣的IP模塊。這些模塊經(jīng)過(guò)長(zhǎng)期設(shè)計(jì)和驗(yàn)證，已經(jīng)非常成熟，可以進(jìn)入大規(guī)模生產(chǎn)階段。產(chǎn)品能進(jìn)入量產(chǎn)階段意味著之前已經(jīng)經(jīng)過(guò)了長(zhǎng)期的技術(shù)積累，正如蘋(píng)果和華為透露他們的人工智能加速I(mǎi)P至少在兩年前就已經(jīng)立項(xiàng)了，可見(jiàn)這些手機(jī)巨頭對(duì)于人工智能的遠(yuǎn)見(jiàn)和拿下市場(chǎng)的決心。

目前手機(jī)上的人工智能應(yīng)用應(yīng)該說(shuō)還處于非常初期的階段，硬件和軟件屬于“先有雞還是先有蛋”的境況：在沒(méi)有深度學(xué)習(xí)加速硬件的情況下開(kāi)發(fā)手機(jī)端的人工智能應(yīng)用，會(huì)導(dǎo)致硬件限制執(zhí)行速度，用戶體驗(yàn)不好；

而如果沒(méi)有手機(jī)端的人工智能相關(guān)應(yīng)用，硬件廠商往往就不會(huì)想到要去做專門(mén)的深度學(xué)習(xí)加速器。而華為、蘋(píng)果和Imagination推出的手機(jī)端深度學(xué)習(xí)加速器IP可謂是打破了這個(gè)僵局，成為手機(jī)端人工智能應(yīng)用普及的敲門(mén)磚。

華為、蘋(píng)果和Imagination公布的加速器峰值性能分別是1.96 TOPS、0.6 TOPS和4TOPS，而實(shí)測(cè)的性能麒麟970可以到300 GOPS（執(zhí)行VGG-16模型），Imagination約750 GOPS（執(zhí)行GoogleNet模型），蘋(píng)果的實(shí)測(cè)數(shù)據(jù)還沒(méi)有公布，估計(jì)也是在100 GOPS的數(shù)量級(jí)。這樣的數(shù)字能夠支持基礎(chǔ)的深度學(xué)習(xí)算法：

目前，蘋(píng)果宣稱其A11中的neural engine主要是加速Face ID應(yīng)用，而華為的展示項(xiàng)目則是實(shí)時(shí)物體辨識(shí)。預(yù)期在未來(lái)，這些人工智能加速器的應(yīng)用場(chǎng)景會(huì)遠(yuǎn)遠(yuǎn)多于這些，同時(shí)也促成移動(dòng)端人工智能應(yīng)用的井噴式發(fā)展。

另一方面，我們也應(yīng)該看到，100GOPS數(shù)量級(jí)的算法運(yùn)行計(jì)算量更大的實(shí)時(shí)物體檢測(cè)（object detection，從畫(huà)面中同時(shí)定位并識(shí)別多個(gè)物體）還不夠流暢，因此深度學(xué)習(xí)IP還有不少進(jìn)步的空間。

Nvidia DLA：為AI生態(tài)鋪路的前瞻性產(chǎn)品

與華為、蘋(píng)果等定制深度學(xué)習(xí)IP模塊不同，Nvidia選擇了開(kāi)源其深度學(xué)習(xí)加速架構(gòu)DLA。目前，DLA已經(jīng)在github上發(fā)布了其RTL代碼可供編譯、仿真以及驗(yàn)證，預(yù)計(jì)在未來(lái)Nvidia將進(jìn)一步公布其C模型等重要設(shè)計(jì)組件。

Nvidia DLA最主要的部分是計(jì)算單元，據(jù)悉目前DLA會(huì)使用Winograd算法來(lái)減小卷積的計(jì)算開(kāi)銷，同時(shí)也會(huì)使用數(shù)據(jù)壓縮技術(shù)，來(lái)減少DRAM訪問(wèn)時(shí)的數(shù)據(jù)流量。

Nvidia同時(shí)給出了NVDLA構(gòu)成的兩種系統(tǒng)，在比較復(fù)雜的大系統(tǒng)中， DLA的接口包括與處理器交互的IRQ／CSB，與片外DRAM交互的DBBIF，以及與SRAM交互的SRAMIF，而在小系統(tǒng)的例子中，則省去了SRAMIF，因?yàn)樾∠到y(tǒng)中的SRAM比較寶貴可能沒(méi)有可供NVDLA使用的部分。

在性能方面，NVDLA在使用2048個(gè)MAC的時(shí)候可以每秒完成269次ResNet-50推理，相當(dāng)于2.1TOPS的性能，當(dāng)然其對(duì)于內(nèi)存的帶寬要求也達(dá)到了20GB/s，接近DDR4系列的最高帶寬。

那么，Nvidia為什么選擇了開(kāi)源的形態(tài)呢？通過(guò)觀察，我們不難發(fā)現(xiàn)目前在人工智能硬件領(lǐng)域，Nvidia已經(jīng)成為云端人工智能加速的主宰者，而在發(fā)展?jié)摿薮蟮臒o(wú)人車領(lǐng)域，Nvidia也接連推出多款GPU產(chǎn)品布局，在競(jìng)爭(zhēng)中也處于領(lǐng)跑地位。

在這些Nvidia具有競(jìng)爭(zhēng)優(yōu)勢(shì)的領(lǐng)域，Nvidia的GPU都是作為一種性能強(qiáng)勁的計(jì)算加速器存在的。然而，對(duì)于產(chǎn)品種類多樣而更適合使用SoC產(chǎn)品形態(tài)的移動(dòng)領(lǐng)域，Nvidia一直沒(méi)有打開(kāi)局面。

之前Nvidia曾經(jīng)推出過(guò)TK系列和TX系列作為帶有深度學(xué)習(xí)和機(jī)器視覺(jué)硬件加速特性的SoC來(lái)試水移動(dòng)市場(chǎng)，可惜這些產(chǎn)品的功耗都在10W左右，而且成本很高，導(dǎo)致一直無(wú)法占領(lǐng)移動(dòng)端人工智能加速市場(chǎng)。Nvidia最擔(dān)心的恐怕就是有一家芯片廠商在移動(dòng)端人工加速市場(chǎng)脫穎而出，由下至上挑戰(zhàn)Nvidia在人工智能加速硬件領(lǐng)域的地位。

因此，Nvidia開(kāi)源其DLA加速模塊，其實(shí)是讓全球的SoC廠商幫Nvidia一起優(yōu)化DLA加速模塊，并且?guī)椭鶱vidia搶占移動(dòng)端市場(chǎng)。另一方面，開(kāi)源DLA也能加速移動(dòng)端人工智能加速硬件的成熟，這樣當(dāng)硬件不再成為瓶頸后，移動(dòng)端人工智能應(yīng)用將迎來(lái)爆發(fā)。而Nvidia作為深度學(xué)習(xí)模型訓(xùn)練（GPU）以及優(yōu)化（TensorRT）工具鏈生態(tài)環(huán)境的實(shí)際掌控者，在移動(dòng)端人工智能市場(chǎng)真正蓬勃發(fā)展后，即使DLA不帶來(lái)收入也能從人工智能產(chǎn)業(yè)鏈的上游獲得大量收益，因此開(kāi)源DLA的舉動(dòng)是Nvidia布局人工智能生態(tài)的重要一步。

Intel Loihi：神經(jīng)擬態(tài)芯片，試驗(yàn)性產(chǎn)品

與前述的幾家公司不同，Intel推出的Loihi是一款基于神經(jīng)擬態(tài)（neuromorphic）的芯片。目前最流行的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中，神經(jīng)網(wǎng)絡(luò)把人類的神經(jīng)系統(tǒng)的統(tǒng)計(jì)行為抽象為一系列運(yùn)算（高維卷積以及非線性運(yùn)算）的數(shù)學(xué)系統(tǒng)，與真正的生物神經(jīng)工作并不相同，而之前介紹的幾款產(chǎn)品（以及絕大多數(shù)其他人工智能加速器硬件）都是加速這類經(jīng)典神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的。

神經(jīng)擬態(tài)則是幾乎完全照搬生物神經(jīng)系統(tǒng)，試圖在模型中完全重現(xiàn)生物神經(jīng)的工作方式（例如引入神經(jīng)元電勢(shì)可以充放電，在電勢(shì)超過(guò)一定閾值后神經(jīng)元就會(huì)放出電脈沖到其他相鄰的神經(jīng)元）。理論上，這種神經(jīng)擬態(tài)芯片可以由異步系統(tǒng)實(shí)現(xiàn)，并且有很低的功耗。然而，目前神經(jīng)擬態(tài)結(jié)構(gòu)如何訓(xùn)練仍然是學(xué)術(shù)界沒(méi)有解決的問(wèn)題。

Intel發(fā)布的Loihi聲稱可以自我學(xué)習(xí)，然而學(xué)習(xí)的效果如何還不得而知。應(yīng)該說(shuō)在模型訓(xùn)練問(wèn)題還沒(méi)有解決前，神經(jīng)擬態(tài)就基本無(wú)法與經(jīng)典的深度學(xué)習(xí)在主流人工智能應(yīng)用里正面競(jìng)爭(zhēng)，而主要會(huì)用在一些實(shí)驗(yàn)性的應(yīng)用，例如利用神經(jīng)擬態(tài)芯片去完成腦科學(xué)研究，或者做一些專用場(chǎng)合的高效數(shù)據(jù)處理（例如三星就使用過(guò)IBM的True North神經(jīng)擬態(tài)芯片來(lái)實(shí)現(xiàn)動(dòng)態(tài)視覺(jué)傳感器，只有在畫(huà)面發(fā)生變化的時(shí)候該傳感器才會(huì)記錄）。而Intel發(fā)布的Loihi，也更多是一款試驗(yàn)性質(zhì)的產(chǎn)品。

為什么大家紛紛推出AI芯片產(chǎn)品？

在一個(gè)月中，幾家大公司相繼發(fā)布AI芯片，這首先說(shuō)明人工智能應(yīng)用真正獲得了市場(chǎng)的認(rèn)可。如果我們回顧芯片市場(chǎng)，會(huì)發(fā)現(xiàn)總是先有軟件應(yīng)用出現(xiàn)，該應(yīng)用在得到認(rèn)可后快速發(fā)展很快遇到硬件瓶頸，于是推動(dòng)相應(yīng)硬件的開(kāi)發(fā)，而在硬件瓶頸突破后，該應(yīng)用又會(huì)獲得更快速的普及，從而形成一個(gè)正循環(huán)。目前人工智能正處于該循環(huán)的第二步，即硬件限制了人工智能應(yīng)用的普及，尤其是在移動(dòng)端的普及，而各大硬件廠商正是看到了人工智能的巨大潛力，于是紛紛開(kāi)發(fā)相關(guān)芯片并爭(zhēng)相發(fā)布。

在未來(lái)的移動(dòng)人工智能市場(chǎng)，由于移動(dòng)產(chǎn)品的多樣性（如要求高性能但是允許高功耗的智能攝像頭市場(chǎng)，要求高性能但是同時(shí)要求低延遲和低功耗的無(wú)人機(jī)市場(chǎng)，要求中等性能但是對(duì)成本和功耗要求很高的手機(jī)市場(chǎng)，以及要求超低功耗但是對(duì)于性能要求也不高的物聯(lián)網(wǎng)市場(chǎng)），預(yù)計(jì)還是會(huì)有多家公司分別占領(lǐng)不同的市場(chǎng)，而不太會(huì)出現(xiàn)一家獨(dú)大通吃所有市場(chǎng)的情況。未來(lái)人工智能芯片預(yù)計(jì)會(huì)進(jìn)入群雄逐鹿的時(shí)代。