最近，ARM進一步公開了ML Procesor的一些信息。EETimes的文章“Arm Gives Glimpse of AI Core”[1] 和 AnandTech的文章“ARM Details “Project Trillium” Machine Learning Processor Architecture”分別從不同角度進行了介紹，值得我們仔細分析。

ARM公開它的ML Processor是在今年春節(jié)前夕，當時公布的信息不多，我也簡單做了點分析（AI芯片開年）。

這次ARM公開了更多信息，我們一起來看看。首先是關(guān)鍵的Feature和一些重要信息，2018年中會Release。

頂層架構(gòu)

與最初公布的基本框圖相比，我們這次看到了更細化的模塊框圖和連接關(guān)系，如下圖所示。

MLP的頂層對外來看是個比較典型的硬件加速器，它有本地的SRAM，通過一個ACE-Lite接口和外部交互數(shù)據(jù)和主要的控制信息（指令）。另外應該還有一些控制信號，估計在這里略去了（可以參考Nvidia的NVDLA）。

在上圖中綠色箭頭應該表示的是數(shù)據(jù)流，紅色表示控制流。MLP中的CE共享一套DMA，Control Unit和Sync Unit，它的基本處理流程大概是這樣的： 1. 配置Control Unit和DMA Engine；2. DMA Engine從外部（如DDR）讀入數(shù)據(jù)存在本地的SRAM中；3. Input Feature Map Read模塊和Weight Read模塊分別讀入待運算的feature map和weight，處理（比如Weight的解壓縮），并發(fā)送到MAC Convolution Engine（后面簡稱為MCE）；4. MCE執(zhí)行卷積等操作，并把結(jié)果傳輸給Programmable Layer Engine（后面簡稱為PLE）；5. PLE執(zhí)行其它處理，并將結(jié)果寫回本地SRAM；6. DMA Engine把結(jié)果傳輸?shù)酵獠看鎯臻g（如DDR）。

? ? ? ?在頂層標出的Broadcast接口，實現(xiàn)在多個Compute Engine（后面簡稱為CE）之間廣播feature map數(shù)據(jù)的功能。因此，基本的卷積運算模式是，相同的feature map廣播到多個CE，不同的CE使用不同的weight來和這些feature map進行運算。

從目前的配置來看，MLP包括16個compute engine，每個有128個MAC，即一共有16x128=2048個MAC，每個cycle可以執(zhí)行4096個操作。如果要實現(xiàn)ARM所說的4.6TOPS的總的處理能力，則需要時鐘周期達到1.12GHz左右。由于這個指標是針對7nm工藝，實現(xiàn)問題不大。

MCE實現(xiàn)高效卷積

在MLP的架構(gòu)中，MCE和PLE是最重要的功能模塊。MCE提供主要的運算能力（處理90%的運算），應該也是MLP中面積和功耗最大的部分。因此，MCE設(shè)計優(yōu)化的一個主要目標就是實現(xiàn)高效的卷積操作。具體來講，MLP的設(shè)計主要考慮了以下一些方法，這些方法大部分我們之前也都討論過。

? ? ? ? 一個比較有趣的點是上面提到的“varied internal precision”。目前還不太清楚其具體的含義。不過對應用來說看到的應該是固定的8bit數(shù)據(jù)類型。至于對低精度Inference的支持，[1]中提供的信息是， “The team is tracking research on data types down to 1-bit precision, including a novel 8-bit proposal from Microsoft. So far, the alternatives lack support in tools to make them commercially viable, said Laudick.” 因此在第一版的MLP中，應該也不會看到低精度或者Bit-serial MAC了（參考AI芯片開年中對ISSCC2018出現(xiàn)的Bit-serial Processing的介紹）。

此外，數(shù)據(jù)的壓縮和對工藝的優(yōu)化也是提高整體效率的主要手段。特別是工藝的優(yōu)化，結(jié)合ARM的工藝庫，應該有比較好的效果，這也是ARM有優(yōu)勢的地方。

PLE實現(xiàn)高效的可編程性

如下圖所示，PLE的結(jié)構(gòu)基本是在一個ARM MCU基礎(chǔ)上擴展了Vector處理和NN處理的指令。在討論可編程性的時候，其出發(fā)點主要是NN算法和架構(gòu)目前還在不斷演進。

? ? ? ? 我們前面已經(jīng)分析了整個MLP的基本工作流程，MCE在完成了運算之后把結(jié)果傳輸給PLE。從這里可以看出，MCE應該是把結(jié)果發(fā)送到Vector Register File（VRF），然后產(chǎn)生中斷通知CPU。之后，CPU啟動Vector Engine對數(shù)據(jù)進行處理。具體如下圖所示。

? ? ? ? 對于做專用處理器的同學來說，這種scalar CPU+vector engine的架構(gòu)并不陌生。這里，本地SRAM，VRF和PLE之外的Maing SRAM Unit（CE中的SRAM）之間有Load/Store單元和uDMA實現(xiàn)數(shù)據(jù)的傳輸，數(shù)據(jù)流也是比較靈活的。綜合來看， 在MLP中，每個CE中都有一個PLE和MCE配合，即每個MCE（128個MAC）就對應一個可編程架構(gòu)。 因此，ARM MLP的可編程性和靈活性是要遠高于Google TPU1和Nvidia的NVDLA的。當然，靈活性也意味著更多額外的開銷，如[1]中指出的，“The programmable layer engine (PLE) on each slice of the core offers “ just enough programmability to perform [neural-net] manipulations ””。High-efficient Programmability是MLP的一個主要賣點之一，而ARM的“just enough”是否真是最合適的選擇，還有待進一步觀察。