這是我第二次見到Naveen Rao。

與初見一樣，聊到AI，他的話匣子一下被打開，一直有層出不窮的想法與理論冒出，滿腹經(jīng)綸，侃侃而談。

英特爾全球副總裁兼人工智能產(chǎn)品事業(yè)部（AIPG）總經(jīng)理 Naveen Rao

與他這種溫暖的教授般的氣質(zhì)形成“反萌差”的是他對(duì)極限運(yùn)動(dòng)的熱愛。這位40剛出頭的AI專家還是一名運(yùn)動(dòng)健將，以至于在滑雪、滑板、騎自行車、駕駛賽車、摔跤和打籃球的生涯中，弄傷了全部手指?；蛟S就是這樣一位冒險(xiǎn)家，更適合帶動(dòng)人工智能，在他創(chuàng)立的深度學(xué)習(xí)初創(chuàng)公司Nervana被英特爾收購(gòu)后，Nervana被迅速整合到英特爾AI核心戰(zhàn)略之中，現(xiàn)在Rao已經(jīng)成為英特爾人工智能事業(yè)群（AIPG）的掌舵人。

Rao說(shuō)來(lái)到英特爾，“這里是一個(gè)開放的文化”，他很喜歡團(tuán)隊(duì)合作，然而調(diào)用資源并不是一件容易的事，但英特爾在產(chǎn)品的市場(chǎng)化方面擁有豐富的經(jīng)驗(yàn)，強(qiáng)大的向心力正將公司各部門之間扭成一股勁，朝著一個(gè)目標(biāo)通力協(xié)作。

在英特爾，實(shí)干永遠(yuǎn)比空談更重要。在英特爾首屆AI開發(fā)者大會(huì)上，由Rao率隊(duì)帶領(lǐng)，英特爾人工智能業(yè)務(wù)相關(guān)部門的“狠角色”集中露面，這應(yīng)該是英特爾AI史上一次先例。要知道，除了英特爾內(nèi)部會(huì)議，能夠在公開場(chǎng)合看到一群“大牛”如此乖巧的集中出現(xiàn)，幾乎是零概率事件。

但英特爾并沒有讓人失望。

這一次它拿出了一支配置超高的英特爾“AI銀河戰(zhàn)隊(duì)”（姑且叫這名吧），如下圖，從左到右依次是：

Jennifer Huffstetler，英特爾數(shù)據(jù)中心事業(yè)部副總裁兼數(shù)據(jù)中心產(chǎn)品和存儲(chǔ)營(yíng)銷總經(jīng)理

Reynette Au，英特爾可編程解決方案事業(yè)部副總裁

Jack Weast， 英特爾無(wú)人駕駛解決方案資深首席工程師兼首席架構(gòu)師

Gayle Sheppard，英特爾新技術(shù)事業(yè)部副總裁兼Saffron人工智能事業(yè)部總經(jīng)理

Remi El－Ouazzane，英特爾新技術(shù)事業(yè)部副總裁兼Moviduis總經(jīng)理

Jonathon Ballon，英特爾物聯(lián)網(wǎng)事業(yè)部副總裁

Naveen Rao， 英特爾公司副總裁兼人工智能產(chǎn)品事業(yè)部總經(jīng)理

盡管這陣容堪比漫威“復(fù)仇者聯(lián)盟”，但依舊有“大神”在畫框外。

英特爾人工智能事業(yè)部副總裁、 Nervana團(tuán)隊(duì)核心成員Carey Kloss

Carey Kloss是英特爾人工智能事業(yè)群副總裁、 Nervana團(tuán)隊(duì)核心成員，雖然并沒有在上圖中出現(xiàn)，但他向科技行者表達(dá)出對(duì)團(tuán)隊(duì)的熱愛，“英特爾有迄今為止我見過的最佳的后硅培養(yǎng)（post－silicon bring－up）和架構(gòu)分析?！币舱蛉绱?，Nervana神經(jīng)網(wǎng)絡(luò)處理器（Nervana Neural Network Processor，NNP）才獲得巨大提升。

事實(shí)上，NNP也是英特爾醞釀已久的“殺手锏”。在本次AI開發(fā)者大會(huì)上，Rao就爽快公開了英特爾新一代AI芯——英特爾Nervana NNP－L1000，代號(hào)為“Spring Crest”的專用人工智能芯片，而這款芯片也即將成為英特爾第一款商用神經(jīng)網(wǎng)絡(luò)處理器產(chǎn)品，并計(jì)劃在2019年發(fā)布。

盡管Rao并沒有再多透露新代AI芯片的細(xì)節(jié)，但同為Nervana創(chuàng)始團(tuán)隊(duì)的Carey Kloss卻掌握著機(jī)密——我們當(dāng)然不會(huì)放過他。就在AI開發(fā)者大會(huì)期間，科技行者與他進(jìn)行了一次“接地氣”對(duì)話，原來(lái)打著“如意算盤”的英特爾還可以這樣玩。

Nervana NNP：新AI芯性能飆升3－4倍，但威力還沒完全釋放

在Rao長(zhǎng)達(dá)1小時(shí)的主題演講中，最重磅的發(fā)布非英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器莫屬了，它對(duì)英特爾的意義非同小可。

如果拿去年10月首次公布的“Lake Crest”（Nervana NNP系列初代芯片代號(hào)）做一個(gè)比喻，可以說(shuō)“Lake Crest”就像一場(chǎng)“及時(shí)雨”，成功幫助英特爾在AI專用芯片競(jìng)爭(zhēng)中站住腳。但英特爾卻提出了一個(gè)更大的目標(biāo)，即到2020年要將深度學(xué)習(xí)訓(xùn)練的性能提升100倍。而Crest家族很可能成為英特爾目標(biāo)實(shí)現(xiàn)的最快途徑。

要知道一塊芯片的打造并非易事，如果背后沒有一支瘋狂、專注的芯片開發(fā)團(tuán)隊(duì)，它也將是一塊不足掛齒的芯片。所以懂門道的內(nèi)行人更專注的問題是：Nervana神經(jīng)網(wǎng)絡(luò)處理器系列芯片背后的英特爾IC設(shè)計(jì)團(tuán)隊(duì)，究竟是如何打造出這顆能在現(xiàn)有性能上再飆升3－4倍的“Spring Crest”？

雖然Carey Kloss口風(fēng)很緊，但關(guān)于Nervana神經(jīng)網(wǎng)絡(luò)處理器，科技行者還是在與他的聊天中，拿到以下犀利信息：

1、Lake Crest和Spring Crest的主要區(qū)別

Lake Crest作為第一代處理器，在GEMM（矩陣運(yùn)算）和卷積神經(jīng)上都實(shí)現(xiàn)了非常好的計(jì)算利用率。這不僅僅是指96％吞吐量的利用率，而是在沒有充分定制化的情況下，Nervana也在大多數(shù)情況下實(shí)現(xiàn)GEMM高于80％的計(jì)算利用率。當(dāng)開發(fā)下一代芯片時(shí)，如果能夠保持高計(jì)算利用率，新的產(chǎn)品在性能上有3到4倍的性能提升。

2、Lake Crest計(jì)算利用率達(dá)到96％，為什么到Spring Crest不升反而降了？

這是一個(gè)市場(chǎng)策略，把利用率適當(dāng)下降。有些情況確實(shí)可以實(shí)現(xiàn)98％，在沒有資源沖突時(shí)，每個(gè)硅芯片都完全運(yùn)行的情況下，可以達(dá)到99％甚至100％計(jì)算利用率。但英特爾想展示的是大多數(shù)情況下能能實(shí)現(xiàn)的利用率，所以適當(dāng)調(diào)整了。

3、為什么Nervana芯片的發(fā)布節(jié)奏一再延期？

分為兩個(gè)階段，Nervana在2014年成立之初就開始研發(fā)Lake Crest，當(dāng)時(shí)整個(gè)團(tuán)隊(duì)大概45人，正在構(gòu)建一個(gè)最大的Die（硅芯片），我們開發(fā)了Neon（深度學(xué)習(xí)軟件），還構(gòu)建了云棧，這些都是小團(tuán)隊(duì)所完成的。但這也是挑戰(zhàn)所在，小團(tuán)隊(duì)成長(zhǎng)會(huì)有陣痛，Nervana花了很長(zhǎng)時(shí)間才把第一批產(chǎn)品拿出來(lái)，直到去年芯片才真正問世。關(guān)于Spring Crest為何選擇2019年年底推出，因?yàn)樾枰筛嗟腄ie（硅芯片），獲得更快的處理速度，但需要一定的時(shí)間去制造硅片，也需要硅片變成新的神經(jīng)網(wǎng)絡(luò)處理器，這是延遲的原因。目前來(lái)看，Spring Crest正處于合理的節(jié)奏中，已具備明年取得成功的所有要素。

4、延遲給英特爾帶來(lái)了哪些不利影響？

Carey Kloss并不認(rèn)為英特爾會(huì)在神經(jīng)網(wǎng)絡(luò)處理器上處于劣勢(shì)，因?yàn)橛⑻貭柕姆磻?yīng)速度相對(duì)較快，比如逐步轉(zhuǎn)向bfloat是一個(gè)重要因素，它是業(yè)內(nèi)廣泛采用的針對(duì)神經(jīng)網(wǎng)絡(luò)的一種數(shù)值型數(shù)據(jù)格式，很受市場(chǎng)歡迎，未來(lái)英特爾將在人工智能產(chǎn)品線上擴(kuò)大對(duì)bfloat16的支持，包括至強(qiáng)處理器和FPGA。

5、拿nGraph與CUDA相比：沒在怕的

拋開硬件層面，英特爾還在軟件部署上加足馬力。目前，英特爾AIPG事業(yè)部正在開發(fā)名為nGraph的軟件，該軟件是一個(gè)框架中立的深度神經(jīng)網(wǎng)絡(luò)（DNN）模型編譯器。英特爾正在把TensorFlow、MXNet、Paddle Paddle、CNTK和ONNX等深度學(xué)習(xí)框架集成在nGraph之上。

同樣是一個(gè)平臺(tái)概念，很多人喜歡拿GPU代表企業(yè)英偉達(dá)與英特爾做比較，事實(shí)上，Carey Kloss就直言了nGraph與競(jìng)爭(zhēng)對(duì)手CUDA平臺(tái)的區(qū)別。

“nGraph與CUDA還是不一樣的。CUDA你可以理解為 nGraph的底面，我們稱之為變壓器。nGraph通過一個(gè)固定的API接收來(lái)自TensorFlow，Caffe或MXNet的輸入，然后通過圖形編譯器進(jìn)行性能優(yōu)化，排除一些不需要的東西，然后將其發(fā)送給CPU的MKL－DNN。所以CPU仍然使用MKL－DNN，即使在nGraph中也是如此?！安浑y看出，英特爾也有意把芯片開發(fā)放在統(tǒng)一平臺(tái)上，將nGraph打造成為開發(fā)基于所有英特爾芯片的AI應(yīng)用程序的接口做統(tǒng)一。

相比于新一代Nervana NNP－L1000還處于研發(fā)階段，英特爾另一款專注于計(jì)算機(jī)視覺的芯片VPU實(shí)際已經(jīng)商用。關(guān)于這款芯片，英特爾又寄托了怎樣的市場(chǎng)期望，來(lái)看另一位同樣在畫框外的大神的解答。