多核計算芯片領(lǐng)域國際權(quán)威Kunle Olukotun教授：解讀用摩爾定律擴展機器學(xué)習(xí)性能

4月18日，由鯤云科技協(xié)辦的2018全球人工智能應(yīng)用創(chuàng)新峰會在深圳落下帷幕，一場聚焦于人工智能落地應(yīng)用的高端峰會暫告一段落。而峰會所傳達的最新科研成果和前沿思想?yún)s在持續(xù)發(fā)酵。

峰會上，鯤云邀請到了來自全球人工智能各個領(lǐng)域的權(quán)威大咖進行個人演講，分享他們的最新觀點。本文所分享的《摩爾定律對機器學(xué)習(xí)的性能提升》，便是由其中一位大咖——Kunle Olukotun教授帶來的。

Kunle Olukotun是斯坦福大學(xué)教授，Afara芯片創(chuàng)始人，UltraSPARC T1 芯片架構(gòu)師。是多核計算芯片領(lǐng)域國際權(quán)威。

在他的演講中，Kunle Olukotun教授介紹了DAWN（數(shù)據(jù)分析的下一步）項目。 其中包括一系列用于開發(fā)機器學(xué)習(xí)加速器的算法，方法和工具。這些加速器可由具有特定領(lǐng)域知識但沒有硬件或機器學(xué)習(xí)背景的人員開發(fā)。通過忽略多核鎖定; 低精度算術(shù);并行編程語言和設(shè)計空間探索，該項目幫助提供高性能，高生產(chǎn)力和高效率的機器學(xué)習(xí)實現(xiàn)。

Kunle Olukotun 教授

今天非常高興跟大家講一下“用摩爾定律擴展機器學(xué)習(xí)性能”，我們這個項目的名字叫做下一階段的數(shù)據(jù)分析。

機器學(xué)習(xí)的興起

最近在影像識別、自然語言處理的進步，都是由機器學(xué)習(xí)所驅(qū)動的。這些應(yīng)用已經(jīng)在整個社會產(chǎn)生了非常重大的影響，我們覺得未來可能會出現(xiàn)自動駕駛的汽車，另外有一些更個性化的藥物，比如根據(jù)基因序列產(chǎn)生出來的。它的藥物作用是專門為你的基因所創(chuàng)造出來的。還可以進行醫(yī)療的診斷和預(yù)測。預(yù)測的質(zhì)量有可能比醫(yī)生預(yù)測的質(zhì)量更高，所以機器學(xué)習(xí)有非常大的潛力。

開發(fā)高質(zhì)量的機器學(xué)習(xí)應(yīng)用，非常具有挑戰(zhàn)性。前景非常好，但要開發(fā)應(yīng)用程序卻非常具有挑戰(zhàn)性。這需要我們有深入的機器學(xué)習(xí)的知識、定制的工具以及這些要素如何組合以實現(xiàn)高性能的系統(tǒng)。

DAWN 提案

我們研究的項目包括什么？只要有數(shù)據(jù)以及某一個領(lǐng)域?qū)I(yè)的知識，我們可以使任何人建立起自己的產(chǎn)品級機器學(xué)習(xí)產(chǎn)品。這也意味著這樣的人不需要有機器學(xué)習(xí)方面博士學(xué)位，也沒有必要成為一個DB系統(tǒng)的專家，更不需要理解最新的硬件。如果不了解最新硬件，不具備這方面的情況下，機器學(xué)習(xí)可以怎么樣做呢？

20世紀80年代的機器學(xué)習(xí)

機器學(xué)習(xí)在20世紀80年代，這里顯示的是例如影像識別或者自然語言處理任務(wù)的準確度以及它跟你對于機器學(xué)習(xí)的算法所提供的數(shù)據(jù)規(guī)模的關(guān)系。

80年代，當(dāng)我們第一次討論機器學(xué)習(xí)時，大家知道怎么樣建立起一個多層神經(jīng)網(wǎng)絡(luò)。那個時代，一個普通的算法表現(xiàn)反倒更好，機器學(xué)習(xí)表現(xiàn)沒有那么好。因為機器學(xué)習(xí)需要更多計算、更加復(fù)雜的模型。當(dāng)然，機器學(xué)習(xí)有了這些之后，就能超過傳統(tǒng)的算法。這就是為什么現(xiàn)在對于機器學(xué)習(xí)有那么多高期望。

軟件 1.0 vs 軟件 2.0

換句話說，在說到軟件2.0，就是實現(xiàn)的一個概念，軟件1.0大家都懂，先寫代碼，寫完之后還要理解某一個領(lǐng)域，再把這個領(lǐng)域的專業(yè)知識進行應(yīng)用。這樣就可以做一個算法出來，然后可以把這個算法放到一個系統(tǒng)中。但軟件2.0就不一樣了。2.0你要做一個模型，就是一個神經(jīng)網(wǎng)絡(luò)，然后要把一些數(shù)據(jù)放到一個神經(jīng)網(wǎng)絡(luò)的架構(gòu)中。軟件2.0中最重要的一點是訓(xùn)練的數(shù)據(jù)量和能夠訓(xùn)練一個非常復(fù)雜的神經(jīng)網(wǎng)絡(luò)的能力。這是要看計算能力了。訓(xùn)練數(shù)據(jù)就是編程2.0的關(guān)鍵。

訓(xùn)練數(shù)據(jù)的機遇和挑戰(zhàn)

我現(xiàn)在想跟大家說一下訓(xùn)練數(shù)據(jù)。我們經(jīng)常說訓(xùn)練數(shù)據(jù)就是新時代的石油。如果你想要做一些全新的基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)，就需要訓(xùn)練數(shù)據(jù)，也必須要標簽。你要知道這是一個貓，那是一只狗，那是一部車。如果這是很簡單的貼標簽，那網(wǎng)上隨便誰都可以做。但如果要看一個非常復(fù)雜的圖像，比如診斷一個人有沒有患癌，就需要一個專家。

呼吸管主要想法

這種訓(xùn)練數(shù)據(jù)的獲得就更加難。傳統(tǒng)訓(xùn)練的另外一個問題是，標簽是靜態(tài)的。但其實你要解決的問題不同，可能把這個標簽改變了。但這個訓(xùn)練數(shù)據(jù)不會進行進化。我們做model時就在想怎么樣才能更加容易更加高層次的生成訓(xùn)練數(shù)據(jù)，讓我們更加容易的創(chuàng)造更多的訓(xùn)練數(shù)據(jù)。我們叫做弱監(jiān)督，不再給很多標簽，而是有更多的噪音輸入，給它們進行訓(xùn)練。

整個系統(tǒng)看起來像是這樣的，用一個標簽功能。比如你看到這個化學(xué)物品，可能這個人得了那種病，就可以生成一系列標簽功能，再把它跟數(shù)據(jù)合成。這樣就可以去噪音，可以知道哪個標簽是比較好用的，哪個標簽成功率是90%，哪個標簽只有50%的正確率。在基于有概率的標簽，就能夠做一個噪聲感知的判別模型。

我們的目標是希望能夠用這個創(chuàng)建應(yīng)用程序。比如這是一個知識庫，我們想做的事情是讓這個神經(jīng)網(wǎng)絡(luò)的訓(xùn)練變得更加容易，希望讓這個訓(xùn)練的數(shù)據(jù)更加容易。解決方案就是創(chuàng)造另外一個全新的神經(jīng)網(wǎng)絡(luò)模型。如果要讓我們更加容易的做這個神經(jīng)網(wǎng)絡(luò)，讓軟件2.0做得更加容易，要做更多神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，要做更多計算。

機器學(xué)習(xí)受計算限制

這個機器訓(xùn)練模型是受到計算能力所限制的。百度的工程師說可能需要讓計算性能改善100倍。我們怎么做到？比如這個微處理器的改善，這是在過去40年微處理器改善的趨勢，我的研究團隊參加了這個研究。在這里會看到最頂層的是摩爾定律。每隔18月或者2年處理器性能會翻一番。但這個單線程的性能已經(jīng)達到一個頂點，主要是因為功耗的問題，因為功耗是有限制的。這就限制了我們進行計算的能力。

當(dāng)然，這也就影響了隨之的表現(xiàn)以及影響了整個行業(yè)。這個行業(yè)就在一個芯片上多放一些核，就能有效使用能耗，不需要一個芯片把所有的事都做了。我也參與到這個多核的技術(shù)研發(fā)中。說到能耗和性能時，可以說這個能耗是效率乘性能就等于整個能耗。你就會知道功率是固定的，但你想要做的事情是希望它的性能可以改善，性能改善就可以訓(xùn)練更加復(fù)雜的神經(jīng)網(wǎng)絡(luò)的模型。

每年機器學(xué)習(xí)Arxiv論文

但問題是軟件的算法也沒有在原地踏步。這就給我們看到Arxiv的論文，在過去十幾年，關(guān)于機器學(xué)習(xí)的論文的增長，它的增長是比摩爾定律更快。我們看到有多新的想法不斷創(chuàng)造出來，但是我們沒有辦法去執(zhí)行這些好的想法。

要懂執(zhí)行這些算法的硬件，我們需要的時間更加長，它比軟件算法的改善需要的時間更長。你的Arxiv設(shè)計時間大概需要兩年。運用在Arxiv的想法在它做完時就已經(jīng)過時了，因為設(shè)計時間那么長。

所以我們必須找一個更加靈活的方法解決這個問題。我們到現(xiàn)在還不知道到底是要讓這個通用的機器設(shè)計怎么進行設(shè)計，而且現(xiàn)在的機器視覺想做的東西可能跟自然語言不一樣，跟決策也不一樣。比如商業(yè)決策或者其他地方的決策，也是不一樣的。我們當(dāng)然想要加快機器學(xué)習(xí)的速度，希望它們至少能夠增加100倍。另外我們也希望讓它每瓦特的性能提高，讓我們可以在TB甚至PB上的大數(shù)據(jù)用實時/交互式機器學(xué)習(xí)。我們也可以開發(fā)一個神經(jīng)架構(gòu)。

關(guān)鍵問題和方法

現(xiàn)在最重要最核心的問題是怎么樣在得到每一瓦類ASIC性能同時又能得到處理器一般的靈活性。這看起來是互相矛盾的，但我覺得有解決方法。我們必須要同時改善算法、編程語言、編譯器和硬件架構(gòu)。

硬件感知的機器學(xué)習(xí)算法可以改善效率，舊的計算模型也是前人開發(fā)出來的，他們要決定人來開發(fā)算法，計算是確定性的，因為這個人必須要知道到底怎么樣去進行調(diào)試。但在軟件2.0應(yīng)用的底層模型是基于神經(jīng)網(wǎng)絡(luò)的，他們是根據(jù)概率的機器模型，是由數(shù)據(jù)進行訓(xùn)練的。而且技術(shù)很有意思，它們不需要是確定的，也不需要永遠都是100%正確的，只需要在統(tǒng)計學(xué)上正確就可以了。既然它只需要統(tǒng)計學(xué)上正確，那我們有很多機會來改善它的性能，可以使用基礎(chǔ)性的計算模型來改善。

方法一：硬件感知機器學(xué)習(xí)算法，可顯著提高效率

現(xiàn)在說說用什么樣的方法、算法做這個模型。它是改善或者最小化一個損失模型或者所謂的Loss function。我們有很多數(shù)據(jù)或者訓(xùn)練的例子，可能有數(shù)以十億計的數(shù)據(jù)，其中有很多不同的機器與學(xué)習(xí)的方法，能夠做分類或者深度學(xué)習(xí)等等。我們最重要的進行優(yōu)化的方法是大家可能都熟悉的隨機梯度下降。我們看著一個例子，就可以估計漸變。反過來，也可以看到某一個模型點，然后就可以推到一個訓(xùn)練集的數(shù)據(jù)點。有很多次迭代，最終得到最優(yōu)化的模型，可以通過非常小的程序迭代來進行改善。

這個迭代的機器學(xué)習(xí)是有兩種效率需要看。

1、統(tǒng)計學(xué)效率，我們到底需要做多少次迭代才能得到最高質(zhì)量的訓(xùn)練結(jié)果

2、硬件效率，每次迭代需要多長時間。我們進行訓(xùn)練的總時間，是越低越好、越少越好，但我們需要進行一個取舍和衡量。

我們是不是要改善一個硬件效率，讓統(tǒng)計效率稍微低一點。隨機梯度下降法的核心是可能有數(shù)十億個小的步驟。你可以問一個問題，我們能不能夠并行做一個事情。這看起來是一個順序的算法，但可以并行做。怎么樣并行做？我在教我的學(xué)生時，你在放你的數(shù)據(jù)時，必須要鎖了它，所以做一個已經(jīng)編碼的SGD。但鎖了之后發(fā)現(xiàn)它做得沒有那么好，因為加了更多處理器時會變得更加慢。

另外一件事情是低精度。低精度使用的能量能源會低了，另外存儲的內(nèi)容也會下降。也能夠把你所需要的帶寬盡量降低。既然你可以同時并行的處理計算更多信息。比如有8字節(jié)數(shù)據(jù)而不是16字節(jié)或者32字節(jié)的數(shù)據(jù)，也能增加吞吐量。這是我們經(jīng)常要做的，比如在TPU、FPGA都在用。它最大的問題是準確性會降低。剛才說要做判斷，低準確性是可以的。我們以前覺得訓(xùn)練至少需要16位的準確性。但我們做了一個高準確率低精度，我們能夠隨著更接近最佳值時把它的漸變變得更加小，我們在逐漸靠近中心。

方法二：編寫一個機器學(xué)習(xí)程序并在所有這些體系結(jié)構(gòu)上高效運行

加速器上可以有更好的效率，我們把機器學(xué)習(xí)的算法映射到加速器上，可以看到這些機構(gòu)，它們也有一個編程模式。比如說有集群信息、GPU、FPGA。我們有一個算法，如果想進行有效的訓(xùn)練，需要在硬件的架構(gòu)上進行實現(xiàn)。我們對于這個算法的描述以及有效的執(zhí)行之間，是有一條鴻溝的。

因此，我們可不可以編寫一個機器學(xué)習(xí)程序，它能夠在這些體系結(jié)構(gòu)上都高效運用。這樣就可以填補這個鴻溝了。我們把這個叫做適定于特定情況的語言?，F(xiàn)在有AI的應(yīng)用，把不同領(lǐng)域的語言結(jié)合起來，他們專注于這個應(yīng)用不同的組成部分。比如有一個比較稠密或者稀疏的算法，還有算法中的關(guān)系。比如你的重點是不是圖像的算法。

總的來說，有各個不同領(lǐng)域的語言，把它結(jié)合起來，你怎么樣把它組合起來。我們可以使用一個Delite DSL框架，可以在不同領(lǐng)域進行應(yīng)用。我們有一個Delite DSL框架，把它叫做OptiML。這里有一些綠點，我們希望把它們分成群，有藍色的X。首先把每一個樣本分配到最近的平均值，計算到當(dāng)前平均值的距離。將每一個群集移動到分配給他們的點的平均值。在這里有一個高層次的描述，可以在多核集群GPU上進行應(yīng)用，甚至是FPGA。

我們看一下TensorFlow，也是注重于機器學(xué)習(xí)的，也使用了很多OptiML中使用的想法，它也是高性能適用于不同領(lǐng)域的語言。這里有一個高度抽象化，它比TensorFlow做得更好，而且同樣給出描述。我們需要以這個領(lǐng)域為主的語言，就意味著需要不同的架構(gòu)，所以就是Delite。任何人想開發(fā)以特定領(lǐng)域為基礎(chǔ)的語言，我們希望這個工作變得更加容易。我們在這當(dāng)中有一個嵌入在Scala中的DSL和IR。

除此之外，我們在繼續(xù)改善機器學(xué)習(xí)，我們看到現(xiàn)在在做什么事情，也要看未來怎么做。怎么使用比較低的精度，稀疏性也是比較有意思的，很多開發(fā)者在關(guān)注稀疏新的神經(jīng)網(wǎng)絡(luò)模型。我們想要這個東西是比較靈活性的，加速性也是可編程的。這是為什么我們在用FPGA，這個架構(gòu)現(xiàn)在受到越來越多的注意力。

對于分層控制也一樣，在控制模板中也定義了哪些程序是要有加速器加速的，所以必須有加速器的范圍。另外也需要有方法進行嵌套，怎么樣進行合適的嵌套。最終用Spatial語言寫了SGD，我們有自定義語言做加速器范圍、內(nèi)存分配，非常明確的內(nèi)存?zhèn)鬏敺椒ê吞荻扔嬎恪＿@是非常高層級的，讓開發(fā)者能很容易的進行定義。

現(xiàn)在的問題是FPGA總的表現(xiàn)怎么樣，這張圖給大家看到了，在不同的芯片中，全部把它們標準化成28納米，CPU在左邊，能耗效率是1-10。專用的硬件是右邊，有效率大概是1000-10000，CPU是最靈活和最能夠編譯的，專用的硬件是不可以進行編碼，但我們會發(fā)現(xiàn)專用的硬件比一個GPU的效率高1000倍。GPU比CPU大概好10倍。

但我們看看能不能夠在維持FPGA的靈活性的方法，但讓編碼性更加靠近CPU，能耗更加靠近GPU和FPGA。這就是一個變形模式的可重構(gòu)架構(gòu)，這是一個空間表示，可以關(guān)注到這個架構(gòu)，以跟FPGA相似的方式進行理解。這里有PCU和PMU，模式記憶單元和模式計算單元。一個是更看帶寬的，帶寬能以不同方法配置滿足這個程序的需要。另外可以把它們組合到一起來滿足你們所需要的空間運用。

我們做了這個之后，如果跟25納米的這個比較一下，它的性能能夠改善95倍，每瓦的能耗能改善77倍。但我們能做很多事，這要看架構(gòu)到底怎么做，它看起來是怎么樣的，怎么樣進行一個平衡。性能和能耗的取舍怎么樣，還有可編程性的取舍。這是我們最關(guān)注的東西和我們現(xiàn)在在做的事。我們非常希望軟件定義的硬件架構(gòu)，能夠更加節(jié)省能耗，同時也能夠更加可編程，比FPGA的表現(xiàn)更加好一些。

總 結(jié)

我總結(jié)一下，我們的確覺得能一石二鳥，什么都能有，功率能做得很好，性能做得好，可編程性也非常高，但需要做全棧的方法，要綜合整合的方法做，需要算法，比如Hogwild和HALP，在語言和編譯器方面也需要進行改善，讓它們更好的更有效的進行執(zhí)行。原有的語言是不夠的，需要高層級專門面向加速器的抽象語言，才能更好的理解這個域相關(guān)的語言和我們所需要的代表加速器的語言。我們需要一個中間的形式，就好象Spatial。

（本文來自鯤云科技微信號，多核計算芯片領(lǐng)域國際權(quán)威Kunle Olukotun教授在AI領(lǐng)域聲名卓著，希望小編上傳后可以分享給更多的工程師，方便大家了解國際AI技術(shù)最新發(fā)展趨勢。）