AI改變世界不再是將來時而是正在進(jìn)行時。在新的十年開啟之際，各行業(yè)AI頂尖人物重新審視了2019年在該領(lǐng)域取得的進(jìn)步，并展望了機(jī)器學(xué)習(xí)在2020年的發(fā)展前景。本文介紹了PyTorch的創(chuàng)建者Soumith Chintala、加利福尼亞大學(xué)教授Celeste Kidd、谷歌AI負(fù)責(zé)人Jeff Dean、英偉達(dá)機(jī)器學(xué)習(xí)研究總監(jiān)Anima Anandkumar和IBM研究總監(jiān)Dario Gil對過去一年AI發(fā)展的回顧及新的一年對其發(fā)展的期許。

PyTorch的董事、首席工程師和創(chuàng)建者Soumith Chintala

PyTorch是當(dāng)今世界上最受歡迎的機(jī)器學(xué)習(xí)框架。PyTorch是2002年引入的Torch開源框架的衍生產(chǎn)品，于2015年開始使用，并在擴(kuò)展和庫方面不斷穩(wěn)步增長。

今年秋天，F(xiàn)acebook發(fā)布了帶有量化和TPU支持的PyTorch 1.3，以及深度學(xué)習(xí)可解釋性工具Captum和PyTorch Mobile。還有諸如PyRobot和PyTorch Hub之類的東西，用于共享代碼并鼓勵機(jī)器學(xué)習(xí)（ML）實(shí)踐者實(shí)現(xiàn)可重復(fù)性。

Chintala曾表示，2019年他幾乎沒有看到機(jī)器學(xué)習(xí)取得什么突破性進(jìn)展。

“實(shí)際上，我認(rèn)為自Transformer模型以來，就沒有做出什么具有開創(chuàng)性的事情。ConvNets在2012年進(jìn)入黃金時段，而Transformer則在2017年左右。這是我個人的看法，”他說。

他繼續(xù)稱DeepMind的AlphaGo在強(qiáng)化學(xué)習(xí)方面的貢獻(xiàn)是具有開創(chuàng)性的。但是他說，對于現(xiàn)實(shí)世界中的實(shí)際任務(wù)而言，很難實(shí)現(xiàn)這一結(jié)果。

Chintala還認(rèn)為，機(jī)器學(xué)習(xí)框架（如PyTorch和谷歌的TensorFlow）的發(fā)展已改變了研究人員探索思想和開展工作的方式，這些機(jī)器在當(dāng)今的ML實(shí)踐者中廣受歡迎。

今年，谷歌和Facebook的開源框架引入了量化，以提高模型訓(xùn)練的速度。在未來的幾年中，Chintala希望PyTorch的JIT編譯器和Glow等神經(jīng)網(wǎng)絡(luò)硬件加速器的重要性和采用率呈“爆炸式增長”模式。

“有了PyTorch和TensorFlow，你就已經(jīng)看到了框架的融合。量化和其他較多低級別效率的出現(xiàn)是因?yàn)橄乱粓鰬?zhàn)爭將從框架的編譯器XLA、TVM和PyTorch的Glow處開始，即將出現(xiàn)大量的創(chuàng)新，”他說?！霸诮酉聛淼膸啄曛校銓⒖吹饺绾胃?a target="_blank">智能地量化、如何更好地融合、如何更有效地使用GPU以及如何自動為新硬件進(jìn)行編譯?！?/p>

與大多其他領(lǐng)域的AI專家一樣，Chintala預(yù)測2020年，AI社區(qū)將會把更多的價值放在AI模型性能上，而不僅僅是準(zhǔn)確性，并開始將注意力轉(zhuǎn)移到其他重要因素上，比如創(chuàng)建模型所需的力量以及AI如何更好地反映人們想要建立的社會類型。

“回顧過去的五六年，你會發(fā)現(xiàn)我們只關(guān)注準(zhǔn)確性和原始數(shù)據(jù)，例如英偉達(dá)的模型更準(zhǔn)確嗎？Facebook的模型更準(zhǔn)確嗎？我認(rèn)為2020年將是我們開始（以更復(fù)雜的方式）進(jìn)行思考的一年，”Chintala表示。

加州大學(xué)伯克利分校的發(fā)展心理學(xué)家Celeste Kidd

Celeste Kidd是加州大學(xué)伯克利分校基德實(shí)驗(yàn)室的主任，她和她的團(tuán)隊在這里探索孩子們的學(xué)習(xí)方式。他們的見解可以幫助神經(jīng)網(wǎng)絡(luò)的創(chuàng)建者，這些創(chuàng)建者正在嘗試以與撫養(yǎng)孩子相似的方式來訓(xùn)練模型。

她說：“嬰兒沒有得到標(biāo)記的數(shù)據(jù)集，但是它們管理得很好，對我們而言重要的是要了解這種情況是如何發(fā)生的?！?/p>

讓Kidd在2019年感到驚訝的一件事是，越來越多的神經(jīng)網(wǎng)絡(luò)創(chuàng)建者開始低估自己或其他研究人員的工作，因?yàn)樗麄儫o法做嬰兒可以做的事情。

她說，當(dāng)你對嬰兒的行為進(jìn)行平均計算時，你會看到有證據(jù)表明他們實(shí)際上了解某些事情，但他們絕對不是完美的學(xué)習(xí)者，而這種談話對嬰兒的行為描述得過于樂觀。

她說：“嬰兒很棒，但他們會犯很多錯誤，并且人們在與嬰兒做對比時比較隨便，這都是為了使嬰兒行為在人口層面上理想化。我認(rèn)為你目前所知道的與下一步想要了解的信息之間的聯(lián)系將會越來越密切?！?/p>

在人工智能領(lǐng)域，“黑匣子”這個詞已經(jīng)存在多年。它曾經(jīng)被用來批評神經(jīng)網(wǎng)絡(luò)缺乏可解釋性，但Kidd認(rèn)為，2020年可能意味著結(jié)束人們對神經(jīng)網(wǎng)絡(luò)無解釋性這一認(rèn)知。

她說：“黑匣子的論點(diǎn)是假的……大腦也是黑匣子，但我們在理解大腦如何工作方面卻取得了很大進(jìn)步?！?/p>

在揭開對神經(jīng)網(wǎng)絡(luò)認(rèn)識的神秘面紗時，Kidd著眼于MIT-IBM Watson AI Lab執(zhí)行總監(jiān)Aude Oliva等人的工作。

“我們當(dāng)時正在談?wù)撨@個問題，我說過該系統(tǒng)是一個黑匣子，她責(zé)備我說他們當(dāng)然不是黑匣子。當(dāng)然，你可以將它們分解并拆開，看看它們?nèi)绾喂ぷ鞑ζ溥M(jìn)行實(shí)驗(yàn)，就像我們?yōu)槔斫庹J(rèn)知所做的一樣，”Kidd說。

上個月，Kidd在神經(jīng)信息處理系統(tǒng)（NeurIPS）會議上發(fā)表了開幕式主題演講，這是世界上最大的年度AI研究會議。她的演講重點(diǎn)關(guān)注人腦如何固守頑固的信念、注意力系統(tǒng)和貝葉斯統(tǒng)計。

她說，Goldilocks提供信息的區(qū)域介于一個人以前的興趣和理解之間，而這對他們來說是令人驚訝的，因?yàn)槿藗兺ǔA向于較少參與過度令人驚訝的內(nèi)容。

她還提到?jīng)]有中立的技術(shù)平臺，并且她會將注意力轉(zhuǎn)向內(nèi)容推薦系統(tǒng)的創(chuàng)建者如何操縱人們的信念。追求最大參與度的系統(tǒng)可能會對人們形成信念和觀點(diǎn)的方式產(chǎn)生重大影響。

Kidd在演講的最后談到了機(jī)器學(xué)習(xí)中對男性的誤解，即與女性同事獨(dú)處會導(dǎo)致性騷擾指控并威脅到男性的職業(yè)發(fā)展。她說，這種誤解實(shí)際上是會損害女性在該領(lǐng)域的職業(yè)發(fā)展。

因在羅切斯特大學(xué)發(fā)表過涉及性行為不端的言論，Kidd與其他女性一起被評為2017年“年度人物”。這些女性幫助實(shí)現(xiàn)了我們現(xiàn)在所說的#MeToo運(yùn)動，以平等對待女性。當(dāng)時，Kidd認(rèn)為此次大聲疾呼將結(jié)束她的職業(yè)生涯。

在2020年，她希望看到人們對技術(shù)工具和技術(shù)決策對現(xiàn)實(shí)生活影響的認(rèn)識有所提高，不贊同工具制造商不應(yīng)對人們?nèi)绾问褂眠@些工具負(fù)責(zé)這一說法。

“我聽到很多制造商說自己不是真理的審判者，并以此來逃避責(zé)任，但是我覺得必須正視這一說法的不誠實(shí)性。作為社會的一員，尤其是作為從事與這些工具相關(guān)工作的人員，我們的確需要意識到隨之而來的責(zé)任，”Kidd說。

谷歌AI總監(jiān)Jeff Dean

Dean領(lǐng)導(dǎo)谷歌AI已有近兩年時間，但他實(shí)際上已經(jīng)在谷歌工作了二十年，是該公司許多早期搜索和分布式網(wǎng)絡(luò)算法的架構(gòu)師，也是Google Brain的早期成員。

Dean上個月在NeurIPS上就ASIC半導(dǎo)體設(shè)計的機(jī)器學(xué)習(xí)以及AI社區(qū)應(yīng)對氣候變化的方式進(jìn)行了演講，他說這是我們這個時代最重要的問題。在關(guān)于氣候變化的討論中，Dean討論了AI可以努力成為零碳行業(yè)以及AI可以用來幫助改變?nèi)祟愋袨榈南敕ā?/p>

他預(yù)計到2020年，多模式學(xué)習(xí)領(lǐng)域?qū)⑷〉眠M(jìn)展，這是一種依靠多種媒體進(jìn)行訓(xùn)練的AI，而多任務(wù)學(xué)習(xí)則涉及旨在一次可完成多個任務(wù)的網(wǎng)絡(luò)。

毫無疑問，2019年最大的機(jī)器學(xué)習(xí)趨勢之一是基于Transformer的自然語言模型的持續(xù)增長和擴(kuò)散，該模型曾被稱為近年來人工智能最大的突破之一。谷歌于2018年開源了基于Transformer的模型BERT。根據(jù)GLUE排行榜，今年發(fā)布的許多性能最高的模型（比如谷歌的XLNet、微軟的MT-DNN和Facebook的RoBERTa）都基于Transformer。相關(guān)人士表示，XLNet 2將于本月晚些時候發(fā)布。

Dean指出了已經(jīng)取得的進(jìn)展，他說：“我認(rèn)為整個研究線程在實(shí)際產(chǎn)生機(jī)器學(xué)習(xí)模型方面成果顯著，不過盡管現(xiàn)在讓我們做的機(jī)器學(xué)習(xí)模型比過去復(fù)雜得多，但仍然有很大的進(jìn)步空間。我們?nèi)匀幌Ｍ軌驁?zhí)行更多與語境相關(guān)的模型。像現(xiàn)在這樣，BERT和其他模型可以很好地處理數(shù)百個單詞，但不能處理含1萬個單詞左右的文章。因此，這是一個有趣的研究方向?！盌ean希望少強(qiáng)調(diào)一些最新技術(shù)，而傾向于創(chuàng)建更強(qiáng)大的模型。

谷歌AI還將努力推進(jìn)新的舉措，例如Everyday Robot，這是一個于2019年11月推出的內(nèi)部項(xiàng)目，旨在制造能夠在家庭和工作場所完成日常任務(wù)的機(jī)器人。

英偉達(dá)機(jī)器學(xué)習(xí)研究總監(jiān)Anima Anandkumar

Anandkumar在擔(dān)任AWS首席科學(xué)家后加入了GPU制造商英偉達(dá)。在英偉達(dá)，人工智能研究在多個領(lǐng)域進(jìn)行，從醫(yī)療保健的聯(lián)合學(xué)習(xí)到自動駕駛，再到超級計算機(jī)和圖形學(xué)。

2019年，英偉達(dá)和Anandkumar在機(jī)器學(xué)習(xí)方面的研究重點(diǎn)主要是強(qiáng)化學(xué)習(xí)的仿真框架，這些框架也越來越受歡迎和成熟。

在2019年，我們看到了英偉達(dá)的Drive自動駕駛平臺和Isaac機(jī)器人模擬器的興起，以及從模擬和生成對抗網(wǎng)絡(luò)（GAN）生成綜合數(shù)據(jù)模型的興起。

去年該公司還迎來了AI的興起，例如StyleGAN和GauGAN。上個月，StyleGAN2也已經(jīng)面世。

GAN是可以模糊現(xiàn)實(shí)界限的技術(shù)，Anandkumar認(rèn)為，它們可以幫助AI社區(qū)嘗試解決一些主要挑戰(zhàn)，例如如何抓住機(jī)器人的手和自動駕駛。

Anandkumar還希望迭代算法、自我監(jiān)督和自主訓(xùn)練模型的方法在未來一年能取得進(jìn)展，這些模型可以通過對未標(biāo)記數(shù)據(jù)進(jìn)行自訓(xùn)練來改進(jìn)。

“我認(rèn)為各種不同的迭代算法都是未來，因?yàn)槿绻阒蛔鲆粋€前饋網(wǎng)絡(luò)，那么魯棒性就會成為問題，”她說?！叭绻銍L試進(jìn)行多次迭代，并且根據(jù)所需的數(shù)據(jù)類型或精度要求來調(diào)整迭代次數(shù)，那么實(shí)現(xiàn)這一目標(biāo)的機(jī)會就更大了?！?/p>

Anandkumar看到了2020年AI社區(qū)面臨的眾多挑戰(zhàn)，例如需要與領(lǐng)域?qū)＜乙坏绖?chuàng)建專門針對特定行業(yè)的模型。決策者、個人和AI社區(qū)也將需要應(yīng)對具有代表性的問題，以及確保用于訓(xùn)練模型的數(shù)據(jù)集能夠涵蓋不同的人群。

她說：“我認(rèn)為面部識別問題很容易掌握，但在很多其他領(lǐng)域，人們還沒有意識到使用數(shù)據(jù)據(jù)信息存在隱私問題?！?/p>

Anandkumar說，面部識別獲得了最大的關(guān)注，因?yàn)楹苋菀桌斫饷娌孔R別如何侵犯個人隱私，但是2020年AI社區(qū)還面臨許多其他道德問題?！拔覀儗⒃谌绾问占瘮?shù)據(jù)以及如何使用數(shù)據(jù)方面經(jīng)歷越來越嚴(yán)格的審查?！?/p>

在Anandkumar看來，2019年的一大驚喜是文本生成模型的發(fā)展速度?！?019年是語言模型之年。現(xiàn)在，我們第一次達(dá)到了在段落的長度上更連貫使用文本生成，這在之前是不可能實(shí)現(xiàn)的，”Anandkumar說。

在2019年8月，英偉達(dá)推出了Megatron自然語言模型。Megatron擁有80億個參數(shù)，被譽(yù)為全球最大的基于Transformer的AI模型。Anandkumar說，她對人們開始將模型表征為具有個性的方式感到驚訝，她期待看到更多針對特定行業(yè)的文本模型。

“我們還沒有進(jìn)入對話互動的階段，對話可以保持跟蹤并進(jìn)行自然對話。因此，我認(rèn)為在2020年需要朝這個方向前進(jìn)，”她說。

開發(fā)用于控制文本生成的框架要比開發(fā)可以訓(xùn)練以識別人或物體的圖像框架更具挑戰(zhàn)性。文本生成模型還可能面臨例如為神經(jīng)模型定義事實(shí)的挑戰(zhàn)。

最后，Anandkumar說，她很高興看到Kidd在NeurIPS上的演講，并被機(jī)器學(xué)習(xí)社區(qū)中越來越成熟和包容的跡象所鼓舞。

她說：“我覺得現(xiàn)在是分水嶺。一開始要想做點(diǎn)小改動都很困難，并且一不注意水壩就可能破裂了。但是現(xiàn)在，我希望能保持這種勢頭，并進(jìn)行更大的結(jié)構(gòu)改革，促進(jìn)行業(yè)的蓬勃發(fā)展?！?/p>

IBM Reaserch總監(jiān)Dario Gil

Gil領(lǐng)導(dǎo)的一組研究人員積極為白宮和世界各地的企業(yè)提供咨詢服務(wù)。他認(rèn)為，2019年的重大飛躍包括圍繞生成模型的進(jìn)步以及可產(chǎn)生合理語言不斷提高的質(zhì)量。

他預(yù)測，在降低精度的體系結(jié)構(gòu)上，更有效的訓(xùn)練將繼續(xù)取得進(jìn)展。更高效AI模型的開發(fā)是NeurIPS的重點(diǎn)，IBM Research在此引入了具有8位精度模型的深度學(xué)習(xí)技術(shù)。

他說：“在我們使用具有GPU架構(gòu)的現(xiàn)有硬件訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的方式上，效率仍然遠(yuǎn)遠(yuǎn)不夠。因此，我們必須提高AI的計算效率，需要做更多的事情來實(shí)現(xiàn)這一目標(biāo)。”

Gil引用相關(guān)研究表明，對機(jī)器學(xué)習(xí)訓(xùn)練的需求每三個半月翻一番，這比摩爾定律所預(yù)測的增長要快得多。

Gil也對AI如何幫助加速科學(xué)發(fā)現(xiàn)感到興奮，但是IBM Research將主要專注于機(jī)器學(xué)習(xí)的神經(jīng)符號方法。

Gil希望AI從業(yè)者和研究人員將專注于準(zhǔn)確性以外的指標(biāo)，以考慮生產(chǎn)中部署模型的價值。將領(lǐng)域轉(zhuǎn)移到構(gòu)建受信任的系統(tǒng)，而不是將準(zhǔn)確性放在首位，這將是繼續(xù)采用AI的中心支柱。

“社區(qū)中的某些成員可能會說，‘不用擔(dān)心，只是提供準(zhǔn)確性。沒關(guān)系，人們會習(xí)慣這個東西有點(diǎn)黑匣子’，或者他們會提出這樣的論點(diǎn)，即人類有時不會對我們做出的某些決定產(chǎn)生解釋。我認(rèn)為，非常重要的一點(diǎn)是，我們應(yīng)該集中社區(qū)的智慧力量，在此方面做得更好。人工智能系統(tǒng)不能成為關(guān)鍵任務(wù)應(yīng)用的黑匣子，”他說。

Gill相信要擺脫這樣的觀念，即只有少數(shù)機(jī)器學(xué)習(xí)向?qū)Р拍茏龅紸I，以確保更多的具有數(shù)據(jù)科學(xué)和軟件工程技能的人采用AI。

他說：“如果我們把它作為一個神話領(lǐng)域，只有從事此工作的博士才能進(jìn)入，可這并沒有真正為它的采用做出貢獻(xiàn)?！?/p>

operate a program， and models that can share the reasoning behind their decisions.

2020年，Gil對神經(jīng)符號AI特別感興趣。IBM將尋求神經(jīng)符號方法來增強(qiáng)諸如概率性編程之類的功能，其中AI將學(xué)習(xí)如何操作程序以及可共享其決策背后原因的模型。

“通過與一種新的當(dāng)代方法混合，這些神經(jīng)符號方法將學(xué)習(xí)和推理結(jié)合在一起，其中符號維度被嵌入到學(xué)習(xí)程序中，就可以利用少量數(shù)據(jù)進(jìn)行學(xué)習(xí)，”他說?！坝捎趯W(xué)習(xí)了程序，最終得到了一些可解釋的東西，并且由于你擁有了可解釋的東西，因此你有了更受信任的東西?！?/p>

他還提到，公平性、數(shù)據(jù)完整性和數(shù)據(jù)集選擇等問題將繼續(xù)引起人們的廣泛關(guān)注。與生物識別技術(shù)有關(guān)的任何事情都將如此。面部識別得到了很多關(guān)注，但這僅僅是開始。語音數(shù)據(jù)以及其他形式的生物識別技術(shù)將越來越具有敏感性。他繼續(xù)引用了哥倫比亞大學(xué)教授Rafael Yuste的話，他從事神經(jīng)技術(shù)研究，并正在探索提取神經(jīng)元模式的方法。

Gil說：“我以這個例子為例是想表達(dá)，在未來與人的身份、生物特征相關(guān)的領(lǐng)域會備受關(guān)注，人工智能在分析這些方面取得的進(jìn)步將繼續(xù)處于前沿和中心位置?！?/p>

除了神經(jīng)符號和常識推理外，MIT-IBM Watson Lab的一項(xiàng)旗艦計劃以及IBM Research在新的一年還將探索AI的量子計算以及降低精度架構(gòu)之外的AI模擬硬件。

總結(jié)

機(jī)器學(xué)習(xí)正在不斷塑造著商業(yè)和社會。隨著Transformers推動該領(lǐng)域巨大的發(fā)展，自然語言模型的進(jìn)步是2019年的主要成就。而在2020年，研究人員和專家將尋找更多基于BERT和Transformer模型的變體，并看到了一系列新的發(fā)展趨勢：

除了關(guān)注準(zhǔn)確性外，AI行業(yè)應(yīng)該尋找評估模型輸出的新方法。

諸如半監(jiān)督學(xué)習(xí)、機(jī)器學(xué)習(xí)的神經(jīng)符號方法以及多任務(wù)和多模式學(xué)習(xí)方法等子領(lǐng)域可能會在未來一年中取得進(jìn)展。

與生物統(tǒng)計數(shù)據(jù)（如語音記錄）相關(guān)的倫理挑戰(zhàn)可能會繼續(xù)引起爭議。

諸如量化之類的編譯器和方法可能會在諸如PyTorch和TensorFlow之類的機(jī)器學(xué)習(xí)框架中作為優(yōu)化模型性能的方式而流行起來。