剛剛，中國AI獨角獸曠視宣布開源其深度學(xué)習(xí)框架曠視天元（MegEngine），力圖為中國AI應(yīng)用打造一個新基石。6年前3名實習(xí)生從第一行代碼寫起，艱難創(chuàng)業(yè)中在全球AI競賽斬獲27項冠軍，今日天元開源，敢與TensorFlow等全球主流深度學(xué)習(xí)框架爭雄。這個絕密武器又解決了開發(fā)者哪些痛點？

剛剛，中國AI領(lǐng)軍企業(yè)曠視舉辦了一場令業(yè)界震撼的線上發(fā)布會，向全球開發(fā)者開源其AI生產(chǎn)力平臺Brain++的核心組件——天元（MegEngine） 。天元也成為首個由中國AI公司研發(fā)的國產(chǎn)深度學(xué)習(xí)框架。

天元項目負(fù)責(zé)人兼曠視研究院高級技術(shù)總監(jiān)田忠博指出，這次開源的天元是一套訓(xùn)練推理一體化、動靜態(tài)合一的工業(yè)級深度學(xué)習(xí)框架，采用訓(xùn)練與推理在同一個框架、同一個體系內(nèi)完整支持的設(shè)計，讓開發(fā)者真正體驗到“訓(xùn)得好”、“訓(xùn)得動”、“訓(xùn)得快”。

過去幾年，曠視在研發(fā)過程中遇到了很多痛點，這些痛點也是行業(yè)共通的痛點，而這些痛點天元都可以解決。

曠視天元架構(gòu)上具體分為計算接口、圖表示、優(yōu)化與編譯、運行時管理和計算內(nèi)核五層。在頂層的計算接口上，天元配置了C++和Python接口，解決框架學(xué)習(xí)接口各異，模型難以復(fù)現(xiàn)的問題；在圖表示層，天元內(nèi)置動靜態(tài)轉(zhuǎn)換功能，支持開發(fā)者混合使用動態(tài)圖和靜態(tài)圖模式進(jìn)行編程。

曠視為MegEngine起中文名字的時候有過很多思考。田忠博介紹：最后選定的“天元”有很多的寓意，首先”天元“在圍棋中，是棋盤的正中心，一方面我們希望用這種方式，來表達(dá)出MegEngine不僅是曠視技術(shù)戰(zhàn)略大圖的最核心的“布局”，也是說明深度學(xué)習(xí)框架這樣的AI底層基礎(chǔ)設(shè)施對整個人工智能產(chǎn)業(yè)來說都是非常關(guān)鍵而重要的點；其次，在古代數(shù)學(xué)的概念中，”天元“代表一元方程式，是復(fù)雜方程的基礎(chǔ)；而在古代天文學(xué)中，“天元”的地位與“太一”一樣指代北極星，是萬物本源和開始?？傊?，將MegEngine命名為”天元“是希望這個系統(tǒng)真正成為大家共同的基石，成為AI系統(tǒng)中重要的組成部分，能夠促進(jìn)各個領(lǐng)域能夠更好的應(yīng)用和落地AI。

本著“深度學(xué)習(xí)、簡單開發(fā)”的理念，天元有四大優(yōu)勢：

1. 訓(xùn)練推理一體化

曠視天元既可支持研究員進(jìn)行算法訓(xùn)練，同時訓(xùn)練得到的模型和產(chǎn)物是可以直接進(jìn)行用于產(chǎn)品的推理、封裝。省去模型轉(zhuǎn)換不僅極大簡化算法開發(fā)流程，更實現(xiàn)了速度和精度的無損遷移，即使是模型的跨設(shè)備部署，天元依然能夠做到精度的對齊。在部署時，天元還可以幫助開發(fā)者自動刪除冗余代碼，實現(xiàn)模型自動優(yōu)化。

2. 動靜合一

靜態(tài)圖性能高、占用資源少且易于部署；動態(tài)圖簡單靈活、方便調(diào)試且易于上手。曠視天元整合了動態(tài)圖與靜態(tài)圖各自的優(yōu)勢，在充分利用動態(tài)圖模型訓(xùn)練優(yōu)勢時，通過動靜態(tài)一鍵轉(zhuǎn)換功能，以靜態(tài)圖的形式完成生產(chǎn)和部署；此外，天元還支持動靜態(tài)的混合編程，靈活性更強(qiáng)。

3. 兼容并包

曠視天元具備Pythonic的API，這對習(xí)慣用Python進(jìn)行傳統(tǒng)機(jī)器學(xué)習(xí)的開發(fā)者來說非常友好，學(xué)習(xí)成本更低、易于上手，同時天元還支持PyTorch Module功能，可以直接導(dǎo)入模型，遷移成本低且極大方便模型復(fù)現(xiàn)；天元內(nèi)置高性能計算機(jī)視覺算子和算法，可為計算機(jī)視覺相關(guān)模型訓(xùn)練和應(yīng)用實現(xiàn)深度優(yōu)化。

4. 靈活高效

曠視天元具備很強(qiáng)的多平臺多設(shè)備適應(yīng)能力，可通過類似匯編和指令重排等技術(shù)，使得天元內(nèi)置算子能夠在推理或生產(chǎn)環(huán)境中充分利用多核優(yōu)勢，靈活調(diào)用設(shè)備的計算力，尤其適用于大模型算法訓(xùn)練。

孫劍：曠視1400+名研發(fā)人員全員使用，天元就像我們的孩子

曠視首席科學(xué)家、研究院院長孫劍介紹了如何使用曠視天元做更好的研究。

曠視有1400多名研發(fā)人員，全員使用曠視天元引擎，在上百個產(chǎn)品、幾十種計算平臺上用。孫劍親切的將天元比做他們的“孩子”，并介紹了這個“孩子”的三大特色優(yōu)點：

優(yōu)點一，框架與算法的協(xié)同。當(dāng)前計算平臺差異非常大，很難只設(shè)計一種網(wǎng)絡(luò)，能夠滿足所有的需求。曠視以天元框架成為中間橋梁，根據(jù)不同設(shè)備的計算特性，協(xié)同設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)和框架算子，從而獲得最好的性能。而ShuffleNet就是協(xié)同設(shè)計的成果，最近幾年的在端上運行非常高效的一個神經(jīng)網(wǎng)絡(luò)的設(shè)計，效果優(yōu)異。

優(yōu)點二，高效訓(xùn)練系統(tǒng)。在COCO物體檢測和識別挑戰(zhàn)賽上，曠視取得了2017年、2018年、2019三連冠的佳績。其中一個非常關(guān)鍵的優(yōu)勢，就是曠視天元這樣一個訓(xùn)得快的系統(tǒng)。從第一次從框架上引入Synced BN技術(shù)，它能支持非常大的Mini-Batch訓(xùn)練，以至于曠視可以非常高速的訓(xùn)練一個系統(tǒng)。

優(yōu)點三，大規(guī)模能力。孫劍表示這與曠視數(shù)據(jù)大規(guī)模有關(guān)，并發(fā)布了最新版的Objects365V2版本。這是世界上最大或者更大的物體檢測數(shù)據(jù)集，這個數(shù)據(jù)集有365種常見物體，超過200萬張圖象，超過2800萬個人工標(biāo)志的框。

來自AI業(yè)務(wù)的深度學(xué)習(xí)框架

從2012年到2013年， AlexNet寫了一套東西，那時候也不叫框架，而是一套軟件，可以在擴(kuò)大的NV的GPU上跑。后來賈揚(yáng)清博士在伯克利做了一套Caffe的開源系統(tǒng)，這個系統(tǒng)成為第一代廣泛使用的深度學(xué)習(xí)框架。

MegEngine算是第二代深度學(xué)習(xí)框架的訓(xùn)練演進(jìn)，是基于計算圖理念開發(fā)的。這種方式非常靈活，讓很多的計算求導(dǎo)完全自動，使整個編程容易很多。

2014年曠視基本完成了MegEngine的開發(fā)，也借鑒了之前的開源軟件。直到2015年TensorFlow宣布開源，才發(fā)現(xiàn)大家殊途同歸，都是基于計算圖的方式來做。但當(dāng)時TensorFlow剛發(fā)出來的開源軟件很不完善，曠視內(nèi)部也和它做了比較，發(fā)現(xiàn)自己做的好處更大，所以就一版一版堅持做下來了。到現(xiàn)在，曠視內(nèi)部的版本已經(jīng)迭代到8.0了。曠視的框架結(jié)合了很多在實際應(yīng)用時的深度學(xué)習(xí)、人工智能落地的問題。從實際問題出發(fā)，也是曠視做這個框架的初衷。

與Google、Facebook這些大平臺公司開發(fā)的深度學(xué)習(xí)框架不同，曠視是一家100%的AI公司，曠視的深度學(xué)習(xí)框架是生長在自身的核心業(yè)務(wù)上的，所以AI公司的深度學(xué)習(xí)框架和平臺公司的深度學(xué)習(xí)框架，在考慮的點、方位、方向上都是不同的。曠視希望從這個方向能夠?qū)I特定化的方向給開發(fā)者提供實用的平臺和便利工具。

目前主流框架的開源時間、開發(fā)主體和框架特性

除了曠視新開源的天元，當(dāng)前全世界主流深度學(xué)習(xí)框架包括蒙特利爾理工學(xué)院2007年推出的Theano、加州大學(xué)伯克利2013年推出的Caffe、谷歌大腦2015年開源TensorFlow、谷歌的人工智能研究員Franois Chollet 2015年推出的Keras、Amazon 2015年底開源的MXNet、Facebook 2016年開源的PyTorch、微軟2016年開源的CNTK、百度2016年開源的飛槳等。

其中，TensorFlow和PyTorch是兩個極端，PyTorch采取動態(tài)圖靈活方便好調(diào)試適合學(xué)術(shù)科研，而TensorFlow采用靜態(tài)圖利于部署，更適合工業(yè)界使用，曠視希望能夠為開發(fā)者找到一個又要好調(diào)試，又要好部署的方案。

這次曠視天元開源，可以說為國產(chǎn)深度學(xué)習(xí)框架打了一針強(qiáng)心劑。相比市面主流深度學(xué)習(xí)框架，曠視天元上手更快，學(xué)習(xí)成本和遷移成本都更低。作為一家將AI成功落地的企業(yè)，實踐是曠視最寶貴的經(jīng)驗。相比已經(jīng)實現(xiàn)開源的框架，曠視開源框架最大的差異性，就是曠視是唯一一家AI本業(yè)的企業(yè)，曠視本身就是做AI Solution的，曠視的框架最能從AI實踐解決方案出發(fā)。

天元是怎么誕生的？

眾所周知，曠視是中國領(lǐng)軍的AI企業(yè)之一。近年來橫掃全球各大CV競賽，獲得27 項全球 AI 競賽冠軍。曠視數(shù)據(jù)、算法和算力三個核心組件都集成在Brain++體系里。作為一套伴隨曠視自身6年AI產(chǎn)業(yè)實戰(zhàn)經(jīng)驗的框架，天元不僅能夠在AI競賽擂臺賽為曠視打怪升級加Buff，更撐起了曠視工程化、產(chǎn)品化的半邊天。2020年，疫情當(dāng)前，曠視為何突然選擇把鎮(zhèn)宅之寶公開，把絕密武器分享給業(yè)界呢？這還要從天元的起源說起。

天元誕生——清華宿舍里研發(fā)人臉?biāo)惴ǎ?名實習(xí)生寫下框架第一行代碼

曠視成立于2011年，由三位清華“姚班”學(xué)霸創(chuàng)立。早期，曠視使用傳統(tǒng)論文方法進(jìn)行算法研發(fā)。2013 年中深度學(xué)習(xí)剛剛興起，曠視研究院開始嘗試使用深度學(xué)習(xí)檢測器，清華宿舍中一名實習(xí)生埋首兩周，研發(fā)出一套人臉識別檢測算法，即便在暗光條件下也能精準(zhǔn)檢測人臉，前所未有的算法性能技驚四座，于是曠視正式走上了神經(jīng)網(wǎng)絡(luò)（NN）解一切的道路。

當(dāng)時曠視條件艱苦，服務(wù)器、主板、顯卡等設(shè)備都需要人肉從美國一件件背回，第一臺用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的機(jī)器，是手拼組裝而成的4卡游戲臺式機(jī)。起初，曠視用Theano框架寫模型代碼，訓(xùn)練神經(jīng)網(wǎng)絡(luò)，跑一次訓(xùn)練要編譯好幾個小時，隨著網(wǎng)絡(luò)越訓(xùn)越大，越來越復(fù)雜，低效耗時的框架不僅令人崩潰，更限制了曠視中一些頂尖人才的創(chuàng)造力，曠視中的一些大牛開始摩拳擦掌嘗試各種方式，比如在Theano等早期開源框架上簡單包一層代碼，解決代碼冗長的問題，以期“煉丹工作更快捷一點”，但訓(xùn)練效率仍舊滿足不了曠視發(fā)展需求，一套煉丹程序成不成可能需要3-5周才能得到驗證。

2013年底，曠視當(dāng)時的研發(fā)負(fù)責(zé)人曹志敏提出打造一套能夠打通數(shù)據(jù)、訓(xùn)練和業(yè)務(wù)的自動化算法研發(fā)系統(tǒng)Cycle++，不需要投入過多人力和時間就可以實現(xiàn)算法從研發(fā)到應(yīng)用的自循環(huán)體系（曠視Brain++的早期設(shè)想）。于是，2014年初，曠視研究院3名實習(xí)生（賈開，李百恩，魏銘）第一行代碼寫起，不到半年的時間，正式誕生了曠視自研的初版深度學(xué)習(xí)框架——MegEngine。接下來為了追趕曠視發(fā)展的進(jìn)度，研究院不斷與業(yè)務(wù)深入溝通了解一線需求，并復(fù)現(xiàn)業(yè)務(wù)所需神經(jīng)網(wǎng)絡(luò)，又用了半年時間，在2015年年中完成了自研框架與曠視內(nèi)部所有業(yè)務(wù)的接軌，曠視業(yè)務(wù)線上的模型全部換成了自研框架訓(xùn)練出來的版本。

2015年11月9日，Google正式發(fā)布并開源TensorFlow。而曠視研究院的幾名實習(xí)生坐不住了，因為他們驚奇地發(fā)現(xiàn)，TensorFlow接口、理念等設(shè)計思路上竟驚奇地一致。TensorFlow的開源給曠視的自研框架造成了一個巨大的沖擊，那就是留存問題。既然大廠都開源了，曠視是否仍然有必要堅持做自己的框架？對此曠視內(nèi)部分成了兩派并進(jìn)行了一場曠日持久的大討論，最終決定通過科學(xué)的方式來進(jìn)行決策，經(jīng)過一次大規(guī)模評測，曠視研究員發(fā)現(xiàn)剛剛開源的TensorFlow性能并不理想，竟比曠視自研框架要慢10倍。這個結(jié)果讓曠視更加堅定地走上自研道路。

27 項全球 AI 競賽冠軍背后，曠視絕密武器是“三位一體”Brain++

隨著曠視業(yè)務(wù)的加速擴(kuò)張，曠視自研框架在業(yè)務(wù)實踐中的優(yōu)勢已經(jīng)凸顯，算法訓(xùn)練周期從兩三周縮減至3-5天。彼時TensorFlow還沒有解決多卡擴(kuò)展性問題，一張卡和八張卡的計算效率沒有太大差別。但曠視的自研框架效率已經(jīng)接近線性的加速比，于是開始瘋狂購入八卡機(jī)。當(dāng)時曠視環(huán)境艱苦，炎夏時節(jié)框架研發(fā)小組為了保障服務(wù)器能夠穩(wěn)定運行，甚至請制冰公司每天放置冰塊進(jìn)行物理降溫，但高速運行的服務(wù)器太過于吃電，仍被大廈物業(yè)視為“定時炸彈”而反復(fù)警告。

曠視從研發(fā)到業(yè)務(wù)全面向自有深度學(xué)習(xí)框架和自有計算集群的遷移，標(biāo)志著曠視數(shù)據(jù)、算法和算力三個核心組件正式完成“大一統(tǒng)”，自此曠視AI生產(chǎn)力平臺Brain++雛形初現(xiàn)。

2017-2019年間，依托曠視Brain++大規(guī)模分布式訓(xùn)練能力，以及業(yè)界領(lǐng)先的分布式計算技術(shù)訓(xùn)練出的超大規(guī)模深度學(xué)習(xí)模型，曠視累計斬獲 27 項全球 AI 競賽冠軍，并開發(fā)出大量部署于云端、移動端、邊緣端全計算平臺的先進(jìn)深度神經(jīng)網(wǎng)絡(luò)，為個人物聯(lián)網(wǎng)、城市物聯(lián)網(wǎng)、供應(yīng)鏈物聯(lián)網(wǎng)三大垂直場景賦能提供強(qiáng)有力的支撐。

為了推動AI技術(shù)加速落地，讓更多的開發(fā)者和企業(yè)用戶使用 AI “源力”，曠視于2019年開始籌備將Brain++最核心的深度學(xué)習(xí)框架開源，并為 MegEngine 起了一個中文名字——天元。這期間框架研發(fā)團(tuán)隊可以說是經(jīng)歷了一場浴火重生，需要把原來封裝好的代碼分解再重組，以適應(yīng)廣大開源用戶的使用體驗。

授人以魚不如授人以漁。曠視開源深度學(xué)習(xí)框架的原因很簡單，就是希望把自己用著好的東西拿出來分享給大家，讓有志于學(xué)習(xí) AI、用 AI 改變世界的開發(fā)者們，可以更加簡單高效地用 AI 去創(chuàng)造，實現(xiàn)AI+產(chǎn)業(yè)降本增效釋放生產(chǎn)力，另一方面，框架代碼開源意味著接受群眾檢驗的同時，也能夠激發(fā)出更多的技術(shù)貢獻(xiàn)者讓它變得更好用。目前，為了進(jìn)一步提高研究員在訓(xùn)練上的便捷性，曠視天元（MegEngine）正從傳統(tǒng)的靜態(tài)圖計算模式向動態(tài)的方向轉(zhuǎn)變，未來隨著天元的開源，Brain++各項能力會逐步向外開源開放。

深度學(xué)習(xí)簡單，為普通開發(fā)者打造AI界的“煉丹爐”

曠視認(rèn)為要想解決無限場景中層出不窮的新問題，就需要無限的算法。而要獲得無限的算法就要先建設(shè)AI的基礎(chǔ)設(shè)施，在曠視眼中，只有兩樣?xùn)|西能夠被稱為AI基礎(chǔ)設(shè)施：AI芯片和AI底層的平臺級產(chǎn)品。

AI芯片大家都很清楚是AI的計算平臺，而對于AI底層的平臺級產(chǎn)品，曠視聯(lián)合創(chuàng)始人兼CTO唐文斌給出了一個具體的定義：AI生產(chǎn)力平臺。在曠視內(nèi)部，已經(jīng)有了這樣一個生產(chǎn)力平臺——Brain++。

Brain++是集數(shù)據(jù)、算法和算力為一體的大平臺概念，核心能力包括數(shù)據(jù)的處理、清洗和管理能力，算力的共享、調(diào)度和分布式能力，算法的訓(xùn)練、推理及部署能力，可覆蓋從 AI 生產(chǎn)（輸出算法模型）到應(yīng)用（實現(xiàn)算法工程化封裝）各環(huán)節(jié)。

簡單來說，Brain++就是曠視為AI打造的一套Visual Studio，是一個開發(fā)工具集，目的是有效解決 AI 研發(fā)門檻高、成本高和效率低的問題，為產(chǎn)學(xué)研各界提供一站式、全流程的人工智能專業(yè)解決方案。曠視在發(fā)布會中提到，將通過開源和開放的形式逐步將Brain++的能力與業(yè)界共享。

業(yè)內(nèi)喜歡用“煉丹”來比喻算法研究，那么數(shù)據(jù)就是金木水火土等各種礦物或自然元素，而框架就是用來煉丹的爐子，算力就是煉丹爐下的火。元素全不全，爐子好不好，火旺不旺決定了AI開發(fā)者能不能練出一顆的AI的靈丹妙藥。

從曠視的開源發(fā)布會可以看出，曠視的院里已經(jīng)有了一套設(shè)施完備的煉丹房——Brain++，而今天，他們打算把他們的煉丹爐開源，免費給大家使用，至于煉丹的原材料和柴火可以根據(jù)用戶需求合作使用。

開源不意味著完美。曠視研究院高級技術(shù)總監(jiān)田忠博表示，此次開源所發(fā)布的是天元Alpha版本，并計劃在6月份的時候提供第一個里程碑版本Beta版本，在這個過程中曠視號召更多人能夠?qū)μ煸岢雠u、給出建議、貢獻(xiàn)code，唐文斌指出：“也許下一代天元并不是由曠視的研發(fā)團(tuán)隊做出來的，而是與你一起共創(chuàng)出來的Beta和正式版本，所以我們也希望跟大家一起來共建更好的深度學(xué)習(xí)框架?！?/p>

所有深度學(xué)習(xí)框架的存在都是為了方便開發(fā)者，天元站在前人的肩膀上是青出于藍(lán)而勝于藍(lán)，拓展了深度學(xué)習(xí)開源框架的新版圖，也為開發(fā)者們提供了新的選擇。

天元開源地址和交流社區(qū)

那么曠視的這個煉丹爐究竟好不好用？

發(fā)布會上，曠視公布了天元在GitHub和OpenI的代碼托管地址，同時發(fā)布了一個叫做MegStudio的在線深度學(xué)習(xí)工具和一個模型中心ModelHub，支持開發(fā)者開箱即用。其中，ModelHub匯聚了全球頂尖算法的一些預(yù)訓(xùn)練的模型，和曠視研究院一些最新的技術(shù)、研發(fā)成果。曠視表示，更多 SOTA 的模型正在增加中。