大模型就像新世界的小火花，它是互聯(lián)網(wǎng)大數(shù)據(jù)時代發(fā)展到一定階段必然會迸發(fā)出來的產(chǎn)物；今天的人工智能的范式可能還是處于非常早期的階段。就像“日心說”和“地心說”，當(dāng)人類敢于把自己從中心位置挪開，認(rèn)知的角度發(fā)生改變的時候，往往就是人類文明進(jìn)步的開始。

大模型作為一項重大里程碑式的技術(shù)變革，正在給人類社會帶來什么？有哪些機(jī)遇和挑戰(zhàn)？它的技術(shù)發(fā)展、商業(yè)模式、生態(tài)建設(shè)正處于什么階段？在11月7日舉行的“上海之巔 論道AI”大模型閉門會上，螞蟻集團(tuán)首席技術(shù)官何征宇分享了螞蟻的思考和實踐。

何征宇認(rèn)為，大模型就像新世界的小火花，它是互聯(lián)網(wǎng)大數(shù)據(jù)時代發(fā)展到一定階段必然會迸發(fā)出來的產(chǎn)物。作為一個新世界的開端，大模型不是目的，甚至只是一個“鉆木取火”般產(chǎn)生類人智能的手段。我們需要從科學(xué)的角度去研究大模型的智能涌現(xiàn)現(xiàn)象，發(fā)現(xiàn)它背后的原理，才能理解它的能力與局限，真正釋放它的內(nèi)在價值。他也介紹了螞蟻堅決投入大模型的三個方向：全棧布局、長線發(fā)展、服務(wù)產(chǎn)業(yè)。

該會議由財聯(lián)社、《科創(chuàng)板日報》與上海市人工智能行業(yè)協(xié)會聯(lián)合主辦，來自人工智能行業(yè)領(lǐng)軍學(xué)者、知名上市公司、大模型企業(yè)和投資機(jī)構(gòu)的高層共50多名代表參會。

以下內(nèi)容整理自何征宇的現(xiàn)場分享。

▌“GPT有上界，但我們對智能算法的追求無上界”

今天我們?yōu)槭裁磿谶@里談?wù)摯竽Ｐ?？我認(rèn)為大模型的出現(xiàn)是一個歷史的必然，它源自于人類對于自身的好奇，也建立在人類發(fā)展過程中若干次偉大創(chuàng)造的基礎(chǔ)之上。

一是文字的發(fā)明，讓人類有了抽象、沉淀和傳播知識的方法。一個人的壽命是有限的，但有了文字之后，人類才可能一代一代將知識總結(jié)并且傳承下來。

二是互聯(lián)網(wǎng)的產(chǎn)生，讓知識可以快速流動，并且匯聚起來。今天我們看到的大模型的所有語料，在沒有互聯(lián)網(wǎng)的時代是不可想象的。就算是現(xiàn)代圖書館里記錄的知識，對于今天大模型的語料來說也只是滄海一粟。沒有互聯(lián)網(wǎng)，就無法把世界上的知識匯聚到一起，無法去探究真實世界的語言分布，我們今天就不可能聊大模型是不是世界模型這個問題。

三是找到了GPT這個高效的知識壓縮方法。OpenAI為什么做這么快？我認(rèn)為OpenAI無比地堅信他們找到了大模型的第一性原理——知識的無損壓縮等于智能。這一點直到今天科學(xué)界、哲學(xué)界也沒有詳細(xì)論證過，但是OpenAI堅信這一點，他們也找到了一些很好的工程實現(xiàn)的方法，把這個事情做了出來。

從螞蟻集團(tuán)視角，我們是把大模型這個新的技術(shù)提升到戰(zhàn)略角度來研究的，我們首先要看清它的本質(zhì)。微軟出過一篇文章，叫做《Sparks of Artificial General Intelligence: Early Experiments with GPT-4》， 他們覺得GPT4是AGI的一個小火花。我延伸一下，我認(rèn)為大模型是新世界的小火花。這里有兩層意思。

第一層意思，它只是個小火花，GPT4的智能能力是個現(xiàn)象，不是發(fā)明。

今天我們更加為之興奮的其實是大模型帶來的智能水平，或者說智能涌現(xiàn)現(xiàn)象，它到底是個發(fā)明還是一個發(fā)現(xiàn)？我認(rèn)為就像原始人看到火一樣，他首先看到的就是一個自然現(xiàn)象：樹被雷劈了，有火生起來。原始人初次看到火的時候，肯定會害怕，就像很多人看到AI會很害怕一樣。后來原始人發(fā)現(xiàn)火能夠驅(qū)趕野獸，甚至碰一碰有點痛，但他們搞不清楚這個東西是什么，只是覺得很厲害，馬上就有“拜圣火教”。

AI也是一樣?，F(xiàn)在也有可能存在一部分人恐懼AI，要求徹底禁止AI研究，而另外一部分人盲目崇拜AI的現(xiàn)象。但是我覺得，只有當(dāng)有那么一群人嘗試去理解火到底是什么，然后開始能夠掌握火，才可以推動人類文明的發(fā)展。

人類控制火的水平也是人類劃分時代的方法：從石器時代到青銅時代最關(guān)鍵的是火帶來了冶煉技術(shù)，讓人類能夠制作金屬工具，解放了生產(chǎn)力。從青銅時代到鐵器時代是因為人類掌握了更高的火的溫度。到現(xiàn)在人類掌握了火箭技術(shù)，并因此很可能成為跨行星物種。這背后更重要的是我們弄清楚了火產(chǎn)生的原理，是一種氧化反應(yīng)。最先進(jìn)的火箭技術(shù)也是對火的更高級的控制技術(shù)。

我拿火種來比喻人工智能，是因為我認(rèn)為今天大模型迸發(fā)的智能涌現(xiàn)現(xiàn)象就好像是一群原始人看到了火種。今天我們看到了GPT，大家都覺得成本很高，不經(jīng)濟(jì)不環(huán)保，ROI不高。若干年后我們回頭看，可能覺得今天的GPT, 甚至現(xiàn)在所有的大模型的訓(xùn)練方法，不過是“鉆木取火”帶來的一點小火花而已。

第二層意思，這個小火花很重要。

正如螞蟻集團(tuán)董事長兼CEO井賢棟在2023年第二屆外灘大會上所講，“大模型不只是一個新技術(shù)，是一個新世界”。因為我們認(rèn)為由于計算的不可規(guī)約性，也是算法熵壓縮的不可計算性，知識壓縮算法的優(yōu)化是無止境的。

舉個例子，很多人會說圓周率是不可壓縮的，因為它沒有規(guī)律。但是人類就有這個智慧，可以寫一段程序來計算圓周率。那是不是這段程序就是壓縮后的圓周率了呢？而且還可以跟其他知識混合，再繼續(xù)壓縮這段程序？因此，知識的壓縮可能是無止境的，而且事實上現(xiàn)在大家在更小的模型規(guī)模上也觀測到了智能涌現(xiàn)的現(xiàn)象。我們也應(yīng)該在算法優(yōu)化，工程實現(xiàn)上持續(xù)探索，我相信還有更好的產(chǎn)生智能的知識壓縮方法等待我們?nèi)グl(fā)現(xiàn)。

▌看到AI深“黑盒”面

現(xiàn)在AI所表現(xiàn)出來的好像什么都能干，但是你會發(fā)現(xiàn)他跟精神病一樣，一本正經(jīng)地胡說八道。人一本正經(jīng)胡說八道的時候，自己是知道的。但是AI胡說八道的時候，它自己是不知道的。

螞蟻也一直在研究AI的安全可信。我們覺得大模型有非常多的風(fēng)險，它的挑戰(zhàn)也是巨大的。

第一是認(rèn)知一致性對齊。為什么會有這個擔(dān)心？因為AI的價值觀可能跟人類的價值觀從來就不可能對齊，目前看只靠大模型技術(shù)本身是不太可能實現(xiàn)這個目標(biāo)的，除非有搜索增強(qiáng)或者知識圖譜，甚至更多技術(shù)的幫助。

第二是決策白盒化。如果真的把大模型用到?jīng)Q策系統(tǒng)中，一定是要白盒化。例如，當(dāng)你在做一筆支付的時候，如果被拒付了，你一定會打電話給客服了解為什么會拒付？如果我們只能告訴你這是大模型決策的，我相信一定會被投訴。所以大模型要真正用在決策場景，一定要有白盒化的能力。

第三是交流協(xié)同演進(jìn)。市面上有各種通用大模型，但事實上各有特點。人類之所以能夠發(fā)展到今天，不是因為一兩個人的智慧，如何像人類社會一樣集百家之長，取得突破進(jìn)展？我認(rèn)為需要協(xié)作。大模型之間如何能夠更好的協(xié)作，不是說簡單的從語料層面，或者是從API層面去打通，而是大模型之間能夠有一個協(xié)同演進(jìn)的機(jī)制。我們覺得這也是未來的一個關(guān)鍵挑戰(zhàn)。

▌螞蟻為什么堅定投入大模型

我們判斷，螞蟻不能錯過這次技術(shù)范式的演進(jìn)和變革。我們下了很大的功夫研究，投入的資源也非常大。11月6日，根據(jù)國家七部委聯(lián)合公布的《生成式人工智能服務(wù)管理暫行辦法》指導(dǎo)要求，螞蟻百靈大模型完成備案，基于百靈大模型的多款產(chǎn)品已陸續(xù)完成內(nèi)測，將向公眾開放。在這里，我也介紹下螞蟻集團(tuán)對大模型的整體布局。

第一，全棧布局。

我們覺得它是一個新的技術(shù)，我們有原始人看到火一樣的興奮。我們?nèi)珬２季值倪壿嬀褪沁@么來的，我們一定要研究清楚，并且研究到其化學(xué)反應(yīng)的本質(zhì)。螞蟻大模型堅持自主研發(fā)、全棧布局，目前已形成包括大模型底層基礎(chǔ)設(shè)施、基礎(chǔ)大模型、行業(yè)大模型、應(yīng)用產(chǎn)品在內(nèi)的完整技術(shù)鏈條。我們是從集群開始自己搭的，螞蟻建設(shè)了超過萬卡的異構(gòu)集群，其中硬件算力效率(HFU)超過60%，集群有效訓(xùn)練時長占比90%以上，RLHF訓(xùn)練在同等模型效果下訓(xùn)練吞吐性能相較于業(yè)界方案提升3.59倍，推理性能相較于業(yè)界方案提升約2倍。

第二，長線發(fā)展。

從螞蟻的角度來看，大模型是一個基礎(chǔ)技術(shù)，基礎(chǔ)技術(shù)就要堅持長期主義，做好長期不賺錢的準(zhǔn)備，至少在我們看來，它不是一個今天就可以拿出來賺錢的技術(shù)。在沒有完全搞清楚它的風(fēng)險與危害之前，我們會做一些積極的應(yīng)用嘗試，但會避免貿(mào)然直接使用在商業(yè)場景。

第三，要面向產(chǎn)業(yè)，面向消費者，面向很多好玩的東西。

我們覺得大模型真正歷史性的突破是幫助行業(yè)生產(chǎn)力提升，而且有可能讓人類社會生產(chǎn)力劇增。我們做大模型技術(shù)的最終目標(biāo)還是會面向產(chǎn)業(yè)，也包括金融產(chǎn)業(yè)、醫(yī)療產(chǎn)業(yè)等專業(yè)服務(wù)場景，幫助他們?nèi)プ霎a(chǎn)業(yè)升級。

另外，螞蟻在大模型的安全上堅決投入。

任何一項技術(shù)都有它的不可控性。我們分析下來，大模型安全還有若干個難點。第一是不可控；第二是覆蓋面廣，任何東西都可以生成；第三就是，安全的本質(zhì)其實還是對抗，一定會有壞人來濫用這個技術(shù)；第四就是防護(hù)的時效性等問題。

安全力方面，螞蟻研發(fā)了大模型安全一體化解決方案——“蟻天鑒”?！跋佽b”平臺作為業(yè)內(nèi)首個工業(yè)級大模型應(yīng)用的安全評測產(chǎn)品，可支持每天50萬飽和式攻擊，全面覆蓋生成內(nèi)容數(shù)百類風(fēng)險；“天鑒”平臺可在大模型運行時，采用大模型對抗大模型的方式，對風(fēng)險進(jìn)行防御。其中前置安全護(hù)欄功能，能精確召回20多類提問風(fēng)險意圖，對生成內(nèi)容的風(fēng)險攔截率提升99.7%。

同時我們也特別關(guān)注AI倫理問題。我們和螞蟻集團(tuán)法務(wù)團(tuán)隊一起，邀請了很多外部的倫理專家法律專家，幫我們導(dǎo)入了一些常識性的倫理問題來強(qiáng)化我們的大模型。

▌結(jié)語

怎么用AI、大模型技術(shù)，為人類提供一個更好的智能化工具，提升生活幸福感，這是我們一直在追求的。

我們覺得大模型也不是AI的全部，AI 是個更大的范疇。通用人工智能是我們的目標(biāo)，大模型不是目的，它是一個手段，甚至只是剛才講的“鉆木取火”的手段，可能并不是最好的獲得類人智能的手段。人腦大概只用40瓦就足夠每天做很多很多的推理。今天的人工智能的范式可能還是處于非常早期的階段。就像“日心說”和“地心說”，當(dāng)人類敢于把自己從中心位置挪開，認(rèn)知的角度發(fā)生改變的時候，往往就是人類文明進(jìn)步的開始。大模型也是一樣的道理，要看到大模型智能涌現(xiàn)現(xiàn)象背后的本質(zhì)。當(dāng)我們徹底理解它的時候，或許我們才真正迎來“日心說”一般劃時代的技術(shù)革命。

為了這一天的到來，我們愿意和同行一起，分享前行中的實踐和經(jīng)驗，共建行業(yè)的標(biāo)準(zhǔn)和生態(tài)。為一個真正通用人工智能時代的到來，一起努力。

謝謝大家。