大模型，已經(jīng)變成今天AI產(chǎn)業(yè)最為關(guān)注、最受期待的技術(shù)方向，甚至沒有之一。

其原因在于，大模型帶來了強大的泛化能力以及優(yōu)異的效果，并且能夠?qū)崿F(xiàn)AI模型研發(fā)-部署-應(yīng)用的標(biāo)準化提升。這些價值與各界對AI工業(yè)化、大規(guī)模部署的期待不謀而合。于是，通過大模型進入AI工業(yè)大生產(chǎn)時代，已經(jīng)在業(yè)界凝聚了高度共識。

近兩年，圍繞大模型的技術(shù)創(chuàng)新、工具創(chuàng)新層出不窮。在繁花似錦的整體趨勢下，我們似乎也能看到隱藏的問題。比如大模型的門檻依舊偏高，與產(chǎn)業(yè)結(jié)合更多偏向案例性質(zhì)，大范圍應(yīng)用還有非常多的挑戰(zhàn)。參數(shù)繁榮、技術(shù)繁多、種類繁復(fù)的大模型，正有待迎接一次轉(zhuǎn)變。

11月30日，由深度學(xué)習(xí)技術(shù)與應(yīng)用國家工程研究中心主辦、飛槳承辦的WAVE SUMMIT+ 2022在線上舉行。期間，圍繞文心大模型的一系列更新、升級引發(fā)了開發(fā)者廣泛關(guān)注。如果我們?yōu)槲男拇竽Ｐ偷纳夁M行一個簡要描述，或許可以用到“化繁為簡”這個詞。

峰會期間，百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心主任王海峰提出，深度學(xué)習(xí)平臺加上大模型，貫通從硬件適配、模型訓(xùn)練、推理部署到場景應(yīng)用的AI全產(chǎn)業(yè)鏈，夯實產(chǎn)業(yè)智能化基座，將進一步加速智能化升級。

而在構(gòu)建智能化基座的過程中，大模型的產(chǎn)業(yè)化路徑，必然是要封裝復(fù)雜的模型生產(chǎn)過程，從而高效支撐千行百業(yè)應(yīng)用。

大模型的復(fù)雜技術(shù)與研發(fā)挑戰(zhàn)，應(yīng)該是停留在產(chǎn)業(yè)上游的。具有算法、算力和數(shù)據(jù)綜合優(yōu)勢的企業(yè)，應(yīng)該將模型生產(chǎn)進行封裝，在產(chǎn)業(yè)鏈上游就解決大數(shù)據(jù)、大算力、大模型的能力挑戰(zhàn)。這樣，應(yīng)用場景與企業(yè)用戶、開發(fā)者，將得到簡單、易用、工業(yè)化的大模型能力。只有這樣，大模型才能真正落下去、推廣開。

兩點之間，直線最短。大模型已經(jīng)來到了化繁為簡的臨界點，而百度正在用飛槳+文心大模型，在技術(shù)與產(chǎn)業(yè)之間畫出這條直線。

在路上的大模型，需要化繁為簡

討論大模型的新升級、新發(fā)展思路，必須建立在對大模型產(chǎn)業(yè)化的客觀理解上。

在目前階段，大模型正處在高速發(fā)展期。我們近乎每個月，甚至每星期都可以看到產(chǎn)業(yè)界、學(xué)術(shù)界公布大模型創(chuàng)新。并且在今天，已經(jīng)很少看到大模型創(chuàng)新過分執(zhí)著參數(shù)對比，更多是進行不同技術(shù)路線、不同應(yīng)用領(lǐng)域的多樣化創(chuàng)新。

與此同時，伴隨著大模型種類、功能的繁復(fù)多樣，輔助大模型的開發(fā)工具、軟硬件基礎(chǔ)設(shè)施、開源開放平臺也豐富了起來。圍繞大模型的產(chǎn)業(yè)生態(tài)開始壯大。

然而在這種情況下，我們依舊會發(fā)現(xiàn)大模型發(fā)展中有一個客觀存在的核心問題：產(chǎn)業(yè)主要提升的，是“訓(xùn)大模型”的能力，而不是“用大模型”的能力。

一般來說，前者關(guān)注如何讓大模型更加“繁華”；但后者卻需要考慮實際場景，消弭應(yīng)用門檻。在某種程度上需要反過來，化繁為簡。

很多產(chǎn)業(yè)都在理論上、需求上適合大模型落地。但在實操過程中將面對一系列適配問題。比如說：

1.自己開發(fā)大模型難度太大，訓(xùn)練成本、存算成本過高。開發(fā)工具與社區(qū)支持也不足。

2.想要應(yīng)用成熟的大模型，又往往缺少產(chǎn)業(yè)示范與行業(yè)路徑。不知道自己的行業(yè)該用哪種大模型，行業(yè)知識與行業(yè)需求如何與大模型對齊。

3.即使選到想用的大模型，又會發(fā)現(xiàn)本地環(huán)境難以兼容適配。大模型應(yīng)用的工程化能力很難讓人滿意。

面對這些問題，千行百業(yè)需要從基礎(chǔ)模型、開發(fā)工具、開發(fā)社區(qū)，到行業(yè)路徑的一系列幫助與加持，打通從大模型到產(chǎn)業(yè)的一系列關(guān)節(jié)。這種圍繞行業(yè)需求與產(chǎn)業(yè)應(yīng)用進行創(chuàng)新，而不是圍繞大模型本身進行提升的思路，就是百度發(fā)展文心大模型，以及構(gòu)建飛槳+文心產(chǎn)業(yè)智能化基座的獨特思路。

WAVE SUMMIT+ 2022所展現(xiàn)的，就是這種思路的進一步完備與壯大。

為行業(yè)找路徑：行業(yè)大模型已蔚為大觀

行業(yè)需求與AI技術(shù)對齊，這件事本身經(jīng)歷了漫長的發(fā)展，在今天已經(jīng)挑戰(zhàn)重重。而當(dāng)行業(yè)面向大模型這個更新、更強的技術(shù)時，需求難以對齊的矛盾就會更加明顯。

面向這種困難，只有一個個行業(yè)去探索，在重點行業(yè)形成有效的大模型落地參考路徑。這或許是“最重”的選擇，但同時也是“最優(yōu)解”。

今年5月，文心大模型面向具體的行業(yè)需求，發(fā)布了行業(yè)大模型這一全新發(fā)展路徑。其通過文心大模型的基礎(chǔ)模型能力，搭配對海量行業(yè)數(shù)據(jù)的挖掘，以及由合作機構(gòu)、行業(yè)客戶提供的行業(yè)特色數(shù)據(jù)和知識，加上行業(yè)特色的專家經(jīng)驗多方結(jié)合，進行相應(yīng)的行業(yè)訓(xùn)練任務(wù)設(shè)計，最終形成了文心行業(yè)大模型。

在于行業(yè)結(jié)合的過程中，文心大模型知識增強與產(chǎn)業(yè)級兩大特色得以充分發(fā)揮，形成了行業(yè)知識增強的關(guān)鍵路徑。這一路徑不僅解決了大模型的應(yīng)用挑戰(zhàn)，還凝結(jié)成了一系列面向重點行業(yè)的大模型產(chǎn)業(yè)落地方法。實現(xiàn)了大模型在行業(yè)場景中“不但能用還便捷好用”的價值。

在本次峰會上，文心行業(yè)大模型持續(xù)升級，在原有能源、金融、航天、傳媒等行業(yè)的基礎(chǔ)上，進一步升級到了11個行業(yè)大模型，將行業(yè)大模型延伸到了制造業(yè)、城市管理、汽車等關(guān)鍵領(lǐng)域?？梢哉f，行業(yè)大模型已經(jīng)從先鋒、探索性質(zhì)，發(fā)展到了覆蓋行業(yè)眾多、體系完備的新階段。從應(yīng)用效果與行業(yè)覆蓋上來說，都已經(jīng)實現(xiàn)了蔚為大觀。

舉個例子，智慧城市建設(shè)是數(shù)字中國的重點發(fā)展方向。在今天，中國所有地級市都已經(jīng)有智慧城市項目落地。而大模型與智慧城市的結(jié)合，在目前階段還非常新穎。

在哈爾濱，近年來冰城探索了一系列AI技術(shù)賦能城市高質(zhì)量發(fā)展、東北老工業(yè)基地振興的嘗試，取得了顯著成效。而就在剛剛，哈爾濱市政府?dāng)y手百度，聯(lián)合發(fā)布面向城市領(lǐng)域的行業(yè)大模型——冰城-百度·文心。

冰城-百度·文心大模型，可以將城市中跨業(yè)務(wù)、跨結(jié)構(gòu)、跨部門的數(shù)據(jù)知識和多種任務(wù)算法進行融合，基于百度文心NLP大模型ERNIE 3.0，打造統(tǒng)一預(yù)訓(xùn)練模型，提供強大的語言理解、語義分析等能力，支撐城市中各領(lǐng)域的AI規(guī)模化效果提升。文心行業(yè)大模型，至此可以從城市治理、產(chǎn)業(yè)發(fā)展、公共服務(wù)等多個領(lǐng)域支持哈爾濱的數(shù)字化發(fā)展。從產(chǎn)業(yè)路徑上看，這一聯(lián)合發(fā)布、聯(lián)合打造，將大模型與智慧城市需求有效結(jié)合在了一起。為更多城市獲得大模型價值提供了參考路徑。

如今，行業(yè)大模型已經(jīng)在多個領(lǐng)域取得可信的成果。比如文心大模型與電影頻道結(jié)合，可以實現(xiàn)每天修復(fù)28.5萬幀老舊影片。即使是精修，文心大模型的修復(fù)速度也較人工效率提升了3到4倍。在能源、金融等一系列領(lǐng)域，行業(yè)大模型已經(jīng)形成了產(chǎn)業(yè)智能化的發(fā)展路標(biāo)。

當(dāng)然，除了行業(yè)大模型之外，文心大模型還以更多方式融入更廣泛的行業(yè)應(yīng)用。比如從2019年3月文心ERNIE1.0發(fā)布以來，幾乎百度全系列產(chǎn)品都在逐步使用文心大模型。在千行百業(yè)，文心大模型已通過飛槳開源開放平臺、百度智能云等賦能到工業(yè)、能源、金融、通信、媒體、教育等各行各業(yè)。

行業(yè)有路徑，是文心大模型持續(xù)升級的首要目標(biāo)。

為應(yīng)用備技術(shù)：從模型、工具到應(yīng)用的全線升級

如果說，大模型通向行業(yè)，與行業(yè)需求、行業(yè)知識融合的大模型向產(chǎn)業(yè)的縱向打通。那么大模型對各種開發(fā)需求、應(yīng)用需求的覆蓋，就是大模型走向產(chǎn)業(yè)的橫向能力打開。

在真實的應(yīng)用場景中，企業(yè)和開發(fā)者需要接入大模型的方式是十分多樣的。有的企業(yè)確實需要自己開發(fā)大模型；也有企業(yè)需要以最低成本完成大模型適配；還有一些企業(yè)可能需要具有特殊能力的模型；有一部分企業(yè)需要產(chǎn)品級、可API接入的大模型能力。

只有從模型到工具，再到產(chǎn)品、社區(qū)都有完善、完整的技術(shù)儲備，才有能力降低大模型應(yīng)用門檻，才有機會成為產(chǎn)業(yè)智能化的基座。

為此，百度全面升級了文心大模型的全景圖，既豐富了大模型的種類。同時也在大模型開發(fā)工具、產(chǎn)品能力、社區(qū)建設(shè)上進行了升級。

大模型因“大”而效果好，同時在產(chǎn)業(yè)應(yīng)用中也會因為“太大”而難以落地部署。為了解決這個問題，百度全新發(fā)布了ERNIE 3.0 Tiny模型。其通過將千億模型作為教師模型，經(jīng)過知識蒸餾等方式，可以形成一系列輕量化模型。最終實現(xiàn)在效果損失非常有限的情況下，模型體量變小，但較比傳統(tǒng)模型卻有數(shù)十倍、上百倍的性能提升，以此滿足產(chǎn)業(yè)場景的真實應(yīng)用需求。

同時，在跨模態(tài)領(lǐng)域，百度發(fā)布跨模態(tài)理解大模型ERNIE ViL 2.0、跨模態(tài)生成大模型ERNIE ViLG 2.0、文檔智能大模型 ERNIE-Layout。在生物計算方面，最新發(fā)布了蛋白質(zhì)預(yù)測模型HelixFold-Single。而在任務(wù)大模型方面，則發(fā)布了代碼大模型ERNIE-Code。其可以通過多語言學(xué)習(xí)的形式，在語料上更加豐富多樣，使得模型能力更強，并且能夠支持多個語種。

在一系列新加入的模型之外，百度也在推動大模型開發(fā)工具建設(shè)、產(chǎn)品化升級與社區(qū)建設(shè)。在工具與平臺的技術(shù)升級上，百度提供面向場景化，以及行業(yè)大模型的配套能力。比如在模型精調(diào)方面提供的技術(shù)工具更加豐富，大模型的API當(dāng)中將包含更豐富的精調(diào)能力。同時，在大模型訓(xùn)練中也會添加一系列可信學(xué)習(xí)工具，滿足開發(fā)者對大模型的安全、可控需求。

在文心大模型的產(chǎn)品和社區(qū)方面，百度保留了旸谷社區(qū)作為創(chuàng)意社區(qū)。同時增加了兩款以大模型為核心驅(qū)動的產(chǎn)品。這些產(chǎn)品既可以直接賦能給有相關(guān)需求的產(chǎn)業(yè)用戶和泛科技用戶，豐富大模型的應(yīng)用價值。同時也為行業(yè)起到了示范作用，展示了大模型產(chǎn)品化的技術(shù)路徑。

在最近備受關(guān)注的AIGC方面，百度打造的文心一格，在本次峰會上進行了一系列新能力的發(fā)布。比如近期非?；鸨囊詧D生圖能力、圖片通過文字進行編輯的能力，以及一鍵生成視頻的能力。

另一項產(chǎn)品升級，是以大模型核心驅(qū)動的搜索產(chǎn)品“文心百中”。這一產(chǎn)品由百度搜索與文心大模型聯(lián)合研制，可以滿足開發(fā)者和企業(yè)用戶的垂直搜索、企業(yè)搜索需求。其本身具有極簡的邏輯架構(gòu)，以及強大的語義理解能力，并且可以極大降低搭建垂直搜索帶來的數(shù)據(jù)成本與人力成本。“文心百中”，可以說從搜索這個全新層面，向業(yè)界展現(xiàn)了大模型的應(yīng)用價值與產(chǎn)業(yè)空間，并且同樣也指向著清晰的應(yīng)用場景。

從新的模型、新的工具，到產(chǎn)品與社區(qū)的升級，文心大模型可以說從多角度、全方位升級了技術(shù)儲備。這些技術(shù)能力對應(yīng)著不同類型開發(fā)者、企業(yè)對大模型的多樣化需求。只有滿足這些具體的需求，打通一個個關(guān)隘，大模型才能去向它最應(yīng)該去的地方——應(yīng)用。

為智能筑底座：飛槳+大模型，畫出一條直線

兩點之間，直線最短。但大模型與產(chǎn)業(yè)之間，往往會因為技術(shù)路線分歧、訓(xùn)練部署環(huán)境、行業(yè)知識無法對齊，而要七拐八拐，走大量彎路。這些彎路的存在，自然有大模型發(fā)展過程中的一系列客觀因素的影響，但同時也確實影響著大模型的應(yīng)用效率、產(chǎn)業(yè)效能。

為了解決這些問題，百度的思考是盡量畫一條直線，讓開發(fā)者與行業(yè)可以不走彎路，以最高效率直接抵達大模型的內(nèi)在價值。

這條直線，需要包含工具集成性、技術(shù)豐富性、行業(yè)路徑完善性等等價值。只有把這些能力合而為一，才能實現(xiàn)將化繁為簡的目標(biāo)。面向大模型的產(chǎn)業(yè)需求、應(yīng)用場景，不僅需要做到有模型、有工具，同時需要將大模型與深度學(xué)習(xí)平臺結(jié)合起來，滿足企業(yè)、開發(fā)者從算力到應(yīng)用的全流程需求。

為了更好幫助企業(yè)與開發(fā)者，實現(xiàn)從開發(fā)大模型到應(yīng)用大模型的全流程實踐，百度勾勒出了飛槳+文心，即深度學(xué)習(xí)平臺+大模型的產(chǎn)業(yè)路徑。二者結(jié)合，開發(fā)者可以獲得從算力、框架、模型庫，再到大模型調(diào)用、大模型行業(yè)化的所有能力，獲得了完善、穩(wěn)固的產(chǎn)業(yè)智能化基座。自然也就完成了從大模型到產(chǎn)業(yè)的最短距離直達。

為了與文心大模型一道構(gòu)建產(chǎn)業(yè)智能化基座，飛槳也進行了一系列升級。最新發(fā)布的飛槳核心框架2.4版本，就著重對大模型開發(fā)進行了一系列功能的支持，以及面向大模型推理部署需求提供了一系列模型封裝能力，并且提供簡單易用的模型開發(fā)工具。飛槳企業(yè)版AI開發(fā)平臺EasyDL和BML也圍繞大模型的技術(shù)應(yīng)用進行了全新升級，在業(yè)界首發(fā)端到端大模型開發(fā)套件PaddleFleetX。發(fā)布了提供全流程開箱即用的大模型平臺能力，加速大模型的產(chǎn)業(yè)落地。

至此，我們可以看到百度在搭建飛槳+文心產(chǎn)業(yè)基座，賦能大模型開發(fā)過程中的清晰思路：大模型并不僅僅是某種技術(shù)的創(chuàng)新，或者一個平臺的搭建。而是需要從最終用戶，最開發(fā)者與企業(yè)的應(yīng)用需求出發(fā)。一步步倒推需要哪些支持，每一個環(huán)節(jié)還有哪些阻礙？

只要將這些阻礙一個個解決掉，將支持一個個搭建好，將所有復(fù)雜且具有挑戰(zhàn)的事先行完成，那么開發(fā)者和企業(yè)最終就將得到最簡單、可用的大模型。大模型與產(chǎn)業(yè)之間，也就實現(xiàn)了兩點之間，直線最短的連接。

這就是百度式的大模型發(fā)展思路，這就是化繁為簡歸文心。

審核編輯黃昊宇