一場屬于開發(fā)者的技術(shù)盛宴“AI大模型：顛覆式創(chuàng)新與落地實(shí)踐”在上海模速空間完美收官，為所有參與者留下了深刻印象與滿滿收獲。

活動(dòng)當(dāng)天，來自零一萬物、英特爾、未來速度科技、映云科技、儀酷智能、波爾鴨、研揚(yáng)科技、億琪軟件、云錦微等眾多行業(yè)翹楚的專家和創(chuàng)始人，不僅分享了大模型領(lǐng)域的最新研究成果，更展示了落地實(shí)踐的生動(dòng)案例，激發(fā)了現(xiàn)場每一位開發(fā)者對(duì)未來技術(shù)應(yīng)用的無限遐想。

模速空間總經(jīng)理陳海慈先生作為場地方代表開場分享，模速空間是專注于大模型產(chǎn)業(yè)的生態(tài)創(chuàng)新社區(qū)，位于徐匯區(qū)，去年9月成立，已吸引70+家企業(yè)入駐，一、二期場地近2萬方載體投入使用，目標(biāo)建設(shè)10萬方大模型生態(tài)社區(qū)。社區(qū)提供強(qiáng)大算力支持、豐富語料資源、權(quán)威模型測試、充足資金對(duì)接及便利備案服務(wù)，包括超5000萬算力補(bǔ)貼、高質(zhì)量公共數(shù)據(jù)、200億人工智能母基金等，助力大模型產(chǎn)業(yè)高速發(fā)展。

零一萬物開源暨開發(fā)者生態(tài)總監(jiān)林旅強(qiáng)以脫口秀的形式展開了活動(dòng)的分享環(huán)節(jié)，講述自己從非技術(shù)背景轉(zhuǎn)型為開發(fā)者并投身AI領(lǐng)域的經(jīng)歷。轉(zhuǎn)型成功的關(guān)鍵在于個(gè)人興趣與動(dòng)力，而非恐懼，他鼓勵(lì)大家主動(dòng)培養(yǎng)愛好而非被動(dòng)跟隨趨勢(shì)。并分享了從自學(xué)Linux到建立博客、社區(qū)互動(dòng)，再到出版書籍的過程，強(qiáng)調(diào)輸出和參與開源項(xiàng)目、不斷練習(xí)的重要性。林旅強(qiáng)提及AI將模糊開發(fā)者與產(chǎn)品構(gòu)建者界限，使兩者更融合，認(rèn)為AI工具將降低代碼門檻，未來將幫助快速實(shí)現(xiàn)想法落地。

隨后，零一萬物開發(fā)者關(guān)系工程師在分享中深入解析了開源大模型現(xiàn)狀，指出大模型的核心在于詞匯概率預(yù)測，訓(xùn)練階段模型學(xué)習(xí)單詞出現(xiàn)概率，而微調(diào)優(yōu)劣構(gòu)架構(gòu)成對(duì)話則需監(jiān)督學(xué)習(xí)格式。探討了不同模型間性能差異因素，包括架構(gòu)、數(shù)據(jù)、訓(xùn)練科學(xué)、效率等，強(qiáng)調(diào)數(shù)據(jù)質(zhì)量至關(guān)重要。指出數(shù)據(jù)清洗的挑戰(zhàn)，提及數(shù)據(jù)來源與質(zhì)量把控。討論了模型訓(xùn)練集與對(duì)話學(xué)習(xí)中的問題，提及數(shù)據(jù)量與質(zhì)量平衡，指出Lima路線選擇質(zhì)量高于數(shù)量。分享了社區(qū)與開源對(duì)話數(shù)據(jù)集的缺乏，以及處理技術(shù)如蒸餾分餾的現(xiàn)狀，為聽眾提供了理解大模型學(xué)習(xí)和開源領(lǐng)域?qū)嵱弥改吓c挑戰(zhàn)的全面視角。

英特爾AI軟件布道師武卓博士分享了OpenVINO 2024.1版本的最新特性，強(qiáng)調(diào)了對(duì)AI模型推理加速和部署的優(yōu)化。OpenVINO 作為英特爾的開源工具，支持多種深度學(xué)習(xí)框架模型，包括最新的大模型，并能優(yōu)化和部署在各種設(shè)備上運(yùn)行。新版本增加了對(duì)大模型的支持，如Meta的模型，提高了現(xiàn)有模型的性能。從優(yōu)化角度，新版本引入混合量化技術(shù)，如針對(duì)特定模型，顯著壓縮同時(shí)保持圖像質(zhì)量，提升推理速度。部署方面，OpenVINO 支持神經(jīng)處理單元，新插件讓OpenVINO 在AI PC上運(yùn)行模型推理更高效。整體上，OpenVINO 2024.1展現(xiàn)了對(duì)AI大模型部署和優(yōu)化的強(qiáng)大支持，推動(dòng)了技術(shù)的應(yīng)用與實(shí)踐。

杭州未來速度科技有限公司聯(lián)合創(chuàng)始人兼CEO秦續(xù)業(yè)在分享中介紹了，聚焦于大模型時(shí)代背景下，特別是分布式推理平臺(tái)Xinference的作用和優(yōu)化。隨著大模型如GPT等的出現(xiàn)，模型愈發(fā)龐大，推理效率成為瓶頸。Xinference通過有效利用技術(shù)，如KV緩存機(jī)制，優(yōu)化存儲(chǔ)訪問，減少計(jì)算量，加速推理過程。提及Berkeley提出的分頁機(jī)制，動(dòng)態(tài)調(diào)整緩存管理，提高GPU利用率。討論了模型尺寸問題時(shí)，如GPT的巨型，推測性采樣技術(shù)可減少大模型調(diào)用頻次，提高吞吐量。整體分享展示了在面對(duì)大模型推理挑戰(zhàn)，如何通過技術(shù)創(chuàng)新和策略優(yōu)化，實(shí)現(xiàn)高效部署，推進(jìn)AI應(yīng)用落地。

EMQ社區(qū)布道師周子博與智擎信息創(chuàng)始人王曦在聯(lián)合分享中強(qiáng)調(diào)了AI技術(shù)落地實(shí)踐，特別是工業(yè)領(lǐng)域中大模型的應(yīng)用價(jià)值。他們提到，通過與EMQ合作，利用IoT系列產(chǎn)品，結(jié)合歷史數(shù)據(jù)與新模型預(yù)測維護(hù)設(shè)備異常，幫助企業(yè)提前發(fā)現(xiàn)潛在問題。企業(yè)庫產(chǎn)品集成內(nèi)部信息，加速查詢與知識(shí)獲取，輔助決策。案例中，EMQ與全球500強(qiáng)客戶采用該方案，整合設(shè)備數(shù)據(jù)、文檔等，提高分析效率，通過AI模型與歷史數(shù)據(jù)融合，實(shí)現(xiàn)更直觀、快速診斷與報(bào)告，助力生產(chǎn)優(yōu)化。分享突出了AI技術(shù)在實(shí)際場景中的應(yīng)用與效能，展示了模型如何提升工業(yè)智能分析與決策速度，優(yōu)化工作流程。

上海儀酷智能科技有限公司CEO王立奇在分享中介紹了LabVIEW與英特爾緊密合作，在AI領(lǐng)域特別是在工業(yè)自動(dòng)化與圖形化編程平臺(tái)上的應(yīng)用。他們開發(fā)的工具包，簡化了基于OpenVINO 的推理，使用戶無需安裝OpenVINO 即可在英特爾硬件上運(yùn)行模型，在CPU或顯卡上進(jìn)行推理。他們還推出了AI視覺工具包，支持各種視覺應(yīng)用，包括物體檢測、分割等，僅需圖形化編程就能快速部署，與英特爾緊密集成，無縫支持最新模型，如V5到V8，讓用戶直觀圖形化編程實(shí)現(xiàn)AI模型部署。通過這些工具，LabVIEW在工業(yè)界展現(xiàn)了AI技術(shù)的力量，加速自動(dòng)化項(xiàng)目的部署與創(chuàng)新。

上海波爾鴨人工智能科技有限公司CEO劉雅麗分享了關(guān)于AI應(yīng)用的挑戰(zhàn)與解決方案，特別是大型模型應(yīng)用的難點(diǎn)，包括高昂算力成本、數(shù)據(jù)獲取與隱私安全、技術(shù)瓶頸及人才短缺。她強(qiáng)調(diào)了AI Agent（智能體）在提升產(chǎn)品市場適應(yīng)性上的潛力，能進(jìn)行目標(biāo)導(dǎo)向的任務(wù)規(guī)劃與自我學(xué)習(xí)，實(shí)現(xiàn)類似甚至超越人類水平的服務(wù)，并提到多智能體協(xié)作是未來趨勢(shì)。劉雅麗還提及了她的實(shí)踐，通過AI Agent實(shí)現(xiàn)自動(dòng)化售前檢測，以及如何構(gòu)建AI產(chǎn)品并運(yùn)用黑客增長策略，關(guān)注用戶留存與獲取、裂變機(jī)制，最終考慮變現(xiàn)模式。并通過Samantha項(xiàng)目，展示了AI如何成為親密伙伴，強(qiáng)調(diào)了情感維度，展示了AI技術(shù)前沿探索與未來可能性，強(qiáng)調(diào)了在AI創(chuàng)業(yè)中優(yōu)化商業(yè)模式與用戶體驗(yàn)的重要性。

上海億琪軟件有限公司CEO褚建琪分享聚焦于邊緣計(jì)算領(lǐng)域的開源項(xiàng)目EdgeX Foundry，它作為一個(gè)開放、靈活的基礎(chǔ)設(shè)施，支持多硬件與軟件互關(guān)的框架，旨在促進(jìn)數(shù)據(jù)采集、處理與命令下發(fā)等邊緣端應(yīng)用。他提到了EdgeX Foundry與OpenVINO 的集成，為邊緣設(shè)備服務(wù)的AI推理提供了便利，并強(qiáng)調(diào)了數(shù)據(jù)匯聚與命令下發(fā)的重要性。褚建琪通過介紹EdgeX Foundry與OpenVINO 在邊緣計(jì)算中的應(yīng)用實(shí)例，旨在幫助企業(yè)或用戶更好地理解如何利用這些技術(shù)進(jìn)行數(shù)據(jù)處理、管理與控制，從而提升效率。分享突出了開源項(xiàng)目的核心優(yōu)勢(shì)與實(shí)踐中的靈活性，鼓勵(lì)技術(shù)集成與實(shí)際部署，提供了在邊緣計(jì)算方面的洞見地運(yùn)用新視角。

研揚(yáng)科技（蘇州）有限公司人工智能BDM徐林吉介紹了研揚(yáng)科技作為一家專注于制造業(yè)的實(shí)體企業(yè)在AI應(yīng)用上的探索，尤其是在邊緣計(jì)算領(lǐng)域的實(shí)踐與挑戰(zhàn)。AI大模型對(duì)硬件的需求日益增長，尤其是內(nèi)存與帶寬成為了限制因素，他強(qiáng)調(diào)模型部署時(shí)需要考慮的硬件配置。徐林吉分享了研揚(yáng)科技基于英特爾處理器的開發(fā)板載板的成功案例，盡管性能相對(duì)較低，但仍能部署3b模型，雖精度略降，顯示了模型部署的靈活性。他還討論了內(nèi)存與帶寬的平衡，以及FP精度對(duì)性能影響，提出在選擇硬件時(shí)的參考值。盡管大模型看似需要高性能設(shè)備，但通過策略優(yōu)化，即使是較低配置的硬件也能運(yùn)行，展示了大模型應(yīng)用的廣泛可能性?；顒?dòng)為制造業(yè)如何應(yīng)對(duì)大模型挑戰(zhàn)提供了硬件層面的洞見地策略與實(shí)際案例。

上海云錦微CTO周昌重點(diǎn)介紹了VT-Transformer框架，一個(gè)開源AI模型的計(jì)算生態(tài)，旨在簡化邊緣和端側(cè)推理的復(fù)雜性，解決AI在硬件多樣化環(huán)境中的部署難題。當(dāng)前主流開源框架中存在多層不同框架的代碼堆疊，加大了開發(fā)者負(fù)擔(dān)，特別是對(duì)邊緣和端側(cè)等受限算力的部署不友好。VT-Transformer精簡化小型化的策略，可以減少從模型到推理的步驟，通過萬行代碼直接高效操作，大幅簡化計(jì)算，使得在邊緣和端側(cè)的小型場景比如電線桿、房間等部署應(yīng)用大模型成為可能。同時(shí)，VT-Transformer支持多模態(tài)、混合模型、以及大小模型協(xié)同、云邊模型協(xié)同，一方面可以全面釋放模型的開放性，另一方面也可以全面實(shí)現(xiàn)芯片算力的國產(chǎn)化，支持多家國產(chǎn)硬件如海光、天數(shù)、愛芯等，充分考慮了與生態(tài)的兼容性，以滿足實(shí)際應(yīng)用的多樣化需求。他強(qiáng)調(diào)開源是核心，包括AI模型層、AI計(jì)算層都開源才能真正解決安全顧慮，避免出現(xiàn)不可控的黑盒。憑借聚焦精簡化小型化策略的VT-Transformer，解決計(jì)算，終將使AI在邊端廣泛應(yīng)用成為可能，用一種簡化與實(shí)用的技術(shù)路線，為開發(fā)者提供了一個(gè)更易用的路徑，可期有效推動(dòng)AI技術(shù)的產(chǎn)業(yè)落地。

活動(dòng)全程，開發(fā)者們積極互動(dòng)，Demo展區(qū)前人頭攢動(dòng)，共創(chuàng)AI未來的橋梁在此悄然搭建?；顒?dòng)雖已結(jié)束，但對(duì)AI大模型的熱情不減反增，開發(fā)者們帶著新知與靈感離開。再次感謝每一位參與者的熱情參與，相約下一次技術(shù)盛宴，期待下一站的精彩！