2025年伊始，硅谷頂級風投A16z最近發(fā)表了一篇名為《2025 Big ldeas in Tech》的文章，通過對其50位合伙人進行了采訪，得出了50個對科技趨勢發(fā)展的判斷，其中有22個方向與AI有關(guān)。

其中部分技術(shù)方向和更是與嵌入式AI緊密關(guān)聯(lián)，其中包括:

1. 實時AI，應用開發(fā)的下一個重要方向；

2. AI將開始主導決策環(huán)節(jié)；

3. 端側(cè)AI開始崛起；

4. AI將與所有的電子硬件融合；

這些方向清晰的表明了一個變化：即AI主導決策以及AI與電子硬件融合等技術(shù)的出現(xiàn)，必將導致嵌入式系統(tǒng)的應用和開發(fā)將會以一種全新的方式出現(xiàn)在所有開發(fā)者面前。回想過去的一年，人工智能領域除了大模型，最火的詞莫過于具身智能，這標志著AI正在從以思維價值為主導的人工智能轉(zhuǎn)變?yōu)榕c物理世界交互為主導的人工智能體。此外，人工智能領域的標志企業(yè)Open AI在2024年末推出的o3模型，在數(shù)學、代碼、軟件工程等領域再一次取得了突破性的進展，其在代碼領域的成績已經(jīng)躋身全球前200名。這意味著在不遠的未來，以Chatgpt-o3為代表的新一代編程模型，將在眾多的編程環(huán)境中取代當前人類的工作。在這樣一個背景下，對于傳統(tǒng)的嵌入式開發(fā)人員，我們也必須要與時俱進，深刻的認識到在大模型驅(qū)動嵌入式軟件開發(fā)的新時代，軟件任務邏輯和驅(qū)動分離的設計思想必將成為未來嵌入式系統(tǒng)開發(fā)的主流道路。RT-Thread作為一款為人熟知的國產(chǎn)實時操作系統(tǒng)，在嵌入式領域一直是國產(chǎn)開源軟件中旗幟性的存在。近年來，我們在嵌入式系統(tǒng)和AI結(jié)合的領域不斷探索和嘗試，希望能夠找到一個切實符合嵌入式系統(tǒng)走的AI路線。借助2024年的開發(fā)者大會，RT-Thread AI針對LLM在RT-Thread OS中的應用探索，進行了詳細討論，希望能夠給廣大開發(fā)者以啟發(fā)，下面是報告原文。

經(jīng)過多年在嵌入式領域的深耕，RT-Thread OS在系統(tǒng)內(nèi)核、組件以及軟件包三個維度為廣大開發(fā)者提供了數(shù)以千計的API，這些API在傳統(tǒng)的嵌入式軟件開發(fā)階段有力的支持了應用開發(fā)過程，節(jié)約了大量的開發(fā)時間，縮短了開發(fā)周期，這也是RT-Thread OS一直長青的根本原因。但是進入到大模型驅(qū)動嵌入式軟件開發(fā)時代，這些API又將會起到怎樣的作用呢？我們繼續(xù)向下看。

下面PPT左側(cè)圖片是經(jīng)典的大模型應用場景，這個例子是將法語翻譯為英語。那么我們也可以依次類比，如果我們想要RT-Thread OS聽懂我們的人類的話，我們需要將人類的自然語言翻譯成什么呢？很明顯，在這個過程中，傳統(tǒng)的API就變成了RT-Thread OS所認識的“詞匯”了。如果我們能夠?qū)⑽覀兊淖匀徽Z言翻譯成一個個API，那么我們就可以通過對話的形式控制RT-Thread OS了。也就是說：對于RT-Thread OS來說，代碼就是人和RT-Thread OS交流的語言，而API則是其中的“詞匯”。也就是說如果LLM掌握了所有的RT-Thread API，那么也就可以搭建起人和RT-Thread OS溝通的橋梁。

基于這樣的一個思想，我們可以想象，隨著LLM在編程能力上不斷超越人類代碼能力，我們必須要掌握邏輯和驅(qū)動分離的程序設計思想。將邏輯部分交給LLM來實現(xiàn)，而僅提供軟硬件結(jié)合的部分，即和真實世界結(jié)合的驅(qū)動部分。就像下面這張PPT中所顯示的一樣，對于傳統(tǒng)的嵌入式軟件開發(fā)。我們從需求分析、任務拆解到最后的軟件驅(qū)動、軟件邏輯全部都由開發(fā)者完成。這樣整個程序按照程序員的設計固化在了硬件中，雖然程序可以準確執(zhí)行，卻喪失了軟件的靈活性。如果我們將整個軟件的邏輯部分全部交給LLM來在運行期完成，而僅僅提供控制硬件的驅(qū)動，那么整個軟件的靈活性則會大大提高。但是如果想完成這樣一個轉(zhuǎn)變，一個重要的步驟就是需要讓LLM知道，在現(xiàn)實的世界中，存在諸如rt_led_turnon這一類數(shù)以千計的RT-Thread API是真實存在的。

針對這一問題，RT-Thread AI團隊是從以下兩個方向入手來解決問題的。首先，我們整理了當前RT-Thread OS的大部分API，包括內(nèi)核層、組件層以及軟件包層面的，形成了非常龐大的知識庫/訓練集。然后我們針對當前開源LLM在嵌入式領域的應用，分析了開源模型的問題，其中內(nèi)存占用和算力需求時制約嵌入式端應用LLM的最大瓶頸。我們發(fā)現(xiàn)，對于一般人類交流，一個話題大概僅需500個字左右，而一個正常人的語速也僅在150-200字每分鐘，所以對于當前開源的大模型，其最大序列長度對于嵌入式都是十分浪費且不別要的。此外，我們也發(fā)現(xiàn)對于嵌入式場景，90%以上的嵌入式設備都是指令式的，即聽從人類指揮完成相應任務，而不需要進行復雜而繁瑣的對話。而不到10%的嵌入式設備才需要對話，而進對于這種設備，我們才需要較長的最大序列長度來保證上下文對話的連續(xù)性。

對于我們RT-Thread OS應用的絕大多數(shù)場景，我們更希望設計一種更適合嵌入式系統(tǒng)的LLM，即Embedded GPT，而這種GPT實際上更多（90%以上嵌入式場景）是指令式，而不是對話式的需求。我們在這一部分已經(jīng)形成了兩部分路線。一種是在開源模型基礎上進行微調(diào)，同時通過RAG的方式來補足API的快速更新。但是這種方式存在模型推理幻覺、計算量內(nèi)存占用過大等方面的缺陷。而在另一種路線，我們已經(jīng)開發(fā)了一個新的更適合嵌入式系統(tǒng)的GPT，即Embedded GPT，這個系統(tǒng)參數(shù)規(guī)模約500M，max_position_embeddings為1024，該模型在綜合的效果上，已經(jīng)完全滿足嵌入式系統(tǒng)需求中的絕大場景。我們擅長嵌入式API數(shù)據(jù)集的收集和整理，大模型公司在最前沿的模型架構(gòu)和訓練算力方面的有領先優(yōu)勢，我們非常期待在這個極其富有想象力的領域建立市場合作，創(chuàng)造共贏。

最后，我們基于軟件任務邏輯和驅(qū)動分離的設計思想，在我們的語音小車上完成了幾個從簡單到復雜的指令控制，整個過程中，我們將小車控制的最基礎API交給了大模型，讓大模型知道在真實世界中，通過以下幾個API就可以控制小車執(zhí)行諸如“前進”、“后退”、“左轉(zhuǎn)”、“右轉(zhuǎn)”等指令。然后在運行期，我們通過對話的方式，指揮小車進行“順時針旋轉(zhuǎn)”、“開啟雷達導航”等動作，最終實現(xiàn)小車控制的靈活性。這樣的一種開發(fā)新范式，最終會從根本上改變嵌入式軟件開發(fā)的模式，在減輕嵌入式軟件開發(fā)工程師工作負擔的同時，還極大的增加了軟件控制的靈活性，將大模型的能力發(fā)揮到極致。

最后我們也介紹了當前RT-Thread OS在嵌入式AI領域所提供的強有力的系統(tǒng)支持，包括虛擬化、異構(gòu)等多種可以選擇的端側(cè)、邊緣側(cè)AI部署方案，將大模型從云端部署到端側(cè)部署一網(wǎng)打盡?？梢栽诒姸嗉刃枰獙崟r性又需要智能化的場景，為廣大的開發(fā)者提供強有力的支持。