電子發(fā)燒友網(wǎng)報道（文/周凱揚）大語言模型的風(fēng)靡給AI應(yīng)用創(chuàng)造了不少機(jī)會，無論是效率還是創(chuàng)意上，大語言模型都帶來了前所未有的表現(xiàn)，這些大語言模型很快成為大型互聯(lián)網(wǎng)公司或者AI應(yīng)用公司的殺手級產(chǎn)品。然而在一些對實時性要求較高的應(yīng)用中，比如AI客服、實時數(shù)據(jù)分析等，大語言模型并沒有太大的優(yōu)勢。

在動輒萬億參數(shù)的LLM下，硬件需求已經(jīng)遭受了不小的挑戰(zhàn)。所以面對一些相對簡單的任務(wù)，規(guī)模較小的小語言模型（SLM）反而更加適合。尤其是在端側(cè)的本地AI模型，在低功耗算力有限的邊緣AI芯片支持下，小語言模型反而更適合發(fā)揮最高性能，而不是促使硬件一味地去追求更大規(guī)模模型的支持。

微軟Phi

2023年，微軟推出了一個基于Transformer架構(gòu)的小語言模型Phi-1，該模型只有13億參數(shù)，且主要專注于基礎(chǔ)的Python編程，實現(xiàn)文本轉(zhuǎn)代碼。整個模型僅僅用到8塊A100 GPU，耗時四天訓(xùn)練完成的。

這也充分說明了小語言模型的靈活性，在LLM普遍需要成百上千塊GPU，花費數(shù)十乃至上百天的時間完成模型的訓(xùn)練時，SLM卻只需要千分之一的資源，就可以針對特定的任務(wù)打造適合的模型。

近日，微軟對Phi模型進(jìn)行了全面更新，推出了Phi-3-mini、Phi-3-small和Phi-3-medium三個版本。其中Phi3-mini是一個38億參數(shù)的小語言模型，同步推出的Phi-3-small和Phi-3-medium分別為70億參數(shù)和140億參數(shù)的模型。

Phi-3-mini有支持4K和128K兩個上下文長度的版本，也是這個規(guī)模的模型中，第一個支持到最高128K上下文長度的版本，微軟聲稱其性能甚至超過不少70億參數(shù)的大模型。通過在搭載A16芯片的iPhone 14上測試，在純粹的設(shè)備端離線運行下，Phi-3-mini可以做到12 token每秒的速度。

谷歌Gemma

在Gemini模型獲得成功后，基于大語言模型框架Gemini，谷歌也開發(fā)了對應(yīng)的輕量小語言模型Gemma。Gemma分為20億參數(shù)和70億參數(shù)的版本，其中20億參數(shù)的Gemma可以在移動設(shè)備和筆記本電腦上運行，而70億參數(shù)的版本則可以擴(kuò)展至小型服務(wù)器上。雖然資源占用不高，但Gemma在各項基準(zhǔn)測試中，依然可以與更大規(guī)模的模型相媲美，比如130億參數(shù)的Llama-2等。

此外，谷歌不僅提供了預(yù)訓(xùn)練版本的Gemma，也支持通過額外的訓(xùn)練來實現(xiàn)模型調(diào)優(yōu)，用于修改Gemma模型的行為，提高其在特定任務(wù)上的表現(xiàn)，比如通過人類語言互動進(jìn)行訓(xùn)練，提高聊天機(jī)器人中響應(yīng)式對話輸入的表現(xiàn)等。

?
Gemma與Llama-2的性能對比/谷歌

在對運行設(shè)備的要求上，Gemma自然比不上大哥Gemini，但谷歌與英偉達(dá)合作，針對從數(shù)據(jù)中心到云端再到RTX AI PC的GPU都進(jìn)行了優(yōu)化，這樣一來不僅具有廣泛的跨設(shè)備兼容性，也能確保擴(kuò)展性和高性能的雙重優(yōu)勢。

寫在最后

小語言模型的出現(xiàn)為行業(yè)帶來了新的選擇，尤其是在大多數(shù)大模型應(yīng)用還是在不斷燒錢的當(dāng)下，小語言模型加速落地的同時，也提供了訓(xùn)練成本更低的解決方案。但與此同時，小語言模型的缺陷依然不可忽視，比如其規(guī)模注定了無法存儲足夠的“事實性知識”，其次這類小語言模型很難做到多語言支持。但我們必須認(rèn)清小語言模型的存在并不是為了替代大語言模型，而是提供一個更加靈活的模型方案。