VILA 是 NVIDIA 研究部門與麻省理工學(xué)院共同開發(fā)的高性能視覺語言模型系列。最大的模型約有 400 億參數(shù)，最小的模型約有 30 億參數(shù)，并且完全開源（包括模型檢查點(diǎn)、訓(xùn)練代碼和訓(xùn)練數(shù)據(jù)）。

本文將比較 VILA 與其他模型在提供邊緣 AI 2.0 方面的表現(xiàn)。

最初幾個(gè)版本的邊緣 AI 需要在邊緣設(shè)備上部署經(jīng)過壓縮的 AI 模型。該階段被稱為邊緣 AI 1.0，側(cè)重于特定任務(wù)模型，這種方法的挑戰(zhàn)在于需要用不同的數(shù)據(jù)集來訓(xùn)練不同的模型，而其中的負(fù)樣本難以采集，離群情況也很難處理。這一過程非常耗時(shí)，因此需要適應(yīng)性更強(qiáng)、通用性更好的 AI 解決方案。

邊緣 AI 2.0：生成式 AI 的興起

邊緣 AI 2.0 標(biāo)志著向增強(qiáng)泛化的轉(zhuǎn)變，由基礎(chǔ)視覺語言模型(VLM)提供支持。

VILA 等視覺語言模型具有驚人的多功能性，能夠理解復(fù)雜的指令并迅速適應(yīng)新場景，這種靈活性使其成為諸多應(yīng)用中的重要工具。它們可以優(yōu)化自動(dòng)駕駛汽車的決策，在物聯(lián)網(wǎng)和智能物聯(lián)網(wǎng)環(huán)境中創(chuàng)建個(gè)性化交互，進(jìn)行事件檢測，提升智能家居體驗(yàn)等。

VLM 的核心優(yōu)勢在于其在語言預(yù)訓(xùn)練過程中獲得的世界知識，以及用戶使用自然語言進(jìn)行查詢的能力。這就為由 AI 驅(qū)動(dòng)的智能相機(jī)提供了動(dòng)態(tài)處理能力，而無需對定制的視覺管道進(jìn)行硬編碼。

邊緣 VLM：

VILA 與 NVIDIA Jetson Orin

要實(shí)現(xiàn)邊緣 AI 2.0，VLM 必須具有高性能且易于部署。VILA 通過以下方式實(shí)現(xiàn)這兩點(diǎn)：

精心設(shè)計(jì)的訓(xùn)練管道和高質(zhì)量的混合數(shù)據(jù)

精度損失可忽略不計(jì)的 AWQ 4 位量化

圖 1. VILA 模型架構(gòu)和訓(xùn)練配方

VILA 是一種可將視覺信息引入大語言模型（LLM）的視覺語言模型。VILA 模型由視覺編碼器、LLM 和投影儀組成，可連接兩種模態(tài)的嵌入。為了充分利用功能強(qiáng)大的 LLM，VILA 使用視覺編碼器將圖像或視頻編碼為視覺 token，然后將這些視覺 token 作為外語輸入 LLM。這種設(shè)計(jì)可以處理任意數(shù)量的交錯(cuò)圖像-文本輸入。

VILA 的成功源于經(jīng)過增強(qiáng)的預(yù)訓(xùn)練配方。通過對視覺語言模型預(yù)訓(xùn)練選擇的深入研究，我們獲得了三個(gè)重要發(fā)現(xiàn)：

在預(yù)訓(xùn)練過程中凍結(jié) LLM 可以實(shí)現(xiàn)不錯(cuò)的零點(diǎn)性能，但缺乏語境學(xué)習(xí)能力，而這需要解凍 LLM；

交錯(cuò)的預(yù)訓(xùn)練數(shù)據(jù)是有益的，而單獨(dú)的圖像-文本對并不是最佳選擇；

在指令微調(diào)過程中，將純文本指令數(shù)據(jù)與圖像-文本數(shù)據(jù)重新混合，不僅能彌補(bǔ)純文本任務(wù)的不足，還能提高 VLM 任務(wù)的準(zhǔn)確性。

我們觀察到，該預(yù)訓(xùn)練過程解鎖了模型的幾項(xiàng)引人矚目的能力：

多圖像推理，盡管模型在 SFT 期間只能看到單個(gè)圖像-文本對（監(jiān)督微調(diào)）

更強(qiáng)的語境學(xué)習(xí)能力

增進(jìn)的世界知識

NVIDIA Jetson Orin 具有無與倫比的 AI 計(jì)算、大容量統(tǒng)一內(nèi)存和全面的 AI 軟件堆棧，是在高能效邊緣設(shè)備上部署 VILA 的完美平臺。Jetson Orin 能夠快速推理采用 transformer 架構(gòu)的任何生成式 AI 模型，在 MLPerf 基準(zhǔn)測試中展現(xiàn)出領(lǐng)先的邊緣性能。

AWQ 量化

為了在 Jetson Orin 上部署 VILA，我們集成了激活感知權(quán)重量化（AWQ）以實(shí)現(xiàn) 4 位量化。AWQ 使我們能夠?qū)?VILA 量化到精度損失可忽略不計(jì)的 4 位精度，這為 VLM 在保持性能標(biāo)準(zhǔn)的同時(shí)還能深入改變邊緣計(jì)算鋪平了道路。

盡管采用了 AWQ 等先進(jìn)技術(shù)，但在邊緣設(shè)備上部署大語言和視覺模型仍然是一項(xiàng)復(fù)雜的任務(wù)。4 位權(quán)重缺乏字節(jié)對齊，需要專門的計(jì)算才能達(dá)到最佳效率。

TinyChat 是專為邊緣設(shè)備上的 LLM 和 VLM 設(shè)計(jì)的高效推理框架。無論是 NVIDIA RTX 4070 筆記本電腦 GPU 還是 NVIDIA Jetson Orin，TinyChat 的適應(yīng)性使其能夠在各種硬件平臺上運(yùn)行，這引發(fā)了開源社區(qū)的極大興趣。

現(xiàn)在，TinyChat 擴(kuò)大了對 VILA 的支持，實(shí)現(xiàn)了對視覺數(shù)據(jù)的重要理解和推理。TinyChat 在結(jié)合文本和視覺處理方面具有出眾的效率和靈活性，使邊緣設(shè)備能夠執(zhí)行最前沿的多模態(tài)任務(wù)。

基準(zhǔn)測試

下表顯示了 VILA 1.5-3B 的基準(zhǔn)測試結(jié)果。就其規(guī)模而言，它在圖像質(zhì)量保證和視頻質(zhì)量保證基準(zhǔn)測試中均表現(xiàn)出色。您還可以看到，AWQ 4 位量化并沒有降低精度，而且通過與 Scaling on Scales (S2) 集成，它可以感知更高分辨率的圖像，并進(jìn)一步提高性能。

表 1. 模型在圖像質(zhì)量保證基準(zhǔn)測試中的

評估結(jié)果（量化前/后）

表 2. 模型在視頻質(zhì)量保證基準(zhǔn)測試中的評估結(jié)果

部署在 Jetson Orin 和 NVIDIA RTX 上

隨著攝像頭和視覺系統(tǒng)在現(xiàn)實(shí)環(huán)境中的應(yīng)用日益普及，在邊緣設(shè)備上推理 VILA 已成為一項(xiàng)重要的任務(wù)。根據(jù)模型的規(guī)模，從入門級 AI 到七種 Jetson Orin 高性能模塊，您都可以選擇，來靈活地為智能家居設(shè)備、醫(yī)療儀器、自主機(jī)器人和視頻分析構(gòu)建那些用戶可以動(dòng)態(tài)地重新配置和查詢的生成式 AI 應(yīng)用。

圖 3 顯示了在 Jetson AGX Orin 和 Jetson Orin Nano 上運(yùn)行 VILA 的端到端多模態(tài)管道性能，兩者都在視頻流上達(dá)到了交互速率。

圖 3. VILA 推理速度比較

這些基準(zhǔn)測試包含查詢 1 幀圖像的總體時(shí)間，包括視覺編碼（使用 CLIP 或 SigLIP）、多模態(tài)投影、聊天嵌入組裝、使用 4 位量化生成語言模型輸出等測試。VILA-1.5 模型包括一個(gè)新型適配器，可將用于表示每個(gè)圖像嵌入的 token 數(shù)從 729 個(gè)減少到 196 個(gè)，這不僅提高了性能，而且在視覺編碼器空間分辨率提高的情況下保持了準(zhǔn)確性。

這一高度優(yōu)化的 VLM 管道是開源的，并且集成了多模態(tài) RAG 和單樣本圖像標(biāo)記等先進(jìn)功能，能夠?qū)D像嵌入高效率地重復(fù)用于整個(gè)系統(tǒng)中的其他視覺相關(guān)任務(wù)。

圖 4. 在 Jetson Orin 上運(yùn)行的 VILA-3B（4 位）

在消費(fèi)級 GPU 上的體驗(yàn)

VILA 還可以部署在筆記本電腦和 PC 工作站上的 NVIDIA RTX 等消費(fèi)級 GPU 中，以提高用戶的工作效率和交互體驗(yàn)。

圖 5. 在 NVIDIA RTX 4090 上運(yùn)行的 VILA-3B（4 位）

多圖像推理

TinyChat 的最新版本使用了 VILA 令人印象深刻的多圖像推理功能，使您能夠同時(shí)上傳多張圖像來增強(qiáng)交互，帶來令人興奮的創(chuàng)新可能性。

圖 6 顯示 VILA 可以理解圖像序列的內(nèi)容和順序，為創(chuàng)造性應(yīng)用開辟了新途徑。

圖 6. VILA-3B（4 位）在多圖像理解方面的表現(xiàn)

語境學(xué)習(xí)

VILA 還具有出色的語境學(xué)習(xí)能力。無需明確的系統(tǒng)提示，VILA 就能從以前的圖像-文本對中無縫推理出模式，為新的圖像輸入生成相關(guān)文本。

在圖 7 中，VILA 成功識別了 NVIDIA 的徽標(biāo)，并按照之前示例的風(fēng)格輸出了 NVIDIA 最著名的產(chǎn)品。

圖 7. VILA-3B（4 位）在語境學(xué)習(xí)任務(wù)中的表現(xiàn)

開始使用 VILA

我們計(jì)劃繼續(xù)對 VILA 進(jìn)行創(chuàng)新，包括擴(kuò)展上下文長度、提高分辨率以及為視覺和語言對齊策劃更好的數(shù)據(jù)集。