NVIDIA Jetson Orin Nano Super 開發(fā)者套件的推出開創(chuàng)了小型邊緣設(shè)備生成式 AI 的新時代。全新的 Super 模式為生成式 AI 性能帶來了空前的提升，最多可提升至 1.7 倍，使其成為高性價比的生成式 AI 超級計算機。

JetPack 6.2 現(xiàn)已支持 Jetson Orin Nano 和 Jetson Orin NX 生產(chǎn)模組通過 Super 模式實現(xiàn)性能升級，最多可將生成式 AI 性能提升至 2 倍。現(xiàn)在，您可以為新的和現(xiàn)有的機器人和邊緣 AI 應(yīng)用釋放更多價值并降低總體擁有成本。

本文將詳細介紹 Super 模式的詳細信息，包括新的功率模式、Jetson Orin Nano 和 Orin NX 模組上常用生成式 AI 模型的基準性能、文檔更新情況以及支持 Super 開發(fā)者套件的 NPN 合作伙伴。

Jetson Orin Nano 和Jetson Orin NX 系列的新參考功率模式

JetPack 6.2 通過在 GPU、DLA 內(nèi)存和 CPU 時鐘上解鎖更高的頻率，提升 Jetson Orin Nano 和 Jetson Orin NX 系列的功耗。

表 1. Jetson Orin Nano 和 Jetson Orin NX 模組的新參考功率模式

Jetson Orin Nano 模組現(xiàn)在有 25W 模式和無功率上限的全新 MAXN SUPER 模式。同樣，Jetson Orin NX 模組現(xiàn)在可以使用新的 40W 參考功率模式以及無功率上限的 MAXN SUPER 模式。

MAXN SUPER 是一種無功率上限的功率模式，所支持的 CPU、GPU、DLA、PVA 和 SOC 引擎核數(shù)量和時鐘頻率最高。在該模式下，如果模組總功率超過熱設(shè)計功率（TDP）上限，系統(tǒng)會將模組調(diào)低頻率，通過降低性能將功率控制在熱上限內(nèi)。

我們強烈建議您建立自己的自定義功率模式，以便在功耗或熱穩(wěn)定性與性能之間找到適合您的應(yīng)用和需求的合適平衡點。

表 2 比較了 Jetson Orin Nano 4GB 和 8GB 以及 Jetson Orin NX 8GB 和 16GB 在原始模式和 Super 模式下的詳細規(guī)格。

表 2. Jetson Orin Nano 和 Jetson Orin NX 在原始模式和 Super 模式下的規(guī)格

在使用新的功率模式時，請確保產(chǎn)品當前或新的熱設(shè)計能夠適應(yīng)功率模式的新規(guī)格。

最新功耗估算器工具

功耗估算器工具是 NVIDIA 提供的一個功能強大的工具，它可通過修改系統(tǒng)參數(shù)（例如 GPU、CPU、DLA 等的核數(shù)、最高頻率和負載水平）創(chuàng)建自定義功耗配置文件和 nvpmodel 配置文件。該工具能夠估算各種設(shè)置下的功耗，在需要平衡性能和功耗時可用于創(chuàng)建滿足需求的最佳參數(shù)設(shè)置。

我們已在功耗估算器工具中增加了 Super 模式。我們強烈建議您在部署高性能應(yīng)用之前使用功耗估算器工具并進行實際驗證。

常用生成式 AI 模型的性能提升情況

在通過 JetPack 6.2 引入 Super 模式后，Jetson Orin Nano 和 Jetson Orin NX 模組的推理性能最多可提升至 2 倍。我們對最常用的大語言模型（LLM）、視覺語言模型（VLM）和視覺轉(zhuǎn)換器（ViT）進行了基準測試。

大語言模型

下圖和表格顯示了 Llama3.1 8B、Qwen2.5 7B 和 Gemma2 2B 等常用 LLM 在 Super 模式下的性能基準。

圖 1. 使用 Super 模式時的 LLM 性能提升情況

DNR 表示模組內(nèi)存不足以運行特定模型。模型性能會受到節(jié)流行為的影響。

下表中的 LLM 生成性能（每秒 token 數(shù)）使用 MLC API 進行 INT4 量化后測量得出。

表 3 顯示了JetPack 6.2 為 Jetson Orin Nano 4GB 上的 LLM 所帶來的性能提升。

表 3. Jetson Orin Nano 4GB 上常用 LLM 的基準性能（token/秒）

表 4 顯示了 JetPack 6.2 為 Jetson Orin Nano 8GB 上的 LLM 所帶來的性能提升。

表 4. Jetson Orin Nano 8GB 上常用 LLM 的基準性能（token/秒）

表 5 顯示了 JetPack 6.2 為 Jetson Orin NX 8GB 上的 LLM 所帶來的性能提升。

表 5. Jetson Orin NX 8GB 上常用 LLM 的基準性能（token/秒）

表 6 顯示了 JetPack 6.2 為 Jetson Orin NX 16GB 上的 LLM 所帶來的性能提升。

表 6. Jetson Orin NX 16GB 上常用 LLM 的基準性能（token/秒）

視覺語言模型

下圖和表格顯示了 VILA1.5 8B、LLAVA1.6 7B 和 Qwen2 VL 2B 等常用 VLM 在 Super 模式下的性能基準。

圖 2. 使用 Super 模式運行時的 VLM 性能提升情況

DNR 表示模組內(nèi)存不足以運行特定模型。模型性能會受到節(jié)流行為的影響。

表 7 顯示了 JetPack 6.2 為 Jetson Orin Nano 4GB 上的 VLM 所帶來的性能提升。

表 7. Jetson Orin Nano 4GB 上常用 VLM 的基準性能（token/秒）

表 8 顯示了 JetPack 6.2 為 Jetson Orin Nano 8GB 上的 VLM 所帶來的性能提升。

表 8. Jetson Orin Nano 8GB 上常用 VLM 的基準性能（token/秒）

表 9 顯示了 JetPack 6.2 為 Jetson Orin NX 8GB 上的VLM所帶來的性能提升。

表 9. Jetson Orin NX 8GB 上常用 VLM 的基準性能（token/秒）

表 10 顯示了 JetPack 6.2 為 Jetson Orin NX 16GB 上的 VLM 所帶來的性能提升。

表 10. Jetson Orin NX 16 GB 上常用 VLM 的基準性能（token/秒）

所有 VILA 和 LLAVA 模型均使用 MLC 以 INT4 精度運行，其余模型使用 Hugging Face Transformer 以 FP4 精度運行。

視覺 Transformer

下圖和表格顯示了 CLIP、DINO 和 SAM2 等常用 ViT 在 Super 模式下的性能基準。

圖 3. 使用 Super 模式運行時的 ViT 性能提升情況

DNR 表示模組上的內(nèi)存不足以運行特定模型。模型性能會受到節(jié)流行為的影響。

表 11 顯示了 JetPack 6.2 為 Jetson Orin Nano 4GB 上的 ViT 所帶來的性能提升。

表 11. Jetson Orin Nano 4GB 上常用 ViT 的基準性能（token/秒）

表 12 顯示了 JetPack 6.2 為 Jetson Orin Nano 8GB 上的 ViT 所帶來的性能提升。

表 12. Jetson Orin Nano 8GB 上常用 ViT 的基準性能（token/秒）

表 13 顯示了 JetPack 6.2 為 Jetson Orin NX 8GB 上的 ViT 所帶來的性能提升。

表 13. Jetson Orin NX 8GB 上常用 ViT 的基準性能（token/秒）

表 14 顯示了 JetPack 6.2 為 Jetson Orin NX 16GB 上的 ViT 所帶來的性能提升。

表 14. Jetson Orin NX 16GB 上常用 ViT 的基準性能（token/秒）

所有 ViT 模型均使用 NVIDIA TensorRT 以 FP16 精度運行，測量單位為 FPS。

開始使用搭載 JetPack 6.2 的NVIDIA Jetson Orin Nano和 Jetson Orin NX

NVIDIA Jetson 生態(tài)系統(tǒng)提供了多種使用 JetPack 鏡像刷寫開發(fā)者套件和生產(chǎn)模組的方式。

可使用以下任何一種方法在 Jetson Orin Nano 開發(fā)者套件或模組上安裝 JetPack 6.2：

從 JetPack SDK 頁面獲得 SD 卡鏡像：

https://developer.nvidia.com/embedded/jetpack

根據(jù)下載和安裝說明，對 SDK Manager 進行刷寫：

https://developer.nvidia.com/sdk-manager

根據(jù)刷寫支持，刷寫 bootloader、kernel 和 root file system 的腳本：

https://docs.nvidia.com/jetson/archives/r36.4.3/DeveloperGuide/SD/FlashingSupport.html#flashing-support

新的刷寫配置

新功率模式僅適用于新的刷寫配置。默認刷寫配置沒有改變。如要啟用新功率模式，您必須在刷寫時使用新的刷寫配置。

下面是進行刷寫時使用的新的刷寫配置：

刷寫或更新到 JetPack 6.2 后，運行以下命令以啟動新提供的 Super 模式。

在 Jetson Orin Nano 模組上啟動 MAXN SUPER 模式：

在 Jetson Orin NX 模組上啟動 MAXN SUPER 模式：

您還可以從頁面右上角的功率模式菜單中選擇 MAXN SUPER 和其他功率模式。

圖 4. 功率模式選擇菜單

Jetson AI Lab

Jetson AI 實驗室是 NVIDIA 探索和試驗針對邊緣設(shè)備優(yōu)化的生成式 AI 技術(shù)的中心。它為開發(fā)者提供支持并為合作社區(qū)提供近 50 種教程、預(yù)構(gòu)建容器和資源，幫助社區(qū)使用經(jīng)過優(yōu)化的推理基礎(chǔ)設(shè)施部署設(shè)備端 LLM、SLM、VLM、擴散策略和語音模型。

通過簡化前沿 AI 工具的訪問途徑，該實驗室使各級別的開發(fā)者都能在本地進行創(chuàng)新和部署生成式 AI，從而推動開源邊緣 AI 和機器人學(xué)習的發(fā)展。

Jetson 生態(tài)系統(tǒng)合作伙伴為 Super 模式做好準備

為了幫助客戶進行部署，Jetson 生態(tài)系統(tǒng)合作伙伴已通過增強自己的解決方案，支持這一輪性能提升。

NVIDIA Jetson Orin生命周期和路線圖

由于客戶對 Jetson Orin 的需求不斷增長，NVIDIA 最近宣布將 Jetson Orin 的產(chǎn)品生命周期延長至 2032 年。經(jīng)過這次的性能提升，Jetson Orin Nano 和 Orin NX 系列已成為當前和未來模型的理想平臺。

即將發(fā)布的 JetPack 5.1.5 也將支持 Jetson Orin NX 和 Jetson Orin Nano 模組的 Super 模式。使用 JetPack 5 進行開發(fā)的開發(fā)者和客戶將從性能提升中受益。

圖 5.JetPack 軟件路線圖

使用 JetPack 6.2提升應(yīng)用性能

JetPack 6.2 是一個突破性的版本，它可在現(xiàn)有 Jetson 模組上實現(xiàn)驚人的 2 倍推理性能提升，且不會增加任何成本。對于希望提升應(yīng)用性能的 Jetson 開發(fā)者和客戶而言，此次升級必不可少?，F(xiàn)在就升級到 JetPack 6.2，充分釋放 Jetson 平臺的潛力。