NVIDIA 發(fā)布了 Isaac Manipulator 和 Isaac Perceptor 等一系列基礎(chǔ)模型、機(jī)器人工具和 GPU 加速庫(kù)。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在臺(tái)上向一萬(wàn)多名觀眾展示了用于人形機(jī)器人學(xué)習(xí)的通用基礎(chǔ)模型 Project GR00T（代表通用機(jī)器人 00 技術(shù)）。Project GR00T 利用 NVIDIA Isaac 機(jī)器人平臺(tái)的各種工具來(lái)創(chuàng)建用于人形機(jī)器人的 AI。

黃仁勛表示：“開發(fā)通用人形機(jī)器人基礎(chǔ)模型是當(dāng)今 AI 領(lǐng)域中最令人興奮的課題之一。世界各地的機(jī)器人技術(shù)領(lǐng)導(dǎo)者正在匯集各種賦能技術(shù)，致力于在人工通用機(jī)器人領(lǐng)域?qū)崿F(xiàn)突破?！?/p>

NVIDIA 還發(fā)布了一款基于 NVIDIA Thor 系統(tǒng)級(jí)芯片的新型人形機(jī)器人計(jì)算機(jī)和用于 NVIDIA Isaac 機(jī)器人平臺(tái)的全新工具，包括用于機(jī)器人學(xué)習(xí)的 Isaac Lab 和用于混合云工作流編排的 NVIDIA OSMO。這些工具對(duì) Project GR00T 和機(jī)器人基礎(chǔ)模型的開發(fā)至關(guān)重要。

推出適用于機(jī)械臂的 Isaac Manipulator

NVIDIA Isaac Manipulator 為機(jī)械臂提供了一系列先進(jìn)的運(yùn)動(dòng)生成和模塊化 AI 功能，以及各種強(qiáng)大的基礎(chǔ)模型和 GPU 加速庫(kù)。

機(jī)器人開發(fā)者可以使用專門為特定任務(wù)定制的軟件組件組合來(lái)感知周圍環(huán)境并與之交互，通過加速 AI 模型訓(xùn)練和任務(wù)編程，為動(dòng)態(tài)操縱任務(wù)構(gòu)建可擴(kuò)展和可重復(fù)的工作流。

NVIDIA 機(jī)器人技術(shù)和邊緣計(jì)算副總裁 Deepu Talla 表示：“將用于生成基礎(chǔ)模型的新工具整合到 Isaac 平臺(tái)中，可以加速開發(fā)出更加智能、靈活且通用于多種任務(wù)的機(jī)器人?！?/p>

眾多領(lǐng)先的機(jī)器人公司正在與 NVIDIA 合作，將 Isaac Manipulator 帶給他們的客戶，其中包括安川電機(jī)、Solomon、PickNik Robotics、READY Robotics、Franka Robotics 以及泰瑞達(dá)旗下子公司優(yōu)傲等。

安川電機(jī)總裁 Masahiro Ogawa 表示：“通過將 NVIDIA AI 工具和功能引入安川電機(jī)的自動(dòng)化解決方案，我們正在推動(dòng)機(jī)器人在各個(gè)行業(yè)的應(yīng)用，這將對(duì)各行各業(yè)產(chǎn)生重大的影響。”

NVIDIA 正在推出能夠增強(qiáng)現(xiàn)有機(jī)器人操作系統(tǒng)的基礎(chǔ)模型。這些模型將有助于開發(fā)能夠感知、適應(yīng)和重新編程的機(jī)器人，以適應(yīng)智能制造領(lǐng)域的各種環(huán)境和應(yīng)用，處理拾放任務(wù)、機(jī)器維護(hù)和裝配等。具體如下：

FoundationPose 是一個(gè)開創(chuàng)性的基礎(chǔ)模型，用于對(duì)以前未見過的物體進(jìn)行 6D 姿勢(shì)估計(jì)和追蹤。

cuMotion 利用 NVIDIA GPU 的并行處理能力，通過同時(shí)運(yùn)行多個(gè)軌跡優(yōu)化來(lái)提供最佳解決方案，從而解決工業(yè)規(guī)模的機(jī)器人運(yùn)動(dòng)規(guī)劃問題。

FoundationGrasp 是一種基于 transformer 的模型，可對(duì)未知 3D 物體進(jìn)行密集抓取預(yù)測(cè)。

SyntheticaDETR 是一種適用于室內(nèi)環(huán)境的對(duì)象檢測(cè)模型，可加快新對(duì)象的檢測(cè)、渲染和訓(xùn)練速度。

推出適用于自主移動(dòng)機(jī)器人視覺 AI 的 Isaac Perceptor

制造業(yè)和物流部門正在采用自主移動(dòng)機(jī)器人（AMR）以提高效率和更好地保護(hù)工人，同時(shí)降低錯(cuò)誤率和成本。

Isaac Perceptor 提供的多攝像頭 360 度視覺功能為 ArcBest、比亞迪和凱傲集團(tuán)等早期行業(yè)合作伙伴帶來(lái)先進(jìn)的視覺 AI，幫助他們安裝協(xié)助物料搬運(yùn)作業(yè)的 AMR 設(shè)備。

NVIDIA Nova Orin DevKit 由 NVIDIA 與 Segway Robotics 和 Leopard Imaging 合作開發(fā)，可幫助企業(yè)快速開發(fā)、評(píng)估和部署 Isaac Perceptor。

ArcBest 首席創(chuàng)新官、ArcBest Technologies 總裁 Michael Newcity 表示：“ArcBest正在與NVIDIA合作，將先進(jìn)的機(jī)器視覺技術(shù)引入物流領(lǐng)域。在我們的 Vaux Smart Autonomy AMR 叉車和前移式卡車中使用了 Isaac Perceptor 平臺(tái)，可以實(shí)現(xiàn)更好的感知、語(yǔ)義感知導(dǎo)航和 3D 映射，以便在倉(cāng)庫(kù)、配送中心和制造設(shè)施的物料搬運(yùn)過程中進(jìn)行障礙物檢測(cè)?！?/p>

適用于人形機(jī)器人開發(fā)的 Project GR00T 技驚四座

在 GTC 上展示的 GR00T 驅(qū)動(dòng)的人形機(jī)器人可以接受多模態(tài)指令——包括文本、視頻和演示——以及它們此前的交互，從而為機(jī)器人生成所需的動(dòng)作。GR00T 在 Agility Robotics、Apptronik、傅利葉智能和宇樹科技等四家公司的人形機(jī)器人上進(jìn)行了展示。

人形機(jī)器人是一套復(fù)雜的系統(tǒng)，需要異構(gòu)計(jì)算來(lái)滿足高頻低級(jí)控制、傳感器融合與感知、任務(wù)規(guī)劃和人機(jī)交互的需求。NVIDIA 最新發(fā)布了基于 NVIDIA Thor SoC 的全新人形機(jī)器人計(jì)算機(jī) Jetson Thor。

Jetson Thor 包括一個(gè)帶有 transformer engine 的下一代 GPU，其采用 NVIDIA Blackwell 架構(gòu)，可提供每秒 800 萬(wàn)億次8位浮點(diǎn)運(yùn)算 AI 性能，以運(yùn)行 GR00T 等多模態(tài)生成式 AI 模型。憑借集成的功能安全處理器、高性能 CPU 集群和 100GB 以太網(wǎng)帶寬，大大簡(jiǎn)化了設(shè)計(jì)和集成工作。

Project GR00T 使用提供給機(jī)器人開發(fā)者的 Isaac 工具來(lái)構(gòu)建和測(cè)試基礎(chǔ)模型，比如 Isaac Lab 和 OSMO 等。前者是一個(gè)全新輕量級(jí)仿真應(yīng)用，基于 Isaac Sim 而構(gòu)建，適用于大規(guī)模訓(xùn)練人形機(jī)器人模型；后者是一個(gè)用于管理訓(xùn)練和仿真工作負(fù)載的云工作流編排平臺(tái)。

利用 Isaac Lab 加速機(jī)器人學(xué)習(xí)

需要高級(jí)運(yùn)動(dòng)技能（無(wú)論是行走還是抓?。┑臋C(jī)器人都必須在仿真環(huán)境中運(yùn)用深度強(qiáng)化學(xué)習(xí)，并在虛擬環(huán)境中通過反復(fù)訓(xùn)練來(lái)學(xué)習(xí)技能。而當(dāng)模型遷移到真實(shí)的機(jī)器人部署中時(shí)，這個(gè)實(shí)用程序就會(huì)變得更加有用，Project GR00T 已經(jīng)證明了這一點(diǎn)。

作為 Isaac Gym 的后續(xù)產(chǎn)品，Isaac Lab 受益于 NVIDIA Omniverse 技術(shù)，用于基于物理信息、逼真且基于感知的強(qiáng)化學(xué)習(xí)任務(wù)。Isaac Lab 是一款性能優(yōu)化的開源機(jī)器人學(xué)習(xí)應(yīng)用，基于 Isaac Sim 平臺(tái)構(gòu)建而成，集成了強(qiáng)化學(xué)習(xí) API 和開發(fā)者友好的任務(wù)框架。

利用 NVIDIA OSMO 實(shí)現(xiàn)云原生機(jī)器人工作流調(diào)度

NVIDIA OSMO 可在分布式環(huán)境中擴(kuò)展工作負(fù)載。對(duì)于具有復(fù)雜的多階段和多容器工作流的機(jī)器人工作負(fù)載，該平臺(tái)提供與位置無(wú)關(guān)的部署選項(xiàng)，并為已部署的模型提供數(shù)據(jù)集管理和可追溯性功能。

波士頓動(dòng)力公司機(jī)器學(xué)習(xí)和感知負(fù)責(zé)人 Pat Marion 表示：“波士頓動(dòng)力公司采用了一系列機(jī)器學(xué)習(xí)、強(qiáng)化學(xué)習(xí)和 AI 技術(shù)賦能機(jī)器人。為了有效管理龐大的訓(xùn)練工作量，我們正在使用 NVIDIA OSMO。這款基礎(chǔ)設(shè)施解決方案可以讓機(jī)器學(xué)習(xí)工程師精簡(jiǎn)工作流程，讓他們運(yùn)用專業(yè)知識(shí)去解決更為棘手的機(jī)器人問題?！?/p>

例如，OSMO 可在 NVIDIA DGX 和 NVIDIA OVX 服務(wù)器上并行運(yùn)行模型，幫助模型完成訓(xùn)練，并在仿真環(huán)境中實(shí)時(shí)強(qiáng)化學(xué)習(xí)，通過這種方式為 GR00T 提供支持。這一工作負(fù)載包括在循環(huán)中迭代生成和訓(xùn)練模型。OSMO 能夠在分布式環(huán)境中管理和調(diào)度工作負(fù)載，實(shí)現(xiàn) DGX 與 OVX 系統(tǒng)的無(wú)縫協(xié)調(diào)，從而實(shí)現(xiàn)高效和迭代的模型開發(fā)。一旦模型可以進(jìn)行測(cè)試和驗(yàn)證，OSMO 就能在 OVX（x86-64）上獨(dú)特地編排軟件在環(huán)工作流，并利用 NVIDIA Jetson（aarch64）計(jì)算資源編排硬件在環(huán)工作流。

支持 ROS 開發(fā)者生態(tài)系統(tǒng)

NVIDIA 以創(chuàng)始成員兼白金贊助商的身份加入了開源機(jī)器人聯(lián)盟（OSRA）。OSRA 是開源機(jī)器人基金會(huì)的一項(xiàng)新舉措，旨在通過支持包括機(jī)器人操作系統(tǒng)（ROS）在內(nèi)的多個(gè)開源機(jī)器人項(xiàng)目，促進(jìn)機(jī)器人社區(qū)的合作、創(chuàng)新和技術(shù)指導(dǎo)。

Open Robotics 首席執(zhí)行官 Vanessa Yamzon Orsi 表示：“隨著自主機(jī)器人能力的日益提升，業(yè)界越來(lái)越需要更加強(qiáng)大且節(jié)能的板載計(jì)算。ROS 社區(qū)正在親身體驗(yàn)這種需求，我們的用戶正在越來(lái)越多地使用 NVIDIA 等行業(yè)領(lǐng)導(dǎo)者提供的先進(jìn)加速計(jì)算硬件。”

NVIDIA Isaac Perceptor 與 Nova Orin 評(píng)估套件、Isaac Manipulator、Isaac Lab 以及 OSMO 將于今年第二季度提供給客戶和合作伙伴。了解更多關(guān)于 Project GR00T 的信息。

審核編輯 黃宇