近日，ROSCon China 2024在上海圓滿落幕。作為全球機器人行業(yè)的重要盛會，為期兩天的活動吸引了眾多 ROS 社區(qū)行業(yè)專家、研究人員、開發(fā)者和機器人愛好者的參與，展示了全球機器人技術領域的最新成果與應用趨勢。

活動中，NVIDIA 通過技術分享，展示了 ROS 在機器人領域的最新進展與成果，充分體現(xiàn) ROS 技術在實際場景中的巨大潛力與創(chuàng)新活力。NVIDIA 特別帶來兩項重磅展示：NVIDIA Isaac Lab加速機器人學習、NVIDIA 機器人軟件棧助力工業(yè)無序揀選解決方案開發(fā)。這些技術突破將有助于推動下一波 AI 機器人技術發(fā)展。

NVIDIA Isaac Lab 加速機器人學習

機器人需要具備很強的適應能力，能夠隨時學習新的技能并適應周圍環(huán)境。但傳統(tǒng)的訓練方法會限制機器人將所學技能應用于新情況，常見的原因有感知與行動之間存在差距和難以將技能遷移到不同的情境中。

NVIDIA Isaac Lab 是一個適用于機器人學習的開源模塊化框架，該框架可以打破這些局限性。Isaac Lab 的模塊化高保真仿真適用于各種訓練環(huán)境，可提供模仿學習，強化學習和由 GPU 驅動的物理仿真的支持，為多樣的機器人具身提供了靈活的訓練方法。它能夠為各種訓練場景提供用戶友好的環(huán)境，幫助機器人制造商根據(jù)不斷變化的業(yè)務需求來增加或更新機器人技能。

NVIDIA 機器人軟件棧

助力工業(yè)無序揀選解決方案開發(fā)

NVIDIA Isaac Manipulator是由 NVIDIA 加速庫和 AI 模型組成的工作流，它為機械臂提供了一系列先進的運動生成和模塊化 AI 功能，以及各種強大的基礎模型和 GPU 加速庫。Isaac Manipulator 使開發(fā)者能夠將 AI 加速應用于機械臂或操作器，以便無縫感知、理解環(huán)境并與環(huán)境進行交互，可幫助機器人軟件開發(fā)者加速解決動態(tài)挑戰(zhàn)的解決方案，例如機器護理、高混合垃圾桶揀選、檢查和裝配任務。

Isaac Manipulator 還提供了一系列可定制的模塊化 AI 組件，包括各種強大的基礎模型、感知算法、運動規(guī)劃等，比如用于對以前未見過的物體進行 6D 位姿估計和追蹤的開創(chuàng)性基礎模型 FoundationPose，以及通過同時運行多個軌跡優(yōu)化來解決工業(yè)規(guī)模機器人運動規(guī)劃問題的 GPU 加速運動規(guī)劃器 cuMotion 等。

Isaac Manipulator 其基礎模型和加速庫可以作為獨立模塊集成，也可以作為整個工作流程集成到解決方案開發(fā)中。開發(fā)者可以將任何 Isaac Manipulator 庫或基礎模型集成到自己的軟件堆棧中，從而為自己的平臺提供加速性能和準確性。

NVIDIA Isaac ROS 3.2 新功能

即將發(fā)布的NVIDIA Isaac ROS 3.2也將引入一些新功能。NVIDIA Isaac ROS，基于開源的 ROS 2 軟件框架構建，是一套專為機器人開發(fā)設計的加速計算包和AI模型套件。即將發(fā)布的 3.2 版本在機器人感知、操作以及環(huán)境映射方面實現(xiàn)了顯著提升。

在 NVIDIA Isaac Manipulator方面，3.2 版本引入了多項重要改進。其中，新增的參考工作流將 FoundationPose 和 cuMotion 進行了集成，這將加速機器人拾取與放置以及對象追蹤管線的開發(fā)。這將為開發(fā)者提供更高效、可靠的解決方案，使得機器人能夠更快速、更準確地執(zhí)行各種復雜任務。

NVIDIA Isaac Perceptor也經(jīng)過了改進，加入了全新的視覺 SLAM 參考工作流、這一功能增強了機器人在動態(tài)環(huán)境中的自主導航能力。同時，多攝像頭檢測與 3D 重建功能也得到了顯著提升，將提高自主移動機器人（AMR）在倉庫等動態(tài)環(huán)境中的環(huán)境感知能力與性能。

在 ROSCon China 上與合作伙伴交流

兩天的活動中，ROS 社區(qū)成員與合作伙伴舉辦了多場技術分享、研討會、展臺演示等。NVIDIA 機器人解決方案架構師梁瀟和張瑞分別帶來主題為“NVIDIA Isaac Lab 加速機器人學習”以及“NVIDIA 機器人軟件棧助力工業(yè)無序揀選解決方案開發(fā)”的主題分享。

在 12 月 7 日上午以“擁抱智能時代：AI 與機器人技術的深度融合與落地實踐”為主題的技術分享中，NVIDIA 機器人解決方案架構師梁瀟帶來題為“NVIDIA Isaac Lab 加速機器人學習”的演講。NVIDIA Isaac Lab 是一個建立在 NVIDIA Isaac sim 和 NVIDIA Omniverse 平臺上的開源機器人學習框架。NVIDIA Omniverse 是一個用于開發(fā)適用于工業(yè)數(shù)字化和物理 AI 仿真的 OpenUSD 應用的平臺。

開發(fā)者可以使用 Isaac Lab 來大規(guī)模訓練機器人策略，這個開源的統(tǒng)一機器人學習框架適用于從人形機器人到四足機器人和協(xié)作機器人等各種具身，能夠處理日益復雜的動作和交互。

在 12 月 7 日下午以“ROS 技術前沿：探索機器人操作系統(tǒng)與應用的發(fā)展”為主題的技術分享中，NVIDIA 機器人解決方案架構師張瑞帶來題為“NVIDIA 機器人軟件棧助力工業(yè)無序揀選解決方案開發(fā)”的演講。NVIDIA Isaac Manipulator 是專為機械臂設計的一款綜合性 AI 解決方案，可為機械臂提供一系列先進的運動生成和模塊化 AI 功能，以及各種強大的基礎模型和 GPU 加速庫，以快速構建能夠無需訓練/zero-shot 感知、理解并與環(huán)境交互的機械臂，加速解決在動態(tài)環(huán)境下的挑戰(zhàn)。借助 NVIDIA Isaac Sim，開發(fā)者可以通過仿真，在多種環(huán)境和不同條件下對軟件堆棧進行練習，以確保機器人按照設計運行。

使用 NVIDIA Isaac 的合作伙伴

領先的機器人公司正在將 NVIDIA Isaac 加速庫和 AI 模型集成到他們的平臺中，活動中，眾多機器人生態(tài)合作伙伴，比如加速進化、宇樹科技、本末科技、瀝拓科技、逐際動力、米文動力等，展示了基于NVIDIA Jetson和Isaac Sim技術的創(chuàng)新機器人解決方案，引發(fā)現(xiàn)場觀眾的圍觀和討論。

ROSCon China 2024 的成功舉辦不僅標志著 ROS 技術在中國內地的深入落地，也進一步推動了全球機器人技術生態(tài)的交流與合作。NVIDIA 及其生態(tài)合作伙伴帶來的前沿技術和創(chuàng)新應用，充分展現(xiàn)了 ROS 技術在智能時代的巨大潛力。未來，隨著 ROS 技術的不斷發(fā)展與應用，機器人領域的更多可能性將被探索與實現(xiàn)，賦能行業(yè)邁向更加智能化與高效化的未來。