光輪智能借助NVIDIA Isaac Sim,通過 3D 生成與建模技術(shù)構(gòu)建高度逼真的虛擬場景,將現(xiàn)實世界的復(fù)雜場景抽象并轉(zhuǎn)化為高質(zhì)量的訓(xùn)練數(shù)據(jù)源,從而更有效地滿足模型的多樣化訓(xùn)練需求。
AI 正從以算法為中心向以數(shù)據(jù)為中心的時代演進(jìn)。高質(zhì)量且豐富的訓(xùn)練數(shù)據(jù),已成為推動創(chuàng)新的核心資源。特別是在具身智能應(yīng)用中,數(shù)據(jù)的稀缺極大限制了模型能力的提升和潛在應(yīng)用的拓展。傳統(tǒng)數(shù)據(jù)采集方式成本高昂、耗時漫長,例如谷歌的 RT1 和 RT2 項目共使用了 13 臺機(jī)器人,耗時 17 個月才完成數(shù)據(jù)收集,顯然難以支撐具身智能的發(fā)展需求。
因此,構(gòu)建數(shù)據(jù)金字塔已成為突破數(shù)據(jù)瓶頸的關(guān)鍵。數(shù)據(jù)金字塔的根基由海量的非結(jié)構(gòu)化網(wǎng)絡(luò)數(shù)據(jù)組成,頂端由采集成本高昂的少量真實數(shù)據(jù)構(gòu)成,有利于智能體高效且直接地進(jìn)行知識遷移。合成數(shù)據(jù)的加入填補了前兩者間的空缺,在采集成本、可泛化性與知識遷移方面擁有明顯優(yōu)勢。真實數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)與合成數(shù)據(jù)相互補充,共同構(gòu)建了具身智能體訓(xùn)練的堅實基礎(chǔ)。合成數(shù)據(jù)的引入不僅有效降低了數(shù)據(jù)采集成本,還通過高度擬真的物理模擬,提供了強(qiáng)大的泛化能力,為智能體在多樣化場景中的應(yīng)用打下基礎(chǔ)。
打造高質(zhì)量、可交互、可擴(kuò)展的
具身智能仿真資產(chǎn)庫與仿真訓(xùn)練平臺
具身智能的關(guān)鍵目標(biāo)之一是實現(xiàn)高度的通用性,使智能體能夠在復(fù)雜場景中靈活執(zhí)行多種任務(wù)。這種泛化能力的實現(xiàn)要求智能體具備對空間的深度認(rèn)知,包括實時理解與適應(yīng)環(huán)境中物體的位置、關(guān)系及動態(tài)變化。相較于傳統(tǒng)的任務(wù)特定型智能體,具身智能體必須在陌生環(huán)境中迅速識別并推理出空間結(jié)構(gòu)、時序事件及其相互關(guān)系,以有效適應(yīng)任務(wù)。
NVIDIA Isaac Sim 為光輪智能生產(chǎn)合成數(shù)據(jù)提供了強(qiáng)大支持。Isaac Sim 通過物理驅(qū)動的虛擬環(huán)境,支持智能體算法的設(shè)計、模擬與測試。借助NVIDIA PhysX 5高級 GPU 物理模擬技術(shù),平臺實現(xiàn)了實時光線和路徑追蹤的逼真效果,并通過 MDL 材料定義支持物理渲染,使開發(fā)者能夠基于通用場景描述(OpenUSD)構(gòu)建自定義模擬器,提供真實的物理反饋和高度還原的交互體驗。同時,平臺還支持多種開放標(biāo)準(zhǔn)和格式,如 USD、FBX、OBJ 等,便于用戶導(dǎo)入和導(dǎo)出不同的 3D 模型和場景。
光輪智能基于 Isaac Sim 構(gòu)建的合成數(shù)據(jù)解決方案,能夠高效提升具身智能公司的模型能力。光輪智能已積累了豐富的 OpenUSD 格式場景資產(chǎn),支持任務(wù)級、物體級、場景級的物理可交互資產(chǎn)、數(shù)據(jù)的可控生成與泛化,并基于驗證平臺進(jìn)行合成數(shù)據(jù)真實性和效用性的評測。
案例 1. 交互過程的物理參數(shù)隨機(jī)化與動態(tài)真實性
使用高質(zhì)量、可泛化的
合成數(shù)據(jù)助力模型性能提升
基于“Real2Sim2Real+Realism Validation”的核心技術(shù)棧,光輪智能推出基于 3D 混合渲染,具有物理真實、高度交互的合成數(shù)據(jù)產(chǎn)線及以數(shù)據(jù)為中心的端到端智能體算法解決方案。光輪智能旨在利用合成數(shù)據(jù)放大人類示范效用,通過閉環(huán)仿真加速 Self-play RL,加速具身智能落地。
光輪智能的仿真框架使用基于 3DGS 技術(shù)重建的場景,并通過場景資產(chǎn)的混合渲染,顯著提升了訓(xùn)練場景的泛化能力。同時,真實的物理引擎能提供準(zhǔn)確的反饋,助力模型實現(xiàn)更高效的知識遷移。高質(zhì)量的仿真框架支持光輪智能在模型訓(xùn)練方面積極創(chuàng)新,通過在仿真器中直接訓(xùn)練等方式,進(jìn)一步提升模型性能。
案例 2. 場景和物體元素的隨機(jī)泛化
案例 3. 3D 混合渲染用于具身智能模型訓(xùn)練與評測
光輪智能致力于為企業(yè)推動 AI 落地提供合成數(shù)據(jù)解決方案,重點從具身智能場景切入,結(jié)合生成式 AI 和仿真技術(shù),提供多模態(tài)、高質(zhì)量、可泛化、可擴(kuò)展、全鏈路的數(shù)據(jù),助力 AI 在真實世界部署,加速具身智能行業(yè)發(fā)展。
-
NVIDIA
+關(guān)注
關(guān)注
14文章
5078瀏覽量
103768 -
模型
+關(guān)注
關(guān)注
1文章
3329瀏覽量
49245 -
具身智能
+關(guān)注
關(guān)注
0文章
55瀏覽量
106
原文標(biāo)題:借助 NVIDIA Isaac Sim,光輪智能加速具身智能研發(fā)落地
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
NVIDIA宣布NVIDIA Isaac重要更新
NVIDIA推出Isaac GR00T Blueprint
堅米智能借助NVIDIA Isaac Lab加速四足機(jī)器人開發(fā)
NVIDIA通過加速AWS上的機(jī)器人仿真推進(jìn)物理AI的發(fā)展
博科測試IPO上市觀察:產(chǎn)品布局完善,可滿足多樣化檢測需求
NVIDIA助力Figure發(fā)布新一代對話式人形機(jī)器人
NVIDIA與學(xué)術(shù)研究人員聯(lián)合開發(fā)手術(shù)機(jī)器人
雙路設(shè)計,滿足光伏電站與充電樁多樣化計量需求——安科瑞丁佳雯
![雙路設(shè)計,<b class='flag-5'>滿足</b>光伏電站與充電樁<b class='flag-5'>多樣化</b>計量<b class='flag-5'>需求</b>——安科瑞丁佳雯](https://file1.elecfans.com/web2/M00/06/A8/wKgaombefiiACjWVAAEXCyssHfQ458.png)
NVIDIA助力提供多樣、靈活的模型選擇
NVIDIA Nemotron-4 340B模型幫助開發(fā)者生成合成訓(xùn)練數(shù)據(jù)
![<b class='flag-5'>NVIDIA</b> Nemotron-4 340B<b class='flag-5'>模型</b>幫助開發(fā)者生成合成<b class='flag-5'>訓(xùn)練</b>數(shù)據(jù)](https://file1.elecfans.com/web2/M00/05/86/wKgZombaqFaAYqNYAAEgri7KFqc769.jpg)
解析NVIDIA Isaac Sim 4.0的新功能
![解析<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> <b class='flag-5'>Sim</b> 4.0的新功能](https://file1.elecfans.com/web2/M00/05/85/wKgZombapzGAU-ptAALnL-vzYd4619.png)
DC/AC電源模塊:實現(xiàn)電力系統(tǒng)的多樣化應(yīng)用
![DC/AC電源模塊:實現(xiàn)電力系統(tǒng)的<b class='flag-5'>多樣化</b>應(yīng)用](https://file1.elecfans.com/web2/M00/C7/BB/wKgaomYM8nOAd5sVAAEu6Gd5cl8381.png)
評論