NVIDIA 宣布與 Intrinsic.ai 就工業(yè)機(jī)器人任務(wù)的基礎(chǔ)技能模型學(xué)習(xí)展開合作。

工業(yè)制造中的許多拾取和放置問題仍然由人類操作員解決，為這些任務(wù)而編程機(jī)器人仍具有挑戰(zhàn)性。例如，在機(jī)器維護(hù)環(huán)境中，作為復(fù)雜的多步驟零件制造過程的一部分，協(xié)作機(jī)器人可以用來從料倉中挑選原材料零件，并將其送入數(shù)控機(jī)床或彎曲機(jī)。

這類機(jī)器人可以使用基礎(chǔ)模型進(jìn)行編程，從而實現(xiàn)基礎(chǔ)模型在物體零件、機(jī)器人形態(tài)和現(xiàn)實世界的工業(yè)環(huán)境等方面顯著的通用性。

本文介紹了使用 NVIDIA Isaac Manipulator 生成抓取姿勢和機(jī)器人運動的工作流，首先在NVIDIA Isaac Sim中進(jìn)行仿真，然后在現(xiàn)實世界中使用 Intrinsic Flowstate 執(zhí)行。

感知也是通過 Flowstate 完成的，在 Flowstate 中，我們使用對象姿態(tài)估計包來獲得雜亂場景中可抓取對象的位置和方向。

在本文中，我們在一個具有挑戰(zhàn)性的智能取放應(yīng)用程序上演示了該系統(tǒng)：一個機(jī)器人在雜亂的垃圾箱中抓取金屬零件，并以精確的放置姿勢將其區(qū)分。這些薄金屬片本身很難被感知，因為一般的深度相機(jī)難以處理鏡面，同時操作也有難度，因為需要使用吸盤夾具而不是手指。

用于抓取和運動生成的Isaac Manipulator

為了生成真空抓取的合成數(shù)據(jù)，我們使用了金屬片和吸盤的 CAD 模型。在仿真過程中，我們針對每個物體嘗試數(shù)千種抓取方式，并找到最優(yōu)的解決方案。

良好的吸盤需要密封并避免金屬板上出現(xiàn)的孔洞，我們還想避免金屬板在運輸過程中的晃動，這也是在仿真中需要確保的。

圖 1. Isaac Sim 中的抓握示例

在生成了一組密集的抓取姿勢后，我們使用物體姿勢信息將其轉(zhuǎn)換為機(jī)器人框架。然后，我們使用CUDA 加速運動生成庫 NVIDIA cuMotion（由 cuRobo 提供支持）生成無碰撞軌跡，以移動機(jī)器人并實現(xiàn)其中一個目標(biāo)抓取姿勢。

其中一些姿勢可能在運動學(xué)上無法實現(xiàn)，或者可能會發(fā)生碰撞，cuRobo 在規(guī)劃軌跡時會對這兩種情況進(jìn)行過濾。作為參考，cuRobo 可以在 NVIDIA RTX 40 系列顯卡上快速生成運動計劃，僅需 30 毫秒。

在 Isaac Sim 中進(jìn)行評估

我們首先在 Isaac Sim 中評估了工作流。仿真機(jī)器人來自配備有吸盤的定制 Kuka K10 機(jī)械臂的 CAD 文件。物體被隨機(jī)定位，以仿真現(xiàn)實世界中的垃圾箱揀選場景。

我們沒有使用物體檢測器，而是直接從仿真器中獲取物體姿態(tài)信息。我們利用了有關(guān)物體類型的地面實況信息，根據(jù)物體的初始姿態(tài)確定最佳可觸及抓手。

利用 Intrinsic Flowstate在現(xiàn)實世界執(zhí)行

我們的工作流直接從仿真轉(zhuǎn)移到現(xiàn)實世界中的工作單元。實際的硬件設(shè)置包括一個外部校準(zhǔn)的頂置多攝像頭系統(tǒng)和一個配備吸盤的 Kuka K10 機(jī)械臂。

使用 Intrinsic Flowstate 中的原生對象姿態(tài)估計包來檢測片狀金屬物體的位置。然后，使用 Isaac Manipulator 來計算對象的抓取位置，并計劃一個無碰撞的軌跡來執(zhí)行抓取任務(wù)。

最后，我們通過 Flowstate 中的位置控制器在機(jī)械臂上執(zhí)行該機(jī)器人軌跡?？偟膩碚f，在演示中實現(xiàn)了大約 8 秒/次拾取的循環(huán)時間。

展望未來

我們計劃將框架擴(kuò)展到更高級的智能拾放功能，例如機(jī)器維修。在這個例子中，機(jī)器人必須將抓取的物體精確地放置在某個位置或固定裝置上，以便機(jī)器進(jìn)行下游處理。