自 2021 年 10 月起，NVIDIA 和 Open Robotics 開(kāi)始合作并推出了兩項(xiàng)重要的改動(dòng)，現(xiàn)已發(fā)布在Humble ROS 2版本中，以提高提供硬件加速器的計(jì)算平臺(tái)的性能。

新的 ROS 2 Humble 硬件加速特性包括類(lèi)型適配和類(lèi)型協(xié)商。NVIDIA 已于 2022 年 6 月底發(fā)布 NVIDIA Isaac ROS 并推出一個(gè)實(shí)現(xiàn)類(lèi)型適配和類(lèi)型協(xié)商的軟件包。

這些對(duì)框架的補(bǔ)充雖然簡(jiǎn)單，但功能強(qiáng)大，并且能夠顯著提高性能。開(kāi)發(fā)人員希望將 AI / 機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)功能納入其基于 ROS 的應(yīng)用程序中。

Open Robotics 首席執(zhí)行官 Brian Gerkey 表示：“隨著 ROS 開(kāi)發(fā)人員向其機(jī)器人應(yīng)用程序添加更多的自主權(quán)，機(jī)器人上的計(jì)算機(jī)正變得更加強(qiáng)大。我們一直在努力改進(jìn) ROS 框架，以確保它能夠利用這些邊緣計(jì)算機(jī)中的高性能硬件資源?！?。

“我們與 NVIDIA 機(jī)器人團(tuán)隊(duì)密切合作，并且很高興在 Humble 版本中分享新功能（類(lèi)型適配和類(lèi)型協(xié)商），這將有助于整個(gè) ROS 社區(qū)去接受硬件加速。”

消除硬件加速的開(kāi)銷(xiāo)

類(lèi)型適配

硬件加速器通常需要不同的數(shù)據(jù)格式來(lái)提供最佳性能。類(lèi)型適配（REP-2007）現(xiàn)在可用于 ROS 節(jié)點(diǎn)，使其以更適合硬件的格式工作。處理管道可以使用自適應(yīng)類(lèi)型消除 CPU 和內(nèi)存加速器之間的內(nèi)存拷貝。不必要的內(nèi)存拷貝會(huì)消耗 CPU 計(jì)算、浪費(fèi)電力并降低性能，尤其是隨著圖像大小的增加。

類(lèi)型協(xié)商

另一個(gè)新的創(chuàng)新是類(lèi)型協(xié)商（REP-2009）。處理管道中的不同 ROS 節(jié)點(diǎn)可以公布其支持的類(lèi)型，以便選擇產(chǎn)生理想性能的格式。ROS 框架執(zhí)行此協(xié)商過(guò)程，并與不支持協(xié)商的遺留節(jié)點(diǎn)保持兼容性。

使用類(lèi)型適配和協(xié)商加速處理管道，讓硬件加速器零拷貝成為可能。這減少了軟件開(kāi)銷(xiāo)，并釋放了底層硬件的潛力。隨著機(jī)器人專家向 NVIDIA Jetson AGX Orin 等更強(qiáng)大的平臺(tái)遷移，他們可以期望實(shí)現(xiàn)更多硬件性能的提升。

這些改動(dòng)完全在 ROS 2 內(nèi)部完成，這確保了與現(xiàn)有工具、工作流和代碼庫(kù)的兼容性。

類(lèi)型適配和類(lèi)型協(xié)商已顯示出有希望的結(jié)果。在 ROS 2 Foxy 和 ROS 2 Humble 上運(yùn)行了一個(gè)由 ROS 節(jié)點(diǎn)圖組成的基準(zhǔn)測(cè)試，每個(gè)節(jié)點(diǎn)的計(jì)算量最小，因此我們可以觀察到底層框架的性能。我們?cè)贜VIDIAJetson AGX Xavier和新的NVIDIA Jetson AGX Orin運(yùn)行了這一基準(zhǔn)測(cè)試，我們觀察到 NVIDIA Jetson AGX Xavier 有 3 倍的提高，而 NVIDIA Jetson AGX Orin 有驚人的7 倍提高。

引入NVIDIA Issac用于ROS傳輸

NVIDIA 對(duì)類(lèi)型適配和協(xié)商的實(shí)現(xiàn)稱為NITROS。這些是由 Isaac ROS 硬件加速模塊（又稱為 GEMs）組成的 ROS 處理管道。這些管道在 Isaac ROS 開(kāi)發(fā)者預(yù)覽（DP）中提供，并且已于 2022 年 6 月底發(fā)布。NITROS 的首次發(fā)布將包括三條管道，計(jì)劃在今年晚些時(shí)候推出更多管道。

強(qiáng)大的新型GEMs輔助機(jī)器人感知

除了 NITROS 加速管道外，IsaacROS DP 版本還包含兩個(gè)新的基于 DNN 的 GEM，旨在幫助機(jī)器人專家完成常見(jiàn)的感知任務(wù)。

第一個(gè) GEM——ESS是用于立體相機(jī)視差預(yù)測(cè)的 DNN。該網(wǎng)絡(luò)為機(jī)器人應(yīng)用提供基于視覺(jué)的連續(xù)深度感知。

另一個(gè) GEM——Bi3D是用于基于視覺(jué)的障礙預(yù)測(cè)的 DNN ?；?NVIDIA Research 的開(kāi)創(chuàng)性工作，對(duì) DNN 進(jìn)行了改進(jìn)，以檢測(cè)自由空間，同時(shí)預(yù)測(cè)障礙物。該網(wǎng)絡(luò)可預(yù)測(cè)障礙物是否位于立體攝像頭的四個(gè)可編程鄰近區(qū)域之一。

Bi3D 經(jīng)過(guò)優(yōu)化，可在 NVIDIADLA 硬件上運(yùn)行。利用 DLA，可以同時(shí)保留 GPU 和 CPU 計(jì)算資源。

Bi3D 和 ESS 都經(jīng)過(guò)預(yù)訓(xùn)練，可應(yīng)用于使用合成和真實(shí)數(shù)據(jù)的機(jī)器人，并擬用于商業(yè)用途。這兩款新的Isaac ROS GEM加入了stereo_image_proc，這是此前發(fā)布的經(jīng)典計(jì)算機(jī)視覺(jué)立體深度視差程序，為立體相機(jī)深度感知提供了三種不同的、獨(dú)立的功能。

快速入門(mén)

ROS 開(kāi)發(fā)人員若有興趣將 NVIDIA AI 感知集成到其產(chǎn)品中，可以從今天開(kāi)始使用 Isaac ROS。

審核編輯：湯梓紅