摘要

? 大家好，今天為大家?guī)?lái)的文章是?Multi-modal Semantic SLAM for Complex Dynamic Environments 同時(shí)定位和建圖（SLAM）是許多現(xiàn)實(shí)世界機(jī)器人應(yīng)用中最重要的技術(shù)之一。靜態(tài)環(huán)境的假設(shè)在大多數(shù) SLAM 算法中很常見(jiàn)，但是對(duì)于大多數(shù)應(yīng)用程序來(lái)說(shuō)并非如此。最近關(guān)于語(yǔ)義 SLAM 的工作旨在通過(guò)執(zhí)行基于圖像的分割來(lái)理解環(huán)境中的對(duì)象并從場(chǎng)景上下文中區(qū)分動(dòng)態(tài)信息。然而，分割結(jié)果往往不完善或不完整，這會(huì)降低映射的質(zhì)量和定位的準(zhǔn)確性。在本文中，我們提出了一個(gè)強(qiáng)大的多模態(tài)語(yǔ)義框架來(lái)解決復(fù)雜和高度動(dòng)態(tài)環(huán)境中的 SLAM 問(wèn)題。我們建議學(xué)習(xí)更強(qiáng)大的對(duì)象特征表示，并將三思而后行的機(jī)制部署到主干網(wǎng)絡(luò)，從而為我們的基線實(shí)例分割模型帶來(lái)更好的識(shí)別結(jié)果。此外，將純幾何聚類和視覺(jué)語(yǔ)義信息相結(jié)合，以減少由于小尺度物體、遮擋和運(yùn)動(dòng)模糊造成的分割誤差的影響。已經(jīng)進(jìn)行了徹底的實(shí)驗(yàn)來(lái)評(píng)估所提出方法的性能。結(jié)果表明，我們的方法可以在識(shí)別缺陷和運(yùn)動(dòng)模糊下精確識(shí)別動(dòng)態(tài)對(duì)象。此外，所提出的 SLAM 框架能夠以超過(guò) 10 Hz 的處理速率有效地構(gòu)建靜態(tài)密集地圖，這可以在許多實(shí)際應(yīng)用中實(shí)現(xiàn)。訓(xùn)練數(shù)據(jù)和建議的方法都是開(kāi)源的。?

主要工作與貢獻(xiàn)

? 1. 本文提出了一個(gè)魯棒且快速的多模態(tài)語(yǔ)義 SLAM 框架，旨在解決復(fù)雜和動(dòng)態(tài)環(huán)境中的 SLAM 問(wèn)題。具體來(lái)說(shuō)，將僅幾何聚類和視覺(jué)語(yǔ)義信息相結(jié)合，以減少由于小尺度對(duì)象、遮擋和運(yùn)動(dòng)模糊導(dǎo)致的分割誤差的影響。 2. 本文提出學(xué)習(xí)更強(qiáng)大的對(duì)象特征表示，并將三思機(jī)制部署到主干網(wǎng)絡(luò)，從而為基線實(shí)例分割模型帶來(lái)更好的識(shí)別結(jié)果。 3. 對(duì)所提出的方法進(jìn)行了全面的評(píng)估。結(jié)果表明，本文的方法能夠提供可靠的定位和語(yǔ)義密集的地圖

算法流程

? 圖 2 是框架的概述。它主要由四個(gè)模塊組成，分別是實(shí)例分割模塊、多模態(tài)融合模塊、定位模塊和全局優(yōu)化與映射模塊。 1.實(shí)例分割和語(yǔ)義學(xué)習(xí) 使用2D實(shí)例分割網(wǎng)絡(luò)，一張圖像的實(shí)例分割結(jié)果： C代表類別，M是物體的掩碼信息，n代表當(dāng)前圖像中存在物體數(shù)量。 圖像在空間上被分成 N × N 個(gè)網(wǎng)格單元。如果一個(gè)對(duì)象的中心落入一個(gè)網(wǎng)格單元，該網(wǎng)格單元負(fù)責(zé)分別預(yù)測(cè)類別分支Bc和掩碼分支P m 中對(duì)象的語(yǔ)義類別Cij和語(yǔ)義掩碼Mij： λ 是類的數(shù)量。φ 是網(wǎng)格單元的總數(shù)。 為了滿足實(shí)時(shí)性的要求：采用SOLOv2 的輕量級(jí)版本，但精度較低，可實(shí)現(xiàn)實(shí)時(shí)實(shí)例分割。 為了提高分割精度：實(shí)施了多種方法來(lái)在骨干網(wǎng)絡(luò)中構(gòu)建更有效和更健壯的特征表示鑒別器。 輸出是每個(gè)動(dòng)態(tài)對(duì)象的像素級(jí)實(shí)例掩碼，以及它們對(duì)應(yīng)的邊界框和類類型。為了更好地將動(dòng)態(tài)信息集成到 SLAM 算法中，輸出二進(jìn)制掩碼被轉(zhuǎn)換為包含場(chǎng)景中所有像素級(jí)實(shí)例掩碼的單個(gè)圖像。蒙版落在其上的像素被認(rèn)為是“動(dòng)態(tài)狀態(tài)”，否則被認(rèn)為是“靜態(tài)”。然后將二進(jìn)制掩碼應(yīng)用于語(yǔ)義融合模塊以生成 3D 動(dòng)態(tài)掩碼。 2.多模態(tài)融合 1.移動(dòng)模糊補(bǔ)償： 目前實(shí)例分割的性能已經(jīng)是不錯(cuò)的，但是移動(dòng)的物體會(huì)出現(xiàn)物體識(shí)別不完整 導(dǎo)致物體的邊界不明確 最終影響定位精度。因此，本文首先實(shí)現(xiàn)形態(tài)膨脹，將 2D 像素級(jí)掩模圖像與結(jié)構(gòu)元素進(jìn)行卷積，以逐漸擴(kuò)展動(dòng)態(tài)對(duì)象的區(qū)域邊界。形態(tài)膨脹結(jié)果標(biāo)志著動(dòng)態(tài)對(duì)象周圍的模糊邊界。我們將動(dòng)態(tài)對(duì)象及其邊界作為動(dòng)態(tài)信息，將在多模態(tài)融合部分進(jìn)一步細(xì)化。 2.幾何聚類和語(yǔ)義融合： 通過(guò)歐幾里得空間的連通性分析進(jìn)行補(bǔ)償也在本文的工作中實(shí)現(xiàn)。實(shí)例分割網(wǎng)絡(luò)在大多數(shù)實(shí)際情況下都具有出色的識(shí)別能力，但是由于區(qū)域之間的模糊像素，運(yùn)動(dòng)模糊限制了分割性能，導(dǎo)致了不希望的分割錯(cuò)誤。因此，將點(diǎn)云聚類結(jié)果和分割結(jié)果結(jié)合起來(lái)，以更好地細(xì)化動(dòng)態(tài)對(duì)象。特別是，對(duì)幾何信息進(jìn)行連通性分析，并與基于視覺(jué)的分割結(jié)果合并。 為了提高工作效率，首先將 3D 點(diǎn)云縮小以減少數(shù)據(jù)規(guī)模，并將其用作點(diǎn)云聚類的輸入。然后將實(shí)例分割結(jié)果投影到點(diǎn)云坐標(biāo)上，對(duì)每個(gè)點(diǎn)進(jìn)行標(biāo)注。當(dāng)大多數(shù)點(diǎn)（90％）是動(dòng)態(tài)標(biāo)記點(diǎn)時(shí)，點(diǎn)云簇將被視為動(dòng)態(tài)簇。當(dāng)靜態(tài)點(diǎn)靠近動(dòng)態(tài)點(diǎn)簇時(shí)，它會(huì)被重新標(biāo)記為動(dòng)態(tài)標(biāo)簽。并且當(dāng)附近沒(méi)有動(dòng)態(tài)點(diǎn)聚類時(shí)，動(dòng)態(tài)點(diǎn)將被重新標(biāo)記。 3.定位與位姿估計(jì) 1.特征提?。?/strong> 多模態(tài)動(dòng)態(tài)分割后，點(diǎn)云分為動(dòng)態(tài)點(diǎn)云PD和靜態(tài)點(diǎn)云PS?；谠戎暗墓ぷ?，靜態(tài)點(diǎn)云隨后用于定位和建圖模塊。與現(xiàn)有的 SLAM 方法（如 LOAM ）相比，原先之前的工作中提出的框架能夠支持 30 Hz 的實(shí)時(shí)性能，速度要快幾倍。與 ORB-SLAM2和 VINS-MONO 等視覺(jué) SLAM 相比，它還可以抵抗光照變化。對(duì)于每個(gè)靜態(tài)點(diǎn) pk ∈ PS ，可以在歐幾里得空間中通過(guò)半徑搜索來(lái)搜索其附近的靜態(tài)點(diǎn)集 Sk。讓 |S|是集合 S 的基數(shù)，因此局部平滑度定義為： 邊緣特征由 σk 大的點(diǎn)定義，平面特征由 σk 小的點(diǎn)定義。 2.數(shù)據(jù)關(guān)聯(lián)： 通過(guò)最小化點(diǎn)到邊緣和點(diǎn)到平面的距離來(lái)計(jì)算最終的機(jī)器人位姿。對(duì)于邊緣特征點(diǎn) pE ∈ PE ，可以通過(guò) p^E = T·pE 將其轉(zhuǎn)換為局部地圖坐標(biāo)，其中 T ∈ SE(3) 是當(dāng)前位姿。從局部邊緣特征圖中搜索 2 個(gè)最近的邊緣特征 p 1 E 和 p 2 E，點(diǎn)到邊緣殘差定義： 類似地，給定一個(gè)平面特征點(diǎn) pL ∈ PL 及其變換點(diǎn) p^L = T·pL，我們可以從局部平面圖中搜索 3 個(gè)最近點(diǎn) 。點(diǎn)到平面殘差定義為： 3.位姿估計(jì)： 通過(guò)最小化點(diǎn)到平面和點(diǎn)到邊緣殘差的總和來(lái)計(jì)算最終的機(jī)器人位姿： 4.特征地圖更新和關(guān)鍵幀選擇： 一旦位姿優(yōu)化解決，特征點(diǎn)將被更新到局部地圖和平面地圖當(dāng)中。這些點(diǎn)將被用于一下幀的數(shù)據(jù)關(guān)聯(lián)。當(dāng)平移或者旋轉(zhuǎn)的值大于閾值時(shí)候，該幀將被選作關(guān)鍵幀。 4.全局地圖構(gòu)建 全局語(yǔ)義地圖由靜態(tài)地圖和動(dòng)態(tài)地圖構(gòu)成。視覺(jué)信息用于構(gòu)建測(cè)色密集靜態(tài)地圖。視覺(jué)信息能夠反投影3D點(diǎn)到圖像平面。為防止內(nèi)存溢出的問(wèn)題采用3d is here: Point cloud library (pcl)。