作者：泡椒味的口香糖??

0. 筆者個人體會

視覺也好，激光也好，如何剔除動態(tài)物體的影響都是一個很麻煩的課題。一方面要檢測動態(tài)物體，另一方面要建立去除干擾的靜態(tài)環(huán)境地圖。現(xiàn)有的動態(tài)物體剔除的工作其實有很多了，但是都有一個問題：如何解決分割的假陽性和假陰性。其實這也是CV很經(jīng)典的問題"如何信任深度學習的結(jié)果"。

今天給大家介紹的這篇工作就解決了這個問題，來源于2023 IROS，它將當前幀的Lidar掃描和局部地圖都輸入到網(wǎng)絡(luò)中，以此來修正歷史幀的漏檢和誤檢。

這篇文章其實和之前2021 RAL/IROS"Moving Object Segmentation in 3D LiDAR Data: A Learning-based Approach Exploiting Sequential Data"的工作有點相似，陳謝沅澧也是兩篇文章的共同作者，感興趣的小伙伴可以追一下陳博的Github（https://github.com/Chen-Xieyuanli）。

注：本文使用MOS作為Moving Object Segmentation的簡稱。

1. 效果展示

算法將雷達點云做為輸入，可以直接判定點是否屬于動態(tài)物體。還能構(gòu)建Volumetric Belief地圖（可以理解為存儲每個點是否動態(tài)的概率），構(gòu)建完地圖以后可以直接對點進行查詢。但筆者覺得最重要的一點是，它可以修正歷史幀的假陽性和假陰性判據(jù)，這一點是很多算法沒有涉及的。

再來看一看動態(tài)環(huán)境下建圖的結(jié)果，實心圓表示地圖中動態(tài)物體的殘留痕跡，虛線圓表示由于假陽性預(yù)測而被4DMOS移除的靜態(tài)區(qū)域。整體來看，建立的動態(tài)環(huán)境地圖還是很干凈的。

算法已經(jīng)開源了，感興趣的小伙伴可以去試試，下面來看具體的論文信息。

2. 摘要

在未知環(huán)境中導(dǎo)航的移動機器人需要時刻感知周圍環(huán)境中的動態(tài)物體，以便進行建圖、定位和規(guī)劃。對當前觀測中的運動物體進行推理，同時對靜態(tài)世界的內(nèi)部模型進行更新以確保安全是關(guān)鍵。在本文中，我們解決了在當前3D LiDAR掃描和環(huán)境局部地圖中聯(lián)合估計運動物體的問題。我們使用稀疏的4D卷積從掃描和局部地圖中提取時空特征，并將所有3D點分割為移動和非移動點。此外，我們提出使用貝葉斯濾波器將這些預(yù)測融合在動態(tài)環(huán)境的概率表示中。這種Volumetric Belief模型表示環(huán)境中的哪些部分可以被運動對象所占據(jù)。我們的實驗表明，我們的方法優(yōu)于現(xiàn)有的運動目標分割基線，甚至可以推廣到不同類型的LiDAR傳感器。我們證明了在在線建圖場景中，我們的Volumetric Belief融合可以提高運動目標分割的精度和召回率，甚至可以檢索到先前丟失的運動目標。

3. 算法解析

算法的整體目標是識別當前Lidar掃描和局部地圖中的動態(tài)物體，并融合生成一個概率 Volumetric Belief圖。

Lidar點云過來以后，首先使用KISS-ICP（參考https://github.com/PRBonn/kiss-icp）進行注冊，并對點云進行體素化，之后再進行分割。Scan2Map的輸入為當前幀Lidar掃描和局部地圖（居然不需要位姿）點云的4D信息（位置+時間戳），使用4D卷積網(wǎng)絡(luò)MinkUNet進行動態(tài)目標預(yù)測，最后將預(yù)測結(jié)果融合到Volumetric Belief圖中。其使用的分割思想有兩個：

（1）動態(tài)物體的Lidar掃描和局部地圖有差異；

（2）動態(tài)物體上點云的時間戳的變化和靜態(tài)點不同；

引入時間信息有啥好處呢？

由于遮擋、有限FoV等因素，動態(tài)目標在短時間內(nèi)很有可能是有遮擋的，如果使用固定長度的滑窗就沒辦法處理！而且這里還使用了一個trick，就是對序列的時間戳進行歸一化處理，避免訓(xùn)練時對序列長度過擬合！

那為啥還要輸入局部地圖信息，而不僅僅是當前的Lidar掃描呢？

這里主要是考慮到分割的假陰性和假陽性問題。如果之前幀沒有成功識別動態(tài)物體，那么還可以通過局部地圖來回溯錯誤。

最后Volumetric Belief就是一個將多個獨立預(yù)測隨時間進行融合的過程。需要特別注意的是，這個Volumetric Belief存儲的并不是每個點的預(yù)測，而是環(huán)境中哪部分有更高的概率包含動態(tài)對象。也就是說，不僅僅是要識別當前點是否為動態(tài)對象，還要確定地圖的哪一部分被動態(tài)對象經(jīng)過了（Dynamic Occupancy）。舉個例子，就是如果一個點落入了動態(tài)體素中，那么就假設(shè)這個點也屬于動態(tài)物體，如果一個體素被靜態(tài)點占據(jù)，那么也就不再期望在這個體素中觀察到動態(tài)物體。Volumetric Belief建立完成以后，也就可以根據(jù)概率查詢其中哪個點是動態(tài)點。

4. 實驗

作者所做的實驗，其實是圍繞四個點來進行：

（1） 基于過去觀測的局部地圖，將輸入的LiDAR掃描精確地分割成動態(tài)和非動態(tài)的物體；

（2） 在實現(xiàn)最新性能的同時，很好地推廣到新的環(huán)境和傳感器設(shè)置；

（3） 通過將多個預(yù)測融合到Volumetric Belief中，提高MOS的精度和召回率；

（4） 通過Volumetric Belief從錯誤的預(yù)測中恢復(fù)到在線建圖。

就數(shù)據(jù)集來說，作者除了在Semantic KITTI和Semantic KITTI MOS（參考https://codalab.lisn.upsaclay.fr/competitions/7088）這兩個動態(tài)數(shù)據(jù)集上進行實驗，還標注了KITTI Tracking、Apollo Columbia Park MapData、nuScenes這三個數(shù)據(jù)集中的子序列。評估指標就是分割任務(wù)常用的IoU。

先看一下在Semantic KITTI和Semantic KITTI MOS上的運動物體分割結(jié)果，分別對比了只是用當前幀（Scan）以及帶有10幀的局部地圖（Volumetric Belief）。驗證集效果很好，但是測試集提升其實不太明顯。效果比4DMOS好也就證明了使用時間信息對MOS是有利的。這里LMNet就是陳博之前的工作，RVMOS性能好是因為使用了額外的標簽訓(xùn)練。

泛化性實驗很有價值，主要還是因為MOS是有監(jiān)督任務(wù)，并且標注成本極高（也推薦一個半監(jiān)督點云分割框架https://ldkong.com/LaserMix）。LMNet和MotionSeg3D性能很差，是因為對Lidar安裝位置和點云強度過擬合了。而4DMOS和作者的方法只是用時間信息，因此可以適應(yīng)新的Lidar內(nèi)參標定。

最后一個實驗證明的是Volumetric Belief的具體設(shè)置如何提升IoU、召回和精度。表中的No Delay代表局部地圖的點為動態(tài)點（主要還是做一個運行時間的平衡）。結(jié)果表明，Volumetric Belief可以在先驗地圖中排除假陽性，雖然有時精度和召回略低，但是IoU提升很明顯。

5. 總結(jié)

跟動態(tài)視覺SLAM不同，動態(tài)雷達SLAM還是有很多可研究的點，但主要思想還是利用動態(tài)物體上scan和scan、scan和map之間的矛盾。可以直接利用這種矛盾做幾何一致性判據(jù)，也可以輸入到網(wǎng)絡(luò)里進行訓(xùn)練。從這個角度出發(fā)，讀者也可以構(gòu)思新的判別方式，設(shè)計自己的動態(tài)點云檢測算法。

IROS的文章都很精簡，很多信息沒辦法從論文中獲取，還是得死磕代碼來解決問題。所以對論文細節(jié)感興趣的小伙伴不妨閱讀一下代碼。

編輯：黃飛

?