魯棒數(shù)據(jù)關(guān)聯(lián)是視覺(jué)里程計(jì)的核心問(wèn)題，圖像間的對(duì)應(yīng)關(guān)系為攝像機(jī)姿態(tài)和地圖估計(jì)提供了約束條件。目前最先進(jìn)的直接和間接方法使用短期跟蹤來(lái)獲得連續(xù)的幀到幀約束，而長(zhǎng)期約束則使用循環(huán)閉包來(lái)建立。在這篇論文中，我們提出一個(gè)新的視覺(jué)語(yǔ)義里程計(jì)（VSO）架構(gòu)，使中期連續(xù)追蹤點(diǎn)使用語(yǔ)義。我們提出的框架可以很容易地集成到現(xiàn)有的直接和間接視覺(jué)里程計(jì)管道中。挑戰(zhàn)真實(shí)世界數(shù)據(jù)集的實(shí)驗(yàn)表明，在自主駕駛環(huán)境下，通過(guò)整合我們的語(yǔ)義約束，相對(duì)于最先進(jìn)的基線有了顯著的改進(jìn)。

　　視覺(jué)里程計(jì)（VO）算法使用視覺(jué)測(cè)量來(lái)跟蹤一個(gè)或多個(gè)攝像頭的運(yùn)動(dòng)。它們基于攝像機(jī)饋送確定當(dāng)前位置的能力構(gòu)成任何類型的人工智能（例如，自動(dòng)駕駛汽車或其他自主機(jī)器人）和任何類型的智能增強(qiáng)系統(tǒng)（例如，增強(qiáng)或混合現(xiàn)實(shí)設(shè)備）的關(guān)鍵組件。VO的核心是數(shù)據(jù)關(guān)聯(lián)問(wèn)題，因?yàn)樗趫D像之間建立像素級(jí)的關(guān)聯(lián)。這些對(duì)應(yīng)同時(shí)用于構(gòu)建場(chǎng)景的三維貼圖，并跟蹤當(dāng)前攝影機(jī)幀相對(duì)于貼圖的姿勢(shì)。當(dāng)然，這種局部跟蹤和映射方法會(huì)在每一幀中引入小誤差。隨著時(shí)間的推移積累這些誤差會(huì)導(dǎo)致姿勢(shì)和地圖估計(jì)值的漂移。為了減少這種漂移，利用相應(yīng)圖像觀測(cè)值之間的約束來(lái)聯(lián)合優(yōu)化姿態(tài)和地圖，例如使用擴(kuò)展Kalman濾波器〔33〕或光束平差〔26，46〕，通常有兩種正交方法來(lái)減小VO中的漂移。第一種方法使用圖像之間的短期對(duì)應(yīng)，通過(guò)在后續(xù)相機(jī)幀之間過(guò)渡地建立約束來(lái)實(shí)現(xiàn)時(shí)間漂移校正。這在汽車場(chǎng)景中特別有用，即汽車沿直線行駛很長(zhǎng)時(shí)間。第二種方法使用循環(huán)閉合檢測(cè)在時(shí)間上遙遠(yuǎn)的幀之間建立長(zhǎng)期約束。后者只有在相機(jī)多次與先前的軌跡相交或在與預(yù)先建立的地圖定位的情況下才有效〔30〕。本文提出了一種利用語(yǔ)義對(duì)第一種漂移校正策略進(jìn)行改進(jìn)的方法，用于中期連續(xù)跟蹤點(diǎn)。在這種情況下，現(xiàn)有技術(shù)的主要限制是缺乏不變性表示：基于特征的方法（例如ORB-SLAM）［34，35］和基于最小化光度誤差的直接方法（例如LSDSLAM［13］或DSO［12］）都無(wú)法在長(zhǎng)距離內(nèi)連續(xù)跟蹤一個(gè)點(diǎn)因?yàn)檫@兩種表示都不是完全不變的觀點(diǎn)和照明變化。這種情況的一個(gè)例子如圖1所示，其中，當(dāng)汽車行駛在道路上時(shí)，面片表示對(duì)尺度變化的不變性使得我們無(wú)法建立中期對(duì)應(yīng)關(guān)系。本文的主要思想是將語(yǔ)義作為一種不變的場(chǎng)景表示。潛在的直覺(jué)是，視點(diǎn)、尺度、光照等的變化只影響物體的低級(jí)外觀，而不影響其語(yǔ)義。如圖1所示，場(chǎng)景語(yǔ)義使我們能夠建立長(zhǎng)期的約束，使我們能夠顯著地減少VO系統(tǒng)中的漂移?；谶@一思想，本文提出了一種新的視覺(jué)語(yǔ)義里程計(jì)（VSO）方法，將語(yǔ)義約束整合到姿態(tài)和地圖優(yōu)化中。具體來(lái)說(shuō)，本文的主要貢獻(xiàn)如下：1）我們推導(dǎo)了一種新的最小化語(yǔ)義重投影錯(cuò)誤的代價(jià)函數(shù)，并證明了使用期望最大化（EM）方案可以使其最小化。我們的方法是靈活的，因?yàn)樗梢耘c任何語(yǔ)義分割算法相結(jié)合。2） 我們證明，在自主駕駛的情況下，將語(yǔ)義代價(jià)項(xiàng)包含到VO算法中可以顯著減少平移漂移。我們的方法可以很容易地集成到現(xiàn)有的VO方法中，獨(dú)立于它們依賴于數(shù)據(jù)的直接或間接方法作為關(guān)聯(lián)。3） 我們實(shí)驗(yàn)性地分析了我們的方法的行為，解釋了它在哪些條件下提供了改進(jìn)，并討論了當(dāng)前的限制。

?