01

概述

最近在研究TANDEM算法，是一個(gè)實(shí)時(shí)單目追蹤和稠密建圖的算法框架。TANDEM的算法框架可以概括為如下的幾個(gè)部分：

1、位姿計(jì)算----在關(guān)鍵幀實(shí)施基于滑窗的像素級集束優(yōu)化；

2、追蹤前端----實(shí)施直接稠密圖片配準(zhǔn)，基于全局模型得到的深度圖；

3、CVA-MVSNet----使用全部關(guān)鍵幀來預(yù)測稠密深度圖；

4、全局地圖----使用預(yù)測的深度圖融合成全局地圖，表示為TSDF體素表格。

TANDEM的整體架構(gòu)圖如下所示：

02 模塊介紹

相關(guān)工作這里就不贅述了，主要涵蓋了三維重建、RGB-D SLAM和單目SLAM三個(gè)方向的方法介紹和一般流程。這里，我們直接給出TANDEM算法框架中幾個(gè)關(guān)鍵組件的介紹，也即是單目視覺里程計(jì)、使用CVA-MVSNet進(jìn)行稠密深度估計(jì)和體素建圖。

2.1單目視覺里程計(jì)

最近的一些方法，例如：DSO、ORB-SLAM，都是在多幀圖像中使用一組稀疏點(diǎn)來追蹤，最后計(jì)算出相機(jī)的位姿。雖然，使用更多的點(diǎn)來聯(lián)合優(yōu)化可以帶來性能方面的優(yōu)化，但是這回造成運(yùn)行時(shí)間的顯著提高。因此，在TANDEM中提出的視覺里程計(jì)，借鑒了DSO中所描述的----直接稀疏窗口優(yōu)化后端。但是，TANDEM中還用了全局的TSDF模型來獲取稠密深度圖，這個(gè)深度圖主要是用在前端的直接圖像配準(zhǔn)。

簡單總結(jié)，TANDEM使用了稠密追蹤前端和稀疏后端優(yōu)化相結(jié)合的方式來提高追蹤性能。

2.2稠密前端追蹤

TANDEM前端的特點(diǎn)：

提供實(shí)時(shí)相機(jī)幀頻的追蹤

作為后端窗口優(yōu)化的初始化輸入

實(shí)現(xiàn)前端稠密點(diǎn)追蹤（相較于DSO而言）

2.3CVA-MVSNet

2.3.1單階段深度計(jì)算

因?yàn)镃VA-MVSNet使用了多階段的方式來解決了內(nèi)存損耗的問題，并且不同階段之間大同小異，因此我們選取一個(gè)階段進(jìn)行詳細(xì)分析，然后就可以熟知整個(gè)網(wǎng)絡(luò)模型的作用和功能。

在分析之前，我們先給出模型輸入和輸出的一些變量的定義。

03 數(shù)據(jù)集和結(jié)果

1、訓(xùn)練集

本文訓(xùn)練了兩個(gè)CVA-MVSNet的模型：一個(gè)使用實(shí)際的ScanNet數(shù)據(jù)集、另一個(gè)使用擬合數(shù)據(jù)集Replica數(shù)據(jù)集，一些結(jié)果如下圖所示：

對于不可見的序列，本文的訓(xùn)練結(jié)果如下圖所示：

2、測試集

本文中使用了ICL-NUIM數(shù)據(jù)集和EuRoc數(shù)據(jù)集中的Vicon室內(nèi)序列來評估稠密3D重建和追蹤的結(jié)果。具體的一些結(jié)果如下：

04 結(jié)論

TANDEM是一個(gè)實(shí)時(shí)稠密單目SLAM系統(tǒng)，使用了直接像素里程計(jì)和多視圖幾何。尤其提出了CVA-MVSNet使用整個(gè)關(guān)鍵幀窗口，預(yù)測高質(zhì)量的深度圖；然后提出稠密追蹤模式連接相機(jī)位姿估計(jì)和稠密3D重建，針對于TSDF融合創(chuàng)建的全局3D模型。結(jié)果表明，TANDEM獲得更好的性能。 本文，我們對TANDEM論文進(jìn)行了簡單的講解和分析，后續(xù)系列我們進(jìn)一步深入分析論文的細(xì)節(jié)，以及后面的代碼講解分析。

審核編輯：劉清