1、導讀

現(xiàn)有的3D物體檢測方法通常需要使用完全注釋的數(shù)據(jù)進行訓練，而使用預訓練的語義特征可以帶來一些優(yōu)勢。然而，目前還沒有利用擴散特征進行3D感知任務的研究。因此，我們提出了一種新的框架，通過視圖合成任務來增強預訓練的2D擴散模型的3D感知能力。該方法利用已知相對姿態(tài)的圖像對進行訓練，并通過擴散過程生成目標輸出。此外，文章還介紹了如何將這些增強的特征用于3D物體檢測，并通過引入輔助網(wǎng)絡(luò)來保持特征質(zhì)量。最后，文章通過實驗證明了該方法在點對應和3D檢測性能上的優(yōu)越性。

2、研究內(nèi)容

一種名為3DiffTection的新框架，該框架利用預訓練的2D擴散模型來進行3D物體檢測任務。該方法通過視圖合成任務，將2D擴散特征增強為具有3D感知能力的特征。作者利用已知相對姿態(tài)的圖像對進行特征提取和特征擴散過程，從而生成目標輸出。文章還介紹了如何將這些增強的特征用于3D物體檢測，并通過引入輔助控制網(wǎng)絡(luò)來進一步適應目標任務和數(shù)據(jù)集。最后，作者通過多個合成視圖生成檢測提議，并通過非極大值抑制（NMS）來整合這些提議，從而提高檢測性能。

3、貢獻

介紹了一種通過視圖合成增強預訓練的2D擴散模型的可擴展技術(shù)，使其具有3D感知能力；

將這些特征適應于3D檢測任務和目標領(lǐng)域；

利用視圖合成能力通過集成預測進一步提高檢測性能。

4、方法

3DiffTection：它可以在3D物體檢測任務中利用預訓練的2D擴散模型。該方法的關(guān)鍵在于設(shè)計了一個視圖合成任務，通過使用極線幾何將源圖像中的殘差特征進行變形，從而增強了2D擴散特征的3D感知能力。通過去噪擴散過程，這些變形的特征有助于生成目標輸出。我們的方法利用了具有已知相對姿態(tài)的圖像對，這些圖像對通?？梢詮?a target="_blank">視頻數(shù)據(jù)中輕松獲取。鑒于視頻數(shù)據(jù)的不斷增加，這使得我們的表示精煉解決方案具有高度的可擴展性。

4.1、2D擴散模型特征提取

在3DiffTection中，我們使用預訓練的2D擴散模型作為特征提取器。擴散模型已經(jīng)在圖像分割等密集感知任務中展現(xiàn)出了強大的性能。我們利用這些模型學習到的語義特征，并通過視圖合成任務增強這些特征的3D感知能力。通過提取源圖像的殘差特征，并利用極線幾何將其映射到目標視圖，我們能夠生成目標輸出。這樣，我們就能夠?qū)㈩A訓練的2D擴散模型的特征轉(zhuǎn)化為具有3D感知能力的特征。這種方法使得我們的模型能夠更好地理解圖像中的3D結(jié)構(gòu)，并在3D目標檢測任務中取得更好的性能。

4.2、3D感知融入擴散特征

如何將3D感知融入擴散特征。具體而言，作者通過訓練一個視圖合成任務來增強預訓練的2D擴散模型的3D感知能力。這個任務的關(guān)鍵是從源圖像中提取殘差特征，并使用極線幾何將它們映射到目標視圖上。通過這種映射，可以通過去噪擴散過程生成目標輸出。這些經(jīng)過映射的特征有助于增強模型對目標的生成能力。這種方法利用了具有已知相對姿態(tài)的圖像對，這些圖像對通?？梢詮囊曨l數(shù)據(jù)中輕松獲取。我們接下來利用這些增強的3D特征進行3D檢測，通過在3D框注釋下訓練一個標準的檢測頭。雖然我們的模型的基線性能已經(jīng)顯示出對現(xiàn)有方法的改進，但我們的目標是進一步將訓練好的特征適應目標任務和數(shù)據(jù)集，這可能與用于視圖合成預訓練的數(shù)據(jù)不同。

由于訓練數(shù)據(jù)有限，直接微調(diào)模型來彌合任務和領(lǐng)域差距可能會導致性能下降。為了解決這個問題，作者引入了一個輔助的ControlNet，它有助于保持特征的質(zhì)量。這個過程還保留了模型的視圖合成能力。在測試時，我們通過從多個合成視圖生成檢測提議，并通過非極大值抑制（NMS）來合并這些提議，從而充分利用幾何和語義能力。

5、實驗結(jié)果

本研究采用了兩種實驗方法來評估提出的3DiffTection框架的性能。

第一種實驗方法是在Omni3D-ARKitscene數(shù)據(jù)集上進行的。首先，使用預訓練的2D擴散模型進行視圖合成，以增強2D特征的3D感知能力。然后，使用訓練好的3D檢測頭在3D邊界框監(jiān)督下對特征進行3D檢測。為了進一步適應目標任務和數(shù)據(jù)集，引入了一個輔助的控制網(wǎng)絡(luò)來維持特征質(zhì)量。最后，通過生成多個合成視圖的檢測提議，并通過非最大抑制（NMS）進行整合，來進行3D檢測。實驗結(jié)果表明，與現(xiàn)有方法相比，3DiffTection在Omni3D-ARKitscene數(shù)據(jù)集上取得了顯著的改進。

第二種實驗方法是在跨數(shù)據(jù)集上進行的。首先，在Omni3D-ARKitscene數(shù)據(jù)集上訓練了具有幾何控制網(wǎng)絡(luò)的3DiffTection模型，并僅在跨域數(shù)據(jù)集上訓練了3D檢測頭。然后，將3DiffTection與CubeRCNN進行比較。實驗結(jié)果顯示，即使在目標域中沒有對幾何控制網(wǎng)絡(luò)進行訓練，3DiffTection仍然能夠超越完全微調(diào)的CubeRCNN。

6、創(chuàng)新性

主要體現(xiàn)在以下幾個方面：

引入了幾何感知的穩(wěn)定擴散特征：本研究通過在穩(wěn)定擴散特征中引入幾何感知，提高了3D目標檢測的性能。通過訓練幾何控制網(wǎng)絡(luò)，將相機姿態(tài)信息與擴散特征結(jié)合起來，實現(xiàn)了對3D空間的感知。這種幾何感知的穩(wěn)定擴散特征在目標檢測任務中表現(xiàn)出更好的性能。

提出了基于視圖合成的訓練方法：本研究利用視圖合成技術(shù)，通過生成新的視圖來增強模型的泛化能力。通過訓練模型生成與輸入圖像不同視角的合成圖像，使得模型能夠?qū)W習到更多的視角信息，從而提高了模型在不同數(shù)據(jù)集上的性能。

結(jié)合語義控制網(wǎng)絡(luò)進行聯(lián)合訓練：本研究還引入了語義控制網(wǎng)絡(luò)，通過與3D檢測頭部聯(lián)合訓練，進一步提高了2D和3D檢測的性能。語義控制網(wǎng)絡(luò)能夠適應感知任務，并優(yōu)化特征的使用，從而提高檢測的準確性。

7、總結(jié)

我們提出了一種名為3DiffTection的新框架，該框架利用預訓練的2D擴散模型增強了3D物體檢測任務的性能。作者通過視圖合成任務，將源圖像中的殘差特征提取出來，并利用極線幾何將其變形到目標視圖中，從而增強了2D擴散特征的3D感知能力。作者還通過訓練一個標準的檢測頭來利用這些增強的特征進行3D檢測。實驗證明，這種方法在點對應和物體檢測性能上都優(yōu)于基準模型。此外，作者還介紹了一個輔助的控制網(wǎng)絡(luò)，用于保持特征質(zhì)量，并通過生成多個合成視圖的檢測提案來進一步提高檢測性能。總體而言，作者的方法在3D物體檢測任務中取得了顯著的改進，并展示了其在不同數(shù)據(jù)集上的泛化能力。

審核編輯：劉清