導(dǎo)讀

為了促進(jìn)真實(shí)世界中感知、重建和生成領(lǐng)域的發(fā)展，我們提出了 OmniObject3D，一個高質(zhì)量的大類別真實(shí)三維物體數(shù)據(jù)集。本數(shù)據(jù)集有三個主要優(yōu)勢：1）類別豐富：覆蓋 200 余個類別的約 6K 個三維物體數(shù)據(jù)；2）標(biāo)注豐富：包括了高精表面網(wǎng)格、點(diǎn)云、多視角渲染圖像，和實(shí)景采集的視頻；3）真實(shí)掃描：專業(yè)的掃描設(shè)備保證了物體數(shù)據(jù)的精細(xì)形狀和真實(shí)紋理。

OmniObject3D 是目前學(xué)界最大的真實(shí)世界三維掃描模型數(shù)據(jù)集，為未來的三維視覺研究提供了廣闊的空間。利用該數(shù)據(jù)集，我們探討了點(diǎn)云識別、神經(jīng)渲染、表面重建、三維生成等多種學(xué)術(shù)任務(wù)的魯棒性和泛化性，提出了很多有價值的發(fā)現(xiàn)，并驗(yàn)證了其從感知、重建、到生成領(lǐng)域的開放應(yīng)用前景。我們希望 OmniObject3D 以及其對應(yīng)的 benchmarks 能夠?yàn)閷W(xué)術(shù)研究和工業(yè)應(yīng)用帶來新的挑戰(zhàn)和機(jī)會。作為 CVPR 2023 的投稿，我們收到了 4 位審稿人的一致滿分評價，并獲推CVPR Award Candidate（top 12 / 9155）。

論文名稱：

OmniObject3D: Large-Vocabulary 3D Object Dataset for Realistic Perception, Reconstruction and Generation

背景介紹

面向真實(shí) 3D 物體的感知、理解、重建與生成是計(jì)算機(jī)視覺領(lǐng)域一直倍受關(guān)注的問題，也在近年來取得了飛速的進(jìn)展。然而，由于社區(qū)中長期缺乏大規(guī)模的實(shí)采 3D 物體數(shù)據(jù)庫，大部分技術(shù)方法仍依賴于 ShapeNet[1] 等仿真數(shù)據(jù)集。再者，仿真數(shù)據(jù)與真實(shí)數(shù)據(jù)之間的外觀和分布差距巨大，這大大限制了它們在現(xiàn)實(shí)生活中的應(yīng)用。

為了解決這一困難，近年來也有一些優(yōu)秀的工作如 CO3D[2] 等從視頻/多視角圖片中尋求突破點(diǎn)，并利用 SfM 的方式重建 3D 點(diǎn)云，然而這種方式得到的點(diǎn)云往往難以提供完整、干凈、精準(zhǔn)的 3D 表面和紋理。因此，社區(qū)迫切需要一個大規(guī)模且高質(zhì)量的真實(shí)世界 3D 物體掃描數(shù)據(jù)集，這將有助于推進(jìn)許多3D視覺任務(wù)和下游應(yīng)用。

仿真數(shù)據(jù)與真實(shí)掃描數(shù)據(jù)的對比：仿真數(shù)據(jù)的紋理和幾何往往比較簡單且失真。

多視角圖片重建點(diǎn)云與真實(shí)掃描數(shù)據(jù)的對比。重建點(diǎn)云往往含有噪聲，且無法恢復(fù)精細(xì)的表面與紋理，在沒有拍攝到的位置存在大面積空洞。

數(shù)據(jù)集特點(diǎn)

OmniObject3D 為每一個物體提供了四種模態(tài)信息，包括：帶紋理的高精模型、點(diǎn)云、多視角渲染圖像、實(shí)景拍攝的環(huán)繞視頻。對于每個拍攝的視頻，我們平均抽取了 200 幀，并提供前景掩碼和 SfM 重建的相機(jī)位姿和稀疏點(diǎn)云。

模態(tài)示例

文件層級

數(shù)據(jù)集的整體類別內(nèi)物體數(shù)量呈長尾分布，與 ImageNet[3]、COCO[4]、LVIS[5] 和 ShapeNet[1] 等熱門 2D 及 3D 數(shù)據(jù)集中的常見類別有高度共享。

每個類別內(nèi)物體數(shù)量分布圖

下游應(yīng)用

OmniObject3D 為學(xué)界帶來了廣泛的探索空間，在本文中，我們選取了四個下游任務(wù)進(jìn)行評估與分析。

任務(wù)一：

點(diǎn)云分類魯棒性（Point Cloud Classification Robustness）

物體點(diǎn)云分類是 3D 感知中最基本的任務(wù)之一。在本節(jié)中，我們展示了 OmniObject3D 如何通過解耦 out-of-distribution styles & out-of-distribution corruptions 來實(shí)現(xiàn)更全面的點(diǎn)云分類的魯棒性分析。

OmniObject3D 提供了一個干凈的真實(shí)世界物體點(diǎn)云數(shù)據(jù)集，使得能夠針對 OOD styles & OOD corruptions 的魯棒性進(jìn)行細(xì)粒度分析。

具體來說，1）CAD 模型與真實(shí)掃描模型之間的差異引入了 OOD styles；2）常見點(diǎn)云破壞因子產(chǎn)生了 OOD corruptions。

在之前的研究工作中，含噪的真實(shí)物體數(shù)據(jù)集如 ScanObjectNN[6] 將兩種情況藕合起來，無法實(shí)現(xiàn)解耦分析；主動加入破壞因子的仿真數(shù)據(jù)集如 ModelNet-C[7] 則僅僅反映了第二種情況。OmniObject3D 則具備將兩種情況解耦分析的要素。

我們對十種最常見的點(diǎn)云分類模型進(jìn)行了測試，并揭示了其與 ModelNet-C 數(shù)據(jù)集中結(jié)論的異同。在應(yīng)對這兩個挑戰(zhàn)時，如何實(shí)現(xiàn)一個真正魯棒的點(diǎn)云感知模型仍需更加深度的探索。

點(diǎn)云分類魯棒性實(shí)驗(yàn)結(jié)果

任務(wù)二：

新視角合成（Novel View Synthesis）

自 NeRF[8] 提出以來，新視角合成一直是領(lǐng)域內(nèi)的一個熱門方向。

我們在 OmniObject3D 上研究了兩種賽道下的新視角合成方法：

1）利用密集視角圖片輸入，對單一場景進(jìn)行優(yōu)化訓(xùn)練；

2）挖掘數(shù)據(jù)集中不同場景之間的先驗(yàn)，探索類 NeRF 模型的泛化能力。

首先，對于單場景優(yōu)化的模型，我們觀察到基于體素的方法會更加擅長建模高頻紋理信息，而基于隱式模型的方法則相對更能抵抗表面凹陷或弱紋理等容易產(chǎn)生幾何歧義的情況。

數(shù)據(jù)集中物體多變而復(fù)雜的形狀和外觀為這項(xiàng)任務(wù)提供了一個全新的評估基準(zhǔn)。

多個常見方法的單場景優(yōu)化效果示例

相對于擬合的單個場景的模型，跨場景可泛化框架在本數(shù)據(jù)集上的表現(xiàn)則更令人期待。網(wǎng)絡(luò)從很多同類別、甚至跨類別的數(shù)據(jù)中學(xué)習(xí)到可以泛化的信息，即可對于一個全新場景的稀疏視角輸入做出新視角預(yù)測。

實(shí)驗(yàn)表明，作為一個幾何和紋理信息豐富的數(shù)據(jù)集，OmniObject3D 有助于促使模型學(xué)到對新物體或甚至新類別的泛化能力。

泛化性模型效果示例

任務(wù)三：

表面重建（Surface Reconstruction）

除了新視角合成外，如果能恢復(fù)物體的顯式表面，將更加有助于下游應(yīng)用的開發(fā)。同時，我們的數(shù)據(jù)具備精準(zhǔn)且完整的三維表面，能夠充分支持表面重建精度的評測需要。

類似的，我們也為表面重建任務(wù)設(shè)置了兩條賽道：

1）稠密視角采樣下的表面重建；

2）稀疏視角采樣下的表面重建。

稠密視角下表面重建結(jié)果展示了數(shù)據(jù)集內(nèi)幾何形狀的顯著多樣性。精準(zhǔn)的掃描使得我們能夠使用 Chamfer Distance 作為重建精度的度量。將類別劃分為三個“難度”等級，可以觀察到所有方法在不同等級上的結(jié)果存在明顯的差距。

與僅包含 15 個場景的標(biāo)準(zhǔn) DTU[9] 基準(zhǔn)相比，我們的數(shù)據(jù)集在這項(xiàng)任務(wù)上提供了更全面的評估結(jié)果。

稠密視角表面重建示例

稀疏視圖表面重建是一個更具挑戰(zhàn)性的任務(wù)，在所有方法的結(jié)果中我們都觀察到了明顯瑕疵，均未達(dá)到能夠滿足實(shí)際應(yīng)用的水平。

除了專為稀疏視角表面重建設(shè)計(jì)的方法外，我們還評估了前面提到的泛化性新視角合成模型的幾何恢復(fù)能力——數(shù)據(jù)集提供的精準(zhǔn) 3D Ground Truth 在評測中再次發(fā)揮了優(yōu)勢，然而他們的表現(xiàn)同樣無法令人滿意。

綜上所述，這個問題的探索空間仍然巨大，而 OmniObject3D 為該領(lǐng)域進(jìn)一步的研究提供了扎實(shí)的數(shù)據(jù)基礎(chǔ)。

稠密和稀疏視角表面重建效果示例

任務(wù)四：

3D 物體生成（3D Object Generation）

除了重建之外，OmniObject3D 還可以用來訓(xùn)練真實(shí) 3D 物體的生成模型。我們采用 GET3D[10] 框架同時生成形狀和紋理，并嘗試使用單個模型從數(shù)據(jù)集中同時學(xué)習(xí)多種類別的生成。

帶紋理的 3D 物體生成

通過在隱空間插值，可以觀察到生成模型跨類別變化的特性。我們在文章中還著重探討了由于訓(xùn)練數(shù)據(jù)不平衡導(dǎo)致的生成語義分布失衡特點(diǎn)，詳細(xì)請參考論文。

形狀和紋理低維隱碼插值結(jié)果

未來工作

關(guān)于數(shù)據(jù)集本身，我們會致力于不斷擴(kuò)大和更新數(shù)據(jù)集以滿足更廣泛的研究需求。除了現(xiàn)有的應(yīng)用，我們還計(jì)劃進(jìn)一步發(fā)展其他下游任務(wù)，如 2D / 3D 物體檢測和 6D 姿態(tài)估計(jì)等。除了感知和重建任務(wù)外，在 AIGC 時代，我們相信 OmniObject3D 能夠在推動真實(shí)感 3D 生成方面發(fā)揮至關(guān)重要的作用。