作者：Matthew Tancik， Vincent Casser， Xinchen Yan， Sabeek Pradhan， Ben Mildenhall， Pratul P. Srinivasan， Jonathan T. Barron， Henrik Kretzschmar

我們提出了 Block-NeRF，一種神經(jīng)輻射場的變體，可以表示大規(guī)模的場景。具體來說，我們發(fā)現(xiàn)，當(dāng)使用 NeRF 渲染跨越多個街區(qū)的城市規(guī)模場景時，將場景分解為單獨訓(xùn)練的子 NeRF 至關(guān)重要。這種分解將渲染時間與場景大小分離，使渲染能夠擴(kuò)展到任意大的場景，并允許對環(huán)境進(jìn)行逐塊更新。我們采用了幾項架構(gòu)更改，以使 NeRF 對在不同環(huán)境條件下數(shù)月捕獲的數(shù)據(jù)具有魯棒性。我們?yōu)槊總€單獨的 NeRF 添加了外觀嵌入、可學(xué)習(xí)的位姿細(xì)化和可控曝光，并引入了校準(zhǔn)相鄰 NeRF 之間外觀的程序，以便它們可以無縫組合。我們從 280 萬張圖像中構(gòu)建了一個 Block-NeRF 網(wǎng)格，以創(chuàng)建迄今為止最大的神經(jīng)場景表示，能夠渲染舊金山的整個社區(qū)。

主要貢獻(xiàn)

為了在大場景中應(yīng)用神經(jīng)輻射場（NeRF）模型，文章提出將大型場景分解為相互重疊的子場景 （block），每一個子場景分別訓(xùn)練，在推理時動態(tài)結(jié)合相鄰 Block-NeRF 的渲染視圖。 文章在 mip-NeRF 的基礎(chǔ)上增加了外觀嵌入、曝光嵌入和位姿細(xì)化，以解決訓(xùn)練數(shù)據(jù)橫跨數(shù)月而導(dǎo)致的環(huán)境變化和位姿誤差。 為了保證相鄰 Block-NeRF 的無縫合成，文章提出了在推理時迭代優(yōu)化這些 Block-NeRF 的輸入外觀嵌入以校準(zhǔn)它們的渲染結(jié)果。

方法概述

神經(jīng)輻射場 （NeRF）是使用神經(jīng)網(wǎng)絡(luò)擬合輻射場，用于視圖渲染的方法。然而，傳統(tǒng)的 NeRF 很難被直接擴(kuò)展到大場景應(yīng)用。這是因為擬合大場景所需的神經(jīng)網(wǎng)絡(luò)也會很大，這會導(dǎo)致訓(xùn)練和推理渲染變得很困難。本文提出將大的場景劃分為數(shù)個相互重合的小場景 （block）。如下圖所示的丁字路口被劃分為三個小場景（黃圈），針對每一個小場景單獨訓(xùn)練一個 Block-NeRF。推理時合并覆蓋目標(biāo)視圖范圍的 Block-NeRF 渲染生成最終的視圖。

mip-NeRF 拓展文章基于 mip-NeRF，但是由于訓(xùn)練視圖在長達(dá)數(shù)月的時間內(nèi)采集，不可避免地出現(xiàn)場景光照不同、相機(jī)曝光不同、視圖位姿存在誤差等問題。為了解決這些問題，文章在 mip-NeRF 的基礎(chǔ)上增加了外觀嵌入和曝光作為神經(jīng)網(wǎng)絡(luò)的輸入（如下圖所示，其中 fσ 和 fc 分別為預(yù)測密度 σ 和顏色 RGB 的神經(jīng)網(wǎng)絡(luò)，x 為場景中的三維坐標(biāo)點，d 表示視角）。

訓(xùn)練時使用生成式潛碼優(yōu)化的方法學(xué)習(xí)外觀嵌入，消除天氣光照等原因的影響。曝光則直接可以讀取采集記錄，只需對其進(jìn)行正弦位置編碼即可。 與此同時，訓(xùn)練視圖的采集跨越了多個駕駛段，這些駕駛軌跡之間不可避免地存在位姿誤差。Block-NeRF 訓(xùn)練時還同時優(yōu)化每一個駕駛段的位姿偏移以降低位姿誤差帶來的影響。 街道視圖中存在汽車、行人等瞬時物體，然而場景渲染通常只關(guān)注建筑、街道等靜態(tài)結(jié)構(gòu)。文章于是使用語義分割網(wǎng)絡(luò)對訓(xùn)練視圖中的動態(tài)物體進(jìn)行掩蔽，這樣神經(jīng)輻射場就不會學(xué)習(xí)這些動態(tài)物體，而是只關(guān)注靜態(tài)場景結(jié)構(gòu)。 有時目標(biāo)視圖的相鄰 Block-NeRF 可能距離上很近，但并不在目標(biāo)視圖的視野之內(nèi)，文章在傳統(tǒng) NeRF 的兩個神經(jīng)網(wǎng)絡(luò) fσ 和 fc 之外，還增加了一個預(yù)測能見度的網(wǎng)絡(luò) fv。給定三維坐標(biāo) x 和視角 d ， fv 預(yù)測該點在給定視角下的能見度。合成多個 Block-NeRF 的渲染時，能見度低于閾值的渲染不會被用于最終的合成。訓(xùn)練時能見度可以由相應(yīng)點的透光率作為監(jiān)督目標(biāo)。

Block-NeRF 融合為提高渲染效率，渲染目標(biāo)視圖時文章僅融合： 中心點在閾值半徑內(nèi) 且平均能見值高于閾值的 Block-NeRFs 滿足這兩個條件的 Block-NeRFs 以反距離加權(quán)的方式融合渲染視圖。這里的距離選擇相機(jī)到 Block-NeRFs 的二維空間距離。這樣的融合方法既保證了渲染真實度又能夠滿足時空一致性。 為了保證不同視角下渲染的天氣、光線等外觀的一致性，文章還在推理時引入了外觀嵌入迭代優(yōu)化。給定一個 Block-NeRF 的外觀嵌入，文章在鎖定神經(jīng)網(wǎng)絡(luò)權(quán)重不變的基礎(chǔ)上，優(yōu)化相鄰 Block-NeRFs 的外觀嵌入，最大化其渲染視圖的一致性。

實驗結(jié)果

文章采集并開源了兩個數(shù)據(jù)集：San Francisco Alamo Square Dataset 和 San Francisco Mission Bay Dataset，分布包含280萬和1.2萬圖片。Alamo Square Dataset覆蓋大約 0.5km2 ，采集自3個月周期內(nèi)，包括不同光線條件和天氣的數(shù)據(jù)。Mission Bay Dataset 涵蓋的地理范圍遠(yuǎn)遠(yuǎn)小于 Alamo Square Dataset，主要被用來與 NeRF做比較。 Table 2 顯示 Block-NeRF 相較于NeRF 渲染效果更好。并且 block 數(shù)量越多越好。即便是保持神經(jīng)網(wǎng)絡(luò)總參數(shù)量不變，Block-NeRF 仍然優(yōu)于 NeRF 并且推理速度在不考慮并行計算的前提下也大大提高。

Table 1 和 Figure 7 分別定量和定性地顯示外觀嵌入、曝光輸入以及位姿優(yōu)化都對提高渲染效果有幫助。

Figure 6 顯示推理時外觀嵌入優(yōu)化可以將渲染從白天場景轉(zhuǎn)換成黑夜場景，從而更好地與基準(zhǔn) Block-NeRF 匹配，增強渲染地時空一致性。

總結(jié)

本文提出了Block-NeRF，采用 divide-and-conquer 的方法使用多個 Block-NeRFs 學(xué)習(xí)大型場景的不同分塊，最終將這些Block-NeRFs 的渲染合成目標(biāo)視圖。這樣的方法使得利用 NeRF 模型渲染城市規(guī)模的場景成為了可能。 此外 Block-NeRF 還在 mip-NeRF 的基礎(chǔ)上，引入了外觀嵌入優(yōu)化、曝光輸入和位姿細(xì)化等擴(kuò)展，以解決訓(xùn)練數(shù)據(jù)橫跨數(shù)月而導(dǎo)致的環(huán)境變化和位姿誤差。

審核編輯：郭婷