大家好，今天要介紹的是AAAI 2024關(guān)于不良光照下NeRF新視角合成的工作Aleth-NeRF，目的在不良光照場景下（如低光照和過曝光）場景，能夠從NeRF無監(jiān)督增強并且生成正常光照的連貫3D scene。我們提出的方法可以對現(xiàn)有NeRF進行簡單改進，通過引入一個Concealing Field的概念，僅用幾行代碼就可以使得現(xiàn)有的NeRF在低光照或者過曝光的情況下，進行Novel View Synthesis重建，并且實現(xiàn)無監(jiān)督的低光增強和曝光糾正。

1. 方法概述：

本文提出了Aleth-NeRF模型來完成無監(jiān)督低光照增強&過曝糾正和Novel View Synthesis。傳統(tǒng)NeRF [1]是以觀察者視角出發(fā)，通過設(shè)定當前位置光通量的多少來定義物體，缺乏對于光照和物體的結(jié)構(gòu)，無法解釋光照變換對場景的影響 [2]，所以NeRF無法應(yīng)用于低光照和過度曝光時候的重建。非常有趣的是古希臘人也秉持著與NeRF非常接近的世界觀，古希臘人認為人的眼睛有一道視線，人們看到物體是來源于視線的累積，看不見物體是因為空氣中存在遮擋。受到古希臘視覺觀點的啟發(fā)，我們認為在黑夜看不見物體是因為空氣中存在遮擋物隱蔽場(Concealing Field)，女神Aletheia象征著真實/不隱蔽，在希臘語里意為“真相”，這也是Aleth-NeRF名字的由來。因此我們通過對NeRF框架做最小改動，在NeRF模型中引入了隱蔽場的概念，可以用來有效的解釋光照變換，在實際實現(xiàn)中只需要加入幾行代碼，不需要復(fù)雜的光照解構(gòu)，就可以使得各種NeRF框架擁有同時處理低光和過曝光的能力，分為兩組隱蔽場(voxel-wise的局部隱蔽場，以及global-wise的全局隱蔽場)。低光場景下的訓(xùn)練如上圖(c)所示，訓(xùn)練階段隱蔽場會加入到NeRF的volume rendering中參與訓(xùn)練低光照場景，在測試階段隱蔽場將會被拿開rendering出正常光照場景。過曝光場景下的訓(xùn)練如上圖(d)所示，訓(xùn)練階段正常，然而測試階段隱蔽場將會被加上用來rendering出正常光照場景。對于以上兩種場景，我們都會在訓(xùn)練階段給NeRF網(wǎng)絡(luò)以及隱蔽場加入無監(jiān)督損失函數(shù)來控制隱蔽場的生成。

2. 模型架構(gòu)：

模型的大概結(jié)構(gòu)圖如下所示：

以最經(jīng)典的原始NeRF為例，局部隱蔽場通過NeRF的MLP網(wǎng)絡(luò)產(chǎn)生，與原始NeRF的兩個輸出color和density相同，屬于voxel-wise，全局隱蔽場則是一組可學(xué)習的網(wǎng)絡(luò)參數(shù)，在每個場景下固定，屬于global-wise，兩組隱蔽場共同加入Volume Rendering中來衰退原有NeRF的Volume Rendering，通過Concealing Field的引入，Volume Rendering中的每個粒子受到前面粒子的遮蔽作用加強，我們通過Concealing Field這一假設(shè)來模擬黑暗的產(chǎn)生。與此同時，訓(xùn)練階段我們也通過添加各種無監(jiān)督損失函數(shù)來約束Concealing Field的生成，幫助我們更好的增強和修復(fù)不良光照場景。低光場景的訓(xùn)練階段會采用引入Concealing Field的Volume Rendering公式，在測試階段采用去掉Concealing Field的原有Volume Rendering公式，過曝場景則與之相反。

經(jīng)過我們的實驗發(fā)現(xiàn)， Concealing Field的生成范圍和Volume Rendering中粒子Density的范圍呈反比例關(guān)系，這意味著訓(xùn)練過程中Concealing Field更傾向于出現(xiàn)在沒有物體的地方，與我們對Concealing Field存在空氣中的假想一致。

3. 損失函數(shù)

為了保障Aleth-NeRF的無監(jiān)督增強/過曝糾正，我們額外引入了幾個損失函數(shù)來約束Concealing Fields的生成，首先我們把NeRF原有的MSE損失函數(shù)L_mse變換為L_it-mse，即在計算MSE損失之前先把圖像過一個反向Tone曲線，因為原始MSE損失中黑暗像素往往權(quán)重過小而過曝像素往往權(quán)重較大，因此先加一個反向Tone曲線可以某種程度上做一下平衡。剩余的是三個無監(jiān)督損失函數(shù)，其中包括控制總體亮度范圍(Enhance Degree)的損失函數(shù)L_de和控制對比度(Contrast Degree)的損失函數(shù)L_co，以及一個Color Constancy損失函數(shù)L_cc。通過調(diào)整控制總體亮度損失函數(shù)L_de和控制對比度損失函數(shù)L_co的超參數(shù)，也可以實現(xiàn)不同程度的增強。

4. 數(shù)據(jù)集：

關(guān)于數(shù)據(jù)集方面，我們提出了一個成對的低光照/過曝光/正常光照的multi-view數(shù)據(jù)集(LOM數(shù)據(jù)集)，以便大家進行后續(xù)研究，低光照和過曝光的圖像用于訓(xùn)練模型，正常光照的圖像用于Novel View Synthesis的驗證，相比于2D圖像增強以及視頻增強，這一任務(wù)更具挑戰(zhàn)性，因為需要在圖像增強的同時來確保生成圖像的multi-view一致性，數(shù)據(jù)集圖片如下，我們通過相機采集了五個真實世界的場景 (buu, chair, sofa, bike, shrub)，每個場景都包含有25～65張multi-view圖像，每個圖像都有三組不同曝光條件(低光照/過曝光/正常光照)。值得一提的是，此前谷歌的RAW-NeRF [3]也提供了一些真實世界的multi-view低光圖片，但是RAW-NeRF關(guān)注的更多是將ISP與NeRF渲染結(jié)合，利用RAW圖像的廣闊色域和比特數(shù)優(yōu)勢來進行渲染，而并不是RGB圖像增強，因此RAW-NeRF也沒有對應(yīng)正常光照RGB的ground truth。我們提供的LOM數(shù)據(jù)集可以從網(wǎng)站或Github上下載，概覽如下圖示：

5. 實驗結(jié)果

實驗方面，我們把原始的NeRF模型作為baseline，除此之外我們再與現(xiàn)有的2D圖像/視頻增強方法進行了對比，與增強方法進行對比時，我們設(shè)計了兩種方式，(1). 第一種是用先在低光/過曝圖像上訓(xùn)練NeRF然后在novel view synthesis階段把2D增強方法用作后處理，(2). 第二種是先用2D圖像/視頻增強方法來預(yù)處理數(shù)據(jù)集，然后在這些增強后的數(shù)據(jù)上訓(xùn)練NeRF。通過實驗我們發(fā)現(xiàn)，方式(1)的缺陷在于低質(zhì)量圖像上訓(xùn)練的NeRF本身不夠可靠，導(dǎo)致后處理增強后的結(jié)果也往往不盡如人意，容易出現(xiàn)低分辨率和模糊的情況，方式(2)的缺陷在于2D圖像/視頻增強方法往往不能保證3D multi-view的一致性，因此在不一致圖像上訓(xùn)練的NeRF也會存在問題?？偟膩碚f，Aleth-NeRF這種end-to-end的方法能夠在最終的平均指標上取得最優(yōu)效果，在3D的可視化中也能保持多視角的consistency，表格與實驗結(jié)果圖如下。：

6. 缺陷和展望：

雖然Aleth-NeRF在低光和過曝場景實現(xiàn)了較好的無監(jiān)督恢復(fù)，但是只是這一任務(wù)的初步探索，比如NeRF本身自帶的缺陷如訓(xùn)練慢和場景無法泛化等，以及Aleth-NeRF還是無法解決一些非均勻光照場景與陰影場景等，還有在一些場景中，Aleth-NeRF復(fù)原的圖像色彩存在偏差，有些過曝場景的恢復(fù)會丟失色彩等等。收到古希臘視覺理論，Aleth-NeRF提出了Concealing Fields概念，用一種簡單直觀的方式來建模黑暗，我們認為也許其他不同的黑暗建模方式也能夠取到很好的效果，更有效的低光照建模也許能夠克服Aleth-NeRF的不足。