1. 論文信息

題目：Uncertainty Modeling for Out-of-Distribution Generalization

作者：Xiaotong Li, Yongxing Dai, Yixiao Ge, Jun Liu, Ying Shan, Ling-Yu Duan

論文鏈接：https://arxiv.org/abs/2202.03958v1

代碼鏈接：https://github.com/lixiaotong97/DSU

2. 引言

Deep neural networks 在Computer Vision領(lǐng)域取得了非常大的成功，但嚴重依賴于訓練和測試的domain遵循 identical distribution的假設(shè)。然而，這一假設(shè)在許多實際應(yīng)用中并不成立。例如，當將在晴天訓練的分割模型用于雨天和霧天環(huán)境時，或用在照片上訓練的模型識別藝術(shù)繪畫時，在這種非分布部署場景中常常可以觀察到不可避免的性能下降。

因此，以提高網(wǎng)絡(luò)在各種不可見測試域上的魯棒性為目標的領(lǐng)域泛化問題就顯得十分重要。本文就主要聚焦，如何在分布發(fā)生偏移變化的時候，讓模型仍能比較好的work。

之前的許多工作都已經(jīng)闡述了，特征數(shù)據(jù)其實算是可以比較好的建模訓練數(shù)據(jù)中抽象出來的特征。domain的feature主要是指對單個領(lǐng)域更具體但與任務(wù)目標相關(guān)性較小的信息，如物體識別中的照片風格和捕獲環(huán)境信息。因此，具有不同數(shù)據(jù)分布的域通常具有不一致的特征統(tǒng)計。所以我們只需要根據(jù) Empirical Risk Minimization的原則來最小化訓練集損失誤差就可以了。

但是其實這些之前的方法都會有一個缺陷，就是這些方法在測試階段中沒有明確考慮潛在的domain偏移引起的不確定統(tǒng)計差異。因此可能帶來模型無法處理一部分的out-of-distribution數(shù)據(jù)，而在訓練集中提供的OOD樣本數(shù)過擬合。所以，在訓練階段引入一定的uncertain statistics對于模型泛化性能的提升是非常關(guān)鍵，且有必要的。

概括來講，本文的核心idea就是：將特征的統(tǒng)計數(shù)據(jù)進行分析計算，把它建模成一個不確定的分布，在分布中特征統(tǒng)計量的根據(jù)這種uncertain進行不同的采樣，從而生成各種不同的風格的圖像，來提升模型在不同目標域的泛化性。我們提出的方法簡單而有效地緩解了domain shift引起的性能下降，并且可以很容易地集成到現(xiàn)有的網(wǎng)絡(luò)中，而不帶來額外的模型參數(shù)或loss的約束。在廣泛的視覺任務(wù)上的綜合實驗證明了該方法的優(yōu)越性，充分的實驗表明在特征統(tǒng)計中引入uncertainty可以很好地提高模型對域偏移的泛化能力。

3. 方法

首先，是對一個mini-batch中的特征進行建模：

在非分布場景下，由于域特征不同，特征統(tǒng)計量往往與訓練域不一致，不適合于非線性層和歸一化層等深度學習模塊，降低了模型的泛化能力。然而，大多數(shù)深度學習方法只將特征統(tǒng)計量視為從特征中測量出的確定性值，而沒有明確考慮到潛在的不確定統(tǒng)計差異。

由于模型固有的易受這種差異的影響，學習到的表示的泛化能力受到了限制。盡管之前一些利用特征統(tǒng)計來解決領(lǐng)域泛化問題取得了成功，但它們通常采用成對樣本的線性操作(即交換和插值)來生成新的特征統(tǒng)計量，這限制了合成變化的多樣性。

具體而言，它們的變異方向由所選參考樣本決定，這種內(nèi)部操作限制了它們的變化強度。因此，這些方法在處理現(xiàn)實世界中不同的、不確定的domain shift時是效果有限的。對于具有uncertainty的特征統(tǒng)計偏移方向的任意的test domain，如何正確建模domain的shift就是解決域泛化問題的重要任務(wù)。

這篇文章提出的方法是在建模 Domain Shifts with Uncertainty (DSU)。通過對目標域的不確定性進行建模，來解決域泛化性能有限的問題。假設(shè)特征統(tǒng)計量都服從多元高斯分布，然后計算他們的方差，把這種方差定義為不確定性：

我們得到了每個銅套的不確定性后，在原有的分布上加一定的高斯噪聲，利用重參數(shù)來建模統(tǒng)計量：

通過利用給定的高斯分布，隨機采樣可以生成不同方向和強度組合的新特征統(tǒng)計信息。然后就是利用經(jīng)典的

以上操作可以作為一個靈活的模塊集成在網(wǎng)絡(luò)的各個位置。注意，該模塊只在模型訓練期間工作，可以在測試時可以不適用。為了權(quán)衡這個模塊的強度，論文還設(shè)置了一個超參數(shù)p，表示使用這個模塊的概率，具體的算法細節(jié)描述在附錄中可以更好地參考。利用該方法，經(jīng)過不確定特征統(tǒng)計量訓練的模型對潛在的統(tǒng)計量偏移具有更好的魯棒性，從而獲得更好的泛化能力。

4. 實驗

本文提出的方法其實是和內(nèi)容無關(guān)的，所以為了說明方法的有效性和遷移性，作者在圖像分類、語義分割、實例檢索和 robustness to corruptions 等任務(wù)上都做了實驗。

首先是Multi-domain classification的PACS數(shù)據(jù)集結(jié)果，包含了畫作、卡通、照片和素描四種風格的圖像。使用標準的leave-one-domain-out 的protocal，在三種風格上訓練，在剩下一種風格上測試。

然后是在分割數(shù)據(jù)集上的表現(xiàn)：

可視化效果也非常不錯：

更多的消融實驗可以參考原文。

然后作者又利用PACS數(shù)據(jù)集，把art painting作為未知目標域，其他三種風格作為源域。作者backbone的中間特征，測量并可視化特征統(tǒng)計量的分布?？梢钥吹紻SU可以帶來更少的domain shift：

5. 結(jié)論

本文提出了一種提高網(wǎng)絡(luò)泛化能力的概率方法，通過在訓練過程中綜合特征統(tǒng)計量對領(lǐng)域偏移的不確定性進行建模。每個特征統(tǒng)計量假設(shè)遵循一個多變量高斯分布，以建模不同的domain shift。由于生成的特征統(tǒng)計量具有不同的分布的uncertainty，該模型對不同的domain shift具有更好的魯棒性。實驗結(jié)果證明了該方法在提高網(wǎng)絡(luò)泛化能力方面的有效性。

審核編輯：劉清