2. 介紹

參考一篇綜述，首先介紹兩個概念：

Close Set Recognition，閉集識別：指 訓(xùn)練集中的類別和測試集中的類別是一致的，例如最常用最經(jīng)典的ImageNet-1k。所有在測試集中的圖像的類別都在訓(xùn)練集中出現(xiàn)過，沒有未知種類的圖像。從AlexNet到VGG，再到ResNet，以及最近大火的Visual Transformer，都能夠比較好的處理這一類別的任務(wù)。

Open Set Recognition，開集識別：指對一個在訓(xùn)練集上訓(xùn)練好的模型，當(dāng)利用一個測試集（該測試集的中包含訓(xùn)練集中沒有的類別）進(jìn)行測試時，如果輸入已知類別數(shù)據(jù)，輸出具體的類別，如果輸入的是未知類別的數(shù)據(jù)，則進(jìn)行合適的處理（識別為unknown或者out-of-distribution）。例如在利用一個數(shù)據(jù)集訓(xùn)練好了一個模型可以對狗和人進(jìn)行分類，而輸入一張狗的圖像，由于softmax這種方式的設(shè)定，模型可能會告訴你80%的概率為人，但顯然這是不合理的，限制了模型泛化性能提升。而我們想要的結(jié)果，是當(dāng)輸入不為貓和人的圖像（比如狗）時，模型輸出為未知類別，輸入人或貓圖像，模型輸出對應(yīng)具體的類別。

由于現(xiàn)實場景中更多的是開放和非靜態(tài)的環(huán)境，所以在模型部署中，經(jīng)常會出現(xiàn)一些沒有見過的情況，所以這種考慮開集檢測的因素，對模型的部署十分有必要。那么模型在Close set和在Open set的表現(xiàn)是否存在一定的相關(guān)性呢？下面我們來了解一份ICLR 2021的工作來嘗試?yán)斫夂吞剿鲀烧咧g的關(guān)系。

在本文中，作者重新評估一些open set識別的方法，通過探索是否訓(xùn)練良好的閉集的分類器通過分析baseline的數(shù)據(jù)集，可以像最近的算法一樣執(zhí)行。要做到這一點,我們首先研究了分類器的閉集和開集性能之間的關(guān)系。

雖然人們可能期望更強的close set分類器過度擬合到train set出現(xiàn)的類別，因此在OSR中表現(xiàn)較差。其實最簡單的方法也非常直觀，就是‘maximum softmax probability (MSP) baseline，即經(jīng)過softmax輸出的最大的概率值。而該論文展示了在close set和open set上開放集的表現(xiàn)是高度相關(guān)的，這一點是非常關(guān)鍵的。而且展這種趨勢在不同的數(shù)據(jù)集、目標(biāo)以及模型架構(gòu)中都是成立的。并在ImageNet-1k這個量級上的數(shù)據(jù)集進(jìn)行評估，更能說明該方法的有效性。

但僅僅觀察到這種現(xiàn)象，這種contribution雖然有意義，但可能也不足以支撐一篇頂會oral，所以自然要基于這一現(xiàn)象展開一些方法上的設(shè)計，來提升開集檢測的表現(xiàn)。根據(jù)這一觀察，論文提出一種通過改善close set性能的方式來進(jìn)一步提升open set上的表現(xiàn)。

具體來說，我們引入了更多的增強、更好的學(xué)習(xí)率調(diào)度和標(biāo)簽平滑等策略，這些策略顯著提高了MSP基線的close set和open set性能。我們還建議使用maximum logit score(MLS)，而不是MSP來作為開放集指標(biāo)。通過這些調(diào)整，可以在不改變模型結(jié)構(gòu)的情況下，非常有效的提升模型open set狀態(tài)下的識別性能。

3. 方法

首先就是一張非常直觀的圖，在不用的數(shù)據(jù)集上，對OSR和CSR兩個任務(wù)的表現(xiàn)進(jìn)行比較。論文首先利用標(biāo)準(zhǔn)基準(zhǔn)數(shù)據(jù)集上，選取三種有代表性的開放集識別方法，包括MSP，ARPL以及ARPL+CS。然后利用一個類似于VGG形態(tài)的的輕量級模型，在不同的分類數(shù)據(jù)集上進(jìn)行檢測。可以看到OSR和CSR兩個任務(wù)的表現(xiàn)是呈現(xiàn)出高度的正相關(guān)的。

對于理論上的證明，論文選取了模型校準(zhǔn)的角度來解讀。直觀地說，模型校準(zhǔn)的目的是量化模型是否具有感知對象類別的能力，即是否可以把低置信度的預(yù)測與高錯誤率相關(guān)聯(lián)。也就是說如果給了很低的置信度，而錯誤率又是很高的，那么就可以定義為模型沒有被很好地校準(zhǔn)。反之，則說明模型被很好地校準(zhǔn)了。

到目前為止，論文已經(jīng)證明了在單一、輕量級架構(gòu)和小規(guī)模數(shù)據(jù)集上封閉集和開放集性能之間的相關(guān)性——盡管我們強調(diào)它們是OSR文獻(xiàn)中現(xiàn)有的標(biāo)準(zhǔn)基準(zhǔn)。如上圖，論文又在在大規(guī)模數(shù)據(jù)集(ImageNet-1k)上試驗了一系列架構(gòu)。和在CIFAR-10等小數(shù)據(jù)集一致，該數(shù)據(jù)集也存在上述的現(xiàn)象。

至于，獲得更好的open set recognition上的表現(xiàn)，也就非常直接了。就是通過各種優(yōu)化方式、訓(xùn)練策略的設(shè)計，讓模型可以能夠在close set上具有更好的性能。完整的細(xì)節(jié)和用于提高封閉集性能的方法的表格明細(xì)可以在論文，以及附錄中更好地了解。

論文還提出一種新的評估close set性能的方式。以前的工作指出，開放集的例子往往比封閉集的例子具有更低的norm。因此，我們建議在開放集評分規(guī)則中使用最大對數(shù)，而不是softmax概率。Logits是深度分類器中最后一個線性層的原始輸出，而softmax操作涉及到一個歸一化，從而使輸出可以被解釋為一個概率向量的和為1。由于softmax操作將logits中存在的大部分特征幅度信息歸一化，作者發(fā)現(xiàn)logits能帶來更好的開放集檢測結(jié)果。

這種新的方式，改善了在所有數(shù)據(jù)集上的性能，并大大縮小了與最先進(jìn)方法的差距，各數(shù)據(jù)集的AUROC平均絕對值增加了13.9%。如果以報告的baseline和當(dāng)前最先進(jìn)的方法之間的差異比例來計算，這意味著平均差異減少了87.2%。MLS方法還在TinyImageNet上取得了新的領(lǐng)先優(yōu)勢，比OpenHybrid高出3.3%。

另外，作者指出，目前的標(biāo)準(zhǔn)OSRbaseline評價方式有兩個缺點：

它們都只涉及小規(guī)模的數(shù)據(jù)集；

它們?nèi)狈?gòu)成 "語義類 "的明確定義。

后者對于將開放集領(lǐng)域與其他研究問題，如out-of-distribution以及outlier的檢測，進(jìn)行區(qū)分非常重要。OSR旨在識別測試圖像是否與訓(xùn)練類有語義上的不同，而不是諸如模型對其預(yù)測不確定或是否出現(xiàn)了低層次的distribution shift。所以作者基于這兩個缺點，提出來了新的baseline用于評估open set的性能。具體關(guān)于數(shù)據(jù)集的細(xì)節(jié)，可以參考原文

4. 結(jié)論

在這篇文章中，作者給出了模型的閉集準(zhǔn)確率與開集識別能力正相關(guān)的觀點，同時通過實驗驗證了加強模型的閉集性能能夠幫助我們獲得更強的開集能力。對于 Open-Set Recognition 具有啟發(fā)意義。

審核編輯：劉清