FAIR何愷明團(tuán)隊(duì)最新論文提出“全景FPN”，聚焦于圖像的全景分割任務(wù)，將分別用于語義分割和實(shí)例分割的FCN和Mask R-CNN結(jié)合起來，設(shè)計(jì)了Panoptic FPN。該方法可能成為全景分割研究的強(qiáng)大基線。

Facebook人工智能實(shí)驗(yàn)室(FAIR)何愷明等人團(tuán)隊(duì)在arXiv發(fā)布最新論文：Panoptic Feature Pyramid Networks。

論文聚焦于“全景分割”，在架構(gòu)級別將分別用于語義分割和實(shí)例分割的FCN和Mask R-CNN結(jié)合起來，設(shè)計(jì)了一個單一的網(wǎng)絡(luò)：Panoptic FPN。

作者表示，實(shí)驗(yàn)證明Panoptic FPN對語義分割和實(shí)例分割這兩個任務(wù)都有效，同時(shí)兼具穩(wěn)健性和準(zhǔn)確性。鑒于其有效性和概念的簡單性，該方法有望成為一個強(qiáng)大的baseline，成為全景分割后續(xù)進(jìn)展的基礎(chǔ)。

雖然在概念上很簡單，但設(shè)計(jì)一個在這兩個任務(wù)都能實(shí)現(xiàn)高精度的單一網(wǎng)絡(luò)是具有挑戰(zhàn)性的，因?yàn)檫@兩個任務(wù)的最佳性能方法存在許多差異。

Panoptic FPN在COCO和Cityscapes上的結(jié)果

對于語義分割，通過擴(kuò)張卷積(dilated convolutions)增強(qiáng)的FCN是最優(yōu)的。對于實(shí)例分割，具有特征金字塔(FPN)骨架的region-based Mask R-CNN在最近的圖像識別競賽中被用作所有高分網(wǎng)絡(luò)的基礎(chǔ)。

考慮到這些方法在架構(gòu)上的差異，在為這兩個任務(wù)設(shè)計(jì)單個網(wǎng)絡(luò)時(shí)，可能需要在實(shí)例分割或語義分割上犧牲準(zhǔn)確性。但是，F(xiàn)AIR團(tuán)隊(duì)提出一種簡單、靈活且有效的架構(gòu)，可以使用一個同時(shí)生成region-based輸出(實(shí)例分割)和dense-pixel輸出(語義分割)的單一網(wǎng)絡(luò)來保證這兩個任務(wù)的準(zhǔn)確性。

在對每個任務(wù)單獨(dú)進(jìn)行訓(xùn)練時(shí)，該方法在COCO和Cityscapes上的實(shí)例分割和語義分割都取得了很好的效果。實(shí)例分割接近Mask R-CNN，語義分割的精度與最新的DeepLabV3+相當(dāng)。

接下來，我們將具體介紹Panoptic FPN的架構(gòu)和實(shí)驗(yàn)結(jié)果。

全景特征金字塔網(wǎng)絡(luò)Panoptic FPN

Panoptic FPN是一個簡單的、單網(wǎng)絡(luò)的baseline，它的目標(biāo)是在實(shí)例分割和語義分割以及它們的聯(lián)合任務(wù)：全景分割上實(shí)現(xiàn)最高性能。

設(shè)計(jì)原則是：從具有FPN的Mask R-CNN開始，進(jìn)行最小的修改，生成一個語義分割的dense-pixel 輸出(如圖1所示)。

模型架構(gòu)

圖1：Panoptic FPN的架構(gòu)

(a)特征金字塔網(wǎng)絡(luò) (b)實(shí)例分割分支 (c)語義分割分支

特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network)：首先簡要回顧一下FPN。FPN采用一個具有多空間分辨率特征的標(biāo)準(zhǔn)網(wǎng)絡(luò)(如ResNet)，并添加一個具有橫向連接的自上而下的通道，如圖1a所示。自上而下的路徑從網(wǎng)絡(luò)的最深層開始，并逐步向上采樣，同時(shí)添加自底向上路徑的高分辨率特性的轉(zhuǎn)換版本。FPN生成一個金字塔，通常具有1/32到1/4的分辨率，其中每個金字塔級別具有相同的通道維度(默認(rèn)是256)。

實(shí)例分割分支：FPN的設(shè)計(jì)，特別是對所有金字塔級別使用相同的通道維數(shù)，使得附加基于區(qū)域的對象檢測器變得很容易，比如Faster R-CNN。 為了輸出實(shí)例分段，我們使用Mask R-CNN，它通過添加FCN分支來預(yù)測每個候選區(qū)域的二進(jìn)制分段Mask，從而擴(kuò)展Faster R-CNN，見圖1b。

用于增加特征分辨率的骨架架構(gòu)

Panoptic FPN：如前所述，我們的方法是使用FPN對Mask R-CNN進(jìn)行修改，實(shí)現(xiàn)像素級語義分割預(yù)測。然而，為了實(shí)現(xiàn)準(zhǔn)確的預(yù)測，該任務(wù)所使用的特性應(yīng)該：

(1)具有適當(dāng)?shù)母叻直媛剩圆东@精細(xì)的結(jié)構(gòu);

(2)編碼足夠豐富的語義，以準(zhǔn)確地預(yù)測類標(biāo)簽;

(3)雖然FPN是為目標(biāo)檢測而設(shè)計(jì)的，但是這些要求——高分辨率、豐富的、多尺度的特征——正好是FPN的特征。

因此，我們建議在FPN上附加一個簡單而快速的語義分割分支。

圖3：語義分割分支

實(shí)驗(yàn)和結(jié)果

我們的目標(biāo)是證明我們的方法，Panoptic FPN，可以作為一個簡單有效的單網(wǎng)絡(luò)baseline，用于實(shí)例分割、語義分割，以及他們的聯(lián)合任務(wù)全景分割。

因此，我們從測試語義分割方法(我們將這個單任務(wù)變體稱為Semantic FPN)開始分析。令人驚訝的是，這個簡單的模型在COCO和Cityscapes數(shù)據(jù)集上實(shí)現(xiàn)了具有競爭力的語義分割結(jié)果。

接下來，我們分析了語義分割分支與Mask R-CNN的集成，以及聯(lián)合訓(xùn)練的效果。最后，我們再次在COCO和Cityscapes數(shù)據(jù)集上展示了全景分割的結(jié)果。定性結(jié)果如表2和表6所示。

語義分割FPN

表1：語義分割FPN的結(jié)果

Cityscapes數(shù)據(jù)集：

我們首先將基線Semantic FPN與表1a中Cityscapes數(shù)據(jù)集上語義分割的現(xiàn)有方法進(jìn)行比較。我們的方法是FPN的一個最小擴(kuò)展，與DeepLabV3+[12]等經(jīng)過大量工程設(shè)計(jì)的系統(tǒng)相比，我們的方法能夠獲得強(qiáng)大的結(jié)果。

在我們的基線中，我們故意避免正交的架構(gòu)改進(jìn)，如Non-local或SE，這可能會產(chǎn)生進(jìn)一步的收益。在計(jì)算和內(nèi)存方面，Semantic FPN比典型的dilation model更輕量，同時(shí)能產(chǎn)生更高的分辨率特征(見圖4)。

圖4

COCO數(shù)據(jù)集：

我們的方法的一個早期版本贏得了2017年的COCO-Stuff 挑戰(zhàn)。結(jié)果見表1b。

多任務(wù)訓(xùn)練

我們的方法在單任務(wù)上表現(xiàn)非常好；對于語義分割，上一節(jié)的結(jié)果證明了這一點(diǎn)；對于實(shí)例分割，這是已知的，因?yàn)樵摲椒ɑ贛ask R-CNN。但是，我們是否可以在多任務(wù)環(huán)境中共同訓(xùn)練這兩項(xiàng)任務(wù)呢?

為了將我們的語義分割分支與Mask R-CNN中的實(shí)例分割分支結(jié)合起來，我們需要確定如何訓(xùn)練一個單一的、統(tǒng)一的網(wǎng)絡(luò)。以往的研究表明，多任務(wù)訓(xùn)練往往具有挑戰(zhàn)性，并可能導(dǎo)致結(jié)果精度下降。我們同樣觀察到，對于語義或?qū)嵗指睿砑虞o助任務(wù)與單任務(wù)基線相比會降低準(zhǔn)確性。

表2：多任務(wù)訓(xùn)練

表2中，ResNet-50-FPN的結(jié)果表明，使用一個簡單的語義分割損失λs，或?qū)嵗指顡p失λi，結(jié)果可以改善單任務(wù)baseline的結(jié)果。具體來說，適當(dāng)?shù)靥砑右粋€語義分割分支λs能改進(jìn)實(shí)例分割，反之亦然。這可以用來改進(jìn)單任務(wù)結(jié)果。然而，我們的主要目標(biāo)是同時(shí)解決這兩個任務(wù)，這將在下一節(jié)討論。

Panoptic FPN

測試Panoptic FPN對于全景分割的聯(lián)合任務(wù)的結(jié)果，其中網(wǎng)絡(luò)必須聯(lián)合并準(zhǔn)確的輸出 stuff和thing分割。

表3：Panoptic FPN的結(jié)果

主要結(jié)果：在表3a中，我們比較了使用相同骨架的Panoptic FPN分別訓(xùn)練的兩個網(wǎng)絡(luò)。Panoptic FPN具有相當(dāng)?shù)男阅?，但只需要一半的?jì)算量。

我們還通過比較兩個單獨(dú)的網(wǎng)絡(luò)，分別是Panoptic R101-FPN 和 R50-FPN×2，來平衡計(jì)算預(yù)算，見表3b。使用大致相等的計(jì)算預(yù)算，Panoptic FPN明顯優(yōu)于兩個獨(dú)立的網(wǎng)絡(luò)。

綜上所述，這些結(jié)果表明聯(lián)合方法是有益的，我們提出的Panoptic FPN方法可以作為聯(lián)合任務(wù)的可靠baseline。