深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域取得了巨大成功，在分類、檢測(cè)甚至跟蹤任務(wù)上都有了巨大的進(jìn)步，可以產(chǎn)生實(shí)時(shí)的高質(zhì)量預(yù)測(cè)，但高速的實(shí)例分割的發(fā)展卻落后于目標(biāo)檢測(cè)的進(jìn)步。在目標(biāo)檢測(cè)領(lǐng)域，我們已經(jīng)擁有了高效的SSD和YOLO，但實(shí)例分割領(lǐng)域?qū)τ谀Ｐ捅憩F(xiàn)更多的重視、使得網(wǎng)絡(luò)的速度進(jìn)展緩慢。

SSD和YOLO的加速主要通過移除Faster R-CNN這類網(wǎng)絡(luò)的第二個(gè)階段，通過單階段來提升速度，并通過其他的手段來彌補(bǔ)精度的下降。但實(shí)例分割的難度遠(yuǎn)大于目標(biāo)檢測(cè)，這樣的方法不能簡(jiǎn)單的拓展到實(shí)例分割中。先進(jìn)的實(shí)例分割算法強(qiáng)烈依賴于特征的定位來預(yù)測(cè)mask，通過將特定區(qū)域的特征進(jìn)行“池化”后輸入到mask預(yù)測(cè)器中，這種串行的運(yùn)行的方法難以加速。雖然也有像FCIS等單階段的方法，但他們卻需要較為復(fù)雜的后處理操作，難以保證實(shí)時(shí)性。

為了解決這個(gè)問題、提高實(shí)例分割的速度，研究人員提出了一種快速、單階段的實(shí)例分割模型YOLACT，在單個(gè)Titan Xp上實(shí)現(xiàn)了30幀以上的實(shí)例分割速度，并在MS COCO上實(shí)現(xiàn)了約30mAP的表現(xiàn)。這種方法拋棄了先前方法中的定位步驟，將實(shí)例分割分為了兩個(gè)并行的任務(wù)：一方面在整幅圖像上生成一系列mask原型，另一方面為每個(gè)實(shí)例預(yù)測(cè)出一系列線性疊加系數(shù)。隨后對(duì)于圖中的每個(gè)實(shí)例，基于線性疊加系數(shù)對(duì)原型mask進(jìn)行組合并利用預(yù)測(cè)框進(jìn)行剪切實(shí)現(xiàn)最后的實(shí)例輸出。在此過程中，網(wǎng)絡(luò)學(xué)會(huì)了如何定位不同位置、顏色和語義實(shí)例的mask。

此外，由于mask原型的預(yù)測(cè)不依賴于類別的數(shù)量，這一模型學(xué)習(xí)到如何組合mask原型的表示可以被所用類別所共享。這種表示的學(xué)習(xí)使得原型空間可以表示圖像中不同的位置、定位實(shí)例、檢測(cè)邊緣和編碼位置敏感信息，并對(duì)這些結(jié)果進(jìn)行有效組合。

YOLACT通過并行的計(jì)算架構(gòu)和輕量化的組合過程加速了實(shí)例分割的過程，在單階段檢測(cè)基礎(chǔ)網(wǎng)絡(luò)上僅僅添加了少量的計(jì)算，使得它可以輕松達(dá)到30fps。

YOLACT預(yù)測(cè)的mask由于充分利用了圖像空間的信息，不受特征池化的影響，對(duì)于大物體預(yù)測(cè)有著明顯的提升。而這種基于mask原型和mask系數(shù)的思想可以移植到很多先進(jìn)的目標(biāo)檢測(cè)架構(gòu)上，實(shí)現(xiàn)快速精確的實(shí)例分割。

具體實(shí)現(xiàn)

先前的實(shí)例分割主要在提升精度上下功夫，Mask-RCNN是兩階段方法的代表，而單階段的方法主要基于位置敏感圖池化來實(shí)現(xiàn)實(shí)例分割，這些計(jì)算極大的限制了模型運(yùn)行的速度。而目前的實(shí)時(shí)實(shí)例分割方法要么在精度上無法與先進(jìn)的實(shí)例分割方法比擬，要么所面對(duì)的分割情形較為簡(jiǎn)單。

在這篇文章的工作中，研究人員通過在現(xiàn)有的單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)上加上mask預(yù)測(cè)分支，但去除了精確的定位步驟（eg feature repooling）。在模型中一個(gè)分支利用FCN來產(chǎn)生一系列不依賴與實(shí)例的原型mask，第二個(gè)分支則是在目標(biāo)檢測(cè)模塊后加上了預(yù)測(cè)mask系數(shù)的結(jié)構(gòu)（每個(gè) anchor），用于編碼實(shí)例在原型空間中的表示。

研究人員首先利用FCN實(shí)現(xiàn)了對(duì)于原型mask的預(yù)測(cè)。在基礎(chǔ)網(wǎng)絡(luò)特征層后添加了輸出為k通道的Protonet，它將生成k個(gè)獨(dú)立的mask原型。為了保證生成原型mask的穩(wěn)定，研究人員選用了基礎(chǔ)網(wǎng)絡(luò)中更深層的特征圖，這還有益于提高原型mask的分辨率，對(duì)于提高mask的質(zhì)量和小物體的效果有著重要的作用。

對(duì)于mask系數(shù)的預(yù)測(cè)，研究人員對(duì)現(xiàn)有的單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行了改造，為每個(gè)anchor添加了k個(gè)預(yù)測(cè)，并利用tanh對(duì)k個(gè)系數(shù)進(jìn)行操作提高穩(wěn)定性。

最后對(duì)生成的mask原型和系數(shù)進(jìn)行線性組合即可得到最終的mask。

值得一提的是，研究人員還在這一工作中實(shí)現(xiàn)了一種快速非極大值抑制方法Fast NMS，比傳統(tǒng)的方法提高了11-16ms的速度。通過基于GPU實(shí)現(xiàn)的批量排序算法和IoU計(jì)算實(shí)現(xiàn)了加速，并利用矩陣運(yùn)算和閾值找到每類需要保留的檢測(cè)結(jié)果。最后，研究人員還使用了語義分割損失在訓(xùn)練中補(bǔ)償FastNMS帶來的下降（0.1-0.3mAP）,通過在基礎(chǔ)網(wǎng)絡(luò)P3上添加1*1卷積，和sigmoid激活實(shí)現(xiàn)了0.4mAP的提升。

下表顯示了YOLACT在不同基礎(chǔ)網(wǎng)絡(luò)與輸入圖像尺寸上的表現(xiàn)，可以看到在保持較高mAP時(shí)實(shí)現(xiàn)了較快的速度。

FastNMS算法只會(huì)造成算法表現(xiàn)輕微的下降，但在速度上有較大的提升：

讓我們?cè)賮韲^一下網(wǎng)絡(luò)的表現(xiàn)，對(duì)于重疊的物體表現(xiàn)依舊優(yōu)異：

目前這一代碼已經(jīng)開源，可以在下面的地址中找到：code：https://github.com/dbolya/yolact它基于Pytorch 1.0.1實(shí)現(xiàn)，并依賴于一些額外的python包：

# Cython needs to be installed before pycocotoolspip install cython opencv-python pillow pycocotools matplotlib

直接將代碼下載到本地即可開始調(diào)試：

git clone https://github.com/dbolya/yolact.gitcd yolact

現(xiàn)在就可以開始進(jìn)行訓(xùn)練或者測(cè)試了，當(dāng)然測(cè)試之前需要先下載coco數(shù)據(jù)集

# Train setsh data/scripts/COCO.sh# Test setsh data/scripts/COCO.sh

# Display qualitative results on the specified image.python eval.py --trained_model=weights/yolact_base_54_800000.pth --score_threshold=0.3 --top_k=100 --image=my_image.png# Display qualitative results on the specified image.python eval.py --trained_model=weights/yolact_base_54_800000.pth --score_threshold=0.3 --top_k=100 --image=input_image.png:output_image.png# Process a whole folder of images.python eval.py --trained_model=weights/yolact_base_54_800000.pth --score_threshold=0.3 --top_k=100 --images=path/to/input/folder:path/to/output/folder

愉快的開始分割吧！