1. Introduction

在 arxiv 瀏覽論文的時(shí)候，單獨(dú)看文章名不知道屬于 CV 哪個(gè)領(lǐng)域，懷著對(duì)一作 Liang-Chieh 敬畏的心，在摘要中掃描到 PASCAL VOC 2012 (semantic image segmentation)，瀏覽全文才明白，Google 又發(fā)大招。

Google 在 Cloud AutoML 不斷發(fā)力，相比較而言之前的工作只是在圖像分類(lèi)領(lǐng)域精耕細(xì)作，如今在圖像分割開(kāi)疆?dāng)U土，在 arxiv 提交第一篇基于 NAS（Neural network architecture）的語(yǔ)義分割模型[1]（DPC，dense prediction cell）已經(jīng)被 NIPS2018 接收，并且在 Cityscapes，PASCAL-Person-Part，PASCAL VOC 2012 取得 state-of-art 的性能（mIOU 超過(guò) DeepLabv3+）和更高的計(jì)算效率（模型參數(shù)少，計(jì)算量減少）。

Google 儼然已是圖像語(yǔ)義分割領(lǐng)域的高產(chǎn)霸主，Liang-Chieh 從 Deeplabv1- Deeplabv3+ 持續(xù)發(fā)力，還是 MobileNetV2 共同作者，如今在 NAS 領(lǐng)域開(kāi)發(fā)處女地：基于 NAS 的語(yǔ)義分割模型，性能超過(guò)之前的基于 MobileNetV2 的 Network Backbone。

2. Motivation

深度學(xué)習(xí)技術(shù)已經(jīng)成為當(dāng)前人工智能領(lǐng)域的一個(gè)研究熱點(diǎn)，其在圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域展現(xiàn)出了巨大的優(yōu)勢(shì)，并且仍在繼續(xù)發(fā)展變化。自 Google 提出 Cloud AutoML，NAS（Neural Architecture Search，神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索）也取得重大進(jìn)展，但更多的是在圖像分類(lèi)和自然語(yǔ)言處理方面的應(yīng)用。在過(guò)去的一年中，元學(xué)習(xí)（meta-learning）在大規(guī)模圖像分類(lèi)問(wèn)題上，性能已經(jīng)實(shí)現(xiàn)超越人類(lèi)手工設(shè)計(jì)的神經(jīng)網(wǎng)架構(gòu)。

基于 NAS 的圖像分類(lèi)遷移到高分辨率的圖像處理（語(yǔ)義分割、目標(biāo)識(shí)別、實(shí)例分割）有很大的挑戰(zhàn)：(1)神經(jīng)網(wǎng)絡(luò)的搜索空間和基本運(yùn)算單元有本質(zhì)不同。(2)架構(gòu)搜索必須固有地在高分辨率圖像上運(yùn)行，因此不能實(shí)現(xiàn)從低分辨率圖像訓(xùn)練模型遷移到高分辨率圖像。

論文首次嘗試將元學(xué)習(xí)應(yīng)用于密集圖像預(yù)測(cè)（本人理解就是像素級(jí)圖像分割）。語(yǔ)義分割領(lǐng)域一般使用 encoder-decoder 模型，空間金字塔結(jié)構(gòu)，空洞卷積等，目標(biāo)是實(shí)現(xiàn)構(gòu)建高分辨率圖像的多尺度特征，密集預(yù)測(cè)像素級(jí)標(biāo)簽。論文利用這些技術(shù)構(gòu)建搜索空間，同時(shí)構(gòu)建計(jì)算量少、處理簡(jiǎn)單的代理任務(wù)，該任務(wù)可為高分辨率圖像提供多尺度架構(gòu)的預(yù)測(cè)信息。

論文提出的模型在 Cityscapes dataset 驗(yàn)證測(cè)試，取得 82.7% mIOU，超過(guò)人類(lèi)手工設(shè)計(jì)模型 0.7%。在 person-part segmentation 和 VOC 2012 也取得 state-of-art 性能。

3. Architecture

深度學(xué)習(xí)在感知任務(wù)中取得的成功主要?dú)w功于其特征工程過(guò)程自動(dòng)化：分層特征提取器是以端到端的形式從數(shù)據(jù)中學(xué)習(xí)，而不是手工設(shè)計(jì)。然而，伴隨這一成功而來(lái)的是對(duì)架構(gòu)工程日益增長(zhǎng)的需求，越來(lái)越多的復(fù)雜神經(jīng)架構(gòu)是由手工設(shè)計(jì)的。算法工程師一般自我調(diào)侃“煉丹師”，就是因?yàn)槌瑓?shù)的設(shè)計(jì)選取存在太多偶然性，是一門(mén)玄學(xué)，沒(méi)有明顯的規(guī)律性。

Neural Architecture Search (NAS) 是一種給定模型結(jié)構(gòu)搜索空間的搜索算法，代表機(jī)器學(xué)習(xí)的未來(lái)方向。NAS 是 AutoML 的子領(lǐng)域，在超參數(shù)優(yōu)化和元學(xué)習(xí)等領(lǐng)域高度重疊。NAS 根據(jù)維度可分為三類(lèi)：搜索空間、搜索策略和性能評(píng)估策略。

3.1 搜索空間

搜索空間原則上定義了網(wǎng)絡(luò)架構(gòu)。在圖像分類(lèi)任務(wù)中分為三類(lèi)：鏈?zhǔn)郊軜?gòu)空間、多分支架構(gòu)空間、Cell/block 構(gòu)建的搜索空間。

論文提出了基于 Dense Prediction Cell （DPC）構(gòu)建的遞歸搜索空間，對(duì)多尺度上下文信息編碼，實(shí)現(xiàn)語(yǔ)義分割任務(wù)。

圖 1 DPC 模型架構(gòu)

DPC 由有向無(wú)環(huán)圖（directed acyclic graph ，DAG）表示，每個(gè) Cell 包含 B 個(gè)分支，每個(gè)分支映射輸入到輸出的張量。每個(gè) Cell 的操作類(lèi)型包括 1x1 卷積，不同比率的 3x3 空洞卷積，不同尺寸的均值空間金字塔池化。

圖 2 3x3 空洞卷積比率類(lèi)型

根據(jù)論文提供的操作方式，3x3 空洞卷積有 8x8，均值空間金字塔池化有 4x4 操作，即操作函數(shù)共有 1+8*8+4*4=81 種類(lèi)型，對(duì)于 B 分支的 Cell，搜索空間為 B!*81B，當(dāng) B=5，搜索空間為 5！*815≈4.2*1011。

3.2 搜索策略

搜索策略定義了使用怎樣的算法可以快速、準(zhǔn)確找到最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)配置。

機(jī)器學(xué)習(xí)模型超參數(shù)調(diào)優(yōu)一般認(rèn)為是一個(gè)黑盒優(yōu)化問(wèn)題，所謂黑盒問(wèn)題就是我們?cè)谡{(diào)優(yōu)的過(guò)程中只看到模型的輸入和輸出，不能獲取模型訓(xùn)練過(guò)程的梯度信息，也不能假設(shè)模型超參數(shù)和最終指標(biāo)符合凸優(yōu)化條件。

自動(dòng)調(diào)參算法一般有 Grid search（網(wǎng)格搜索）、Random search（隨機(jī)搜索），還有 Genetic algorithm（遺傳算法）、Paticle Swarm Optimization（粒子群優(yōu)化）、Bayesian Optimization（貝葉斯優(yōu)化）、TPE、SMAC 等方式。

論文采用隨機(jī)搜索的方式，基于 Google Vizier 實(shí)現(xiàn)[3]。Github 上有開(kāi)源實(shí)現(xiàn)的 advisor[4]（非Google 開(kāi)源，第三方），包括隨機(jī)搜索，網(wǎng)格搜索，貝葉斯優(yōu)化等調(diào)參算法實(shí)現(xiàn)，感興趣可以關(guān)注一下。

3.3 性能評(píng)估策略

因?yàn)樯疃葘W(xué)習(xí)模型的效果非常依賴于訓(xùn)練數(shù)據(jù)的規(guī)模，通常意義上的訓(xùn)練集、測(cè)試集和驗(yàn)證集規(guī)模實(shí)現(xiàn)驗(yàn)證模型的性能會(huì)非常耗時(shí)，例如 DPC 在 Cityscapes dataset 上訓(xùn)練，使用 1 個(gè) P100 GPU 訓(xùn)練候選架構(gòu)（90 迭代次數(shù)）需要一周以上時(shí)間，所以需要一些策略去做近似的評(píng)估，同時(shí)滿足快速訓(xùn)練和可以預(yù)測(cè)大規(guī)模訓(xùn)練集的性能。

圖像分類(lèi)任務(wù)中通常在低分辨率圖像中訓(xùn)練模型，再遷移到高分辨率圖像模型中。但是圖像分割需要多尺度上下文信息。論文提出設(shè)計(jì)代理數(shù)據(jù)集：（1）采用較小的骨干網(wǎng)絡(luò)（network backbone），（2）緩存主干網(wǎng)絡(luò)在訓(xùn)練集生成的特征圖，并在其基礎(chǔ)上構(gòu)建單個(gè) DPC。（個(gè)人理解應(yīng)該是權(quán)值共享的方式）。（3）訓(xùn)練候選架構(gòu)時(shí)提前終止（實(shí)驗(yàn)中占用 30K 迭代訓(xùn)練每個(gè)候選架構(gòu)）。

論文采用以上策略，在 GPU 上訓(xùn)練只運(yùn)行 90 分鐘，相比一周的訓(xùn)練時(shí)間大幅度縮短。

在架構(gòu)搜索后，論文對(duì)候選架構(gòu)進(jìn)行 reranking experiment，精準(zhǔn)測(cè)量每個(gè)架構(gòu)在大規(guī)模數(shù)據(jù)集的性能。reranking experiment 中，主干網(wǎng)絡(luò)經(jīng)過(guò)微調(diào)和訓(xùn)練完全收斂，生成的最優(yōu)模型作為最佳 DPC 架構(gòu)。

4. Experiment&Result

論文在場(chǎng)景理解（Cityscapes），人體分割（PASCAL- Person-Part），語(yǔ)義分割（PASCAL VOC 2012）對(duì)比展示 DPC 模型的性能。主干網(wǎng)絡(luò)在 COCO 數(shù)據(jù)集預(yù)訓(xùn)練，訓(xùn)練學(xué)習(xí)率采用多項(xiàng)式學(xué)習(xí)率，初始化為 0.01，裁剪圖像，fine-tuned BN 參數(shù)（batch size=8，16）。評(píng)測(cè)和架構(gòu)搜索中，圖像尺寸采用單一類(lèi)型。對(duì)比其他 state-of-the-art 系統(tǒng)時(shí)，通過(guò)對(duì)給定圖像的多個(gè)縮放進(jìn)行平均來(lái)執(zhí)行評(píng)估。

論文使用提出的 DPC 架構(gòu)搜索空間，在 Cityscapes 部署生成的代理任務(wù)，370 個(gè) GPU 在一周時(shí)間中評(píng)估 28K 個(gè) DPC 架構(gòu)。論文采用 MobileNet-v2 主干網(wǎng)絡(luò)對(duì)整個(gè)模型進(jìn)行微調(diào)，選擇前 50 個(gè)架構(gòu)進(jìn)行重新排序。

論文中圖 5 、圖 6 展示了頂級(jí) DPC 架構(gòu)的示意圖。在圖 5b 每個(gè)分支（通過(guò) 1*1 卷積）的 L1 正則化權(quán)重，我們觀察到具有 3×3 卷積（速率= 1×6）的分支貢獻(xiàn)最大，而具有大速率（即較長(zhǎng)背景）的分支貢獻(xiàn)較少。換句話說(shuō)，來(lái)自更接近（即最終空間尺度）的圖像特征的信息對(duì)網(wǎng)絡(luò)的最終輸出貢獻(xiàn)更多。相反，性能最差的 DPC（圖 6c）不保留精細(xì)空間信息，因?yàn)樗谌謭D像池操作之后級(jí)聯(lián)四個(gè)分支。

論文實(shí)驗(yàn)中，表 1，表 2，表 3分別對(duì)應(yīng)在場(chǎng)景理解（Cityscapes），人體分割（PASCAL- Person-Part），語(yǔ)義分割（PASCAL VOC 2012）的模型性能，DPC 在各個(gè)數(shù)據(jù)集取得 state-of-art 性能。

5. Discussion

1、論文提出的 DPC 架構(gòu)基于 Cell 構(gòu)建的搜索空間，每個(gè) Cell 有語(yǔ)義分割采用經(jīng)典的空洞卷積，空間金字塔池化，1x1 卷積，在 mIOU 實(shí)現(xiàn) state-of-art 水準(zhǔn)。

2、論文的搜索策略采用隨機(jī)搜索，評(píng)價(jià)指標(biāo)也只有 mIOU，相比 Google 另一篇論文 MnasNet，在準(zhǔn)確率和推斷時(shí)間上均有顯著提高。

3、論文摘要選擇只需要一半的參數(shù)和一半的計(jì)算效率，但是只在論文的表 1 即 Cityscapes 數(shù)據(jù)集對(duì)比了 MobileNet-v2 和 modified Xception 的實(shí)現(xiàn)方式，其他數(shù)據(jù)集沒(méi)有體現(xiàn)計(jì)算效率的優(yōu)越性。論文架構(gòu)搜索和訓(xùn)練時(shí)的目標(biāo)函數(shù)沒(méi)有計(jì)算效率的體現(xiàn)。

Additionally, the resulting architecture is more computationally efficient, requiring half the parameters and half the computational cost as previous state of the art systems

4、作為 Google 在語(yǔ)義分割領(lǐng)域的開(kāi)山之作，目測(cè)會(huì)有一大批基于 NAS 實(shí)現(xiàn)的目標(biāo)檢測(cè)、實(shí)例分割的優(yōu)秀論文，NAS 應(yīng)用到工業(yè)界產(chǎn)品指日可待。

5、語(yǔ)義分割是一種廣義上的圖像分類(lèi)（對(duì)圖像的每個(gè)像素進(jìn)行分類(lèi)），和圖像分類(lèi)在搜索空間有很多相似之處，但是目標(biāo)檢測(cè)需要 Region Proposal，Bounding-Box Regression 等，增加搜索空間的難度，NAS 在目標(biāo)檢測(cè)領(lǐng)域可能還需要很長(zhǎng)一段路要走。