U-Net是一種卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法，由Olaf Ronneberger、Phillip Fischer和Thomas Brox于2015年首次提出，它可以更好的分割生物醫(yī)學(xué)圖像。

一、為什么需要分割？U-Net 能提供什么？

大體說來，分割就是將一幅圖像分割為若干個(gè)部分的過程，這可以讓我們把圖像中的目標(biāo)或紋理分割出來。因此分割常常被用于遙感影像或者腫瘤檢測等應(yīng)用中。

傳統(tǒng)上有很多方法可以實(shí)現(xiàn)這一過程，例如點(diǎn)、線和邊緣檢測方法，閾值分割法，基于區(qū)域的聚類，基于像素的聚類，形態(tài)學(xué)的方法等等。目前也出現(xiàn)很多利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分割的方法，對于那些需要進(jìn)行圖像分割處理的更高級的任務(wù)，這種方法是不可或缺的。在本篇文章中，我們將仔細(xì)研究這樣一個(gè)架構(gòu)：U-Net。

我們知道，深度學(xué)習(xí)需要大量數(shù)據(jù)集來訓(xùn)練模型。但這有一定的難度，對于像目標(biāo)分類這樣問題我們常常不能提供足夠的數(shù)據(jù)量。這里的“不能”，往往意味著時(shí)間、金錢以及硬件設(shè)備。

例如，我們不可能去用手機(jī)攝像頭來收集生物醫(yī)學(xué)圖像，而是需要復(fù)雜系統(tǒng)的方法來收集；此外在數(shù)據(jù)標(biāo)記過程中，僅僅依靠開發(fā)人員/工程師是不夠的 ， 更需要大量具備專業(yè)知識和經(jīng)驗(yàn)的人員對相關(guān)圖像進(jìn)行分類，對于醫(yī)療診斷等高度專業(yè)化的領(lǐng)域尤其如此。

相比于傳統(tǒng)模型，U-Net在架構(gòu)和基于像素的圖像分割方面更成功；特別地，它在有限數(shù)據(jù)集圖像上更加有效。下面，我們通過對生物醫(yī)學(xué)圖像分析來實(shí)現(xiàn)該體系結(jié)構(gòu)。

二、U-Net 的獨(dú)特之處

我們知道，在模型中會使用池化層來對高和寬進(jìn)行降維處理，簡單來說池化就是用一個(gè)像素來代表一組元素，從而實(shí)現(xiàn)圖像降維。



最大和平均池。注意：池化可以有不同的方法，包括Max、Avg Pooling等。

?

U-Net模型結(jié)構(gòu) U-Net，如上圖所示，它的命名源自它的結(jié)構(gòu)——網(wǎng)絡(luò)結(jié)構(gòu)可視化的結(jié)果正如一個(gè)字母“U”。U-Net 由收縮路徑（左側(cè)）和擴(kuò)展路徑（右側(cè)）兩部分組成！它的特殊之處在于結(jié)構(gòu)后半部分的擴(kuò)展路徑。

此外，該網(wǎng)絡(luò)沒有使用全連接層，只采用了卷積層，每個(gè)標(biāo)準(zhǔn)的卷積層后面都緊跟著一個(gè)Relu激活函數(shù)層。

下面是conv 3×3+ReLU的具體過程：

下面是up-conv 2×2的具體過程：

需要注意，這里要在圖像四周的邊界區(qū)域中對稱地添加像素，以便可以實(shí)現(xiàn)連續(xù)分割圖像；使用這種策略，可以將圖像完全分割。此外，填充（添加像素）方法對于將U-Net模型應(yīng)用于大圖像上也具有重要意義；如果不這樣，GPU內(nèi)存容量將限制分辨率。下圖顯示了我提到的鏡像填充和分割的結(jié)果：

三、U-Net 和自編碼器的區(qū)別

為了理解UNet獨(dú)特的結(jié)構(gòu)，我們將傳統(tǒng)的分割方法“自編碼器”（autoencoder）架構(gòu)與Unet進(jìn)行簡單地比較。 在傳統(tǒng)的自動編碼器結(jié)構(gòu)中，輸入信息的大小逐層遞減。



自編碼器的模型 在這個(gè)結(jié)構(gòu)中，編碼器部分完成之后，解碼器部分開始。線性特征表示也是在解碼器部分學(xué)習(xí)的，特征的大小將逐漸增大，到了解碼器的末尾，輸出圖像大小等于輸入圖像相等。

這種體系結(jié)構(gòu)在保持輸出大小方面是理想的，但有一個(gè)問題是，它對輸入進(jìn)行線性壓縮，從而導(dǎo)致所有特性都無法傳輸?shù)钠款i。

這就是U-Net的不同之處。U-Net在解碼器部分（網(wǎng)絡(luò)的后半部分）采用反卷積，這種結(jié)構(gòu)可以克服自編碼器在特征傳遞過程中產(chǎn)生的特征丟失問題。

四、繼續(xù)學(xué)習(xí) U-Net

我們回到生物醫(yī)學(xué)圖像分割的案例。 生物醫(yī)學(xué)圖像中組織影像最常見的變化是變形（deformation）。我們可以模擬實(shí)際中的變形，通過彈性變形方法可以幫助我們擴(kuò)充數(shù)據(jù)集，從而提高學(xué)習(xí)效果。



彈性變形的可視化表示 此外，當(dāng)同一類別的某些部分相互接觸時(shí)，往往很難確定邊界。因此，推薦使用 loss 函數(shù)中具有較大權(quán)重的值，同時(shí)也先從背景中分離要分割的信息。 由DIC（Differential Interference Contrast，差分干涉對比度）顯微鏡記錄的HeLa細(xì)胞。a） 原始圖像；b） 標(biāo)記的分割結(jié)果，用不同的顏色標(biāo)識 HeLa 細(xì)胞的不同個(gè)體；c） 創(chuàng)建的分割蒙版（黑白）；d） 以像素為單位的權(quán)重?fù)p失圖，以便于網(wǎng)絡(luò)學(xué)習(xí)邊緣像素。

五、Loss函數(shù)

Loss可以通過標(biāo)準(zhǔn)二值交叉熵（binary cross-entropy）和 Dice 損失計(jì)算，這是評估生物醫(yī)學(xué)圖像分割成功與否的常用性能標(biāo)準(zhǔn)。

二值交叉熵和 Dice 損失 交并比（IoU） 是基于像素的評價(jià)標(biāo)準(zhǔn)，通常用于評估分割性能。這里考慮了目標(biāo)矩陣與結(jié)果矩陣之間的不同像素比。這個(gè)度量與Dice計(jì)算也有關(guān)。

下面是IOU的可視化：

?

下面是輸入的圖像和標(biāo)簽：



我們來看看與其他方法相比，U-Net在EM圖像分割方面的表現(xiàn)：

下面這是U-Net在PhC-U373 (a-b)和DIC-HeLa (c-d) 數(shù)據(jù)集上的分割，看起來還是比較成功的：

在這兩個(gè)數(shù)據(jù)集的結(jié)果以及與先前研究的比較如下：



當(dāng)然，分割不僅僅用于醫(yī)學(xué)圖像。地球科學(xué)或衛(wèi)星圖像的遙感系統(tǒng)也使用分割，無人駕駛系統(tǒng)也是如此。畢竟，到處都有“模式”。

六、其他應(yīng)用

1、TGS鹽鑒定挑戰(zhàn)

在地球各地區(qū)，地表下有大量的油氣和鹽層。不幸的是，很難知道大型鹽礦藏在哪里。

專業(yè)的地震成像圖需要專家來判斷是否有鹽體存在。這往往存在極大的主觀性，不同專家往往會給出不同的結(jié)果。

TGS（地質(zhì)學(xué)數(shù)據(jù)公司）有精確的地震圖像和三維成像圖，他們希望Kaggle的機(jī)器學(xué)習(xí)社區(qū)能夠創(chuàng)建一種算法來自動地、準(zhǔn)確地確定地下目標(biāo)是否是鹽，因此他們舉辦了一個(gè)TGS Salt Identification Challenge。

下面這就是U-Net在這個(gè)挑戰(zhàn)賽中成功應(yīng)用的案例：

2、地圖挑戰(zhàn)-利用分割構(gòu)建缺失地圖

利用衛(wèi)星影像確定地圖區(qū)域是U-Net另一個(gè)應(yīng)用領(lǐng)域。事實(shí)上，可以說，隨著這一領(lǐng)域的發(fā)展而出現(xiàn)的應(yīng)用將極大地促進(jìn)測繪和環(huán)境工程師的工作。 這種方法不僅適用于國防工業(yè)，也適用于城市區(qū)域規(guī)劃。例如，在建筑物檢測競賽中，U-Net取得平均精度0.943，平均靈敏度0.954的結(jié)果。



地圖挑戰(zhàn)賽中Neptune.ML的結(jié)果

3、U-Net對其他深度學(xué)習(xí)方法的啟示

U-Net對不同體系結(jié)構(gòu)以及其他計(jì)算機(jī)視覺深度學(xué)習(xí)模型也具有極大的啟發(fā)意義。 例如，ResNet的ResNet（RoR）概念就是一個(gè)例子。該結(jié)構(gòu)可定義為U-Net體系結(jié)構(gòu)的后半部分，適用于經(jīng)典殘差網(wǎng)絡(luò)中的跳躍連接（skip connections）。



原始ResNet（左）-RoR方法（右） 從經(jīng)典的ResNet模型架構(gòu)可以看出，每個(gè)藍(lán)色塊都有一個(gè)跳過連接。在RoR 方法中，通過前面的連接將新的連接從輸入添加到輸出。在ResNet中有不同版本的RoR。







審核編輯：劉清