吳曉然，聲網(wǎng)高級視頻工程師，專注于視頻編解碼及相關(guān)技術(shù)研究，個人技術(shù)興趣包括多媒體架構(gòu)、深度學(xué)習(xí)。

在AlphaGo對弈李世石、柯潔之后，更多行業(yè)開始嘗試通過機(jī)器學(xué)習(xí)優(yōu)化現(xiàn)有技術(shù)方案。其實(shí)對于實(shí)時音視頻來講，對機(jī)器學(xué)習(xí)的研究已有多年，我們曾分享過的實(shí)時圖像識別只是其中一種應(yīng)用。我們還可以利用深度學(xué)習(xí)來做超分辨率。我們這次就分享一下用于超分辨率的深度學(xué)習(xí)基本框架，以及衍生出的各種網(wǎng)絡(luò)模型，其中有些網(wǎng)絡(luò)在滿足實(shí)時性方面也有不錯的表現(xiàn)。

▌機(jī)器學(xué)習(xí)與深度學(xué)習(xí)

對于接觸機(jī)器學(xué)習(xí)與深度學(xué)習(xí)較少的開發(fā)者，可能會搞不清兩者的差別，甚至認(rèn)為機(jī)器學(xué)習(xí)就是深度學(xué)習(xí)。其實(shí)，我們用一張圖可以簡單區(qū)分這個概念。

上世紀(jì)50年代，就有人工智能的概念，后來也有一些較基礎(chǔ)的應(yīng)用，比如國際象棋。但到了70年代，由于硬件性能的制約，以及訓(xùn)練數(shù)據(jù)集的匱乏，使得人工智能經(jīng)歷了一段低谷。人工智能包括了很多，比如機(jī)器學(xué)習(xí)、調(diào)度算法、專家系統(tǒng)等。到了80年代才開始出現(xiàn)更多機(jī)器學(xué)習(xí)的應(yīng)用，比如利用算法來分析數(shù)據(jù)，并進(jìn)行判斷或預(yù)測。機(jī)器學(xué)習(xí)包括了邏輯樹、神經(jīng)網(wǎng)絡(luò)等。而深度學(xué)習(xí)，則是機(jī)器學(xué)習(xí)中的一種方法，源于神經(jīng)網(wǎng)絡(luò)。

▌超分辨率是什么？

超分辨率是基于人類視覺系統(tǒng)提出的概念。1981年諾貝爾醫(yī)學(xué)獎獲獎?wù)逥avid Hubel、Torsten Wiesel，發(fā)現(xiàn)人類視覺系統(tǒng)的信息處理方式是分層級的。第一層是原始的數(shù)據(jù)輸入。當(dāng)人看到一個人臉圖像時，首先會先識別出其中的點(diǎn)、線等邊緣。然后進(jìn)入第二層，會識別出圖像中一些基本的組成元素，比如眼睛、耳朵、鼻子。最后，會生成一個對象模型，也就是一張張完整的臉。

而我們在深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（如下圖為例），就是模仿了人類視覺系統(tǒng)的處理過程。正因此，計算機(jī)視覺是深度學(xué)習(xí)最佳的應(yīng)用領(lǐng)域之一。超分辨就是計算機(jī)視覺中的一個經(jīng)典應(yīng)用。

超分辨率是通過軟件或硬件方法，提高圖像分辨率的一種方法。它的核心思想，就是用時間帶寬換取空間分辨率。簡單來講，就是在我無法得到一張超高分辨率的圖像時，我可以多拍幾張圖像，然后將這一系列低分辨率的圖像組成一張高分辨的圖像。這個過程叫超分辨率重建。

為什么超分辨率可以通過多拍幾張圖像，就能提高圖片分辨率呢？

這牽涉到抖動。我們經(jīng)常說的拍照防抖動，其實(shí)防的是較明顯的抖動，但微小的抖動始終存在。在拍攝同一場景的每張圖像之間，都有細(xì)微差別，這些微小的抖動其實(shí)都包含了這個場景的額外信息，如果將他們合并，就會得到一張更為清晰的圖像。

有人可能會問，我們手機(jī)都能前后置兩千萬，為什么需要超分辨率技術(shù)呢？這種技術(shù)應(yīng)用場景是不是不多？

其實(shí)不是。了解攝影的人都知道。在相同的感光元器件上，拍攝的圖像分辨率越高，在感光元器件上，單個像素占的面積越小，那會導(dǎo)致通光率越低，當(dāng)你的像素密度到達(dá)一定程度后，會帶來大量噪聲，直接影響圖像質(zhì)量。超分辨率就可以解決這種問題。超分辨率有很多應(yīng)用，比如：

數(shù)字高清，通過這種方法來提高分辨率

顯微成像：合成一系列顯微鏡下的低分辨率圖像來得到高分辨率圖像

衛(wèi)星圖像：用于遙感衛(wèi)星成像，提升圖像精度

視頻復(fù)原：可以通過該技術(shù)復(fù)原視頻，例如老電影

但是，有很多情況下，我們只有一張圖像，無法拍攝多張，那么如何做超分辨率呢？這就需要用到機(jī)器學(xué)習(xí)了。比較典型的例子，就是在2017年Google 提出的一項(xiàng)“黑科技”。他們可以通過機(jī)器學(xué)習(xí)來消除視頻圖像中的馬賽克。當(dāng)然，這項(xiàng)黑科技也有一定限制，以下圖為例，它訓(xùn)練的神經(jīng)網(wǎng)絡(luò)是針對人臉圖像的，那么如果你給的馬賽克圖像不是人臉，就無法還原。

▌超分辨率神經(jīng)網(wǎng)絡(luò)原理

超分辨率神經(jīng)網(wǎng)絡(luò)（Super-Resolution CNN，SRCNN）是深度學(xué)習(xí)應(yīng)用在超分辨率領(lǐng)域的首個模型。原理比較簡單。它有三層神經(jīng)網(wǎng)絡(luò)，包括：

特征提?。旱头直媛蕡D像經(jīng)過二項(xiàng)式差值得到模糊圖像，從中提取圖像特征，Channel 為3，卷積核大小為f1*f1，卷積核個數(shù)為 n1；

非線性映射：將低分辨率圖片特征映射到高分辨率，卷積核大小1*1；

圖像重構(gòu)：恢復(fù)細(xì)節(jié)，得到清晰的高分辨率圖像，卷積核為f3*f3；

參數(shù)調(diào)節(jié)是神經(jīng)網(wǎng)絡(luò)中比較玄的部分，也是最為人詬病的部分。很多人認(rèn)為參數(shù)調(diào)節(jié)很像老中醫(yī)看病，通常缺少理論依據(jù)。在這里列出了幾個在 n1 取不同值的時候，所用的訓(xùn)練時間和峰值信噪比（PSNR，用于判斷圖片質(zhì)量的參數(shù)，越高越好）。

在訓(xùn)練中，使用均方誤差(Mean Squared Error, MSE)作為損失函數(shù)，有利于獲得較高的PSNR。

訓(xùn)練結(jié)果如何呢？在下表中，列出了幾個傳統(tǒng)方法與 SRCNN 方法的結(jié)果對比。最左一列是圖片集，右側(cè)分別列出了每個方法的所用訓(xùn)練時間和圖片峰值信噪比。可以看出，盡管有些圖片，傳統(tǒng)方法得出的結(jié)果更優(yōu)于深度學(xué)習(xí)，但是總體來講，深度學(xué)習(xí)稍勝一籌，甚至所需時間更短。

有人說一圖勝千言。那么實(shí)際圖片效果如何呢？我們可以看下面兩組圖片。每組第一張是小分辨率的原圖，后面通過不同的方法來實(shí)現(xiàn)高分辨率的大圖。相比傳統(tǒng)方法，SRCNN 的圖片邊緣更加清晰，細(xì)節(jié)恢復(fù)的更好一些。以上就是最初的超分辨率的深度學(xué)習(xí)模型。

▌9個超分辨率神經(jīng)網(wǎng)絡(luò)模型

SRCNN 是第一個超分辨率的神經(jīng)網(wǎng)絡(luò)模型。在 SRCNN 這個模型出現(xiàn)后，更多應(yīng)用于超分辨率的神經(jīng)網(wǎng)絡(luò)模型。我們以下分享幾個：

FSRCNN

相對 SRCNN，這個方法不需要對原始圖片使用二項(xiàng)式差值，可以直接對小分辨率圖像進(jìn)行處理。在提取特征值之后，縮小圖片，然后經(jīng)過 mapping、expending、反卷積層，然后得到高分辨率圖片。它好處是，縮小圖片可以降低訓(xùn)練的時間。同時，如果你需要得到不同分辨率的圖片，單獨(dú)訓(xùn)練反卷積層即可，更省時。

ESPCN

這個模型是基于小圖進(jìn)行訓(xùn)練。最后提取了 r2 個 Channel。比如說，我想將圖片擴(kuò)大到原圖的3倍，那么 r 就是縮放因子 3，Channel 為9。通過將一個像素擴(kuò)充為一個3x3的矩陣，模擬為一個像素的矩陣，來達(dá)到超分辨率的效果。

對實(shí)時視頻進(jìn)行超分辨率處理的實(shí)驗(yàn)結(jié)果也非常理想。對 1080 HD 格式的視頻進(jìn)行3倍放大，SRCNN 每幀需要0.435s，而 ESPCN 則只需0.038s。

VDSR

這是2016年獲獎的一個模型。我們做視頻編解碼的都知道，圖像之間是存在殘差的。它認(rèn)為原始的低分辨率圖片與高分辨率圖片之間，低頻分量幾乎一樣，缺失的是高頻分量，即圖片細(xì)節(jié)。那么訓(xùn)練的時候，只需要針對高頻分量進(jìn)行訓(xùn)練就行了。

所以它的輸入分為兩部分，一是將整張原圖作為一個輸入，另一部分則是對殘差進(jìn)行訓(xùn)練然后得到一個輸入，將兩者加起來就得到一張高分辨率圖像。這樣就大大加快了訓(xùn)練速度，收斂效果也更好。

DRCN

它還是分為三層。但是在非線性映射這一層，它使用了一個遞歸網(wǎng)絡(luò)，也就是說，數(shù)據(jù)循環(huán)多次地通過該層。將這個循環(huán)展開的話，等效于使用同一組參數(shù)的多個串聯(lián)的卷積層。

RED

每一個卷積層都對應(yīng)一個非卷積層。簡單來講，可以理解為是將一張圖片進(jìn)行了編碼，然后緊接著進(jìn)行解碼。它的優(yōu)勢在于解決了梯度消失的問題，而且能恢復(fù)出更干凈的圖片。它和 VDSR 有相似的思路。中間卷積層與反卷積層的訓(xùn)練是針對原始圖片與目標(biāo)圖片的殘差。最后原圖會與訓(xùn)練輸出結(jié)果相加，得到高分辨率的圖片。

DRRN

在這個模型里你可以看到DRCN、VDSR的影子。它采用了更深的網(wǎng)絡(luò)結(jié)構(gòu)來提升性能。其中有很多個圖片增強(qiáng)層。可以理解為，一張模糊的圖片，經(jīng)過多個增強(qiáng)層，一級級變得更加清晰，最終得出高清圖片。大家可以在名為tyshiwo的 Github 上找到源碼。

LapSRN

LapSRN 的特別之處在于引入了一個分級的網(wǎng)絡(luò)。每一級都只對原圖放大兩倍，然后加上殘差獲得一個結(jié)果。如果對圖片放大8倍的話，這樣處理的性能會更高。同時，在每一級處理時，都可以得到一個輸出結(jié)果。

SRDenseNet

它引入了一個 Desent Block 的結(jié)構(gòu)。上一層網(wǎng)絡(luò)訓(xùn)練出的特征值會傳遞到下一層網(wǎng)絡(luò)，所有特征串聯(lián)起來。這樣做的好處是減輕梯度消失問題、減少參數(shù)數(shù)量。而且，后面的層可以復(fù)用之前訓(xùn)練得出的特征值，不需要重復(fù)訓(xùn)練。

SRGAN

它可以利用感知損失(perceptual loss)和對抗損失(adversarial loss)來提升恢復(fù)出的圖片的。

在這個模型中有兩個網(wǎng)絡(luò)，一個是生成網(wǎng)絡(luò)，另一個是判別網(wǎng)路，前者會生成高分辨率圖片，后者則會判斷這張圖是否是原圖，如果結(jié)果為“否”，那么前者會再次進(jìn)行訓(xùn)練、生成，直到可以騙過判別網(wǎng)絡(luò)。

以上這些神經(jīng)網(wǎng)絡(luò)模型都可以應(yīng)用于視頻處理中，但實(shí)際應(yīng)用還需要考慮很多因素，比如系統(tǒng)平臺、硬件配置、性能優(yōu)化。其實(shí)，除了超分辨率，機(jī)器學(xué)習(xí)與實(shí)時音視頻有很多可結(jié)合的應(yīng)用場景，比如音視頻體驗(yàn)優(yōu)化、鑒黃、QoE 改進(jìn)等。