幾個月前，深度學習算法deepfakes風靡社交網(wǎng)絡，引發(fā)無數(shù)網(wǎng)友將無辜女明星的臉用于合成AV。事件曝光后后，Reddit立即封禁了所有帖子，但它產(chǎn)生的惡劣影響卻令人擔憂——如今隨便一個普通人憑著一張GPU、一堆足夠多的訓練數(shù)據(jù)就能實現(xiàn)人臉替換，而且它的效果好到能超出人眼識別的范圍，那么我們該如何防止它被濫用于損害他人名譽？又或者說，我們對以后在視頻中看到的內容又該保有幾分信任？

為了解決這個問題，近日慕尼黑工業(yè)大學（TUM）等高校的研究人員制作了一個名為FaceForensics的大型人臉偽造視頻數(shù)據(jù)集，并成功用深度學習算法XceptionNet實現(xiàn)了“假臉”檢測。以下是對論文部分內容的編譯：

哪張臉是真實的臉？

摘要

隨著計算機視覺和圖像處理技術取得最新進展，現(xiàn)在我們已經(jīng)能做到在視頻中實時合成極其逼真的人臉。這項技術的背后是無限的應用空間，但其中的某些濫用行為卻為我們拉響了安全警報，因此開發(fā)一個可靠的虛假視頻檢測器迫在眉睫。

事實上，區(qū)分原始視頻和造假視頻對人和計算機來說都是一個挑戰(zhàn)，特別是在視頻被壓縮或分辨率較低的情況下，而這種視頻一般多見于社交媒體網(wǎng)站。由于缺乏足夠大的數(shù)據(jù)集，以往對人臉偽造視頻檢測的研究一直因受阻而停滯不前。為此，我們引入了一個全新的人臉偽造數(shù)據(jù)集，它包含約50萬張人臉圖像（來自1004個視頻），圖像所涉及的作偽技術都是當前最先進的，且在質量上超過現(xiàn)有同類視頻處理數(shù)據(jù)集至少一個數(shù)量級。

通過使用這個新數(shù)據(jù)集，我們提出了一種能在各種分類、剪輯、壓縮情況下對圖像進行經(jīng)典圖像取證的基準，此外，我們還提引入了基準評估，它能在現(xiàn)實基礎上創(chuàng)建已知的、難以區(qū)分的偽造模型，例如生成細化模型。

數(shù)據(jù)集FaceForensics

FaceForensics中包含的數(shù)據(jù)來自1004個視頻，它由兩個子集組成。其中第一個數(shù)據(jù)集（source-to-target）包含的是存在差異的源視頻和目標視頻，而第二個數(shù)據(jù)集（self-reenactment）則是輸入視頻后由face2face還原的視頻，即源視頻與目標視頻相同。這兩個數(shù)據(jù)集允許我們訪問合成圖像和真實圖像的真值對（ground truth pairs）。

源-目標數(shù)據(jù)集：源演員的原始輸入圖像—目標演員的原始輸入圖像—重演結果—合成期間使用的3D模型

數(shù)據(jù)搜集：所有數(shù)據(jù)都來自YouTube。我們選擇的是分辨率大于480p的視頻，它們在YouTube8m上已用“face”“newscaster”或“newsprogram”進行了標記。通過使用Viola-Jones人臉檢測器，我們從圖片中提取了包含超過300個連續(xù)幀的人臉視頻序列，之后再剪輯成果并手動放映，從中篩選出優(yōu)質的、無遮擋的視頻。

數(shù)據(jù)處理：為了處理視頻，我們使用的方法是最先進的face2face，它能完全自動重演操作，并能在不同表情條件下重新渲染視頻中的人臉。在預處理階段，我們用第一幀獲取人臉的3D模型，并在剩下的幀中跟蹤表情。為了改善個體擬合和靜態(tài)紋理估計，面部左右角度的檢測框是自動選擇的，而這在face2face里原本是手動完成的。簡而言之，通過追蹤表情，我們能實現(xiàn)個體擬合和靜態(tài)紋理估計；而通過個體重建，我們就能追蹤整個視頻來計算每一幀的表達式、rigid pose和照明參數(shù)。

這兩個數(shù)據(jù)集的目標主要有以下兩點：

驗證用當前最先進技術生成的偽造視頻在分類和分割時會有什么樣的表現(xiàn)。

能否使用生成網(wǎng)絡提高偽造質量。

偽造分類任務

偽造分類任務的目的是識別偽造圖像，它可以被看作是一個二元分類問題，逐幀處理視頻。在數(shù)據(jù)集的支持下，我們理想中的檢測算法不僅能分類高清視頻，它應該也能分類視頻被壓縮或分辨率較低的視頻。為了測試算法的性能，我們用H.264壓縮算法設置了3個視頻壓縮基線：無壓縮視頻、參數(shù)為23的低壓縮視頻和參數(shù)為40的高壓縮視頻。

各基線的清晰度對比

我們在數(shù)據(jù)集上測試了一系列CNN模型，其中包括一個基于XceptionNet CNN架構的遷移模型。首先，我們在ImageNet上事先把XceptionNet CNN訓練好，并對數(shù)據(jù)集進行微調。在微調期間，我們固定與整個神經(jīng)網(wǎng)絡前4個模塊相對應的36個卷積層，然后把最后一層替換成兩個帶輸出的全連接層，隨機初始化后進行10個epoch的訓練。

當網(wǎng)絡連續(xù)5個epoch基本保持不變后，為了優(yōu)化輸出，我們又引入了一些超參數(shù)來進行評估：Adam、學習率=0.001、β1=0.9、β2=0.999、batch-size=64。下表是我們得出的各模型分類準確率：

分類準確率：無壓縮 (no-c)；低壓縮 (easy-c)；高壓縮(hard-c)

可以發(fā)現(xiàn)，在無壓縮情況下，所有模型都表現(xiàn)良好，而隨著視頻清晰度的下降，它們的準確率也都出現(xiàn)了不同程度的下降，其中較淺的CNN表現(xiàn)尤為明顯，而XceptionNet CNN總體表現(xiàn)優(yōu)秀。事實上，這種下降是可以接受的，因為一旦視頻變得很模糊，人眼也無法作出準確的區(qū)分。

偽造分割任務

處理圖像的像素級分割是一項非常具有挑戰(zhàn)性的任務，而對于圖像取證，最有效的一種方法是根據(jù)基于相機的偽像（如傳感器噪聲，去馬賽克）。但這種方法在我們的數(shù)據(jù)集上并沒有很好的表現(xiàn)，即便是未壓縮的視頻，它的表現(xiàn)也很一般。所以我們還是得用深度學習方法，用數(shù)據(jù)集進行充分訓練。

因為XceptionNet之前在分類任務中表現(xiàn)良好，所以這里我們還是把它作為對比模型之一。在測試時，神經(jīng)網(wǎng)絡的滑動窗口以128×128像素大小移動，步長16。每個圖像塊Wi計算出操作概率的估計值p?i= CNN(Wi)，然后把它分配給中央的16×16區(qū)域。（詳細過程略）

同樣的，當網(wǎng)絡連續(xù)5個epoch基本保持不變后，我們再次引入學習率=0.001、β1=0.9、β2=0.999進行優(yōu)化。因為要將和16個原圖像、偽造圖像相關的3個原圖像塊、偽圖像塊組合訓練，這次的batch-size=96。

精度和召回率

偽造人臉分割結果

如上圖所示，這次我們沿用了之前的定量評估，發(fā)現(xiàn)隨著壓縮率的上升，各模型分割性能都出現(xiàn)了明顯下降。最終，在高壓縮視頻中，只有基于XceptionNet的模型給出了較好的輸出。

反向用于生成偽像

在我們的“偽造分類任務”中，實驗證明Face2Face可以從未壓縮的視頻中檢測到相當多的數(shù)據(jù)信息，這就產(chǎn)生了一個問題，即這個數(shù)據(jù)集是否也能用于相反的目標——進一步提升合成人訓練的逼真程度。為了證實這一點，我們用包含521,406個目標真值的第二個數(shù)據(jù)集做了一次監(jiān)督學習。

帶有skip connection的自動編碼器（AE）

作為基準，我們設計了一個帶有skip connection的自動編碼器CNN架構，它將128×128像素的圖像作為輸入，并預測具有相同分辨率的圖像（見上圖）。為了從人臉圖像中獲得有意義的特征，我們先使用VGGFace2數(shù)據(jù)集以無監(jiān)督學習的方式對自動編碼器網(wǎng)絡進行預訓練。該數(shù)據(jù)集包含9131個類別的313萬幅圖像，比我們的數(shù)據(jù)集多，但沒有經(jīng)過標記。我們禁用了skip connection，強迫神經(jīng)網(wǎng)絡完全依靠瓶頸層進行訓練。

之后，我們又對FaceForensics中的368,135個訓練圖像進行微調，并把經(jīng)過預訓練的自動編碼器網(wǎng)絡放在上面訓練。我們輸入一張假臉，把監(jiān)督學習的loss設置成1，啟用skip connection，以便網(wǎng)絡能輸出更清晰的結果。

上圖展示了我們的成果。通過拉近特寫鏡頭，可以發(fā)現(xiàn)比起Face2Face，我們改進自動編碼器后生成的圖片能顯示更多細節(jié)。Face2Face在鼻孔、鼻子、下巴和臉頰周圍會生成大量偽影，我們的方法不僅讓這些區(qū)域的線條更清晰，還修改了人臉3D模型與背景之間的過渡錯誤。同時，它還改進了Face2Face由于照明參數(shù)估計錯誤導致的偽影問題。