Deepfake 真是讓人又愛又恨。

眾所周知，基于深度學(xué)習(xí)模型的 Deepfake 軟件，可以制造虛假的人臉視頻或圖像。它在影視、娛樂等行業(yè)有著廣泛的應(yīng)用場景。

但自 2017 年起，Deepfake 也開始被不良分子用來制造色情視頻——神奇女俠下海事件。據(jù)統(tǒng)計(jì)，社交網(wǎng)絡(luò)中的 Deepfake 視頻，96% 涉及色情內(nèi)容，觀看用戶數(shù)量已超過了 1.3 億。

此外，Deepfake 也開始涉足政治領(lǐng)域，被用來偽造虛假政客言論，相關(guān)數(shù)據(jù)也在逐年增長。

奧巴馬發(fā)表著與自己不相關(guān)的言論

更重要的是，隨著 Deepfake 技術(shù)的不斷升級，這些偽造視頻越來越難以分辨真假，對社會(huì)穩(wěn)定構(gòu)成了極大的威脅。

而近日，一篇刊登在 IEEE PAMI（模式分析與機(jī)器智能匯刊）的一篇論文聲稱，有新的方法能夠識別 Deepfake 視頻，準(zhǔn)確率高達(dá) 97.29%，而且還能夠發(fā)現(xiàn)制造 Deepfake 背后的生成模型。

更有意思的是，不同于常規(guī)檢測法，該論文強(qiáng)調(diào)其利用的是生物信號——心跳。

Deepfake“心跳”檢測法

這篇論文來自賓厄姆頓大學(xué)（Binghamton University）與英特爾（Intel）公司聯(lián)合組成的研究團(tuán)隊(duì)。該團(tuán)隊(duì)稱，這款 AI 工具名為 FakeCatcher，它可以通過檢測心跳在面部產(chǎn)生的細(xì)微差別來區(qū)分視頻真假。

我們知道，血管遍布人體全身，包括面部。當(dāng)心臟跳動(dòng)時(shí)會(huì)帶動(dòng)全身的血液流動(dòng)，流動(dòng)的血液會(huì)在人臉表面產(chǎn)生細(xì)微的變化，而這種變化正是研究人員區(qū)分真假視頻的關(guān)鍵。

研究人員把區(qū)分這種變化的方法稱為光體積變化描計(jì)法（Photoplethysmography，簡稱 PPG）。簡單來說，就是利用光率的脈動(dòng)變化，折算成電信號，從而對應(yīng)成心率。

這一原理與醫(yī)學(xué)脈搏血氧儀，蘋果手表以及可穿戴健身跟蹤設(shè)備檢測運(yùn)動(dòng)狀態(tài)時(shí)的心跳信號類似。

該項(xiàng)研究的前提假設(shè)是：生物信號是區(qū)分真假人臉的重要標(biāo)識。也就是說，假視頻中顯示的 “人”不會(huì)表現(xiàn)出與真實(shí)視頻中的人相似的心跳模式。

基于此，研究人員經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，Deepfake 人臉無法正常還原因血液流動(dòng)造成的微弱變化。

英特爾公司的資深研究科學(xué)家伊爾克 · 德米爾（Ilke Demir）介紹稱，

我們從臉部的不同部位提取幾個(gè) PPG 信號，并觀察了這些信號在空間維度和時(shí)間維度上的一致性。

在這里空間維度指的是面部區(qū)域，時(shí)間維度指的是心跳頻率。Demir 的意思是，通過讀取 PPG 信號和增強(qiáng)技術(shù)，還原并放大其在面部所產(chǎn)生的微弱變化，以此判斷視頻的真假。

如果是 Deepfake 視頻，所產(chǎn)生的面部效果會(huì)非常不自然。如下圖：

具體來說，F(xiàn)akeCatcher 完整的檢測過程如下：1）識別關(guān)鍵的人臉區(qū)域；2）提取生物信號（PPG）；3）利用信號轉(zhuǎn)換計(jì)算空間維度和時(shí)間維度的相關(guān)性，并在特征集和 PPG 映射中捕獲信號特征并訓(xùn)練概率；4）根據(jù)真實(shí)性概率對視頻真假進(jìn)行分類。

研究人員介紹稱，在這一過程中主要取得三個(gè)方面的進(jìn)步：

通過信號轉(zhuǎn)換公式和實(shí)驗(yàn)，驗(yàn)證了利用生物信號的空間一致性和時(shí)間一致性檢驗(yàn)視頻真假的可行性。

提出了一種新型通用的 Deepfake 檢測器。

提出了一種新的生物信號構(gòu)造圖，可用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)行真實(shí)性分類。

構(gòu)建了一個(gè)多樣化的人像視頻數(shù)據(jù)集，為虛假內(nèi)容檢測提供了一個(gè)試驗(yàn)臺。

模型精度測試結(jié)果在實(shí)驗(yàn)之前，為了更加精準(zhǔn)地評估 FakeCatcher 模型，研究人員自建一個(gè) Deepfake 數(shù)據(jù)集，該數(shù)據(jù)集來自媒體網(wǎng)絡(luò)、新聞文章和研究報(bào)告等，因此，視頻在生成模型、分辨率、壓縮、照明、縱橫比、幀速率、運(yùn)動(dòng)、姿勢、遮擋、內(nèi)容等方面的問題都是真實(shí)存在的。

該數(shù)據(jù)集包含了 142 個(gè)視頻，有 30 GB 大小。從下圖分類結(jié)果來看，F(xiàn)akeCatcher 對低分辨率、壓縮、運(yùn)動(dòng)、照明、遮擋等問題的表現(xiàn)都是魯棒性的。

上半部分為真實(shí)視頻，下半部分為 Deepfake 視頻

接下來，研究人員主要進(jìn)行了兩項(xiàng)實(shí)驗(yàn)驗(yàn)證。一是與當(dāng)前的深度學(xué)習(xí)解決方案和其他 Deepfake 檢測器進(jìn)行比較。實(shí)驗(yàn)結(jié)果如下：

其中，F(xiàn)rame 和 Face 表示分段精度，可以看出 FakeCatcher 最高，達(dá)到了 87.62%；Video 表示視頻精確度。FakeCatcher 比最好的架構(gòu)還要高出 8.85%。

需要說明的是，表中所有實(shí)驗(yàn)都是在自建數(shù)據(jù)集 DF（60% 訓(xùn)練和 40% 的測試的分割）中進(jìn)行的。

二是進(jìn)行交叉數(shù)據(jù)集驗(yàn)證，分別包括 DF、Celeb DF、FF、FF++ 和 UADFV 數(shù)據(jù)集。

第一列為訓(xùn)練數(shù)據(jù)集，第二列為測試數(shù)據(jù)集

從第 5 行和第 6 行來看，F(xiàn)akeCatcher 在小而多樣的數(shù)據(jù)集中的學(xué)習(xí)效果要比在大型且單一的數(shù)據(jù)集上更好。一方面是，DF 訓(xùn)練和 FF 測試比反過來的測試精度高出了 18.73%。另一方面是，DF 數(shù)據(jù)集大約只有 FF 數(shù)據(jù)集的 5%。從第 3 行和第 6 行來看，可以發(fā)現(xiàn)從 FF 到 FF++ 增加分集，DF 的準(zhǔn)確率提高了 16.9%。

在交叉數(shù)據(jù)集 FF++ 中，每個(gè)原始視頻包含四個(gè)合成視頻，其中每個(gè)視頻都使用不同的生成模型生成。研究人員將 FF++ 的原始視頻分割為 60% 訓(xùn)練，40% 測試。然后創(chuàng)建這些集合的四個(gè)副本，并從每個(gè)集合中刪除特定模型生成的所有樣本。

表中第 1 列，每個(gè)集合包含三個(gè)模型的 600 個(gè)真實(shí)視頻和 1800 個(gè)假視頻，以及一個(gè)模型的 400 個(gè)真實(shí)視頻和 400 個(gè)假視頻進(jìn)行測試。

從跨模型評估結(jié)果來看，除了 NeuralTextures，其他均得到了非常精確的預(yù)測。而 NeuralTextures 本質(zhì)上就是不同的生成模型。

由此，論文最后得出結(jié)論稱，基于生物信號的 Deepfake 視頻檢測器 FakeCatcher，證明了生物信號的空間維度和時(shí)間維度的一致性在 GAN-Rated 內(nèi)容中并沒有得到很好的保持。

此外，通過人臉取證實(shí)驗(yàn)并引入自建 DF 數(shù)據(jù)集中，對視頻片段、視頻的成對分離以及真實(shí)性分類方法進(jìn)行評估，分別得到了 99.39%，96% 以及 91.07% 準(zhǔn)確率。這些結(jié)果再次驗(yàn)證了 FakeCatcher 可以高精度地檢測假內(nèi)容，而不依賴視頻的生成器、內(nèi)容、分辨率以及質(zhì)量等指標(biāo)。
責(zé)任編輯：PSY