近日，上海交通大學(xué)聯(lián)合研發(fā)了一款換臉框架 SimSwap，使人臉交換的應(yīng)用更加靈活廣泛且真實(shí)度更高。以前的換臉框架要么缺乏概括任意身份的能力，要么無法保留面部表情和注視方向等屬性，這一框架能夠?qū)⑷我庠慈四樀纳矸蒉D(zhuǎn)換為任意目標(biāo)人臉，同時保留目標(biāo)人臉的屬性。

人臉交換是一項(xiàng)前景良好的智能技術(shù)。它在保持目標(biāo)人臉的特征（如表情、姿態(tài)、光照等）不變的情況下，將源人臉的特征轉(zhuǎn)換為目標(biāo)人臉。在電影行業(yè)被廣泛應(yīng)用于制造不存在的雙胞胎等畫面。讓影迷記憶最深的當(dāng)屬 2015 年 4 月 12 日上映的《速度與激情 7》中，原本于 2013 年便意外去世的保羅沃克通過換臉技術(shù)實(shí)現(xiàn)了 “重生”，圓了影迷的一個夢。

利用先進(jìn)的設(shè)備重建演員的人臉模型，重建場景的光照條件，這是大多數(shù)人無法企及的。

目前，人臉互換的主要困難有以下幾個方面：1）具有較強(qiáng)通用能力的人臉交換框架應(yīng)適用于任意人臉；2）合成后的面部的特征應(yīng)與源面孔特征相近；3）生成出來的人臉特征（如表情、姿勢、燈光等）應(yīng)與目標(biāo)人臉的特征一致。

上海交通大學(xué)的科研團(tuán)隊(duì)從兩方面入手，首先，在框架中加入一個身份注入模塊（IIM）。其次，提出弱特征匹配損失。雙管齊下，將上述問題迎刃而解。

身份注入模塊

首先，增加身份注入模塊（IIM）以實(shí)現(xiàn)算法框架的廣泛性應(yīng)用。任何臉都能使用同一算法進(jìn)行換臉，這一夢想成為現(xiàn)實(shí)。

目前，以 DeepFake 為代表的換臉框架使用編碼器 - 解碼器架構(gòu)，只能針對兩個特定的面孔進(jìn)行交換，缺乏廣泛應(yīng)用的能力。

SimSwap 通過在編碼器和解碼器之間添加額外的 ID 注入模塊來改進(jìn)該體系結(jié)構(gòu)。在特征層面將源臉的身份信息遷移到目標(biāo)臉，消除了原圖特征信息與解碼器的權(quán)重之間的相關(guān)性。

通過加入 ID 注入模塊，將原本局限于兩張?zhí)囟ㄈ四樀幕Q方法擴(kuò)展到任意人臉的互換上。且這一算法框架不用挑選特定朝向及表情的面部圖片也能實(shí)現(xiàn)換臉。每次換臉不再需要更換算法，節(jié)省了時間及財力。同一算法結(jié)構(gòu)應(yīng)用到任意人臉更換，其通用性得以實(shí)現(xiàn)。

弱特征匹配損失

在人臉交換任務(wù)中，修改應(yīng)只在五官特征部分進(jìn)行，目標(biāo)人臉的屬性（如表情、位置、燈光等）保持不變。但是，由于 SimSwap 是從整體的角度直接進(jìn)行人臉修改，包括目標(biāo)人臉的身份信息和屬性信息，屬性信息很可能受到特征嵌入的影響。

為了防止屬性失配，研究人員通過使用訓(xùn)練損失來約束它們。然而，顯式地約束所有屬性，因?yàn)樘鄬傩孕枰紤]，過程過于繁瑣。因此，SimSwap 選用一種相對簡潔的弱特征匹配損失進(jìn)行隱式約束。損失函數(shù)共有 5 項(xiàng)：身份損失、重建損失、對抗損失、梯度懲罰和弱特征匹配損失。

通過使用這種損失函數(shù)，即使沒有進(jìn)行顯式地網(wǎng)絡(luò)約束，算法框架也可以隱式地學(xué)習(xí)如何保留輸入目標(biāo)面孔的屬性。

通過與其他換臉?biāo)惴ǖ膶Ρ龋梢钥闯鱿噍^于 DeepFakes 和 FaceShifter，SimSwap 生成了可信的人臉交換結(jié)果，同時實(shí)現(xiàn)了更好的屬性保持性能。

相信在未來，通用型高保真人臉交換框架 SimSwap 因其高效低價的雙重優(yōu)勢，在影視等行業(yè)中得以充分應(yīng)用。

編輯：jq