近期，通過數(shù)字操縱（尤其是 DeepFake 方法）生成包含人臉信息的假圖像和假視頻，已成為公眾關注焦點。

「DeepFake」是一項基于深度學習的技術，通過把圖像或視頻中的人臉換成另一個人的臉，來創(chuàng)建假圖像/視頻。

該詞最早出現(xiàn)于 2017 年底，一位名為「deepfakes」的 Reddit 用戶開發(fā)了一種機器學習算法，該算法可將名人的人臉換到色情視頻中。除了偽造的色情作品以外，還有一些殺傷力更強的假內(nèi)容應用方式，比如假新聞、金融詐騙等。

因此，原本專注于通用假圖像和假視頻檢測的研究領域重新煥發(fā)了生機，轉(zhuǎn)而將更多的精力放在如何檢測圖像和視頻中的人臉操縱上。研究者對人臉操縱檢測領域的諸多努力是基于有關生物特征識別反欺騙的先前研究和數(shù)據(jù)驅(qū)動的現(xiàn)代深度學習技術展開的。學術頂會上相關研討會的數(shù)量越來越多，NIST 和 Facebook 又分別主辦了 MFC2018 和 DFDC 等競賽，這些都表明社區(qū)對假人臉檢測的興趣不斷增長。

之前，因缺乏復雜編輯工具和領域?qū)I(yè)知識、操作過程復雜且耗時，人臉操縱的數(shù)量和逼真度受到了局限。例如，該領域的早期研究《Video Rewrite: Driving Visual Speech with Audio》利用不同的音軌修改說話人的嘴唇運動（具體是通過將音軌的聲音和說話人的人臉形狀連接起來實現(xiàn)的）。

而現(xiàn)在，自動合成并不存在的人臉或者操縱圖像或視頻中的真實人臉變得更加容易，這取決于以下幾個因素：1）大型公共數(shù)據(jù)的可獲?。?）深度學習技術的進化（這免除了人工編輯步驟）。

《Synthesizing Obama: Learning Lip Sync From Audio》展示了之前技術的進化版，該研究生成了高質(zhì)量的奧巴馬演講視頻，目標視頻中奧巴馬原本的發(fā)言已被改變。

現(xiàn)在，最逼真的人臉操縱技術已經(jīng)取代了上述研究所使用的方法，它們將 CNN 與 GAN 結合起來。因此，ZAO和 FaceApp 等開源移動應用的發(fā)布，使得任何人都可以創(chuàng)建假圖像和假視頻。研究社區(qū)對這些日益復雜和逼真的操縱內(nèi)容作出了回應，目前他們正付出巨大努力來改進人臉操縱檢測方法。

本文對人臉操縱及檢測技術進行了綜述，首先我們來看人臉操縱的類型。

人臉操縱的類型

根據(jù)操縱的級別，人臉操縱技術可分為四類：人臉合成、換臉、人臉屬性操縱和人臉表情操縱，參見下圖 1：

圖 1：每個人臉操縱類別的真假圖像示例。

接下來我們按照從高級到低級的順序，介紹這四種人臉操縱類型：

人臉合成：通常利用強大的 GAN（如近期的 StyleGAN 方法）創(chuàng)建完全不存在的人臉。這些技術獲得了驚人的結果，其生成的高質(zhì)量人臉圖像栩栩如生。圖 1 展示的人臉合成樣本即通過 StyleGAN 生成；

換臉：即將一個人的臉換成另一個人的臉。該領域通常采用兩種不同的方法：1）經(jīng)典的計算機圖形學技術，如 FaceSwap；2）新型深度學習技術 DeepFake，如近期的移動應用 ZAO；

人臉屬性操縱：即修改人臉的某些屬性，如發(fā)色、膚色、性別、年齡、是否戴眼鏡等。該操縱過程通常使用 GAN 完成，如 StarGAN。該類型的典型示例是流行的移動應用 FaceApp；

人臉表情操縱：即修改人臉表情，如將一個人的面部表情遷移到另一個臉上。最流行的技術之一是 Face2Face，該技術可實時進行。近期方法展現(xiàn)出巨大潛力，可以生成高質(zhì)量的視頻，上述視頻中人物（如奧巴馬）的發(fā)言已被改變。

人臉合成

相關的操縱技術和公共數(shù)據(jù)庫

下表 1 總結了人臉合成研究中主要使用的公共數(shù)據(jù)庫。必須強調(diào)的是這些數(shù)據(jù)庫中不包含真實人臉圖像樣本。該領域研究者通常使用常見公共數(shù)據(jù)庫中的真實人臉圖像來訓練系統(tǒng)，如 CelebA [23]、FFHQ [19]、CASIA-WebFace [24] 和 VGGFace2 [25]。

表 1：人臉合成領域的公共可用數(shù)據(jù)庫。