2020年12月31日晚,“美好有你”2021年浙江衛(wèi)視跨年晚會精彩上演。網易互娛AI Lab與可以傳媒聯(lián)合打造的數(shù)字女孩“萬一”,在晚會中首次驚艷亮相,其逼真細膩的表情和靈動自然的神態(tài)變化,令人眼前一亮。以數(shù)字人物替代真人進行節(jié)目演出,將炫酷的虛擬偶像技術與大膽的內容創(chuàng)意相結合,日漸成熟的AI制作技術,為即時性、現(xiàn)場感強的直播類晚會帶來了一種全新的呈現(xiàn)模式。

在浙江衛(wèi)視跨年晚會中穿插的四條下節(jié)預告VCR中,萬一化身AR世界里的虛擬助手,出演了在跨年夜這天與四個人物之間發(fā)生的小故事。雖然是數(shù)字人,但萬一的形態(tài)堪比真人。從表情上看,這個青春可愛的女孩高度還原了真人的神態(tài),她的眼神、唇動、眉毛、甚至法令紋等表情變化都細致入微。說話時,她的每一個字都能精準匹配相應的口型。在不同的語境下,不論是天真機靈、嘟嘴生氣,還是驚訝好奇的多種情緒變化,萬一都能生動演繹、精準表達。而這一切,都離不開網易互娛AI Lab的AIxFace面部動捕技術的強力支撐。

通過AIxFace實現(xiàn)的萬一表情特寫

AIxFace是網易互娛AI Lab開發(fā)的輕量級面部動捕系統(tǒng),不同于傳統(tǒng)的面部動捕技術,AIxFace無需復雜專業(yè)的動作捕捉場地和設備,也不需要設置任何面部標記點,只需要一個單目攝像頭,就可以實時將演員的面部表情遷移到數(shù)字女孩萬一的臉上,并實現(xiàn)舌頭、視線、口型等表情細節(jié)變化的精準跟蹤。虛擬偶像的面部表情向來是粉絲衡量其表現(xiàn)力的重要標準,然而為了實現(xiàn)高水準的神態(tài)變化,其耗費的技術成本通常比較高昂,這也是虛擬偶像行業(yè)的關鍵門檻之一。借助AIxFace,萬一的表情動畫在動捕階段就可以基本實時展現(xiàn)出最終的效果,這能夠大幅節(jié)省制作時間和成本,給后期渲染等環(huán)節(jié)預留更多的空間,最終達到晚會所呈現(xiàn)的動畫效果。

AIxFace面部動捕技術效果展示

(眼神、眉動、法令紋、嘴型變化跟蹤)

除了動畫制作,AIxFace憑借其實時驅動的特性,還能夠幫助虛擬偶像真正“打破次元壁”。過去,由于技術局限,傳統(tǒng)的虛擬偶像即便可以通過全息技術進行線下演出,但也難以根據實況與粉絲進行互動。通過AIxFace,虛擬偶像可實現(xiàn)在直播等場景與觀眾實時互動,在與粉絲拉近距離的同時能確保準確而傳神的表情變化,增強情緒的感染力和真實感。在萬一項目之前,AIxFace已成功幫助多個虛擬人物實現(xiàn)直播互動,例如《第五人格》Bilibili禿禿杯游戲決賽的虛擬偵探主播,首秀即突破60萬人氣值。

《第五人格》Bilibili“禿禿杯”虛擬偵探直播

(AIxFace實現(xiàn)眼神、口型的精準跟蹤)

網易互娛AI Lab成立于2017年,是游戲行業(yè)領先的人工智能實驗室,除了致力于游戲場景下的AI落地研究以外,同時也提供虛擬偶像相關的人工智能技術支持,如面部表情動捕、視頻動捕和音樂自動生成舞蹈動畫等。網易互娛AI Lab希望通過領先的人工智能技術不斷提升虛擬偶像內容生成的智能化程度,進一步增強虛擬偶像的精細度、真實感和交互能力,從而促進其商業(yè)模式逐漸走向多元化。未來,虛擬偶像不僅可以活躍在當下已非常普遍的影視、游戲、直播領域,也能夠逐漸擴展至金融、教育、醫(yī)療等更加廣闊的應用場景。