在科技飛速發(fā)展的當(dāng)下，人工智能領(lǐng)域的每一次突破都能引發(fā)廣泛關(guān)注。2 月 6 日，字節(jié)跳動(dòng)研究團(tuán)隊(duì)正式發(fā)布全新 AI 數(shù)字人模型 OmniHuman，這一消息瞬間在行業(yè)內(nèi)掀起波瀾。

OmniHuman 是一款端到端的多模態(tài)模型，其最大亮點(diǎn)在于能夠從單張照片生成逼真全身動(dòng)態(tài)視頻，可以對(duì)任意尺寸和人物占比的單張圖片結(jié)合一段輸入的音頻進(jìn)行視頻生成，生成的人物視頻效果生動(dòng)，具有非常高的自然度。OmniHuman通過(guò)引入多模態(tài)條件驅(qū)動(dòng)和全條件訓(xùn)練策略，成功解決了人類動(dòng)畫(huà)生成領(lǐng)域長(zhǎng)期存在的數(shù)據(jù)擴(kuò)展和泛化能力問(wèn)題。

OmniHuman 采用基于 DiT 架構(gòu)的多模態(tài)運(yùn)動(dòng)條件混合訓(xùn)練策略，將擴(kuò)散模型和 Transformer 相結(jié)合，實(shí)現(xiàn)高質(zhì)量圖像生成和細(xì)節(jié)精準(zhǔn)控制，還能融合文本、音頻、姿勢(shì)等多模態(tài)信息。這種 “全條件” 訓(xùn)練方式，讓模型從更廣泛的數(shù)據(jù)集中學(xué)習(xí)，有效解決了傳統(tǒng)數(shù)字人模型訓(xùn)練信息單一、泛化能力不足的問(wèn)題。

從應(yīng)用層面來(lái)看，OmniHuman 有著巨大的潛力。對(duì)于個(gè)人創(chuàng)作者和 MCN 機(jī)構(gòu)，它極大降低了內(nèi)容創(chuàng)作門檻，可以快速生成虛擬主播、虛擬偶像、虛擬客服、虛擬教育等各類數(shù)字人內(nèi)容。

隨著 OmniHuman 的發(fā)布，2月7日，AI數(shù)字人概念股大幅上漲。 首都在線盤中大漲20.03%，每日互動(dòng)、恒銀科技、若羽臣漲幅均超10%，天娛數(shù)科、軟通動(dòng)力等漲幅居前。