（AI云資訊消息）Adobe公司正進(jìn)軍生成式AI視頻領(lǐng)域。自今年年初以來，Adobe的Firefly視頻模型就已開始預(yù)熱，現(xiàn)在將在包括Premiere Pro在內(nèi)的一些新工具中推出，使創(chuàng)作者能夠擴(kuò)展視頻片段并從靜止圖像和文本提示中生成視頻。

第一款工具是生成式延伸，現(xiàn)已在Premiere Pro中進(jìn)行beta測(cè)試。它可以用于延長(zhǎng)略短的鏡頭的結(jié)尾或開頭，或者在拍攝過程中進(jìn)行調(diào)整，比如糾正因眼神飄移或意外動(dòng)作而產(chǎn)生的問題。

剪輯只能延長(zhǎng)兩秒鐘，因此生成性擴(kuò)展僅適用于小的調(diào)整，但它可以取代重新拍攝鏡頭以糾正細(xì)微問題的需要。擴(kuò)展的剪輯可以以720p或1080p的分辨率和24幀每秒的幀率生成。它也可以用于音頻，幫助平滑剪輯。比如它可以將音效和環(huán)境音延長(zhǎng)至多10秒。

另有兩款視頻生成工具即將在網(wǎng)絡(luò)上推出。Adobe的文本轉(zhuǎn)視頻和圖片轉(zhuǎn)視頻工具于今年9月首次亮相，現(xiàn)已作為有限的公開測(cè)試版在Firefly網(wǎng)頁應(yīng)用中推出。

文本轉(zhuǎn)視頻的工作原理與Runway和OpenAI的Sora等其他視頻生成器類似，用戶只需將所需生成的內(nèi)容的文本描述輸入其中即可。它可以模擬各種風(fēng)格，如常規(guī)的真實(shí)電影、3D動(dòng)畫和定格動(dòng)畫，生成的片段還可以通過一系列模擬攝像機(jī)控制的設(shè)置進(jìn)一步細(xì)化，這些選項(xiàng)模擬了諸如攝像角度、運(yùn)動(dòng)和拍攝距離等元素。

圖像轉(zhuǎn)視頻功能更進(jìn)一步，讓用戶在文本提示旁邊添加參考圖像，以更好地控制生成的結(jié)果。Adobe建議該功能可用于從圖像和照片中生成備播片段，或通過上傳現(xiàn)有視頻中的靜幀來幫助可視化重拍場(chǎng)景。然而，下圖的前后對(duì)比顯示，該功能實(shí)際上并不能直接替代重拍，因?yàn)樵谏傻慕Y(jié)果中可以看到一些錯(cuò)誤，如晃動(dòng)的電纜和移動(dòng)的背景等。

短期內(nèi)也不可能用這項(xiàng)技術(shù)來制作完整的電影。目前，文本轉(zhuǎn)視頻和圖片轉(zhuǎn)視頻的片段的最大長(zhǎng)度為5秒，畫質(zhì)最高為720p和24幀每秒。相比之下，OpenAI表示Sora可以生成長(zhǎng)達(dá)一分鐘的視頻同時(shí)保持視覺質(zhì)量和遵循用戶的提示，但這一功能雖然在幾個(gè)月前就已宣布，但目前尚未對(duì)公眾開放，比Adobe的工具晚了幾個(gè)月。

文本轉(zhuǎn)視頻、圖像轉(zhuǎn)視頻和生成式延伸功能都需要大約90秒的時(shí)間來生成，但Adobe表示正在開發(fā)加速模式來縮短這一時(shí)間。盡管目前存在局限，但Adobe表示其基于AI視頻模型的工具在商業(yè)上是安全的，因?yàn)樗鼈兪腔趧?chuàng)意軟件巨頭被允許使用的內(nèi)容進(jìn)行訓(xùn)練的?？紤]到其他供應(yīng)商如Runway的模型被指控訓(xùn)練數(shù)據(jù)來自數(shù)千個(gè)從YouTube上抓取的視頻，對(duì)于某些用戶來說，商業(yè)可行性可能是決定性的因素。

另一個(gè)好處是，使用Adobe的Firefly視頻模型創(chuàng)建或編輯的視頻可以嵌入Content Credentials，以幫助在發(fā)布到網(wǎng)上時(shí)披露AI的使用情況和所有權(quán)權(quán)利。目前這些工具還處于測(cè)試階段，但至少它們已向公眾開放——這比我們能對(duì)Open AI的Sora、Meta的Movie Gen和谷歌的Veo生成器說的要多。

Adobe在Adobe MAX大會(huì)上宣布了AI視頻發(fā)布功能，還在其創(chuàng)意應(yīng)用程序中推出了一系列基于AI的功能。