今日,新華社音視頻部、新華社貴州分社聯(lián)合出品的微電影《橋下人家》上線,網(wǎng)易云音樂音視頻實(shí)驗(yàn)室鯨云AI為該片提供獨(dú)家視頻配樂解決方案,這也是鯨云AI編曲首個在視頻配樂場景上的實(shí)際應(yīng)用。

貴州西部的烏蒙山,是典型的喀斯特地貌發(fā)育帶,溝壑險峻、溶洞叢生,山脈之中的北盤江將云貴兩地隔絕開來,長期以來,這給當(dāng)?shù)卮迕竦某鲂信c安全帶來極大困擾。而“世界最高橋”北盤江大橋的建成通車,使得天塹變通途,不僅打通了村民們的出山路,更拓寬了當(dāng)?shù)卮迕癜l(fā)展致富的思路和門路。微電影《橋下人家》便取材于當(dāng)?shù)卣鎸?shí)的人物和事件,以主人公小馬哥和其他村民的親身經(jīng)歷來表現(xiàn)北盤江大橋的建設(shè)給當(dāng)?shù)卮迕駧淼木薮笞兓?反映出黨的十八大以來,黨和國家事業(yè)取得的歷史性成就與變革。

影片中小馬哥的人物原型為貴州省六盤水市水城區(qū)都格鎮(zhèn)龍井社區(qū)村民馬選軍,片中其他人物如羊倌、幺妹等也均由當(dāng)?shù)卮迕癖救吮旧鲅荨?

據(jù)了解,由于網(wǎng)易云音樂音視頻實(shí)驗(yàn)室的AI編曲能力可以實(shí)現(xiàn)高匹配、快響應(yīng)的AI編曲創(chuàng)作,與《橋下人家》這部作品時間緊、任務(wù)重的后期制作要求不謀而合。網(wǎng)易云音樂鯨云AI針對配樂難點(diǎn)提供了獨(dú)特的AI創(chuàng)作解決方案,通過影片小樣、文字腳本理解視頻內(nèi)容,搭配與視頻情節(jié)、人物情緒、環(huán)境氛圍契合的音樂,包括關(guān)鍵幀的卡點(diǎn)、進(jìn)出場以及轉(zhuǎn)場的音樂裁剪等。

在技術(shù)實(shí)現(xiàn)中,鯨云AI配樂技術(shù)運(yùn)用視頻幀率檢索技術(shù),對視頻中的動態(tài)差異較大的相關(guān)段落進(jìn)行精準(zhǔn)標(biāo)記,以此確定關(guān)鍵時間節(jié)點(diǎn),通過時間點(diǎn)的串聯(lián)來確定視頻整體的動態(tài)曲線。之后根據(jù)視頻的標(biāo)簽主題來定位視頻整體調(diào)性,也包括情緒的大致范圍,加上之前所得的視頻動態(tài)曲線,結(jié)合定位出該視頻配樂的音樂復(fù)雜度曲線。之后運(yùn)用AI伴奏技術(shù),輸入確定好的主題,自動渲染出與該主題適合的BGM。

以微電影《橋下人家》AI配樂為例,該BGM充分考慮了影片情節(jié)的動態(tài)發(fā)展和人物的情緒變化,加入音樂復(fù)雜度曲線之后,還通過修改配器、旋律、和弦、節(jié)奏、風(fēng)格等元素達(dá)到與影片貼合匹配的效果。

由于機(jī)器端到端一鍵生成總有不夠完美之處,AI伴奏的編輯界面還為創(chuàng)作者提供了實(shí)時修改編輯和弦進(jìn)行、旋律線、節(jié)奏等功能,甚至提供多達(dá)數(shù)十種不同的音樂風(fēng)格來實(shí)時渲染原始曲目,該界面的簡易模式更支持通過拖拽音樂復(fù)雜度曲線來完成自定義編輯。

作為一個年輕化的團(tuán)隊(duì),網(wǎng)易云音樂音視頻實(shí)驗(yàn)室的多數(shù)成員均來自海內(nèi)外知名高校和實(shí)驗(yàn)室。團(tuán)隊(duì)自成立后便基于音樂AI領(lǐng)域的需求,在技術(shù)上不斷深耕,布局覆蓋音樂內(nèi)容分析、自動編曲、AI編曲、歌聲合成、歌聲美化、音視頻互動等。此前,在國際音頻檢索領(lǐng)域的頂尖賽事MIREX中,網(wǎng)易云音樂音視頻實(shí)驗(yàn)室憑借“旋律抽取”技術(shù)奪得冠軍并刷新了世界紀(jì)錄,其提出的“魯棒”指紋算法方案也已成功上線,為網(wǎng)易云音樂所有業(yè)務(wù)提供穩(wěn)定的聲紋識別服務(wù)。而《橋下人家》影片原聲配樂屬于智能音樂生產(chǎn)的大領(lǐng)域,通過本次與新華社的合作實(shí)踐,團(tuán)隊(duì)也探索到了音畫互動的編輯交互邏輯,更加激勵團(tuán)隊(duì)成員創(chuàng)新性地完成一些技術(shù)的搭建與沉淀,為后續(xù)更多有價值的應(yīng)用場景提供難得的探索機(jī)會。

作為中國最大的音樂社區(qū)和最受年輕一代喜愛的音樂平臺,網(wǎng)易云音樂一直致力于帶給用戶最好的音樂播放體驗(yàn)。未來,網(wǎng)易云音樂將持續(xù)優(yōu)化平臺音樂內(nèi)容生態(tài)和聽歌品質(zhì),讓用戶盡情感受音樂之美。