（AI云資訊消息）英偉達(dá)推出了一款新的生成式音頻AI模型，它可以根據(jù)用戶(hù)簡(jiǎn)單的文本和音頻提示生成各種聲音、音樂(lè)甚至語(yǔ)音。

這個(gè)模型被命名為Fugatto，又名基礎(chǔ)生成式音頻變換器Opus 1。根據(jù)11月25日的公告信息，它可以?xún)H根據(jù)文本提示生成鈴聲和歌曲片段，對(duì)現(xiàn)有曲目添加或刪除樂(lè)器和人聲，修改聲音的口音和情感，甚至讓人們創(chuàng)造出前所未有的聲音。

英偉達(dá)應(yīng)用音頻研究部門(mén)的經(jīng)理拉斐爾·瓦萊（Rafael Valle）表示，“我們希望創(chuàng)建一個(gè)能夠像人類(lèi)一樣理解和生成聲音的模型，F(xiàn)ugatto是我們朝著未來(lái)邁出的第一步，在那個(gè)未來(lái)，音頻合成和轉(zhuǎn)換的無(wú)監(jiān)督多任務(wù)學(xué)習(xí)將從數(shù)據(jù)和模型規(guī)模中涌現(xiàn)出來(lái)。”

英偉達(dá)指出，音樂(lè)制作人可以使用AI模型快速原型化和審核各種音樂(lè)風(fēng)格和不同編排的歌譜，或者為現(xiàn)有曲目添加效果和額外的音軌。Fugatto模型還可以用于適應(yīng)和本地化現(xiàn)有廣告活動(dòng)的音樂(lè)和旁白，或者在游戲玩家通過(guò)關(guān)卡時(shí)實(shí)時(shí)調(diào)整游戲音樂(lè)。

Fugatto模型甚至能夠產(chǎn)生以前聞所未聞的聲音，如咆哮的小號(hào)或喵喵的薩克斯。在此過(guò)程中，它使用了一種稱(chēng)為ComposableART的技術(shù)來(lái)組合它在訓(xùn)練期間學(xué)到的指令。

英偉達(dá)AI研究員羅漢·巴達(dá)蘭尼（Rohan Badlani）表示，“我想讓用戶(hù)以主觀或藝術(shù)的方式組合屬性，選擇他們對(duì)每個(gè)屬性的強(qiáng)調(diào)程度。在我的測(cè)試中，結(jié)果常常令人驚喜，讓我感覺(jué)自己仿佛是一位藝術(shù)家，盡管我是一名計(jì)算機(jī)科學(xué)家?！?

Fugatto模型本身使用了25億個(gè)參數(shù)，并在32個(gè)H100 GPU上進(jìn)行訓(xùn)練。像這樣的音頻AI技術(shù)正變得越來(lái)越常見(jiàn)。4月份，Stability AI推出了一個(gè)類(lèi)似的系統(tǒng)，可以生成長(zhǎng)達(dá)三分鐘的曲目，而谷歌的V2A模型則可以為任何視頻輸入生成無(wú)限數(shù)量的音軌。

YouTube最近推出了一款A(yù)I音樂(lè)混音器，它根據(jù)輸入歌曲和用戶(hù)的文本提示生成一段30秒的樣本。甚至連OpenAI也在這一領(lǐng)域進(jìn)行實(shí)驗(yàn)，今年4月推出了一款A(yù)I工具，只需15秒的樣本音頻即可完全克隆用戶(hù)的聲音和發(fā)聲模式。