12月26日，全球頂級科技商業(yè)雜志《麻省理工科技評論》(MITTechnologyReview)英文官方網(wǎng)站報道稱，百度預(yù)訓(xùn)練模型ERNIE超越微軟和谷歌獲得自然語言處理領(lǐng)域權(quán)威數(shù)據(jù)集GLUE最高分。《麻省理工科技評論》指出，GLUE測試的滿分為100分，人類的平均得分大概在87分左右，百度ERNIE則是在業(yè)界首次突破了90分。百度的成就能夠表明多樣化的貢獻(xiàn)參與將有助于推動人工智能研究。

通用語言理解評估基準(zhǔn)GLUE是自然語言處理領(lǐng)域最權(quán)威的排行榜之一。此前，自然語言模型擅長預(yù)測即將出現(xiàn)的下一個單詞，自動完成拼寫，但卻無法理解一個小段落的連續(xù)思路。因為這些模型不能理解句子的意思，弄不清楚句子中代詞的指代關(guān)系。2018年底，谷歌推出BERT，使用“掩碼”技術(shù)更精準(zhǔn)預(yù)測文本段落的含義。

但中文語境中，人工智能對自然語言理解更難。相較于英語里的一個單詞代表一個含義，中文詞語由多個漢字組成，單個漢字在不同詞中又具備不同含義。比如靈，可以是機(jī)靈，也可以是靈魂。

2019年3月，百度發(fā)布NLP模型ERNIE破解了這一難題，通過ERNIE持續(xù)學(xué)習(xí)框架進(jìn)一步優(yōu)化了通用詞匯級知識學(xué)習(xí)和面向任務(wù)類型的預(yù)訓(xùn)練，使得ERNIE能夠掌據(jù)中文漢字構(gòu)成詞匯的方法，也更能準(zhǔn)確預(yù)測出缺失的語句內(nèi)容。而且，研究人員發(fā)現(xiàn)ERNIE在英語中也有更好的效果。

《麻省理工科技評論》指出ERNIE的重要意義不止于此，因其采用了連續(xù)培訓(xùn)的方法，在培訓(xùn)新數(shù)據(jù)和新任務(wù)的同時又不會遺忘已經(jīng)積累的知識。如此，在不怎么需要人工干預(yù)的情況下，就能夠越來越好的執(zhí)行更廣泛的任務(wù)。

短短4個月后，ERNIE再度升級。ERNIE 2.0持續(xù)學(xué)習(xí)的語義理解框架發(fā)布, 可支持增量引入不同角度的自定義預(yù)訓(xùn)練任務(wù)，通過多任務(wù)學(xué)習(xí)對模型進(jìn)行訓(xùn)練更新，每當(dāng)引入新任務(wù)時，該框架可在學(xué)習(xí)該任務(wù)的同時，還可牢記以前學(xué)到過的信息。此外，ERNIE 2.0在16項中英文任務(wù)上超越了 BERT 和 XLNet，取得SOTA效果。據(jù)悉，百度ERNIE 2.0的論文已被國際人工智能頂級學(xué)術(shù)會議AAAI-2020收錄，將于2020年2月面向行業(yè)公開展示。

(百度ERNIE 2.0原理示意圖)

從研發(fā)到落地應(yīng)用，從實現(xiàn)中文場景的突破到2.0版本的驚人表現(xiàn)，ERNIE屢創(chuàng)佳績背后離不開百度飛槳的長期產(chǎn)業(yè)實踐積累的高效率GPU分布式訓(xùn)練能力。飛槳的分布式訓(xùn)練能夠在相同硬件設(shè)備的情況下，大大縮短產(chǎn)品迭代周期，滿足深度學(xué)習(xí)模型對訓(xùn)練速度的高要求。目前，ERNIE預(yù)訓(xùn)練技術(shù)已廣泛地應(yīng)用于百度內(nèi)外多個產(chǎn)品和技術(shù)場景，在百度搜索、小度音箱、信息流推薦等一系列產(chǎn)品應(yīng)用中發(fā)揮了重要作用。

ERNIE世界性成果引發(fā)的國際媒體關(guān)注，也是中國自研技術(shù)領(lǐng)先業(yè)界的一個縮影。未來，將有越來越多ERNIE這樣的中國科技、百度這樣的中國企業(yè)，持續(xù)輸出中國AI的“戰(zhàn)斗值”