8月18日，王者榮耀「無限開放計(jì)劃交流會(huì)」在深圳舉辦，這是一次「造夢之旅」的開始。

王者榮耀項(xiàng)目執(zhí)行制作人黃藍(lán)梟宣布啟動(dòng)天工計(jì)劃，將王者榮耀的游戲玩法核心進(jìn)一步向外界開放，推動(dòng)游戲生態(tài)再一次進(jìn)化。該計(jì)劃將開放游戲中的地圖、角色、劇情到關(guān)卡的編輯功能，外部工作室和個(gè)人自由創(chuàng)造全新玩法，并有機(jī)會(huì)上架到游戲與玩家見面，是兩億用戶對(duì)想象力的表達(dá)。王者榮耀還會(huì)將游戲玩法和直播互動(dòng)自由結(jié)合，如開發(fā)彈幕彩蛋和自定義玩法等直播互動(dòng)新形式。

騰訊 AI Lab x 王者榮耀 x 高校

攜手共建「AI+游戲開放平臺(tái)」

騰訊 AI Lab 總監(jiān)楊巍還介紹了基于王者榮耀的「AI+游戲」開放平臺(tái)計(jì)劃。以下為演講全文，主要內(nèi)容包括行業(yè)研究現(xiàn)狀、主要研究技術(shù)方法與難點(diǎn)、騰訊AI Lab 的研究進(jìn)展、聯(lián)合王者榮耀研發(fā)「絕悟」的進(jìn)程、及未來開放計(jì)劃。

AI 研究近年成為國際科技公司必爭之地。2016年，谷歌把公司未來發(fā)展戰(zhàn)略調(diào)整為“AI First”，F(xiàn)acebook將AI視為發(fā)展核心，微軟也在2017年提出“成為AI行業(yè)領(lǐng)先者”的新愿景。

而游戲是一塊檢驗(yàn)AI能力的試金石。AI 的兩大劃時(shí)代事件都與游戲相關(guān)，一個(gè)是1997年DeepBlue戰(zhàn)勝國際象棋第一人，一個(gè)是2016年的圍棋 AI AlphaGo戰(zhàn)勝李世石。

那下一個(gè)里程碑在哪里？從頂級(jí) AI 公司DeepMind、OpenAI到微軟紛紛公布在星際爭霸和Dota 2方向上的研究進(jìn)展，答案不言而明：復(fù)雜策略游戲可能會(huì)是下一塊寶地。

其實(shí)在游戲應(yīng)用場景里，AI研究不算一個(gè)新鮮話題。幾乎所有重要游戲中都有AI的身影，這從AI+游戲的技術(shù)發(fā)展階段就能看出：

早期游戲中的AI，大部分是通過人工規(guī)則的方法來實(shí)現(xiàn)的，這類方法就包括了有限狀態(tài)機(jī)和行為樹。有限狀態(tài)機(jī)的方法是定義有限的行為狀態(tài)，通過判別條件來觸發(fā)不同的狀態(tài)轉(zhuǎn)移。這個(gè)方法的優(yōu)點(diǎn)是設(shè)計(jì)簡單、容易實(shí)現(xiàn)，缺點(diǎn)在于隨狀態(tài)增多而急劇復(fù)雜。

行為樹也是一個(gè)在游戲中比較常用的方法，它通過窮舉所有行為作為節(jié)點(diǎn)，條件驅(qū)動(dòng)下逐級(jí)遍歷確定當(dāng)前行為。這個(gè)方法的優(yōu)點(diǎn)是邏輯清晰，容易拓展，缺點(diǎn)在于難以適應(yīng)復(fù)雜行為，且實(shí)現(xiàn)擬人化非常困難。

近期的AI+游戲研究，大部分是基于深度學(xué)習(xí)的方法，主要包含兩大類，一個(gè)是監(jiān)督學(xué)習(xí)或模仿學(xué)習(xí)，一個(gè)是強(qiáng)化學(xué)習(xí)。監(jiān)督學(xué)習(xí)是通過海量有標(biāo)記的訓(xùn)練數(shù)據(jù)為基礎(chǔ)，推導(dǎo)出行為預(yù)測函數(shù)。這個(gè)方法的優(yōu)點(diǎn)在于能夠模擬不同級(jí)別的目標(biāo)行為，做到很好的擬人化。缺點(diǎn)在于過度依賴于數(shù)據(jù)，特別是標(biāo)注數(shù)據(jù)的質(zhì)量。

另外一類方法是強(qiáng)化學(xué)習(xí)，這種方法，通過構(gòu)建獎(jiǎng)勵(lì)和懲罰刺激環(huán)境的角度出發(fā)，優(yōu)化AI行為邏輯。這個(gè)方法的優(yōu)點(diǎn)在不依賴已有數(shù)據(jù)并且能夠探索出新的策略，甚至于超越當(dāng)前人類的認(rèn)知。

前面我們回顧了業(yè)界對(duì)AI+游戲的研發(fā)情況，那騰訊的進(jìn)展如何？我下面會(huì)與大家分享。

如果 AI 能在此環(huán)境中學(xué)會(huì)類似于人的長期策略規(guī)劃和協(xié)作能力，就代表著多智能體決策最高水準(zhǔn)。正因?yàn)樵谔魬?zhàn)性和應(yīng)用性的巨大價(jià)值，騰訊長期關(guān)注并持續(xù)投入科技來發(fā)展游戲，并成為了AI+游戲領(lǐng)域的先行探路者(3.660,0.01,0.27%)。

早在2016年，騰訊 AI Lab就已開始了AI+游戲的研究之路。我們當(dāng)時(shí)研發(fā)的圍棋AI「絕藝」相繼在UEC杯、AI龍星戰(zhàn)以及圍棋人工智能大賽等頂級(jí)賽事中三次奪冠，并且成為中國國家隊(duì)圍棋訓(xùn)練專用AI。圍棋AI的難點(diǎn)在于大規(guī)模離散決策空間探索，突破強(qiáng)化學(xué)習(xí)理論實(shí)踐瓶頸，探索超過人類的優(yōu)化策略。

2017年，「絕藝」之后，騰訊開始在星際爭霸2這類RTS游戲中進(jìn)行AI+游戲研究。與圍棋相比，星際爭霸2是一個(gè)不完全信息博弈場景，需在復(fù)雜連續(xù)的決策空間下進(jìn)行面向長期決策的決策。到9月時(shí)，在AI僅在「星際爭霸 II 學(xué)習(xí)環(huán)境」的多個(gè)小游戲上達(dá)到專業(yè)水平時(shí)，騰訊成為首個(gè)研發(fā)出能在「星際爭霸 II」全場游戲中打敗「開掛」內(nèi)置 AI的智能體。

同一年，騰訊AI Lab還與王者榮耀展開了AI聯(lián)合研究，并很快取得了喜人的成績。策略協(xié)作型AI「絕悟」，寓意擁有絕佳領(lǐng)悟力的AI，在去年8月達(dá)到了王者業(yè)余頂尖水平，并在今年8月的王者榮耀世界冠軍杯半決賽上通過了5v5賽區(qū)聯(lián)隊(duì)測試，達(dá)到電競職業(yè)水平?！附^悟」還將能力快速從云端遷移到手機(jī)終端，其1v1手機(jī)版本「SUPEX戰(zhàn)隊(duì)」在今年8月的China Joy亮相，在2100多場頂級(jí)業(yè)余玩家體驗(yàn)測試中勝率達(dá)到99.8%。

除了RTS和MOBA類游戲，2018年我們還開始了3D FPS游戲類的AI研發(fā)，其難點(diǎn)在于對(duì)3D環(huán)境建模及感知實(shí)現(xiàn)視角的轉(zhuǎn)換，移動(dòng)尋人等系列難題。但有了先前經(jīng)驗(yàn)，我們很快在與清華聯(lián)合研究后奪得了FPS射擊類游戲VizDoom AI競賽歷史上首個(gè)中國區(qū)冠軍。

我想重點(diǎn)介紹在王者榮耀實(shí)驗(yàn)環(huán)境中研發(fā)的策略協(xié)作型AI項(xiàng)目「絕悟」。為什么選擇在王者榮耀中進(jìn)行研究？原因有幾個(gè)：首先這是一個(gè)多人協(xié)作的游戲場景，它在設(shè)計(jì)上的高復(fù)雜度、高挑戰(zhàn)性，滿足了對(duì)高水平AI+游戲的研究需要；其次，王者榮耀團(tuán)隊(duì)提供了運(yùn)行游戲的測試環(huán)境，幫助搭建和開發(fā)獨(dú)立的研究平臺(tái)，極大提升了我們的研究效率；第三，這款國民級(jí)游戲擁有眾多粉絲，并且口碑優(yōu)良，對(duì)普及和推廣AI研究成果也至關(guān)重要。

作為一個(gè)典型的AI難題，AI在王者榮耀中的研發(fā)有幾大難點(diǎn)：1）地圖龐大且在在戰(zhàn)場迷霧下部分狀態(tài)不可觀測，信息不完備，不存在最優(yōu)策略；2）操作序列空間巨大，有高達(dá)10的20000次方種操作可能性（整個(gè)宇宙原子總數(shù)只有10的80次方），探索難度極大；3）對(duì)戰(zhàn)在兩個(gè)團(tuán)隊(duì)（每隊(duì)5名玩家）展開，需多個(gè)智能體在競爭中配合協(xié)作；4）需要從大量、復(fù)雜、連續(xù)的即時(shí)決策到長期決策中不斷博弈，一切以最終勝利為目標(biāo)。通俗來說就是“局面復(fù)雜、信息不全、要深謀遠(yuǎn)慮又要快速果斷”。

面對(duì)這個(gè)復(fù)雜的難題，我們在2018年的研究工作主要集中在模仿學(xué)習(xí)上。通過將復(fù)雜問題分層解決，我們在模型設(shè)計(jì)方面，將大局觀和微操分層建模，同時(shí)，將觀察到的視覺信息和宏觀向量數(shù)據(jù)分開，模型上采用多模態(tài)的深度網(wǎng)絡(luò)，通過學(xué)習(xí)職業(yè)選手歷史上的數(shù)據(jù)，完成了第一個(gè)版本的「絕悟」，并在2018年的KPL秋季決賽上通過了業(yè)余頂級(jí)選手能力測試。

模仿學(xué)習(xí)幫助我們更加了解了這個(gè)游戲，但模仿學(xué)習(xí)的局限性也很明顯，很難通過學(xué)習(xí)選手的數(shù)據(jù)而在能力上超越職業(yè)選手，因此，我們接下來開始探索強(qiáng)化學(xué)習(xí)的解決方案。相當(dāng)于模仿學(xué)習(xí)，強(qiáng)化學(xué)習(xí)的建模上，我們采用了自主設(shè)計(jì)的One Model，通過一個(gè)模型來表達(dá)所有的英雄，從而能實(shí)現(xiàn)多智能體之間的通信協(xié)作；同時(shí)我們采用的白板學(xué)習(xí)，讓智能體從0到1學(xué)習(xí)策略與操作，不再依賴于人類數(shù)據(jù)，這也相當(dāng)于不用歷史經(jīng)驗(yàn)來限制智能體的探索；在強(qiáng)化學(xué)習(xí)框架的建設(shè)上，我們構(gòu)建了一個(gè)能支持復(fù)雜游戲的超大規(guī)模強(qiáng)化學(xué)習(xí)框架，支持多機(jī)多卡GPU同步訓(xùn)練，CPU采用自研的前向推理框架來支持Agent快速自對(duì)戰(zhàn)。自對(duì)戰(zhàn)的速度最大可以達(dá)到1500萬局/天；單張GPU卡的訓(xùn)練速度由原來1800樣本/s提升到5000樣本/s，簡單來說，在這套自研的強(qiáng)化學(xué)習(xí)平臺(tái)上，AI對(duì)戰(zhàn)一天，相當(dāng)于普通玩家玩440年。

在8月初王者榮耀冠軍杯特別環(huán)節(jié)中，這個(gè)AI模型也戰(zhàn)勝了由職業(yè)選手組成的賽區(qū)聯(lián)隊(duì)，實(shí)現(xiàn)了從業(yè)余到職業(yè)的邁進(jìn)。雖然有不錯(cuò)進(jìn)展，但「絕悟」的研發(fā)還有一些問題尚未解決，我們還面臨著諸多挑戰(zhàn)，例如，在強(qiáng)化學(xué)習(xí)中多樣性的探索、陣容打法BP規(guī)則博弈、多英雄擴(kuò)展的遷移、強(qiáng)化學(xué)習(xí)和模仿學(xué)習(xí)之間模型蒸餾的問題等等。我們希望能開放資源與能力，與更多有興趣的高校和學(xué)者來共同探討和研究這些業(yè)界難題。

除了在科研方面的工作，AI也逐步應(yīng)用到了王者榮耀的整個(gè)游戲環(huán)節(jié)之中，系統(tǒng)性地解決玩家游戲體驗(yàn)問題。

在玩法設(shè)計(jì)方面，AI參與了游戲中的超強(qiáng)人機(jī)（游戲內(nèi)新玩法）和實(shí)戰(zhàn)模擬（游戲內(nèi)人機(jī)訓(xùn)練），都成為了王者榮耀游戲中的重要組成部分?！赋瑥?qiáng)人機(jī)」每天對(duì)局峰值超過1千萬，用戶反饋評(píng)分也很高。在王者榮耀的對(duì)局環(huán)境優(yōu)化中，也有AI一些貢獻(xiàn)，比如在局中的審判系統(tǒng)中，通過對(duì)惡意玩家行為的建模來識(shí)別惡意行為，從而凈化對(duì)局環(huán)境，實(shí)際效果上，我們也可以看到通過局中智能審判提醒，局后舉報(bào)率顯著降低；通過局后的智能審判，在惡意行為的審判成功率和準(zhǔn)確率上，相比于之前的模型，都有明顯的提升。在局后，通過AI技術(shù)的精彩場景自動(dòng)剪輯，以及智能教學(xué)體系建設(shè)，也給玩家?guī)砹朔浅６嗟捏w驗(yàn)樂趣。

今天，我們跟王者榮耀一起做AI開放計(jì)劃，希望能做更好的產(chǎn)學(xué)研合作，共享新生態(tài)。在AI開放中，王者榮耀會(huì)開放游戲數(shù)據(jù)、游戲核心集群（Game Core）和工具，AI Lab會(huì)開放前面提到的強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)的計(jì)算平臺(tái)和算力，希望高校與研究機(jī)構(gòu)能夠共同參與AI在王者榮耀的應(yīng)用研究工作。同時(shí)我們也會(huì)定期舉辦相關(guān)能力評(píng)測，讓平臺(tái)變成科研工作者展示科研實(shí)力的舞臺(tái)。除了科研，我們也會(huì)把新的研究成果，反哺到王者榮耀游戲當(dāng)中，為游戲開發(fā)者提供更多AI能力，開發(fā)出更多、更新、更好的玩法。通過這推進(jìn)產(chǎn)學(xué)研合作，建立AI+游戲領(lǐng)域算法研究、效果驗(yàn)證的標(biāo)準(zhǔn)，推動(dòng)AI+游戲產(chǎn)業(yè)升級(jí)，推動(dòng)人工智能研究的發(fā)展；同時(shí)，通過將AI能力反哺給游戲開發(fā)者，能推動(dòng)更多玩法的升級(jí)，帶來游戲行業(yè)的發(fā)展。

AI平臺(tái)的高校開放計(jì)劃，大致可以分為以下幾個(gè)階段，計(jì)劃在2019年11月之前，提供AI開放平臺(tái)，集合游戲數(shù)據(jù)、核心集群和計(jì)算能力，并邀請部分高校內(nèi)部測試；2020年5月，全面開放高校測試，并且在測試環(huán)境上，支持1v1，5v5等多種模式；2020年12月，我們計(jì)劃舉辦第一屆的AI在王者榮耀應(yīng)用的水平測試，來一起分享AI的研究成果。

AI+游戲的探索，是希望通過游戲的虛擬世界環(huán)境助力AI的研究，始于游戲，但不限于游戲。游戲AI的研究成果，短期看，可以給游戲行業(yè)、電競行業(yè)帶來直接的推動(dòng)和幫助，同時(shí)，AI的研究成果，也可以應(yīng)用到教育、醫(yī)療、農(nóng)業(yè)等更多行業(yè)中去。長期來看，AI+游戲的研究，會(huì)推進(jìn)AI的終極目標(biāo)——通用人工智能問題的探索和發(fā)展。