優(yōu)必選研究院再次獲得國際學(xué)術(shù)界認(rèn)可，論文《Evolutionary Generative Adversarial Networks》入選《麻省理工科技評(píng)論》(MIT Technology Review)“The Best of the Physics arXiv”。該論文由優(yōu)必選悉尼大學(xué)人工智能中心的王超岳(學(xué)生)在徐暢博士、姚新教授(南方科技大學(xué))和陶大程教授(悉尼大學(xué)教授、優(yōu)必選悉尼大學(xué)人工智能中心主任、優(yōu)必選人工智能首席科學(xué)家)的聯(lián)合指導(dǎo)下完成。

《麻省理工科技評(píng)論》網(wǎng)站發(fā)布的優(yōu)必選悉尼大學(xué)人工智能中心論文

《Evolutionary Generative Adversarial Networks》

《麻省理工科技評(píng)論》于1899年在美國麻省理工學(xué)院創(chuàng)刊，是世界上歷史最悠久，也是影響力最大的技術(shù)商業(yè)類雜志。內(nèi)容覆蓋廣泛，涉及互聯(lián)網(wǎng)、通訊、計(jì)算機(jī)技術(shù)、能源、新材料、生物醫(yī)學(xué)和商務(wù)科技幾大領(lǐng)域。其重點(diǎn)關(guān)注新興科技及其對(duì)商業(yè)和社會(huì)的巨大影響，為超過300萬科技領(lǐng)域的專業(yè)人士及商業(yè)領(lǐng)袖提供前瞻性的資訊和獨(dú)到深入的行業(yè)趨勢研究分析。已經(jīng)或正在走出實(shí)驗(yàn)室，走向市場和即將商業(yè)化的技術(shù)，顛覆現(xiàn)有格局，創(chuàng)造全新市場，深刻影響人類社會(huì)的技術(shù)都是這本雜志關(guān)注的重點(diǎn)內(nèi)容。

在陶大程教授的領(lǐng)導(dǎo)下，優(yōu)必選悉尼大學(xué)人工智能研究中心主要研究關(guān)注人工智能的基礎(chǔ)技術(shù)：Perceiving、Learning、Reasoning以及Behaving，目前在計(jì)算機(jī)視覺領(lǐng)域，包括物體檢測、場景解析、從單張彩色圖像中恢復(fù)深度信息、目標(biāo)跟蹤、人體姿態(tài)估計(jì)、人臉識(shí)別、看圖說話與看圖回答問題、模仿學(xué)習(xí)、多視角學(xué)習(xí)、深度模型壓縮等多個(gè)方向上均取得很好的進(jìn)展。

2018年，優(yōu)必選悉尼大學(xué)AI研究中心在國際頂級(jí)AI學(xué)術(shù)會(huì)議上屢獲佳績，有4篇論文入選CVPR2018，5篇論文入選AAAI 2018，5篇論文入選IJCAI 2018并獲得杰出論文獎(jiǎng)、，2篇論文入選KDD 2018，8篇論文入選ECCV 2018，此外，還在ECCV 2018第一屆圖像對(duì)話比賽(Visual Dialogue 2018)中榮膺冠軍，一舉擊敗中科大、南洋理工、微軟、以色列理工、UIUC以及首爾大學(xué)等近十支由國際知名高校和科技巨頭組成的參賽團(tuán)隊(duì)。

這些研究成果，對(duì)于未來的機(jī)器人技術(shù)以及產(chǎn)品落地都會(huì)有很多的促進(jìn)：讓機(jī)器人能夠更加準(zhǔn)確地感知、理解環(huán)境，為終端用戶帶來更好的體驗(yàn)，同時(shí)也能加速推動(dòng)人工智能與人形機(jī)器人領(lǐng)域前沿技術(shù)的商業(yè)化落地，助力優(yōu)必選實(shí)現(xiàn)讓機(jī)器人走進(jìn)千家萬戶的夢想。

附：論文《Evolutionary Generative Adversarial Networks》(《Evolutionary GAN: 基于演化算法的GAN模型》)的內(nèi)容介紹

1. 簡介

生成對(duì)抗網(wǎng)絡(luò)(GAN)在近些年中取得了快速的發(fā)展和廣泛的關(guān)注，并被應(yīng)用于一系列現(xiàn)實(shí)世界的任務(wù)中，例如圖像生成，圖像編輯，視頻預(yù)測等等。具體來說，現(xiàn)有的GAN算法大多是在生成器G和判別器D之間執(zhí)行一個(gè)two-player adversarial game。 在對(duì)抗過程中，生成器G致力于不斷地‘騙過’判別器D，并最終生成服從真實(shí)分布的樣本。雖然對(duì)抗學(xué)習(xí)在許多問題上都取得了不錯(cuò)的表現(xiàn)，但很多現(xiàn)有的GAN模型也都面臨訓(xùn)練難的問題，例如梯度消失和模式崩潰(mode collapse)。在本文中，受到自然演化過程的啟發(fā)，作者們提出了Evolutionary GAN (E-GAN)，一個(gè)基于演化算法的GAN框架，以提升GAN訓(xùn)練的穩(wěn)定性并期望得到更好的生成效果。

2. Evolutionary GAN

與以往的1vs1的對(duì)抗算法不同，E-GAN設(shè)計(jì)了一個(gè)判別器D與生成器‘種群’(population)之間的對(duì)抗框架。具體來說，作者假設(shè)生成器G不再以個(gè)體的形式存在，而是以‘種群’(population)的形態(tài)與判別器D進(jìn)行對(duì)抗。從演化的角度，判別器D可以被視為演化過程中不斷變化的環(huán)境，根據(jù)優(yōu)勝劣汰的原則，生成器‘種群’中表現(xiàn)不好的個(gè)體(individual)被不斷淘汰，只有表現(xiàn)優(yōu)異的individual才會(huì)被保留以進(jìn)一步的適應(yīng)環(huán)境 (i.e., 與判別器D進(jìn)行對(duì)抗)。這樣，每次更新產(chǎn)生的生成器G都將是當(dāng)下所有策略中最優(yōu)的選項(xiàng)，從而我們不必再去小心翼翼的維持訓(xùn)練過程中D和G的平衡，避免了梯度消失，模式崩潰等一系列訓(xùn)練不穩(wěn)定的問題。具體的訓(xùn)練方法入框架圖所示：

在每一次對(duì)抗過程中，生成器的演化過程由三個(gè)步驟組成，分別是變異(Variation)，評(píng)估(Evaluation)和選擇(Selection)。

2.1. 變異(Variation)

在對(duì)抗過程中，為了可以持續(xù)更新并得到合適的生成器G，首先需要對(duì)現(xiàn)有的生成器‘種群’進(jìn)行變異操作，并產(chǎn)生新的后代(offspring)。通過觀察和對(duì)比現(xiàn)有的GAN training loss，作者發(fā)現(xiàn)不同的loss function具有不同的優(yōu)勢和劣勢，因而采用他們作為不同的變異操作 (mutations)將可以得到不同的offspring。具體在試驗(yàn)中，三種變異操作被采納，分別是 Minimax mutation，

Heuristic mutation，

和Least-squares mutation：

通過觀察這三種變異的損失函數(shù)曲線，并輔助以理論分析，作者表示這三種mutations具有互補(bǔ)的優(yōu)勢，可以用于產(chǎn)生不同的特性的offspring。

2.2. 評(píng)估(Evaluation)

2.3. 選擇(Selection)

在衡量過所有offspring的生成性能后，作者們根據(jù)優(yōu)勝劣汰的原則擇優(yōu)選取更新過后的生成器G進(jìn)行新一輪的訓(xùn)練。綜上所說，整個(gè)演化訓(xùn)練過程總結(jié)在下表中：

3. 實(shí)驗(yàn)

E-GAN在混合高斯分布，cifar10，LSUN bedroom，SVNH等多個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。先后驗(yàn)證了E-GAN網(wǎng)絡(luò)的生成多樣性，生成質(zhì)量，訓(xùn)練效率，結(jié)構(gòu)魯棒性和生成連續(xù)性的各項(xiàng)性能。結(jié)合定性的生成樣本感官和定量的Inception score, FID, E-GAN均表現(xiàn)出了優(yōu)于已有two-player GAN模型的性能。部分實(shí)驗(yàn)結(jié)果如下所示：