2021年7月10日，WAIC（2021世界人工智能大會）“圖神經(jīng)網(wǎng)絡(luò)與認(rèn)知智能前沿技術(shù)論壇”在上海世博中心成功舉辦。清華大學(xué)計算機(jī)科學(xué)與技術(shù)系教授李涓子，復(fù)旦大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院教授黃萱菁，清華大學(xué)計算機(jī)科學(xué)與技術(shù)系副教授許斌，阿里巴巴達(dá)摩院資深算法專家楊紅霞，浙江大學(xué)副教授、人工智能系系主任楊洋，清華大學(xué)電子工程系助理研究員戴國浩等學(xué)術(shù)大咖和產(chǎn)業(yè)大拿，共同探索“圖神經(jīng)網(wǎng)絡(luò)與認(rèn)知智能”的技術(shù)現(xiàn)狀與產(chǎn)業(yè)前景。AI TIME負(fù)責(zé)人何蕓主持了本次論壇。

圖 | AI TIME負(fù)責(zé)人何蕓

本次論壇以“圖神經(jīng)網(wǎng)絡(luò)”“大規(guī)模預(yù)訓(xùn)練模型”“認(rèn)知智能”等前沿方向為主題，不僅展示學(xué)術(shù)界對相關(guān)技術(shù)的最新研究工作，還剖析了圖神經(jīng)網(wǎng)絡(luò)、認(rèn)知智能等領(lǐng)域的理論基礎(chǔ)、技術(shù)路線、產(chǎn)業(yè)落地、發(fā)展前景等，在AI Debeat環(huán)節(jié)，線下、線上的觀眾還和各位大咖一同進(jìn)行互動、思辨。順應(yīng)第三代AI算法的潮流，未來圖神經(jīng)網(wǎng)絡(luò)研究的重要趨勢將是面向推理和認(rèn)知。李涓子教授首先做了題為《知識圖譜與認(rèn)知推理 》的主題報告。李涓子指出，認(rèn)知是人獲取和應(yīng)用知識的過程，知識圖譜是人對客觀世界認(rèn)知的表示。而人工智能就是研究和設(shè)計智能系統(tǒng)，讓它像人一樣感知推理思考并且做出規(guī)劃、決策。知識的表示和推理在人工智能里面占了非常重要的地位?！霸谖磥恚R驅(qū)動和數(shù)據(jù)驅(qū)動相結(jié)合，將是機(jī)器智能非常重要的理論研究，我們以復(fù)雜問答為基礎(chǔ)，提出了基于圖結(jié)構(gòu)的可解釋認(rèn)知推理框架?？蚣軐⑻釂枌ο蟊硎緸閳D結(jié)構(gòu)，將復(fù)雜問題解析為基本函數(shù)的組合程序以表示推理過程，在圖結(jié)構(gòu)上使用注意力機(jī)制進(jìn)行模塊推理，使得每個模塊的輸出可以被人類所理解。未來希望進(jìn)一步構(gòu)建可擴(kuò)展的通用推理函數(shù)庫，并研究多模態(tài)認(rèn)知推理和具有增量學(xué)習(xí)能力的推理。”

圖 | 清華大學(xué)計算機(jī)科學(xué)與技術(shù)系教授李涓子

接下來，許斌副教授介紹了面向大規(guī)模知識圖譜的預(yù)訓(xùn)練模型及其應(yīng)用。許斌副教授指出，我們目前已經(jīng)進(jìn)入第三代人工智能，即認(rèn)知智能階段。主要思路就是利用數(shù)據(jù)統(tǒng)計與知識推理融合的計算。2020年OPEN AI發(fā)布一個巨大的預(yù)訓(xùn)練模型GPT3，參數(shù)達(dá)到1750億；2021年1月，谷歌發(fā)布了新的預(yù)訓(xùn)練模型，參數(shù)達(dá)到1.6萬億；而在這方面，中國的同行不甘示弱，2021年6月，北京智源研究院發(fā)布悟道中文預(yù)訓(xùn)練模型，參數(shù)達(dá)到1.75萬億。

圖 | 清華大學(xué)計算機(jī)科學(xué)與技術(shù)系副教授許斌

緊接著，阿里巴巴資深算法專家楊紅霞介紹了《超大規(guī)模多模態(tài)預(yù)訓(xùn)練模型M6》，浙江大學(xué)副教授楊洋做了《圖神經(jīng)網(wǎng)絡(luò)的魯棒性學(xué)習(xí)》的報告。除了各位知名學(xué)者和產(chǎn)業(yè)專家就“圖神經(jīng)網(wǎng)絡(luò)”“大規(guī)模預(yù)訓(xùn)練模型”“認(rèn)知智能”等前沿方向展示了最新研究工作，更為精彩的是本次論壇的幾位嘉賓學(xué)者還會針對該領(lǐng)域前沿技術(shù)方向在理論、技術(shù)、產(chǎn)業(yè)落地、展望等方面展開了思辨。

圖 | AI Debate

對于圖神經(jīng)網(wǎng)絡(luò)會給哪些領(lǐng)域帶來變革性的提升，黃萱菁表示，圖神經(jīng)網(wǎng)絡(luò)這幾年的發(fā)展大家有目共睹，以前研究不是很多，是因為圖太復(fù)雜，對圖進(jìn)行信息處理超出了當(dāng)時的工具能力，這幾年有了神經(jīng)網(wǎng)絡(luò)特別是圖神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，對于NLP中間分析、產(chǎn)生圖結(jié)構(gòu)提供了很有利的工具，圖神經(jīng)網(wǎng)絡(luò)、圖結(jié)構(gòu)對NLP帶來了突破性的應(yīng)用。跳出傳統(tǒng)計算機(jī)科學(xué)的范疇來看，包括藥物、生化，不管知識圖譜、圖結(jié)構(gòu)、圖神經(jīng)網(wǎng)絡(luò)都能將為這些領(lǐng)域帶來突破。
對于最近大火的大規(guī)模預(yù)訓(xùn)練模型，是否會給圖神經(jīng)網(wǎng)絡(luò)帶來新的價值， 楊紅霞認(rèn)為，今天的預(yù)訓(xùn)練模型處在所謂大力出奇跡階段。黃萱菁則表示，從NLP角度來說，圖神經(jīng)網(wǎng)絡(luò)是手段，圖結(jié)構(gòu)是目標(biāo)，預(yù)訓(xùn)練模型也是手段而不是目標(biāo)，所以這個角度來說，預(yù)訓(xùn)練模型的大力出奇跡，可能是系統(tǒng)降維打擊，預(yù)訓(xùn)練里有很多能力沒有很好的挖掘，比如雖然可以把預(yù)訓(xùn)練模型參數(shù)從一千億到萬億級，但我們只需挖掘更小規(guī)模的預(yù)訓(xùn)練模型，就能夠捕捉很多的信息。
接下來各位專家學(xué)者討論了圖神經(jīng)網(wǎng)絡(luò)存在的一些問題，包括不可解釋、魯棒性差、缺乏因果關(guān)系，以及如何對未來更大規(guī)模的圖神經(jīng)網(wǎng)絡(luò)提供算力支持等。
戴國浩表示，我們現(xiàn)在所處理的圖數(shù)據(jù)有著非常明顯的特征，是非結(jié)構(gòu)化的、稀疏的；但是，現(xiàn)有的硬件架構(gòu)往往是結(jié)構(gòu)化的，面向稠密數(shù)據(jù)結(jié)構(gòu)做設(shè)計和優(yōu)化的。因此，數(shù)據(jù)特征和硬件特征之間存在巨大鴻溝，我們的數(shù)據(jù)如何高效地在面向稠密數(shù)據(jù)的結(jié)構(gòu)化的硬件上做處理？這是我們面臨的很大的問題。一方面，我們需要自頂向下研究數(shù)據(jù)在硬件上的高效映射方法；另一方面，自底向上面向稀疏數(shù)據(jù)設(shè)計新的硬件架構(gòu)也是一個可行方向。
楊洋則認(rèn)為，這些問題中最重要的是不可解釋性?！耙驗榭山忉屝缘谋举|(zhì)，就是把深度學(xué)習(xí)的模型從非常高維的空間映射到人類認(rèn)知比較低維的空間上，我覺得非常難，我個人的判斷，可解釋性的需求應(yīng)該會不斷下降，因為隨著AI在各個領(lǐng)域有越來越多的成果出來，我相信大家會越來越多的無條件的支持、信任它?！蔽磥泶蠹覍τ贏I的接受能力會越來越高，對于可解釋性的需求會越來越低，同時模型做得越來越復(fù)雜，我們真正做到的可解釋性會越來越難。

圖 | 浙江大學(xué)人工智能系系主任楊洋副教授

黃萱菁則認(rèn)為，對于可解釋的需求會越來越高，因為AI整個領(lǐng)域從默默無聞在角落偷偷奮斗，現(xiàn)在到了聚光燈下，最早的時候只要把模型功能構(gòu)建講清楚，原理說清楚，給業(yè)內(nèi)人做解釋，現(xiàn)在可解釋的范疇就變了，我們需要向公眾做解釋，比如醫(yī)生是系統(tǒng)的用戶，不能說服醫(yī)生的話，他就不和你配合，再比如自動駕駛，不能把過程解釋清楚，怎樣讓監(jiān)管層批準(zhǔn)？因此整個可解釋的要求越來越高。

圖 | 阿里巴巴達(dá)摩院資深算法專家楊紅霞

楊紅霞補(bǔ)充道，從業(yè)界角度來說，這四個點(diǎn)當(dāng)中大家比較關(guān)心魯棒性和大算力。算力越好對我們越好，同樣的模型我肯定喜歡1分鐘不喜歡一個小時，魯棒性也一樣。
對于如何將圖神經(jīng)網(wǎng)絡(luò)做大做深來適應(yīng)產(chǎn)業(yè)界更復(fù)雜的場景，楊紅霞認(rèn)為，現(xiàn)在比較核心的場景還是搜索推薦和廣告，如果希望GNN業(yè)界有更大影響力，肯定希望在這幾個大流量場景下做突破。
黃萱菁則認(rèn)為，我們不是需要把圖神經(jīng)網(wǎng)絡(luò)做大做深適應(yīng)產(chǎn)業(yè)界更復(fù)雜的場景，而是產(chǎn)業(yè)界出現(xiàn)更復(fù)雜的場景，怎樣的模型能夠?qū)崿F(xiàn)它的目標(biāo)，這是手段問題，而不是一定要優(yōu)化圖神經(jīng)網(wǎng)絡(luò)讓它做得怎么樣。
戴國浩表示，我相信未來如何將圖神經(jīng)網(wǎng)絡(luò)在產(chǎn)業(yè)界做更高效的落地，包括是否要有專用的架構(gòu)，還是考慮通用性和算法的普世性的角度開展未來一系列的研究，可能是可行的研究方向。
對于本次論壇的主題“圖神經(jīng)網(wǎng)絡(luò)是否是實現(xiàn)認(rèn)知智能的關(guān)鍵”這一問題，各位專家學(xué)者也發(fā)表了自己的看法。

圖 | 復(fù)旦大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院教授黃萱菁

黃萱菁指出，圖神經(jīng)網(wǎng)絡(luò)和認(rèn)知智能不是等價關(guān)系，“我認(rèn)為圖神經(jīng)網(wǎng)絡(luò)是實現(xiàn)認(rèn)知智能比較好的手段，如果可以充分發(fā)揮圖神經(jīng)網(wǎng)絡(luò)的推理能力，比如我們用更好的圖表示，更好的消息傳遞機(jī)制，我們從數(shù)據(jù)中間可以推理出來更加復(fù)雜的預(yù)測結(jié)果，提升我們對事物的理解能力。”

許斌表示，“人工智能的目的，是能幫助整個人類生活變得更加美好，認(rèn)知智能只是對于人工智能認(rèn)知的階段，圖神經(jīng)網(wǎng)絡(luò)只是尋找通向最終強(qiáng)人工智能道路上很小的階段，研究人員目前對于人的大腦腦科學(xué)的研究很多東西都未知，如果伴隨對于大腦的結(jié)構(gòu)和工作原理更加全面的調(diào)查，我相信會對于我們未來實現(xiàn)真正的人工智能有很大的幫助，我們還在路上，但是未來是美好的?！?

未來智能實驗室的主要工作包括：建立AI智能系統(tǒng)智商評測體系，開展世界人工智能智商評測；開展互聯(lián)網(wǎng)（城市）大腦研究計劃，構(gòu)建互聯(lián)網(wǎng)（城市）大腦技術(shù)和企業(yè)圖譜，為提升企業(yè)，行業(yè)與城市的智能水平服務(wù)。每日推薦范圍未來科技發(fā)展趨勢的學(xué)習(xí)型文章。目前線上平臺已收藏近千篇精華前沿科技文章和報告。