中科院香港創(chuàng)新研究院人工智能與機(jī)器人創(chuàng)新中心人工智能前沿論壇昨日開幕，在上午的開幕及主旨演講環(huán)節(jié)，來自清華大學(xué)、歐洲科學(xué)院、香港理工大學(xué)和香港科技大學(xué)的四位教授分別分享了關(guān)于類腦計算、深度學(xué)習(xí)等人工智能前沿領(lǐng)域的最新見解。

中國科學(xué)院自動化研究所所長、香港創(chuàng)新研究院人工智能與機(jī)器人研究中心主任徐波研究員在論壇致辭中說，中國科學(xué)院香港創(chuàng)新研究院是中科院在香港設(shè)立的首個科研機(jī)構(gòu)，是建設(shè)粵港澳大灣區(qū)具有全球影響力國際科技創(chuàng)新中心的重要組成部分。

▲中國科學(xué)院自動化研究所所長徐波（左一） 中國科學(xué)院自動化研究所副所長劉成林（右一）

徐波研究員稱，創(chuàng)新中心將圍繞新一代人工智能基礎(chǔ)理論、新型人機(jī)交互技術(shù)和設(shè)備，面向健康和無障礙的智能技術(shù)、人工智能開放平臺及似乎等方面開展研究工作，充分結(jié)合內(nèi)地和香港在不同領(lǐng)域的優(yōu)勢，以幫助大灣區(qū)進(jìn)行科創(chuàng)建設(shè)。

在論壇中，清華大學(xué)教授施路平、歐洲科學(xué)院外籍院士陶大程、香港理工大學(xué)講席教授張磊、香港科技大學(xué)教授James Kwok分別在線上進(jìn)行了報告，以分享他們對各自相關(guān)領(lǐng)域研究最新進(jìn)展的見解。

一、施路平：計算機(jī)和人工智能發(fā)展面臨的挑戰(zhàn)呼喚類腦計算

施路平教授是清華大學(xué)精密儀器教授，清華大學(xué)類腦計算研究中心主任，研究領(lǐng)域涉及類腦計算、信息存儲、集成光電子、智能儀器。

▲施路平教授主旨演講

他在2013年加入清華大學(xué)，創(chuàng)建類腦計算研究中心，并提出異構(gòu)融合類腦計算架構(gòu)，研制了全球首款異構(gòu)融合類腦計算“天機(jī)芯”，利用一款天機(jī)芯構(gòu)建了人工通用智能研究演示平臺——自動行駛自行車，相關(guān)成果被作為封面文章于2019年發(fā)表在《Nature》雜志上。

▲全球首款異構(gòu)融合類腦計算“天機(jī)芯”

2020年，施路平教授及團(tuán)隊在《Nature》雜志上再次發(fā)文，借鑒計算機(jī)發(fā)展思路，與合作者提出了類腦計算完備性基礎(chǔ)理論及軟硬件去耦合的類腦計算系統(tǒng)層次結(jié)構(gòu)。

施路平教授說：“類腦計算是人工通用智能競爭的基石，可以賦能各行各業(yè)?！?

在論壇上，施路平教授做了題為《類腦計算研究的挑戰(zhàn)與機(jī)遇》的報告。他講道，量子計算和類腦計算是國際半導(dǎo)體協(xié)會確定的后摩爾時代兩個最有前途的新技術(shù)。其中，類腦計算是借鑒人腦存儲處理信息的方式，面向人工通用智能發(fā)展的新型計算技術(shù)。

類腦計算系統(tǒng)是能基于神經(jīng)形態(tài)工程，打破“馮·諾依曼”架構(gòu)束縛，適于實(shí)時處理非架構(gòu)化信息，具有學(xué)習(xí)能力的超低功耗新型計算系統(tǒng)。

但是目前類腦計算仍處于起步階段，尚未形成公認(rèn)技術(shù)方案。施路平教授從“為什么要做類腦計算、類腦計算主要做什么、怎樣做類腦計算”三方面，闡述了類腦計算發(fā)展背景和領(lǐng)域內(nèi)最新進(jìn)展、面臨的主要挑戰(zhàn)和可能解決的方法，并對利用雙腦驅(qū)動融合發(fā)展類腦計算的方式進(jìn)行了探討，以促進(jìn)人工通用智能的研究。

▲什么是類腦計算

施路平教授提到，2016年是類腦計算元年，2016年4月6日，美國IBM的TrueNorth硬件上線，2016年3月21日，德國的BrainScales架構(gòu)和英國的SpiNNaker架構(gòu)同時上線，而后續(xù)在2020年2月，我國研制的全球首款異構(gòu)融合類腦計算“天機(jī)芯”入選“2019年度中國科學(xué)十大進(jìn)展”。

電腦雖然能完成很多人腦做不到的事情，但在人能相對容易做到的“感覺、適應(yīng)、理解、學(xué)習(xí)、創(chuàng)新”等方面，電腦的能力卻不及人腦。

▲電腦與大腦的對比

計算機(jī)如今面臨著馮·諾依曼架構(gòu)瓶頸、物理微縮、大部分?jǐn)?shù)據(jù)生命周期短、數(shù)據(jù)大、多樣性、變化快的挑戰(zhàn)，同時又有著更低成本，更優(yōu)能耗、安全和性能的機(jī)遇。2018年圖靈獎得主David Patterson和John Hennessy曾說：“計算機(jī)體系結(jié)構(gòu)將迎來一個黃金十年?！?

再將目光轉(zhuǎn)向人工智能領(lǐng)域。人工智能有充足的數(shù)據(jù)，確定的問題，完整的知識，靜態(tài)，以及單一的問題五個條件，同時也有不可理解、不可解釋，一點(diǎn)偏差可以產(chǎn)生巨大錯誤的缺陷。

▲人工智能的挑戰(zhàn)

目前，人工智能需要在思想、知識、算法、算力、數(shù)據(jù)五個方面進(jìn)行突破。

圖靈獎得主Geoffrey Hinton曾說：“相信克服人工智能局限性的關(guān)鍵在于搭建‘一個連接計算機(jī)科學(xué)和生物學(xué)的橋梁’?！倍惸X計算，是將這二者聯(lián)系起來的方式之一。

施路平教授說，現(xiàn)在的人工智能依托傳統(tǒng)計算機(jī)和馮·諾依曼架構(gòu)，未來的人工通用智能將依托類腦計算機(jī)和類腦架構(gòu)。而類腦人工通用智能不是簡單的人工智能升級版，其更多是人腦和電腦的融合。

▲類腦計算圖示

施路平教授認(rèn)為，計算機(jī)和人工智能發(fā)展面臨的挑戰(zhàn)正在呼喚類腦計算，而雙腦融合驅(qū)動是類腦計算發(fā)展的關(guān)鍵。同時，類腦計算需要理論、芯片、軟件、系統(tǒng)和應(yīng)用協(xié)同發(fā)展。

▲主要類腦計算芯片

二、陶大程：對可信深度學(xué)習(xí)的見解

陶大程院士主要從事人工智能領(lǐng)域的研究，并先后當(dāng)選IEEE/AAAS/ACM Fellow、歐洲科學(xué)院（Academia European）外籍院士，以及澳大利亞科學(xué)院院士。

▲陶大成院士主旨演講

在論壇中，陶大程院士分享了其團(tuán)隊在“可信深度學(xué)習(xí)”這個領(lǐng)域上的進(jìn)展。

他講到，2016年隨著AlphaGo戰(zhàn)勝李世石，AI的力量讓人們震驚，也讓人們對AI解放工作甚至代替人類的未來充滿擔(dān)憂。而從2016年到2020年，科技不斷發(fā)展，但人們對AI的看法卻在不斷變得冷靜。

▲三次人工智能浪潮

“第三次人工智能熱潮主要是由于深度學(xué)習(xí)引起的，但有一些人認(rèn)為，這其中遇到的一些問題逐漸浮現(xiàn)，需要人們進(jìn)入到人工智能熱潮的第四個階段。那時，人工智能將寄希望于和人的價值聯(lián)系起來，將人工智能的方式方法與人的價值觀保持一致?！?陶大程院士講道。

他在演講中舉了谷歌“fixed”、“Deepfakes”例子，表明人們應(yīng)該控制人工智能的使用范圍。

▲“fixed”、“Deepfakes”的案例

目前，人工智能技術(shù)在機(jī)器視覺上取得了很大成功。陶大程院士展示了其團(tuán)隊最新的一個機(jī)器視覺成果，可以估計人的姿態(tài)，理解人的表情和簡單的行為動作。除了理解視頻，現(xiàn)在的人工智能還能幫助人們進(jìn)行表情編輯和音頻編輯，提供效果很好的視頻演示效果。此外，有了超級計算，研究人員可以更方便有效訓(xùn)練模型。

▲陶大程院士團(tuán)隊最新的一個機(jī)器視覺成果

盡管神經(jīng)網(wǎng)絡(luò)仍然存在一些問題，但研究人員依舊對現(xiàn)在的深度學(xué)習(xí)抱有一定期望。他們希望模型的魯棒性更高，耗能更低，可解釋性更強(qiáng)，能適應(yīng)動態(tài)環(huán)境，能注重人的隱私安全且易于使用。

從神經(jīng)網(wǎng)絡(luò)的歷史變化上來看，陶大程院士稱，網(wǎng)絡(luò)是越來越深的，同時最近研究人員也在思考采用網(wǎng)絡(luò)模型的壓縮技術(shù)和機(jī)器學(xué)習(xí)等技術(shù)用小的網(wǎng)絡(luò)模型實(shí)現(xiàn)更好的效果。無論如何，要想取得好的效果，就一定需要達(dá)到一定深度。此外，網(wǎng)絡(luò)越深，模型的泛化能力也會越強(qiáng)，但要想網(wǎng)絡(luò)性能好，還要保證數(shù)據(jù)的誤差非常小。

此外，他還提到團(tuán)隊在去年的ICLR（International Conference on Learning Representations）會議工作中，拓展了一些條件，覆蓋了非線性損害曲面研究中幾乎所有的現(xiàn)實(shí)情況，具體來說擴(kuò)展到了任意深度、任意的可微損失函數(shù)、任意維輸出和任意線性激活函數(shù)。

總之，未來人工智能與人的價值觀更加貼合，在推廣的同時注重對人的隱私保護(hù)。

三、張磊：深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)歸一化方法的兩項最新進(jìn)展

張磊自2006年加入香港理工大學(xué)計算機(jī)系，至今已有15年。他的研究重點(diǎn)主要集中在計算機(jī)視覺、圖像和視頻分析、模式識別和生物識別等。

▲張磊教授主題演講

他分享了題為《Two Recent Advances on Normalization Methods for Deep Neural Network Learning（深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)歸一化方法的兩項最新進(jìn)展）》的演講，新進(jìn)展可以提高模型的優(yōu)化和泛化。優(yōu)化在這里是指提高模型的準(zhǔn)確性，而泛化則是指機(jī)器學(xué)習(xí)算法對新鮮樣本的適應(yīng)能力。

他提到，歸一化方法對于有效和高效地優(yōu)化深度神經(jīng)網(wǎng)絡(luò)（DNN）非常重要。諸如均值和方差之類的統(tǒng)計信息可用于規(guī)范化網(wǎng)絡(luò)激活或權(quán)重，以使訓(xùn)練過程更加穩(wěn)定。

在激活歸一化技術(shù)中，批量歸一化（BN）是最常見的一種。但是，在訓(xùn)練中批量較小時，BN的性能較差。

張磊教授團(tuán)隊在研究中發(fā)現(xiàn)，在推斷階段BN的公式化存在問題，因此提出了一種更正的方法。在訓(xùn)練階段沒有任何變化的情況下，在小批量訓(xùn)練時，校正后的BN可以顯著提高推理性能。

另一種常見的歸一化方法則是對權(quán)重進(jìn)行操作，如權(quán)重歸一化（WN）和權(quán)重標(biāo)準(zhǔn)化（WS）。團(tuán)隊也相應(yīng)提出了一種簡單有效的DNN優(yōu)化技術(shù)：即梯度中心化（GC）。

▲使用GC的示意圖

這種方法直接對權(quán)重的梯度進(jìn)行操作，簡單地通過梯度中心化向量使其集中到零均值，它可以很容易就嵌入當(dāng)前基于梯度的優(yōu)化算法，而這個過程只需一系列代碼就可完成。

盡管簡單，但GC達(dá)到了多個期望效果，比如加速訓(xùn)練過程，提高泛化性能，以及對于微調(diào)預(yù)訓(xùn)練模型的兼容性。

▲GC方法的幾何解釋

四、James Kwok：自動化機(jī)器學(xué)習(xí)的最新進(jìn)展

James Kwok是香港科技大學(xué)計算機(jī)科學(xué)與工程學(xué)系教授，也是IEEE雜志神經(jīng)網(wǎng)絡(luò)與學(xué)習(xí)系統(tǒng)交易、神經(jīng)網(wǎng)絡(luò)工作、神經(jīng)計算、人工智能方面的副主編。

▲James Kwok教授的主旨演講

在論壇中，他對自動化機(jī)器學(xué)習(xí)的最新進(jìn)展進(jìn)行了分享。

James Kwok觀察到，機(jī)器學(xué)習(xí)很強(qiáng)大，與此同時，世界各地對機(jī)器學(xué)習(xí)知識的需求量同樣很大。而自動化機(jī)器學(xué)習(xí)（AutoML）可以在一定程度上減少機(jī)器學(xué)習(xí)的人才缺口。

AutoML旨在從數(shù)據(jù)中自動構(gòu)建機(jī)器學(xué)習(xí)解決方案。在演講中，James Kwok結(jié)構(gòu)了對最新使用AutoML進(jìn)行有效的神經(jīng)網(wǎng)絡(luò)設(shè)計，搜索捕獲推薦系統(tǒng)中項目和用戶之間交互的功能，以及在機(jī)器學(xué)習(xí)應(yīng)用程序中有大量噪聲樣本時，將樣本選擇到訓(xùn)練過程中的幾個進(jìn)展。

經(jīng)過廣泛實(shí)驗(yàn)表明，AutoML確實(shí)是有效的。因此在很多不同的場景中，AutoML可以獲得比最先進(jìn)的機(jī)器學(xué)習(xí)方法更好的性能。

▲James Kwok教授演講結(jié)論

結(jié)語：人工智能學(xué)術(shù)與日常生活密不可分

除了四場主旨演講，論壇還覆蓋了包括《自監(jiān)督上下文建模及底層視覺應(yīng)用》《大規(guī)模機(jī)器學(xué)習(xí)模型選擇理論研究》等6場學(xué)術(shù)報告，在線上為業(yè)內(nèi)人士提供了一場人工智能知識盛宴。

伴隨著科技發(fā)展突飛猛進(jìn)，人工智能所引發(fā)的技術(shù)革命正在深刻地改變?nèi)祟惖纳睿脖蝗藗兊纳罴靶枨笏绊憽?

包括機(jī)器學(xué)習(xí)、計算機(jī)視覺等領(lǐng)域的人工智能研究在性能、效率上不斷升級的同時，也在逐漸與人的價值觀相貼合。