如今，深度學(xué)習(xí)在很多方面都取得成功，但幾乎沒有理論可以解釋這一現(xiàn)象。正如 Facebook人工智能團(tuán)隊(duì)的首席科學(xué)家 Yann LeCun 所說，深度學(xué)習(xí)與蒸汽機(jī)的發(fā)展有些相似，因?yàn)檎羝麢C(jī)也是比熱動力理論超前很多年出現(xiàn)。

2019 年 3 月 13 日的深度學(xué)習(xí)科學(xué)會議（由美國國家科學(xué)院舉辦）上，英特爾的高級副總裁及 Mobileye 的董事長兼 CEO Amnon Shashua 報(bào)告了他們關(guān)于深度學(xué)習(xí)理論的最新研究。

該報(bào)告相關(guān)的文章――“深度學(xué)習(xí)架構(gòu)中的量子糾纏”于 2019 年 2 月 12 日發(fā)表在《Physical Review Letters 》期刊上。該項(xiàng)研究工作證明了深度學(xué)習(xí)可以解決一些問題，并由此提出了一個有前途的量子計(jì)算發(fā)展方向。這得益于兩個最成功的神經(jīng)網(wǎng)絡(luò)模型中的冗余信息，即卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural nets，簡稱CNNs）和循環(huán)神經(jīng)網(wǎng)絡(luò)模型（recurrent neural networks，簡稱RNNs）。

Amnon Shashua 是希伯來大學(xué)（位于耶路撒冷）計(jì)算科學(xué)專業(yè)的教授，在1999 年與 Ziv Aviram 一起創(chuàng)立了 Mobileye。作為開發(fā)高級駕駛輔助系統(tǒng)的全球先行者，Mobileye 在 2018 年被英特爾以 141 億美元的價(jià)格收購。

（來源：英特爾、Mobileye ）

與深度學(xué)習(xí)正相反，量子計(jì)算領(lǐng)域有很多計(jì)算理論，但是實(shí)際應(yīng)用卻很少。多年以來，Shashua 等研究人員一直思索如何模擬所謂的多體問題的量子計(jì)算。物理學(xué)家 Richard Mattuck 定義了“多體問題”研究，即研究多個實(shí)體間的相互作用對一個多體系統(tǒng)行為的影響。多體系統(tǒng)中還涉及了電子、原子、分子或者其他實(shí)體。

Shashua 團(tuán)隊(duì)證明了，CNNs 和 RNNs 比傳統(tǒng)的機(jī)器學(xué)習(xí)方法更好，比如“受限玻爾茲曼機(jī)（Restricted Boltzmann Machine，簡稱RBM）”。RBM 是在1986 年提出的一種生成式隨機(jī)神經(jīng)網(wǎng)絡(luò)方法，可謂是物理研究中的中流砥柱，尤其在量子理論模擬方面。

Shashua 等在文章中寫道，“CNNs 和 RNNs 中的深度學(xué)習(xí)架構(gòu)可以高效地模擬高度糾纏的量子系統(tǒng)?！?

糾纏是指量子系統(tǒng)中多體相互作用之間的相關(guān)性。目前的量子計(jì)算頗具優(yōu)勢，能夠以驚人的效率計(jì)算糾纏。利用傳統(tǒng)的電子計(jì)算去模擬這些是非常困難的的，甚至是不可能的。

他們寫道，“我們的研究量化了深度學(xué)習(xí)的強(qiáng)大功能，能夠以高糾纏波函數(shù)進(jìn)行表示，并且理論上推動了深度學(xué)習(xí)架構(gòu)在多體物理研究領(lǐng)域里的運(yùn)用?！?

研究人員將 CNNs 和 RNNs 應(yīng)用到他們設(shè)計(jì)的擴(kuò)展中，進(jìn)行研究。他們將此稱之為“ trick” 。結(jié)果證明，CNNs 和 RNNs 結(jié)構(gòu)包含了最基本的信息“重復(fù)使用”。

比如，利用 CNN 模型時，“內(nèi)核”，即在圖像上運(yùn)行的滑動窗口，在每一時刻都會重疊，因此圖像的一部分被多次攝取到 CNN 中。利用 RNN 模型時，神經(jīng)網(wǎng)絡(luò)每一層的信息存在循環(huán)利用，類似于重復(fù)使用。

這樣的架構(gòu)特點(diǎn)使得神經(jīng)網(wǎng)絡(luò)表示度產(chǎn)生指數(shù)級增長，而計(jì)算參數(shù)和成本則只是線性增長。換句話說，CNN 和 RNN 通過冗余的優(yōu)點(diǎn)，通過堆疊多個層實(shí)現(xiàn)，在計(jì)算方面可以更有效地進(jìn)行事物“表示”。

比如說，一個傳統(tǒng)“全連接”神經(jīng)網(wǎng)絡(luò)的計(jì)算時間是所需表示的實(shí)體數(shù)目的平方。RBM 更好，其計(jì)算時間與實(shí)體數(shù)目呈線性關(guān)系。不過，CNN 和 RNN 還要好，其計(jì)算時間是實(shí)體數(shù)目的平方根。

這些特性表明，體積定律糾纏標(biāo)度的建模方面，深度卷積網(wǎng)絡(luò)比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)方法更具顯著優(yōu)勢。實(shí)際上，重疊的卷積網(wǎng)絡(luò)可以支持任何尺寸為 100×100 的二維系統(tǒng)的糾纏，而這種糾纏是傳統(tǒng)方法無法實(shí)現(xiàn)的。

傳統(tǒng)的Tensor Network（簡稱TN）不支持信息重復(fù)利用，因此研究人員不得不用他們的“trick”。他們開發(fā)了修改版的 CNN 和 RNN，即CAC（convolutional arithmetic circuit）和 RAC（recurrent arithmetic circuit）。

圖|Amnon Shashua教授團(tuán)隊(duì)開發(fā)了新模型――“卷積運(yùn)算電路”（convolutional arithmetic circuit，簡稱CAC），該模型重復(fù)使用傳統(tǒng)CNN模型中的信息，并與物理學(xué)中常用的“Tensor Network”模型相結(jié)合（來源：Mobileye）

CAC 是他們近年來一直在研發(fā)的一種方法。CAC 中的 trick 是指輸入數(shù)據(jù)自身的重復(fù)，高效地復(fù)制了重疊 CNN 中的重復(fù)使用。而 RAC 則是重復(fù)輸入信息。

圖|研究人員通過添加數(shù)據(jù)重復(fù)利用，將一個RNN版本修改為“循環(huán)運(yùn)算電路（recurrent arithmetic circuit，簡稱為RAC）”（來源：Mobileye）

他們表示，“重要的是，雖然 RAC 每一層在每一步的輸出矢量被使用了兩次，在網(wǎng)絡(luò)計(jì)算中仍存在內(nèi)含的數(shù)據(jù)重復(fù)使用。因此，我們重復(fù)輸入，就像重疊卷積網(wǎng)絡(luò)中那樣?！?

研究人員表示，他們的研究結(jié)果有望拉近量子多體物理和最先進(jìn)的機(jī)器學(xué)習(xí)方法之間的距離。量子計(jì)算和深度學(xué)習(xí)至此要翻開新的一頁。