能更好模仿生物神經(jīng)系統(tǒng)運(yùn)行機(jī)制的脈沖神經(jīng)網(wǎng)絡(luò)在發(fā)展速度和應(yīng)用范圍上都還遠(yuǎn)遠(yuǎn)落后于深度學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)（ANN），但脈沖神經(jīng)網(wǎng)絡(luò)的低功耗特性有望使其在邊緣計(jì)算領(lǐng)域大放異彩。近日，奧地利的格拉茨技術(shù)大學(xué)理論計(jì)算機(jī)科學(xué)學(xué)院的兩位研究者提出了一種可將人工神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為脈沖神經(jīng)網(wǎng)絡(luò)（SNN）的新方法，能夠在保證準(zhǔn)確度的同時(shí)有效地將 ANN 模型轉(zhuǎn)換成 SNN 模型。該技術(shù)有望極大擴(kuò)展人工智能的應(yīng)用場景。

現(xiàn)代人工智能還難以在邊緣設(shè)備中廣泛應(yīng)用，而脈沖神經(jīng)網(wǎng)絡(luò)（Spiking neural network, SNN）有望突破造成這一困境的主要難題：基于深度學(xué)習(xí)的當(dāng)前 SOTA 大型人工神經(jīng)網(wǎng)絡(luò)（ANN）的能量消耗。

尤其是卷積神經(jīng)網(wǎng)絡(luò)（CNN），其已經(jīng)在圖像分類以及其它一些應(yīng)用領(lǐng)域得到了廣泛使用。為了實(shí)現(xiàn)卓越的性能，這些 ANN 必須規(guī)模龐大，因?yàn)樗鼈冃枰銐蚨嗟膮?shù)才能從訓(xùn)練所用的大型數(shù)據(jù)集中吸收足夠信息。舉個(gè)例子，ImageNet2012 數(shù)據(jù)集有 120 萬張圖像。如果使用標(biāo)準(zhǔn)硬件來實(shí)現(xiàn)這些大型 ANN，那么得到的實(shí)現(xiàn)結(jié)果本質(zhì)上就具有很高的能耗。

脈沖神經(jīng)元（Spiking neuron）已經(jīng)成為開發(fā)用于 AI 的全新計(jì)算硬件的核心，其有望極大降低能量預(yù)算。部分原因是人腦的巨型 SNN（包含約 1000 億個(gè)神經(jīng)元）的功耗僅為 20 W。脈沖神經(jīng)元的輸出是一系列定型脈沖。因此，它們的輸出與 ANN 神經(jīng)元的輸出非常不同，ANN 神經(jīng)元的輸出是連續(xù)數(shù)值。大多數(shù)脈沖神經(jīng)元模型都可視為神經(jīng)形態(tài)硬件的實(shí)現(xiàn)，它們的設(shè)計(jì)靈感都來自大腦脈沖神經(jīng)元的簡單模型。但是，這些簡單的神經(jīng)元模型不同于生物神經(jīng)元，并不具備通過不同的時(shí)間脈沖模式來編碼不同輸入的能力——只靠發(fā)射率是不行的（下圖 1 給出了一個(gè)示例）。

此外，大型 ANN 通常會(huì)使用越來越復(fù)雜精細(xì)的深度學(xué)習(xí)算法來在巨型數(shù)據(jù)集上進(jìn)行訓(xùn)練，由此得到的模型能在一些智能任務(wù)類別中接近甚至有時(shí)還能超過人類表現(xiàn)，但當(dāng)前一代基于脈沖的神經(jīng)形態(tài)硬件的表現(xiàn)卻落后了。對(duì)于當(dāng)前脈沖神經(jīng)網(wǎng)絡(luò)的這種情況，還是有希望追趕上大型 ANN 的，因?yàn)檫@些可以直接訓(xùn)練以實(shí)現(xiàn)當(dāng)前 ANN 的大部分性能。

但對(duì)于前饋網(wǎng)絡(luò)而言，如何僅使用少數(shù)脈沖來實(shí)現(xiàn)與 ANN 性能相近的 SNN，這個(gè)問題依然存在。能實(shí)現(xiàn)非常好的圖像分類準(zhǔn)確度的前向 CNN 往往很深很大，而訓(xùn)練對(duì)應(yīng)深度和寬度的前向 SNN 卻無法取得類似的分類準(zhǔn)確度。研究者認(rèn)為，可能的原因包括在所得 SNN 的較高層面上的脈沖出現(xiàn)時(shí)間問題以及發(fā)射率精度問題。一種吸引人的做法是直接將一個(gè)表現(xiàn)優(yōu)異、已訓(xùn)練完成的 CNN 轉(zhuǎn)換成 SNN——使用同樣的連接和權(quán)重。最常用而且到目前為止也是表現(xiàn)最好的轉(zhuǎn)換方法是基于發(fā)射率編碼的思想，這種方法是通過脈沖神經(jīng)元的發(fā)射率來仿真 ANN 單元的模擬（analog）輸出。該方法已經(jīng)造就了到目前為止在圖像分類任務(wù)上表現(xiàn)最好的 SNN。但要通過發(fā)射率來傳輸模擬值，往往需要相當(dāng)多的脈沖，而這又會(huì)拖累網(wǎng)絡(luò)的延遲和吞吐量。

此外，由于所得到的 SNN 往往會(huì)產(chǎn)生非常多脈沖，因此其相對(duì)于非脈沖硬件的能耗優(yōu)勢(shì)也將蕩然無存。最后，基于發(fā)射率的 ANN 到 SNN 轉(zhuǎn)換方法無法用于那些在 ImageNet、EfficientNet 上取得了最高準(zhǔn)確度的 ANN，因?yàn)檫@些方法使用了會(huì)假設(shè)正值和負(fù)值的激活函數(shù)：SiLU 函數(shù)。

針對(duì)這些難題，奧地利格拉茨技術(shù)大學(xué)理論計(jì)算機(jī)科學(xué)學(xué)院的兩位研究者提出了一種新型的 ANN 轉(zhuǎn) SNN 方法。他們稱之為 FS 轉(zhuǎn)換，其中 FS 是 Few Spikes 的縮寫，即其僅需一個(gè)脈沖神經(jīng)元發(fā)射少數(shù)幾個(gè)脈沖。這種方法與基于發(fā)射率的轉(zhuǎn)換方法完全不同，并且使用了帶有脈沖模式的時(shí)間編碼選項(xiàng)，其中脈沖的時(shí)間可以傳輸額外的信息。

論文：https://arxiv.org/abs/2002.00860

代碼：https://github.com/christophstoeckl/FS-neurons

事實(shí)證明，之前人們提出的大多數(shù)時(shí)間編碼形式都難以在神經(jīng)形態(tài)硬件中高效地實(shí)現(xiàn)，因?yàn)檫@需要將脈沖之間精細(xì)的時(shí)間差傳遞到下游神經(jīng)元。相較而言，F(xiàn)S 轉(zhuǎn)換的實(shí)現(xiàn)僅需使用 log N 個(gè)不同值的脈沖時(shí)間以及最多 log N 個(gè)用于傳輸 1 到 N 之間的整數(shù)的脈沖。在實(shí)踐中，所需的脈沖數(shù)量甚至還可以更少，因?yàn)椴⒎撬?N 個(gè)值的出現(xiàn)幾率都是均等的。但是，F(xiàn)S 轉(zhuǎn)換需要一種修改版的脈沖神經(jīng)元模型——FS 神經(jīng)元，該神經(jīng)元的內(nèi)部動(dòng)態(tài)針對(duì)使用少數(shù)脈沖仿真特定類型的 ANN 神經(jīng)元進(jìn)行過優(yōu)化。

研究者使用 FS 轉(zhuǎn)換通過 CNN 得到了一些 SNN 并在 ImageNet2012 和 CIFAR10 這兩個(gè)圖像分類數(shù)據(jù)集上進(jìn)行了測(cè)試驗(yàn)證。他們表示：這種優(yōu)化版脈沖神經(jīng)元模型可以用于指引下一代神經(jīng)形態(tài)硬件的研發(fā)。

如何使用脈沖很少的脈沖神經(jīng)元仿真 ANN 神經(jīng)元？

ANN 轉(zhuǎn) SNN 的 FS 轉(zhuǎn)換需要將標(biāo)準(zhǔn)的脈沖神經(jīng)元模型轉(zhuǎn)換成這里提出的 FS 神經(jīng)元。下圖 2a 展示了 ANN 的一個(gè)通用型人工神經(jīng)元的計(jì)算步驟，圖 2b 則是通過 K 個(gè)時(shí)間步仿真它的 FS 神經(jīng)元。其內(nèi)部動(dòng)態(tài)由固定的參數(shù) T(t)、h(t)、d(t) 定義，其中 t=1,...,K。這些參數(shù)經(jīng)過優(yōu)化，以通過脈沖的加權(quán)和 。

來仿真給定 ANN 神經(jīng)元的激活函數(shù) f(x)。z(t) 是指脈沖神經(jīng)元產(chǎn)生的脈沖序列。更確切地說：如果該神經(jīng)元在步驟 t 發(fā)射，則 z(t)=1；否則 z(t)=0。要在時(shí)間 t 發(fā)射出脈沖，神經(jīng)元的膜電位 v(t) 必須超過其發(fā)射閾值的當(dāng)前值 T(t)。

研究者假設(shè)膜電位 v(t) 不漏電，但在時(shí)間 t 的脈沖之后會(huì)被重置為 v(t)?h(t)。用公式表示的話，膜電位 v(t) 的初始值為 v(1)=x，其中 x 是門的輸入，然后基于以下公式在 K 個(gè)步驟中不斷演變：

對(duì)于門輸入 x，F(xiàn)S 神經(jīng)元的脈沖輸出 z(t) 可以緊湊地定義為：

其中 Θ 表示 Heaviside 階躍函數(shù)。FS 神經(jīng)元在這 K 個(gè)時(shí)間步驟的總輸出會(huì)被下一層的 FS 神經(jīng)元收集。這個(gè)總輸出可寫為：

圖 2b 為其模型的示意圖。

圖 2：ANN 神經(jīng)元到 FS 神經(jīng)元的轉(zhuǎn)換。a）一個(gè)激活函數(shù)為 f(x) 的一般 ANN 神經(jīng)元；b）用 K 個(gè)時(shí)間步驟仿真這個(gè) ANN 神經(jīng)元的 FS 神經(jīng)元，其輸出序列表示為 z(t)。

為了仿真 ReLU 激活函數(shù)，可以選擇 FS 神經(jīng)元的參數(shù)，使得它們可以為位于某個(gè)上限值之下所有輸入值 x 定義一個(gè)由粗到細(xì)的處理策略。為了仿真 EfficientNet 的 SiLU 函數(shù)，可以實(shí)現(xiàn)更好的 FS 轉(zhuǎn)換，即選擇參數(shù)的方式要使得：對(duì)于 EfficientNet 中作為門輸入 x 最常出現(xiàn)的 -2 到 2 范圍內(nèi)的輸入，它們可以實(shí)現(xiàn)迭代式的，也因此更加精確的處理。下圖 3 展示了 FS 神經(jīng)元在 SiLU 和 sigmoid 激活函數(shù)情況下所得到的動(dòng)態(tài)。

圖 3：FS 神經(jīng)元的內(nèi)部動(dòng)態(tài)。第一行是 FS 神經(jīng)元對(duì)一個(gè)較低輸入值（x=-0.5）的響應(yīng)，第二行則是其對(duì)一個(gè)較高輸入值（x=0.5）的響應(yīng)。第一列展示了 SiLU FS 神經(jīng)元的響應(yīng)，第二列則是 sigmoid FS 神經(jīng)元的響應(yīng)。為便于說明，離散時(shí)間步驟 t 中 T(t) 和 v(t) 的相關(guān)值是平滑插值的。

所有使用同一激活函數(shù)仿真 ANN 神經(jīng)元的 FS 神經(jīng)元都可使用同樣的參數(shù) T(t)、h(t)、d(t)，而它們的輸出脈沖的權(quán)重中的因數(shù) w 可以從訓(xùn)練得到的 ANN 中相應(yīng)突觸連接中簡單地提出來。

使用 FS 轉(zhuǎn)換方法時(shí)，網(wǎng)絡(luò)中神經(jīng)元和連接的數(shù)量都不會(huì)增加。但一個(gè) L 層前饋 ANN 的計(jì)算步驟數(shù) L 會(huì)增大 K 倍。但 ANN 的計(jì)算能以一種管道流程化的方式仿真，而 SNN 會(huì)每 2K 個(gè)時(shí)間步處理一個(gè)新的網(wǎng)絡(luò)輸入（圖像）。在這種情況下，F(xiàn)S 神經(jīng)元的參數(shù)會(huì)隨著 FS 神經(jīng)元計(jì)算而周期性變化，周期長度為 K。這 K 個(gè)步驟之后會(huì)跟著 K 個(gè) FS 神經(jīng)元不活躍的時(shí)間步，而下一層的 FS 神經(jīng)元會(huì)收集它們的脈沖輸入來仿真 ANN 的下一個(gè)計(jì)算步驟或計(jì)算層。請(qǐng)注意，由于所有使用同一激活函數(shù)仿真 ANN 神經(jīng)元的 FS 神經(jīng)元都可使用同樣的參數(shù) T(t)、h(t)、d(t)，因此它們?cè)谏窠?jīng)形態(tài)芯片上僅需少量額外內(nèi)存。

FS 神經(jīng)元的 TensorFlow 代碼和所選參數(shù)都已發(fā)布在 GitHub。

表 1：對(duì)兩個(gè)當(dāng)前最佳的 CNN 使用 FS 轉(zhuǎn)換，基于 ImageNet 分類圖像的準(zhǔn)確度和脈沖數(shù)量。通過 FS 轉(zhuǎn)換而得到的 SNN 幾乎實(shí)現(xiàn)了與對(duì)應(yīng) ANN 一樣的準(zhǔn)確度，而且每個(gè)神經(jīng)元通常最多使用 2 個(gè)脈沖。括號(hào)中的數(shù)據(jù)是 Top5 準(zhǔn)確度。推理所需的脈沖數(shù)量數(shù)據(jù)是在 1000 張測(cè)試圖像上得到的平均值。