隨著神經(jīng)網(wǎng)絡(luò)得到更廣泛的使用，它可能成為惡意軟件活動(dòng)的下一個(gè)前沿陣地。根據(jù)周一發(fā)布在arXiv預(yù)印本網(wǎng)站上的這項(xiàng)研究，惡意軟件可以直接嵌入到構(gòu)成機(jī)器學(xué)習(xí)模型的人工神經(jīng)元中，從而使它們不被發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)甚至能夠繼續(xù)正常執(zhí)行其設(shè)定的任務(wù)。

來(lái)自中國(guó)科學(xué)院大學(xué)的作者寫道："隨著神經(jīng)網(wǎng)絡(luò)的使用越來(lái)越廣泛，這種方法在未來(lái)將普遍用于傳遞惡意軟件。"

他們的實(shí)驗(yàn)發(fā)現(xiàn)，使用真實(shí)的惡意軟件樣本，用惡意軟件替換AlexNet模型中高達(dá)50%左右的神經(jīng)元，仍能保持模型的準(zhǔn)確率在93.1%以上。作者總結(jié)說(shuō)，一個(gè)178MB的AlexNet模型可以在其結(jié)構(gòu)中嵌入多達(dá)36.9MB的惡意軟件而不被使用一種叫做隱寫術(shù)的技術(shù)檢測(cè)出來(lái)，一些模型針對(duì)58種常見(jiàn)的防病毒系統(tǒng)進(jìn)行了測(cè)試，惡意軟件也沒(méi)有被發(fā)現(xiàn)系統(tǒng)被破壞的跡象。

其他入侵企業(yè)或組織的方法，如將惡意軟件附在文件或文檔上，往往不能在不被發(fā)現(xiàn)的情況下大規(guī)模地提供惡意軟件。另一方面，新的研究設(shè)想了這樣一個(gè)未來(lái)：一個(gè)組織可以為任何特定的任務(wù)（例如，聊天機(jī)器人，或圖像檢測(cè)）引入一個(gè)現(xiàn)成的機(jī)器學(xué)習(xí)模型，該模型可以裝載惡意軟件，同時(shí)很好地執(zhí)行其任務(wù)，不會(huì)引起安全系統(tǒng)的懷疑。

根據(jù)這項(xiàng)研究，這是因?yàn)锳lexNet（像許多機(jī)器學(xué)習(xí)模型）是由數(shù)百萬(wàn)個(gè)參數(shù)和許多復(fù)雜的神經(jīng)元層組成的，包括所謂的全連接 "隱藏"層。通過(guò)保持AlexNet中巨大的隱藏層完全不變，研究人員發(fā)現(xiàn)，改變其他一些神經(jīng)元對(duì)性能沒(méi)有什么影響。

在這篇論文中，作者為黑客如何設(shè)計(jì)一個(gè)帶有惡意軟件的機(jī)器學(xué)習(xí)模型并讓它在外部傳播列出了一個(gè)游戲規(guī)則。

"首先，攻擊者需要設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)。為了確保更多的惡意軟件可以被嵌入，攻擊者可以引入更多的神經(jīng)元。然后，攻擊者需要用準(zhǔn)備好的數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，以獲得一個(gè)表現(xiàn)良好的模型。如果有合適的訓(xùn)練有素的模型，攻擊者可以選擇使用現(xiàn)有模型。之后，攻擊者選擇最佳層并嵌入惡意軟件。嵌入惡意軟件后，攻擊者需要評(píng)估模型的性能，以確保損失可以接受。如果模型的損失超出可接受的范圍，攻擊者需要用數(shù)據(jù)集重新訓(xùn)練模型，以獲得更高的性能。一旦模型準(zhǔn)備好了，攻擊者可以利用供應(yīng)鏈污染等方法將其發(fā)布在公共資源庫(kù)或其他地方"。

根據(jù)該論文，在這種方法中，惡意軟件在嵌入到網(wǎng)絡(luò)的神經(jīng)元中時(shí)被"分解"，并由一個(gè)惡意的接收程序組裝成可運(yùn)行的惡意軟件，該程序也可以通過(guò)更新下載中毒的模型。如果目標(biāo)設(shè)備在啟動(dòng)模型之前驗(yàn)證了該模型，那么該惡意軟件仍然可以被阻止。它也可以用靜態(tài)和動(dòng)態(tài)分析等 "傳統(tǒng)方法"來(lái)檢測(cè)。

網(wǎng)絡(luò)安全研究員和顧問(wèn)Lukasz Olejnik博士告訴Motherboard："今天，用殺毒軟件檢測(cè)它并不簡(jiǎn)單，但這只是因?yàn)闆](méi)有人刻意在這里面尋找。該過(guò)程中的惡意軟件提取步驟也有可能被發(fā)現(xiàn)。一旦隱藏在模型中的惡意軟件被編譯成，惡意軟件，那么它就可能被發(fā)現(xiàn)。"

"但這也是一個(gè)問(wèn)題，因?yàn)閺纳疃壬窠?jīng)網(wǎng)絡(luò)模型中提取惡意軟件的定制方法意味著目標(biāo)系統(tǒng)可能已經(jīng)在攻擊者的控制之下，"他說(shuō)，"但如果目標(biāo)主機(jī)已經(jīng)在攻擊者的控制之下，隱藏額外惡意軟件的需求就會(huì)減少。"

"雖然這是合法的、有意義的研究，但我不認(rèn)為在DNN模型中隱藏整個(gè)惡意軟件能給攻擊者帶來(lái)什么，"他補(bǔ)充說(shuō)。

研究人員在研究中指出，他們希望這可以 "為神經(jīng)網(wǎng)絡(luò)輔助攻擊的防御提供一個(gè)可參考的方案"。

這并不是研究人員第一次研究神經(jīng)網(wǎng)絡(luò)如何被惡意行為者利用，比如通過(guò)設(shè)計(jì)圖像來(lái)迷惑他們，或者通過(guò)嵌入后門來(lái)導(dǎo)致模型行為不當(dāng)。如果神經(jīng)網(wǎng)絡(luò)真的是黑客的未來(lái)，隨著惡意軟件活動(dòng)的增加，這可能成為對(duì)大公司的一個(gè)新威脅。"隨著人工智能的普及，人工智能輔助的攻擊將出現(xiàn)，給計(jì)算機(jī)安全帶來(lái)新的挑戰(zhàn)。網(wǎng)絡(luò)攻擊和防御是相互依存的，"該論文指出。"我們希望所提出的方案能對(duì)未來(lái)的保護(hù)工作有所幫助"。