近日，網(wǎng)易云易盾實(shí)驗(yàn)室AI算法研究員的一篇論文《MULTI-VIEW AUTOENCODER FOR IMAGE FEATURE LEARNING WITH STRUCTURED NONNEGATIVE LOW RANK》提出了一種對多視角多模態(tài)特征信息進(jìn)行有效融合的自編碼器神經(jīng)網(wǎng)絡(luò)，在準(zhǔn)確率、NMI、Purity、ARI等各項(xiàng)性能指標(biāo)上再創(chuàng)新高，較當(dāng)下多項(xiàng)國際先進(jìn)的多視角多模態(tài)信息融合技術(shù)有顯著性的領(lǐng)先。

當(dāng)下，人工智能技術(shù)應(yīng)用范圍越來越大。以自編碼器（autoencoder）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、長短期記憶網(wǎng)絡(luò)（LSTM）為代表的深度學(xué)習(xí)技術(shù)因?yàn)閾碛辛己玫奶卣鲗W(xué)習(xí)能力，被學(xué)術(shù)界和工業(yè)界廣泛運(yùn)用于圖像分類、文本語義檢測的實(shí)際項(xiàng)目中。然而傳統(tǒng)的自編碼器特征學(xué)習(xí)技術(shù)，忽視了實(shí)際數(shù)據(jù)的多視角特征，只能針對單一的特征進(jìn)行網(wǎng)絡(luò)訓(xùn)練和特征學(xué)習(xí)，無法融合數(shù)據(jù)多視角特征中大量有用的結(jié)構(gòu)化信息。

易盾實(shí)驗(yàn)室AI算法研究員撰寫的論文，提出了一種新的對數(shù)據(jù)多視角特征進(jìn)行融合和特征提取的自編碼器網(wǎng)絡(luò)。它能在其編碼網(wǎng)絡(luò)中，對各個視角的特征信息進(jìn)行低秩結(jié)構(gòu)化融合。網(wǎng)絡(luò)經(jīng)過訓(xùn)練學(xué)習(xí)得到的新特征具有非負(fù)性和低秩的結(jié)構(gòu)性質(zhì)，能夠有效降低不同視角特征之間的噪聲，具有對噪聲的抗干擾能力和魯棒性。所設(shè)計的新型自編碼器網(wǎng)絡(luò)通過融合不同視角特征各自攜帶的局部視角信息，提高新的數(shù)據(jù)特征的表示能力，有效地提高了數(shù)據(jù)的分類識別準(zhǔn)確率。

需要指出的是，這種對數(shù)據(jù)多視角特征信息進(jìn)行低秩結(jié)構(gòu)化融合的自編碼器網(wǎng)絡(luò)方案，對傳統(tǒng)的深度學(xué)習(xí)技術(shù)-自編碼器神經(jīng)網(wǎng)絡(luò)有了很大的創(chuàng)新和改進(jìn)，對數(shù)據(jù)語義表示的精準(zhǔn)度和分類識別的應(yīng)用上有較大的性能提高。

看完上面幾段文字，估計很多人犯嘀咕：字都認(rèn)識，結(jié)合在一起，卻有一種看天書的感覺。這里舉一個通俗易懂的例子，形象地比喻：現(xiàn)行的自編碼器神經(jīng)網(wǎng)絡(luò)技術(shù)在數(shù)據(jù)特征信息的利用上，只能能摸出大象的腿、尾巴，不能對大象進(jìn)行一個完整、全面的信息描述，無法還原出一個真實(shí)的大象。而該論文提出的新的多模態(tài)視角信息融合技術(shù)，因?yàn)槟軌驅(qū)?shù)據(jù)的多視角、多模態(tài)特征進(jìn)行綜合提取和有效融合，能把這個大象完整、客觀和真實(shí)的呈現(xiàn)出來。

新提出的數(shù)據(jù)特征信息融合技術(shù)，已經(jīng)成功應(yīng)用于易盾內(nèi)容安全項(xiàng)目中，并在文本特征處理應(yīng)用方面申請了相關(guān)專利。通過提取文本內(nèi)容信息的關(guān)鍵詞、聯(lián)系方式、詞性句法關(guān)系等多視角、多模態(tài)信息特征，有效地提高了有害內(nèi)容的識別率，讓網(wǎng)易云易盾內(nèi)容安全的準(zhǔn)確率和召回率更上一個臺階。

此技術(shù)創(chuàng)新相關(guān)的論文《MULTI-VIEW AUTOENCODER FOR IMAGE FEATURE LEARNING WITH STRUCTURED NONNEGATIVE LOW RANK》于ICIP 2018 圖像處理大會期間發(fā)布，一同參加大會的公司包括微軟、谷歌、Facebook等技術(shù)巨頭。由于論文的創(chuàng)新性、應(yīng)用價值大，該論文已被IEEE數(shù)據(jù)庫收錄。

（網(wǎng)易云易盾）

值得一提的是，該論文的主筆為方正，來自網(wǎng)易易盾實(shí)驗(yàn)室，同時是IEEE Member（國際電氣和電子工程師協(xié)會會員）、 國際期刊 IEEE Transactions on Cybernetics和Neural Processing Letters的技術(shù)審稿評審。網(wǎng)易易盾實(shí)驗(yàn)室成立于2016年，隸屬于網(wǎng)易安全部，目前擁有數(shù)十名AI算法專家、安全研究員、政策法規(guī)研究專員等。實(shí)驗(yàn)室目前專注探索人工智能技術(shù)在安全領(lǐng)域的應(yīng)用，以及安全相關(guān)法規(guī)、社會責(zé)任等研究。