近年來(lái)，伴隨著深度學(xué)習(xí)技術(shù)的成熟以及計(jì)算機(jī)算力的增長(zhǎng)，人工智能技術(shù)在各行業(yè)的業(yè)務(wù)場(chǎng)景中實(shí)現(xiàn)了快速的普及和落地。在人工智能技術(shù)進(jìn)一步落地實(shí)踐的背景下，將會(huì)為行業(yè)帶來(lái)什么樣的變革與技術(shù)創(chuàng)新，成為了大家共同關(guān)心的問(wèn)題。

11月25至26日，以“AI商業(yè)化下的技術(shù)演進(jìn)”為主要研討方向的AICon全球人工智能與機(jī)器學(xué)習(xí)技術(shù)大會(huì)北京站順利召開(kāi)。據(jù)了解，AICon北京站設(shè)置了“人工智能前沿技術(shù)”、“計(jì)算機(jī)視覺(jué)實(shí)踐”、“智能金融技術(shù)與業(yè)務(wù)結(jié)合”、“認(rèn)知智能的前沿探索”等14 個(gè)技術(shù)專題，并邀請(qǐng)了50余位行業(yè)資深專家，分享最新 AI 技術(shù)創(chuàng)新和應(yīng)用實(shí)踐。

本次大會(huì)，騰訊優(yōu)圖實(shí)驗(yàn)室內(nèi)容審核算法負(fù)責(zé)人鄢科受邀出席了“計(jì)算機(jī)視覺(jué)實(shí)踐”技術(shù)專題的研討，并通過(guò)《騰訊優(yōu)圖在視覺(jué)內(nèi)容理解領(lǐng)域的研究與實(shí)踐》的主題演講，分享了騰訊優(yōu)圖在內(nèi)容安全領(lǐng)域中的研究成果和應(yīng)用實(shí)例，提供了技術(shù)創(chuàng)新和落地實(shí)踐的經(jīng)驗(yàn)和思路。

01 視覺(jué)內(nèi)容理解在內(nèi)容安全領(lǐng)域中的技術(shù)特點(diǎn)和挑戰(zhàn)

隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡(luò)內(nèi)容不論是呈現(xiàn)形式還是信息體量都迎來(lái)了爆發(fā)式的增長(zhǎng)。而在這些增長(zhǎng)的背后，也隱藏著海量的色情、血腥等不良和有害信息，不僅危害互聯(lián)網(wǎng)平臺(tái)的內(nèi)容生態(tài)，更可能導(dǎo)致安全問(wèn)題。在內(nèi)容安全問(wèn)題不斷加劇的背景下，AI、大數(shù)據(jù)等信息技術(shù)能夠輔助傳統(tǒng)人工審核，在內(nèi)容安全領(lǐng)域中發(fā)揮了重要作用。

基于此，騰訊優(yōu)圖依托在視覺(jué)AI技術(shù)上的研究成果，打造了包含涉黃、廣告、違法違規(guī)等在內(nèi)的、一站式內(nèi)容安全的解決方案。憑借支持一體化接入、需求定制化、詳實(shí)的標(biāo)簽體系和自動(dòng)化訓(xùn)練平臺(tái)等優(yōu)勢(shì)，該解決方案能夠在社區(qū)、UGC、直播、點(diǎn)播等場(chǎng)景中輔助人審，從而提高內(nèi)容安全審核的效率。

而在推動(dòng)視覺(jué)AI技術(shù)落地業(yè)務(wù)場(chǎng)景的過(guò)程中，騰訊優(yōu)圖也歸納和總結(jié)了視覺(jué)內(nèi)容理解的技術(shù)特點(diǎn)和挑戰(zhàn)：

首先，內(nèi)容安全審核被廣泛應(yīng)用在海內(nèi)外不同國(guó)家的各個(gè)行業(yè)和業(yè)務(wù)之中，不同業(yè)務(wù)的審核場(chǎng)景千差萬(wàn)別；以游戲直播場(chǎng)景為例，該場(chǎng)景一般是二次元模態(tài)的游戲畫(huà)面，但由于海外手機(jī)的像素質(zhì)量和國(guó)內(nèi)不一樣，很多都是一些模糊不清低質(zhì)圖像，場(chǎng)景多樣嚴(yán)重考驗(yàn)AI算法的穩(wěn)定性和泛化能力。

其次，針對(duì)于同一個(gè)內(nèi)容，不同客戶的標(biāo)準(zhǔn)定義差別很大，針對(duì)客戶需求制定能夠?qū)崿F(xiàn)全覆蓋的標(biāo)簽和標(biāo)準(zhǔn)體系，對(duì)技術(shù)完備提出了較高的要求。

最后，多樣化的內(nèi)容審核場(chǎng)景也要求方案具備多標(biāo)簽識(shí)別、目標(biāo)檢測(cè)、畫(huà)面細(xì)粒度、OCR等技術(shù)，無(wú)法通過(guò)一個(gè)簡(jiǎn)單的技術(shù)點(diǎn)或是通用模型解決所有問(wèn)題，對(duì)模型能力的精細(xì)化和快速優(yōu)化也提出了較高的要求。

02 騰訊優(yōu)圖實(shí)驗(yàn)室在視覺(jué)內(nèi)容理解場(chǎng)景的主要研究方向

目前，騰訊優(yōu)圖在內(nèi)容安全領(lǐng)域主要的研究方向主要包括細(xì)粒度識(shí)別、多標(biāo)簽識(shí)別、目標(biāo)檢測(cè)、目標(biāo)定位、對(duì)象供給、圖像描述等六個(gè)方向。

1）目標(biāo)檢測(cè)：目標(biāo)檢測(cè)在內(nèi)容理解領(lǐng)域中非常重要，包含通用物體檢測(cè)、特殊場(chǎng)景/商品檢測(cè)、遙感圖象、旋轉(zhuǎn)目標(biāo)檢測(cè)等技術(shù)方向。其中，騰訊優(yōu)圖在旋轉(zhuǎn)目標(biāo)檢測(cè)進(jìn)行了深入研究，提出了DRN（動(dòng)態(tài)修正網(wǎng)絡(luò)）來(lái)提升檢測(cè)效果的方法。

通過(guò)在FSM（特征選擇模塊）中設(shè)計(jì)自適應(yīng)感受調(diào)整模塊的方式，模型能夠根據(jù)目標(biāo)的形狀旋轉(zhuǎn)角度進(jìn)行自適應(yīng)調(diào)整，從而緩解單一感受點(diǎn)與多目標(biāo)的矛盾。

此外，針對(duì)分類和回歸任務(wù)，騰訊優(yōu)圖設(shè)計(jì)了DRHC（動(dòng)態(tài)修正分類器）與DRHR（動(dòng)態(tài)修正回歸器），讓模型能夠同時(shí)學(xué)習(xí)樣本敏感和fintune之外的、與樣本無(wú)關(guān)的一般性知識(shí)，并通過(guò)預(yù)訓(xùn)練的方式賦予模型樣本一致性調(diào)整的能力。

最后，統(tǒng)一的DRN能夠讓模型通過(guò)端到端的方式學(xué)習(xí)旋轉(zhuǎn)目標(biāo)檢測(cè)任務(wù)，同時(shí)基于AnchorFree算法，DRN也能對(duì)解決密集排列目標(biāo)場(chǎng)景下的目標(biāo)重合、混淆的問(wèn)題進(jìn)行較好的處理。

2）目標(biāo)定位：人、車、物的檢測(cè)工作所要求的標(biāo)準(zhǔn)檢測(cè)的框和目標(biāo)標(biāo)注的成本都很高，而在細(xì)分場(chǎng)景檢測(cè)時(shí)需要標(biāo)注的比較精細(xì)，從而提升了標(biāo)注的難度和成本。為了提高標(biāo)注的效率并降低成本，騰訊優(yōu)圖在弱監(jiān)督和定位方面進(jìn)行深入研究，并提出了目標(biāo)結(jié)構(gòu)保持是弱監(jiān)督定位關(guān)鍵問(wèn)題的觀點(diǎn)。

大多數(shù)弱監(jiān)督目標(biāo)檢測(cè)主要是依據(jù)分類網(wǎng)絡(luò)輸出響應(yīng)、空間正則約束來(lái)入手，通過(guò)提取一系列提升網(wǎng)絡(luò)的響應(yīng)區(qū)域去覆蓋目標(biāo)更多區(qū)域的。這種方法一般都會(huì)采用分類結(jié)構(gòu)，而這樣做則會(huì)讓模型丟失目標(biāo)結(jié)構(gòu)信息；同時(shí)，無(wú)限制的類別響應(yīng)特征圖往往會(huì)出現(xiàn)局部提高響應(yīng)導(dǎo)致模型分類出現(xiàn)一些誤判，不利于模型準(zhǔn)確定位到目標(biāo)的位置。

為解決以上問(wèn)題，騰訊優(yōu)圖首先設(shè)定了受限激活模塊緩解模型結(jié)構(gòu)信息的損失問(wèn)題，并重新定義了高階相似性，使自相關(guān)圖生成模塊顯著提高了目標(biāo)定位的精度；之后，通過(guò)計(jì)算每個(gè)特征位置在類別相應(yīng)性質(zhì)圖上的方差分布得出粗略的偽mask，以此來(lái)區(qū)分前背景；然后對(duì)類別響應(yīng)特征圖進(jìn)行歸一化，利用提出來(lái)的受限激活損失函數(shù)來(lái)引導(dǎo)模型關(guān)注目標(biāo)前景的區(qū)域，組成受限激活模塊；最后利用受限激活模塊進(jìn)行訓(xùn)練，在前向inference推理的過(guò)程中，高階自相關(guān)圖就會(huì)增強(qiáng)圖片的表達(dá)和后處理，讓可視化圖更加清晰、定位更加準(zhǔn)確。

3）多標(biāo)簽識(shí)別：多標(biāo)簽識(shí)別是內(nèi)容理解和內(nèi)容審核的場(chǎng)景中非常通用的技術(shù)問(wèn)題。之前很多技術(shù)都是采用RNN或者GCN來(lái)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)處理標(biāo)簽之間的共性依賴問(wèn)題，這種方法沒(méi)有考慮到標(biāo)簽共性依賴，導(dǎo)致系統(tǒng)無(wú)法有效分辨出標(biāo)簽及臨近標(biāo)簽之間的關(guān)系，大大降低了圖片識(shí)別的準(zhǔn)確度。

為此，騰訊優(yōu)圖提出了“除共性依賴以外，空間依賴也是理想多標(biāo)簽預(yù)設(shè)的重要因素”這一觀點(diǎn)，在考慮共性依賴的基礎(chǔ)上引入了空間依賴的建模，通過(guò)構(gòu)建一種基于Transfomer的雙目互補(bǔ)關(guān)系學(xué)習(xí)框架，讓模型同時(shí)學(xué)習(xí)空間依賴和共性依賴。具體而言，即在空間依賴上使用跨尺度的Transfomer建模，對(duì)CNN提取到的一些特征經(jīng)過(guò)跨尺度增強(qiáng)后得到空間信息更加清晰的圖像特征，然后利用共享權(quán)重的Transfomer群來(lái)建?？臻g，在建模過(guò)程中的空間依賴則根據(jù)空間關(guān)聯(lián)提升類別響應(yīng)。

針對(duì)于共性依賴只需要進(jìn)行內(nèi)別、感知約束和空間關(guān)聯(lián)引導(dǎo)，基于圖神經(jīng)網(wǎng)絡(luò)聯(lián)合GCA，聯(lián)合建模動(dòng)態(tài)語(yǔ)義關(guān)聯(lián)，最后整合兩種互補(bǔ)關(guān)系進(jìn)行協(xié)同學(xué)習(xí)得到給魯棒的多變性預(yù)測(cè)，進(jìn)一步提升圖片識(shí)別的準(zhǔn)確性。

此外，通過(guò)標(biāo)簽的value來(lái)為圖像標(biāo)簽引入文本語(yǔ)義信息的方式，用圖像標(biāo)簽做表征的方法也能取得很好的效果：將視覺(jué)的fintune和文本fintune直接用Transfomer建模，能夠讓多模態(tài)融合多標(biāo)簽的識(shí)別方法，相較于純標(biāo)簽的語(yǔ)義信息的效果有著顯著提升。

4）細(xì)粒度識(shí)別：過(guò)往的細(xì)粒度識(shí)別主要是使用通道間高階特征獲取可區(qū)別性的表達(dá)，但這種做法一般都會(huì)忽略空間位置關(guān)系的和不同語(yǔ)義之間的相互關(guān)系，在復(fù)雜背景或內(nèi)間距比較小的場(chǎng)景中誤判的情況較多。基于此類問(wèn)題，騰訊優(yōu)圖曾提出了通過(guò)挖掘特征間的空間關(guān)系和語(yǔ)義關(guān)系來(lái)建模高階關(guān)系，再對(duì)其中一些相似關(guān)系進(jìn)行合并、保留區(qū)別性高的特征的解決方案。

相較于三元的線性關(guān)系建模，該方案的關(guān)系模塊能夠在考慮空間關(guān)聯(lián)的基礎(chǔ)上，構(gòu)建更加豐富的語(yǔ)義關(guān)聯(lián)；同時(shí)，通過(guò)圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)高階特征中圖層不同節(jié)點(diǎn)間的關(guān)系，并根據(jù)關(guān)系的三元規(guī)則對(duì)高階關(guān)系進(jìn)行分組加權(quán)，在對(duì)相似特征進(jìn)行合并后，能夠在實(shí)現(xiàn)降維的同時(shí)保證比較高的特征；最后，在訓(xùn)練過(guò)程中采取類別均衡采樣策略學(xué)習(xí)，來(lái)確保特征分布更加準(zhǔn)確。

然后這樣的解決方案還是存在時(shí)間消耗過(guò)多和因深層擾動(dòng)導(dǎo)致工作效果不穩(wěn)定的問(wèn)題。對(duì)此騰訊優(yōu)圖提出了利用顯著性區(qū)域的對(duì)抗自動(dòng)編碼器生成噪音的解決方法，讓時(shí)效性問(wèn)題和對(duì)抗生成網(wǎng)絡(luò)不穩(wěn)定的問(wèn)題同時(shí)得到了解決，在不同數(shù)據(jù)集的識(shí)別上都能取得比較好的識(shí)別效果。

03 騰訊優(yōu)圖視覺(jué)內(nèi)容理解的實(shí)際應(yīng)用案例

目前，騰訊優(yōu)圖視覺(jué)內(nèi)容理解的實(shí)際應(yīng)用場(chǎng)景包括ACG敏感內(nèi)容識(shí)別和圖像情感傾向分析等多類。

1）ACG敏感內(nèi)容識(shí)別：在內(nèi)容安全領(lǐng)域中，由于ACG場(chǎng)景中多種風(fēng)格之間的差異化較大，導(dǎo)致通用模型在動(dòng)畫(huà)、漫畫(huà)和游戲領(lǐng)域中的內(nèi)容識(shí)別能力相對(duì)較弱，容易出現(xiàn)大量的誤判。為解決此類問(wèn)題，騰訊優(yōu)圖首先在統(tǒng)計(jì)原域和目標(biāo)域間的特征分布后，使用MMD來(lái)縮短兩個(gè)特征分布間的距離，實(shí)現(xiàn)分布約束；然后通過(guò)漸進(jìn)式學(xué)習(xí)策略讓模型在遷徙過(guò)程中優(yōu)先選擇與原域相近的樣本，有效降低了模型遷徙的難度；最后通過(guò)半監(jiān)督實(shí)現(xiàn)了通用模型的迅速迭代，生成針對(duì)ACG場(chǎng)景識(shí)別的專用審核模型。

在實(shí)際應(yīng)用中，使用了漸進(jìn)式學(xué)習(xí)策略的專用審核模型相較于直接遷徙的模型，召回率至少提升了17%~30%，極大程度上提升了ACG內(nèi)容審核工作的效率和效果。

2）圖像情感傾向分析：現(xiàn)階段的內(nèi)容審核工作中，審核系統(tǒng)對(duì)于出現(xiàn)人民幣、暴力等敏感元素的圖片都會(huì)做召回處理。但實(shí)際場(chǎng)景中，大量出現(xiàn)人民幣元素的圖片是正常的，這無(wú)形中為人審環(huán)節(jié)增加了很多工作負(fù)擔(dān)。

為此，騰訊優(yōu)圖提出了圖像情感傾向分析和一般的傾向分類，模擬人的主觀感覺(jué)對(duì)圖像進(jìn)行識(shí)別和分析，如果一張圖中出現(xiàn)了大量人民幣和一個(gè)人，并且這個(gè)人表現(xiàn)出開(kāi)心的狀態(tài)，那么這張圖的情感傾向就是正向的，無(wú)需召回；但如果一張圖中出現(xiàn)了惡搞人民幣的場(chǎng)景，那么這張圖的情感傾向就是負(fù)向的，需要召回并進(jìn)行再審核。