在2021年國(guó)際權(quán)威視覺(jué)問(wèn)答VQA(Visual Question Answering）競(jìng)賽這一涉及視覺(jué)-文本多模態(tài)理解的高階認(rèn)知任務(wù)中，由平安醫(yī)療科技、平安健康和平安智慧城市組成的聯(lián)合團(tuán)隊(duì)（PingAn Smart Healthcare, PASH-SFE）基于賽飛AI平臺(tái)強(qiáng)大的模型訓(xùn)練和推理能力，奪取“識(shí)數(shù)”任務(wù)單項(xiàng)冠軍，比賽榜總榜第二的好成績(jī)！戰(zhàn)勝了包括百度、NYU、微軟等在內(nèi)的55支知名隊(duì)伍。比賽截止后，聯(lián)合團(tuán)隊(duì)在公開(kāi)榜上繼續(xù)提升2個(gè)點(diǎn)，將總分提高到80.78, 相較于人類基準(zhǔn)水平僅相差0.05！

圖一 比賽榜 Human Performance 80.78

圖二 公開(kāi)榜 Human Performance 80.83

隨著深度學(xué)習(xí)、視覺(jué)理解、文本理解等領(lǐng)域高速發(fā)展，自然語(yǔ)言技術(shù)與計(jì)算機(jī)視覺(jué)交融逐漸成為多模態(tài)領(lǐng)域重要的前沿研究方向。其中，VQA是多模態(tài)領(lǐng)域挑戰(zhàn)極高的核心任務(wù)，解決VQA挑戰(zhàn)，對(duì)研發(fā)通用人工智能具有重要意義。

為鼓勵(lì)攻克這一難題，全球計(jì)算機(jī)視覺(jué)頂會(huì)CVPR從2015年起連續(xù)6年舉辦VQA挑戰(zhàn)賽，也吸引了包括微軟、Facebook、斯坦福大學(xué)、阿里巴巴、百度等眾多頂尖機(jī)構(gòu)參與，形成了國(guó)際上規(guī)模最大、認(rèn)可度最高的VQA數(shù)據(jù)集，其包含超20萬(wàn)張真實(shí)照片、110萬(wàn)道考題。

VQA 是AI領(lǐng)域難度最高的挑戰(zhàn)之一。在測(cè)試中，AI需根據(jù)給定圖片及自然語(yǔ)言問(wèn)題生成正確的自然語(yǔ)言回答。這意味著單個(gè)AI模型需融合復(fù)雜的計(jì)算機(jī)視覺(jué)及自然語(yǔ)言技術(shù)：首先對(duì)所有圖像信息進(jìn)行掃描，再結(jié)合對(duì)文本問(wèn)題的理解，利用多模態(tài)技術(shù)學(xué)習(xí)圖文的關(guān)聯(lián)性、精準(zhǔn)定位相關(guān)圖像信息，最后根據(jù)常識(shí)及推理回答問(wèn)題。

本次比賽中平安智慧醫(yī)療聯(lián)合團(tuán)隊(duì)（PASH-SFE）借助平安科技研發(fā)的搭建在大規(guī)模GPU集群之上的分布式AI平臺(tái)——賽飛平臺(tái)，利用基于擁有15億參數(shù)量的DeBERTa 模型，創(chuàng)新地在跨模態(tài)相對(duì)位置預(yù)測(cè) (Cross Modal Relation Position Prediction) 任務(wù)上進(jìn)行了再預(yù)訓(xùn)練，對(duì)語(yǔ)義關(guān)系進(jìn)行了更好的建模。融合了基于Region和Patch的視覺(jué)特征表示，實(shí)現(xiàn)了更精準(zhǔn)的圖像特征刻畫(huà)。在微調(diào)階段采用自研多模態(tài)交替對(duì)抗學(xué)習(xí) (AAT,AlternateAdversarialTraining) 技術(shù)進(jìn)一步增強(qiáng)了模型的魯棒性。

目前，基于此技術(shù)研發(fā)的平安智慧醫(yī)療眼底彩照智能篩查、皮膚病自測(cè)服務(wù)及多模態(tài)醫(yī)學(xué)知識(shí)搜索及問(wèn)答服務(wù)已經(jīng)在平安健康A(chǔ)PP上線。平安智慧醫(yī)療眼底彩照智能篩查服務(wù)助力平安健康互聯(lián)網(wǎng)眼科中心在全國(guó)范圍內(nèi)的開(kāi)展眼底篩查服務(wù)，目前已覆蓋線下杭州、成都、昆山、普寧、東莞、肇慶、滁州、安慶、珠海等城市的66家眼鏡店/視光中心等機(jī)構(gòu)。皮膚病自測(cè)服務(wù)基于用戶的皮膚圖片信息及疾病描述的文本信息，給出疑似疾病推薦，并進(jìn)一步給出相關(guān)疾病百科，問(wèn)診案例及常見(jiàn)用藥。該功能上線以來(lái)累計(jì)服務(wù)7萬(wàn)余人，客單價(jià)提升40%。應(yīng)用于平安智慧醫(yī)療AskBob醫(yī)生站的醫(yī)學(xué)知識(shí)搜索及問(wèn)答服務(wù)，基于用戶提供的文本搜索詞或者藥品圖片信息，提供多模態(tài)的相關(guān)醫(yī)學(xué)知識(shí)，包括醫(yī)學(xué)百科，就診 案例，頭條資訊及相關(guān)商品等，比傳統(tǒng)的基于關(guān)鍵字的搜索準(zhǔn)確度提升10%，上線 5 個(gè)月來(lái)，累計(jì)總調(diào)用2500萬(wàn)次。

不止于此，VQA技術(shù)融合圖像及文本信息實(shí)現(xiàn)了深度語(yǔ)義理解及推理，擁有廣闊的其他應(yīng)用場(chǎng)景，可用于圖文閱讀、跨模態(tài)搜索、盲人視覺(jué)問(wèn)答、醫(yī)療問(wèn)診、智能駕駛、虛擬主播等眾多領(lǐng)域，可覆蓋醫(yī)療、教育、智慧城市等多行業(yè)應(yīng)用，或?qū)⒆兏锶藱C(jī)交互方式。

圖三 眼底篩查服務(wù)

賽飛AI平臺(tái)

賽飛(SFE)是平安科技研發(fā)的搭建在大規(guī)模GPU集群之上的分布式AI平臺(tái)，為數(shù)據(jù)科學(xué)家和AI研究員提供了大規(guī)模GPU算力任務(wù)優(yōu)化調(diào)度能力、豐富的AI算法庫(kù)、友好的用戶界面和易于操作的開(kāi)發(fā)環(huán)境，涵蓋數(shù)據(jù)標(biāo)注-模型訓(xùn)練-模型壓縮-高性能推理的AI模型全生命周期的工具和服務(wù)?；谫愶w豐富前沿的開(kāi)源AI算法庫(kù)和AutoML大規(guī)模并行自動(dòng)調(diào)參工具，可縮短研發(fā)周期提升研發(fā)效率約4.8倍，同時(shí)基于賽飛針對(duì)GPU拓?fù)浣Y(jié)構(gòu)的優(yōu)化調(diào)度算法，通過(guò)“分時(shí)共享”可降低單位GPU使用成本約2.4倍。

賽飛AI平臺(tái)于2019年初實(shí)現(xiàn)1.0版的研發(fā)和上線，2020年初開(kāi)啟商業(yè)化進(jìn)程，經(jīng)過(guò)近2年的穩(wěn)定運(yùn)營(yíng)和高速發(fā)展，成為平安集團(tuán)統(tǒng)一深度學(xué)習(xí)平臺(tái)，服務(wù)覆蓋22家子公司，約占集團(tuán)50%的AI研發(fā)人員。截止2021年上半年，榮獲7個(gè)國(guó)際競(jìng)賽總冠軍和12個(gè)單項(xiàng)世界第一，技術(shù)成果發(fā)表數(shù)十篇高水平論文和60余項(xiàng)發(fā)明專利，獲得300+國(guó)內(nèi)外知名媒體報(bào)道。