近日,國際計算機(jī)視覺大會 ICCV 2023(International Conference on Computer Vision,簡稱ICCV)在法國巴黎召開。傳音影像團(tuán)隊與哈爾濱工業(yè)大學(xué)機(jī)器學(xué)習(xí)研究中心合作完成的圖像超分辨領(lǐng)域的論文“MetaF2N: Blind Image Super-Resolution by Learning Efficient Model Adaptation from Faces”被ICCV 2023接收。該論文為圖像復(fù)原領(lǐng)域的技術(shù)難題提供了新思路,且能應(yīng)用在智能移動終端產(chǎn)品圖像和視頻功能上,具有廣泛的應(yīng)用場景。

ICCV國際計算機(jī)視覺大會每2年舉辦一次,由IEEE(Institute of Electrical and Electronics Engineers,簡稱IEEE)主辦,與計算機(jī)視覺模式識別大會(IEEE Conference on Computer Vision and Pattern Recognition,CVPR)、歐洲計算機(jī)視覺大會(European Conference on Computer Vision,ECCV)并稱為計算機(jī)視覺三大頂級會議。ICCV屬于CCF A(Core Conference Ranking A)類會議,錄用率在20%-30%之間,在計算機(jī)視覺領(lǐng)域具備極高的學(xué)術(shù)影響力。本屆會議共收到全球8068篇論文投稿,2160篇被錄取,錄用率為26.77%。

圖像超分辨率技術(shù)旨在通過先進(jìn)的計算機(jī)視覺算法和深度學(xué)習(xí)方法,將低清晰度的圖像轉(zhuǎn)換為高清晰度的圖像,從而恢復(fù)丟失的細(xì)節(jié)和增強(qiáng)圖像質(zhì)量。隨著深度學(xué)習(xí)技術(shù)的發(fā)展,在已知圖像的退化設(shè)定下,很多基于深度神經(jīng)網(wǎng)絡(luò)的圖像超分辨算法已經(jīng)取得了高質(zhì)量的復(fù)原效果。但是由于真實世界圖像退化的復(fù)雜性與多樣性,算法的實際應(yīng)用場景往往是退化未知的場景。因此,如何在未知場景下取得優(yōu)越的圖像超分辨效果,成為了圖像復(fù)原領(lǐng)域一項重要的技術(shù)難題。

此次傳音影像部在ICCV上發(fā)表的論文MetaF2N充分利用了人臉本身五官所具有的結(jié)構(gòu)性先驗,在模型的訓(xùn)練及推理過程中加入了元學(xué)習(xí)(Meta-Learning)框架,通過人臉特有的先驗信息對整張圖像的退化類型進(jìn)行了隱式估計。同時,MetaF2N還利用人臉權(quán)重估計網(wǎng)絡(luò)MaskNet對人臉先驗信息進(jìn)行了評估與權(quán)重分配,來預(yù)防不準(zhǔn)確的人臉先驗信息對結(jié)果產(chǎn)生的負(fù)面影響,并在對應(yīng)的數(shù)據(jù)集上實現(xiàn)了領(lǐng)先的圖像超分辨效果。

、

隨著自媒體平臺的興起和短視頻的普及,用戶對于顯示內(nèi)容與攝影效果的清晰程度也有了更高的要求。除了對圖像增強(qiáng)外,圖像超分辨率技術(shù)也被廣泛應(yīng)用于視頻領(lǐng)域,通過將低分辨率視頻幀轉(zhuǎn)換為高分辨率,可以顯著提高視頻畫質(zhì)和清晰度。此次論文研究成果,也可作為高清人像復(fù)原技術(shù)向通用圖像復(fù)原技術(shù)的遷移的技術(shù)研究基礎(chǔ),后續(xù)將應(yīng)用在智能移動終端產(chǎn)品圖像和視頻功能中。

多年來,傳音影像團(tuán)隊持續(xù)深耕移動攝影、圖像技術(shù),在相關(guān)領(lǐng)域不斷建立和完善的技術(shù)創(chuàng)新體系,形成持續(xù)的創(chuàng)新能力,打造產(chǎn)品影像技術(shù)的領(lǐng)先優(yōu)勢。未來,傳音影像團(tuán)隊將繼續(xù)推進(jìn)圖像超分辨技術(shù)的迭代和應(yīng)用,賦能公司多品牌智能終端產(chǎn)品,為新興市場消費(fèi)者帶來更高清的影像體驗。