北京時間6月25日,在剛剛落下帷幕的CVPR2021上,字節(jié)跳動與合作院校的14篇論文入選,方向涵蓋神經網絡架構搜索、圖像修復、行為識別等,并在移動目標檢測、細粒度圖像識別、視頻分類等多個計算機視覺細分領域的競賽中優(yōu)勢奪冠。

CVPR(Conference on Computer Vision and Pattern Recognition,計算機視覺模式識別大會)與ICCV、ECCV并稱為計算機視覺領域三大頂級國際性盛會。近年來,CVPR的論文投稿量持續(xù)增加,CVPR2019的有效投稿為5160篇,CVPR2020年增長至6656篇。本屆CVPR的論文有效投稿量再創(chuàng)新高,多達7500篇,接收率僅為23.7%,競爭十分激烈。

計算機視覺是一門研究如何使機器“看”的科學。英國機器視覺協(xié)會(BMVA)對機器視覺的定義是「對單張圖像或一系列圖像的有用信息進行自動提取、分析和理解」。 借助云計算等新技術的推動,在一些場景下,計算機系統(tǒng)快速檢測視覺輸入并做出反應的準確度甚至勝過人類。從工業(yè)質檢到醫(yī)學成像,計算機視覺技術可深度應用到各行各業(yè),被視為人工智能實現的關鍵。

作為一家擁有多個現象級視頻、圖文類產品的科技公司,字節(jié)跳動持續(xù)在前沿計算機視覺領域進行研究及實踐。近年來,字節(jié)跳動在CVPR等頂級學術會議及核心期刊的論文發(fā)表數量逐年增加。在神經網絡架構搜索、目標檢測等前沿領域,字節(jié)跳動技術團隊的相關重磅論文被收錄進CVPR2021口頭報告(Oral)。

其中,“HR-NAS: Searching Efficient High-Resolution Neural Architectures with Lightweight Transformers”在神經網絡架構搜索(NAS)領域,突破性地提出了一種新型網絡框架。與此前的技術相比,新框架可以適用于圖像分類、分割、檢測等多種計算機視覺任務,較好地解決不同的計算機視覺任務對不同分辨率模型的需求。

“Sparse R-CNN: End-to-End Object Detection with Learnable Proposals”提出了基于可學習候選框的端到端的稀疏目標檢測器。這一全新的檢測范式既突破了當前目標檢測領域主流方法的技術局限,又保證了檢測的速度和精度。

另外,在圖像修復這一實用性較強的領域,字節(jié)跳動此次也有兩篇論文入選。標題分別為“Progressive Temporal Feature Alignment Network for Video Inpainting”和“Human De-occlusion: Invisible Perception and Recovery for Humans”。上述論文針對視頻中常見的,涂抹掉任意區(qū)域/物體后填充自然背景,以及人像合照順序替換、修補等問題,提出了更加優(yōu)化的技術方案。

值得一提的是,在與學術會議同時進行的CVPR2021 workshop競賽中,來自字節(jié)跳動的多支團隊表現出眾。其中,四支團隊以絕對優(yōu)勢奪得了移動目標檢測、細粒度圖像識別、視頻分類等前沿領域競賽項目的冠軍。

目前,字節(jié)跳動已將部分計算機視覺前沿技術落地應用在頭條尋人、經典電影修復、物種識別等社會公益、文化和科普領域。