解鎖行為識別難題，依圖科技再奪一冠

依圖在全球AI技術(shù)賽道再下一城，又攻下一個第一。

繼蟬聯(lián)全球權(quán)威人臉識別競賽冠軍、先后刷新國際聲紋識別權(quán)威競賽（VoxSRC）紀錄、行人重識別（ReID）三大權(quán)威數(shù)據(jù)集之后，在權(quán)威機構(gòu)ACM MM’20 Grand Challenge主辦的大規(guī)模復雜場景人體視頻解析挑戰(zhàn)賽中，依圖科技以大幅領(lǐng)先的成績拿下了“Track-4:行為識別”的第一名。

ACM是全球最大的計算機領(lǐng)域?qū)I(yè)性學術(shù)組織，其評選的圖靈獎（A.M.Turing Award）被公認為世界計算機領(lǐng)域的諾貝爾獎。而ACM MM是全球多媒體領(lǐng)域的頂級會議，屬中國計算機學會（CCF）指定的A類國際會議。

在此次挑戰(zhàn)賽中，包括 Amazon、騰訊、大華科技、中山大學等上百支參賽隊伍參與了超過56000個復雜事件下的人體行為(包括排隊、打架、俯身、同行、跑動、滯留等)解析。

視頻中行為識別是本屆比賽中的重點項目，目的是考察算法在復雜場景下對行為（包含多人追蹤、人體姿態(tài)、行為識別）的解析能力。

該賽事是該方向最接近真實場景的大規(guī)模挑戰(zhàn)賽，依圖科技奪冠的同時，其背后的技術(shù)創(chuàng)新和對行為識別難題的攻克一時間備受關(guān)注。

深度優(yōu)化算法框架，算法性能極致提升

比賽中，依圖算法的指標達到了wf-mAP@avg 0.26，將以往學術(shù)界中的基準算法提升了近3倍。

與舉辦了多次的國際競賽不同，這次競賽是首屆，參賽隊伍在賽前也無法了解識別的類別、數(shù)據(jù)集的大小和識別的具體需求，要在短短一個多月的時間內(nèi)，設(shè)計出最優(yōu)的算法, 并在眾多實力強勁的隊伍中達到世界第一，難度極高。

首先，視頻相較于圖像的行為識別更加復雜，且如何建模、視頻幀之間的相關(guān)性仍是學術(shù)界一直存在的難題。

依圖認為，當應(yīng)用場景明確后，在已知分析的對象是人體且明確知道要識別的類別后，就可以針對性的進行算法優(yōu)化，通過算法定制化來提升算法性能，解決以往不能很好解決的問題。

依圖此次創(chuàng)新性地將算法與場景進行了深度結(jié)合。一方面創(chuàng)新性的從視頻中自動提取到了準確豐富的場景信息，結(jié)合先進的行人檢測、行人重識別算法，全面構(gòu)建了人與人、人與場景、人與物之間在視頻中的關(guān)系；

另一方面，借助多年來的算法積淀和對行業(yè)場景的理解，依圖對比賽中要求的特定的14類任務(wù)進行了深度算法優(yōu)化。

依圖在相關(guān)行為上持續(xù)迭代，不斷積累，行為識別算法的性能已遠超比賽當時的算法性能。同時，運用該技術(shù)落地實戰(zhàn)的項目難度也遠超比賽的數(shù)據(jù)集。

行為識別究竟有多難？

如果把人臉識別比作醫(yī)院的“普外門診”的話，行為識別尤其是人類的行為識別，其復雜度和識別難度不亞于“心血管內(nèi)科+神經(jīng)內(nèi)科”。

場景復雜多變、動作差異化大、需要捕捉連續(xù)動作和長時間動作，這些對行為識別和分析都有著巨大的挑戰(zhàn)，也就需要算法對行為本身有更精準的分析推理能力，甚至還能通過既定的場景推算未曾見過的場景。

結(jié)合此次比賽，行為識別是指以人為基礎(chǔ)單位，只分析人的行為，關(guān)注單人的動作以及多人的動作（例如：一起走路、奔跑、打架等）。

學術(shù)界通常用frame mAP (f-mAP@avg)來作為行為識別的評價指標，f-mAP@avg代表的含義是以關(guān)鍵幀為單位，評判行為的位置與分類是否準確；

與學術(shù)界對行為識別的考察指標不同，此次競賽的評價標準是wf-mAP@avg，這意味著更注重對難度較大的擁擠場景的考察，以及比較少見的動作的識別，同時對于人體框的定位的精確性要求也更高。

不同于其他參賽隊伍，依圖此次沒有使用復雜的多模型融合策略，僅用單模型，借助強大的背景提取和分割算法，將行為的解析與場景結(jié)合，就大大降低了問題難度，這也意味著依圖仍可以進一步通過融合多個模型提升算法性能。

芯片+算法，加速AI技術(shù)落地

想象一下，未來運用該技術(shù)如何判斷一個都市夜歸人路遇劫匪而自動報警？如何在家中老人倒地時讓及時預警并第一時間告知監(jiān)護人？如何判斷一個生產(chǎn)線上的工人施工順序出錯并即刻發(fā)出告警？如何在一個視頻中對內(nèi)容進行精準理解，并為其貼上更合適的標簽使得能夠被更精準和更容易檢索到？

在依圖不斷開拓AI新領(lǐng)域的版圖上，相信這些問號背后的答案已逐漸清晰。此前，依圖科技自主研發(fā)的全球首款云端視覺智能芯片求索（questcore），開啟了算法設(shè)計與芯片設(shè)計相結(jié)合的時代。集合了高性能AI算法和芯片耦合設(shè)計優(yōu)化的芯片平臺，結(jié)合世界領(lǐng)先的行為識別算法的依圖，將更有利于賦能智能城市、安全生產(chǎn)、智能商業(yè)等領(lǐng)域，打造新一代AI基礎(chǔ)設(shè)施。

目前，依圖已在貴陽、福州等地實現(xiàn)了千萬量級的城市級大規(guī)模AI應(yīng)用，用實際行動詮釋了AI技術(shù)如何實戰(zhàn)落地。

近日，依圖獲得由英國標準協(xié)會（即“BSI”)頒發(fā)的ISO/IEC 27701:2019隱私信息管理體系國際認證，成為國內(nèi)首家通過認證的AI公司。認證由國際標準化組織(ISO)和國際電工委員會(IEC)聯(lián)合發(fā)布，是全球首個針對隱私信息管理的國際標準，也被公認為是最嚴格、權(quán)威的隱私信息管理標準。獲得該認證充分體現(xiàn)了依圖對數(shù)據(jù)隱私保護的堅持和持續(xù)踐行。

新基建趨勢下，各行各業(yè)加快數(shù)字化，提升各類工作的智能水平成為剛需。作為目前國內(nèi)唯一具有提供超大規(guī)模、復雜環(huán)境下億級規(guī)模城市的智能化運營管理技術(shù)能力的人工智能公司，在硬核的技術(shù)實力和隱私保障上的不斷努力已形成一套“組合拳”，也即將加速解鎖更多的智能應(yīng)用。