最近,人工智能(AI)頻頻刷屏,各行各業(yè)的AI應用層出不窮,AI似乎已經(jīng)變得無所不在。在媒體行業(yè),AI應用也漸漸走入視野,智慧媒體時代呼之欲出。在傳統(tǒng)媒體領(lǐng)域領(lǐng)先多年的成都索貝數(shù)碼科技股份有限公司(以下簡稱索貝),當然不逞多讓,在AI領(lǐng)域積極布局,除自建團隊之外,還積極各AI頭部企業(yè)尋求合作,面向媒體應用場景,走出了一條獨特的自主創(chuàng)新之路。

AI面向媒體應用場景

之前很多人對索貝的印象還停留在傳統(tǒng)廣電企業(yè)上,實際上,索貝通過積極的戰(zhàn)略布局,在視頻云、大數(shù)據(jù)、區(qū)塊鏈等領(lǐng)域進展迅速,并在媒體AI領(lǐng)域形成突破。

比起阿里、騰訊等互聯(lián)網(wǎng)巨頭,作為世界級專業(yè)視頻技術(shù)及解決方案提供商及視頻技術(shù)創(chuàng)新工場,索貝更關(guān)心媒體用戶在AI落地上的訴求和痛點。通過調(diào)研發(fā)現(xiàn),隨著人工智能技術(shù)越來越多普及,其他行業(yè)應用落地的發(fā)展,媒體行業(yè)用戶對AI落地期望很高,例如,根據(jù)文稿能直接制作出短視頻;體育、綜藝、時政、影視等多種節(jié)目形態(tài)的快速智能剪輯;新聞節(jié)目中各片段的拆分,綜藝節(jié)目拆分,影視劇關(guān)鍵段落拆分等。

根據(jù)這些應用場景,最開始,索貝也像其他廠商一樣,只是將AI能力引入到系統(tǒng)中來,原來的轉(zhuǎn)碼、合成之類的服務器,加上新的AI執(zhí)行器,比如語音識別、人臉識別等等,以集成為主。但很快,通過不斷的實踐,索貝和客戶達成共識,這樣的做法行不通。

因為在AI的三大要素——算法、算力、數(shù)據(jù)中,算法和數(shù)據(jù)都會因不同場景而不同,如果在媒體行業(yè)中AI能力“有什么用什么”,一方面在業(yè)務場景上有局限性,另一方面也因為訓練數(shù)據(jù)集的差異,在泛化能力上是有局限性。因此,索貝需要的是實現(xiàn)“要什么做什么”,實現(xiàn)媒體行業(yè)獨有的AI。

只有建立起面向用戶價值場景的AI應用的實際能力,才能實現(xiàn)AI與媒體行業(yè)深層次的融合,所以索貝AI的做法是——面向媒體場景算法和數(shù)據(jù),實現(xiàn)媒體行業(yè)自己的AI技術(shù)與能力。

自建團隊攻關(guān)AI

在人工智能方面,索貝堅持長期的資源、資金和人力投入。根據(jù)對用戶需求和痛點的分析,索貝專門成立媒體智能實驗室,由30余名AI算法工程師組成算法研究團隊,并與上海交大、四川大學、鵬城實驗室等科研單位進行深度合作。目前,索貝已經(jīng)發(fā)表SCI檢索已達10篇,專利10余項。最近一篇被接受的SCI論文《孿生標簽LDA:一種面向文檔分類的監(jiān)督式主題模型》。

據(jù)了解,索貝是業(yè)內(nèi)唯一這樣做的廠商,索貝認為,有自建團隊才有自主研發(fā)算法的可能,這也符合國家核心技術(shù)全面國產(chǎn)化,核心設(shè)備國產(chǎn)化的發(fā)展要求。索貝始終堅持AI結(jié)合業(yè)務的研發(fā)原則,旨在打造最懂媒體行業(yè)的人工智能技術(shù)。

對于通用的,成熟的AI能力,索貝已與商湯、訊飛、華為、騰訊等廠商也建立了戰(zhàn)略合作關(guān)系,不論在技術(shù)和市場層面都有著良好的合作。索貝始終站在客戶角度,以實際應用效果出發(fā),為客戶選擇提供更好的AI落地效果。

推進媒資智能化發(fā)展

在BIRTV2020期間,索貝自主研發(fā)的新一代融合媒體內(nèi)容管理平臺Media Asset Hive(簡稱MAH)正式亮相。

索貝AI團隊針對新聞、體育、綜藝節(jié)目等不同種類節(jié)目建立起智能化標簽體系,以自研AI算法為支撐,產(chǎn)生了豐富的語義標簽,提高內(nèi)容搜索效率,支撐了內(nèi)容推薦,快速編目,內(nèi)容交換等應用場景,為電視臺以及其他媒體行業(yè)提供專業(yè)內(nèi)容管理解決方案及服務。

MAH獨創(chuàng)性得實現(xiàn)了新聞融合生產(chǎn)過程中各種內(nèi)容對象關(guān)聯(lián)關(guān)系的管理。結(jié)合智能內(nèi)容挖掘,結(jié)合智能內(nèi)容挖掘,MAH可顯著降低節(jié)目制作過程中的人力成本,提高新媒體發(fā)布的處理效率,將更多的人力從資源管理、素材歸檔等工作中釋放到內(nèi)容創(chuàng)作中去,帶來良好的社會效益和經(jīng)濟效益。

MAH還是媒體行業(yè)第一個投入實用的Cloud Native媒體內(nèi)容管理平臺,讓媒資系統(tǒng)不再只是具備歸檔、編目等簡單功能,而是要不斷推動媒資向平臺化演進。在今年全國兩會期間,廣東臺創(chuàng)新運用了“5G+AI”的創(chuàng)新技術(shù),實現(xiàn)了每天約3小時的直播收錄、智能分析、基于分析結(jié)果快速編輯、發(fā)布,索貝新一代MAH智能媒資系統(tǒng)也首次在省級臺中亮相,提高了生產(chǎn)效率。

自8月17日起,索貝VR全景展廳在官方網(wǎng)站(www.sobey.com)正式開啟,屆時,MAH也開放體驗,所有人可以通過VR互動的方式,訪問相關(guān)頁面,用自己的視頻、圖片等素材,真切體驗到MAH的強大智能以及電視臺AI應用的真實環(huán)境。

新聞AI制作大放異彩

在2019年的國慶大閱兵現(xiàn)場,中央廣播電視總臺AI剪輯的短視頻令人印象深刻,其幕后支撐技術(shù)正是來自索貝。

索貝牽手央視新聞對現(xiàn)場的閱兵方陣進行了AI視頻剪輯的實地操作。從大閱兵三軍儀仗隊進入視線開始,通過新聞云,AI引擎能夠自動編輯前方70余個機位的畫面內(nèi)容,平均耗時90秒。而如果以人工剪輯,每個方陣的視頻剪輯完成需30分鐘。整個閱兵期間,平均每隔3分鐘就有一篇新聞從索貝的系統(tǒng)發(fā)出面向用戶,滿足了新聞的時效性。這是央視新聞新媒體首次運用AI人工智能技術(shù)到短視頻剪輯當中,同時也是索貝媒體智能布局成果展示,事實證明,索貝實至名歸。

索貝AI團隊在接到任務后,經(jīng)過梳理發(fā)現(xiàn),針對新聞新媒體國慶報道AI剪輯需求,實現(xiàn)敬禮動作識別、有效鏡頭檢測、方陣識別等這些算法都不是通用算法,市場上想買都買不到,必須依靠索貝自身的算法研究團隊。最終,團隊基于索貝麒智AI平臺,開發(fā)出視頻AI智能剪輯系統(tǒng),利用平臺積累的計算機視覺、音頻、自然語言處理算法,進行快速定制、訓練算法提取視音頻特征,同時結(jié)合平臺具備的大數(shù)據(jù)分析處理算法及工具,進一步完成數(shù)據(jù)及特征分析整合,形成應用所需的有用的信息及知識,最后結(jié)合編輯場景所需完成最后的知識應用,形成AI編輯生產(chǎn)力,完成之前需要大量人力投入的編輯工作。AI剪輯平臺以圖像識別技術(shù)為基礎(chǔ),結(jié)合語音識別等人工智能技術(shù),設(shè)計開發(fā)了隊伍方陣識別、有效鏡頭檢測、自動合成剪輯三大類智能處理模型,通過三類模型的綜合應用,實現(xiàn)智能剪輯功能。

也就是說,在媒體行業(yè),一項AI技術(shù)的落地要經(jīng)過深度業(yè)務理解、工程建模,再配合自研的特定算法選型、特定數(shù)據(jù)訓練和調(diào)優(yōu)以及相關(guān)領(lǐng)域的知識才能完成,這恰好也是通用AI廠商所欠缺的。

事實證明,索貝面向媒體融合的AI道路是正確的,索貝AI應用不斷落地。除了70周年大閱兵AI剪輯,早在2019年初,索貝第一次將智能技術(shù)用于體育節(jié)目后期制作——CBA籃球智能剪輯,大幅提升體育賽事縮編效率,快速實現(xiàn)互聯(lián)網(wǎng)發(fā)布。2020年春晚進行時,索貝又第一次將AI應用在綜藝制作領(lǐng)域,突破AI剪輯的“綜藝”禁區(qū),實現(xiàn)了從0到1的驚人突破,超預期滿足了總臺電視節(jié)目播出和新媒體發(fā)布的高質(zhì)量要求。

在媒體AI領(lǐng)域的暫時領(lǐng)先并不會讓索貝滿足,在未來,索貝將協(xié)同產(chǎn)業(yè)鏈各方,共建和諧的產(chǎn)業(yè)生態(tài),助推智慧媒體時代加速到來。