近日，影譜科技推出AI賽事內(nèi)容生成方案Moviebook SAiDT，輔助賽事平臺(tái)構(gòu)建AI智能影像內(nèi)容一站式平臺(tái)，提供動(dòng)態(tài)內(nèi)容的增強(qiáng)視覺(jué)生成與運(yùn)營(yíng)，有效降低內(nèi)容制作成本，提高多類型內(nèi)容并發(fā)能力。

Moviebook SAiDT深度融合了生成式AI（Generative AI）與數(shù)字孿生技術(shù)，運(yùn)用獨(dú)創(chuàng)的從2D視頻中捕獲動(dòng)作的估算框架（MCVS）、沉浸式媒體內(nèi)容創(chuàng)建基礎(chǔ)設(shè)施平臺(tái)（MAGC）等影譜AI工具棧，SAiDT可以模擬賽道、體育場(chǎng)環(huán)境和體育場(chǎng)內(nèi)導(dǎo)航服務(wù)，與賽事內(nèi)容進(jìn)行組合輸出新的增強(qiáng)賽事視頻。

本次冬奧會(huì)某項(xiàng)目測(cè)試賽就成功應(yīng)用該技術(shù)，實(shí)現(xiàn)快速、高效地為觀眾提供優(yōu)質(zhì)體育賽事視頻內(nèi)容的目標(biāo)。同時(shí)，基于影譜科技AI視覺(jué)識(shí)別的體育賽事視頻自動(dòng)識(shí)別系統(tǒng)，還可以對(duì)賽事直播信號(hào)進(jìn)行實(shí)時(shí)識(shí)別，在短時(shí)間內(nèi)將海量賽事內(nèi)容，自動(dòng)化濃縮成幾分鐘的賽事集錦并定向發(fā)布。高效準(zhǔn)確、規(guī)?；膬?nèi)容生產(chǎn)模式極大地節(jié)省了人力時(shí)間成本，并為深度開(kāi)發(fā)體育媒體版權(quán)內(nèi)容價(jià)值，創(chuàng)造了更多的可能性。

此外，Moviebook SAiDT方案支持現(xiàn)有設(shè)備導(dǎo)入視頻流，支持2D視頻一鍵升級(jí)為AI增強(qiáng)視頻，兼顧大批量AI視頻內(nèi)容的成本效益與運(yùn)營(yíng)效率。SAiDT支持對(duì)標(biāo)準(zhǔn)視頻流的洞察和分析、提取關(guān)鍵幀，使用高技能注釋器進(jìn)行更準(zhǔn)確的數(shù)據(jù)標(biāo)記、自動(dòng)生成新的關(guān)鍵數(shù)據(jù)，創(chuàng)建新的AI增強(qiáng)視頻，并傳送至媒體平臺(tái)，同步完成內(nèi)容生成與商業(yè)化運(yùn)營(yíng)。

事實(shí)上，賽事內(nèi)容生成及運(yùn)營(yíng)是科技冬奧三大戰(zhàn)略方向之一。影譜SAiDT強(qiáng)調(diào)實(shí)用與技術(shù)的融合，將業(yè)務(wù)流有效分為前端視頻導(dǎo)入與自動(dòng)識(shí)別動(dòng)作捕捉估算、自動(dòng)生成與運(yùn)營(yíng)場(chǎng)景自適應(yīng)四個(gè)環(huán)節(jié)，以AI內(nèi)容生成技術(shù)為先進(jìn)生成工具，實(shí)現(xiàn)賽事視頻生成與運(yùn)營(yíng)的自動(dòng)化，讓高門檻、高投入的傳統(tǒng)視頻錄剪業(yè)務(wù)環(huán)節(jié)升級(jí)為AI流程，并被主要文化與體育內(nèi)容生態(tài)系統(tǒng)所采用。

從2D視頻中高速捕捉動(dòng)作，SAiDT實(shí)現(xiàn)大規(guī)模應(yīng)用

如何實(shí)時(shí)捕捉運(yùn)動(dòng)員的姿勢(shì)和狀態(tài)是關(guān)鍵技術(shù)難點(diǎn)。常見(jiàn)的3D姿勢(shì)重建模型主要依賴于在運(yùn)動(dòng)員身上嵌入額外的傳感器，與之相反的是，體育賽事當(dāng)中運(yùn)動(dòng)員不具有裝特殊傳感器的條件。另一種方法是，可以使用普通手機(jī)建立無(wú)縫數(shù)據(jù)收集機(jī)制，但鑒于2D視頻缺乏信息深度，使用2D視頻數(shù)據(jù)開(kāi)發(fā)3D模型是一項(xiàng)挑戰(zhàn)。

影譜科技AI孿生技術(shù)團(tuán)隊(duì)開(kāi)發(fā)了一種從2D視頻中捕獲人體動(dòng)作的估算框架（MCVS），創(chuàng)建一個(gè)輕量級(jí)的AI運(yùn)算集，以提取和預(yù)判運(yùn)動(dòng)員表現(xiàn)及運(yùn)動(dòng)軌跡。該系統(tǒng) MCVS 是一種跟蹤對(duì)象并試圖預(yù)測(cè)其在空間中可能發(fā)生的變化的計(jì)算機(jī)視覺(jué)技術(shù)，每天可以處理日常視頻網(wǎng)絡(luò)上的數(shù)百萬(wàn)端視頻圖像，提取關(guān)鍵幀，進(jìn)行自動(dòng)結(jié)構(gòu)化，為下游任務(wù)提供大量數(shù)字化資源，如視頻內(nèi)容搜索、增強(qiáng)視頻內(nèi)容生成、視頻識(shí)別、衍生視頻游戲生產(chǎn)、賽事視頻內(nèi)容營(yíng)銷等。

為此，Moviebook SAiDT支持常規(guī)視頻的導(dǎo)入是關(guān)鍵一步。例如從手機(jī)或相機(jī)導(dǎo)入視頻，使用人工智能 (AI) 從標(biāo)準(zhǔn)相機(jī)饋送中提取3D運(yùn)動(dòng)并疊加洞察力和數(shù)據(jù)，創(chuàng)建新的2D/3D沉浸式增強(qiáng)圖像。研究人員最近也在嘗試將Transformer架構(gòu)（一種自然語(yǔ)言處理中的主流模型）用于各種計(jì)算機(jī)視覺(jué)任務(wù)并取得了具有競(jìng)爭(zhēng)力的結(jié)果。實(shí)際上，很少有工作來(lái)探索用于 3D 人體姿態(tài)估計(jì) (HPE) 的transformer架構(gòu)，在這項(xiàng)工作中，影譜科技提出了級(jí)聯(lián)transformers (cascade transformers)，這是一種基于transformer的新方法，用于從單個(gè)圖像進(jìn)行 3D 人體姿態(tài)估計(jì)，能夠很好的建模靜態(tài)和動(dòng)態(tài)人體關(guān)節(jié)關(guān)系。大量實(shí)驗(yàn)結(jié)果表明了其出色的性能。跟蹤只是開(kāi)始，影譜科技披露的技術(shù)結(jié)果表明，體育賽事圖像不僅在于收集有關(guān)運(yùn)動(dòng)員的數(shù)據(jù)，還在于使用這些數(shù)據(jù)來(lái)創(chuàng)建新的數(shù)字內(nèi)容及分析，完成自動(dòng)鏡頭分切及自動(dòng)內(nèi)容組合下的體育見(jiàn)解。

SAiDT融合AI內(nèi)容生成技術(shù)與數(shù)字孿生，體育賽事內(nèi)容邁向3D

早在2018年，影譜科技推出AI內(nèi)容生成基礎(chǔ)設(shè)施MAGC，強(qiáng)調(diào)生成式AI技術(shù)與數(shù)字孿生技術(shù)結(jié)合，使開(kāi)發(fā)人員能夠通過(guò)低代碼方式構(gòu)建和管理他們的視頻內(nèi)容生產(chǎn)基礎(chǔ)設(shè)施，提供一系列簡(jiǎn)單的AI內(nèi)容創(chuàng)建工具集，從“生產(chǎn)”出發(fā)擴(kuò)展至全產(chǎn)業(yè)鏈。

Moviebook SAiDT方案是AI內(nèi)容生成基礎(chǔ)設(shè)施MAGC在體育賽事的關(guān)鍵應(yīng)用領(lǐng)域，依托數(shù)字仿生交互類、3D建模及重建類等成熟的AI算法及穩(wěn)定的AI工程化能力，可快速生成可視化、交互性強(qiáng)的增強(qiáng)視頻內(nèi)容，還可創(chuàng)建專屬的運(yùn)動(dòng)員訓(xùn)練模型及賽事錦集。根據(jù)內(nèi)容定位自動(dòng)剪切為精彩短視頻流。

某賽事運(yùn)營(yíng)平臺(tái)上線了影譜Moviebook SAiDT平臺(tái)，平臺(tái)負(fù)責(zé)人表示，真正的重大轉(zhuǎn)變是當(dāng)一項(xiàng)技術(shù)不僅用于娛樂(lè)或研究，而且被實(shí)踐所接受時(shí)，類似的技術(shù)可能會(huì)成為各種運(yùn)動(dòng)的標(biāo)準(zhǔn)。數(shù)據(jù)顯示，使用SAiDT來(lái)分析賽事圖像、自動(dòng)化完成逐個(gè)像素注釋，識(shí)別關(guān)鍵特征進(jìn)行 3D 姿勢(shì)估計(jì)，模型就可以完成3D簡(jiǎn)化渲染，生成AI視頻內(nèi)容。影譜SAiDT系統(tǒng)從捕捉到關(guān)鍵鏡頭到內(nèi)容生成、內(nèi)容交付全過(guò)程，能極大降低人力成本。

AI化的賽事內(nèi)容展播在全球體育產(chǎn)業(yè)也達(dá)成共識(shí)。中商產(chǎn)業(yè)研究院數(shù)據(jù)顯示，2021年我國(guó)體育賽事運(yùn)營(yíng)總市場(chǎng)規(guī)?？蛇_(dá)3636.7億元，其中AI自動(dòng)化內(nèi)容生產(chǎn)成為剛性需求。計(jì)算技術(shù)的進(jìn)步使AI能夠更有效地將 2D 圖像轉(zhuǎn)換為沉浸式模型，并以最有效的方式向其消費(fèi)者提供最佳內(nèi)容。未來(lái)，運(yùn)動(dòng)員可能會(huì)更多地依賴AI處理的海量數(shù)據(jù)來(lái)提升他們的比賽水平，賽事運(yùn)營(yíng)平臺(tái)也能通過(guò)AI自動(dòng)化內(nèi)容生成和播報(bào)實(shí)現(xiàn)更好的發(fā)展。