線下沉浸式劇場與 LBE VR 相結(jié)合，會碰撞出什么樣的火花？本次 PICO 視頻、東方演藝集團與火山引擎一起，將沉浸式演出《只此周莊》的部分場景復刻到了 VR 世界，讓用戶在虛擬的古代周莊夜市里，體驗了古老的故事以及精彩紛呈的歌舞表演。

在傳統(tǒng)的 VR 內(nèi)容中，通常使用全景相機錄制或 CG 技術(shù)制作人物資產(chǎn)。這兩種方法，前者只能滿足 3DoF 場景，后者往往受到成本和制作期的約束，難以呈現(xiàn)高質(zhì)量人物效果。本次項目采用火山引擎的「空間視頻制作服務(wù)」完成 3D 真人數(shù)字人的制作，讓數(shù)字人保留了真人表演的細膩感，同時滿足 LBE VR 這種 6DoF 自由游覽的體驗形式。

除了驚艷的視覺效果，產(chǎn)品還配套提供了渲染 SDK，降低創(chuàng)作者的集成復雜度，幫助用戶實現(xiàn)拍攝到 3D 模型的快速轉(zhuǎn)換。

●支持主流游戲引擎版本：穩(wěn)定支持主流版本的 UE 和 Unity；

●多平臺兼容：支持 PICO 4 Ultra MR 渲染、本地串流等多種串流方案，并支持火山云 XR 適配；

●豐富的參數(shù)調(diào)節(jié)：提供了陰影、光照、色彩等調(diào)節(jié)控制，讓效果調(diào)整更便捷。

真實重建，表演即 3D 資產(chǎn)

「3D 真人數(shù)字人」是利用火山引擎的空間視頻產(chǎn)品完成制作的，核心算法采用了 4D GS 技術(shù)（一種動態(tài) 3D 高斯?jié)姙R技術(shù)的升級）。利用多視角相機拍攝，對人物進行動態(tài)重建，具備強大的真實重建能力，能夠1: 1精準還原真人的動作及微表情。

在傳統(tǒng)的虛擬體驗中，受到成本制約，人物的動作和表情往往顯得生硬、不夠自然，本方法通過先進的掃描和重建算法，能夠捕捉到真人表演中的每一個細節(jié)，從肢體的細微動作變化，到演員的瞬間表情，完整進行復刻，并制作成 3D 資產(chǎn)進行還原。演員嘴角的微微上揚、眼神的閃爍變化，都得以在虛擬世界中完美呈現(xiàn)，讓觀眾在 VR 中自由漫游的同時，又能體驗前所未有的真實感。

自由交互，體驗代替觀看

該技術(shù)打破了傳統(tǒng)觀看模式的限制，觀眾可以自由環(huán)繞觀察表演者的每個細節(jié)。以往，觀眾只能從固定的角度觀看表演，無法對感興趣的部分進行深入探究。而有了空間視頻技術(shù)，觀眾就如同置身于現(xiàn)場一樣，可以圍繞表演者進行 360° 的自由移動，無論是表演者背后的動作、側(cè)面的姿態(tài)，都能一覽無余。這種深度交互的方式，極大地增強了觀眾的參與感和體驗感。

智能融合，帶來視覺盛宴

帶上 VR 頭顯，享受虛擬與現(xiàn)實相結(jié)合，亦真亦幻的視覺享受?？臻g視頻技術(shù)實現(xiàn)了數(shù)字人與 3D 場景的實時動態(tài)交互，數(shù)字人物與場景智能融合，結(jié)合不同的場景光影，實時渲染陰影和光效，增強整體氛圍感。結(jié)合引擎的特效系統(tǒng)，在真實表演基礎(chǔ)上，疊加了絢麗的影視級視覺特效，增強了 VR 畫面的視覺沖擊力和內(nèi)容感染力。

產(chǎn)能升級，云端重建加速 3D 人物資產(chǎn)制作

傳統(tǒng)的 3D 人物資產(chǎn)制作往往需要耗費大量的時間和精力，而空間視頻技術(shù)帶來了一次效率革命。通過影棚拍攝，即可生成高質(zhì)量的 3D 人物資產(chǎn)，大大節(jié)省了制作成本和時間。傳統(tǒng)方法一個月的工作量，可壓縮至一個星期內(nèi)完成，讓開發(fā)者能夠更快速地將創(chuàng)意轉(zhuǎn)化為實際產(chǎn)品。

本次項目中，為了方便用戶在不同場地體驗，在分發(fā)側(cè)采用了云 XR 渲染方案。利用火山引擎的云端算力，渲染出高質(zhì)量的 VR 內(nèi)容，幫助用戶更便捷地體驗精彩的 VR 內(nèi)容。火山引擎視頻與邊緣創(chuàng)新產(chǎn)品線負責人侯希明表示，利用「空間視頻制作服務(wù)」與云 XR 服務(wù)，打造整體解決方案，助力 LBE VR 方向的制作團隊加速 VR 內(nèi)容制作與分發(fā)。讓創(chuàng)作者聚焦創(chuàng)意，簡化復雜的開發(fā)過程。

面向未來，通過火山引擎空間視頻產(chǎn)品制作「3D 真人數(shù)字人」還將擁有更多應(yīng)用場景，比如將京劇大師的形象和表演數(shù)字化，形成數(shù)字分身，在虛擬場館中進行駐場表演，讓更多觀眾欣賞到京劇大師的精彩演出；又比如打造明星導游數(shù)字人，為游客提供24小時不間斷的服務(wù)等等。

火山引擎「空間視頻制作服務(wù)」不僅具備強大的真實重建能力，打造驚艷的視覺效果，還能滿足自由游覽的體驗形式，同時，通過產(chǎn)能升級節(jié)省了制作成本和時間，將推動「3D 真人數(shù)字人」在非遺、劇場、文旅等場景加速落地。