金山云已完成對階躍星辰最新開源的兩款多模態(tài)大模型的適配，包括全球參數(shù)量最大的開源視頻生成模型Step-Video-T2V，以及業(yè)界首款產(chǎn)品級(jí)開源語音交互模型Step-Audio。目前，用戶可登陸金山云官方網(wǎng)站進(jìn)行體驗(yàn)。

*登陸金山云賬號(hào)控制臺(tái)選擇裸金屬服務(wù)器-新建實(shí)例

Step-Video-T2V模型

金山云針對Step-Video-T2V模型，為用戶提供強(qiáng)大的算力支持和穩(wěn)定的運(yùn)行環(huán)境讓模型性能得以充分釋放，帶來流暢的視頻生成體驗(yàn)。

據(jù)悉，Step-Video-T2V模型的參數(shù)達(dá)300億，可直接生成204幀、540P分辨率的高質(zhì)量視頻。評(píng)測結(jié)果顯示，該模型在指令遵循、運(yùn)動(dòng)平滑性、物理合理性、美感度等方面的表現(xiàn)均顯著超過市面上既有的效果最佳的開源視頻生成模型。

*圖為Step-Video-T2V-Eval評(píng)測結(jié)果

階躍星辰官方提供了多卡并行部署的支持，其中文本編碼器和VAE部分由獨(dú)立的進(jìn)程維護(hù)，DiT部分可以選擇4卡并行或8卡并行，每張卡需要至少80G顯存。如果要在單臺(tái)機(jī)器上運(yùn)行，推薦使用5個(gè)80G顯存的GPU。

在部署方面，金山云已預(yù)裝好ubuntu22.04-Step-Video-T2V模型和依賴環(huán)境的鏡像。在多卡并行部署時(shí)，金山云的云計(jì)算環(huán)境可精準(zhǔn)協(xié)調(diào)各卡資源，保障文本編碼器、VAE和DiT等部分協(xié)同工作，大幅提升視頻生成效率。

*金山云裸金屬服務(wù)器控制臺(tái)創(chuàng)建流程，選擇內(nèi)置Step-Video-T2V的自定義鏡像創(chuàng)建,創(chuàng)建完成即可啟動(dòng)模型并使用

運(yùn)行測試

登錄服務(wù)器進(jìn)入Step-Video-T2V-main目錄啟動(dòng)服務(wù)

cd Step-Video-T2V-main

python3 api/call_remote_server.py --model_dir /models/stepvideo-t2v

出現(xiàn)如下提示后服務(wù)啟動(dòng)成功

* Running on all addresses (0.0.0.0)

Step-Audio模型

金山云同時(shí)完成了實(shí)時(shí)語音對話系統(tǒng)Step-Audio模型的適配工作。金山云將借助先進(jìn)的云計(jì)算技術(shù)，降低模型響應(yīng)延遲，讓用戶與模型的對話更加自然流暢。在實(shí)際應(yīng)用中，無論是實(shí)時(shí)語音聊天，還是語音指令控制，金山云都能確保 Step-Audio模型快速準(zhǔn)確地響應(yīng)，為用戶提供優(yōu)質(zhì)的語音交互服務(wù)。

Step-Audio作為業(yè)內(nèi)創(chuàng)新性的開源語音模型，能夠根據(jù)不同的場景需求生成情緒、方言、語種、歌聲和個(gè)性化風(fēng)格的表達(dá)，并且能和用戶自然地進(jìn)行高質(zhì)量對話。根據(jù) LlaMA Question等五大主流公開測試，Step-Audio模型性能均位列第一，并在HSK-6(漢語水平考試六級(jí))評(píng)測中表現(xiàn)突出，是最懂中國話的開源語音交互大模型。

*圖為5大主流公開評(píng)測結(jié)果

在部署方面，金山云已預(yù)裝好ubuntu22.04-Step-Audio模型和依賴環(huán)境的鏡像。

*金山云裸金屬服務(wù)器控制臺(tái)創(chuàng)建流程，選擇內(nèi)置Step-Audio的自定義鏡像創(chuàng)建，創(chuàng)建完成即可啟動(dòng)模型并使用

運(yùn)行測試

登錄服務(wù)器進(jìn)入Step-Audio-main目錄啟動(dòng)服務(wù)

cd Step-Audio-main

python3 tts_inference.py --model-path /models/Step-Audio/model --output-path /root/Step-Audio-output --synthesis-type tts

在人工智能高速發(fā)展的當(dāng)下，秉承技術(shù)立業(yè)的金山云將始終與前沿技術(shù)同頻，繼續(xù)攜手生態(tài)合作伙伴為前沿技術(shù)的落地轉(zhuǎn)化提供助力。