在 GenAI 時代，伴隨大模型的持續(xù)迭代以及企業(yè)/用戶對 AI 能力需求的升級，具備能聽會說、響應(yīng)快、隨時打斷等能力的多模態(tài)大模型正在加速落地，近期 MiniMax 、商湯、豆包等多家主流大模型廠商針對實時語音模型的密集更新也體現(xiàn)了這一趨勢。

在 AI 交互體驗不斷升級的趨勢下，基于在對話式智能體搭建和用戶體驗方面的深刻理解，聲網(wǎng) Conversational AI Engine （對話式 AI 引擎）來了，并具備以下核心優(yōu)勢：超低響應(yīng)延遲（實測中位數(shù) 650ms）、優(yōu)雅打斷（懂傾聽、更懂人心）、對話人聲鎖定（95%純凈對話）、全 5A 適配（Anytime, Anywhere, Any Device, Any Network, Any Model）。

650ms 超低延時是聲網(wǎng) Conversational AI Engine 的核心優(yōu)勢之一，如下圖所示，實測延時均低于 650ms。

Any Model：全模型敏捷適配解鎖下一代智能對話體驗

聲網(wǎng) Conversational AI Engine 突破傳統(tǒng)框架限制，基于全球主流 Conversational AI Agents 開源框架 TEN Framework 構(gòu)建，不僅實現(xiàn)了行業(yè)領(lǐng)先的超低響應(yīng)延遲，更具備全模型適配的核心優(yōu)勢。

全棧模型兼容體系

通過獨創(chuàng)的全模型適配架構(gòu)技術(shù)，支持第三方云端大模型服務(wù)、企業(yè)私有化模型及本地化部署的開源模型無縫接入，實現(xiàn)跨架構(gòu)模型的敏捷適配。

零改造接入體驗

依托標(biāo)準(zhǔn)化 API，不止新模型，老模型也可實現(xiàn)一鍵式快速接入，平均接入周期大幅縮短，有效保障企業(yè) AI 模型資產(chǎn)的無損遷移與持續(xù)價值轉(zhuǎn)化。

自研 AI VAD 優(yōu)雅打斷對話、更懂人心

在真實的語音對話中，打斷對方并提出新疑問是很常見的現(xiàn)象，而在對話式 AI 場景，能否支持隨時打斷也成為衡量大模型智能化的重要指標(biāo)。聲網(wǎng)自研的 AI VAD 技術(shù)，適應(yīng)人類對話的停頓、語氣和對話節(jié)奏，支持 AI 對話過程中隨時優(yōu)雅打斷。通過下方視頻也可以更直觀地看到聲網(wǎng)方案的優(yōu)雅打斷效果。

智能屏蔽背景人聲、噪聲 誤打斷率較ChatGPT降低50%

誤打斷是當(dāng)下大模型語音交互存在的一個明顯痛點，在人與 Agent 交互過程中一旦出現(xiàn)了嘈雜的背景人聲與環(huán)境噪音干擾，大模型會誤觸發(fā)打斷機制，停止交互。對此，聲網(wǎng)技術(shù)團隊針對當(dāng)前大模型語音技術(shù)特性，結(jié)合多年積累的 AI 降噪等音頻對話處理能力，智能屏蔽交互中的各類背景人聲與噪聲干擾，即使在商場、地鐵站、咖啡店等夾雜背景人聲的嘈雜環(huán)境中，也能保證對話應(yīng)答精準(zhǔn)、流暢。

我們也對聲網(wǎng) Conversational AI Engine 與ChatGPT 進(jìn)行了測試對比，在噪雜的環(huán)境下，聲網(wǎng)的方案誤打斷率較ChatGPT降低 50%。

不懼弱網(wǎng)80%丟包仍能穩(wěn)定交流

多模態(tài)大模型在離開理想的網(wǎng)絡(luò)環(huán)境下，如何保障交互的穩(wěn)定、流暢，也是很多 AI 企業(yè)在著力優(yōu)化的方向。聲網(wǎng)憑借在音視頻領(lǐng)域積累了深厚的技術(shù)優(yōu)勢與場景實踐，通過實時網(wǎng)絡(luò)覆蓋、網(wǎng)絡(luò)超強適應(yīng)、海量終端適配等優(yōu)勢打造全球一致的端云覆蓋體驗。

例如，在網(wǎng)絡(luò)不穩(wěn)定的室外環(huán)境，聲網(wǎng)的智能路由+抗弱網(wǎng)算法可以做到各種復(fù)雜網(wǎng)絡(luò)環(huán)境下的跨區(qū)域絲滑互動，即使在面臨 80%丟包的情況下人與 Agent 也能穩(wěn)定交流。

同時，現(xiàn)實場景中由于用戶硬件設(shè)備的差異，不同的設(shè)備可能對于語音處理效果產(chǎn)生影響，性能相對差一些的設(shè)備可能會產(chǎn)生更高的延時，需要音視頻 SDK 做到海量設(shè)備的兼容性，提供統(tǒng)一的低延時傳輸。聲網(wǎng)的 RTC SDK 支持30+平臺開發(fā)框架，30000+終端機型適配，中低端機型覆蓋廣，幫助 AI 廠商解決了多設(shè)備兼容性的后顧之憂。

聲網(wǎng) Conversational AI Engine 是行業(yè)首個實現(xiàn) 650ms 超低延時響應(yīng)的對話式 AI 解決方案，自研 AI VAD 技術(shù)也處于行業(yè)領(lǐng)先，智能打斷效果優(yōu)于多家主流的多模態(tài)大模型，此次對音頻技術(shù)的改進(jìn)帶來的誤打斷率的降低也明顯優(yōu)于 ChatGPT 等主流大模型，整體方案已實現(xiàn)了多項行業(yè)領(lǐng)先，助力人與 Agent 互動更加自然、流暢。

目前聲網(wǎng) Conversational AI Engine 已開放 Private Beta 版本邀請測試。