在生成式人工智能領域,大模型多模態(tài)交互能力的升級正掀起一股新的 AI 浪潮,在 RTC 能力的加持下,人與 AI 的交互不再局限于文字,也可以通過語音通話進行生動、流暢的低延時交互,這也成為當下國內外大模型廠商新的發(fā)力點。

今年5月,GPT-4o 的發(fā)布開創(chuàng)了AI 實時語音交互的先河。在此之前,一些傳統(tǒng)的大模型已經具備語音交互的能力,但一般采用 WebSocket 方案,這一方案雖然應用廣泛,但其傳輸架構是基于 TCP 協(xié)議來構建,延遲較高,在 STT-LLM-TTS 的三步驟中,一個來回的延遲就要2-3秒,在弱網等非理想網絡環(huán)境下,整體語音交互的延時更達到4秒+。在 GPT-4o 采用 RTC 方案后,展現(xiàn)出了自然、流暢的低延時語音交互體驗,也讓更多企業(yè)與開發(fā)者看到了在 AI 語音交互中 RTC 方案的更優(yōu)性,并積極與 RTC 廠商合作,升級 AI 語音交互的體驗。

聲網對話式AI解決方案構建實時多模態(tài)AI語音交互

聲網作為全球實時互動云行業(yè)的開創(chuàng)者,在音視頻領域積累了深厚的技術優(yōu)勢與場景實踐,通過與客戶在 AIGC 場景的深度合作,探索出了一套實時多模態(tài)對話式 AI 解決方案,該方案以語音為核心,支持視頻擴展,實現(xiàn)文本/音頻/圖像/視頻的組合輸入&輸出,通過豐富的功能構建真實、自然的AI語音交互體驗。

例如對交互延遲進行優(yōu)化,延遲可做到1s以內;支持AI降噪、背景人聲過濾,讓語音對話更純靜;支持隨時打斷與超擬人化人聲合成,讓對話更智能與逼真;同時還支持靈活可擴展的AI Agent架構等一系列功能,幫助開發(fā)者與企業(yè)快速構建適配自己業(yè)務場景的AI實時語音對話服務。

圖:聲網實時多模態(tài)對話式AI解決方案架構圖

1、延遲低于1s,極速響應:聲網實時多模態(tài)對話式AI解決方案可做到語音對話延遲低于1s。通過在客戶端進行低延遲的音頻采集和播放、借助聲網自研的 SD-RTN? 實時傳輸網絡實現(xiàn)全球范圍的低延時 RTC 傳輸,并進一步通過更精準低延遲的AI VAD、更快速的 LLM 推理首字耗時、低延遲流式 TTS、同機部署等一系列技術手段,保證對話的實時性與流暢性。

2、智能打斷,貼近真實會話:在人類真實的語音對話中,打斷對方并提出新的疑問是非常常見的現(xiàn)象,而在 AIGC 場景,能否支持隨時打斷也成為衡量大模型智能化的重要指標。聲網的方案也支持先進的 AI 語音活動檢測(AI VAD)技術,可實現(xiàn)靈敏的自然語音打斷,模擬人類對話的自然流動,讓對話更加真實、自然。

3、嘈雜環(huán)境下也能清晰對話:即使在嘈雜的環(huán)境中,聲網的解決方案也能保證清晰的語音交流。通過AI噪聲抑制、背景人聲過濾、音樂檢測/過濾等算法,確保人與 AI 的對話不受環(huán)境干擾,始終保持順暢。

4、靈活可擴展的AI Agent架構:AI Agent 作為大模型的應用框架,其重要性不言而喻。對于開發(fā)者而言,往往會根據(jù)自身的喜好或者業(yè)務場景選擇不同的組件搭配 AI Agent。對此,聲網的解決方案采用了靈活可擴展的 AI Agent架構,兼容市場主流的 ASR、LLM 和 TTS 技術,并具備工作流編排能力,幫助開發(fā)者與企業(yè)根據(jù)特定需求定制和擴展 AI 驅動的實時互動體驗。

5、超擬人化人聲合成:在一些傳統(tǒng)的AI語音對話中,AI角色機械式的聲音大大降低了對話的真實感。針對這一痛點,聲網的解決方案超可實現(xiàn)超擬人真實音色,合成的聲音幾乎與真人無異,且支持私人定制音色,模擬喜怒哀樂等多種情緒表達,提升用戶體驗,使互動更加自然,還原真實體驗感。

6、支持RTC與SIP網關互通:AI電話客服是當下 AIGC 應用最廣泛的場景之一,具備呼叫中心坐席的特性,對此,聲網的解決方案也支持 RTC 與 SIP 網關互通,用戶可直接通過聲網的RTCSDK 直接呼叫企業(yè)客服中心坐席,有效的降低客服成本,提升客服效率。

RTC能力加持下AIGC應用場景迎來爆發(fā)

聲網在與客戶的合作中發(fā)現(xiàn),在RTC 的加持下,AIGC應用場景迎來進一步爆發(fā),AI智能助手、AI情感陪伴、AI口語老師、AI客服的 AI 交互體驗進一步升級,學生的學習效率更高,社交陪聊場景的娛樂性與沉浸感也進一步增強。

來自量子位智庫推出的 AI智能助手用戶數(shù)據(jù)報告顯示,截止8月國內市場的 AI智能助手 App 已超過64款。在 AI情感陪伴領域也涌現(xiàn)了 Soul、星野、Wow等一系列人氣社交APP。

以AI情感陪伴為例,隨著多模態(tài)交互能力的升級,當下 AI情感陪伴類產品正呈現(xiàn)出三個特征:

1、語音/視覺交互:除了傳統(tǒng)的文本交互外,越來越多的 AI情感陪伴類 APP 也在加入語音通話的功能,讓 AI陪伴更具有真實感。同時在視覺交互方面,部分產品也支持了視頻通話功能,通過3D建模、擬真渲染等技術構建逼真的數(shù)字人,讓人與 AI 的情感交互更加擬人化。

2、情感計算:人與 AI 的一個核心區(qū)別就是人具備情感,為了讓 AI 的回答更加智能與真實,許多 AI 陪伴產品開始加入情感計算的能力。通過語義識別、面部表情等信號檢測用戶的喜怒哀樂等情緒狀態(tài),并做出對應的情感回應,實現(xiàn)更加人性化的交互體驗。

3、私人定制:標準化的人機交互千篇一律,個性化的定制才更有新意。具備個性化定制能力,提供自主創(chuàng)作和個性化選項已經成為 AI陪伴類產品的新趨勢,例如定制原生IP角色、定制IP專屬畫風和語音體系、定制專屬互動話題等一系列功能。

圖:電影《Her》里的AI助理被視為AI情感陪伴的啟蒙

在AI口語老師場景,聲網觀察發(fā)現(xiàn),1v1教學場景非常適用 AI口語老師,從真人教學變成自學模式,例如正價課1v1與 Demo 課1v1教學,AI數(shù)字人老師將代替真人,1v1 AI 口語老師將成為未來語言學習機構必備的應用,AI 數(shù)字人老師可能用于大齡學生與成人,卡通 IP 可用于低幼齡的課程。同時在職業(yè)教育賽道,已經有不少教育機構在大班課場景利用 AI數(shù)字人老師教學。

同時,在游戲社交、AI分身、實時語音翻譯等場景,實時AI語音也大有可為。例如,在狼人殺、誰是臥底等場景,AI NPC 角色雖然已經在應用,但是 AI 的痕跡還是較為明顯。在大模型具備實時語音交互能力后,誰是臥底中的 AI 角色可以做到快速的推理并發(fā)言,再搭配語音仿真技術,有望做到 AI 角色的以假亂真。