新年開(kāi)門(mén)紅!在剛結(jié)束的CSDN 2024中國(guó)開(kāi)發(fā)者影響力年度評(píng)選中,聲網(wǎng)Conversational AI Agents 獲選創(chuàng)新產(chǎn)品與解決方案。在同期舉辦的大模型之家2024年度獎(jiǎng)項(xiàng)評(píng)選中,該解決方案也位列優(yōu)秀應(yīng)用方案榜單。

此外,聲網(wǎng) Conversational AI Agents 解決方案成功入選由中國(guó)電子信息產(chǎn)業(yè)研究院旗下賽迪網(wǎng)與《數(shù)字經(jīng)濟(jì)》雜志共同發(fā)起的《2024年度軟件和信息技術(shù)創(chuàng)新服務(wù)案例集》。

聲網(wǎng) Conversational AI Agents 是一套實(shí)時(shí)多模態(tài)對(duì)話式 AI 解決方案,該方案以語(yǔ)音為核心,支持視頻擴(kuò)展,實(shí)現(xiàn)文本/音頻/圖像/視頻的組合輸入&輸出,具備500ms超低延時(shí)、對(duì)話更自然擬真、框架靈活可拓展等一系列特性,幫助開(kāi)發(fā)者與企業(yè)快速構(gòu)建適配自己業(yè)務(wù)場(chǎng)景的 AI 實(shí)時(shí)語(yǔ)音對(duì)話服務(wù)。

支持智能打斷,AI語(yǔ)音對(duì)話延遲低至500ms

超低延時(shí)語(yǔ)音對(duì)話是聲網(wǎng) Conversational AI Agents 解決方案的一大核心優(yōu)勢(shì),通過(guò)在客戶端進(jìn)行低延遲的音頻采集和播放,借助聲網(wǎng)自研的SD-RTN?實(shí)時(shí)傳輸網(wǎng)絡(luò)實(shí)現(xiàn)全球范圍的低延時(shí)RTC傳輸,語(yǔ)音對(duì)話延遲低至500ms,并進(jìn)一步通過(guò)更快速的 LLM 推理首字耗時(shí)、低延遲流式 TTS、同機(jī)部署等一系列技術(shù)手段,保證對(duì)話的實(shí)時(shí)性與流暢性,達(dá)到近似人與人之間日常對(duì)話停頓與間隔。

在真實(shí)的語(yǔ)音對(duì)話中,打斷對(duì)方并提出新疑問(wèn)是很常見(jiàn)的現(xiàn)象,而在 GenAI 場(chǎng)景,能否支持隨時(shí)打斷也成為衡量大模型智能化的重要指標(biāo)。聲網(wǎng)自研的 AI VAD 技術(shù),適應(yīng)人類(lèi)對(duì)話的停頓、語(yǔ)氣和對(duì)話節(jié)奏,支持AI對(duì)話過(guò)程中隨時(shí)打斷。

領(lǐng)先的音頻處理讓AI對(duì)話更“聽(tīng)得清”

在人與人音視頻通話的過(guò)程中,經(jīng)常會(huì)遭遇環(huán)境噪音,影響溝通效率。在 GenAI 場(chǎng)景中,環(huán)境噪音同樣無(wú)法避免。聲網(wǎng)的解決方案具備業(yè)界領(lǐng)先的音頻3A能力,即使在嘈雜的環(huán)境中,也能通過(guò) AI 噪聲抑制、背景人聲過(guò)濾、音樂(lè)檢測(cè)/過(guò)濾等算法,確保人與 AI 的對(duì)話不受環(huán)境干擾,始終保持順暢,AI 也更聽(tīng)得清人說(shuō)的話。

靈活可擴(kuò)展的AI Agent架構(gòu)

支持快速接入AI Agent 作為大模型的應(yīng)用框架,其重要性不言而喻。而開(kāi)發(fā)者經(jīng)常會(huì)根據(jù)自身的喜好或者業(yè)務(wù)場(chǎng)景選擇不同的組件搭配 AI Agent。對(duì)此,聲網(wǎng)的解決方案采用了靈活可擴(kuò)展的 AI Agent架構(gòu),兼容市場(chǎng)主流的 ASR、LLM 和 TTS 技術(shù),并具備工作流編排能力,幫助開(kāi)發(fā)者與企業(yè)根據(jù)特定需求定制和擴(kuò)展 AI 驅(qū)動(dòng)的實(shí)時(shí)互動(dòng)體驗(yàn)。同時(shí),這套方案支持 API 快速調(diào)用,提供開(kāi)箱即用的場(chǎng)景化 Demo,最快 3h 即可實(shí)現(xiàn)方案快速驗(yàn)證,并提供端到端 SDK,同樣適用于針對(duì)目標(biāo)場(chǎng)景化業(yè)務(wù)開(kāi)發(fā),尋求整套技術(shù)方案的客戶。

聲網(wǎng)已與國(guó)內(nèi)外多家 AI廠商展開(kāi)了合作,借助 Conversational AI Agents 幫助客戶實(shí)現(xiàn)了對(duì)話式AI 在智能助手、虛擬陪伴、口語(yǔ)陪練、語(yǔ)音客服、同聲傳譯、智能硬件等多個(gè)場(chǎng)景的落地。