據(jù)聲網(wǎng)兄弟公司 Agora 的blog，近日 Agora 宣布對OpenAI Realtime API的支持進一步升級和優(yōu)化，新增自動問候、混合模態(tài)交互、選擇性注意力鎖定等更先進的功能，這些功能現(xiàn)已全面開放，將為用戶與AI 智能體提供更自然的交互體驗。

Agora與OpenAI于去年10月達成合作，Realtime API是首個集成到 Agora平臺中的多模態(tài)大語言模型(MLLM)。該聯(lián)合解決方案通過降低開發(fā)復(fù)雜度，同時釋放實時互動中的先進功能，助力開發(fā)人員打造更自然、響應(yīng)更迅速且更具人性化的 AI 智能體。

Agora 對話式 AI 引擎現(xiàn)新增以下功能，助力實現(xiàn)人與 AI 智能體的自然交互：

●自動問候：確保實時感知會話狀態(tài)，并提供自然、友好的初始交互體驗。

●混合模態(tài)交互：支持在單個交互會話內(nèi)，實現(xiàn)語音與文本輸入的無縫切換。

●靈活的話輪檢測選項：為開發(fā)者提供對對話流程和話輪轉(zhuǎn)換行為的精細化控制。

●無中斷輸入：通過選擇性注意力鎖定技術(shù)，可過濾環(huán)境噪音與干擾語音，確保交互過程不中斷。

這套方案不僅能簡化Realtime API的應(yīng)用流程，還能為多模態(tài) AI 智能體解鎖全新功能與應(yīng)用場景。將 OpenAI的實時語言模型與聲網(wǎng)的全球?qū)崟r網(wǎng)絡(luò)基礎(chǔ)設(shè)施(SD-RTN)及定制化開發(fā)者工具包相結(jié)合后，開發(fā)者既能縮短產(chǎn)品上市時間、簡化應(yīng)用開發(fā)流程，又能交付更優(yōu)質(zhì)的實時對話式 AI 體驗。

據(jù)悉，機器人技術(shù)初創(chuàng)公司Carbon Origins已在通過 Agora的技術(shù)以及 OpenAI RealtimeAPI 實現(xiàn)重型設(shè)備的無接觸操作，提升操作人員的工作效率。