在 GenAI 的浪潮下，各行各業(yè)正迎來全新的變革，作為 AI 載體的智能硬件行業(yè)也不例外，一方面，AIGC 與機(jī)器人的結(jié)合，推動具身智能產(chǎn)業(yè)快速發(fā)展，科幻電影里善解人意的清掃機(jī)器人“瓦力”、醫(yī)療機(jī)器人“大白”正在走進(jìn)現(xiàn)實。另一方面，以智能手表、智能眼鏡、智能耳機(jī)為首的穿戴式智能硬件與多模態(tài)大模型的結(jié)合也成為當(dāng)下的新趨勢。

在2017年以天貓精靈、小愛同學(xué)、小度等語音助手驅(qū)動的智能設(shè)備被視為第一批 AI 硬件革命，這類智能設(shè)備雖然經(jīng)過多年的市場教育已逐漸融入了我們的生活，成為不少家庭的語音助手，但其中 AI 的智能化還較為初級。近兩年伴隨 GenAI 的興起，更智能化的多模態(tài)大模型賦予了智能硬件新的生命，帶來全新的人機(jī)交互體驗，催生智能硬件行業(yè)新的變革。

智能硬件+多模態(tài)大模型 穿戴式設(shè)備交互體驗迎來變革

聲網(wǎng)經(jīng)過市場調(diào)研發(fā)現(xiàn)，目前多模態(tài)大模型在智能硬件場景的落地主要以智能眼鏡、智能手表、智能耳機(jī)等穿戴式設(shè)備為主，同時在智能門鈴、智能陪伴玩具等 IoT 場景也有一些應(yīng)用。不同場景展現(xiàn)出的用戶需求與場景特點存在一定的差異化，例如：

●智能手表：智能兒童手表是多模態(tài)大模型最早落地 IoT 行業(yè)的硬件場景之一，目前 360兒童手表、小天才等兒童手表中已率先集成應(yīng)用。流暢的 AI 互動問答可以填充兒童空閑時間，智能化的回答也為兒童帶來了知識科普的價值，起到教育學(xué)習(xí)的輔助作用。同時，智能手表的屏幕較小，對語音交互的訴求更強(qiáng)，加入對話式 AI 顯得更順其自然。

●智能眼鏡：不同于將重點放在虛擬與現(xiàn)實結(jié)合的AR眼鏡，智能眼鏡更加注重通過 AI 提升語音交互能力，今年 Meta 聯(lián)合雷朋推出的「Ray-Ban Meta」智能眼鏡就是代表產(chǎn)品。通過在智能眼鏡中加入攝像頭、AI 等功能，用戶可通過語音交互讓眼鏡來幫助工作&日程安排，或者開啟百科問答、學(xué)習(xí)輔助、英文翻譯、語音導(dǎo)航、超擬人情感陪伴及音樂娛樂等功能。

在 AI 與 RTC 能力的加持下，智能眼鏡可以支持第一視角音視頻回傳(包含音視頻通話、視頻錄制、直播等)，還支持實時翻譯、同聲傳譯等場景，搭配手勢識別，實現(xiàn)跨語言環(huán)境 的語義理解。

圖：「Ray-Ban Meta」智能眼鏡

● 智能耳機(jī)：智能耳機(jī)與大模型的結(jié)合主要集中在實時翻譯、情感交流、錄音轉(zhuǎn)寫等核心功能，在實時翻譯方面，智能耳機(jī)目前主要應(yīng)用在1對1翻譯，支持雙方對話過程隨時發(fā)言，無需等待翻譯完成或?qū)Ψ桨l(fā)言結(jié)束，適合雙人會議、差旅、教學(xué)、社交等高頻深度對話場景，代表產(chǎn)品有三星 Galaxy Buds 系列無線耳機(jī)、時空壺 W4 Pro等。同時，借助 RTC 的能力，在智能耳機(jī)中還能實現(xiàn)多人同頻道、AI降噪等功能。

在情感交流方面，代表產(chǎn)品有當(dāng)下熱門的Ola Friend 智能耳機(jī)，該產(chǎn)品可實現(xiàn)英語陪練、旅行導(dǎo)游、情感交流等功能。開發(fā)者如想快速上線此類型的智能耳機(jī)，聲網(wǎng)可以提供快速、已用、完整的解決方案，并采用了靈活可擴(kuò)展的 AIAgent架構(gòu)，具備工作流編排能力，開發(fā)者與企業(yè)可自主選擇 LLM 等組件，根據(jù)特定需求定制和擴(kuò)展 AI 驅(qū)動的實時互動體驗。

● 智能門鈴：在智能門鈴等IPC場景，加入 AI 大模型的能力，可通過攝像頭實時識別并理解視頻內(nèi)容，實現(xiàn)設(shè)備無人值守場景下的自定義交互，如：外賣、快遞上門，在家中無人時，門鈴可自動識別并應(yīng)答，指導(dǎo)快遞員將貨物放到指定位置。

此外，在GenAI 的趨勢下，IoT 行業(yè)還出現(xiàn)了智能陪伴機(jī)器人、智能兒童毛絨玩具、智能戒指等一系列智能硬件場景，帶來不同硬件終端下的 AI 語音交互體驗。

聲網(wǎng) AI x IoT 智能硬件解決方案 低功耗、低延時、低成本

聲網(wǎng)作為全球?qū)崟r互動云行業(yè)的開創(chuàng)者，一直在探索 GenAI 與 RTE 結(jié)合帶來的體驗提升和場景創(chuàng)新，此前發(fā)布了實時多模態(tài)對話式 AI 解決方案，在此基礎(chǔ)上，針對 IoT 行業(yè)的特殊性，聲網(wǎng)探索出了AI x IoT 智能硬件解決方案，該方案能夠在低功耗、低算力芯片上快速實現(xiàn)大模型的接入，具備低延時實時互動、低成本靈活適配的特性，通過豐富的功能在智能硬件場景中構(gòu)建真實、自然的 AI 語音交互體驗。

例如對交互延遲進(jìn)行優(yōu)化，語音交互延時低至1s內(nèi);支持多模態(tài) AI 語義識別和理解;支持 AI降噪，保證清晰的語音交互、支持小包體、低內(nèi)存、低功耗;適配支持70+主流、高性價比的芯片等，幫助開發(fā)者與企業(yè)快速構(gòu)建適配自己硬件的 AI 實時語音對話服務(wù)。

圖：聲網(wǎng) AI x IoT 智能硬件解決方案架構(gòu)圖

1、毫秒級人機(jī)交互體驗：聲網(wǎng) AI x IoT 智能硬件解決方案進(jìn)一步優(yōu)化了端到端互動體驗，實現(xiàn)人與設(shè)備之間基于 LLM 的毫秒級互動體驗。通過在客戶端進(jìn)行低延遲的音頻采集和播放、借助聲網(wǎng)自研的 SD-RTN? 實時傳輸網(wǎng)絡(luò)實現(xiàn)全球范圍的低延時 RTC 傳輸，并進(jìn)一步通過更快速的 LLM 推理首字耗時、低延遲流式 TTS、同機(jī)部署等一系列技術(shù)手段,保證對話的實時性與流暢性。

2、文本/圖像/音頻/視頻的多模態(tài)交互：在智能硬件場景，聲網(wǎng)的解決方案同樣支持文本/圖像/音頻/視頻的組合輸入&輸出，同時開發(fā)者與企業(yè)也無需額外集成STT、TTS 等模塊化組件，一套方案就能快速構(gòu)建 AI 實時語音對話服務(wù)。

3、聚焦關(guān)鍵信息，提升語義理解度：在 GenAI 場景，能否支持隨時打斷也成為衡量大模型智能化的重要指標(biāo)，聲網(wǎng)的解決方案也支持先進(jìn)的 AI-VAD 技術(shù)，可實現(xiàn)靈敏的自然語音打斷，模擬人類對話的自然流動，讓對話更加真實、自然。

4、AI降噪保障語音對話清晰、順暢：針對語音對話中經(jīng)常會出現(xiàn)的噪音、回聲等問題，聲網(wǎng)擁有行業(yè)領(lǐng)先的音頻 3A 能力，通過AI噪聲抑制、背景人聲過濾、音樂檢測/過濾等算法，確保人與 AI 的對話不受環(huán)境干擾，始終保持順暢。

5、實現(xiàn)多模態(tài) AI 能力普適：實現(xiàn)任意可視設(shè)備的智能化體驗：在硬件場景構(gòu)建音視頻互動需要特別注意 SDK 對芯片、系統(tǒng)的適配性以及包體的體積等。聲網(wǎng)的解決方案適配支持 70+ 主流、高性價比的芯片/模組，例如：展銳 Cat.1系列芯片、樂鑫 ESP32-S2/S3、BK 7256、BK7258、杰理AC7916、博流BL808等 RTOS 芯片，以及高通、聯(lián)發(fā)科、君正、Sigmastar、全志、海思、Mstar 等 70+ Linux 芯片。

集成包體積增量也<400KB，支持在 RTOS、embedLinux 等低功耗系統(tǒng)流暢運行，同時 SDK 還支持 PCM、G711U/A、G722、AAC、OPUS 等多種音頻格式。