讓AI聽(tīng)得出、聽(tīng)得清，聽(tīng)得懂，成為每個(gè)人的真正“知音”，是云從人機(jī)協(xié)同戰(zhàn)略讓機(jī)器從知音到知心邁出的重要一步。

近日，云從科技語(yǔ)音技術(shù)取得多項(xiàng)重大突破，在語(yǔ)音識(shí)別、語(yǔ)義糾錯(cuò)、深度學(xué)習(xí)降噪等領(lǐng)域刷新多項(xiàng)國(guó)際、國(guó)內(nèi)語(yǔ)音識(shí)別權(quán)威紀(jì)錄，超越亞馬遜、搜狗等企業(yè)創(chuàng)下的此前最好成績(jī)，夯實(shí)業(yè)界領(lǐng)先的技術(shù)地位。

此次云從創(chuàng)新提出的新模型，對(duì)應(yīng)語(yǔ)音技術(shù)不同角度的突破，包含巨大的應(yīng)用價(jià)值，推動(dòng)技術(shù)朝更智能地“聽(tīng)”邁進(jìn)了一大步：

語(yǔ)義糾錯(cuò)技術(shù)：在權(quán)威中文語(yǔ)音識(shí)別數(shù)據(jù)集Aishell和清華大學(xué)語(yǔ)音Thchs30測(cè)試集上，將字錯(cuò)率（Character Error Rate，CER）第一遍WFST解碼以及第二遍RNN重打分結(jié)果分別相對(duì)降低21.7%和10.3%。

這意味著讓AI“聽(tīng)得懂”：字錯(cuò)率降低代表使語(yǔ)音更準(zhǔn)確地轉(zhuǎn)換文字，糾正語(yǔ)義的錯(cuò)誤。

語(yǔ)音識(shí)別技術(shù)：刷新Aishell紀(jì)錄，將字錯(cuò)率降低到4.34%，較過(guò)去最好成績(jī)降低了8%；云從團(tuán)隊(duì)提出的新模型，巧妙融合了語(yǔ)音識(shí)別和說(shuō)話(huà)人識(shí)別，提高識(shí)別率的同時(shí)，極大提升了在不同說(shuō)話(huà)人場(chǎng)景下的魯棒性。

這意味著讓AI“聽(tīng)得出”：將每個(gè)人同“指紋”一樣獨(dú)有的“聲紋”識(shí)別出來(lái)，指標(biāo)提升意味著更精準(zhǔn)識(shí)別出說(shuō)話(huà)者。

深度學(xué)習(xí)降噪模型：在國(guó)際頂會(huì)Interspeech2020 DNS Challenge比賽數(shù)據(jù)集上取得了目前最好的結(jié)果。

這意味著讓AI“聽(tīng)得清”：針對(duì)在嘈雜環(huán)境去除噪聲，使語(yǔ)音更清晰。

在語(yǔ)音技術(shù)高度發(fā)展的基礎(chǔ)上，每提升1個(gè)百分點(diǎn)的準(zhǔn)確率，都如同征服一座高山。此次云從一舉在三項(xiàng)語(yǔ)音技術(shù)上取得新突破、新模型，不僅展現(xiàn)出深厚的科研基礎(chǔ)與強(qiáng)大創(chuàng)新能力，同時(shí)也彰顯出云從技術(shù)實(shí)力的全面性與綜合性。近年來(lái)語(yǔ)音技術(shù)已經(jīng)廣泛應(yīng)用于人們的生活，但大多是依托智能語(yǔ)音設(shè)備在室內(nèi)安靜環(huán)境下的單人交互，云從團(tuán)隊(duì)提出的多個(gè)創(chuàng)新模型，對(duì)于突破業(yè)界瓶頸，攻克嘈雜環(huán)境、多人對(duì)話(huà)等復(fù)雜應(yīng)用難題，具有重大意義。

在人工智能第二浪背景下，全鏈技術(shù)形成行業(yè)價(jià)值閉環(huán)、AI工程學(xué)的重要性日益突顯。云從科技在視覺(jué)、語(yǔ)音等技術(shù)頻頻突破，再次夯實(shí)核心技術(shù)閉環(huán)實(shí)力，為行業(yè)打造更全面、更有價(jià)值的智能化方案，為每個(gè)人構(gòu)筑更流程靈活的交互體驗(yàn)。

創(chuàng)新研究模型 直擊技術(shù)難點(diǎn)

此前云從的語(yǔ)音技術(shù)已取得刷新全球最大開(kāi)源語(yǔ)音識(shí)別數(shù)據(jù)集Librispeech紀(jì)錄、發(fā)表多篇頂會(huì)論文、發(fā)表多篇新型發(fā)明專(zhuān)利等成績(jī)。盡管近年來(lái)整個(gè)人工智能語(yǔ)音領(lǐng)域有了快速發(fā)展，但目前常見(jiàn)語(yǔ)音交互場(chǎng)景多是在安靜環(huán)境下的單人交互，在日常應(yīng)用仍有諸多問(wèn)題亟待突破：例如在多人場(chǎng)景的語(yǔ)音、噪聲混合中，如何追蹤并識(shí)別至少一個(gè)聲音、正常在嘈雜環(huán)境下正常交流，也就是“雞尾酒會(huì)問(wèn)題”，仍是研究者們致力解決的難題。

針對(duì)這些技術(shù)難點(diǎn)，云從在語(yǔ)音識(shí)別、語(yǔ)義糾錯(cuò)、深度學(xué)習(xí)降噪等多個(gè)方向上，創(chuàng)新性提出新模型，并在多個(gè)數(shù)據(jù)集上刷新最優(yōu)成績(jī)。

語(yǔ)義糾錯(cuò)：

針對(duì)常見(jiàn)的語(yǔ)法糾錯(cuò)、拼寫(xiě)糾錯(cuò)與語(yǔ)音識(shí)別系統(tǒng)轉(zhuǎn)寫(xiě)的錯(cuò)誤分布差異較大、傳統(tǒng)模型不適合直接使用等問(wèn)題，云從科技提出一種基于BART預(yù)訓(xùn)練模型的語(yǔ)義糾錯(cuò)技術(shù)方案，不僅可以對(duì)數(shù)據(jù)中常見(jiàn)的拼寫(xiě)錯(cuò)誤進(jìn)行糾正，還可以對(duì)一些常識(shí)錯(cuò)誤、語(yǔ)法錯(cuò)誤，甚至一些需要推理的錯(cuò)誤進(jìn)行糾正。

在云從科研團(tuán)隊(duì)一萬(wàn)小時(shí)語(yǔ)音數(shù)據(jù)的實(shí)驗(yàn)中，糾錯(cuò)模型可以將基于3gram WFST解碼結(jié)果的錯(cuò)字率相對(duì)降低21.7%，取得與RNN重打分相近的效果。在RNN重打分的基礎(chǔ)上使用糾錯(cuò)，可以進(jìn)一步取得10.3%的CER相對(duì)降低。

部分糾錯(cuò)示例如下：

語(yǔ)音識(shí)別：

云從科研團(tuán)隊(duì)結(jié)合聲紋識(shí)別x-vector embedding以及自研multi-stream TDNNF結(jié)構(gòu)的XmasNet，刷新Aishell的紀(jì)錄，在測(cè)試集Aishell-test上CER指標(biāo)提高到4.34%，相比于SOTA，提升了8%。這種方法結(jié)合了最新的說(shuō)話(huà)人識(shí)別技術(shù)，進(jìn)一步提高了語(yǔ)音識(shí)別在口音環(huán)境下的識(shí)別率。

值得一提的是，本次云從團(tuán)隊(duì)提出新模型結(jié)構(gòu)，在訓(xùn)練數(shù)據(jù)固定（原始178小時(shí)音頻）的情況下，僅通過(guò)優(yōu)化模型結(jié)構(gòu)，取得識(shí)別率的提升。

該結(jié)構(gòu)巧妙融合了語(yǔ)音識(shí)別和說(shuō)話(huà)人識(shí)別，提高識(shí)別率的同時(shí)，極大提升了在不同說(shuō)話(huà)人場(chǎng)景下的魯棒性。

x-vector embedding（上）以及XmasNet網(wǎng)絡(luò)結(jié)構(gòu)（下）

深度學(xué)習(xí)降噪：

云從科研團(tuán)隊(duì)提出一種基于U-Net和注意力機(jī)制attention的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型CARN模型，在DNS Challenge比賽數(shù)據(jù)集上取得了目前最好的結(jié)果。

該數(shù)據(jù)集中，亞馬遜PoCoNet模型、西北工業(yè)大學(xué)和搜狗合作的DCCRN模型等在具有混響的仿真場(chǎng)景和真實(shí)場(chǎng)景下，只能得到中等品質(zhì)的音頻；相比之下，云從CARN模型在各類(lèi)場(chǎng)景下均有優(yōu)秀表現(xiàn)，無(wú)論是沒(méi)有混響的仿真場(chǎng)景（no_reverb）、還是具有混響的仿真場(chǎng)景和真實(shí)場(chǎng)景下，都能大幅減少音頻中的噪音，處理取得清晰的優(yōu)質(zhì)音頻，提升音頻的清晰度。

堅(jiān)持以人為核心 共創(chuàng)人機(jī)協(xié)同智能體驗(yàn)

在人工智能行業(yè)，取得單點(diǎn)技術(shù)的領(lǐng)先實(shí)屬不易，但從人工智能產(chǎn)業(yè)發(fā)展角度來(lái)看，經(jīng)歷了對(duì)計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別等單點(diǎn)技術(shù)的狂熱追捧，客戶(hù)逐漸發(fā)現(xiàn)自身的復(fù)雜需求難以得到快速響應(yīng)。

這個(gè)時(shí)候產(chǎn)業(yè)開(kāi)始需要多點(diǎn)技術(shù)的支持：客戶(hù)轉(zhuǎn)向?qū)で螳@取人工智能綜合解決方案，以實(shí)現(xiàn)對(duì)全業(yè)務(wù)鏈條的 AI 賦能，形成行業(yè)價(jià)值閉環(huán)。

云從科技將人工智能技術(shù)整合為端到端的綜合解決方案，在了解客戶(hù)業(yè)務(wù)流程的基礎(chǔ)上，將算法平臺(tái)、AIoT設(shè)備和專(zhuān)家知識(shí)服務(wù)整合為場(chǎng)景化解決方案，定義和打造客戶(hù)智慧化藍(lán)圖。

同時(shí)，云從科技創(chuàng)新性提出了AI工程學(xué)的概念，首先提升人工智能技術(shù)自身的生產(chǎn)效率，實(shí)現(xiàn)算法模型的批量化產(chǎn)出，將AI產(chǎn)業(yè)帶入工業(yè)化大生產(chǎn)時(shí)代。

在此階段，云從科技提供綜合了聽(tīng)說(shuō)讀寫(xiě)等感知能力的全鏈人工智能技術(shù)，基于多項(xiàng)技術(shù)構(gòu)建全面解決方案。例如，云從的智慧網(wǎng)點(diǎn)解決方案，綜合視覺(jué)、語(yǔ)音、自然語(yǔ)言處理等多項(xiàng)技術(shù)，應(yīng)用于智慧迎賓、用戶(hù)身份核驗(yàn)、AI雙錄等多個(gè)場(chǎng)景。目前云從已攜手多家銀行落地方案，共同為用戶(hù)帶來(lái)流暢、完整的智能體驗(yàn)。