AR眼鏡被認(rèn)為是將取代手機(jī)的下一代移動終端,也許人與世界的交互方式將因此發(fā)生翻天覆地的變革。但是,在AR技術(shù)改變世界之前,我們需要先改變AI在眼鏡端的能力。作為AR眼鏡的大腦,AI賦予了AR更大的想象空間,但它能在眼鏡端自由馳騁的前提是跨過低功耗這道門檻。

為了打破這道業(yè)界公認(rèn)的門檻,亮亮視野從2016年初就開始布局 AI 領(lǐng)域的技術(shù)研發(fā),成為全球首家把主打視覺處理的VPU芯片應(yīng)用在AR眼鏡終端設(shè)備上的公司,并且開創(chuàng)性地對VPU進(jìn)行了從算法到加速引擎的底層改造,實現(xiàn)了計算能效比的大幅飛躍。作為這一領(lǐng)域的拓荒者,其產(chǎn)品也是目前屈指可數(shù)的真正實現(xiàn)AI在眼鏡端獨立運算、擁有全棧AI能力的產(chǎn)品。

行業(yè)命門

AI一思考,眼鏡就發(fā)燙?

近年來大展拳腳的AI技術(shù)用于 AR眼鏡這個終端后,被低功耗束住了手腳。

在電池技術(shù)取得突破性進(jìn)展之前,可穿戴設(shè)備的續(xù)航和體驗很多時候是一對矛盾體。AR眼鏡要實現(xiàn)人與外界的完美交互,就必須實現(xiàn)輕量化。當(dāng)然產(chǎn)品的功能是不能舍棄的,于是降低功耗成為必然選擇——當(dāng)工程師們在以0.1克為單位縮減器件重量時,你不能容忍產(chǎn)品還帶著一塊熱得發(fā)燙的笨重電池。嚴(yán)苛的條件限制了AR眼鏡必須使用低功耗的AI系統(tǒng)。

一組數(shù)據(jù)可以直觀地說明移動端AI與云端AI設(shè)備的功耗懸殊:一般運行云端AI的設(shè)備功耗可達(dá)10W以上,算力可達(dá)10T FLOPs級,穿戴式AI的設(shè)備功耗一般在100毫瓦級,硬件算力僅有0.1T-1TFLOPs。而且前者一般允許1秒的延遲,后者由于實時交互的需要,一般只允許100毫秒級延遲。

雖然功耗低,但是AR眼鏡需要的計算量并不低,一款完美的AR眼鏡需要用到對話式人工智能、計算機(jī)視覺和其他復(fù)雜系統(tǒng)的組合,需要產(chǎn)生海量的計算。

AI一思考,眼鏡就發(fā)燙,這給AI工程師提出了一個新的課題:在一個體積小巧緊湊的AR眼鏡內(nèi)部,如何以低功耗的模式實現(xiàn)高效的運算?這就需要AI芯片、計算引擎和算法全棧技術(shù)整合,極致提高AR眼鏡的計算能效比,從而能夠在低功耗的AR眼鏡上完美地運行AI算法。

亮亮視野獨家AI秘笈

VPU芯片鎮(zhèn)場+Laffe引擎加速

因為要與人互動,AR眼鏡的AI系統(tǒng)通常要能實時運行神經(jīng)網(wǎng)絡(luò)模型,而運行神經(jīng)網(wǎng)絡(luò)模型繞不開密集的計算。傳統(tǒng)的CPU芯片不是為了解決計算密集問題設(shè)計的,計算能效比很低。為了解決這一問題,為AR設(shè)備選擇一款計算能效比出色的端AI芯片就顯得十分重要。

主打視覺處理加速的VPU平臺的出現(xiàn)為AR眼鏡上的神經(jīng)網(wǎng)絡(luò)計算提供了硬件基礎(chǔ)。亮亮視野成為第一個吃螃蟹的人,率先將Movidius Myriad 2芯片應(yīng)用于智能AR眼鏡終端,這顆只有9.5mm*8mm的VPU擁有相對傳統(tǒng)CPU架構(gòu)5倍的計算能效比。目前這顆VPU已升級到Movidius Myriad X,可提供每秒萬億次的計算性能,功耗不到1W。

但僅靠VPU硬件提升計算能效比還不夠。盡管Movidius VPU硬件相對成熟,但其工具軟件鏈不成熟,一些關(guān)鍵算子的運算效率較低。亮亮視野團(tuán)隊基于Movidius VPU硬件自主研發(fā)了Laffe引擎,對關(guān)鍵算子進(jìn)行匯編級優(yōu)化,部分算子比Intel官方實現(xiàn)速度快了2-10倍不等。采用VPU硬件和Laffe引擎軟件加速,亮亮視野獲得了相對于CPU的15倍計算能效比提升。

亮亮視野獨家AI秘笈

深度學(xué)習(xí)算法優(yōu)化,極致提升計算能效比

數(shù)據(jù)、算法和算力,是促成AI覺醒的三大基礎(chǔ)條件。為了讓AI高效運轉(zhuǎn),除了提升算力以外,追求高效率算法模型是解決問題的關(guān)鍵。

近年來深度學(xué)習(xí)在計算機(jī)視覺領(lǐng)域的應(yīng)用極為成功,已經(jīng)成為AR眼鏡產(chǎn)品的標(biāo)配。隨著深度學(xué)習(xí)算法的性能提升,主流深度神經(jīng)網(wǎng)絡(luò)的規(guī)模也變得越來越大。但從計算能效比的角度來看,單純依靠增大神經(jīng)網(wǎng)絡(luò)規(guī)模獲取算法性能提升很不劃算,往往算法模型計算量提升10倍只能獲取用戶感知不明顯的不足1個百分點的性能提升。對深度學(xué)習(xí)的研究表明,較大的深度神經(jīng)網(wǎng)絡(luò)模型一般存在較大冗余,可以對冗余的算法模型進(jìn)行壓縮而基本不降低算法的性能,從而可以在算法層面提升計算能效比。

亮亮視野團(tuán)隊采用剪枝、蒸餾等技術(shù)對冗余的算法模型進(jìn)行壓縮。依托VPU和Laffe框架,利用神經(jīng)網(wǎng)絡(luò)壓縮技術(shù),再對具體算法loss函數(shù)輔以針對性改進(jìn),亮亮視野團(tuán)隊實現(xiàn)了AR眼鏡上計算能效比的大幅提升。以人臉識別算法體系為例,亮亮視野團(tuán)隊一共約取得了相對CPU計算基準(zhǔn)的50倍計算能效比的提升,從而在低功耗的AR眼鏡上實現(xiàn)了AI算法實時運行。

低功耗、眼鏡端獨立運算、全棧AI

亮亮視野誕生殺手級AR+AI智能眼鏡

正如Facebook AI研究院首席AI科學(xué)家Yann LeCun所說:AR眼鏡有望成為機(jī)器學(xué)習(xí)(低功耗)從業(yè)者的理想挑戰(zhàn)目標(biāo),因為它涉及許多尚未解決的問題。在低功耗的AR眼鏡里實現(xiàn)高效的AI運算,頗有些螺獅殼里做道場的意味。亮亮視野已經(jīng)成為這一領(lǐng)域的第一個拓荒者。

得益于出色的AI能力和光學(xué)設(shè)計,亮亮視野的AR設(shè)備完美實現(xiàn)了低功耗環(huán)境下的高效運行。如上文所述,AI計算獲得了相對CPU的50倍計算能效比的提升,而使用L-PAT光波導(dǎo)技術(shù)的AR設(shè)備的續(xù)航時間是其他光學(xué)顯示方案的6-10倍。以GLXSS ME在智能手機(jī)上的實際測試數(shù)據(jù)為例,手機(jī)+眼鏡的續(xù)航時間與手機(jī)原生續(xù)航時間之間的差距非常小。

不同于多數(shù)AR終端設(shè)備將AI計算平臺放在云端處理,亮亮視野的產(chǎn)品真正實現(xiàn)了從目標(biāo)檢測、追蹤到識別,所有AI計算都部署在眼鏡終端運行。以多人臉動態(tài)識別為例,這樣部署計算能夠保證即使在通信網(wǎng)絡(luò)中斷的情況下,AR眼鏡仍能通過完全離線的方式執(zhí)行人臉識別等基礎(chǔ)任務(wù),響應(yīng)時間在毫秒級別。

另外,亮亮視野很早就明確了自主研發(fā)的基調(diào),目前AI團(tuán)隊已申請6項發(fā)明專利。從對計算平臺進(jìn)行的優(yōu)化,到從算法模型訓(xùn)練、推理和應(yīng)用,亮亮視野摸索出了一套行之有效的AI方法論,為要求嚴(yán)苛的穿戴式產(chǎn)品提供極致的端到端的體驗,實現(xiàn)了全棧AI能力。

從安防場景的前端識別到工業(yè)場景的泛在邊緣計算,目前,亮亮視野的AI應(yīng)用也受到廣泛的市場認(rèn)可,并且在與中科院自動化所等科研機(jī)構(gòu)展開積極合作。

接下來,亮亮視野AI團(tuán)隊將繼續(xù)圍繞第一視角計算開展研發(fā)工作,為人類邁入下一個溝通紀(jì)元打下堅實基礎(chǔ)。