Arm KleidiAI與ONNX Runtime的集成，為Windows和安卓操作系統(tǒng)帶來了顯著的AI性能優(yōu)化，實(shí)現(xiàn)高達(dá)2.6倍的AI推理速度提升，從而加速應(yīng)用體驗(yàn)。

聯(lián)合作者：Arm終端事業(yè)部產(chǎn)品管理總監(jiān)Ronan Naughton

微軟AI框架首席軟件工程經(jīng)理George Wu

隨著人工智能(AI)成為當(dāng)今個(gè)人電腦(PC)和移動(dòng)設(shè)備使用體驗(yàn)（從聊天機(jī)器人到生產(chǎn)力提升）中不可或缺的一部分，這些設(shè)備對(duì)CPU高效、可擴(kuò)展的推理需求也在持續(xù)增長(zhǎng)。Arm與微軟正攜手合作以滿足這一需求，在從高端臺(tái)式電腦和筆記本電腦到旗艦級(jí)和入門級(jí)智能手機(jī)等各類廣泛的消費(fèi)類電子設(shè)備上，為用戶帶來加速的AI體驗(yàn)。

Arm和微軟共同將Arm KleidiAI進(jìn)一步擴(kuò)展到ONNX Runtime（業(yè)界廣泛使用的開源AI運(yùn)行時(shí)之一）中。KleidiAI是一款面向AI框架開發(fā)者的輕量級(jí)內(nèi)核庫(kù)，它能夠在無可比擬的規(guī)模下，為廣泛的技術(shù)市場(chǎng)以及各類基于Arm架構(gòu)的設(shè)備，提供AI模型和工作負(fù)載的無縫性能優(yōu)化。鑒于KleidiAI已成功集成到其他領(lǐng)先的AI框架上，這次的合作是在此成功基礎(chǔ)上的又一重要進(jìn)展。

加速邊緣設(shè)備上的AI體驗(yàn)

Windows on Arm生態(tài)系統(tǒng)在過去幾年實(shí)現(xiàn)了顯著的增長(zhǎng)。包括Adobe Photoshop、Google Chrome、Spotify和Zoom等廣受歡迎的應(yīng)用程序，都紛紛推出了Arm原生版本，以充分發(fā)揮其性能和能效優(yōu)勢(shì)。通過將KleidiAI集成到ONNX Runtime中，廣大的應(yīng)用程序開發(fā)者無需額外投入工程時(shí)間，就能獲得PC和移動(dòng)設(shè)備的AI性能提升。ONNX Runtime為微軟諸多產(chǎn)品的AI工作負(fù)載提供支持，包括Microsoft 365套件以及Microsoft Copilot等，并為Copilot+PC打造卓越的AI體驗(yàn)。

KleidiAI與ONNX Runtime的集成優(yōu)化了包含Phi-3 Mini等一系列模型在內(nèi)的AI工作負(fù)載。Phi-3 Mini是一個(gè)擁有38億參數(shù)的小型語言模型，專為邊緣設(shè)備的先進(jìn)AI體驗(yàn)量身定制。這些AI體驗(yàn)包括實(shí)時(shí)聊天機(jī)器人、虛擬助手、智能文本補(bǔ)全以及生產(chǎn)力工具的功能增強(qiáng)等，所有這些功能均可在設(shè)備本地實(shí)現(xiàn)。通過將Phi-3 Mini緊湊的結(jié)構(gòu)與KleidiAI高效的CPU執(zhí)行提供程序(Execution Provider)集成配對(duì)，開發(fā)者無需依賴云端連接，即可在設(shè)備上快速實(shí)現(xiàn)智能功能。

提升PC和移動(dòng)設(shè)備上的實(shí)際AI性能

在PC和移動(dòng)平臺(tái)上，該集成已為終端用戶帶來了切實(shí)的益處。它顯著加快了AI的響應(yīng)速度，使設(shè)備能夠直接實(shí)現(xiàn)更智能、更快速的交互，且無需開發(fā)者進(jìn)行架構(gòu)改動(dòng)或后端重寫。

根據(jù)Arm的基準(zhǔn)測(cè)試顯示，在KleidiAI集成到ONNX Runtime后，系統(tǒng)性能得到了顯著的提升，包括在基于Armv9平臺(tái)的Windows設(shè)備上運(yùn)行Phi-3模型時(shí)，提示處理吞吐量提升了2.4倍，詞元(token)生成速度加快了12%。這些性能改進(jìn)使聊天機(jī)器人等AI應(yīng)用能夠給出更加自然流暢的回應(yīng)。同樣地，在搭載最新Armv9 CPU的vivo X200 Pro旗艦智能手機(jī)上運(yùn)行相同Phi-3模型的參考安卓應(yīng)用中，提示處理速度加快了2.6倍。

由于KleidiAI的集成運(yùn)行在全球應(yīng)用廣泛的Arm CPU架構(gòu)上，這使得AI應(yīng)用與工作負(fù)載能夠在不同的生態(tài)系統(tǒng)及芯片組之間無縫移植。KleidiAI的設(shè)計(jì)旨在與當(dāng)前的Arm架構(gòu)特性，如Neon、可伸縮矢量擴(kuò)展(SVE2)及可伸縮矩陣擴(kuò)展(SME)，展開協(xié)同工作。這些面向未來的功能確保開發(fā)者能夠構(gòu)建當(dāng)下的AI增強(qiáng)體驗(yàn)，并使其隨著未來的硬件創(chuàng)新而擴(kuò)展。KleidiAI與ONNX Runtime的集成已在ONNX RT V1.22中發(fā)布。

推動(dòng)AI規(guī)模化落地

Arm與微軟的合作為開發(fā)者普及優(yōu)化AI邁出了變革性的一步。該合作簡(jiǎn)化了在各類PC和移動(dòng)設(shè)備上部署智能功能的流程，無需增加成本或開發(fā)工作量，同時(shí)為終端用戶帶來加速的AI體驗(yàn)。隨著AI的持續(xù)演進(jìn)，這些優(yōu)化工作將確保開發(fā)者、OEM廠商和操作系統(tǒng)提供商擁有出色的性能、靈活性和廣泛的覆蓋范圍，為更多用戶帶來更優(yōu)質(zhì)、更智能的體驗(yàn)。

訪問以下學(xué)習(xí)路徑，了解KleidiAI與ONNX Runtime集成的更多信息：

·在基于Arm的Windows設(shè)備上，通過ONNX Runtime運(yùn)行Phi-3模型

·使用ONNX Runtime API構(gòu)建安卓聊天應(yīng)用

+++