8月18-19日,AICon全球人工智能開發(fā)與應(yīng)用大會在上海舉辦,以“智能未來,探索 AI 無限可能”為主題,聚焦大模型開發(fā)與應(yīng)用領(lǐng)域。RockAI CEO劉凡平應(yīng)邀出席并發(fā)表《非Transformer架構(gòu)的端側(cè)大模型創(chuàng)新研究與應(yīng)用》主題演講,重新定義端側(cè)智能,引發(fā)了行業(yè)對端側(cè)AI落地方向的全新思考。

眾所周知,端側(cè)AI通常指在終端設(shè)備上直接運(yùn)行和處理人工智能算法的技術(shù),具有減少云端算力依賴、保證用戶數(shù)據(jù)安全等優(yōu)勢。目前,行業(yè)普遍將算力限制和數(shù)據(jù)匱乏視同端側(cè)AI技術(shù)發(fā)展的攔路虎。而RockAI則認(rèn)為,基礎(chǔ)架構(gòu)和核心算法的創(chuàng)新才是突破端側(cè)AI發(fā)展局限的關(guān)鍵。基于對算法和架構(gòu)的創(chuàng)新,即使面臨算力限制,端側(cè)AI仍可在終端設(shè)備上實(shí)現(xiàn)流暢的智能多模態(tài)運(yùn)用。

這一觀點(diǎn)也在RockAI關(guān)于Yan架構(gòu)大模型的創(chuàng)新實(shí)踐上得到了證明。其推出的國內(nèi)首個(gè)非Attention機(jī)制的Yan架構(gòu)大模型,可在主流消費(fèi)級CPU等端側(cè)設(shè)備上無損運(yùn)行,達(dá)到其他模型GPU上的運(yùn)行效果。全面升級后,Yan1.2多模態(tài)大模型,已經(jīng)可以在樹莓派、機(jī)器人、手機(jī)等低功耗計(jì)算平臺無損流暢運(yùn)行,將端側(cè)應(yīng)用場景拓寬至智能家居、物聯(lián)網(wǎng)等領(lǐng)域。而最新數(shù)據(jù)顯示,3B參數(shù)的Yan1.3 preview大模型在各項(xiàng)測評中的平均得分甚至超越了8B參數(shù)的Llama3,達(dá)到極高的知識密度。

論壇現(xiàn)場,劉凡平深入剖析了當(dāng)前端側(cè)AI技術(shù)的發(fā)展現(xiàn)狀及局限性。他指出,目前大多數(shù)“狹義端側(cè)模型”的核心目標(biāo)在于為用戶提供大語言模型推理服務(wù),受限于模型參數(shù)、算力、軟件生態(tài)、功耗控制等諸多難題,往往會通過壓縮、分割等軟硬件協(xié)同優(yōu)化實(shí)現(xiàn)大語言模型在終端設(shè)備上的本地化應(yīng)用。但端側(cè)AI的未來不僅僅在于推理能力的提升,更在于能夠?qū)崿F(xiàn)模型的自我學(xué)習(xí)和優(yōu)化,以適應(yīng)不斷變化的應(yīng)用場景和愈發(fā)廣闊的用戶需求。而通過以上處理手段,模型是無法在端側(cè)進(jìn)行訓(xùn)練和微調(diào)的,更不必說實(shí)現(xiàn)自我學(xué)習(xí)。

劉凡平強(qiáng)調(diào),RockAI不做“狹義的端側(cè)模型”,而是著眼于更廣泛意義上的端側(cè)智能,即讓世界上每一臺設(shè)備都擁有自己的智能。這要求端側(cè)模型除了語言理解及生成能力外,還應(yīng)該具備抽象思考、因果推理、自我反思以及跨領(lǐng)域遷移學(xué)習(xí)等更復(fù)雜的認(rèn)知功能。因此,端側(cè)模型需要至少支持“理解表達(dá)、選擇遺忘、持續(xù)學(xué)習(xí)”三種基礎(chǔ)能力。

為達(dá)成這一目標(biāo),RockAI在基礎(chǔ)架構(gòu)創(chuàng)新和實(shí)現(xiàn)消費(fèi)級終端無損部署外,首創(chuàng)了“同步學(xué)習(xí)”機(jī)制。該機(jī)制可以使大模型在推理的同時(shí)進(jìn)行知識更新和學(xué)習(xí),建立自己獨(dú)有的知識體系,實(shí)現(xiàn)模型的邊跑邊進(jìn)化。同時(shí),通過跨模態(tài)關(guān)聯(lián)學(xué)習(xí),增強(qiáng)模型在多場景下的應(yīng)用能力,實(shí)現(xiàn)秒級實(shí)時(shí)反饋的人機(jī)交互,真正做到端側(cè)模型的自我學(xué)習(xí)、類人感知和實(shí)時(shí)交互,推動端側(cè)AI向自適應(yīng)智能進(jìn)化階段演進(jìn)。

RockAI基于Yan架構(gòu)大模型的技術(shù)突破和創(chuàng)新實(shí)踐,打破了當(dāng)前端側(cè)AI發(fā)展的技術(shù)壁壘,不僅為整個(gè)行業(yè)的發(fā)展提供了新的思路和方向,也預(yù)示著端側(cè)AI正朝著更廣泛的應(yīng)用場景穩(wěn)步前進(jìn)。待同步學(xué)習(xí)+全模態(tài)+實(shí)時(shí)人機(jī)交互落地后,Yan2.0的誕生將重新定義端側(cè)智能,真正賦予機(jī)器自主學(xué)習(xí)與自我優(yōu)化能力,構(gòu)建持續(xù)進(jìn)化乃至群體智能涌現(xiàn)的AGI智慧生態(tài)。