[中國,北京,2025年5月23日] AI應(yīng)用即將迎來爆發(fā)式增長,從模型訓(xùn)練到推理,從模型推理到AI應(yīng)用,可以說CPU已無處不在。在鯤鵬昇騰開發(fā)者大會2025——鯤鵬開發(fā)者峰會上,華為鯤鵬計算業(yè)務(wù)總裁李義發(fā)表《鯤鵬,打造AI時代先進(jìn)算力底座》主題演講。

華為鯤鵬計算業(yè)務(wù)總裁 李義

以下為演講全文:

各位嘉賓、開發(fā)者朋友們,大家上午好!

當(dāng)代碼成為新時代的文字,開發(fā)者就是文明的創(chuàng)造者。

在廣大開發(fā)者的共同努力下,鯤鵬產(chǎn)業(yè)生態(tài)持續(xù)繁榮發(fā)展,基于鯤鵬技術(shù)的應(yīng)用創(chuàng)新不斷,加速行業(yè)智能化升級。截至2025年5月,鯤鵬攜手6300余家伙伴,孵化了超過18100個解決方案,并廣泛應(yīng)用于千行萬業(yè)。鯤鵬計算產(chǎn)業(yè)歷經(jīng)六年發(fā)展,通過硬件開放與軟件開源戰(zhàn)略構(gòu)建了覆蓋數(shù)據(jù)中心到邊緣場景的完整生態(tài),并正式發(fā)布面向AI時代的"鯤鵬AI+解決方案"。

1、AI Core方面,提供鯤鵬+xPU推理方案,兼容昇騰等主流GPU,覆蓋數(shù)據(jù)中心到邊緣場景。

鯤鵬與DeepSeek深度融合,基于“鯤鵬+xPU”組合,構(gòu)建高安全、低TCO的AI算力底座,為企業(yè)提供更靈活組合的智能化底座。鯤鵬提供全系列主板和模組,目前已經(jīng)有7家OEM伙伴已經(jīng)推出10余款推理服務(wù)器,20余家KPN伙伴推出了20余款邊緣推理一體機(jī)/工作站,覆蓋數(shù)據(jù)中心和邊緣場景,適配昇騰等主流xPU,做到生態(tài)協(xié)同。

同時,鯤鵬與openEuler協(xié)同,實現(xiàn)內(nèi)存融合和算力融合,通過GMEM做到xPU和CPU內(nèi)存統(tǒng)一編址,提升xPU利用率;通過sysHAX將部分推理任務(wù)精準(zhǔn)分配給CPU處理,實現(xiàn)CPU和xPU算力協(xié)同,能夠覆蓋MoE模型和稠密模型。LLM推理吞吐量提升10%~30%。

會上,趨境科技依托鯤鵬基礎(chǔ)軟硬件平臺,在Ktransformer架構(gòu)優(yōu)化中取得的突破性進(jìn)展,正式發(fā)布鯤鵬鯤鵬+xPU解決方案。

2、AI Infra方面,提供鯤鵬AI數(shù)據(jù)工程組件和鯤鵬AI安全組件,提供性能更優(yōu)、更安全的數(shù)據(jù)處理、數(shù)據(jù)檢索等能力。

鯤鵬AI+數(shù)據(jù)工程組件:圍繞大模型全生命周期,打造AI全鏈路數(shù)據(jù)基礎(chǔ)設(shè)施。

鯤鵬基于業(yè)界主流的開源數(shù)據(jù)處理平臺, 在電商訂單、廣告日志等實時數(shù)據(jù)處理場景上,提供代碼自動翻譯工具,使Java算子具備C++的性能,數(shù)據(jù)處理效率提升1倍以上;在文本去重、視頻切片等多模態(tài)數(shù)據(jù)處理場景,通過多模態(tài)算子優(yōu)化和算子調(diào)度優(yōu)化,數(shù)據(jù)處理性能提升75%,算力的利用率提升2倍。

模型推理階段,通過openGauss DataVec的高效向量檢索算法和稀疏召回能力,實現(xiàn)非首token時延下降25%;同時對KV Cache進(jìn)行透明壓縮,實現(xiàn)推理吞吐量提升20-30%。

鯤鵬AI+安全使能套件:3道安全防線實現(xiàn)縱深防御,端到端保護(hù)AI模型和私域數(shù)據(jù)安全。

第1道防線:基于鯤鵬可信計算,通過逐層度量硬件和系統(tǒng)軟件,保障系統(tǒng)完整性,同時,通過白名單管控機(jī)制,防止非授權(quán)應(yīng)用的加載;

第2道防線:通過在openGauss向量數(shù)據(jù)庫中內(nèi)置攻擊檢測插件,防止惡意命令注入攻擊及高危命令執(zhí)行;

第3道防線:基于鯤鵬virtCCA和PCIPC機(jī)密計算能力,構(gòu)建CPU+xPU安全隔離的可信執(zhí)行環(huán)境,實現(xiàn)機(jī)密AI和機(jī)密RAG,保護(hù)AI模型和RAG私域知識運(yùn)行時安全,保護(hù)客戶的核心資產(chǎn)。

鯤鵬3道防線,實現(xiàn)縱深防御,助力客戶在AI時代打造堅如磐石的智能算力底座。

3、AI應(yīng)用方面,提供業(yè)務(wù)編排、部署、調(diào)度等能力,基于開源生態(tài),構(gòu)建企業(yè)端到端AI解決方案,做到開箱即優(yōu)。

鯤鵬搜廣推解決方案:圍繞召回和排序極致優(yōu)化,助力企業(yè)打造新一代智能推薦引擎

AI應(yīng)用方面,在互聯(lián)網(wǎng)搜索、廣告、推薦場景,鯤鵬圍繞召回和排序極致優(yōu)化性能:在召回階段,鯤鵬適配ScaNN和faiss等主流檢索框架,并通過向量檢索算法和核心算子優(yōu)化,提升檢索性能40%以上。在排序階段,鯤鵬適配TensorFlow等主流的推理框架和推理服務(wù),并結(jié)合鯤鵬算子加速庫、鯤鵬圖編譯器的優(yōu)化,平均提升排序性能20%以上。鯤鵬搜廣推能力,可廣泛適配電商、視頻、社交等高并發(fā)推薦場景,助力企業(yè)構(gòu)建高性能、低成本的新一代智能推薦引擎。

鯤鵬RAG解決方案1.0,支撐ISV伙伴按需集成、高效部署

在企業(yè)數(shù)智化轉(zhuǎn)型的深水區(qū),如何高效構(gòu)建、快速部署 RAG系統(tǒng),成為破局關(guān)鍵。

今天,我們正式發(fā)布鯤鵬RAG 解決方案1.0,基于鯤鵬CPU和昇騰NPU、第三方GPU卡,打造包含RAG業(yè)務(wù)編排、AI+微服務(wù)、部署調(diào)度、安全和存儲的開源開放體系,定義企業(yè)級RAG的技術(shù)標(biāo)桿。

鯤鵬RAG解決方案天然支持多種開源組件,云上、線下不同部署方式,目前已被行業(yè)70+ISV伙伴預(yù)集成,如果使用鯤鵬+ openGauss 的產(chǎn)品組合,還能享受領(lǐng)先業(yè)界30%性能提升。

會上,北京寶蘭德軟件股份有限公司、北京東方通科技股份有限公司、江蘇潤和軟件股份有限公司、軟通動力信息技術(shù)(集團(tuán))股份有限公司、深圳市長亮科技股份有限公司和衛(wèi)寧健康科技集團(tuán)股份有限公司發(fā)布基于鯤鵬RAG解決方案1.0打造各自行業(yè)的差異化的RAG解決方案。

4、全新發(fā)布鯤鵬AI工具鏈,助力AI應(yīng)用創(chuàng)新更高效、更卓越

為了幫助廣大開發(fā)者快速進(jìn)行AI應(yīng)用創(chuàng)新,鯤鵬全新發(fā)布AI工具鏈:鯤鵬DevKit AI開發(fā)套件和鯤鵬BoostKit AI使能套件,讓AI應(yīng)用開發(fā)更高效、性能更卓越:

首先,在算子開發(fā)、調(diào)試、AI硬件診斷和算子調(diào)優(yōu)過程中,鯤鵬DevKit AI開發(fā)套件能夠幫助開發(fā)者一鍵完成源碼向量化改造,快速調(diào)試大規(guī)模異構(gòu)算力、定位AI程序問題,精準(zhǔn)識別并排除K+X集群故障與配置錯誤,全面調(diào)優(yōu)熱點函數(shù)、智能迭代系統(tǒng)最優(yōu)參數(shù),實現(xiàn)端到端開發(fā)效率提升30%以上;

其次,在性能加速方面,鯤鵬BoostKit AI使能套件提供基于鯤鵬架構(gòu)優(yōu)化的AI加速庫、圖編譯器、推理引擎和推理服務(wù)等能力,實現(xiàn)典型場景性能提升20%以上,其中通過推理服務(wù)vllm優(yōu)化,deepseek滿血版本吞吐可達(dá)60TPS;在搜廣推的應(yīng)用中,推理引擎的向量化使能、配置優(yōu)化等也可提供10%-30%不等的性能提升;

openFuyao社區(qū)開源發(fā)布,助力算力效能充分發(fā)揮

為了解決異構(gòu)算力協(xié)同困難、集群軟件生態(tài)不完善等挑戰(zhàn),openFuyao社區(qū)正式開源!openFuyao聚焦“云原生+AI”,打造多樣化算力互聯(lián)的集群管理與調(diào)度能力,提供算力親和組件及面向生產(chǎn)的社區(qū)發(fā)行版,實現(xiàn)集群算力的彈性調(diào)度和高效釋放。

openFuyao是華為繼openEuler開源操作系統(tǒng)、openGauss開源數(shù)據(jù)庫之后,面向業(yè)界開源的又一力作!我們將持續(xù)貫徹硬件開放、軟件開源的生態(tài)方針,聯(lián)合伙伴一起建設(shè)集群算力開源社區(qū)。本次openFuyao正式啟動開源,代碼于2025年5月面向首批伙伴開放,2025年Q3正式開源。社區(qū)官網(wǎng)鏈接:https://www.openfuyao.cn/

一碼多芯,同轅開發(fā),軟件歸一,硬件開放

去年,鯤鵬開發(fā)流水線正式發(fā)布,今年,我們將鯤鵬開發(fā)升級到了“一碼多芯,同轅開發(fā)”。鯤鵬同轅開發(fā),通過開發(fā)流水線、工具和加速庫的合作,實現(xiàn)縮減鯤鵬/x86架構(gòu)及機(jī)型的開發(fā)差異,一套代碼、軟件歸一;多平臺版本發(fā)布,硬件開放,提升客戶和伙伴業(yè)務(wù)應(yīng)用的競爭力和連續(xù)性。

鯤鵬同轅開發(fā)應(yīng)用創(chuàng)新離不開開發(fā)者的共同努力,我們計劃專項激勵發(fā)展鯤鵬的同轅開發(fā)生態(tài);結(jié)合技3項生態(tài)權(quán)益、3大使能平臺來激發(fā)企業(yè)、高校、個人開發(fā)者的創(chuàng)新。

回首過去,鯤鵬以算力為舟,與百萬開發(fā)者攜手前進(jìn),展望未來,鯤鵬初心不變,與開發(fā)者共成長!