新一代 IT 基礎(chǔ)設(shè)施，將從通用算力+云平臺(tái)轉(zhuǎn)型為AI算力+AIOS平臺(tái)。

AI正在重構(gòu)世界。正如世界是立體的，AI重構(gòu)也正從多維度開啟：基礎(chǔ)設(shè)施重構(gòu)，業(yè)務(wù)應(yīng)用重構(gòu)，交互模式重構(gòu)，數(shù)據(jù)價(jià)值重構(gòu)，生態(tài)系統(tǒng)重構(gòu)……

2023年6月，英偉達(dá)市值首次突破萬億美元，率先引爆基礎(chǔ)設(shè)施重構(gòu)的全球化浪潮。隨著數(shù)據(jù)中心轉(zhuǎn)向智算中心，硬件基礎(chǔ)設(shè)施從通用算力走向AI算力，軟件基礎(chǔ)設(shè)施也將轉(zhuǎn)型為新一代AI基礎(chǔ)設(shè)施——AI操作系統(tǒng)（AIOS）平臺(tái)。

新一代AI基礎(chǔ)設(shè)施AIOS平臺(tái)

AI企業(yè)級(jí)商用的道路并不平坦。

2022年11月，?OpenAI ChatGPT-3?開啟了生成式AI（GenAI）走向商用的新時(shí)刻。據(jù)IDC預(yù)測(cè)，到2025年僅僅三年時(shí)間，全球2000強(qiáng)企業(yè)就會(huì)把超過40%的核心IT支出用于AI相關(guān)計(jì)劃，千億級(jí)企業(yè)AI大市場(chǎng)已徐徐拉開。但另一方面，?OpenAI ChatGPT企業(yè)版收入占比僅為21%，且有外媒報(bào)道2024年OpenAI或?qū)⒚媾R50億美元巨額虧損。

中國(guó)AI企業(yè)級(jí)市場(chǎng)則面臨更多挑戰(zhàn)。

算力層:與國(guó)外以英偉達(dá)為主的AI算力不同，中國(guó)市場(chǎng)呈現(xiàn)多架構(gòu)多品牌的AI算力格局。企業(yè)不僅仍舊面臨算力稀缺，如果各異構(gòu)算力之間無法互通，還會(huì)形成硬件算力豎井。

模型層:產(chǎn)品導(dǎo)向必將轉(zhuǎn)向場(chǎng)景導(dǎo)向。隨著訓(xùn)推模型向場(chǎng)景化發(fā)展，不同場(chǎng)景下模型分工將更為專業(yè)，大模型呈垂直化趨勢(shì)，在企業(yè)側(cè)部署易于發(fā)展為模型生態(tài)豎井。

運(yùn)營(yíng)層:“百模大戰(zhàn)”迅速走向推理應(yīng)用，亟待在解耦算力豎井和模型豎井的基礎(chǔ)上，實(shí)現(xiàn)跨平臺(tái)的計(jì)量計(jì)費(fèi)，迅速提升企業(yè)AI普及率。

“AI任務(wù)的多樣性要求不同的模型處理，數(shù)據(jù)的多樣性要求多模態(tài)能力，算力的異構(gòu)性要求分布式多架構(gòu)并行，模型的不斷演進(jìn)要求企業(yè)靈活更迭新的AI模型……面對(duì)企業(yè)AI的復(fù)雜與困境，亟待能夠破局的新一代AI基礎(chǔ)設(shè)施?！痹戚S科技ZStack創(chuàng)始人兼CEO張?chǎng)握J(rèn)為，“一個(gè)能夠同時(shí)解耦算力豎井和模型豎井、全域感知?jiǎng)討B(tài)調(diào)度、實(shí)現(xiàn)自服務(wù)運(yùn)營(yíng)的新一代AI基礎(chǔ)設(shè)施AIOS平臺(tái)，成為提升企業(yè)AI滲透率的關(guān)鍵一環(huán)?！?

作為AI生態(tài)系統(tǒng)中的新型形態(tài)，AIOS平臺(tái)應(yīng)該如何定義，包括哪些關(guān)鍵要素？

與模型即服務(wù)（MaaS）不同，AIOS是專門為AI應(yīng)用而設(shè)計(jì)的操作系統(tǒng)平臺(tái)，它不僅可以高效管理硬件算力資源，還內(nèi)置AI引擎解耦不同模型、調(diào)度不同算力、執(zhí)行各種AI任務(wù)，通過自服務(wù)運(yùn)營(yíng)模式降低AI應(yīng)用門檻，提高AI應(yīng)用效率。ZStack張?chǎng)握J(rèn)為，作為新一代AI基礎(chǔ)設(shè)施，AIOS平臺(tái)需要在安全可控、持續(xù)迭代的基礎(chǔ)上，同時(shí)在算力層、模型層、運(yùn)營(yíng)層三大層面實(shí)現(xiàn)以AI為核心的重構(gòu)：

算力層,從運(yùn)維視角，以AI為核心進(jìn)行算力資源預(yù)測(cè)、精分、調(diào)度，降低AI應(yīng)用成本；

模型層,從開發(fā)視角，以AI應(yīng)用框架進(jìn)行AI訓(xùn)推模型無縫集成與生命周期管理，優(yōu)化AI應(yīng)用性能；

運(yùn)營(yíng)層,從業(yè)務(wù)視角，提供多智算中心、多集群、多租戶的按量計(jì)費(fèi)運(yùn)營(yíng)，實(shí)現(xiàn)AI自服務(wù)化。

8月6日，云軸科技ZStack正式發(fā)布首個(gè)AIOS平臺(tái)“智塔“，期望通過同時(shí)解耦算力豎井和模型豎井，優(yōu)化AI應(yīng)用性能和成本，解鎖千億級(jí)企業(yè)AI市場(chǎng)。

算力層

ZStack AIOS平臺(tái)“智塔“的算力精分調(diào)度平臺(tái)，支持NVIDIA、AMD、Intel、海光、華為昇騰、寒武紀(jì)、燧原、天數(shù)智芯、太初元碁、壁仞、摩爾線程、沐曦等中國(guó)市場(chǎng)上的主流品牌和幾十種AI芯片型號(hào)，實(shí)現(xiàn)異構(gòu)算力協(xié)同不同AI 模型之間的優(yōu)化路由。

模型層

ZStack AIOS平臺(tái)”智塔”的動(dòng)態(tài)模型自適應(yīng)平臺(tái)，可以支持生成式AI（GenAI）、自然語(yǔ)言處理 (NLP)、計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)（ML）、深度學(xué)習(xí)（DL）以及多模態(tài)AI，并支持Llama、Gemma、通義千問Qwen、智譜ChatGLM、百川Baichuan、零一萬物Yi、OLMo、GPT-NeoX等數(shù)百種開源大模型，實(shí)現(xiàn)模型壓縮與性能優(yōu)化，模型選型與生命周期管理，訓(xùn)推高效部署與自適應(yīng)調(diào)度，達(dá)到跨軟硬件的全面性能優(yōu)化。

運(yùn)營(yíng)層

ZStack AIOS平臺(tái)”智塔”的全域感知自服務(wù)平臺(tái)，可以進(jìn)行多租戶隔離和動(dòng)態(tài)資源配額管理，實(shí)現(xiàn)跨智算中心、跨集群的全域感知統(tǒng)一調(diào)度，提供按量計(jì)費(fèi)的動(dòng)態(tài)訓(xùn)推服務(wù)，具備可視化統(tǒng)一門戶，彈性跨域容錯(cuò)，實(shí)現(xiàn)精細(xì)化的自服務(wù)運(yùn)營(yíng)體系。

算力層：提升異構(gòu)算力效率，破局算力稀缺難題

“AI的盡頭是電力?！斑@一觀點(diǎn)其實(shí)是AI芯片全球性規(guī)模擴(kuò)張的展現(xiàn)。隨著訓(xùn)推競(jìng)賽展開，千卡規(guī)模、萬卡規(guī)模不斷升級(jí)，AI算力資源稀缺且成本高昂。

在中國(guó)企業(yè)AI應(yīng)用中，面對(duì)異構(gòu)算力與多種模型選擇，企業(yè)首要的需求是快速部署和高效運(yùn)維AI模型。目前，AI算力池化替代異構(gòu)算力豎井已成趨勢(shì)，企業(yè)需要一個(gè)AIOS平臺(tái)解決模型高效部署運(yùn)維難題，避免為單個(gè)模型部署單一AI算力形成豎井架構(gòu)，將異構(gòu)算力池化并實(shí)現(xiàn)協(xié)同調(diào)度，使得企業(yè)在模型快速部署的同時(shí)，高效利用異構(gòu)算力資源，顯著降低算力成本。

ZStack AIOS平臺(tái)“智塔”具備裸金屬、虛機(jī)與容器多引擎能力，通過GPU切割精分量化，對(duì)異構(gòu)AI算力實(shí)現(xiàn)可達(dá)1%的量化管理，大幅降低算力成本。算力層的另一大核心在于，在AI算力精分量化基礎(chǔ)之上，通過分布式協(xié)同調(diào)度能力，實(shí)現(xiàn)異構(gòu)算力的統(tǒng)一管理和動(dòng)態(tài)調(diào)度，達(dá)到算力的精細(xì)化資源復(fù)用，進(jìn)一步降低算力成本。

模型層：多模型框架集成，MaaS服務(wù)靈活高效

《IDC FERS Survey Wave》2024年發(fā)布的最新調(diào)研顯示，48%的GenAI都將在企業(yè)本地部署，隨著AI從訓(xùn)練走向推理，行業(yè)企業(yè)應(yīng)用成為真正加速AI商用化進(jìn)程的關(guān)鍵。

在中國(guó)企業(yè)AI訓(xùn)推實(shí)踐中，完整完成一個(gè)AI任務(wù)往往需要多個(gè)專業(yè)模型協(xié)同工作。另一方面，各大領(lǐng)域開源模型的大量涌現(xiàn)，也助推企業(yè)使用不同模型解決不同業(yè)務(wù)問題。ZStack張?chǎng)握J(rèn)為：“類似數(shù)據(jù)庫(kù)應(yīng)用，企業(yè)會(huì)同時(shí)使用Oracle、MongoDB、MySQL、Redis等不同類型數(shù)據(jù)庫(kù)來解決不同場(chǎng)景的問題，未來，企業(yè)同時(shí)使用多個(gè)模型將成為常態(tài)。“

面對(duì)多種模型應(yīng)用，企業(yè)AI應(yīng)用的一個(gè)重要需求是模型選型、精調(diào)、推理、MLops/LLMops的調(diào)度與性能優(yōu)化。企業(yè)需要一個(gè)AIOS平臺(tái)集成模型框架來實(shí)現(xiàn)多個(gè)模型的協(xié)同能力，并同時(shí)通過模型壓縮加速、數(shù)據(jù)感知編排等實(shí)現(xiàn)AI模型的性能優(yōu)化。

ZStack AIOS平臺(tái)“智塔”一方面通過動(dòng)態(tài)模型自適應(yīng)平臺(tái)，提供從模型訓(xùn)練、評(píng)估、推理到更新的全生命周期管理，高效實(shí)現(xiàn)模型服務(wù)優(yōu)化；另一方面通過將AI任務(wù)智能解構(gòu)，動(dòng)態(tài)優(yōu)化路由、分布式并行訓(xùn)推，自適應(yīng)負(fù)載均衡等能力，結(jié)合算力層的算力精分協(xié)同調(diào)度平臺(tái)，顯著提升模型訓(xùn)推性能和模型服務(wù)體驗(yàn)。

運(yùn)營(yíng)層：全域感知自服務(wù)化，提升企業(yè)AI滲透率

作為新一代AI基礎(chǔ)設(shè)施，AIOS平臺(tái)在模型層和算力層通過優(yōu)化資源分配和模型部署，降低企業(yè)AI應(yīng)用門檻，提升企業(yè)AI應(yīng)用效率；另一方面，如果企業(yè)還具備AI自服務(wù)運(yùn)營(yíng)能力，將在提升企業(yè)AI滲透率的進(jìn)程中起到四兩撥千斤的作用。

ZStack AIOS平臺(tái)“智塔”以AI為核心提供更全面更直觀的可視化統(tǒng)一視圖，實(shí)現(xiàn)精細(xì)化管理；在動(dòng)態(tài)調(diào)度資源方面，跨多智算中心、多集群全域調(diào)度自適應(yīng)模塊，可以根據(jù)需要實(shí)現(xiàn)跨平臺(tái)的自動(dòng)擴(kuò)縮和調(diào)度功能；在訓(xùn)推服務(wù)高可用方面，彈性容錯(cuò)自愈模塊具備快速故障定位與故障自愈能力，可以實(shí)現(xiàn)跨平臺(tái)的容錯(cuò)與災(zāi)備；在安全與隱私方面，將融合敏感數(shù)據(jù)檢測(cè)能力，實(shí)現(xiàn)端到端的數(shù)據(jù)安全保障作為運(yùn)營(yíng)基礎(chǔ)；在系統(tǒng)運(yùn)營(yíng)方面，可實(shí)現(xiàn)多租戶隔離和資源配額管理，訓(xùn)推計(jì)量計(jì)費(fèi)服務(wù)。

作為新一代AI基礎(chǔ)設(shè)施，AIOS平臺(tái)通過算力層、模型層、運(yùn)營(yíng)層三大方向以AI為核心進(jìn)行重構(gòu)，解耦異構(gòu)算力豎井降低AI應(yīng)用成本；解構(gòu)模型生態(tài)豎井優(yōu)化AI應(yīng)用性能；全域計(jì)量計(jì)費(fèi)實(shí)現(xiàn)AI自服務(wù)化，加速企業(yè)AI滲透率，解鎖千億企業(yè)AI市場(chǎng)。