隨著DeepSeek等新一代開源大模型的發(fā)布，AI 變得越來越智能，使用更少的資源就能夠創(chuàng)造更高的應(yīng)用價值，越來越多的企業(yè)都正在由內(nèi)而外、由淺入深地部署各種AI應(yīng)用。從更大的視角看，市場的不確定性進一步加劇企業(yè)的“算力焦慮”，如何盤活現(xiàn)有計算資源、打通內(nèi)部數(shù)據(jù)已經(jīng)成為CIO、CTO們的當(dāng)務(wù)之急。

在今年1月的CES大會上，英偉達等科技公司認(rèn)為AI 發(fā)展至今，已經(jīng)需要新的定律來描述不同的計算資源配置如何影響模型性能，包括預(yù)訓(xùn)練擴展、后訓(xùn)練擴展和測試時擴展 (也稱為長思考)。在強化學(xué)習(xí)、模型調(diào)優(yōu)以及運用 AI 推理模型階段，企業(yè)能夠用更小的算力增加來獲得更智能、更強大的AI。為了防范數(shù)據(jù)泄露風(fēng)險，大多用戶采用了本地化部署的 AI 基礎(chǔ)設(shè)施來進行應(yīng)用開發(fā)和調(diào)優(yōu)，并通過思維鏈和多模型矩陣來優(yōu)化 AI 推理效果。這些算力集群不僅需要對應(yīng)的高性能分布式存儲，更需要與之匹配的現(xiàn)代化數(shù)據(jù)訪問和管理服務(wù)。

企業(yè)為什么需要AI存儲？

當(dāng)我們問DeepSeek “AI時代需要哪種存儲”，它給出了如下答案：

具體到真實的企業(yè)應(yīng)用場景，AI 存儲解決方案需要應(yīng)對如下挑戰(zhàn)：

·昂貴的 GPU 資源：許多用戶投入了巨額資金來購買一體機和算力平臺，需要存儲方案縮短 AI開發(fā)的時間、提升推理應(yīng)用的效率，更快地獲得所需的結(jié)果；

·分散的 AI 數(shù)據(jù)：AI 需要實時、可信的數(shù)據(jù)才能發(fā)揮作用，企業(yè)端的應(yīng)用更是需要結(jié)合企業(yè)自有的歷史和實時數(shù)據(jù)。這需要企業(yè)有效地整合非結(jié)構(gòu)化數(shù)據(jù)，在需要的時間和地點交付數(shù)據(jù)，為各種 AI 應(yīng)用提供透明的數(shù)據(jù)訪問；

·不斷增加的存儲成本：伴隨數(shù)據(jù)量的不斷增大，企業(yè)需要消除數(shù)據(jù)孤島，實現(xiàn)數(shù)據(jù)生命周期管理，用更低的成本實現(xiàn)更高性能的數(shù)據(jù)訪問和更大容量的數(shù)據(jù)保留，通過智能化的數(shù)據(jù)分層降低總體開銷；

·確保數(shù)據(jù)安全合規(guī)：隨著數(shù)據(jù)成為關(guān)鍵生產(chǎn)要素，企業(yè)需要更安全的手段和更嚴(yán)格的規(guī)定來抵御安全風(fēng)險、自然災(zāi)害和人為錯誤，確保數(shù)據(jù)一直可用；同時實現(xiàn)網(wǎng)絡(luò)安全彈性，在勒索攻擊等事件發(fā)生后快速恢復(fù)數(shù)據(jù)，確保業(yè)務(wù)持續(xù)性。

AI時代，企業(yè)需要怎樣的數(shù)據(jù)存儲？

以DeepSeek為代表的“小而美”開源模型，通過算法層面的優(yōu)化實現(xiàn)了可觀的“降本增效”。那么，基礎(chǔ)架構(gòu)層面的優(yōu)化能否滿足以上需求，帶來更大收益呢？

答案是肯定的。得益于在高性能計算和并行計算領(lǐng)域的長期積累，IBM的AI數(shù)據(jù)存儲解決方案可以提供優(yōu)化的數(shù)據(jù)基礎(chǔ)架構(gòu)，包括：

·加速 AI 發(fā)現(xiàn)和 GPU 的數(shù)據(jù)訪問：IBM Storage Scale軟件可以并行訪問全局?jǐn)?shù)據(jù)，幫助實現(xiàn)協(xié)議互通 (如容器、對象、文件、POSIX 等)，支持 NVIDIA GPUDirect® 提升GPU數(shù)據(jù)訪問效率，通過“容器原生數(shù)據(jù)訪問”為各種 AI 應(yīng)用和微服務(wù)提供更高性能；

·增強基于分布式/云數(shù)據(jù)的協(xié)同工作：IBM 的全局?jǐn)?shù)據(jù)平臺可以實現(xiàn)存儲抽象和加速能力，將企業(yè)分布的數(shù)據(jù)整合為統(tǒng)一的數(shù)據(jù)資源，實現(xiàn)自動化的數(shù)據(jù)加速和透明的遠(yuǎn)程數(shù)據(jù)訪問，全局訪問位于磁帶、云或現(xiàn)有存儲資源上的數(shù)據(jù)來幫助消除數(shù)據(jù)孤島；

·綠色節(jié)能，降低成本：通過 IBM 軟件定義存儲強大的數(shù)據(jù)調(diào)度能力，結(jié)合高性能存儲、對象存儲（如Ceph）和磁帶存儲實現(xiàn)基于策略的數(shù)據(jù)分層，可以為 AI 應(yīng)用優(yōu)化數(shù)據(jù)存儲的性能和成本；

·實現(xiàn)數(shù)據(jù)安全彈性：為 AI 治理提供集成的數(shù)據(jù)目錄，為實現(xiàn)網(wǎng)絡(luò)安全彈性提供快速恢復(fù)和Safeguarded Copy（不可變副本），通過高效的數(shù)據(jù)保護機制可以提供高達6個9 的可用性。

AI存儲的應(yīng)用場景

以上技術(shù)的集合將為企業(yè)打造更高效、更安全的存儲平臺，以解鎖數(shù)據(jù)價值，應(yīng)對 AI 時代的數(shù)據(jù)挑戰(zhàn)。典型場景包括：

·AI 調(diào)優(yōu)、推理與訓(xùn)練：其中，用于調(diào)優(yōu)和推理的系統(tǒng)往往采用容器化部署，需要豐富的數(shù)據(jù)管理功能和接口，同時提供企業(yè)級的安全容災(zāi)能力支持業(yè)務(wù)連續(xù)性；用于訓(xùn)練的系統(tǒng)需要能支持大規(guī)模GPU集群運行所需的讀寫性能和擴展能力。采用高效的數(shù)據(jù)存儲可以實現(xiàn)數(shù)據(jù)加速，提升應(yīng)用效率。

以 IBM watsonx.ai 平臺為例，IBM配備了AI 一體機 IBM Fusion HCI，其后臺采用IBM軟件定義的高性能存儲，可以滿足不同規(guī)模大模型部署的需求，同時確保在幾十乃至上百個用戶并發(fā)訪問的情況下，維持穩(wěn)定的token輸出速度來滿足推理應(yīng)用的服務(wù)水平。

在AI訓(xùn)練領(lǐng)域，全球許多千卡萬卡的大集群都采用了IBM的AI存儲，例如部署在德國尤里希超級計算中心的JUPITER、部署在西班牙巴塞羅那超算中心的MareNostrum 5、IBM用于訓(xùn)練Granite模型的Blue Vela 等等?；谟ミ_SuperPOD 的測試結(jié)果顯示，采用同樣數(shù)量的節(jié)點訓(xùn)練同樣的模型，采用IBM SSS 6000 高性能并行存儲的4個迭代訓(xùn)練時間，比基于全 NVMe 的 NAS整整縮短一倍。對于一個投入幾千萬甚至是幾億的基礎(chǔ)設(shè)施來講，這意味著經(jīng)濟成本的巨大節(jié)約。

在國內(nèi)，某智能駕駛應(yīng)用的領(lǐng)軍企業(yè)、某頭部量化私募基金以及某高校的冷凍電鏡項目都選擇了IBM Storage Scale System，在多云環(huán)境中打造統(tǒng)一的全局?jǐn)?shù)據(jù)平臺，同時快速響應(yīng)數(shù)據(jù)調(diào)度需求，實現(xiàn)高效開發(fā)迭代和系統(tǒng)管理。

·AI 數(shù)據(jù)湖倉

伴隨AI應(yīng)用的飛速發(fā)展，企業(yè)需要從快速增長的非結(jié)構(gòu)化數(shù)據(jù)中提取洞察并用于推理，不斷擴展檢索增強生成（RAG）、AI推理等應(yīng)用場景。AI數(shù)據(jù)湖倉可以在不影響信任和安全的前提下，提供更實時、更可信的數(shù)據(jù)訪問。以汽車制造為例，車企客戶可以通過車聯(lián)網(wǎng)實時收集和整理車載傳感器的數(shù)據(jù)，用于開發(fā)更智能的模型，并利用這些數(shù)據(jù)為用戶提供更好的服務(wù)。

基于IBM 全局?jǐn)?shù)據(jù)平臺強大的混合云支持能力和靈活的容器應(yīng)用接口，以及對多應(yīng)用多集群的多租戶的支持能力，用戶可以整合現(xiàn)有數(shù)據(jù)存儲，為數(shù)據(jù)構(gòu)建高效的AI數(shù)據(jù)管道。今年，IBM還開發(fā)了新一代內(nèi)容感知存儲 (Content-aware Storage) 功能，以增強其檢索增強生成 (RAG) 能力來幫助用戶加速各種推理應(yīng)用。

·數(shù)據(jù)深度歸檔

隨著AI應(yīng)用的拓展，企業(yè)對數(shù)據(jù)的安全性、可靠性、合規(guī)性的要求也不斷提高，需要采用更安全、更低成本的存儲來大幅降低數(shù)據(jù)保留的成本。

通過IBM 軟件定義存儲技術(shù)，IBM 磁帶庫可以提供 S3 接口，讓企業(yè)可以使用對象存儲或者公有云存儲一樣的方式實現(xiàn)數(shù)據(jù)歸檔。磁帶的大容量、低成本等優(yōu)勢，可以大幅降低PB級別數(shù)據(jù)的長期保留成本。例如，采用 IBM Diamondback 的深度歸檔方案，27PB數(shù)據(jù)的10年保留成本比公有云存儲降低近90%。

寫在最后

在Gartner發(fā)布的2024年分布式文件和對象存儲魔力象限中，IBM第九次被評為領(lǐng)導(dǎo)者，大量金融、汽車、電子等行業(yè)的全球領(lǐng)先企業(yè)都采用了IBM AI 存儲解決方案。通過和全球 AI 技術(shù)領(lǐng)導(dǎo)者的合作，IBM 將持續(xù)創(chuàng)新，提供現(xiàn)代化、開放、安全的數(shù)據(jù)基礎(chǔ)架構(gòu)，助力客戶在 AI 時代解鎖更多商業(yè)價值。（作者：周立旸，IBM 大中華區(qū)科技事業(yè)部存儲軟件產(chǎn)品總監(jiān)）