浪潮信息宣布旗下NF5468系列AI服務(wù)器率先支持英偉達(dá)最新推出的L40S GPU,可為人工智能大模型訓(xùn)練和推理、元宇宙及圖形視頻處理等應(yīng)用提供強(qiáng)大算力。實(shí)際測(cè)試表明,搭載8顆NVIDIA L40S的浪潮信息NF5468服務(wù)器大幅提升了LLaMA大模型的微調(diào)訓(xùn)練性能。目前該產(chǎn)品已具備交付能力,客戶可以進(jìn)行下單采購(gòu)。

本次浪潮信息推出的算力系統(tǒng)是兼具訓(xùn)練和推理能力的NF5468系列AI服務(wù)器,包括NF5468M6、NF5468A5、NF5468M7、NF5468A7等型號(hào),產(chǎn)品可以在4U空間內(nèi)搭載2顆高性能通用處理器、8張L40S GPU加速器及多顆高速互聯(lián)網(wǎng)絡(luò),從而滿足大模型計(jì)算對(duì)高算力、高互聯(lián)的極致性能需求。在軟件上,產(chǎn)品支持浪潮信息最新推出的OGAI大模型智算軟件棧,為客戶提供高效的大模型生產(chǎn)力支撐。

針對(duì)業(yè)界廣泛使用的LLaMA開源大型語(yǔ)言模型,浪潮信息NF5468服務(wù)器搭載8顆L40S GPU進(jìn)行了大模型訓(xùn)練性能測(cè)試,得益于浪潮信息在NF5468服務(wù)器的優(yōu)秀設(shè)計(jì)和大模型算法上的專業(yè)經(jīng)驗(yàn),L40S GPU的強(qiáng)大性能得以充分發(fā)揮,實(shí)際測(cè)試數(shù)據(jù)表明LLaMA大模型微調(diào)訓(xùn)練性能優(yōu)異。

浪潮信息NF5468系列AI服務(wù)器搭載L40S GPU可以很好地完成LLaMA大模型訓(xùn)練任務(wù),并具備良好的性能擴(kuò)展,將幫助客戶迅速部署高性能的AI算力系統(tǒng)、采納強(qiáng)大的GPU加速器和領(lǐng)先的軟件生態(tài),加速生成式AI的產(chǎn)業(yè)創(chuàng)新和發(fā)展。