精品国产18久久久久久,一个人在线观看的www,亚洲一区二区久久久,成人国内精品久久久久影院vr,最近免费中文字幕大全高清大全1

騰訊發(fā)布星脈網(wǎng)絡(luò)2.0:大模型訓(xùn)練效率相比上代提升20%

2024-07-03 09:08:30AI云資訊70722

7月1日,騰訊宣布其自研星脈高性能計算網(wǎng)絡(luò)升級至2.0版本,星脈網(wǎng)絡(luò)2.0搭載全自研的網(wǎng)絡(luò)設(shè)備與AI算力網(wǎng)卡,支持超10萬卡大規(guī)模組網(wǎng),網(wǎng)絡(luò)通信效率比上一代提升60%,讓大模型訓(xùn)練效率提升20%,定位從天級降低至分鐘級。

騰訊自研交換機從 25.6T 升級到 51.2T,容量提升一倍;自研硅光模塊從 200G 升級到 400G,速率提升一倍;搭載自研算力網(wǎng)卡;整機通信帶寬 3.2T,為業(yè)界最高。

騰訊自研全新通信協(xié)議 TiTa2.0 的部署位置從交換機轉(zhuǎn)移到了網(wǎng)卡上,擁塞算法也從被動擁塞算法升級為主動擁塞控制算法,將星脈網(wǎng)絡(luò)的通信效率提升 30%,讓大模型的訓(xùn)練效率提升 10%。

騰訊全新高性能集合通信庫 TCCL2.0 采用 NVLINK+NET 異構(gòu)并行通信,實現(xiàn)數(shù)據(jù)的并行傳輸。Auto-Tune Network Expert 自適應(yīng)算法可以根據(jù)機型、網(wǎng)絡(luò)規(guī)模、模型算法等差異,自動調(diào)整數(shù)據(jù)包分割大小、匹配算法等參數(shù)。星脈網(wǎng)絡(luò)通信性能提升 30%,讓大模型的訓(xùn)練效率再提升 10%。

TiTa 與 TCCL 升級帶來的效果疊加,讓星脈網(wǎng)絡(luò)的通信效率共提升 60%,大模型訓(xùn)練效率共提升 20%。

騰訊云副總裁王亞晨這樣比喻,AI大模型就像是一場F1比賽,騰訊云專門設(shè)計了星脈高性能算力網(wǎng)絡(luò)“賽道”,并自研了TiTa和TCCL網(wǎng)絡(luò)協(xié)議作為“賽事指揮中心與專業(yè)車隊”,共同讓“騰訊云高性能計算集群HCC的GPU服務(wù)器”這臺F1賽車發(fā)揮最大的算力性能。

相關(guān)文章

人工智能企業(yè)

更多>>

人工智能產(chǎn)業(yè)

更多>>

人工智能技術(shù)

更多>>
AI云資訊(愛云資訊)立足人工智能科技,打造有深度、有前瞻、有影響力的泛科技媒體平臺。
合作QQ:1211461360微信號:icloudnews