據(jù)悉，“杭州靈汐類腦智算集群”已于7月底實現(xiàn)了大模型快速推理API的企業(yè)服務試運行。該集群由杭州靈汐類腦科技有限公司牽頭搭建運營，中國電信、中國電子科技南湖研究院以及腦啟社區(qū)作為合作方參與，由杭州電信具體承擔集成建設。該集群部署在中國電信杭州智算中心，算力規(guī)模超200POPS。這也是類腦智算集群在全球范圍內(nèi)，首次以支持大模型快速推理的方式，走向商用試運行。

作為類腦智能技術的創(chuàng)新應用成果，該智算集群具有”存算一體、眾核并行、稀疏計算、事件驅動”的特性，可顯著提升計算效率、大幅降低能耗，實現(xiàn)大語言模型推理的“一快、一低、一降”：一是推理速度快，單用戶的推理延遲控制在毫秒級別，速度性能相對于傳統(tǒng)方案有明顯優(yōu)勢（可流暢響應實時交互及長本文深度推理），告別卡頓；二是首token延遲低，可降至百毫秒乃至十毫秒級；三是智算集群的功耗大幅下降，較業(yè)界同等推理算力水平可降低功耗二分之一至三分之二以上。異構融合類腦芯片具有兼容PyTorch框架的類CUDA軟件棧，可直接服務于多類開源大模型的快速推理、而不需要轉換類腦算法。

圖1靈汐智算平臺大模型登錄

圖2靈汐智算平臺大模型快速推理

當前，大模型推理普遍存在吞吐速度慢（每秒十到幾十詞輸出）和高延遲問題（常常超過1秒甚至數(shù)秒），對眾多行業(yè)場景構成了制約。在此背景下，靈汐科技基于類腦智能技術給出了“高實時、高吞吐、低延遲“的推理服務解決方案，將在金融應用、情感陪聊、快速導覽、大規(guī)模數(shù)據(jù)標注以及無人機實時航拍處理、災害預警與應急處置等領域場景逐步落地。據(jù)介紹，該智算集群（中心）將持續(xù)升級，新一代類腦智算高密度計算平臺也將在近期正式發(fā)布推出，集群能效比預計將進一步提升。