4月15日，昇思MindSpore開源社區(qū)、魔樂社區(qū)第一時間上架智譜全新開源的GLM-4-041432B/9B模型，并完成性能測試。智譜GLM-4-0414擁有32B/9B兩個尺寸，涵蓋基座、推理、沉思模型，均遵循 MIT 許可協(xié)議。其中，推理模型 GLM-Z1-32B-0414 性能媲美 DeepSeek-R1 等頂尖模型，實測推理速度可達 200 Tokens/秒。

模型介紹：

基座模型 GLM-4-32B-0414擁有 320 億參數(shù)，其性能可與國內、外參數(shù)量更大的主流模型相媲美。該模型利用 15T 高質量數(shù)據(jù)進行預訓練，特別納入了豐富的推理類合成數(shù)據(jù)，為后續(xù)的強化學習擴展奠定了基礎。在后訓練階段，除了進行面向對話場景的人類偏好對齊，還通過拒絕采樣和強化學習等技術，重點增強了模型在指令遵循、工程代碼生成、函數(shù)調用等任務上的表現(xiàn)，以強化智能體任務所需的原子能力。

GLM-4-32B-0414 在工程代碼、Artifacts 生成、函數(shù)調用、搜索問答及報告撰寫等任務上均表現(xiàn)出色，部分 Benchmark 指標已接近甚至超越GPT-4o、DeepSeek-V3-0324（671B）等更大模型的水平。

GLM-Z1-32B-0414是一款具備深度思考能力的推理模型。該模型在 GLM-4-32B-0414 的基礎上，采用了冷啟動與擴展強化學習策略，并針對數(shù)學、代碼、邏輯等關鍵任務進行了深度優(yōu)化訓練。與基礎模型相比，GLM-Z1-32B-0414 的數(shù)理能力和復雜問題解決能力得到顯著增強。此外，訓練中整合了基于對戰(zhàn)排序反饋的通用強化學習技術，有效提升了模型的通用能力。

在部分任務上，GLM-Z1-32B-0414 憑借 32B 參數(shù)，其性能已能與擁有 671B 參數(shù)的 DeepSeek-R1 相媲美。通過在 AIME 24/25、LiveCodeBench、GPQA 等基準測試中的評估，GLM-Z1-32B-0414 展現(xiàn)了較強的數(shù)理推理能力，能夠支持解決更廣泛復雜任務。

GLM-Z1-9B-0414是沿用了上述一系列技術，訓練出的一個 9B 的小尺寸模型。雖然參數(shù)量更少，但GLM-Z1-9B-0414 在數(shù)學推理及通用任務上依然表現(xiàn)出色，整體性能已躋身同尺寸開源模型的領先水平。特別是在資源受限的場景下，該模型可以很好地在效率與效果之間取得平衡，為需要輕量化部署的用戶提供強有力的選擇。

沉思模型GLM-Z1-Rumination-32B-0414代表了智譜對AGI未來形態(tài)的下一步探索。與一般推理模型不同，沉思模型通過更多步驟的深度思考來解決高度開放與復雜的問題。其關鍵創(chuàng)新在于，它能在深度思考過程中整合搜索工具處理復雜任務，并運用多種規(guī)則型獎勵機制來指導和擴展端到端的強化學習訓練。該模型支持“自主提出問題—搜索信息—構建分析—完成任務”的完整研究閉環(huán)，從而在研究型寫作和復雜檢索任務上的能力得到了顯著提升。

歡迎廣大開發(fā)者下載體驗！

魔樂社區(qū)下載鏈接：

https://modelers.cn/models/MindSpore-Lab/GLM-4-32B-Base-0414https://modelers.cn/models/MindSpore-Lab/GLM-Z1-Rumination-32B-0414https://modelers.cn/models/MindSpore-Lab/GLM-Z1-32B-0414https://modelers.cn/models/MindSpore-Lab/GLM-Z1-9B-0414https://modelers.cn/models/MindSpore-Lab/GLM-4-32B-0414https://modelers.cn/models/MindSpore-Lab/GLM-4-9B-0414

以下為手把手教程：

（以GLM-Z1-9B-0414+昇思MindSpore基于昇騰推理為例）

# 01

快速開始

GLM-Z1-9B-0414推理至少需要1臺（1卡）Atlas 800T A2（64G）服務器（基于BF16權重）。昇思MindSpore提供了GLM-Z1-9B-0414推理可用的Docker容器鏡像，供開發(fā)者快速體驗。

1、下載昇思MindSpore 推理容器鏡像

執(zhí)行以下 Shell 命令，拉取昇思 MindSpore GLM-Z1 推理容器鏡像：

docker pull swr.cn-central-221.ovaijisuan.com/mindformers/mindspore_glm_z1:20250414

1、啟動容器

docker run -it --privileged --name=GLM-Z1 --net=host \

--shm-size 500g \

--device=/dev/davinci0 \

--device=/dev/davinci1 \

--device=/dev/davinci2 \

--device=/dev/davinci3 \

--device=/dev/davinci4 \

--device=/dev/davinci5 \

--device=/dev/davinci6 \

--device=/dev/davinci7 \

--device=/dev/davinci_manager \

--device=/dev/hisi_hdc \

--device /dev/devmm_svm \

-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \

-v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \

-v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \

-v /usr/local/sbin:/usr/local/sbin \

-v /etc/hccn.conf:/etc/hccn.conf \

swr.cn-central-221.ovaijisuan.com/mindformers/mindspore_glm_z1:20250414

/bin/bash

注意事項：

● 如果部署在多機上，每臺機器中容器的hostname不能重復。如果有部分宿主機的hostname是一致的，需要在起容器的時候修改容器的hostname。

●后續(xù)所有操作均在容器內操作。

2、模型下載

執(zhí)行以下命令為自定義下載路徑/home/work/GLM-Z1-9B-0414添加白名單：

export HUB_WHITE_LIST_PATHS=/home/work/GLM-Z1-9B-0414

執(zhí)行以下 Python 腳本從魔樂社區(qū)下載昇思 MindSpore 版本的 GLM-Z1-9B-0414 文件至指定路徑/home/work/GLM-Z1-9B-0414。下載的文件包含模型代碼、權重、分詞模型和示例代碼，占用約18GB 的磁盤空間：

from openmind_hub import snapshot_download

snapshot_download(

repo_,

local_dir="/home/work/GLM-Z1-9B-0414",

local_dir_use_symlink=False

)

下載完成的/home/work/GLM-Z1-9B-0414文件夾目錄結構如下：

GLM-Z1-9B-0414

├── config.json # 模型json配置文件

├── tokenizer.model # 詞表model文件

├── tokenizer_config.json # 詞表配置文件

├── predict_glm4_z1_9b.yaml # 模型yaml配置文件

└── weights

├── model-xxxxx-of-xxxxx.safetensors # 模型權重文件

├── tokenizer.json # 模型詞表文件

├── xxxxx # 若干其他文件

└── model.safetensors.index.json # 模型權重映射文件

注意事項：

●/home/work/GLM-Z1-9B-0414 可修改為自定義路徑，確保該路徑有足夠的磁盤空間（約 18GB）。

●下載時間可能因網絡環(huán)境而異，建議在穩(wěn)定的網絡環(huán)境下操作。

# 02

服務化部署

1、修改模型配置文件

在predict_glm_z1_9b.yaml中對以下配置進行修改(若為默認路徑則無需修改)：

load_checkpoint: '/home/work/GLM-Z1-9B-0414/weights' # 配置為實際的模型絕對路徑

auto_trans_ckpt: True # 打開權重自動切分，自動將權重轉換為分布式任務所需的形式

load_ckpt_format: 'safetensors'

processor:

tokenizer:

vocab_file: "/home/work/GLM-Z1-9B-0414/tokenizer.model" # 配置為tokenizer文件的絕對路徑

2、一鍵啟動MindIE

MindSpore Transformers提供了一鍵拉起MindIE腳本，腳本中已預置環(huán)境變量設置和服務化配置，僅需輸入模型文件目錄后即可快速拉起服務。進入mindformers/scripts目錄下，執(zhí)行MindIE啟動腳本

cd /home/work/mindformers/scripts

bash run_mindie.sh --model-name GLM-Z1-9B-0414 --model-path /home/work/GLM-Z1-9B-0414 --max-prefill-batch-size 1

參數(shù)說明：

●--model-name：設置模型名稱

●--model-path：設置模型目錄路徑

查看日志：

tail -f output.log

當log日志中出現(xiàn) `Daemon start success!` ，表示服務啟動成功。

3、執(zhí)行推理請求測試

執(zhí)行以下命令發(fā)送流式推理請求進行測試：

curl -w "\ntime_total=%{time_total}\n" -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '{"inputs": "請介紹一個北京的景點", "parameters": {"do_sample": false, "max_new_tokens": 128}, "stream": false}' http://127.0.0.1:1025/generate_stream &```

# 03

聲明

本文檔提供的模型代碼、權重文件和部署鏡像，當前僅限于基于昇思MindSpore AI框架體驗GLM-Z1-9B-0414 的部署效果，不支持生產環(huán)境部署。

相關使用問題請反饋至ISSUE（鏈接：https://gitee.com/mindspore/mindformers/issues）。

昇思MindSporeAI框架將持續(xù)支持相關主流模型演進，并根據(jù)開源情況面向全體開發(fā)者提供鏡像與支持。