基調(diào)聽云首發(fā) 《大模型服務性能評測 DeepSeek-R1 API 版》第一期
2025-02-22 09:36:26AI云資訊30765
春節(jié)假期,DeepSeek-R1 橫空出世,成為全球熱議焦點。2023年11月,DeepSeek 發(fā)布首個大模型 DeepSeek LLM;2024年5月開源DeepSeek-V2,因性能出色、價格優(yōu)勢收獲 “AI 屆拼多多” 稱號。12月26日上線并開源 DeepSeek-V3,憑借低訓練成本和出色性能引發(fā)全球熱議。2025年1月20日,DeepSeek 發(fā)布的DeepSeek-R1 推理大模型邏輯推理能力出色,接近甚至超越OpenAI的o1,引發(fā)全球轟動,被硅谷科技媒體稱為新時代的 “斯普特尼克時刻”。
DeepSeek-R1 憑借其創(chuàng)新和高效的訓練方法、強大的推理能力、大幅下降的使用成本和開源等出色表現(xiàn)迅速在 AI 大模型領域脫穎而出,其技術的深度整合已在多個行業(yè)中帶來了顯著的變革與推動。7天完成1億用戶增長,移動端上線26天,日活突破4000萬,目前已成為眾多用戶尋求智能幫助的首選。用戶暴增,大量用戶同時發(fā)送請求,服務器的算力資源、存儲資源和網(wǎng)絡帶寬等被快速占滿,處理能力達到極限,無法及時響應所有請求,從而導致頻繁報錯,關于其服務器繁忙的吐槽紛至沓來。
由于 DeepSeek 官方提供的R1服務頻繁報錯,各類替代服務方案也開始出現(xiàn),除了私有化部署方案,各大云服務商、芯片廠商等第三方服務商陸續(xù)上線 DeepSeek-R1 服務,為用戶提供了更多選擇。與此同時,越來越多的國內(nèi)廠商接入 DeepSeek-R1 大模型服務,如:阿里云、華為云、騰訊云、華為、榮耀、OPPO、科大訊飛、順豐等,涵蓋云服務、軟件與應用服務商、手機廠商、酒店、物流供應鏈、汽車、醫(yī)藥、媒體等行業(yè)。
為了更好地服務開發(fā)者和終端用戶,國內(nèi)領先的可觀測與應用安全廠商基調(diào)聽云對多家提供 DeepSeek-R1 API 服務的廠商開展了全面評測,并發(fā)布了《大模型服務性能評測 DeepSeek-R1 API版》第一期。
此次測評利用基調(diào)聽云撥測工具,模擬真實用戶的主動監(jiān)控,從網(wǎng)絡性能、接口響應時間、推理速度、內(nèi)容生成速度等多個關鍵指標對主流云服務廠商的API接口進行了深入測試。同時,測評還結合了來自多個城市、運營商、主機和時間維度的數(shù)據(jù)分析,旨在為各行業(yè)開發(fā)者和終端用戶提供更具針對性和參考價值的建議,幫助大家選擇更快、更穩(wěn)定的 DeepSeek-R1 服務。
TL;NR(太長不看版):
(1)經(jīng)過對多家主流云服務廠商API接口的深度評測,火山引擎在 API 響應性能上全面領先,各項指標均顯著優(yōu)于其他服務商。DeepSeek 官方雖推理速度較好,但首 Token 延遲過長且可用性低,成為顯著短板。
(2)其他服務商表現(xiàn)分化:硅基流動可用性較高,騰訊云與阿里云百煉速度表現(xiàn)不是太理想。
(3)如果你不是開發(fā)者,只關心哪里能用 DeepSeek-R1,直接拉到文章結尾看我們的推薦網(wǎng)頁版服務。
評測結果及解讀
數(shù)據(jù)分析:
1. 火山引擎在平均速度、推理速度、生成速度上表現(xiàn)最優(yōu),且可用性高達 99.83%,在API接入上首選推薦。
2. DeepSeek 官方推理速度較快,但首 Token 延遲顯著(7.753s),可用性最低(42.21%)。
3. 硅基流動首 Token 響應快(0.714s)且可用性穩(wěn)定(98.83%),但平均速度較弱(12.426 tokens/s)。
4. 騰訊云整體性能較低,其中總性能最差(47.584s)且可用性一般(71.24%)。
5. 阿里云百煉表現(xiàn)不理想,平均速度最慢(3.684 tokens/s),首包時間也最長(1.091s),可用性尚可(87.98%)。
總體性能影響因素分析
1、服務端推理性能是主要影響因素
?在整體測試中,推理速度和生成速度的差異在廠商間表現(xiàn)較為顯著,尤其是火山引擎在推理和生成速度上表現(xiàn)優(yōu)秀,而其他廠商的性能則較為遜色。服務端推理的性能顯然是影響API整體性能的關鍵因素。
2、網(wǎng)絡因素的影響較小
?雖然網(wǎng)絡延遲(DNS 時間、連接時間等)存在一定的差異,但從測試結果來看,除非網(wǎng)絡層的延遲異常高,否則不會對整體的 API 性能產(chǎn)生根本性影響。例如,DeepSeek 官方和火山引擎的網(wǎng)絡層延遲較低,但推理和生成速度的差異更多源自服務端的處理能力,而非網(wǎng)絡本身。
因此,服務端推理性能是影響整體性能的主要因素,網(wǎng)絡層的影響相對較小,基本可以忽略不計,尤其當網(wǎng)絡延遲不超過合理范圍時。
城市維度
城市維度分析:
1. 火山引擎在以上城市均保持最高性能,且可用性全達 100%。
2. DeepSeek 官方在重慶的首 Token 時間最長12.675 秒,其他城市均在9秒內(nèi)。
3. 硅基流動的可用性在廣州的表現(xiàn)的最差93.75%,其他城市在98%以上。
4. 其他服務商與其他指標未見明顯差異,整體與前面的結論一致。
運營商維度
運營商維度分析:
1. DeepSeek 官方在中國移動的網(wǎng)絡下建連時間0.152秒,其他運營商均在0.05秒以內(nèi)。
2. 其他服務商指標對比未見明顯差異,整體與前面結論一致。
主機維度
主機維度分析:該維度從各服務商提供 API 服務的目標主機 IP 地址維度分析各家服務的分布和性能。
主機數(shù)量:騰訊云主機數(shù)量最多,DeepSeek 官方主機數(shù)量最少。
主機城市:騰訊云的主機城市分布最廣,其次是火山引擎。
主機運營商分布:騰訊云的主機運營商分布最廣,其次是火山引擎。
時間維度(1小時粒度)
各時間段分析:
時段(2025/2/17 8:00 - 15:00)
●特點:DeepSeek 官方和阿里云百煉可用性波動較大,騰訊云可用性不高,但是可用性比較穩(wěn)定,其它服務商可用性相對優(yōu)秀,穩(wěn)定。
●原因:可能此時用戶流量較大,服務器負載也比較大,騰訊云服務商可能受到限流影響。
時段(2025/2/17 15:00 - 2025/2/18 0:00)
●特點:DeepSeek 官方在2025/2/17 15:00 - 17:00 服務出現(xiàn)不可用的情況,騰訊云可用性不高,但是可用性比較穩(wěn)定,其它服務商可用性相對優(yōu)秀,穩(wěn)定。
●原因:可能此時 DeepSeek 官方用戶流量較大,服務器負載也比較大,騰訊云服務商可能受到限流影響。
時段(2025/2/18 0:00 - 8:00)
●特點:多數(shù)服務商 API 的可用性較高,甚至達到100%。性能時長也相對較短。
●原因:可能此時用戶流量較少,服務器負載較低,能夠為每個請求分配更多資源。
各服務商 API 整體性能分析:
火山引擎
●可用性:整體非常穩(wěn)定,未出現(xiàn)明顯波動。
●性能:整體表現(xiàn)良好,未出現(xiàn)顯著問題。
DeepSeek 官方
●可用性:
2025-02-17 08:00 - 2025-02-18 01:00:可用性波動較大,從較差逐漸改善至良好。
2025-02-18 01:00 - 2025-02-18 08:00:可用性保持100%,表現(xiàn)穩(wěn)定。
●整體性能:在可用性提升的同時,性能表現(xiàn)也逐漸優(yōu)化,整體時間指標表現(xiàn)優(yōu)秀。
硅基流動
●可用性:整體波動較小,表現(xiàn)穩(wěn)定,大部分時間維持在95%以上。
●性能:在各時間段內(nèi)有波動,但整體表現(xiàn)較為平穩(wěn)。
騰訊云
●可用性:總體較低,但各時間段內(nèi)的波動較小。在測評過程中,騰訊云可能受到限流影響,導致可用性表現(xiàn)不佳。
●性能:在各時間段內(nèi)有波動,但整體表現(xiàn)較為平穩(wěn)。
阿里云百煉
●可用性:
2025-02-17 08:00 - 2025-02-17 13:00:波動明顯,之后大部分時間維持在90%以上,表現(xiàn)較為穩(wěn)定。
●性能:2025-02-17 08:00 - 2025-02-17 13:00:波動明顯,在其它各個時間段內(nèi)表現(xiàn)較為穩(wěn)定。
本次評測的測試工具、指標采集、測試廠商、測試參數(shù)等詳情如下:
測試工具及指標采集
1. 測試工具:基調(diào)聽云撥測平臺
2. 采集指標:
●通過API返回的數(shù)據(jù)計算出來的指標包含:平均速度(tokens/s)、首 Token 時間(s)、推理速度(tokens/s)、生成速度(tokens/s)
●通過聽云撥測客戶端計算的指標包含:DNS 時間(s)、建連時間(s)、握手時間(s)、發(fā)出請求時間(s)、首包時間(s)、剩余包時間(s)、性能(s) 和可用性(%)
3. 測試節(jié)點:北京/上海/廣州/深圳/重慶/蘇州/成都/杭州/武漢九地移動/電信/聯(lián)通三大運營商,模擬27個終端用戶
4. 任務屬性:任務綁定(相同頻率,相同監(jiān)測點)
5.大模型相關的測試指標和計算方式參考了公眾號“賽博禪心”文章“務實測試:DeepSeek 各家 API 真實速度”中提到的測試腳本。
測試廠商
騰訊云、阿里云、火山引擎、DeepSeek 官方和硅基流動
測試參數(shù)
●測試頻率:1小時
●測試周期:2025/02/17 08:00 - 2025/02/18 08:00
●測試 Prompt:9.9和9.11這兩個數(shù)哪個更大?請在結果中只輸出比較大的那個數(shù),并放在兩個"#"符號之間。
●期望響應格式:#9.9#
指標定義
(1)模型性能指標
●首 Token 時間:從請求發(fā)起至模型返回第一個有效 Token 的時間間隔 (單位:s)
●推理速度:模型推理階段的平均速度 (單位:tokens/s)
●生成速度:模型生成階段的平均速度 (單位:tokens/s)
●平均速度:模型推理和生成兩個階段的整體平均速度 (單位:tokens/s)
(2)網(wǎng)絡指標
● DNS:通過域名解析服務,將指定的域名解析成 IP 地址的消耗時間。
●建連:瀏覽器和 Web 服務器建立 TCP/IP 連接的消耗時間。
● SSL:瀏覽器和 Web 服務器建立安全套接層 (SSL) 連接的消耗時間。
●首包:瀏覽器發(fā)送 HTTP 請求結束開始,到收到 Web 服務器返回的第一個數(shù)據(jù)包的消耗時間。
●剩余包:瀏覽器接收 Web 服務器返回的第一個數(shù)據(jù)包到元素數(shù)據(jù)接收結束的消耗時間。
●性能(總下載時間):監(jiān)測一個頁面總的消耗時間,即從開始監(jiān)測到監(jiān)測結束的時間。
●可用性:時間范圍內(nèi),目標服務能夠被正常訪問的次數(shù)與總訪問次數(shù)的比值。
(3)分析維度
●運營商:移動/電信/聯(lián)通
●城市:北京/上海/廣州/深圳/重慶/蘇州/成都/杭州/武漢
●目標主機(基于 API 服務的暴露的 IP 地址)
本次測評旨在為開發(fā)者提供深度數(shù)據(jù)支撐,助力其精準洞察各服務商 API接口的性能表現(xiàn),從而有針對性地優(yōu)化產(chǎn)品體驗。對于開發(fā)者和企業(yè)用戶而言,這些數(shù)據(jù)可以作為服務商選擇的決策依據(jù),可以依托本次測評數(shù)據(jù),更科學地甄別適配自身需求的技術方案,有效提升調(diào)用效率,大幅降低響應延遲,全方位增強整體服務質量。
最后,提前預告一下,基調(diào)聽云正在對各家網(wǎng)頁版本的 DeepSeek-R1 服務進行評測,將在近期發(fā)布網(wǎng)頁版的評測結果。敬請期待
相關文章
- 基調(diào)聽云王雅志出席華東證券沙龍,共筑可觀測性新生態(tài)
- 基調(diào)聽云如何利用ASPM在大型證券企業(yè)實現(xiàn)應用運行態(tài)安全觀測
- 三期同輝,收官閃耀!基調(diào)聽云協(xié)辦的“智能觀測進化論”第三期沙龍精彩回顧
- 基調(diào)聽云協(xié)辦的“智能觀測進化論”第二期沙龍精彩回顧
- 基調(diào)聽云協(xié)辦的智能觀測進化論系列沙龍第一期精彩回顧
- 基調(diào)聽云全面接入 DeepSeek,開啟可觀測性智能新時代
- 基調(diào)聽云首發(fā) 《大模型服務性能評測 DeepSeek-R1 API 版》第一期
- 基調(diào)聽云榮膺數(shù)字安全護航計劃優(yōu)秀企業(yè),斬獲“磐安”雙項大獎助力產(chǎn)業(yè)升級
- 信息科技審計分會年會召開,基調(diào)聽云安全事業(yè)部總經(jīng)理盧中陽受邀演講
- 2024開源和軟件安全沙龍啟幕,基調(diào)聽云加入3S-Lab軟件供應鏈安全實驗室
- 勢不可擋!基調(diào)聽云觀云平臺斬獲 IT168 2024年度創(chuàng)新解決方案
- 騰訊Bugly、基調(diào)聽云等性能監(jiān)控類SDK適配原生鴻蒙,讓性能分析更高效
- 基調(diào)聽云聯(lián)合中國信通院發(fā)布首個云計算智能化可觀測性能力成熟度模型標準
- 基調(diào)聽云RUM 用戶體驗監(jiān)控 SDK 上架,推動鴻蒙原生應用平穩(wěn)落地
- 基調(diào)聽云打出“可觀測性+安全”組合拳,助力企業(yè)數(shù)字化轉型
- 探索可觀測性與應用安全融合創(chuàng)新發(fā)展,基調(diào)聽云下一步將如何走?
人工智能企業(yè)
更多>>人工智能硬件
更多>>- 從心出發(fā),新品與新技術雙重進化,技嘉2025線下產(chǎn)品發(fā)布會強勢來襲
- 當“銀發(fā)”遇見“智眼”——神眸亮相2025深圳智慧養(yǎng)老展
- 訊飛同傳助力亞布力夏季年會,打破語言壁壘促全球對話
- 低空賦能,跨越山河,大疆運載無人機的甘孜答卷
- 預制菜又吵起來了?優(yōu)特智廚炒菜機新品發(fā)布會掀起中餐“現(xiàn)炒”熱潮
- 場景化落地部署人形機器人將超2000臺,眾擎機器人與多倫科技達成戰(zhàn)略合作
- 275W極限性能+第二代乾坤散熱!拯救者R9000P 2025至尊版成就電競創(chuàng)作雙巔峰
- 百年聲學品牌再創(chuàng)新!拜雅新品AMIRON 200 & AMIRON ZERO定義開放聆聽新方式
人工智能產(chǎn)業(yè)
更多>>- 打造張江人工智能創(chuàng)新小鎮(zhèn),全國首個人工智能創(chuàng)新應用先導區(qū)再添發(fā)展新引擎
- 人機共生 · 智啟未來——2025高交會亞洲人工智能與機器人產(chǎn)業(yè)鏈展主題發(fā)布
- 北京數(shù)基建發(fā)布“知行IntAct”混合智能體產(chǎn)品,以AI定義城市治理新范式
- 新時達“精耕小腦”,與大腦協(xié)同,加速具身智能垂直落地
- 亞洲愿景論壇 東軟蓋龍佳談AI與數(shù)據(jù)價值化重構醫(yī)療未來
- 破解AI落地難題!北大這場特訓營,為企業(yè)找到轉型“最優(yōu)解”
- 腦神經(jīng)成像提速數(shù)倍、AI練就“遺忘術”!2025螞蟻InTech獎頒發(fā)
- 一句話生成圖表!天禧智能體接入ChatExcel MCP Server讓數(shù)據(jù)處理變得如此簡單
人工智能技術
更多>>- 外灘大會首發(fā)! 螞蟻密算推出AI密態(tài)升級卡 實現(xiàn)零改動“即插即用”
- 騰訊優(yōu)圖攜Youtu-Agent開源項目亮相上海創(chuàng)智學院首屆TechFest大會
- 2025外灘大會:王堅暢談AI變革,普天科技錨定空天算力新賽道
- 騰訊正式開源Youtu-GraphRAG,圖檢索增強技術迎來落地新突破
- 聲網(wǎng)兄弟公司 Agora與OpenAI 攜手 助力多模態(tài) AI 智能體實現(xiàn)實時交互
- Qwen-Image-Edit 模型上線基石智算,圖像編輯更精準
- 火山引擎多模態(tài)數(shù)據(jù)湖落地深勢科技,提升科研數(shù)據(jù)處理效能
- 斑馬AI大模型:為每個孩子提供專屬學習方案