精品国产18久久久久久,一个人在线观看的www,亚洲一区二区久久久,成人国内精品久久久久影院vr,最近免费中文字幕大全高清大全1

基調(diào)聽云首發(fā) 《大模型服務性能評測 DeepSeek-R1 API 版》第一期

2025-02-22 09:36:26AI云資訊30765

春節(jié)假期,DeepSeek-R1 橫空出世,成為全球熱議焦點。2023年11月,DeepSeek 發(fā)布首個大模型 DeepSeek LLM;2024年5月開源DeepSeek-V2,因性能出色、價格優(yōu)勢收獲 “AI 屆拼多多” 稱號。12月26日上線并開源 DeepSeek-V3,憑借低訓練成本和出色性能引發(fā)全球熱議。2025年1月20日,DeepSeek 發(fā)布的DeepSeek-R1 推理大模型邏輯推理能力出色,接近甚至超越OpenAI的o1,引發(fā)全球轟動,被硅谷科技媒體稱為新時代的 “斯普特尼克時刻”。

DeepSeek-R1 憑借其創(chuàng)新和高效的訓練方法、強大的推理能力、大幅下降的使用成本和開源等出色表現(xiàn)迅速在 AI 大模型領域脫穎而出,其技術的深度整合已在多個行業(yè)中帶來了顯著的變革與推動。7天完成1億用戶增長,移動端上線26天,日活突破4000萬,目前已成為眾多用戶尋求智能幫助的首選。用戶暴增,大量用戶同時發(fā)送請求,服務器的算力資源、存儲資源和網(wǎng)絡帶寬等被快速占滿,處理能力達到極限,無法及時響應所有請求,從而導致頻繁報錯,關于其服務器繁忙的吐槽紛至沓來。

由于 DeepSeek 官方提供的R1服務頻繁報錯,各類替代服務方案也開始出現(xiàn),除了私有化部署方案,各大云服務商、芯片廠商等第三方服務商陸續(xù)上線 DeepSeek-R1 服務,為用戶提供了更多選擇。與此同時,越來越多的國內(nèi)廠商接入 DeepSeek-R1 大模型服務,如:阿里云、華為云、騰訊云、華為、榮耀、OPPO、科大訊飛、順豐等,涵蓋云服務、軟件與應用服務商、手機廠商、酒店、物流供應鏈、汽車、醫(yī)藥、媒體等行業(yè)。

為了更好地服務開發(fā)者和終端用戶,國內(nèi)領先的可觀測與應用安全廠商基調(diào)聽云對多家提供 DeepSeek-R1 API 服務的廠商開展了全面評測,并發(fā)布了《大模型服務性能評測 DeepSeek-R1 API版》第一期。

此次測評利用基調(diào)聽云撥測工具,模擬真實用戶的主動監(jiān)控,從網(wǎng)絡性能、接口響應時間、推理速度、內(nèi)容生成速度等多個關鍵指標對主流云服務廠商的API接口進行了深入測試。同時,測評還結合了來自多個城市、運營商、主機和時間維度的數(shù)據(jù)分析,旨在為各行業(yè)開發(fā)者和終端用戶提供更具針對性和參考價值的建議,幫助大家選擇更快、更穩(wěn)定的 DeepSeek-R1 服務。

TL;NR(太長不看版):

(1)經(jīng)過對多家主流云服務廠商API接口的深度評測,火山引擎在 API 響應性能上全面領先,各項指標均顯著優(yōu)于其他服務商。DeepSeek 官方雖推理速度較好,但首 Token 延遲過長且可用性低,成為顯著短板。

(2)其他服務商表現(xiàn)分化:硅基流動可用性較高,騰訊云與阿里云百煉速度表現(xiàn)不是太理想。

(3)如果你不是開發(fā)者,只關心哪里能用 DeepSeek-R1,直接拉到文章結尾看我們的推薦網(wǎng)頁版服務。

評測結果及解讀

數(shù)據(jù)分析:

1. 火山引擎在平均速度、推理速度、生成速度上表現(xiàn)最優(yōu),且可用性高達 99.83%,在API接入上首選推薦。

2. DeepSeek 官方推理速度較快,但首 Token 延遲顯著(7.753s),可用性最低(42.21%)。

3. 硅基流動首 Token 響應快(0.714s)且可用性穩(wěn)定(98.83%),但平均速度較弱(12.426 tokens/s)。

4. 騰訊云整體性能較低,其中總性能最差(47.584s)且可用性一般(71.24%)。

5. 阿里云百煉表現(xiàn)不理想,平均速度最慢(3.684 tokens/s),首包時間也最長(1.091s),可用性尚可(87.98%)。

總體性能影響因素分析

1、服務端推理性能是主要影響因素

?在整體測試中,推理速度和生成速度的差異在廠商間表現(xiàn)較為顯著,尤其是火山引擎在推理和生成速度上表現(xiàn)優(yōu)秀,而其他廠商的性能則較為遜色。服務端推理的性能顯然是影響API整體性能的關鍵因素。

2、網(wǎng)絡因素的影響較小

?雖然網(wǎng)絡延遲(DNS 時間、連接時間等)存在一定的差異,但從測試結果來看,除非網(wǎng)絡層的延遲異常高,否則不會對整體的 API 性能產(chǎn)生根本性影響。例如,DeepSeek 官方和火山引擎的網(wǎng)絡層延遲較低,但推理和生成速度的差異更多源自服務端的處理能力,而非網(wǎng)絡本身。

因此,服務端推理性能是影響整體性能的主要因素,網(wǎng)絡層的影響相對較小,基本可以忽略不計,尤其當網(wǎng)絡延遲不超過合理范圍時。

城市維度

城市維度分析:

1. 火山引擎在以上城市均保持最高性能,且可用性全達 100%。

2. DeepSeek 官方在重慶的首 Token 時間最長12.675 秒,其他城市均在9秒內(nèi)。

3. 硅基流動的可用性在廣州的表現(xiàn)的最差93.75%,其他城市在98%以上。

4. 其他服務商與其他指標未見明顯差異,整體與前面的結論一致。

運營商維度

運營商維度分析:

1. DeepSeek 官方在中國移動的網(wǎng)絡下建連時間0.152秒,其他運營商均在0.05秒以內(nèi)。

2. 其他服務商指標對比未見明顯差異,整體與前面結論一致。

主機維度

主機維度分析:該維度從各服務商提供 API 服務的目標主機 IP 地址維度分析各家服務的分布和性能。

主機數(shù)量:騰訊云主機數(shù)量最多,DeepSeek 官方主機數(shù)量最少。

主機城市:騰訊云的主機城市分布最廣,其次是火山引擎。

主機運營商分布:騰訊云的主機運營商分布最廣,其次是火山引擎。

時間維度(1小時粒度)

各時間段分析:

時段(2025/2/17 8:00 - 15:00)

●特點:DeepSeek 官方和阿里云百煉可用性波動較大,騰訊云可用性不高,但是可用性比較穩(wěn)定,其它服務商可用性相對優(yōu)秀,穩(wěn)定。

●原因:可能此時用戶流量較大,服務器負載也比較大,騰訊云服務商可能受到限流影響。

時段(2025/2/17 15:00 - 2025/2/18 0:00)

●特點:DeepSeek 官方在2025/2/17 15:00 - 17:00 服務出現(xiàn)不可用的情況,騰訊云可用性不高,但是可用性比較穩(wěn)定,其它服務商可用性相對優(yōu)秀,穩(wěn)定。

●原因:可能此時 DeepSeek 官方用戶流量較大,服務器負載也比較大,騰訊云服務商可能受到限流影響。

時段(2025/2/18 0:00 - 8:00)

●特點:多數(shù)服務商 API 的可用性較高,甚至達到100%。性能時長也相對較短。

●原因:可能此時用戶流量較少,服務器負載較低,能夠為每個請求分配更多資源。

各服務商 API 整體性能分析:

火山引擎

●可用性:整體非常穩(wěn)定,未出現(xiàn)明顯波動。

●性能:整體表現(xiàn)良好,未出現(xiàn)顯著問題。

DeepSeek 官方

●可用性:

2025-02-17 08:00 - 2025-02-18 01:00:可用性波動較大,從較差逐漸改善至良好。

2025-02-18 01:00 - 2025-02-18 08:00:可用性保持100%,表現(xiàn)穩(wěn)定。

●整體性能:在可用性提升的同時,性能表現(xiàn)也逐漸優(yōu)化,整體時間指標表現(xiàn)優(yōu)秀。

硅基流動

●可用性:整體波動較小,表現(xiàn)穩(wěn)定,大部分時間維持在95%以上。

●性能:在各時間段內(nèi)有波動,但整體表現(xiàn)較為平穩(wěn)。

騰訊云

●可用性:總體較低,但各時間段內(nèi)的波動較小。在測評過程中,騰訊云可能受到限流影響,導致可用性表現(xiàn)不佳。

●性能:在各時間段內(nèi)有波動,但整體表現(xiàn)較為平穩(wěn)。

阿里云百煉

●可用性:

2025-02-17 08:00 - 2025-02-17 13:00:波動明顯,之后大部分時間維持在90%以上,表現(xiàn)較為穩(wěn)定。

●性能:2025-02-17 08:00 - 2025-02-17 13:00:波動明顯,在其它各個時間段內(nèi)表現(xiàn)較為穩(wěn)定。

本次評測的測試工具、指標采集、測試廠商、測試參數(shù)等詳情如下:

測試工具及指標采集

1. 測試工具:基調(diào)聽云撥測平臺

2. 采集指標:

●通過API返回的數(shù)據(jù)計算出來的指標包含:平均速度(tokens/s)、首 Token 時間(s)、推理速度(tokens/s)、生成速度(tokens/s)

●通過聽云撥測客戶端計算的指標包含:DNS 時間(s)、建連時間(s)、握手時間(s)、發(fā)出請求時間(s)、首包時間(s)、剩余包時間(s)、性能(s) 和可用性(%)

3. 測試節(jié)點:北京/上海/廣州/深圳/重慶/蘇州/成都/杭州/武漢九地移動/電信/聯(lián)通三大運營商,模擬27個終端用戶

4. 任務屬性:任務綁定(相同頻率,相同監(jiān)測點)

5.大模型相關的測試指標和計算方式參考了公眾號“賽博禪心”文章“務實測試:DeepSeek 各家 API 真實速度”中提到的測試腳本。

測試廠商

騰訊云、阿里云、火山引擎、DeepSeek 官方和硅基流動

測試參數(shù)

●測試頻率:1小時

●測試周期:2025/02/17 08:00 - 2025/02/18 08:00

●測試 Prompt:9.9和9.11這兩個數(shù)哪個更大?請在結果中只輸出比較大的那個數(shù),并放在兩個"#"符號之間。

●期望響應格式:#9.9#

指標定義

(1)模型性能指標

●首 Token 時間:從請求發(fā)起至模型返回第一個有效 Token 的時間間隔 (單位:s)

●推理速度:模型推理階段的平均速度 (單位:tokens/s)

●生成速度:模型生成階段的平均速度 (單位:tokens/s)

●平均速度:模型推理和生成兩個階段的整體平均速度 (單位:tokens/s)

(2)網(wǎng)絡指標

● DNS:通過域名解析服務,將指定的域名解析成 IP 地址的消耗時間。

●建連:瀏覽器和 Web 服務器建立 TCP/IP 連接的消耗時間。

● SSL:瀏覽器和 Web 服務器建立安全套接層 (SSL) 連接的消耗時間。

●首包:瀏覽器發(fā)送 HTTP 請求結束開始,到收到 Web 服務器返回的第一個數(shù)據(jù)包的消耗時間。

●剩余包:瀏覽器接收 Web 服務器返回的第一個數(shù)據(jù)包到元素數(shù)據(jù)接收結束的消耗時間。

●性能(總下載時間):監(jiān)測一個頁面總的消耗時間,即從開始監(jiān)測到監(jiān)測結束的時間。

●可用性:時間范圍內(nèi),目標服務能夠被正常訪問的次數(shù)與總訪問次數(shù)的比值。

(3)分析維度

●運營商:移動/電信/聯(lián)通

●城市:北京/上海/廣州/深圳/重慶/蘇州/成都/杭州/武漢

●目標主機(基于 API 服務的暴露的 IP 地址)

本次測評旨在為開發(fā)者提供深度數(shù)據(jù)支撐,助力其精準洞察各服務商 API接口的性能表現(xiàn),從而有針對性地優(yōu)化產(chǎn)品體驗。對于開發(fā)者和企業(yè)用戶而言,這些數(shù)據(jù)可以作為服務商選擇的決策依據(jù),可以依托本次測評數(shù)據(jù),更科學地甄別適配自身需求的技術方案,有效提升調(diào)用效率,大幅降低響應延遲,全方位增強整體服務質量。

最后,提前預告一下,基調(diào)聽云正在對各家網(wǎng)頁版本的 DeepSeek-R1 服務進行評測,將在近期發(fā)布網(wǎng)頁版的評測結果。敬請期待

相關文章

人工智能企業(yè)

更多>>

人工智能硬件

更多>>

人工智能產(chǎn)業(yè)

更多>>

人工智能技術

更多>>
AI云資訊(愛云資訊)立足人工智能科技,打造有深度、有前瞻、有影響力的泛科技媒體平臺。
合作QQ:1211461360微信號:icloudnews