“跟一部手機(jī)差不多大？”“還能運(yùn)行320億參數(shù)的大模型？”你見過這么小的大模型一體機(jī)嗎？

在手掌大小的尺寸下集成了強(qiáng)大的GPU、大參數(shù)模型和AI智能應(yīng)用技術(shù)，直接插在電腦上即可使用，這款小巧的設(shè)備是如何承載大模型智慧的呢？本文將帶您一探究竟。

圖：超小型大模型一體機(jī)——開悟魔盒

在當(dāng)前的科技環(huán)境中，大模型因其對高性能計(jì)算的高需求，普遍需要依賴服務(wù)器級別的硬件設(shè)備。無論是云服務(wù)還是本地部署，都需相應(yīng)的強(qiáng)大算力支持，更不用說結(jié)合本地?cái)?shù)據(jù)創(chuàng)建AI應(yīng)用的附加需求。然而，這種部署架構(gòu)無法適應(yīng)移動性、去中心化或無網(wǎng)絡(luò)環(huán)境的特殊場景應(yīng)用。

開普云研發(fā)的“開悟魔盒”大模型一體機(jī)突破了這一限制，在邊緣計(jì)算的迷你設(shè)備上，實(shí)現(xiàn)了對大參數(shù)模型在端側(cè)的適配與優(yōu)化。

開普云采用了先進(jìn)的模型壓縮技術(shù)，減小了模型的大小和復(fù)雜度，將大模型及其所依賴的各類運(yùn)行環(huán)境軟件，無縫接入基于ARM和X86架構(gòu)的CPU以及多款國內(nèi)外先進(jìn)GPU上運(yùn)行，大幅降低了對計(jì)算資源的需求，做到了將大模型塞進(jìn)一個(gè)巴掌大小的小盒子中。這一成果實(shí)現(xiàn)了性能與能耗的平衡，使得大模型及其配套軟硬件能夠即插即用，無需復(fù)雜的配置過程，極大地提高了部署效率和設(shè)備靈活性。

那么，這個(gè)“盒子”里的大模型能力究竟從何而來呢？其來源于內(nèi)置的32B /57B/72B參數(shù)的開悟大模型，在它的加持下，開悟魔盒能提供知識庫語料管理、智能問答、公文寫作、報(bào)告撰寫、解讀等核心功能。

圖：開悟魔盒“軟實(shí)力”

同時(shí)，為了讓開悟魔盒在保持“聰明”的同時(shí)還能保證效率，開普云通過優(yōu)化算法和內(nèi)存管理，實(shí)現(xiàn)了模型快速響應(yīng)和實(shí)時(shí)處理，確保用戶體驗(yàn)的流暢性。開悟魔盒內(nèi)置的大模型支持8K-128K窗口，輸出性能可達(dá)到10-20Tokens/秒，在數(shù)據(jù)密集型任務(wù)處理時(shí)，表現(xiàn)了出卓越的性能和效率，為邊緣計(jì)算的應(yīng)用場景開辟了新的可能性。與行業(yè)內(nèi)的一體機(jī)對比，開悟魔盒AI性能達(dá)到275 TOPS，算力密度大，更“聰明”，讓生成式AI觸手可及。

開悟魔盒體積小巧，不占空間，無需特定位置擺放，可以直接放置在用戶的桌面上，作為智能外設(shè)輕松接入現(xiàn)有的電腦設(shè)備。用戶能夠在不改變原有辦公模式的情況下，在既有辦公環(huán)境中享受到基于大語言模型的AI系列智能化功能，體驗(yàn)一系列高效的智能化辦公服務(wù)。不僅如此，開悟魔盒還具備出色的便攜性，用戶可以隨時(shí)隨地?cái)y帶，隨處可放，即插即用，無需繁瑣的設(shè)置。同時(shí)，它擁有優(yōu)秀的散熱能力，無需特別的散熱措施，即使在長時(shí)間運(yùn)行的情況下也能保持穩(wěn)定的性能，且運(yùn)行聲音極小，對現(xiàn)有辦公環(huán)境幾乎無干擾。

開悟魔盒靈巧輕便，一個(gè)小小的盒子，就相當(dāng)于一個(gè)智慧大腦，尤其適合移動/便攜場景，能夠在不聯(lián)網(wǎng)的情況下提供高效的文檔處理和信息查詢服務(wù)，確保工作的連續(xù)性和安全性。其不僅僅是“壓縮”了大模型能力的一款全新產(chǎn)品，更是開普云把開悟大模型平臺“硬件化”的一次重要嘗試。

關(guān)于開悟魔盒：開悟魔盒是開普云推出的一款邊緣智能化計(jì)算產(chǎn)品，以超小型“大模型一體機(jī)”形態(tài)，將智算芯片的強(qiáng)大算力和300億參數(shù)大模型能力帶到用戶桌面端，在不改變用戶原有辦公軟硬件配置的情況下，使用戶能迅速利用大模型智能化辦公能力，如：智能寫作、智能閱讀、智能問答、知識庫構(gòu)建等，實(shí)現(xiàn)可控可信的內(nèi)容生成，提高工作效率。該產(chǎn)品提供了實(shí)時(shí)、便捷、安全的智能體驗(yàn)，在輕松處理復(fù)雜的自然語言處理任務(wù)的同時(shí)最大限度保護(hù)用戶數(shù)據(jù)隱私。