2024可信數(shù)據(jù)庫發(fā)展大會（TDBC）于7月16日～17日在北京舉行。會上，中國信通院公布 2024 年上半年“可信數(shù)據(jù)庫”系列評測結(jié)果?？峥藬?shù)據(jù)旗下的企業(yè)版 HashData Enterprise 云原生數(shù)據(jù)倉庫（以下簡稱“HashData 云數(shù)倉”）通過分布式分析型數(shù)據(jù)庫基礎(chǔ)能力產(chǎn)品測試并獲證書，同時(shí)入選中國信通院《中國數(shù)據(jù)庫產(chǎn)業(yè)圖譜（2024）》。酷克數(shù)據(jù)解決方案架構(gòu)師吳昊受邀參與“電信行業(yè)數(shù)據(jù)庫應(yīng)用創(chuàng)新分論壇”，并發(fā)表主題演講。

頻獲行業(yè)認(rèn)可HashData 通過“可信數(shù)據(jù)庫”評測

經(jīng)過嚴(yán)苛的測試和評審，2024 年上半年，共有 23 家企業(yè)的 27 款產(chǎn)品通過了本批次可信數(shù)據(jù)庫 31 項(xiàng)測試，中國信通院云計(jì)算與大數(shù)據(jù)所大數(shù)據(jù)與區(qū)塊鏈部主任姜春宇為通過評測的企業(yè)頒發(fā)證書。

酷克數(shù)據(jù)旗下的企業(yè)版HashData 云數(shù)倉通過分布式分析型數(shù)據(jù)庫基礎(chǔ)能力產(chǎn)品測試，獲評“可信數(shù)據(jù)庫”。本次評測依據(jù)《大數(shù)據(jù) 分布式分析型數(shù)據(jù)庫技術(shù)要求與測試方法》，全面測試了 HashData 云數(shù)倉在基本功能、運(yùn)維要求、兼容性要求、安全性要求、容錯(cuò)要求以及擴(kuò)展性要求這 6 大方面的能力。測試結(jié)果表明，HashData 云數(shù)倉在分布式分析型數(shù)據(jù)庫的功能完備性、易用性、通用性等方面均符合標(biāo)準(zhǔn)要求。

產(chǎn)品介紹

HashData 云數(shù)倉是酷克數(shù)據(jù)基于自有開源數(shù)據(jù)庫 CloudberryDB 內(nèi)核增強(qiáng)，推出的一款企業(yè)級分布式分析型數(shù)據(jù)庫系統(tǒng)，具備高彈性、高性能、高可用、低成本等特性。該系統(tǒng)采用存算分離的云原生系統(tǒng)架構(gòu)，實(shí)現(xiàn)了存儲、計(jì)算、元數(shù)據(jù)分離。在統(tǒng)一的元數(shù)據(jù)管理下，提供全域數(shù)據(jù)管理、多模態(tài)分析計(jì)算能力，支撐全場景數(shù)據(jù)分析。

HashData云數(shù)倉架構(gòu)圖

與傳統(tǒng)架構(gòu)的數(shù)據(jù)倉庫系統(tǒng)相比，HashData 云數(shù)倉在大規(guī)模集群建設(shè)時(shí)，能夠?qū)崿F(xiàn)更大的系統(tǒng)彈性、并發(fā)性，并大幅降低硬件成本，更符合當(dāng)前中大型用戶的數(shù)字化轉(zhuǎn)型需求。截止目前，HashData 云數(shù)倉已應(yīng)用于金融、運(yùn)營商、能源等眾多行業(yè)頭部企業(yè)與大型央國企的數(shù)據(jù)倉庫系統(tǒng)，最大客戶規(guī)模超過 35000 個(gè)節(jié)點(diǎn)。

核心特性

·存算分離的彈性架構(gòu)，克服傳統(tǒng) MPP 局限性：基于存算分離的架構(gòu)，實(shí)現(xiàn)了基礎(chǔ)設(shè)施資源和應(yīng)用解耦，可以根據(jù)計(jì)算集群的工作負(fù)載變化，靈活、動(dòng)態(tài)調(diào)配計(jì)算集群資源。計(jì)算集群間性能相互隔離，資源和操作完全獨(dú)立，避免產(chǎn)生相互競爭 CPU、內(nèi)存和 IO 的情況，幫助用戶實(shí)現(xiàn)系統(tǒng)層面的資源使用效率提升。

·OneData，實(shí)現(xiàn)真正意義上的企業(yè)級統(tǒng)一數(shù)據(jù)視圖：真正實(shí)現(xiàn)全部數(shù)據(jù)資產(chǎn)的統(tǒng)一數(shù)據(jù)平臺納管，建立企業(yè)級統(tǒng)一數(shù)據(jù)視圖，融合各種數(shù)據(jù)平臺、數(shù)據(jù)倉庫與數(shù)據(jù)集市，大幅降低數(shù)據(jù)治理復(fù)雜度，縮短數(shù)據(jù)加工鏈路，避免數(shù)據(jù)冗余，避免數(shù)據(jù)孤島，提升業(yè)務(wù)使用數(shù)據(jù)的敏捷性。

·建立湖倉一體體系，實(shí)現(xiàn)數(shù)據(jù)高效融通：在滿足上層應(yīng)用的同時(shí)，充分考慮了大型企業(yè)的數(shù)據(jù)中臺技術(shù)框架，實(shí)現(xiàn)數(shù)據(jù)湖與數(shù)據(jù)倉庫無縫融合。通過外部表和連接器的方式與基于 Hadoop 生態(tài)的數(shù)據(jù)湖進(jìn)行集成，在企業(yè)內(nèi)部形成混合架構(gòu)的數(shù)據(jù)平臺體系；也可實(shí)現(xiàn)基于統(tǒng)一共享存儲的融合架構(gòu)，以 HashData 集群和 Spark 集群分別支撐不同業(yè)務(wù)場景，數(shù)據(jù)以 ORC 格式統(tǒng)一存儲在共享存儲上，避免了不同集群間重復(fù)導(dǎo)入導(dǎo)出數(shù)據(jù)，實(shí)現(xiàn)湖倉業(yè)務(wù)數(shù)據(jù)和元數(shù)據(jù)真正融合。

·優(yōu)秀的集成能力，構(gòu)筑完善的上下游生態(tài)：提供了豐富的分析接口，對各種開發(fā)語言和上下游生態(tài)軟件充分兼容，能夠快速實(shí)現(xiàn)與企業(yè)報(bào)表指標(biāo)工具、智能統(tǒng)計(jì)工具、數(shù)據(jù)洞察工具、自助分析工具、研發(fā)云平臺等系統(tǒng)的兼容適配，面向用戶提供高效的數(shù)據(jù)分析能力。

·容器化部署能力，幫助企業(yè)構(gòu)建彈性數(shù)據(jù)底座：突破了網(wǎng)絡(luò)、存儲、調(diào)度、管理等難點(diǎn)，通過采用 K8S+HashData 的技術(shù)路線，實(shí)現(xiàn)了秒級快速擴(kuò)縮容、讀寫分離、高可用、資源敏捷交付等能力，快速滿足業(yè)務(wù)發(fā)展需要，進(jìn)一步提升資源利用率。

·結(jié)合自研 AI 工具，提供多樣化的分析計(jì)算能力：實(shí)現(xiàn)了 ANSI SQL 2008 和 2003 OLAP 標(biāo)準(zhǔn)，支持 JDBC 和 ODBC 接口，擴(kuò)展了分析能力，支持多種編程語言，并原生支持 Apache Madlib 和 PostGIS，在 MPP 架構(gòu)上支持多種分析形式，同時(shí)兼容業(yè)界常用的 ETL 和 BI 工具。結(jié)合酷克數(shù)據(jù)自主研發(fā)的下一代 In-Database 高級分析和數(shù)據(jù)科學(xué)工具 HashML，提供豐富的 AI 算法和模型能力，支持機(jī)器學(xué)習(xí)、深度學(xué)習(xí)算法及預(yù)訓(xùn)練大模型，共享云數(shù)倉的存儲和計(jì)算資源，降低了部署成本和復(fù)雜度，為開發(fā)者提供了統(tǒng)一的數(shù)據(jù)查詢、分析、建模環(huán)境。

·高效運(yùn)維監(jiān)控平臺，降低了數(shù)據(jù)庫管理成本：融合云計(jì)算技術(shù)，提供了自動(dòng)化運(yùn)維監(jiān)控平臺 CloudManager，通過對各類云平臺資源的統(tǒng)一管理，整合數(shù)據(jù)庫集群的監(jiān)控、運(yùn)維、管理等功能，建立統(tǒng)一的數(shù)字化管理運(yùn)維平臺，實(shí)現(xiàn)圖形化、自動(dòng)化操作，及時(shí)、高效應(yīng)對數(shù)據(jù)庫故障，大幅降低了數(shù)據(jù)倉庫的運(yùn)維管理成本。

HashData 入選中國數(shù)據(jù)庫產(chǎn)業(yè)圖譜

會上，中國通信標(biāo)準(zhǔn)化協(xié)會互聯(lián)網(wǎng)與應(yīng)用技術(shù)工作委員會主席何寶宏代表中國通信標(biāo)準(zhǔn)化協(xié)會正式發(fā)布《中國數(shù)據(jù)庫產(chǎn)業(yè)圖譜（2024）》。圖譜梳理了我國當(dāng)前數(shù)據(jù)庫產(chǎn)業(yè)鏈上下游發(fā)展?fàn)顩r，研判數(shù)據(jù)庫產(chǎn)品分類及分布態(tài)勢，探索技術(shù)發(fā)展方向，洞察產(chǎn)業(yè)發(fā)展現(xiàn)狀，旨在全面客觀展現(xiàn)過去一年我國數(shù)據(jù)庫產(chǎn)業(yè)中的關(guān)鍵領(lǐng)域、環(huán)節(jié)和代表企業(yè)。

HashData 云數(shù)倉作為酷克數(shù)據(jù)旗下的重要產(chǎn)品，憑借其出色的技術(shù)實(shí)力和市場表現(xiàn)，成功入選了中國信通院發(fā)布的《中國數(shù)據(jù)庫產(chǎn)業(yè)圖譜（2024）》數(shù)據(jù)庫主流產(chǎn)品-分布式分析型數(shù)據(jù)庫競爭者板塊。

電信行業(yè)數(shù)據(jù)庫應(yīng)用創(chuàng)新分論壇主題演講

電信行業(yè)數(shù)據(jù)庫應(yīng)用創(chuàng)新分論壇上，吳昊指出，移動(dòng)互聯(lián)網(wǎng)的發(fā)展導(dǎo)致電信行業(yè)數(shù)據(jù)量激增，這對數(shù)據(jù)平臺的建設(shè)提出了前所未有的挑戰(zhàn)。從解決單點(diǎn)業(yè)務(wù)問題到垂直大數(shù)據(jù)應(yīng)用，再到企業(yè)級大數(shù)據(jù)中心的構(gòu)建，這一系列的演變，不僅要求數(shù)據(jù)平臺在數(shù)據(jù)處理和業(yè)務(wù)支撐上具備更強(qiáng)的能力，更重要的是，催生了一種全新的數(shù)據(jù)思維。在這種新思維下，數(shù)據(jù)洞察不再依存于基于復(fù)雜模型的抽樣理論，而是基于全量數(shù)據(jù)進(jìn)行分析，進(jìn)行全量計(jì)算，從而降低對復(fù)雜模型的依賴。

這要求數(shù)據(jù)平臺必須擁有出色的處理能力和高度的靈活性，以便能夠迅速適應(yīng)不斷變化的數(shù)據(jù)環(huán)境和業(yè)務(wù)需求。然而，傳統(tǒng)的 MPP 數(shù)據(jù)庫由于采用了存儲與計(jì)算緊密耦合的架構(gòu)，導(dǎo)致其彈性伸縮能力不足，難以滿足當(dāng)前數(shù)字化轉(zhuǎn)型需求。為了解決這些挑戰(zhàn)，需要采用新的技術(shù)架構(gòu)和管理方法，以提高數(shù)據(jù)平臺的靈活性、可擴(kuò)展性和安全性。

針對上述挑戰(zhàn)，吳昊詳細(xì)介紹了基于存算分離架構(gòu)的 HashData 云原生數(shù)據(jù)倉庫的獨(dú)特優(yōu)勢。他強(qiáng)調(diào)，HashData 采用元數(shù)據(jù)、計(jì)算和存儲三者分離的架構(gòu)，能夠更好地適應(yīng)跨集群、跨中心以及跨云中心的數(shù)據(jù)訪問。HashData 利用統(tǒng)一的元數(shù)據(jù)和存儲服務(wù)，構(gòu)建了具有權(quán)威性的企業(yè)級數(shù)據(jù)視圖，使得多個(gè)計(jì)算集群能夠無縫共享數(shù)據(jù)。借助云端資源的靈活伸縮性，不僅顯著提升了運(yùn)維效率，還降低了系統(tǒng)復(fù)雜度，并成功消解了木桶效應(yīng)等潛在問題。吳昊進(jìn)一步分享了 HashData 在電信行業(yè)的實(shí)際應(yīng)用案例：

·基于信創(chuàng)底座構(gòu)建湖倉融合的數(shù)據(jù)中臺：某大型運(yùn)營商選用 HashData 進(jìn)行數(shù)據(jù)中臺信創(chuàng)升級改造。HashData 運(yùn)用云原生技術(shù)重構(gòu)大數(shù)據(jù)算力調(diào)度引擎，并基于客戶信創(chuàng)底座構(gòu)建多樣化分析平臺。該平臺融合現(xiàn)有大數(shù)據(jù)體系，支持批量和準(zhǔn)實(shí)時(shí)分析，采用聯(lián)邦 HDFS 統(tǒng)一存儲、管理多源異構(gòu)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)一次入湖、直觀分析。同時(shí)，支持多引擎融合，允許用戶根據(jù)需求靈活選擇計(jì)算引擎，并能根據(jù)租戶需求隔離計(jì)算業(yè)務(wù)集群，彈性調(diào)整算力?；诖嫠惴蛛x架構(gòu)，該平臺能夠滿足各類業(yè)務(wù)場景的技術(shù)需求，實(shí)現(xiàn)業(yè)務(wù)資源需求快速交付，歷史數(shù)據(jù)平滑過渡，核心技術(shù)自主可控，為用戶業(yè)務(wù)增長提供了強(qiáng)有力的支持。

·基于 K8S 打造云原生數(shù)據(jù)平臺：某運(yùn)營商聯(lián)合酷克數(shù)據(jù)團(tuán)隊(duì)，突破以往容器化僅用于無狀態(tài)應(yīng)用場景或開發(fā)測試環(huán)境的限制，采用 K8S+HashData 的技術(shù)路線，在國內(nèi)率先建成真實(shí)生產(chǎn)環(huán)境下的容器化部署大規(guī)模云原生數(shù)據(jù)倉庫。相比原有數(shù)據(jù)平臺，基于容器化部署的 HashData 云數(shù)倉，具備高可用、高并發(fā)、計(jì)算資源水平無限擴(kuò)展、秒級擴(kuò)縮容等能力，擴(kuò)縮容期間不影響業(yè)務(wù)連續(xù)性，實(shí)現(xiàn)了計(jì)算資源快速部署、高效交付的建設(shè)目標(biāo)。

最后，吳昊展望了存算分離架構(gòu)在電信行業(yè)的廣闊前景。他認(rèn)為，隨著技術(shù)的不斷進(jìn)步和業(yè)務(wù)的持續(xù)發(fā)展，存算分離架構(gòu)將在更多領(lǐng)域發(fā)揮重要作用。

結(jié)語

TDBC2024可信數(shù)據(jù)庫發(fā)展大會的成功舉辦，不僅展示了中國數(shù)據(jù)庫產(chǎn)業(yè)的最新成果，也為行業(yè)未來的發(fā)展指明了方向。酷克數(shù)據(jù)旗下的HashData云數(shù)倉在本次大會上大放異彩，不僅通過了“可信數(shù)據(jù)庫”系列評測，還成功入選《中國數(shù)據(jù)庫產(chǎn)業(yè)圖譜（2024）》，充分證明了其在分布式分析型數(shù)據(jù)庫領(lǐng)域的強(qiáng)大實(shí)力和市場認(rèn)可度。吳昊在電信行業(yè)數(shù)據(jù)庫應(yīng)用創(chuàng)新分論壇上的精彩演講，更是進(jìn)一步闡述了HashData云數(shù)倉在應(yīng)對電信行業(yè)數(shù)字化轉(zhuǎn)型挑戰(zhàn)中的獨(dú)特優(yōu)勢和實(shí)際應(yīng)用價(jià)值。展望未來，隨著技術(shù)的不斷進(jìn)步和業(yè)務(wù)的持續(xù)發(fā)展，HashData云數(shù)倉有望在更多領(lǐng)域發(fā)揮重要作用，推動(dòng)中國數(shù)據(jù)庫產(chǎn)業(yè)邁向新的高度。