在2023騰訊全球數(shù)字生態(tài)大會(huì)大數(shù)據(jù)專場(chǎng)上，騰訊云大數(shù)據(jù)正式發(fā)布云數(shù)據(jù)倉(cāng)庫(kù)全新品牌TCHouse，全面構(gòu)建性能與易用性兼具的企業(yè)級(jí)云數(shù)倉(cāng)體系。同時(shí)，還針對(duì)大模型場(chǎng)景，率先在國(guó)內(nèi)發(fā)布具備云端AI增強(qiáng)與向量檢索能力的ES 全新版本，以及代表下一代Lakehouse湖倉(cāng)架構(gòu)的數(shù)據(jù)湖計(jì)算產(chǎn)品DLC，免運(yùn)維、輕量化、低門檻等新特性，助力客戶輕松構(gòu)筑面向AIGC的企業(yè)大數(shù)據(jù)基座。

騰訊云副總裁黃世飛表示：“針對(duì)AI大模型在全球范圍內(nèi)引爆新一輪數(shù)據(jù)變革，作為國(guó)內(nèi)云原生大數(shù)據(jù)的先行者，騰訊云大數(shù)據(jù)一方面為客戶帶來(lái)彈性易用的云原生大數(shù)據(jù)產(chǎn)品，另一方面則為客戶提供能與大模型集成的端到端的搜索與分析體驗(yàn)，加速推進(jìn)大數(shù)據(jù)與AI的融合進(jìn)程。”

據(jù)了解，近年來(lái)騰訊云大數(shù)據(jù)在產(chǎn)品能力和市場(chǎng)規(guī)模上發(fā)展迅猛。在全球權(quán)威研究機(jī)構(gòu)Forrester發(fā)布的最新的《The Forrester WaveTM（TM放Wave左上角): Cloud Data Warehouses, Q2 2023》重磅報(bào)告中，騰訊云大數(shù)據(jù)與國(guó)際頂尖廠商同臺(tái)競(jìng)技，成為國(guó)內(nèi)唯二的入選廠商；在國(guó)內(nèi)市場(chǎng)，騰訊云大數(shù)據(jù)同時(shí)入選沙利文的《2023年中國(guó)數(shù)據(jù)管理解決方案市場(chǎng)報(bào)告》與賽迪的《2022-2023年中國(guó)大數(shù)據(jù)市場(chǎng)研究年度報(bào)告》，成為雙料領(lǐng)導(dǎo)者。

《大數(shù)據(jù)自主創(chuàng)新應(yīng)用白皮書》正式啟動(dòng)，深度剖析國(guó)內(nèi)大數(shù)據(jù)技術(shù)總體態(tài)勢(shì)

自主創(chuàng)新能力是一個(gè)國(guó)家的核心競(jìng)爭(zhēng)力。其中，大數(shù)據(jù)作為激活數(shù)據(jù)要素潛能的關(guān)鍵支撐，加速自主創(chuàng)新，更是成為各類數(shù)字經(jīng)濟(jì)應(yīng)用的重要引擎。最近一年來(lái)，我國(guó)的大數(shù)據(jù)發(fā)展迎來(lái)了全新階段，政策、法律不斷完善，技術(shù)不斷創(chuàng)新，產(chǎn)業(yè)規(guī)模持續(xù)增長(zhǎng)，新產(chǎn)品、新服務(wù)、新模式不斷涌現(xiàn)，大數(shù)據(jù)生態(tài)日益完善。

為了更好地發(fā)揮大數(shù)據(jù)的價(jià)值，在專場(chǎng)上，黃世飛與中國(guó)信通院云計(jì)算與大數(shù)據(jù)研究所副所長(zhǎng)魏凱共同啟動(dòng)了《大數(shù)據(jù)自主創(chuàng)新應(yīng)用白皮書》的編寫工作。魏凱表示，《大數(shù)據(jù)自主創(chuàng)新應(yīng)用白皮書》由騰訊云和中國(guó)信通院共同編寫，將深度剖析我國(guó)大數(shù)據(jù)自主創(chuàng)新技術(shù)發(fā)展的總體態(tài)勢(shì)，并重點(diǎn)針對(duì)核心領(lǐng)域，逐一分析、探討其發(fā)展現(xiàn)狀、特征、問題和趨勢(shì)，從而推動(dòng)我國(guó)大數(shù)據(jù)產(chǎn)業(yè)高質(zhì)量發(fā)展。

黃世飛則指出，本次白皮書的聯(lián)合撰寫是雙方共同進(jìn)行技術(shù)創(chuàng)新、加強(qiáng)緊密合作的重要契機(jī)。“通過這次聯(lián)合發(fā)布，希望讓業(yè)界看到我們雙方對(duì)大數(shù)據(jù)技術(shù)系統(tǒng)化發(fā)展的思考。未來(lái)我們也有更多機(jī)會(huì)進(jìn)行合作交流，充分發(fā)揮在金融科技、信息技術(shù)創(chuàng)新方面的優(yōu)勢(shì)，共同加速大數(shù)據(jù)在行業(yè)內(nèi)的創(chuàng)新及落地?！?

重磅發(fā)布多款大數(shù)據(jù)新產(chǎn)品、新版本，云數(shù)據(jù)倉(cāng)庫(kù)新品牌全新升級(jí)

基于在大數(shù)據(jù)領(lǐng)域的產(chǎn)品能力積累與創(chuàng)新，結(jié)合自身海量業(yè)務(wù)在AI與大數(shù)據(jù)交叉應(yīng)用的實(shí)踐經(jīng)驗(yàn)，騰訊云大數(shù)據(jù)發(fā)布了部分產(chǎn)品的新版本與新能力，并實(shí)現(xiàn)了騰訊云大數(shù)據(jù)·云數(shù)據(jù)倉(cāng)庫(kù)TCHouse的全新品牌升級(jí)。

專場(chǎng)上，騰訊云ES率先在國(guó)內(nèi)首發(fā) 8.8.1版本。騰訊云大數(shù)據(jù)商業(yè)化負(fù)責(zé)人張昆介紹，該版本提供強(qiáng)大的云端AI增強(qiáng)與向量檢索能力，10億級(jí)向量檢索平均響應(yīng)延遲控制在毫秒級(jí)，可助力客戶實(shí)現(xiàn)由AI驅(qū)動(dòng)的高級(jí)搜索能力，為搜索與分析帶來(lái)全新的前沿體驗(yàn)。同時(shí)，還發(fā)布了騰訊云ES 存算分離版，通過物理復(fù)制和混合存儲(chǔ)技術(shù)，去除計(jì)算和存儲(chǔ)冗余，同時(shí)計(jì)算與存儲(chǔ)資源解耦，帶來(lái)秒級(jí)彈性優(yōu)勢(shì)，使得集群整體擁有成本下降50-80%。

隨后，騰訊云大數(shù)據(jù)發(fā)布了DLC – AIGC大數(shù)據(jù)基座 & 下一代Lakehouse湖倉(cāng)架構(gòu)。張昆表示，在新興的AIGC場(chǎng)景中，DLC依托其Serverless形態(tài)下免運(yùn)維、輕量化、低門檻的特性，以及像內(nèi)置了對(duì)Pyspark支持與優(yōu)化、對(duì)Jupyter良好的集成性，能夠很好的成為AIGC的大數(shù)據(jù)基座。而下一代Lakehouse湖倉(cāng)架構(gòu)，可以實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)統(tǒng)一建設(shè)，幫助用戶敏捷、低成本地管理和分析海量數(shù)據(jù)，解決了傳統(tǒng)單一的數(shù)據(jù)架構(gòu)下無(wú)法滿足多變的數(shù)據(jù)分析需求的難題。

最后，騰訊云大數(shù)據(jù)·云數(shù)據(jù)倉(cāng)庫(kù)TCHouse實(shí)現(xiàn)了品牌全新升級(jí)。作為新一代云原生的數(shù)據(jù)倉(cāng)庫(kù)品牌，TCHouse共分三大產(chǎn)品系列，分別是云數(shù)據(jù)倉(cāng)庫(kù) TCHouse-C、云數(shù)據(jù)倉(cāng)庫(kù) TCHouse-D、云數(shù)據(jù)倉(cāng)庫(kù) TCHouse-P，共同構(gòu)成性能與易用性兼具的企業(yè)級(jí)云數(shù)倉(cāng)體系，可有效滿足用戶在不同業(yè)務(wù)場(chǎng)景中的方案選型，提升用戶數(shù)據(jù)分析效率、賦能用戶快速?zèng)Q策。另外，TCHouse-C 還在現(xiàn)有的標(biāo)準(zhǔn)版基礎(chǔ)之上，正式發(fā)布云原生彈性版本，進(jìn)一步提升彈性效率，助力各行業(yè)客戶降本增效。

支持百萬(wàn)級(jí)QPS、十億級(jí)向量，騰訊云ES國(guó)內(nèi)率先發(fā)布全新版本

面對(duì)騰訊云ES發(fā)布的全新版本，騰訊云大數(shù)據(jù)ES產(chǎn)品負(fù)責(zé)人任翔，全方位總結(jié)了該產(chǎn)品在向量檢索和AI增強(qiáng)搜索上的優(yōu)勢(shì)。他指出，首先，騰訊云ES是一個(gè)原生的向量搜索引擎，具有獨(dú)有的混合搜索能力，使用已有的Search API，結(jié)合全文檢索，可輕松實(shí)現(xiàn)多路召回、混合打分、Faceting聚合分析能力，提升搜索準(zhǔn)確性。其次，騰訊云ES是一個(gè)端到端一站式的向量檢索方案，可大幅度降低企業(yè)算法工程的接入成本。再次，騰訊云ES可以和豐富的第三方工具集成。最后，騰訊云ES擁有簡(jiǎn)單易用、成熟穩(wěn)定的高可用架構(gòu)，可支持支持百萬(wàn)級(jí)QPS、十億級(jí)向量規(guī)模。

對(duì)于未來(lái)，任翔表示，騰訊云ES將在技術(shù)架構(gòu)、用戶體驗(yàn)、商業(yè)價(jià)值等方面進(jìn)一步洞察企業(yè)的需求，并以持續(xù)創(chuàng)新為企業(yè)創(chuàng)造更多的價(jià)值，賦能商業(yè)革新。

實(shí)時(shí)分析性能提升20倍，深挖半結(jié)構(gòu)化數(shù)據(jù)價(jià)值

面對(duì)數(shù)據(jù)來(lái)源廣泛、數(shù)據(jù)價(jià)值潛力巨大的半結(jié)構(gòu)化數(shù)據(jù)，全新升級(jí)的騰訊云數(shù)據(jù)倉(cāng)庫(kù) TCHouse-C基于Schema-less無(wú)與倫比的靈活性與擴(kuò)展性，大幅提升ClickHouse實(shí)時(shí)處理/分析大規(guī)模半結(jié)構(gòu)化數(shù)據(jù)的能力，在大數(shù)據(jù)實(shí)時(shí)分析領(lǐng)域構(gòu)建了更加強(qiáng)大的競(jìng)爭(zhēng)力。

騰訊云數(shù)據(jù)倉(cāng)庫(kù)高級(jí)產(chǎn)品經(jīng)理張一鳴表示，Schema-less不需要預(yù)先定義數(shù)據(jù)的結(jié)構(gòu)和模式，而是可以根據(jù)需要?jiǎng)討B(tài)地創(chuàng)建和修改數(shù)據(jù)的結(jié)構(gòu)。這種方式可以使數(shù)據(jù)存儲(chǔ)和處理更加靈活和適應(yīng)性強(qiáng)，可以適應(yīng)不同類型和格式的數(shù)據(jù)，同時(shí)也可以減少數(shù)據(jù)處理的復(fù)雜性和成本。據(jù)實(shí)踐結(jié)果顯示，在日志檢索以及APM場(chǎng)景下，TCHouse-C對(duì)半結(jié)構(gòu)化數(shù)據(jù)實(shí)時(shí)分析性能提升20倍；同時(shí)為公有云客戶節(jié)約了大量硬件成本，做到秒級(jí)返回查詢結(jié)果。

支持百萬(wàn)級(jí)實(shí)時(shí)更新寫入，為業(yè)務(wù)升級(jí)保駕護(hù)航

作為云原生Serverless化的大數(shù)據(jù)分析服務(wù)，騰訊云數(shù)據(jù)湖計(jì)算 DLC兼具數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)勢(shì)，全場(chǎng)景覆蓋大數(shù)據(jù)存儲(chǔ)與分析；同時(shí)還具備云原生、實(shí)時(shí)性強(qiáng)、簡(jiǎn)單易用擴(kuò)展性強(qiáng)等特征，能夠高效、穩(wěn)定地支持大規(guī)模的數(shù)據(jù)預(yù)處理，讓大模型企業(yè)客戶可以極大釋放對(duì)大數(shù)據(jù)底層基礎(chǔ)設(shè)施建設(shè)投入的精力與成本，為客戶的AI業(yè)務(wù)護(hù)航。

騰訊云大數(shù)據(jù)DLC專家工程師陳萬(wàn)東為與會(huì)嘉賓介紹了數(shù)據(jù)湖計(jì)算 DLC在百萬(wàn)級(jí)實(shí)時(shí)Upsert場(chǎng)景的成功實(shí)踐。在某頭部金融券商，騰訊云基于 DLC + Flink + Wedata 搭建湖倉(cāng)一體近實(shí)時(shí)數(shù)據(jù)分析平臺(tái)，數(shù)據(jù)從業(yè)務(wù)數(shù)據(jù)庫(kù)流入kafka，所有數(shù)據(jù)通過Flink實(shí)時(shí)寫入DLC，大幅簡(jiǎn)化架構(gòu)，節(jié)約資源。實(shí)測(cè)Upsert達(dá)到120萬(wàn)/s，結(jié)合Smart Optimizer服務(wù)，數(shù)據(jù)分鐘級(jí)可見；同時(shí)全鏈路作業(yè)時(shí)間從6h縮短到4h，效率提升約20%，使用的資源成本減低20%。

未來(lái)，騰訊云大數(shù)據(jù)將繼續(xù)推動(dòng)大數(shù)據(jù)產(chǎn)品、方案與服務(wù)的廣泛落地，把先進(jìn)的大數(shù)據(jù)云服務(wù)能力輸出給全球各地區(qū)客戶，加速更多企業(yè)實(shí)現(xiàn)數(shù)字化升級(jí)與業(yè)務(wù)創(chuàng)新。