數(shù)據(jù)庫(kù)技術(shù)發(fā)端于上世紀(jì)五十年代，近幾十年，數(shù)據(jù)庫(kù)市場(chǎng)幾乎被Oracle、DB2等國(guó)外廠商所壟斷。隨著云計(jì)算、互聯(lián)網(wǎng)的發(fā)展，國(guó)產(chǎn)數(shù)據(jù)庫(kù)競(jìng)相發(fā)展并在云與分布式時(shí)代實(shí)現(xiàn)新一代數(shù)據(jù)庫(kù)技術(shù)升級(jí)迭代，并逐漸走向產(chǎn)業(yè)化應(yīng)用，為我國(guó)基礎(chǔ)技術(shù)安全可控與產(chǎn)業(yè)技術(shù)數(shù)字化升級(jí)發(fā)揮巨大的推動(dòng)作用。

作為國(guó)內(nèi)領(lǐng)先的數(shù)據(jù)庫(kù)廠商，騰訊云數(shù)據(jù)庫(kù)一直致力于推動(dòng)數(shù)據(jù)庫(kù)基礎(chǔ)研究創(chuàng)新、數(shù)據(jù)庫(kù)產(chǎn)學(xué)研合作生態(tài)建設(shè)，助力國(guó)產(chǎn)數(shù)據(jù)庫(kù)學(xué)術(shù)人才培養(yǎng)和技術(shù)創(chuàng)新生態(tài)建設(shè)發(fā)展。

為促進(jìn)數(shù)據(jù)庫(kù)領(lǐng)域的產(chǎn)學(xué)交流與合作，讓更多數(shù)據(jù)庫(kù)從業(yè)者了解最新研究成果，熟悉更多行業(yè)前沿發(fā)展趨勢(shì)，8月16日下午，騰訊云數(shù)據(jù)庫(kù)聯(lián)合騰訊高校合作、騰訊碼客、騰訊樂(lè)享、騰訊TEG技術(shù)學(xué)堂、廣東省計(jì)算機(jī)學(xué)會(huì)舉辦主題為“【W(wǎng)iztalk】數(shù)據(jù)庫(kù)技術(shù)的發(fā)展與應(yīng)用”的前沿技術(shù)研討會(huì)。

數(shù)據(jù)庫(kù)作為三大基礎(chǔ)軟件之一，做好一款能抗能打的國(guó)產(chǎn)數(shù)據(jù)庫(kù)，需要多個(gè)方面的關(guān)鍵因素，比如足夠的場(chǎng)景打磨，和持續(xù)的研發(fā)創(chuàng)新投入，包括基于產(chǎn)學(xué)研合作的基礎(chǔ)研究等。這是騰訊長(zhǎng)期堅(jiān)持的方面。我們認(rèn)為，面向未來(lái)產(chǎn)業(yè)場(chǎng)景的不斷升級(jí)變換、各項(xiàng)前沿信息技術(shù)的交匯融合發(fā)展，以及數(shù)據(jù)庫(kù)基礎(chǔ)技術(shù)的持續(xù)突破，都給我們?cè)跀?shù)據(jù)庫(kù)超越發(fā)展中帶來(lái)許多機(jī)遇和挑戰(zhàn)。

研討會(huì)分為學(xué)術(shù)報(bào)告與主題討論兩個(gè)部分。在報(bào)告分享環(huán)節(jié)，湯庸教授、毛睿教授、盧衛(wèi)教授與智雅楠老師，分別以“數(shù)據(jù)與知識(shí)工程研究與應(yīng)用”、“大數(shù)據(jù)泛構(gòu):應(yīng)對(duì)多樣性挑戰(zhàn)的通用數(shù)據(jù)處理模式”、“分布式數(shù)據(jù)庫(kù)的多級(jí)一致性及構(gòu)建技術(shù)”、“云環(huán)境下如何構(gòu)建一個(gè)彈性伸縮、高性價(jià)比的分布式數(shù)據(jù)庫(kù)存儲(chǔ)引擎”為主題，通過(guò)線上線下結(jié)合的方式帶來(lái)前沿學(xué)術(shù)分享。而在討論環(huán)節(jié)，各位專家就數(shù)據(jù)庫(kù)領(lǐng)域軟硬件協(xié)同，國(guó)產(chǎn)數(shù)據(jù)庫(kù)發(fā)展等重點(diǎn)問(wèn)題，與線下觀眾分享了各自的觀點(diǎn)。

中國(guó)計(jì)算機(jī)學(xué)會(huì)協(xié)同計(jì)算專委主任、廣東省計(jì)算機(jī)學(xué)會(huì)常務(wù)副理事長(zhǎng)、學(xué)者網(wǎng)創(chuàng)始人、華南師范大學(xué)教授湯庸老師指出，數(shù)據(jù)庫(kù)的目的在于數(shù)據(jù)管理與應(yīng)用。數(shù)據(jù)管理上，對(duì)于結(jié)構(gòu)化、可形式化的數(shù)據(jù)，采用數(shù)據(jù)庫(kù)技術(shù)進(jìn)行管理；對(duì)于半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)，運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行管理。數(shù)據(jù)管理方面，湯庸教授介紹了TempDB時(shí)態(tài)數(shù)據(jù)管理軟件相關(guān)工作。TempDB在邏輯上使用雙時(shí)態(tài)數(shù)據(jù)模型，使用ATSQL2語(yǔ)言，支持電子政務(wù)、電子商務(wù)、決策支持等信息處理系統(tǒng)中的時(shí)態(tài)應(yīng)用；同時(shí)，TempDB在技術(shù)上基于關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)MySQL平臺(tái)、采用JAVA語(yǔ)言進(jìn)行底層開(kāi)發(fā)，具有較強(qiáng)的可移植性以及部署方便。

長(zhǎng)江學(xué)者、深圳大學(xué)計(jì)算機(jī)與軟件學(xué)院副院長(zhǎng)毛睿老師認(rèn)為科學(xué)在于通用。當(dāng)前大數(shù)據(jù)處理主要圍繞volume和velocity這兩個(gè)挑戰(zhàn)，對(duì)于variety挑戰(zhàn)的研究相對(duì)較少。通用的數(shù)據(jù)處理技術(shù)因其廣泛的適用性和相對(duì)低的平均開(kāi)發(fā)維護(hù)成本，一直受到商業(yè)數(shù)據(jù)庫(kù)管理系統(tǒng)的青睞?；谶@種理念，他提出了大數(shù)據(jù)泛構(gòu)技術(shù)——一種可應(yīng)對(duì)多樣性挑戰(zhàn)的通用模式，并建立了基于度量空間的通用大數(shù)據(jù)處理理論框架。

大數(shù)據(jù)泛構(gòu)（big data genhierarchy）把數(shù)據(jù)抽象成度量空間中的點(diǎn)，僅利用數(shù)據(jù)間距離的三角不等性進(jìn)行數(shù)據(jù)的管理和挖掘等工作，具有高度的通用性，有望成為下一代通用數(shù)據(jù)處理系統(tǒng)的重要組件。

中國(guó)計(jì)算機(jī)學(xué)會(huì)數(shù)據(jù)庫(kù)專委委員、中國(guó)人民大學(xué)教授、博士生導(dǎo)師盧衛(wèi)老師提出了分布式數(shù)據(jù)庫(kù)的多級(jí)一致性及構(gòu)建技術(shù)。他指出，金融行業(yè)尤為注重“準(zhǔn)”，即數(shù)據(jù)的一致性，數(shù)據(jù)不能出錯(cuò)。但不同業(yè)務(wù)場(chǎng)景對(duì)一致性或者“準(zhǔn)”的理解、要求并非都一樣。這將會(huì)對(duì)數(shù)據(jù)庫(kù)一致性技術(shù)創(chuàng)新帶來(lái)復(fù)雜的挑戰(zhàn)。針對(duì)以上分布式一致性的困境，中國(guó)人民大學(xué)-騰訊協(xié)同創(chuàng)新實(shí)驗(yàn)室研究提出“多級(jí)一致性”的事務(wù)處理理念，并應(yīng)用于騰訊分布式數(shù)據(jù)庫(kù)TDSQL產(chǎn)品中。該技術(shù)包含嚴(yán)格可串行化、順序可串行化、可串行化三大隔離級(jí)別，同時(shí)實(shí)驗(yàn)室研究提出了雙向動(dòng)態(tài)時(shí)間戳調(diào)整算法，整體使得TDSQL可針對(duì)不同應(yīng)用場(chǎng)景要求，極大地平衡性能與一致性要求，滿足金融及各類企業(yè)場(chǎng)景的分布式事務(wù)處理需求。

據(jù)介紹，分布式環(huán)境下提出多級(jí)一致性模型，確保TDSQL無(wú)任何數(shù)據(jù)異常，且具備高性能的可擴(kuò)展性，解決了分布式數(shù)據(jù)庫(kù)在金融級(jí)場(chǎng)景應(yīng)用的最核心技術(shù)挑戰(zhàn)，使得國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)實(shí)現(xiàn)在金融核心系統(tǒng)場(chǎng)景的可用，推動(dòng)國(guó)產(chǎn)基礎(chǔ)軟件產(chǎn)業(yè)化。基于此，TDSQL是當(dāng)前國(guó)內(nèi)唯一進(jìn)入國(guó)有大型銀行核心系統(tǒng)正式投產(chǎn)的國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)。

騰訊云數(shù)據(jù)庫(kù)專家工程師智雅楠介紹，分布式數(shù)據(jù)庫(kù)TDSQL的目標(biāo)是云環(huán)境下如何構(gòu)建一個(gè)彈性伸縮、高性價(jià)比的分布式數(shù)據(jù)庫(kù)存儲(chǔ)引擎，即把數(shù)據(jù)庫(kù)打造成一種服務(wù)，用戶隨取隨用，把簡(jiǎn)單留給用戶，把復(fù)雜留給自己。

一方面，用戶可以像使用單機(jī)數(shù)據(jù)庫(kù)一樣使用分布式數(shù)據(jù)庫(kù)，同時(shí)業(yè)務(wù)體驗(yàn)又能具備無(wú)限擴(kuò)展的計(jì)算能力、無(wú)限擴(kuò)展的存儲(chǔ)能力、伸縮過(guò)程用戶無(wú)感知、100%兼容MySQL、高可靠高可用、支持存儲(chǔ)過(guò)程、trigger、不用需指定shared key等特性。另一方面，還需要做到高性價(jià)比，用戶需要多少資源就用多少資源，兼容性、負(fù)載均衡、擴(kuò)展性、ACID、參數(shù)調(diào)優(yōu)等問(wèn)題都由云服務(wù)來(lái)解決。

為了實(shí)現(xiàn)這個(gè)目標(biāo)，TDSQL選擇了擴(kuò)展性不受限制的云原生Share Nothing架構(gòu)。在構(gòu)建過(guò)程中，對(duì)多維度的數(shù)據(jù)粒度劃分、數(shù)據(jù)平滑遷移技術(shù)、集群的負(fù)載均衡三方面進(jìn)行技術(shù)創(chuàng)新突破，包括實(shí)現(xiàn)智能數(shù)據(jù)地理感知、代價(jià)估算數(shù)據(jù)分布策略、基于AI的無(wú)服務(wù)彈性可伸縮技術(shù)等，可感知系統(tǒng)故障規(guī)律，建立高精度的數(shù)據(jù)庫(kù)資源容量預(yù)測(cè)模型，進(jìn)行智能資源調(diào)度、敏捷彈性伸縮、數(shù)據(jù)布局優(yōu)化、關(guān)鍵參數(shù)自動(dòng)調(diào)優(yōu)、分布式共識(shí)協(xié)議同步與通信優(yōu)化，形成高可用、高效率的彈性計(jì)算能力，做到低成本支持大規(guī)模突發(fā)性業(yè)務(wù)。

在閉門(mén)研討環(huán)節(jié)，針對(duì)“硬件發(fā)展對(duì)數(shù)據(jù)庫(kù)的影響”在這一話題，騰訊云數(shù)據(jù)庫(kù)技術(shù)負(fù)責(zé)人潘安群認(rèn)為，整體上看，目前數(shù)據(jù)庫(kù)硬件方面最大的變化可能是從原來(lái)的機(jī)械硬盤(pán)換到SSD。騰訊云數(shù)據(jù)庫(kù)內(nèi)部也在進(jìn)行新硬件的相關(guān)研究，但目前來(lái)看，新硬件對(duì)數(shù)據(jù)庫(kù)性能的提升還未實(shí)現(xiàn)突破性的性能改變。因此在未來(lái)，各大廠商會(huì)繼續(xù)嘗試各種新硬件，但在架構(gòu)層面上的創(chuàng)新可能會(huì)更容易實(shí)現(xiàn)性能提升。

盧衛(wèi)老師則更看好RDMA的發(fā)展。RDMA具備高帶寬低延時(shí)的特點(diǎn)，對(duì)原來(lái)數(shù)據(jù)庫(kù)的架構(gòu)可能會(huì)產(chǎn)生較大的變化。實(shí)驗(yàn)表明，原先的數(shù)據(jù)庫(kù)中，一個(gè)事務(wù)訪問(wèn)五個(gè)節(jié)點(diǎn)和訪問(wèn)兩個(gè)節(jié)點(diǎn)相比，性能下降了90%左右，但采用RDMA后，性能基本沒(méi)有損耗。從實(shí)驗(yàn)結(jié)論上看，未來(lái)分布式系統(tǒng)架構(gòu)可能會(huì)產(chǎn)生較大改變，有利于提高數(shù)據(jù)庫(kù)性能。

作為國(guó)內(nèi)領(lǐng)先的數(shù)據(jù)庫(kù)廠商，騰訊云數(shù)據(jù)庫(kù)一直致力于推動(dòng)數(shù)據(jù)庫(kù)基礎(chǔ)研究創(chuàng)新、數(shù)據(jù)庫(kù)產(chǎn)學(xué)研合作生態(tài)建設(shè)，通過(guò)校企聯(lián)合實(shí)驗(yàn)室共建，面向青年學(xué)者的CCF-騰訊犀牛鳥(niǎo)基金與騰訊犀牛鳥(niǎo)科研專項(xiàng)等，與高校、科研機(jī)構(gòu)構(gòu)建起“產(chǎn)學(xué)研”一體的長(zhǎng)期合作，將技術(shù)研究成果轉(zhuǎn)換為應(yīng)用落地，校企聯(lián)合持續(xù)輸出前沿技術(shù)創(chuàng)新與示范性應(yīng)用。

騰訊云數(shù)據(jù)庫(kù)誕生自騰訊內(nèi)部業(yè)務(wù)金融級(jí)場(chǎng)景，歷經(jīng)海量場(chǎng)景十余年研發(fā)打磨，具備金融級(jí)分布式、云原生、實(shí)時(shí)分析、企業(yè)級(jí)通用等能力，目前已服務(wù)金融、政務(wù)、工業(yè)制造等行業(yè)超過(guò)50萬(wàn)家客戶。

騰訊企業(yè)級(jí)分布式數(shù)據(jù)庫(kù)TDSQL是國(guó)內(nèi)首家應(yīng)用于互聯(lián)網(wǎng)分布式銀行核心系統(tǒng)、銀行傳統(tǒng)核心系統(tǒng)，也是首家?guī)椭鷩?guó)內(nèi)銀行核心系統(tǒng)從IBM大機(jī)下移至國(guó)產(chǎn)分布式架構(gòu)的國(guó)產(chǎn)分布式數(shù)據(jù)庫(kù)。目前，騰訊TDSQL已經(jīng)幫助20余家金融機(jī)構(gòu)完成核心替換，國(guó)內(nèi)TOP 10銀行機(jī)構(gòu)服務(wù)占比超過(guò)6家。TDSQL也很好了支持了第七次全國(guó)人口普查，以及騰訊會(huì)議、健康碼等國(guó)計(jì)民生的數(shù)字化應(yīng)用。

未來(lái)，騰訊云數(shù)據(jù)庫(kù)將繼續(xù)加大對(duì)數(shù)據(jù)庫(kù)產(chǎn)學(xué)研合作生態(tài)的投入，通過(guò)與騰訊高校合作、計(jì)算機(jī)與數(shù)據(jù)庫(kù)領(lǐng)域?qū)W術(shù)組織等內(nèi)外部合作伙伴合作，持續(xù)挖掘更有效的產(chǎn)學(xué)合作模式，加強(qiáng)產(chǎn)學(xué)交流互動(dòng)，助力國(guó)產(chǎn)數(shù)據(jù)庫(kù)人才培養(yǎng)和技術(shù)創(chuàng)新生態(tài)建設(shè)。