6月13日消息，騰訊云數(shù)據(jù)庫(kù)TDSQL和中國(guó)人民大學(xué)合作的2篇論文成功入選行業(yè)頂級(jí)會(huì)議SIGMOD，被SIGMOD 2024 Research Full Paper（研究類長(zhǎng)文）收錄。

SIGMOD（Special Interest Group on Management Of Data）作為數(shù)據(jù)庫(kù)領(lǐng)域的“風(fēng)向標(biāo)”，擁有40余年發(fā)展歷史，每年為數(shù)據(jù)庫(kù)領(lǐng)域提供大量高質(zhì)量的研究論文和研究成果，具有重要的學(xué)術(shù)價(jià)值和行業(yè)引導(dǎo)意義，與VLDB、ICDE并稱數(shù)據(jù)庫(kù)三大頂級(jí)會(huì)議。

本次收錄的研究成果中，同態(tài)壓縮理論和SALI學(xué)習(xí)索引框架均屬于業(yè)界首次提出，表明騰訊云數(shù)據(jù)庫(kù)在存儲(chǔ)、壓縮以及學(xué)習(xí)索引等方面的前沿創(chuàng)新獲得國(guó)際權(quán)威認(rèn)可。

面對(duì)現(xiàn)代社會(huì)數(shù)據(jù)量的爆發(fā)式增長(zhǎng)，行業(yè)普遍使用數(shù)據(jù)壓縮來(lái)減少存儲(chǔ)空間和提升傳輸效率。

但目前，多數(shù)壓縮方案專注于只讀文本處理任務(wù)，涉及文本修改操作必須將文本進(jìn)行解壓后再執(zhí)行，這會(huì)對(duì)數(shù)據(jù)處理的性能和存儲(chǔ)空間帶來(lái)負(fù)面影響。

在騰訊云和人大合作入選SIGMOD會(huì)議的論文《Homomorphic Compression: Making Text Processing on Compression Unlimited》中，研究團(tuán)隊(duì)創(chuàng)新性提出了同態(tài)壓縮理論，并在此基礎(chǔ)上開(kāi)發(fā)了高效文本數(shù)據(jù)管理引擎HOCO。HOCO引擎結(jié)合了三種代表性壓縮方案，通過(guò)數(shù)據(jù)結(jié)構(gòu)和算法設(shè)計(jì)實(shí)現(xiàn)對(duì)不同數(shù)據(jù)集語(yǔ)法規(guī)則的解析，實(shí)現(xiàn)了在壓縮文本上直接進(jìn)行多種處理任務(wù)。

實(shí)驗(yàn)表明，在不影響壓縮效果的情況下， HOCO可以實(shí)現(xiàn)9.18倍的吞吐量提升，文本分析任務(wù)的延遲縮短7.16倍。

另一篇入選論文《SALI: A Scalable Adaptive Learned Index based on Probability Models》提出了基于概率模型的可擴(kuò)展自適應(yīng)學(xué)習(xí)索引框架。

在數(shù)據(jù)庫(kù)中，索引是提高數(shù)據(jù)庫(kù)查詢性能的重要方式。為了提高索引的性能和效率，業(yè)內(nèi)引進(jìn)了學(xué)習(xí)索引，通過(guò)學(xué)習(xí)模型來(lái)預(yù)測(cè)數(shù)據(jù)存儲(chǔ)位置，進(jìn)一步提高查找效率。但傳統(tǒng)學(xué)習(xí)索引存在技術(shù)局限，一旦數(shù)據(jù)集發(fā)生頻繁查詢更新等工作負(fù)載變化，學(xué)習(xí)索引也會(huì)頻繁調(diào)整，多線程高并發(fā)情況下會(huì)面臨阻塞。SALI 通過(guò)概率模型感知工作負(fù)載的變化，使學(xué)習(xí)索引可動(dòng)態(tài)“進(jìn)化”局部結(jié)構(gòu)以適應(yīng)新的負(fù)載。此方法在盡可能減少結(jié)構(gòu)變化對(duì)性能的影響的同時(shí)，大幅降低線程間阻塞問(wèn)題，從而實(shí)現(xiàn)高可擴(kuò)展性、提高效率并增強(qiáng)學(xué)習(xí)索引的魯棒性。

實(shí)驗(yàn)數(shù)據(jù)顯示，SALI在64個(gè)線程下提高了2.04倍的插入吞吐量。

作為國(guó)產(chǎn)數(shù)據(jù)庫(kù)行業(yè)的開(kāi)拓者，騰訊云在數(shù)據(jù)庫(kù)領(lǐng)域已深耕十余年，服務(wù)超過(guò)50萬(wàn)客戶。而中國(guó)人民大學(xué)作為數(shù)據(jù)庫(kù)研究的搖籃，為數(shù)據(jù)庫(kù)技術(shù)在中國(guó)的持續(xù)發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)。2020年，騰訊與中國(guó)人民大學(xué)共同建立中國(guó)人民大學(xué)-騰訊協(xié)同創(chuàng)新實(shí)驗(yàn)室，聚焦數(shù)據(jù)庫(kù)前沿技術(shù)探索和突破。據(jù)悉，合作至今，雙方在科研方面研發(fā)超過(guò)10項(xiàng)前沿技術(shù)原型系統(tǒng)、申請(qǐng)數(shù)十項(xiàng)專利、多篇論文入選SIGMOD、VLDB、ICDE、TKDE等國(guó)際頂會(huì)頂刊。未來(lái)，騰訊將持續(xù)發(fā)揮其多年的技術(shù)研發(fā)創(chuàng)新成果和產(chǎn)業(yè)應(yīng)用經(jīng)驗(yàn)，聯(lián)合人大一起推動(dòng)國(guó)產(chǎn)數(shù)據(jù)庫(kù)的學(xué)術(shù)進(jìn)步和技術(shù)成果轉(zhuǎn)化。