近日，由中國(guó)軟件行業(yè)協(xié)會(huì)主辦的“中國(guó)程序員節(jié)”在北京、深圳、寧波多地同時(shí)召開，其中數(shù)據(jù)庫(kù)技術(shù)高峰論壇在北京舉辦，偶數(shù)科技亮相本次論壇并分享了題為《大模型、實(shí)時(shí)需求推動(dòng)湖倉(cāng)平臺(tái)走向開放》的主題演講。

國(guó)際局勢(shì)復(fù)雜、科技競(jìng)爭(zhēng)加速，數(shù)據(jù)庫(kù)作為科技發(fā)展的根技術(shù)之一，在信息管理、決策支持、數(shù)據(jù)挖掘等方面的重要性日益凸顯。為了進(jìn)一步推動(dòng)國(guó)產(chǎn)數(shù)據(jù)庫(kù)技術(shù)的發(fā)展和應(yīng)用，本次論壇匯聚了業(yè)界專家、學(xué)者，圍繞多模態(tài)、分布式、國(guó)產(chǎn)遷移、湖倉(cāng)一體、開源社區(qū)等數(shù)據(jù)庫(kù)技術(shù)話題開展交流與探討，增進(jìn)廣大程序員對(duì)前沿新技術(shù)及應(yīng)用的深入了解，拓展知識(shí)深度。

當(dāng)下，AI和實(shí)時(shí)場(chǎng)景的需求不斷擴(kuò)展，AI+實(shí)時(shí)儼然成為了企業(yè)數(shù)據(jù)平臺(tái)無(wú)法避免的技術(shù)焦點(diǎn)。偶數(shù)市場(chǎng)總監(jiān)楊哲就如何讓企業(yè)如何通過(guò)開放的數(shù)據(jù)平臺(tái)擁抱AI+實(shí)時(shí)的雙重能力，進(jìn)行了分享。

偶數(shù)給出的破局之道首先是在數(shù)據(jù)的存儲(chǔ)方面采用開放格式的一份數(shù)據(jù)（如Parquet、ORC、Hudi等）。各個(gè)計(jì)算引擎都使用開放的數(shù)據(jù)格式，數(shù)據(jù)以開放文件格式被寫入數(shù)據(jù)平臺(tái)，之后就能被多個(gè)引擎多次直接讀取和使用。

有了存儲(chǔ)的開放性，在計(jì)算引擎方面，可以盡量?jī)?yōu)化和減少計(jì)算引擎的數(shù)量，并針對(duì)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和流式數(shù)據(jù)，選用各具優(yōu)勢(shì)的計(jì)算引擎：

針對(duì)流數(shù)據(jù)的計(jì)算，采用常見的Flink；

針對(duì)非結(jié)構(gòu)化數(shù)據(jù)和機(jī)器學(xué)習(xí)，可以采用Spark；

針對(duì)結(jié)構(gòu)化數(shù)據(jù)，需要兼容開放數(shù)據(jù)格式，兼顧實(shí)時(shí)查詢、離線分析、高并發(fā)和高可用的分析引擎，比如偶數(shù)的OushuDB。

至此，開放格式，一份數(shù)據(jù)，多個(gè)引擎的架構(gòu)初步形成，這樣的“一數(shù)多擎”架構(gòu)形成了可以破局當(dāng)前企業(yè)數(shù)據(jù)困境的方案——實(shí)時(shí)湖倉(cāng)（Realtime Lakehouse）?！耙粩?shù)多擎”是偶數(shù)在多個(gè)行業(yè)的湖倉(cāng)一體項(xiàng)目落地中不斷迭代的最佳實(shí)踐，企業(yè)在選擇多個(gè)引擎時(shí)一定需要基于“化繁為簡(jiǎn)”和“揚(yáng)長(zhǎng)避短”原則。