偶數(shù)科技：用湖倉一體實(shí)現(xiàn)基于業(yè)務(wù)本質(zhì)的監(jiān)管數(shù)據(jù)治理

2022年9月3日，由中國社會科學(xué)院社會科學(xué)文獻(xiàn)出版社、中國支付清算協(xié)會、北京金融科技產(chǎn)業(yè)聯(lián)盟指導(dǎo)，由北京區(qū)塊鏈技術(shù)應(yīng)用協(xié)會（BBAA）主辦的“Web 3.0發(fā)展趨勢高峰論壇暨2022元宇宙、區(qū)塊鏈、金融科技藍(lán)皮書發(fā)布會”在服貿(mào)會上成功舉行，偶數(shù)科技應(yīng)邀出席。

大會隆重發(fā)布《中國金融科技發(fā)展報告（2022）》、《中國區(qū)塊鏈發(fā)展報告（2022）》、《中國元宇宙發(fā)展報告（2022）》三部年度藍(lán)皮書。其中偶數(shù)科技參與了本年度的《中國金融科技發(fā)展報告（2022）》編寫。

會上，北京偶數(shù)科技有限公司產(chǎn)品負(fù)責(zé)人蔣秀峰就主題《用湖倉一體實(shí)現(xiàn)基于業(yè)務(wù)本質(zhì)的監(jiān)管數(shù)據(jù)治理》進(jìn)行了分享，以下為發(fā)言實(shí)錄：

嘉賓發(fā)言現(xiàn)場

非常高興有這個機(jī)會把偶數(shù)科技在數(shù)據(jù)治理領(lǐng)域的一些實(shí)踐和探索成果跟大家分享。

今天我分享的題目是《用湖倉一體實(shí)現(xiàn)基于業(yè)務(wù)本質(zhì)的監(jiān)管數(shù)據(jù)治理——如何做好數(shù)據(jù)資產(chǎn)化工作》。數(shù)據(jù)治理是我們完成數(shù)據(jù)資產(chǎn)轉(zhuǎn)化一個非常重要的手段，所以小標(biāo)題是數(shù)據(jù)資產(chǎn)化。

如何做好數(shù)據(jù)資產(chǎn)化相關(guān)工作？難道之前數(shù)據(jù)資產(chǎn)化（如數(shù)據(jù)治理）的工作我們做的不好嗎？過去10到15年我們的金融機(jī)構(gòu)其實(shí)做了大量的數(shù)據(jù)管控和數(shù)據(jù)治理相關(guān)的工作，取得了非常不錯的成績。我們可以回顧一下我們數(shù)據(jù)管理類系統(tǒng)經(jīng)過了十幾年建設(shè)之后的數(shù)據(jù)應(yīng)用的現(xiàn)狀。

幾個數(shù)字跟大家分享一下：

第一個，90%

可以說接近90%的金融機(jī)構(gòu)已經(jīng)完成了數(shù)據(jù)倉庫、大數(shù)據(jù)平臺、或是現(xiàn)在經(jīng)常提到的數(shù)據(jù)湖、湖倉一體等這類平臺的建設(shè)工作。

第二個，100%

已經(jīng)建設(shè)完數(shù)據(jù)平臺的企業(yè)幾乎100%同時做了數(shù)據(jù)管控和數(shù)據(jù)治理相關(guān)的工作。

第三個，80%

我們已經(jīng)完成了這些數(shù)據(jù)管控和數(shù)據(jù)治理的前提下，我們看到約80%的數(shù)據(jù)管控系統(tǒng)應(yīng)用情況并不樂觀，他的效費(fèi)比相對是比較低的。

第四個，100%

現(xiàn)在幾乎所有的數(shù)據(jù)治理的工作呈現(xiàn)出“運(yùn)動式”治理的特點(diǎn)，針對不同領(lǐng)域每個階段進(jìn)行數(shù)據(jù)治理工作。

第五個，60%

數(shù)據(jù)使用過程中接60%的工時和資源消耗在數(shù)據(jù)準(zhǔn)備的過程，并且更多的是通過外包的開發(fā)資源，外包的資源實(shí)際存在上面 第1、第2和第3的特點(diǎn)，一個外包資源在做數(shù)據(jù)準(zhǔn)備工作的第一年可能質(zhì)量、效果、效率都不是很能滿足要求，第二年各方面做的不錯，第三年可能就走了，這意味著一些重復(fù)性的工作，挑戰(zhàn)性不大。

第六個，80%

以監(jiān)管為例，我們發(fā)現(xiàn)在監(jiān)管報送的數(shù)據(jù)質(zhì)量方面， 80%會出現(xiàn)一些錯報、漏報，更多是因?yàn)閿?shù)據(jù)治理沒有很好的解決底層業(yè)務(wù)復(fù)雜性，稍后我會講為什么業(yè)務(wù)復(fù)雜性會影響到整個數(shù)據(jù)質(zhì)量。

數(shù)據(jù)資產(chǎn)化工作現(xiàn)狀

以上是當(dāng)前數(shù)據(jù)應(yīng)用過程中遇到的問題和特點(diǎn)，由這幾個特點(diǎn)可以得出：我們的數(shù)據(jù)治理工作過去10到15年雖然取得了非常不錯的成效，但是仍然有進(jìn)一步的提升空間，這個提升空間就是我們做好數(shù)據(jù)治理工作的目標(biāo)，我們把這個目標(biāo)再提煉一下，至少從偶數(shù)科技實(shí)踐和觀察角度應(yīng)該包括三個部分：

第一點(diǎn)，要形成一套基于業(yè)務(wù)視角的統(tǒng)一數(shù)據(jù)模型，這套數(shù)據(jù)模型是要解決底層業(yè)務(wù)邏輯復(fù)雜性的。

第二點(diǎn)，這套數(shù)據(jù)模型能夠切實(shí)解決數(shù)據(jù)應(yīng)用過程中數(shù)據(jù)看不懂、數(shù)據(jù)找不到、數(shù)據(jù)找不全，以及數(shù)據(jù)應(yīng)用過程中主要依靠個人經(jīng)驗(yàn)的問題。

第三點(diǎn)，能夠形成一套滿足不同用戶、不同應(yīng)用場景的數(shù)據(jù)架構(gòu)。

這是我們認(rèn)為做好數(shù)據(jù)資產(chǎn)化工作最基礎(chǔ)的三點(diǎn)。

為什么要基于業(yè)務(wù)本質(zhì)進(jìn)行數(shù)據(jù)治理工作？過往在數(shù)據(jù)治理過程中更多的是偏向于業(yè)務(wù)的數(shù)據(jù)質(zhì)量治理，以及業(yè)務(wù)數(shù)據(jù)的可讀性，主要集中在元數(shù)據(jù)缺失治理和準(zhǔn)確性治理，這種治理帶來的好處是在使用數(shù)據(jù)的時候可以用表的名稱來判斷表中業(yè)務(wù)數(shù)據(jù)的范圍以及業(yè)務(wù)含義，比如，我們經(jīng)?？吹降摹秾蛻粜畔⒈怼房梢耘袛嗥浒袑蛻舻男畔?，這種判斷大多數(shù)情況是有效的。

但是我們也發(fā)現(xiàn)，今年一季度銀保監(jiān)會發(fā)布了一個EAST處罰信息，1/5以上的金融機(jī)構(gòu)都被處罰，總共罰款8000多萬。處罰原因是數(shù)據(jù)的錯報、漏報、瞞報，為什么會發(fā)生錯報、漏報、瞞報？我們可以通過一個簡單的例子分析其原因。

假如要統(tǒng)計全機(jī)構(gòu)風(fēng)險數(shù)據(jù)資產(chǎn)，針對委托貸款風(fēng)險數(shù)據(jù)資產(chǎn)是否應(yīng)該納入進(jìn)來，這是非常細(xì)節(jié)的問題。委托貸款可以在現(xiàn)金管理項下，也可以在非現(xiàn)金管理項下。（1）從業(yè)務(wù)口徑角度，我們可能對“委托貸款風(fēng)險數(shù)據(jù)資產(chǎn)”的定義有理解偏差，進(jìn)而直接影響到監(jiān)管報送的數(shù)據(jù)質(zhì)量；（2）即便沒有理解偏差，我們在實(shí)際進(jìn)行“委托貸款風(fēng)險數(shù)據(jù)資產(chǎn)”數(shù)據(jù)提取整合過程中，該數(shù)據(jù)分散在不同的業(yè)務(wù)系統(tǒng)（如信貸、國際結(jié)等系統(tǒng)）仍然會對數(shù)據(jù)提取造成障礙，最終造成錯報和漏報。

因此，偶數(shù)科技通過實(shí)踐和分析發(fā)現(xiàn)，錯報、漏報背后的根本原因是金融機(jī)構(gòu)在數(shù)據(jù)處理過程中沒有基于業(yè)務(wù)本質(zhì)對底層邏輯化繁為簡。

除了基于業(yè)務(wù)本質(zhì)的數(shù)據(jù)治理，還有一個關(guān)鍵詞是監(jiān)管數(shù)據(jù)治理。前面我們分享提到，金融行業(yè)數(shù)據(jù)管理及應(yīng)用領(lǐng)域普遍外包的現(xiàn)象，少有企業(yè)有意愿、有能力投入大量的資源進(jìn)行相關(guān)工作。但監(jiān)管機(jī)構(gòu)例外，監(jiān)管機(jī)構(gòu)面向的是幾千家不同的金融機(jī)構(gòu)，無論從業(yè)務(wù)能力、技術(shù)能力以及職能目標(biāo)，都需要建立一個基于風(fēng)控視角的數(shù)據(jù)模型，這個數(shù)據(jù)模型現(xiàn)在以EAST最為典型（審計署也有一套統(tǒng)計數(shù)據(jù)模型起到了同樣的作用）。

實(shí)踐層面來看，EAST從1.0、2.0到5.0，一直是基于業(yè)務(wù)本質(zhì)的設(shè)計思路，我們是可以借鑒監(jiān)管研究成果進(jìn)行基于業(yè)務(wù)本質(zhì)的數(shù)據(jù)治理工作的。

我們前面說到的相關(guān)數(shù)據(jù)治理成果，形成風(fēng)控視角的統(tǒng)一數(shù)據(jù)模型，其應(yīng)用場景也是豐富的、有價值的。應(yīng)用場景最有價值之處在于如何構(gòu)建數(shù)據(jù)湖或者湖倉一體平臺。通過這張圖，我們看到的是技術(shù)發(fā)展的脈絡(luò)，通過技術(shù)發(fā)展這個脈絡(luò)，我們總結(jié)出數(shù)據(jù)管理平臺的現(xiàn)狀和不足。

監(jiān)管數(shù)據(jù)治理成果的應(yīng)用（湖倉一體）

第一個階段是早期傳統(tǒng)OLTP數(shù)據(jù)庫的出現(xiàn)。

從第二階段，大規(guī)模并行處理技術(shù)MPP出現(xiàn)的同時，數(shù)據(jù)管理平臺對應(yīng)的是我們數(shù)據(jù)倉庫建設(shè)的階段，大概是在2004年、2005。有些起步較早的國際廠商（如IBM和TD）既有底層的數(shù)據(jù)庫平臺，也有上層的數(shù)據(jù)倉庫建設(shè)方法和統(tǒng)一的數(shù)據(jù)模型，這套數(shù)據(jù)模型在市面上得到了金融客戶的認(rèn)可?，F(xiàn)在數(shù)據(jù)湖廠商的一個特點(diǎn)是只關(guān)注底層技術(shù)平臺，上層的平臺建設(shè)方法呈現(xiàn)出百家爭鳴的特點(diǎn)，并沒有形成一套行業(yè)標(biāo)準(zhǔn)和被認(rèn)可的數(shù)據(jù)模型，偶數(shù)也在思考和探索湖倉一體的數(shù)據(jù)模型到底應(yīng)該如何建設(shè)。

實(shí)際上，基于監(jiān)管數(shù)據(jù)治理后形成的面向風(fēng)險管控的統(tǒng)一數(shù)據(jù)模型是非常重要的，能夠指導(dǎo)我們建設(shè)湖倉一體平臺。高性能的底層基礎(chǔ)平臺加上上層的整合的數(shù)據(jù)模型，能夠更便捷的支撐我們的數(shù)據(jù)應(yīng)用，成為數(shù)據(jù)應(yīng)用的加速器。

當(dāng)然數(shù)據(jù)治理不僅是剛才說到的基于業(yè)務(wù)本質(zhì)做數(shù)據(jù)整合，還包括數(shù)據(jù)資產(chǎn)本身的盤點(diǎn)、傳統(tǒng)數(shù)據(jù)管控三大項、基于數(shù)據(jù)向上做的元數(shù)據(jù)治理、業(yè)務(wù)數(shù)據(jù)治理、數(shù)據(jù)畫像工作和數(shù)據(jù)資產(chǎn)運(yùn)營。傳統(tǒng)的數(shù)據(jù)管控或數(shù)據(jù)治理是為治而治，并沒有建立管控與應(yīng)用之間的抓手，抓手的問題其實(shí)要通過數(shù)據(jù)應(yīng)用相關(guān)策略和手段進(jìn)行。

以上是偶數(shù)科技數(shù)據(jù)治理的研究，目前偶數(shù)已經(jīng)有一些實(shí)踐和探索成果，并且我們研發(fā)了一套統(tǒng)一的監(jiān)管數(shù)據(jù)模型，我們把這套統(tǒng)一的監(jiān)管數(shù)據(jù)模型叫做偶數(shù)模式。偶數(shù)模式與進(jìn)階模式不同，在進(jìn)階模式，雖然很多銀行都有統(tǒng)一的監(jiān)管數(shù)據(jù)平臺或監(jiān)管報送系統(tǒng)，但是其底層架構(gòu)仍然是數(shù)據(jù)分體的，這也是為什么金融機(jī)構(gòu)即便正確理解了某一業(yè)務(wù)口徑（如委托貸款風(fēng)險數(shù)據(jù)資產(chǎn)），實(shí)操層面仍然不可避免受到技術(shù)架構(gòu)掣肘，造成疏漏。

偶數(shù)科技監(jiān)管數(shù)據(jù)治理研究成果

偶數(shù)不但已經(jīng)探索研發(fā)的監(jiān)管數(shù)據(jù)模型以外，還有一套完整的實(shí)施方法和流程，這套實(shí)施方法流程區(qū)別于傳統(tǒng)方法的，是引入了數(shù)據(jù)資產(chǎn)這個概念，結(jié)合前面提到的數(shù)據(jù)資產(chǎn)的運(yùn)營手段，偶數(shù)實(shí)施方法論完成底層業(yè)務(wù)復(fù)雜邏輯所要求的模型整合。

此外，我們還有之配套的工具類產(chǎn)品，包括基于數(shù)據(jù)開發(fā)和數(shù)據(jù)管理的組件Lava，向上數(shù)據(jù)應(yīng)用、數(shù)據(jù)分析的組件 Kepler和LittleBoy建模平臺。因此，偶數(shù)從工具層面、實(shí)施方法層面、模型層面都能更好的支撐金融機(jī)構(gòu)完成基于業(yè)務(wù)本質(zhì)的監(jiān)管數(shù)據(jù)治理，應(yīng)用到統(tǒng)一的報送平臺。當(dāng)然，這套方法也可以擴(kuò)展出如剛才提到的面向?qū)徲嫷慕y(tǒng)一數(shù)據(jù)治理和數(shù)據(jù)模型、面向營銷的統(tǒng)一數(shù)據(jù)治理和數(shù)據(jù)模型。

我的分享就到這里。謝謝大家！