當(dāng)前熱門：數(shù)禾科技X瓴羊：通過Dataphin進(jìn)行數(shù)據(jù)資產(chǎn)體系建設(shè)

在與瓴羊建立合作后，數(shù)禾科技通過Dataphin在數(shù)據(jù)架構(gòu)、數(shù)據(jù)建模、數(shù)據(jù)治理等維度，進(jìn)行了增強(qiáng)管控，同時(shí)結(jié)合行業(yè)最佳實(shí)踐，沉淀出了一整套獨(dú)具特色的數(shù)據(jù)資產(chǎn)建設(shè)方法論。在引入了新工具、新范式后，數(shù)禾科技的數(shù)據(jù)處理能力提升了8倍，做到了數(shù)據(jù)生產(chǎn)鏈路0事故。

普惠金融服務(wù)的落地，離不開數(shù)字技術(shù)的快速發(fā)展。

作為專注于普惠民生的金融科技公司，數(shù)禾科技多年來秉承著“讓人人享有金融服務(wù)最優(yōu)解”的使命，憑借先進(jìn)的大數(shù)據(jù)、人工智能等技術(shù)，將金融的普惠價(jià)值通過數(shù)字科技的力量，落地到更多的場(chǎng)景與客群當(dāng)中。

(資料圖)

以數(shù)禾科技旗下的還唄小微貸產(chǎn)品為例，這是一款為資金周轉(zhuǎn)困難的小微企業(yè)主提供的專屬信貸產(chǎn)品，讓小微業(yè)主借的省心，借的輕松，借的方便。目前還唄小微貸面向40萬小微企業(yè)主提供金融服務(wù)近140億元，實(shí)現(xiàn)這樣一個(gè)業(yè)務(wù)服務(wù)規(guī)模，背后需要一套完善的智能化金融服務(wù)平臺(tái)來做支撐。

圖1. 數(shù)禾科技主題域模型

“雖然各家的業(yè)務(wù)不一樣，但需要的數(shù)字化能力可以是一樣的。”

當(dāng)被問到作為數(shù)禾科技的CDO，如何來規(guī)劃數(shù)禾科技的數(shù)字化能力建設(shè)方案，王冠軍的回應(yīng)非常簡(jiǎn)單直接，那就是「向最優(yōu)秀者看齊」。無論是各行各業(yè)的最佳實(shí)踐，還是在數(shù)據(jù)處理、分析領(lǐng)域有著搶眼表現(xiàn)的阿里，都是數(shù)禾科技對(duì)標(biāo)的對(duì)象。

“Dataphin代表了阿里先進(jìn)的數(shù)據(jù)生產(chǎn)力，我們懷著開放的心態(tài)，把先進(jìn)的工具引入進(jìn)來，并踐行方法論和最佳實(shí)踐，數(shù)禾要站在巨人的肩膀上，對(duì)自身業(yè)務(wù)場(chǎng)景進(jìn)行全方位賦能。”

數(shù)字化能力建設(shè)離不開頂層設(shè)計(jì)，數(shù)禾科技逐漸發(fā)展沉淀出了「一環(huán)四化」規(guī)劃藍(lán)圖，即業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)資產(chǎn)化、資產(chǎn)服務(wù)化、服務(wù)價(jià)值化，以及貫穿事前、事中、事后的數(shù)據(jù)治理閉環(huán)。

圖2. 數(shù)字化頂層規(guī)劃

曾經(jīng)，數(shù)禾科技也因缺乏科學(xué)的數(shù)據(jù)體系建設(shè)和治理的指導(dǎo)，面臨了“數(shù)據(jù)湖”變成“數(shù)據(jù)沼澤”的尷尬處境。在與瓴羊建立合作后，數(shù)禾科技通過Dataphin在數(shù)據(jù)架構(gòu)、數(shù)據(jù)建模、數(shù)據(jù)治理等維度，進(jìn)行了增強(qiáng)管控，內(nèi)外兼修，積極擁抱阿里生態(tài)，迅速拉齊到業(yè)內(nèi)領(lǐng)先水平。

與此同時(shí)，基于瓴羊過去在阿里內(nèi)部實(shí)踐沉淀下的方法論，數(shù)禾科技結(jié)合行業(yè)最佳實(shí)踐，根據(jù)自身業(yè)務(wù)場(chǎng)景進(jìn)行二次創(chuàng)新，沉淀出了一整套獨(dú)具特色的數(shù)據(jù)資產(chǎn)建設(shè)方法論，下面通過三個(gè)實(shí)例進(jìn)行說明。

一、設(shè)計(jì)DBus機(jī)制，讓數(shù)據(jù)有序流轉(zhuǎn)

「數(shù)據(jù)資產(chǎn)化」是數(shù)禾科技四化環(huán)節(jié)的重中之重，即通過對(duì)業(yè)務(wù)過程進(jìn)行建模、提煉指標(biāo)、萃取標(biāo)簽、特征工程等等，進(jìn)行數(shù)據(jù)資產(chǎn)的沉淀。

其中，以數(shù)據(jù)團(tuán)隊(duì)為主導(dǎo)構(gòu)建的相對(duì)穩(wěn)定和通用的數(shù)據(jù)資產(chǎn)體系，被數(shù)禾科技定義為「官方資產(chǎn)」，此類資產(chǎn)可以解決企業(yè)60%-70%的共性問題，剩余與業(yè)務(wù)場(chǎng)景強(qiáng)相關(guān)的個(gè)性化需求，數(shù)據(jù)團(tuán)隊(duì)會(huì)通過Dataphin開放數(shù)據(jù)能力給到業(yè)務(wù)團(tuán)隊(duì)，如私有化數(shù)據(jù)集市、沙箱體系等，讓業(yè)務(wù)開放創(chuàng)新地將數(shù)據(jù)資產(chǎn)用起來。

圖3. 數(shù)據(jù)中臺(tái)項(xiàng)目啟動(dòng)至今使用增長(zhǎng)情況

目前數(shù)禾科技全公司有近一半的同事，都在自主使用Dataphin作為數(shù)字決策輔助工具。但業(yè)務(wù)團(tuán)隊(duì)所生產(chǎn)的「私有化數(shù)據(jù)」都需要按照一定的標(biāo)準(zhǔn)規(guī)則被強(qiáng)管控起來，不可以無序流轉(zhuǎn)。

因?yàn)樵凇笖?shù)據(jù)資產(chǎn)化」階段，想要數(shù)據(jù)資產(chǎn)被最大化地有序利用，需要企業(yè)清晰掌握數(shù)據(jù)使用的鏈路，找到那批可持續(xù)復(fù)用的數(shù)據(jù)資產(chǎn)進(jìn)行下沉，逐步將數(shù)據(jù)有序分批地沉淀到「官方資產(chǎn)」，而過于個(gè)性化的數(shù)據(jù)資產(chǎn)，則留在項(xiàng)目空間里由業(yè)務(wù)方自行處理。

圖4. DBus機(jī)制

通過Dataphin提供的端到端數(shù)據(jù)血緣探查和管理能力，數(shù)禾科技形成了DBus機(jī)制，來負(fù)責(zé)私有化數(shù)據(jù)流轉(zhuǎn)的標(biāo)記、監(jiān)控和管理，以此保障數(shù)據(jù)資產(chǎn)化能夠高效有序開展。

數(shù)禾科技數(shù)據(jù)團(tuán)隊(duì)成員表示，過去，由于數(shù)據(jù)的生產(chǎn)流轉(zhuǎn)缺少工具進(jìn)行管理和監(jiān)控，導(dǎo)致數(shù)據(jù)的關(guān)系網(wǎng)絡(luò)極其復(fù)雜，調(diào)用鏈路被各種上下游牽制，往往是牽一發(fā)而動(dòng)全身，有些節(jié)點(diǎn)想做下線處理十分棘手。

在數(shù)據(jù)資產(chǎn)建設(shè)過程中形成的DBus機(jī)制，是通過標(biāo)準(zhǔn)和架構(gòu)設(shè)計(jì)，讓數(shù)據(jù)的流轉(zhuǎn)能夠通過一個(gè)數(shù)據(jù)共享總線來統(tǒng)一管理。比如私有數(shù)據(jù)集需要符合數(shù)據(jù)治理的規(guī)范和標(biāo)準(zhǔn)，才可以進(jìn)入到DBus數(shù)據(jù)總線進(jìn)行共享流通。數(shù)據(jù)團(tuán)隊(duì)會(huì)監(jiān)控DBus總線上的數(shù)據(jù)資產(chǎn)，通過Dataphin將這批資產(chǎn)打標(biāo)，持續(xù)跟蹤資產(chǎn)流轉(zhuǎn)情況。

如果某批資產(chǎn)被跨團(tuán)隊(duì)高頻調(diào)用，就會(huì)由數(shù)據(jù)團(tuán)隊(duì)下沉到公共數(shù)據(jù)體系，發(fā)布到數(shù)據(jù)目錄上，個(gè)性化的數(shù)據(jù)資產(chǎn)就此有了「身份」，并入「官方資產(chǎn)」，以此保障共享型的數(shù)據(jù)資產(chǎn)能夠被充分利用起來。

王冠軍表示，“之所以會(huì)在數(shù)禾內(nèi)部誕生這類數(shù)據(jù)流轉(zhuǎn)機(jī)制，正是因?yàn)槠髽I(yè)必然需要在中臺(tái)的穩(wěn)定性，和業(yè)務(wù)的敏捷性之間做出平衡。”Dataphin可以通過項(xiàng)目空間的隔離，讓業(yè)務(wù)側(cè)享受到充分的用數(shù)自由，同時(shí)讓具備高共享價(jià)值的私有化數(shù)據(jù)，及時(shí)下沉到「官方資產(chǎn)」，最大化釋放數(shù)據(jù)價(jià)值。

二、獨(dú)創(chuàng)DCube方法論，清晰管理個(gè)性化指標(biāo)

“數(shù)據(jù)資產(chǎn)在數(shù)禾內(nèi)部是層層流動(dòng)的，并且這種流動(dòng)是有序的。通過Dataphin基于OneData方法論設(shè)計(jì)的標(biāo)準(zhǔn)研發(fā)流程，數(shù)據(jù)從原子指標(biāo)經(jīng)組合公式生成派生指標(biāo)，在這個(gè)過程中，我們會(huì)發(fā)現(xiàn)數(shù)禾還有很多特有的指標(biāo)需求。“

王冠軍說話語速偏快，能夠根據(jù)問題迅速組織出清晰、全面的表達(dá)內(nèi)容，這可能和他長(zhǎng)期保持以不同組織視角來思考問題的習(xí)慣有關(guān)。

“我們數(shù)據(jù)團(tuán)隊(duì)是以客戶為中心的，這個(gè)客戶指代的是數(shù)禾內(nèi)部的業(yè)務(wù)團(tuán)隊(duì)，所以，我們需要通過特定的方法，讓他們能夠更便利地使用個(gè)性化指標(biāo)，不要重復(fù)建設(shè)公共指標(biāo)。”

數(shù)禾科技的數(shù)據(jù)團(tuán)隊(duì)借助Dataphin，用可視化拖拉拽方式快速生成一個(gè)公共指標(biāo)層，目的是消除二義性，讓指標(biāo)的生成更加標(biāo)準(zhǔn)和規(guī)范，同時(shí)增加了一個(gè)擴(kuò)展層，也就是DCube，生成面向業(yè)務(wù)場(chǎng)景的個(gè)性化指標(biāo)，DCube層更便于業(yè)務(wù)理解，讓他們能快捷地使用起來。

圖5. “統(tǒng)一指標(biāo)+”方案：基于Dataphin統(tǒng)一指標(biāo)工具的增強(qiáng)版

通過DCube層的規(guī)范設(shè)計(jì)，數(shù)禾科技的數(shù)據(jù)團(tuán)隊(duì)在數(shù)據(jù)資產(chǎn)化環(huán)節(jié)，有效平衡了通用性和靈活性的資產(chǎn)建設(shè)需求，并在后續(xù)的「資產(chǎn)服務(wù)化」環(huán)節(jié)，通過API接口調(diào)用、文件服務(wù)、消息隊(duì)列調(diào)用這3種標(biāo)準(zhǔn)服務(wù)的方式，使得數(shù)據(jù)資產(chǎn)可以快速地被對(duì)接到BI，以及其他應(yīng)用系統(tǒng)，進(jìn)一步將「服務(wù)價(jià)值化」。

在數(shù)據(jù)中臺(tái)上，數(shù)據(jù)團(tuán)隊(duì)逐漸形成了BI分析產(chǎn)品、CDP產(chǎn)品、全視角用戶洞察產(chǎn)品等，不僅提升了數(shù)據(jù)團(tuán)隊(duì)的交付效率和質(zhì)量，也真正幫助業(yè)務(wù)團(tuán)隊(duì)更方便地使用數(shù)據(jù)，在營(yíng)銷、風(fēng)控等場(chǎng)景準(zhǔn)確識(shí)別用戶需求，高效開展普惠金融服務(wù)。

三、開發(fā)治理一體化，讓數(shù)據(jù)治理從Day1做起

提到數(shù)據(jù)治理工作的啟動(dòng)，數(shù)禾科技的數(shù)據(jù)團(tuán)隊(duì)成員是有很多苦水要吐的。

“曾經(jīng)的數(shù)據(jù)湖架構(gòu)，同一個(gè)實(shí)體和字段有不同版本，數(shù)據(jù)關(guān)系存在大量的冗余和不對(duì)稱，在遷移任務(wù)到Dataphin的過程中，扒邏輯就扒了12層，如果開發(fā)Owner離職，這個(gè)邏輯真的沒有人可以理清楚了。”

通過Dataphin落實(shí)了DBus機(jī)制后，邏輯變得扁平化，引用關(guān)系簡(jiǎn)單清晰。我們使用Dataphin構(gòu)建清晰的總線矩陣，劃分并定義數(shù)據(jù)域、業(yè)務(wù)過程、維度、原子指標(biāo)、統(tǒng)計(jì)周期和派生指標(biāo)，消除了指標(biāo)的二義性。這就使得數(shù)據(jù)資產(chǎn)的開發(fā)、管理、運(yùn)營(yíng)都變得更加清晰明確。

其次是「生產(chǎn)隔離」設(shè)置。以前做數(shù)據(jù)湖，不太關(guān)注生產(chǎn)環(huán)境和分析探索環(huán)境的管理，大家都各自在里頭做數(shù)據(jù)分析，生產(chǎn)調(diào)度作業(yè)很多都是探索實(shí)驗(yàn)任務(wù)，生命周期很短，邏輯變更頻繁，數(shù)據(jù)作業(yè)只上不下，結(jié)果就造成生產(chǎn)環(huán)境越來越混沌。

“現(xiàn)在，我們通過Dataphin嚴(yán)格區(qū)分了數(shù)據(jù)探索和生產(chǎn)環(huán)境：探索環(huán)境可以非常靈活，我們給業(yè)務(wù)同事提供了沙箱環(huán)境，他們可以自由發(fā)揮創(chuàng)新精神，不使用就全部抹掉；而在生產(chǎn)環(huán)境，我們需要保障數(shù)據(jù)質(zhì)量、時(shí)效性和穩(wěn)定性，因?yàn)檫@部分環(huán)境中的數(shù)據(jù)，需要支撐業(yè)績(jī)報(bào)表、數(shù)據(jù)決策、交易增長(zhǎng)等一系列與企業(yè)經(jīng)營(yíng)密切關(guān)聯(lián)的場(chǎng)景。”

在企業(yè)中，數(shù)據(jù)治理往往不是發(fā)起一個(gè)獨(dú)立的運(yùn)作項(xiàng)目那么簡(jiǎn)單，它被深深地嵌入到了企業(yè)經(jīng)營(yíng)的每一個(gè)細(xì)節(jié)當(dāng)中。王冠軍認(rèn)為數(shù)據(jù)治理工作旨在不斷調(diào)節(jié)降低大數(shù)據(jù)系統(tǒng)熵值，從而使得數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、資源成本都得到有效的管控，持續(xù)為業(yè)務(wù)價(jià)值創(chuàng)造提供可信的數(shù)據(jù)資產(chǎn)。

“我不覺得成立一個(gè)數(shù)據(jù)治理組織是最關(guān)鍵的，我們數(shù)據(jù)治理的機(jī)制和能力，都是通過不斷解決問題進(jìn)化出來的。”

事后出現(xiàn)問題，比如SLA數(shù)據(jù)延遲，到了原定的時(shí)間沒有出來，就先建工單分配到數(shù)據(jù)工程師解決問題，然后啟動(dòng)復(fù)盤改進(jìn)，往前推，到事中的告警觸發(fā)，事前的檢查規(guī)范和制度是否有被落實(shí)等等。“一個(gè)故障越是在前期被防控，對(duì)我們來說成本越低，我們的數(shù)據(jù)治理工作就是這樣一步一步通過Dataphin的工具能力被前置到Day1。”說到數(shù)據(jù)團(tuán)隊(duì)所遇到的各種問題，王冠軍表現(xiàn)出來的是一種非常積極的處理態(tài)度，他把這些都視為團(tuán)隊(duì)治理能力進(jìn)化的推力，而非阻力。

自從在數(shù)據(jù)架構(gòu)、數(shù)據(jù)建模、數(shù)據(jù)治理等環(huán)節(jié)引入了新工具、新范式，數(shù)禾科技的數(shù)據(jù)處理能力提升了8倍，做到了數(shù)據(jù)生產(chǎn)鏈路0事故，王冠軍微笑著說這要感謝Dataphin的助力，但這樣一支勤于思考，精于做事的數(shù)據(jù)團(tuán)隊(duì)，發(fā)展得越來越好也是必然。