案例名稱

數(shù)據(jù)開發(fā)平臺數(shù)據(jù)治理項目

(相關資料圖)

案例簡介

數(shù)據(jù)開發(fā)平臺從業(yè)務數(shù)據(jù)使用角度出發(fā)，在寧波銀行行內(nèi)獨立部署，著力于數(shù)據(jù)治理工作。

項目在數(shù)據(jù)治理功能上有三個方向的創(chuàng)新：一是實現(xiàn)數(shù)據(jù)質(zhì)量的自動化巡檢，提升數(shù)據(jù)價值；二是實現(xiàn)數(shù)據(jù)血緣的可視化，直觀地看到數(shù)據(jù)從哪兒來往哪兒去；三是實現(xiàn)權限隔離及脫敏基礎上的數(shù)據(jù)共享，保障數(shù)據(jù)安全。數(shù)據(jù)治理使得寧波銀行的數(shù)據(jù)資產(chǎn)更加高質(zhì)量、優(yōu)架構，達到數(shù)據(jù)的高效使用。

該項目創(chuàng)新點在于將三大數(shù)據(jù)治理功能，從原先的復雜數(shù)據(jù)探查和加工工作打包成可一鍵生成的插件，在前端即可滿足業(yè)務人員的日常使用。

創(chuàng)新技術/模式應用

一、數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量關系到數(shù)據(jù)應用的效果，能夠實現(xiàn)高效的數(shù)據(jù)質(zhì)量管理是數(shù)據(jù)治理的重要部分。數(shù)據(jù)開發(fā)平臺自建數(shù)據(jù)質(zhì)量功能，支持針對平臺內(nèi)數(shù)據(jù)設置質(zhì)量監(jiān)測規(guī)則、質(zhì)量警戒線，同時支持手動/定時等多種調(diào)度方式，滿足基礎的數(shù)據(jù)質(zhì)量自動化檢測。

一是質(zhì)量規(guī)則設置，為了降低對業(yè)務使用者的代碼要求，簡單的質(zhì)量規(guī)則可以通過選擇類型后，輸入閾值的方式實現(xiàn)，例如表粒度的行數(shù)檢查、字段粒度的唯一值檢查。此外也支持復雜邏輯的自定義檢查。

二是質(zhì)量警戒線設置，為了方便進行報警后處置，可以選擇“通過”、“告警”、“不通過”等多種警戒線類型，同時也支持短信、郵件等多渠道的推送。對于觸及警戒線的規(guī)則，可以一鍵查看報告明細，快速定位問題數(shù)據(jù)。

三是調(diào)度類型設置，考慮到平臺資源配置和質(zhì)量監(jiān)測實際情況，平臺設計了單次、按周期、伴隨數(shù)據(jù)更新等多種觸發(fā)模式，更加符合實際使用場景。

此外，數(shù)據(jù)質(zhì)量模塊還配備了可視化看板，方便日常監(jiān)測。

二、數(shù)據(jù)血緣

數(shù)據(jù)血緣可以體現(xiàn)數(shù)據(jù)的生命周期，厘清數(shù)據(jù)之間的關系與脈絡，協(xié)助規(guī)范數(shù)據(jù)的設計。區(qū)別于傳統(tǒng)的通過閱讀代碼定位上游數(shù)據(jù)，數(shù)據(jù)開發(fā)平臺數(shù)據(jù)血緣模塊將血緣分析與影響分析可視化，不僅可以追溯數(shù)據(jù)血緣，查清數(shù)據(jù)處理過程，還可以尋找依賴該數(shù)據(jù)的下游，評估數(shù)據(jù)更新時的影響范圍。

除了數(shù)據(jù)表之間的血緣，該模塊也能夠支持展示表與bi可視化終端（儀表板/大屏/移動端等）的血緣關系，進一步擴大了功能范圍。

三、數(shù)據(jù)安全

數(shù)據(jù)安全是在數(shù)據(jù)集成及共享的過程中需要格外注意的事項，在總分聯(lián)動、獲取更多數(shù)據(jù)的同時，也需要注意各機構對于數(shù)據(jù)的訪問范圍。數(shù)據(jù)安全模塊主要包括權限隔離及數(shù)據(jù)脫敏兩部分。

一是權限隔離設置。區(qū)別于拆分數(shù)據(jù)定向發(fā)放的舊模式，數(shù)據(jù)開發(fā)平臺支持對同一張數(shù)據(jù)表進行權限隔離，分為行列兩個級別。完成設置后，不同用戶可見范圍不同，在做到一人一表個性化訪問的同時，并沒有增加數(shù)據(jù)加工者的工作量。

二是數(shù)據(jù)脫敏設置，即對敏感信息通過脫敏規(guī)則進行數(shù)據(jù)的變形，實現(xiàn)對隱私數(shù)據(jù)的保護。針對身份證號等信息，數(shù)據(jù)脫敏可以使數(shù)據(jù)信息保持在可控內(nèi)部，提高數(shù)據(jù)應用的合規(guī)性。區(qū)別于傳統(tǒng)的底層數(shù)據(jù)庫脫敏方式，數(shù)據(jù)開發(fā)平臺可以做到更快速地響應脫敏需求，同時也有更高的兼容性，脫敏后的數(shù)據(jù)依然可以用于分析和測試。

此外，權限隔離與數(shù)據(jù)脫敏都具備模板方式，支持在不同數(shù)據(jù)上復用設置，提高數(shù)據(jù)應用的效率。

項目效果評估

數(shù)據(jù)開發(fā)平臺數(shù)據(jù)治理項目弱化對代碼的要求，更加方便業(yè)務人員的日常使用，同時也有效地縮短了各環(huán)節(jié)所需時間，提升工作效率。

1、自動化數(shù)據(jù)質(zhì)量巡檢，提高運維效率

近一年以來，數(shù)據(jù)開發(fā)平臺已新增2000余個數(shù)據(jù)表，針對常見數(shù)據(jù)質(zhì)量問題定制數(shù)據(jù)質(zhì)量規(guī)則，實現(xiàn)了對關鍵表的日常巡檢，通過智能化的方式對新增及每日跑批數(shù)據(jù)做出及時的診斷，批量化提高準確性，同時也解放了大量數(shù)據(jù)運維人力，降低人力成本。

2、改變傳統(tǒng)模式，實現(xiàn)數(shù)據(jù)找人

相比較以往通過翻看代碼定位上下游數(shù)據(jù)的“人找數(shù)據(jù)”方式，依靠數(shù)據(jù)血緣功能，能夠清晰地展示數(shù)據(jù)的層級架構，實現(xiàn)數(shù)據(jù)追蹤，快速鎖定目標數(shù)據(jù)，展開全面的數(shù)據(jù)治理工作。

此外，數(shù)據(jù)血緣功能還能對數(shù)據(jù)使用情況進行統(tǒng)計，展示“熱點數(shù)據(jù)”，為數(shù)據(jù)的進一步使用提供參考及指引，做到“數(shù)據(jù)找人”。

3、多維度的數(shù)據(jù)共享

數(shù)據(jù)開發(fā)平臺建設以來，接入行內(nèi)各類數(shù)據(jù)庫的數(shù)據(jù)，進行定向化的權限限制和數(shù)據(jù)脫敏后，向不同機構、不同崗位的約900名行員開放，做到了“一人一表”，擴大數(shù)據(jù)共享范圍的同時兼顧了數(shù)據(jù)安全規(guī)范。

項目牽頭人

朱劍俊 寧波銀行總行風險管理部副總經(jīng)理

項目團隊成員

周堅、韋達、吳旻龍、徐曉寧、王鈞、顏偉斌、龔家穎、章莎莎、尤晨、林方鵬、李施雨、呂笛、鄭超男、錢威、林鑫、李欣陽

關鍵詞：