基于數(shù)據(jù)治理之自動稽核修復(fù)方案設(shè)計(jì)

付克 于慶淼

隨著中臺建設(shè)的不斷完善，全國政企用戶資料的不斷上收，實(shí)行數(shù)據(jù)一點(diǎn)管理、一點(diǎn)看全，在享受數(shù)據(jù)大集中帶來的各種利好之外，也不可避免地帶來了各個(gè)省分BSS系統(tǒng)的個(gè)性化數(shù)據(jù)以及存量的異常數(shù)據(jù)，在享受全國數(shù)據(jù)集中納管帶來的紅利同時(shí)，也暴露出一些問題。如何治理31省個(gè)性化數(shù)據(jù)及存量的異常數(shù)據(jù)成了必須要關(guān)注的課題。

背景

隨著政企用戶一點(diǎn)管理的不斷深入，我們在享受收據(jù)上收帶來的各種好處之余，也帶來了異常數(shù)據(jù)對系統(tǒng)健壯性、穩(wěn)定性、可用性、時(shí)應(yīng)性的考驗(yàn)，所以需要對省分系統(tǒng)存量的異常數(shù)據(jù)進(jìn)行修復(fù)，但是各省之間的個(gè)性化配置給數(shù)據(jù)修復(fù)帶來了極大挑戰(zhàn)。由于每款產(chǎn)品在各省之間的配置均不相同，且產(chǎn)商品中心僅僅是一個(gè)基礎(chǔ)配置，各個(gè)觸點(diǎn)之間對數(shù)據(jù)的要求不相同。如此繁瑣的規(guī)則在不統(tǒng)一的情況下如何能將數(shù)據(jù)的問題發(fā)掘出來，并提高修復(fù)效率，是需要面臨的一個(gè)瓶頸和困難。。

設(shè)計(jì)

實(shí)現(xiàn)思路

本方案主要介紹根據(jù)商品配置，驗(yàn)證用戶健康度并自動生成修復(fù)腳本，通過修復(fù)腳本極大減輕省分人工運(yùn)維工作，降低運(yùn)營門檻。

詳細(xì)設(shè)計(jì)

實(shí)時(shí)生成稽核模型，通過接口從受理觸點(diǎn)（新架構(gòu)）、產(chǎn)商品中心、自有規(guī)則配置中獲取規(guī)則，并對規(guī)則進(jìn)行加工形成稽核模型。

通過稽核模型對用戶數(shù)據(jù)進(jìn)行稽核，通過分省、分產(chǎn)品進(jìn)行多線程稽核，保障稽核的效率，同時(shí)保障系統(tǒng)的稽核性能。

稽核邏輯包括：迭代產(chǎn)品規(guī)則模型下產(chǎn)品、產(chǎn)品屬性、產(chǎn)品屬性組。

如果找不到該屬性信息對應(yīng)的信息，則先判斷模型中屬性信息字段是否必填，如必填，將自動生成insert腳本，取配置庫中該屬性的值進(jìn)行插入，當(dāng)無法在配置庫中搜索到相應(yīng)屬性值時(shí)，提示“請?zhí)顚懘_認(rèn)后的屬性值”。

如果找到該屬性的配置信息，則根據(jù)取值范圍或者配置驗(yàn)證數(shù)據(jù)合法性，如果不通過，生成update語句，如果配置庫有該屬性默認(rèn)值則取該配置，否則默認(rèn)提示“請?zhí)顚懘_認(rèn)后的屬性值”。確認(rèn)后在集合中刪除該條用戶屬性。

最后循環(huán)用戶屬性，剩余的用戶屬性均為沒有匹配的用戶屬性，定義為“未定義”。

根據(jù)配置庫生成修復(fù)腳本，運(yùn)維人員無需自行編寫運(yùn)維腳本，即可對數(shù)據(jù)進(jìn)行修復(fù)。

評分：滿分100分，每生成一條被驗(yàn)證出來需要修改的腳本扣0.5分，根據(jù)分值的大?。?0～100，75～89，60～74，60以下）設(shè)置4個(gè)級別。將所有驗(yàn)證結(jié)果記錄表中，并生成文件以郵件形式發(fā)送給省分運(yùn)維人處理。

場景應(yīng)用

在2022年1月15日系統(tǒng)新老架構(gòu)遷轉(zhuǎn)實(shí)施過程中，首次采用稽核模型對雙線業(yè)務(wù)26款發(fā)起方、落地方產(chǎn)品進(jìn)行稽核。通過自動化的稽核模型生成，從產(chǎn)商品中心，新架構(gòu)共計(jì)拉取26萬余條規(guī)則配置，進(jìn)行迭代組裝成稽核模型260套，對10省遷轉(zhuǎn)139萬余位用戶，共計(jì)1.13億數(shù)據(jù)進(jìn)行稽核，共計(jì)稽核出問題數(shù)據(jù)600萬條，自動修復(fù)200余萬，提供修復(fù)腳本400萬。

通過對數(shù)據(jù)的稽核發(fā)現(xiàn)了一些潛藏的問題，發(fā)現(xiàn)了老架構(gòu)產(chǎn)品在新架構(gòu)不支持，產(chǎn)品支撐校驗(yàn)規(guī)則不一致，產(chǎn)品屬性碼值收斂等問題。最終通過業(yè)務(wù)部門澄清，對應(yīng)該支撐的碼值予以支撐外，其余問題數(shù)據(jù)通過自動生成的運(yùn)維修復(fù)腳本快速對數(shù)據(jù)進(jìn)行修復(fù)，通過2周左右的重保期，問題數(shù)據(jù)修復(fù)90 %以上，大大提高了省分運(yùn)營維護(hù)的壓力，提高了工作效率，得到了省分的一致好評。

規(guī)劃擴(kuò)展

目前稽核模型通過產(chǎn)商品中心、銷售中心等觸點(diǎn)進(jìn)行規(guī)則的拉取跟生成，但是還存在一定的瓶頸。目前稽核模型并沒有對整個(gè)訂單流程上的所有系統(tǒng)進(jìn)行規(guī)則拉取，還有大約1 %左右的規(guī)則沉淀在其他中心，例如政企訂單中心、OSS開通系統(tǒng)等，后續(xù)計(jì)劃在拉通訂單中心、OSS的同時(shí)，完善本地稽核規(guī)則。

總體來看，通過自動化稽核工具對用戶數(shù)據(jù)進(jìn)行稽核、修復(fù)，可以大大減少運(yùn)維工作量，針對異常數(shù)據(jù)只需確認(rèn)即可修復(fù)，無需編寫SQL腳本，在減少工作量的同時(shí)也降低了門檻。通過自動化生成稽核規(guī)則，可以實(shí)時(shí)根據(jù)產(chǎn)商品以及觸點(diǎn)的最新配置進(jìn)行稽核，保障了數(shù)據(jù)的準(zhǔn)確性。通過自動化的手段對數(shù)據(jù)治理進(jìn)行修復(fù)，極大地減輕了省分運(yùn)維人員的壓力，同時(shí)提升了處理準(zhǔn)確性，大大提高了處理效率。