Dataphin數(shù)據(jù)治理系列丨3步提升企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化程度

企業(yè)在設(shè)計、采購、生產(chǎn)、銷售、物流、售后等業(yè)務(wù)環(huán)節(jié)，往往會存在大量的信息不規(guī)范、不統(tǒng)一、不及時的情況，導(dǎo)致數(shù)據(jù)資產(chǎn)無法在核心業(yè)務(wù)流程中高效流轉(zhuǎn)和消費。

通過集成各系統(tǒng)，將數(shù)據(jù)融合打通形成數(shù)據(jù)流之外，非常重要的一環(huán)，是在企業(yè)內(nèi)充分貫徹同一套數(shù)據(jù)標(biāo)準(zhǔn)，無論是后端設(shè)計研發(fā)，到前端業(yè)務(wù)運營消費，還是企業(yè)內(nèi)跨部門、跨組織、跨角色協(xié)作，通過數(shù)據(jù)標(biāo)準(zhǔn)管理和實施，都能基于統(tǒng)一的術(shù)語和統(tǒng)計口徑進(jìn)行表單定義以及指標(biāo)設(shè)計，以促進(jìn)數(shù)據(jù)流通和消費。

常見的數(shù)據(jù)標(biāo)準(zhǔn)問題

根據(jù)中國信通院的定義：數(shù)據(jù)標(biāo)準(zhǔn)，是指保障數(shù)據(jù)的內(nèi)外部使用與交換的一致性和準(zhǔn)確性的規(guī)范性約束。更直接點來說，數(shù)據(jù)標(biāo)準(zhǔn)是用于描述公司層面需共同遵守的數(shù)據(jù)含義和業(yè)務(wù)規(guī)則，通常從業(yè)務(wù)、技術(shù)、管理三方面進(jìn)行定義。

然而，數(shù)據(jù)標(biāo)準(zhǔn)需求缺乏統(tǒng)一管理、不同系統(tǒng)間標(biāo)準(zhǔn)制定依據(jù)各異、資產(chǎn)建設(shè)缺乏和標(biāo)準(zhǔn)的關(guān)聯(lián)，使得數(shù)據(jù)標(biāo)準(zhǔn)的建設(shè)和應(yīng)用都面臨很大困難：

·建設(shè)：多源異構(gòu)數(shù)據(jù)整合缺乏統(tǒng)一的約束口徑，數(shù)據(jù)開發(fā)效率低

數(shù)倉開發(fā)人員無法快速理解數(shù)據(jù)背后的實際業(yè)務(wù)含義，需要和業(yè)務(wù)人員反復(fù)溝通，理解成本高；不同業(yè)務(wù)人員對于同一個指標(biāo)口徑的理解不一致，容易出現(xiàn)認(rèn)識偏差，影響分析決策結(jié)果。

·管理：各系統(tǒng)分散管理，人工保障規(guī)范，數(shù)據(jù)質(zhì)量難以提升

不同主題域由不同負(fù)責(zé)人進(jìn)行開發(fā)和維護(hù)，導(dǎo)致規(guī)范不一致，數(shù)據(jù)可信度降低；由于缺乏有效的工具監(jiān)督，規(guī)范定義和開發(fā)實現(xiàn)隔離，無法保證數(shù)據(jù)開發(fā)符合標(biāo)準(zhǔn)規(guī)范，數(shù)據(jù)質(zhì)量難以提升，導(dǎo)致頻繁的數(shù)據(jù)重構(gòu)，管理成本高。

·使用：缺少元數(shù)據(jù)信息及使用引導(dǎo)說明，數(shù)據(jù)消費難度大

數(shù)據(jù)的使用不僅需要明確數(shù)據(jù)詳情，還需要參考元數(shù)據(jù)信息，以便數(shù)據(jù)使用方快速找到需要的數(shù)據(jù)并評估數(shù)據(jù)可用性。由于缺少必要的數(shù)據(jù)定義及使用說明，造成數(shù)據(jù)經(jīng)常被誤用濫用，數(shù)據(jù)消費難度大。

由此，我們需要一套功能全面、操作便捷的產(chǎn)品，來幫助企業(yè)中的數(shù)據(jù)標(biāo)準(zhǔn)管理人員/組織，提升企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化程度和數(shù)據(jù)資產(chǎn)可信度。

Dataphin 數(shù)據(jù)標(biāo)準(zhǔn)模塊在標(biāo)準(zhǔn)建設(shè)、標(biāo)準(zhǔn)管理、標(biāo)準(zhǔn)應(yīng)用三大核心環(huán)節(jié)，提供了統(tǒng)一的產(chǎn)品化能力，并結(jié)合質(zhì)量監(jiān)控能力實現(xiàn)對資產(chǎn)對象的落標(biāo)稽核，幫助企業(yè)解決數(shù)字建設(shè)管理過程中遇到的問題。

Dataphin數(shù)據(jù)標(biāo)準(zhǔn)功能介紹

數(shù)據(jù)標(biāo)準(zhǔn)怎么建？

數(shù)據(jù)標(biāo)準(zhǔn)模板，一次定義多次復(fù)用

相較于傳統(tǒng)模式下用 Excel 等線下文件管理數(shù)據(jù)標(biāo)準(zhǔn)的方式，Dataphin 支持在線創(chuàng)建標(biāo)準(zhǔn)集以便將規(guī)范相似、業(yè)務(wù)含義相關(guān)的數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行統(tǒng)一管理，起到分類的作用，實現(xiàn)一次定義多次復(fù)用。如，某團隊的基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)需要具備以下屬性：

·業(yè)務(wù)屬性：標(biāo)準(zhǔn)名稱、標(biāo)準(zhǔn)編碼、描述

·技術(shù)屬性：字段類型、字段長度、字段精度

·管理屬性：標(biāo)準(zhǔn)制定部門、應(yīng)用業(yè)務(wù)部門

在創(chuàng)建標(biāo)準(zhǔn)集模板時，我們可以將“標(biāo)準(zhǔn)制定部門”和“應(yīng)用業(yè)務(wù)部門”的類型設(shè)置為“枚舉單值”，且枚舉值來源引用“公司部門”碼表，這樣在創(chuàng)建標(biāo)準(zhǔn)時，這兩個屬性會以下拉單選框的形式展示，且可選范圍為“公司部門”碼表配置的碼值，不僅大大提升了標(biāo)準(zhǔn)填寫人員的效率和體驗，也避免信息來源和操作不一致造成的標(biāo)準(zhǔn)規(guī)范各異。

此外，為了更好地將歷史已有標(biāo)準(zhǔn)文件導(dǎo)入系統(tǒng)進(jìn)行統(tǒng)一管理，Dataphin 支持批量導(dǎo)入及更新數(shù)據(jù)標(biāo)準(zhǔn)，只需要下載標(biāo)準(zhǔn)模板并配置沖突策略，就可以實現(xiàn)約束一致的數(shù)據(jù)標(biāo)準(zhǔn)的批量更新。

如何高效管理標(biāo)準(zhǔn)？

全生命周期管理，讓多方協(xié)同更清晰

在Dataphin中完成數(shù)據(jù)標(biāo)準(zhǔn)創(chuàng)建后，會默認(rèn)生成“草稿態(tài)”標(biāo)準(zhǔn)，確認(rèn)填寫無誤后可以提交標(biāo)準(zhǔn)上線申請并生成對應(yīng)的審批任務(wù)。Dataphin 支持設(shè)置標(biāo)準(zhǔn)審批模板，以適配不同管理范圍下標(biāo)準(zhǔn)的審批。

標(biāo)準(zhǔn)上線后根據(jù)設(shè)置的標(biāo)準(zhǔn)生效時間，自動生成“待生效、已生效、已失效”的標(biāo)準(zhǔn)。上線后的標(biāo)準(zhǔn)支持在線修訂，會生成“修訂中”的版本，修訂中版本再次發(fā)布前，不會影響線上已生效的標(biāo)準(zhǔn)版本?；谠摿鞒?，可以實現(xiàn)靈活完整的標(biāo)準(zhǔn)生命周期管理。

參考數(shù)據(jù)管理，有約束才夠準(zhǔn)確

數(shù)據(jù)標(biāo)準(zhǔn)常常需要和參考數(shù)據(jù)一起使用，才能更好地適配業(yè)務(wù)需求。常見的參考數(shù)據(jù)包括碼表、詞根、度量單獨等等。

碼表可用于約束標(biāo)準(zhǔn)屬性字段的取值范圍或直接作為范圍值屬性(如值域)的來源，提升標(biāo)準(zhǔn)定義的準(zhǔn)確性；詞根常用作詞綴并作為數(shù)據(jù)表、字段等研發(fā)對象命名的參考依據(jù)，以提升命名規(guī)范性減少數(shù)據(jù)消費時的不一致性和理解誤差。

Dataphin 數(shù)據(jù)標(biāo)準(zhǔn)支持碼表和字根的創(chuàng)建和管理，通過簡單的界面操作即可完成創(chuàng)建，并可在創(chuàng)建標(biāo)準(zhǔn)時引用碼表作為取值范圍的約束，降低了標(biāo)準(zhǔn)管理人員的操作成本。

數(shù)據(jù)標(biāo)準(zhǔn)怎么用？

落標(biāo)映射，將數(shù)據(jù)治理前置到研發(fā)鏈路

標(biāo)準(zhǔn)創(chuàng)建完成后，需要和對應(yīng)的資產(chǎn)對象關(guān)聯(lián)起來才能真正實現(xiàn)其應(yīng)用價值，實現(xiàn)對資產(chǎn)的規(guī)范性約束。Dataphin 支持基于標(biāo)準(zhǔn)屬性值和資產(chǎn)對象元數(shù)據(jù)屬性值進(jìn)行落標(biāo)關(guān)聯(lián)映射配置，以實現(xiàn)標(biāo)準(zhǔn)和資產(chǎn)的關(guān)聯(lián)，作為后續(xù)落標(biāo)稽核的基礎(chǔ)。下面，我們通過一個例子來進(jìn)一步理解 Dataphin 如何實現(xiàn)落標(biāo)映射與稽核。

首先，我們需要圈選出進(jìn)行映射匹配的標(biāo)準(zhǔn)和資產(chǎn)對象來源范圍：

·標(biāo)準(zhǔn)：來自于“測試標(biāo)準(zhǔn)集”的所有“已生效”狀態(tài)的標(biāo)準(zhǔn)

·資產(chǎn)對象：所屬表名包含“test”字樣的所有字段

接著，我們需要配置標(biāo)準(zhǔn)和資產(chǎn)對象的關(guān)聯(lián)映射條件：標(biāo)準(zhǔn)名稱 = 字段名稱；

最后，我們需要配置該規(guī)則的執(zhí)行時間和頻率等信息。

基于上述配置，系統(tǒng)會自動執(zhí)行該映射規(guī)則，圈選出相應(yīng)范圍的標(biāo)準(zhǔn)和資產(chǎn)對象并進(jìn)行匹配。規(guī)則執(zhí)行完成后，我們就可以在資產(chǎn)目錄及規(guī)則執(zhí)行明細(xì)頁面清晰的看到某個資產(chǎn)關(guān)聯(lián)到了哪些標(biāo)準(zhǔn)，以便參考映射到的標(biāo)準(zhǔn)定義進(jìn)行開發(fā)，將數(shù)據(jù)治理前置到研發(fā)鏈路。

落標(biāo)評估，從源端保障數(shù)據(jù)規(guī)范統(tǒng)一

映射成功的資產(chǎn)對象是不是真正遵循了這些標(biāo)準(zhǔn)？接下來就需要我們的落標(biāo)評估能力來助力。

Dataphin 支持針對資產(chǎn)對象的技術(shù)元數(shù)據(jù)進(jìn)行落標(biāo)評估，如字段類型、字段長度等。后續(xù)我們還將結(jié)合質(zhì)量監(jiān)控的能力，進(jìn)一步拓展對值域、字段格式等內(nèi)容的監(jiān)控。針對不滿足關(guān)聯(lián)標(biāo)準(zhǔn)的資產(chǎn)，標(biāo)準(zhǔn)管理人員可以推動研發(fā)人員可以盡早進(jìn)行整改，從源端保障數(shù)據(jù)規(guī)范性和統(tǒng)一性。

結(jié)語

總體來說，作為資產(chǎn)治理的重要一環(huán)，Dataphin 數(shù)據(jù)標(biāo)準(zhǔn)功能為標(biāo)準(zhǔn)的統(tǒng)一管理提供了靈活的產(chǎn)品化能力支持，同時也能減少人工監(jiān)控成本，為標(biāo)準(zhǔn)的落地執(zhí)行提供了強有力的保障，以提升企業(yè)整體數(shù)字能力建設(shè)的標(biāo)準(zhǔn)化成熟和資產(chǎn)的健康度。