Dataphin數(shù)據(jù)治理系列丨3步提升企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化程度

企業(yè)在設(shè)計(jì)、采購(gòu)、生產(chǎn)、銷售、物流、售后等業(yè)務(wù)環(huán)節(jié)，往往會(huì)存在大量的信息不規(guī)范、不統(tǒng)一、不及時(shí)的情況，導(dǎo)致數(shù)據(jù)資產(chǎn)無(wú)法在核心業(yè)務(wù)流程中高效流轉(zhuǎn)和消費(fèi)。

通過(guò)集成各系統(tǒng)，將數(shù)據(jù)融合打通形成數(shù)據(jù)流之外，非常重要的一環(huán)，是在企業(yè)內(nèi)充分貫徹同一套數(shù)據(jù)標(biāo)準(zhǔn)，無(wú)論是后端設(shè)計(jì)研發(fā)，到前端業(yè)務(wù)運(yùn)營(yíng)消費(fèi)，還是企業(yè)內(nèi)跨部門、跨組織、跨角色協(xié)作，通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)管理和實(shí)施，都能基于統(tǒng)一的術(shù)語(yǔ)和統(tǒng)計(jì)口徑進(jìn)行表單定義以及指標(biāo)設(shè)計(jì)，以促進(jìn)數(shù)據(jù)流通和消費(fèi)。

常見(jiàn)的數(shù)據(jù)標(biāo)準(zhǔn)問(wèn)題

根據(jù)中國(guó)信通院的定義：數(shù)據(jù)標(biāo)準(zhǔn)，是指保障數(shù)據(jù)的內(nèi)外部使用與交換的一致性和準(zhǔn)確性的規(guī)范性約束。更直接點(diǎn)來(lái)說(shuō)，數(shù)據(jù)標(biāo)準(zhǔn)是用于描述公司層面需共同遵守的數(shù)據(jù)含義和業(yè)務(wù)規(guī)則，通常從業(yè)務(wù)、技術(shù)、管理三方面進(jìn)行定義。

然而，數(shù)據(jù)標(biāo)準(zhǔn)需求缺乏統(tǒng)一管理、不同系統(tǒng)間標(biāo)準(zhǔn)制定依據(jù)各異、資產(chǎn)建設(shè)缺乏和標(biāo)準(zhǔn)的關(guān)聯(lián)，使得數(shù)據(jù)標(biāo)準(zhǔn)的建設(shè)和應(yīng)用都面臨很大困難：

·建設(shè)：多源異構(gòu)數(shù)據(jù)整合缺乏統(tǒng)一的約束口徑，數(shù)據(jù)開(kāi)發(fā)效率低

數(shù)倉(cāng)開(kāi)發(fā)人員無(wú)法快速理解數(shù)據(jù)背后的實(shí)際業(yè)務(wù)含義，需要和業(yè)務(wù)人員反復(fù)溝通，理解成本高；不同業(yè)務(wù)人員對(duì)于同一個(gè)指標(biāo)口徑的理解不一致，容易出現(xiàn)認(rèn)識(shí)偏差，影響分析決策結(jié)果。

·管理：各系統(tǒng)分散管理，人工保障規(guī)范，數(shù)據(jù)質(zhì)量難以提升

不同主題域由不同負(fù)責(zé)人進(jìn)行開(kāi)發(fā)和維護(hù)，導(dǎo)致規(guī)范不一致，數(shù)據(jù)可信度降低；由于缺乏有效的工具監(jiān)督，規(guī)范定義和開(kāi)發(fā)實(shí)現(xiàn)隔離，無(wú)法保證數(shù)據(jù)開(kāi)發(fā)符合標(biāo)準(zhǔn)規(guī)范，數(shù)據(jù)質(zhì)量難以提升，導(dǎo)致頻繁的數(shù)據(jù)重構(gòu)，管理成本高。

·使用：缺少元數(shù)據(jù)信息及使用引導(dǎo)說(shuō)明，數(shù)據(jù)消費(fèi)難度大

數(shù)據(jù)的使用不僅需要明確數(shù)據(jù)詳情，還需要參考元數(shù)據(jù)信息，以便數(shù)據(jù)使用方快速找到需要的數(shù)據(jù)并評(píng)估數(shù)據(jù)可用性。由于缺少必要的數(shù)據(jù)定義及使用說(shuō)明，造成數(shù)據(jù)經(jīng)常被誤用濫用，數(shù)據(jù)消費(fèi)難度大。

由此，我們需要一套功能全面、操作便捷的產(chǎn)品，來(lái)幫助企業(yè)中的數(shù)據(jù)標(biāo)準(zhǔn)管理人員/組織，提升企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化程度和數(shù)據(jù)資產(chǎn)可信度。

Dataphin 數(shù)據(jù)標(biāo)準(zhǔn)模塊在標(biāo)準(zhǔn)建設(shè)、標(biāo)準(zhǔn)管理、標(biāo)準(zhǔn)應(yīng)用三大核心環(huán)節(jié)，提供了統(tǒng)一的產(chǎn)品化能力，并結(jié)合質(zhì)量監(jiān)控能力實(shí)現(xiàn)對(duì)資產(chǎn)對(duì)象的落標(biāo)稽核，幫助企業(yè)解決數(shù)字建設(shè)管理過(guò)程中遇到的問(wèn)題。

Dataphin數(shù)據(jù)標(biāo)準(zhǔn)功能介紹

數(shù)據(jù)標(biāo)準(zhǔn)怎么建？

數(shù)據(jù)標(biāo)準(zhǔn)模板，一次定義多次復(fù)用

相較于傳統(tǒng)模式下用 Excel 等線下文件管理數(shù)據(jù)標(biāo)準(zhǔn)的方式，Dataphin 支持在線創(chuàng)建標(biāo)準(zhǔn)集以便將規(guī)范相似、業(yè)務(wù)含義相關(guān)的數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行統(tǒng)一管理，起到分類的作用，實(shí)現(xiàn)一次定義多次復(fù)用。如，某團(tuán)隊(duì)的基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)需要具備以下屬性：

·業(yè)務(wù)屬性：標(biāo)準(zhǔn)名稱、標(biāo)準(zhǔn)編碼、描述

·技術(shù)屬性：字段類型、字段長(zhǎng)度、字段精度

·管理屬性：標(biāo)準(zhǔn)制定部門、應(yīng)用業(yè)務(wù)部門

在創(chuàng)建標(biāo)準(zhǔn)集模板時(shí)，我們可以將“標(biāo)準(zhǔn)制定部門”和“應(yīng)用業(yè)務(wù)部門”的類型設(shè)置為“枚舉單值”，且枚舉值來(lái)源引用“公司部門”碼表，這樣在創(chuàng)建標(biāo)準(zhǔn)時(shí)，這兩個(gè)屬性會(huì)以下拉單選框的形式展示，且可選范圍為“公司部門”碼表配置的碼值，不僅大大提升了標(biāo)準(zhǔn)填寫人員的效率和體驗(yàn)，也避免信息來(lái)源和操作不一致造成的標(biāo)準(zhǔn)規(guī)范各異。

此外，為了更好地將歷史已有標(biāo)準(zhǔn)文件導(dǎo)入系統(tǒng)進(jìn)行統(tǒng)一管理，Dataphin 支持批量導(dǎo)入及更新數(shù)據(jù)標(biāo)準(zhǔn)，只需要下載標(biāo)準(zhǔn)模板并配置沖突策略，就可以實(shí)現(xiàn)約束一致的數(shù)據(jù)標(biāo)準(zhǔn)的批量更新。

如何高效管理標(biāo)準(zhǔn)？

全生命周期管理，讓多方協(xié)同更清晰

在Dataphin中完成數(shù)據(jù)標(biāo)準(zhǔn)創(chuàng)建后，會(huì)默認(rèn)生成“草稿態(tài)”標(biāo)準(zhǔn)，確認(rèn)填寫無(wú)誤后可以提交標(biāo)準(zhǔn)上線申請(qǐng)并生成對(duì)應(yīng)的審批任務(wù)。Dataphin 支持設(shè)置標(biāo)準(zhǔn)審批模板，以適配不同管理范圍下標(biāo)準(zhǔn)的審批。

標(biāo)準(zhǔn)上線后根據(jù)設(shè)置的標(biāo)準(zhǔn)生效時(shí)間，自動(dòng)生成“待生效、已生效、已失效”的標(biāo)準(zhǔn)。上線后的標(biāo)準(zhǔn)支持在線修訂，會(huì)生成“修訂中”的版本，修訂中版本再次發(fā)布前，不會(huì)影響線上已生效的標(biāo)準(zhǔn)版本。基于該流程，可以實(shí)現(xiàn)靈活完整的標(biāo)準(zhǔn)生命周期管理。

參考數(shù)據(jù)管理，有約束才夠準(zhǔn)確

數(shù)據(jù)標(biāo)準(zhǔn)常常需要和參考數(shù)據(jù)一起使用，才能更好地適配業(yè)務(wù)需求。常見(jiàn)的參考數(shù)據(jù)包括碼表、詞根、度量單獨(dú)等等。

碼表可用于約束標(biāo)準(zhǔn)屬性字段的取值范圍或直接作為范圍值屬性(如值域)的來(lái)源，提升標(biāo)準(zhǔn)定義的準(zhǔn)確性；詞根常用作詞綴并作為數(shù)據(jù)表、字段等研發(fā)對(duì)象命名的參考依據(jù)，以提升命名規(guī)范性減少數(shù)據(jù)消費(fèi)時(shí)的不一致性和理解誤差。

Dataphin 數(shù)據(jù)標(biāo)準(zhǔn)支持碼表和字根的創(chuàng)建和管理，通過(guò)簡(jiǎn)單的界面操作即可完成創(chuàng)建，并可在創(chuàng)建標(biāo)準(zhǔn)時(shí)引用碼表作為取值范圍的約束，降低了標(biāo)準(zhǔn)管理人員的操作成本。

數(shù)據(jù)標(biāo)準(zhǔn)怎么用？

落標(biāo)映射，將數(shù)據(jù)治理前置到研發(fā)鏈路

標(biāo)準(zhǔn)創(chuàng)建完成后，需要和對(duì)應(yīng)的資產(chǎn)對(duì)象關(guān)聯(lián)起來(lái)才能真正實(shí)現(xiàn)其應(yīng)用價(jià)值，實(shí)現(xiàn)對(duì)資產(chǎn)的規(guī)范性約束。Dataphin 支持基于標(biāo)準(zhǔn)屬性值和資產(chǎn)對(duì)象元數(shù)據(jù)屬性值進(jìn)行落標(biāo)關(guān)聯(lián)映射配置，以實(shí)現(xiàn)標(biāo)準(zhǔn)和資產(chǎn)的關(guān)聯(lián)，作為后續(xù)落標(biāo)稽核的基礎(chǔ)。下面，我們通過(guò)一個(gè)例子來(lái)進(jìn)一步理解 Dataphin 如何實(shí)現(xiàn)落標(biāo)映射與稽核。

首先，我們需要圈選出進(jìn)行映射匹配的標(biāo)準(zhǔn)和資產(chǎn)對(duì)象來(lái)源范圍：

·標(biāo)準(zhǔn)：來(lái)自于“測(cè)試標(biāo)準(zhǔn)集”的所有“已生效”狀態(tài)的標(biāo)準(zhǔn)

·資產(chǎn)對(duì)象：所屬表名包含“test”字樣的所有字段

接著，我們需要配置標(biāo)準(zhǔn)和資產(chǎn)對(duì)象的關(guān)聯(lián)映射條件：標(biāo)準(zhǔn)名稱 = 字段名稱；

最后，我們需要配置該規(guī)則的執(zhí)行時(shí)間和頻率等信息。

基于上述配置，系統(tǒng)會(huì)自動(dòng)執(zhí)行該映射規(guī)則，圈選出相應(yīng)范圍的標(biāo)準(zhǔn)和資產(chǎn)對(duì)象并進(jìn)行匹配。規(guī)則執(zhí)行完成后，我們就可以在資產(chǎn)目錄及規(guī)則執(zhí)行明細(xì)頁(yè)面清晰的看到某個(gè)資產(chǎn)關(guān)聯(lián)到了哪些標(biāo)準(zhǔn)，以便參考映射到的標(biāo)準(zhǔn)定義進(jìn)行開(kāi)發(fā)，將數(shù)據(jù)治理前置到研發(fā)鏈路。

落標(biāo)評(píng)估，從源端保障數(shù)據(jù)規(guī)范統(tǒng)一

映射成功的資產(chǎn)對(duì)象是不是真正遵循了這些標(biāo)準(zhǔn)？接下來(lái)就需要我們的落標(biāo)評(píng)估能力來(lái)助力。

Dataphin 支持針對(duì)資產(chǎn)對(duì)象的技術(shù)元數(shù)據(jù)進(jìn)行落標(biāo)評(píng)估，如字段類型、字段長(zhǎng)度等。后續(xù)我們還將結(jié)合質(zhì)量監(jiān)控的能力，進(jìn)一步拓展對(duì)值域、字段格式等內(nèi)容的監(jiān)控。針對(duì)不滿足關(guān)聯(lián)標(biāo)準(zhǔn)的資產(chǎn)，標(biāo)準(zhǔn)管理人員可以推動(dòng)研發(fā)人員可以盡早進(jìn)行整改，從源端保障數(shù)據(jù)規(guī)范性和統(tǒng)一性。

結(jié)語(yǔ)

總體來(lái)說(shuō)，作為資產(chǎn)治理的重要一環(huán)，Dataphin 數(shù)據(jù)標(biāo)準(zhǔn)功能為標(biāo)準(zhǔn)的統(tǒng)一管理提供了靈活的產(chǎn)品化能力支持，同時(shí)也能減少人工監(jiān)控成本，為標(biāo)準(zhǔn)的落地執(zhí)行提供了強(qiáng)有力的保障，以提升企業(yè)整體數(shù)字能力建設(shè)的標(biāo)準(zhǔn)化成熟和資產(chǎn)的健康度。