Dataphin V3.6版本發(fā)布啦!多項(xiàng)能力升級(jí),助力企業(yè)提升全鏈路數(shù)據(jù)治理能力!

一、關(guān)于Dataphin(智能數(shù)據(jù)建設(shè)與治理)

Dataphin是阿里巴巴集團(tuán)數(shù)據(jù)治理方法論基于內(nèi)部實(shí)踐的產(chǎn)品化輸出,致力于幫助各企業(yè)用中臺(tái)方法論治理企業(yè)級(jí)好數(shù)據(jù),構(gòu)建起質(zhì)量可靠、消費(fèi)便捷、生產(chǎn)安全經(jīng)濟(jì)的企業(yè)級(jí)數(shù)據(jù)中臺(tái)。

Dataphin支持在多種大數(shù)據(jù)架構(gòu)之上構(gòu)建數(shù)據(jù)中臺(tái),具備一站式數(shù)據(jù)采、建、管、用全生命周期管理能力,顯著提升數(shù)據(jù)治理水平,在計(jì)算引擎利舊降本基礎(chǔ)上滿足企業(yè)多元化數(shù)智應(yīng)用需求,為企業(yè)上云用數(shù)賦智夯實(shí)數(shù)字化能力底座。

1.png

二、DataphinV3.6版本概覽

01-拓展多引擎、多類型數(shù)據(jù)源、多消息渠道,滿足企業(yè)多元化數(shù)智應(yīng)用需求

ADB引擎適配:新增適配以AnalyticDB for PostgreSQL作為計(jì)算引擎,可支持?jǐn)?shù)據(jù)集成、離線&實(shí)時(shí)數(shù)據(jù)研發(fā)、數(shù)據(jù)質(zhì)量、資產(chǎn)安全、數(shù)據(jù)服務(wù)等功能,助力企業(yè)構(gòu)建統(tǒng)一的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)。

數(shù)據(jù)源拓展:新增支持達(dá)夢(mèng)數(shù)據(jù)源可用于離線集成、提升對(duì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)的支持度;Hive及HDFS的數(shù)據(jù)源增加EMR版本選擇,實(shí)時(shí)集成輸出組件新增支持Hive,增強(qiáng)對(duì)Hive數(shù)據(jù)源的適配度。

自定義消息渠道:支持自定義消息發(fā)送渠道,通過(guò)配置化的方式實(shí)現(xiàn)與阿里云電話&短信、企業(yè)自有消息渠道的對(duì)接,以接收任務(wù)監(jiān)控、質(zhì)量監(jiān)控、數(shù)據(jù)服務(wù)監(jiān)控等告警信息。

02-貫穿事前規(guī)劃、事中監(jiān)控、事后稽核的全鏈路數(shù)據(jù)治理能力

概念建模:可視化定義基于實(shí)際業(yè)務(wù)場(chǎng)景抽象出的業(yè)務(wù)實(shí)體及關(guān)系,以更好地反映業(yè)務(wù)之間的聯(lián)系,并為邏輯模型建設(shè)提供依據(jù)。

智能基線監(jiān)控:支持配置天基線,添加需要保障的關(guān)鍵任務(wù)或字段后,系統(tǒng)可基于依賴關(guān)系自動(dòng)圈選需要納入監(jiān)控范圍的任務(wù),同時(shí)支持配置靈活的告警規(guī)則及接收方式,以降低人工運(yùn)維成本。

全域數(shù)據(jù)質(zhì)量:拓展支持針對(duì)多種數(shù)據(jù)源表的質(zhì)量監(jiān)控,內(nèi)置豐富的質(zhì)量規(guī)則模板,同時(shí)支持基于業(yè)務(wù)場(chǎng)景自定義監(jiān)控規(guī)則,以提升配置靈活性和業(yè)務(wù)監(jiān)控覆蓋面。

數(shù)據(jù)標(biāo)準(zhǔn)落標(biāo):新增支持批量導(dǎo)入數(shù)據(jù)標(biāo)準(zhǔn),提升配置效率;支持基于標(biāo)準(zhǔn)屬性和字段元數(shù)據(jù)進(jìn)行關(guān)聯(lián)映射配置,實(shí)現(xiàn)標(biāo)準(zhǔn)和資產(chǎn)的關(guān)聯(lián),作為后續(xù)落標(biāo)稽核的基礎(chǔ)。

03-研發(fā)體驗(yàn)優(yōu)化,加速企業(yè)數(shù)字能力建設(shè)

編輯器優(yōu)化:優(yōu)化報(bào)錯(cuò)提示,可快速定位到錯(cuò)誤代碼行并提示錯(cuò)誤原因及修復(fù)建議;新增set參數(shù)提示,可查看參數(shù)的默認(rèn)值、類型及說(shuō)明,提升數(shù)據(jù)開(kāi)發(fā)效率。

集成組件優(yōu)化:Orcale組件適配特殊字符的處理以減少運(yùn)行報(bào)錯(cuò),hologres組件支持填寫(xiě)SQL準(zhǔn)備及完成語(yǔ)句,hana組件支持小寫(xiě)表名等,降低集成任務(wù)配置成本。

補(bǔ)數(shù)據(jù)優(yōu)化:支持一鍵過(guò)濾下游暫停調(diào)度的任務(wù)極其全部下游,以保障補(bǔ)數(shù)據(jù)整體鏈路可正常執(zhí)行,減少人工篩選成本。

脫敏方式拓展:支持配置底層查詢直接過(guò)敏或僅展示脫敏,以支持簡(jiǎn)單的where/join等子查詢場(chǎng)景,對(duì)業(yè)務(wù)使用更友好。

三、新版本重點(diǎn)特性詳解及應(yīng)用場(chǎng)景示例

特性1:基礎(chǔ)研發(fā)版支持AnalyticDB PostgreSQL計(jì)算引擎

應(yīng)用場(chǎng)景:構(gòu)筑可線性擴(kuò)展的企業(yè)數(shù)據(jù)倉(cāng)庫(kù)服務(wù),加速企業(yè)數(shù)據(jù)分析和運(yùn)營(yíng)體系搭建

AnalyticDB PostgreSQL強(qiáng)兼容PG/Greenplum開(kāi)源生態(tài),兼容Oracle/TD語(yǔ)法生態(tài),具備秒級(jí)彈性和數(shù)據(jù)共享等國(guó)內(nèi)領(lǐng)先的產(chǎn)品能力;支持復(fù)雜SQL優(yōu)化、海量數(shù)據(jù)關(guān)聯(lián)聚合、資源負(fù)載管理,可提供PB級(jí)企業(yè)數(shù)據(jù)分析服務(wù)。

Dataphin基礎(chǔ)研發(fā)版支持以AnalyticDB PostgreSQL作為計(jì)算引擎,用戶現(xiàn)有的OLTP數(shù)據(jù)庫(kù)實(shí)例,如RDS MySQL,PostgreSQL,或傳統(tǒng)數(shù)據(jù)庫(kù)實(shí)例 Oracle,SQL Server等,均可以通過(guò)Dataphin的數(shù)據(jù)集成和調(diào)度能力同步到AnalyticDB PostgreSQL;結(jié)合數(shù)據(jù)質(zhì)量監(jiān)控、安全分類分級(jí)及脫敏配置等功能,打通入庫(kù)、清洗、分析和洞察的全鏈路,助力企業(yè)構(gòu)建統(tǒng)一的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái),加速面向業(yè)務(wù)場(chǎng)景的數(shù)據(jù)分析和運(yùn)營(yíng)體系搭建。

2.png

3.png

特性2:概念建模

應(yīng)用場(chǎng)景: 可視化定義基于實(shí)際業(yè)務(wù)場(chǎng)景抽象出的業(yè)務(wù)實(shí)體及關(guān)系,為邏輯模型建設(shè)提供依據(jù)

主題域?qū)蛹?jí)從1級(jí)拓展到最多5級(jí),企業(yè)可基于主題域更好的構(gòu)建資產(chǎn)類目體系,實(shí)現(xiàn)數(shù)據(jù)分層管理。

4.png

新增概念建模能力,在數(shù)倉(cāng)規(guī)劃及數(shù)據(jù)架構(gòu)設(shè)計(jì)階段,支持可視化配置基于實(shí)際業(yè)務(wù)場(chǎng)景抽象出的業(yè)務(wù)實(shí)體及其之間的關(guān)系,并以實(shí)體關(guān)系流程圖的形式直觀展示,有利于數(shù)據(jù)消費(fèi)者更好理解數(shù)據(jù)和數(shù)據(jù)對(duì)應(yīng)的業(yè)務(wù)。如制造業(yè)中的“原材料采購(gòu)”場(chǎng)景,可以抽象出“客戶、訂單、原材料商品、地址”等業(yè)務(wù)對(duì)象,以及“供應(yīng)商詢價(jià)、下采購(gòu)單、財(cái)務(wù)預(yù)付款、供應(yīng)商發(fā)貨、到貨簽收、財(cái)務(wù)付尾款”等業(yè)務(wù)活動(dòng)。

此外,業(yè)務(wù)實(shí)體間的關(guān)系類型,在原有關(guān)聯(lián), 繼承, 層級(jí)的基礎(chǔ)之上, 新增前后序、流轉(zhuǎn)、包含關(guān)系, 以便更精確的反映真實(shí)業(yè)務(wù)聯(lián)系。如:“采購(gòu)”流程包含“供應(yīng)商發(fā)貨”和“到貨簽收”兩個(gè)事件,兩個(gè)事件之間是流轉(zhuǎn)關(guān)系,而“采購(gòu)”是“供應(yīng)商評(píng)審”的后續(xù)流程。

5.png

概念模型創(chuàng)建完成后,可基于定義的業(yè)務(wù)實(shí)體快速創(chuàng)建對(duì)應(yīng)的邏輯表,默認(rèn)繼承實(shí)體之間的關(guān)系并自動(dòng)翻譯為數(shù)據(jù)表之間的關(guān)聯(lián)邏輯,實(shí)現(xiàn)概念模型和邏輯模型的映射,為模型開(kāi)發(fā)提供業(yè)務(wù)輸入和指導(dǎo)。

特性3:基線運(yùn)維

應(yīng)用場(chǎng)景:保障核心業(yè)務(wù)數(shù)據(jù)的產(chǎn)出任務(wù),及時(shí)發(fā)現(xiàn)異常并預(yù)警,降低對(duì)業(yè)務(wù)用數(shù)的影響

1、添加需要保障的任務(wù)或字段后,系統(tǒng)將基于依賴關(guān)系自動(dòng)推算需要納入監(jiān)控范圍的上游節(jié)點(diǎn),降低人工配置成本。

配置時(shí)只需要關(guān)注需要保障產(chǎn)出及時(shí)性的核心業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的任務(wù)或字段即可,而無(wú)需關(guān)心整體依賴鏈路的上游節(jié)點(diǎn),系統(tǒng)將基于任務(wù)之間的依賴關(guān)系自動(dòng)推導(dǎo)計(jì)算需要納入監(jiān)控范圍的節(jié)點(diǎn)。這樣一來(lái),即使更新了任務(wù)依賴關(guān)系,也無(wú)需更新基線配置,大大降低了人工操作成本;同時(shí)也提升了監(jiān)控準(zhǔn)確性,避免因?yàn)榕渲貌煌蕉鴮?dǎo)致的監(jiān)控缺失。

2、可自定義配置基線整體的預(yù)警及破線告警、基線監(jiān)控范圍內(nèi)單個(gè)節(jié)點(diǎn)的運(yùn)行出錯(cuò)或變慢告警,便于及時(shí)發(fā)現(xiàn)異常并處理。

可以將需要保障數(shù)據(jù)的預(yù)計(jì)產(chǎn)出時(shí)間配置為基線的“保障時(shí)間”;同時(shí)可以根據(jù)任務(wù)復(fù)雜度和業(yè)務(wù)重要程度,預(yù)估任務(wù)運(yùn)行出現(xiàn)異常可能需要的處理時(shí)間,將其配置為基線的“余量”,承諾時(shí)間-余量即為基線的預(yù)警時(shí)間。周期運(yùn)行過(guò)程中,系統(tǒng)將根據(jù)基線鏈路上每個(gè)節(jié)點(diǎn)最近7天的歷史運(yùn)行概況,推算保障節(jié)點(diǎn)的預(yù)計(jì)運(yùn)行完成時(shí)間。如果推算出的時(shí)間晚于配置的預(yù)警及承諾時(shí)間,則會(huì)發(fā)送基線告警,給開(kāi)發(fā)人員和業(yè)務(wù)人員對(duì)應(yīng)的通知。

此外,還可以給基線鏈路上的單個(gè)任務(wù)或字段配置運(yùn)行變慢或運(yùn)行出錯(cuò)的告警,便于盡早發(fā)現(xiàn)可能出現(xiàn)的異常并處理,保障業(yè)務(wù)數(shù)據(jù)能正常產(chǎn)出。

6.png

3、支持查看每條基線的運(yùn)行詳情,如果存在預(yù)警或破線的風(fēng)險(xiǎn),可自動(dòng)識(shí)別定位到關(guān)鍵路徑上的關(guān)鍵實(shí)例,便于開(kāi)發(fā)運(yùn)維人員直接處理,減少人工分析定位。

7.png8.png

特性4:數(shù)據(jù)標(biāo)準(zhǔn)

應(yīng)用場(chǎng)景:支持標(biāo)準(zhǔn)和資產(chǎn)的映射關(guān)聯(lián),以作為質(zhì)量稽核的參考,提升企業(yè)資產(chǎn)治理水平。

1、標(biāo)準(zhǔn)屬性配置優(yōu)化,支持批量導(dǎo)入數(shù)據(jù)標(biāo)準(zhǔn),提升配置效率。

支持配置屬性字段的取值類型(自定義輸入、枚舉單選、枚舉多選)及取值約束,同時(shí)也可引用碼表作為枚舉取值來(lái)源,以增強(qiáng)標(biāo)準(zhǔn)定義的規(guī)范性。如,指標(biāo)的“業(yè)務(wù)分類”屬性需要來(lái)源于企業(yè)的“業(yè)務(wù)系統(tǒng)”碼表、“字段長(zhǎng)度”屬性的取值范圍需要限制在0~128字符等。

支持下載標(biāo)準(zhǔn)定義模板,并通過(guò)上傳Excel文件方式批量導(dǎo)入數(shù)據(jù)標(biāo)準(zhǔn),實(shí)現(xiàn)歷史標(biāo)準(zhǔn)的批量遷移入庫(kù)。支持查看導(dǎo)入執(zhí)行日志;支持配置導(dǎo)入沖突處理策略;支持一鍵下載異常記錄及異常提示,以提升配置效率。

9.png

10.png

2、支持基于標(biāo)準(zhǔn)屬性和元數(shù)據(jù)字段進(jìn)行關(guān)聯(lián)映射配置,實(shí)現(xiàn)標(biāo)準(zhǔn)和資產(chǎn)的關(guān)聯(lián),作為后續(xù)落標(biāo)稽核的基礎(chǔ)。

支持將標(biāo)準(zhǔn)屬性和資產(chǎn)元數(shù)據(jù)進(jìn)行關(guān)聯(lián)映射配置,實(shí)現(xiàn)標(biāo)準(zhǔn)和資產(chǎn)的關(guān)聯(lián)??梢栽谫Y產(chǎn)目錄查看字段及指標(biāo)的落標(biāo)映射結(jié)果,以便參考映射到的標(biāo)準(zhǔn)定義進(jìn)行開(kāi)發(fā),將數(shù)據(jù)治理前置到研發(fā)鏈路。針對(duì)不滿足關(guān)聯(lián)標(biāo)準(zhǔn)的資產(chǎn),可以盡早進(jìn)行整改,提升企業(yè)整體數(shù)字能力建設(shè)的標(biāo)準(zhǔn)化成熟和資產(chǎn)的健康度。

11.png

3、支持碼表、詞根的定義及管理。

碼表可用于約束標(biāo)準(zhǔn)屬性字段的取值范圍,提升標(biāo)準(zhǔn)定義的準(zhǔn)確性;詞根可作為數(shù)據(jù)表、字段等研發(fā)對(duì)象命名的參考依據(jù),提升研發(fā)規(guī)范性。

12.png

特性5:全域數(shù)據(jù)質(zhì)量

應(yīng)用場(chǎng)景:通過(guò)對(duì)全域數(shù)據(jù)表及數(shù)據(jù)源的監(jiān)控,將數(shù)據(jù)質(zhì)量風(fēng)險(xiǎn)前置,進(jìn)一步提升資產(chǎn)健康度。

1、支持計(jì)算引擎內(nèi)及多種數(shù)據(jù)源表的質(zhì)量監(jiān)控,支持?jǐn)?shù)據(jù)源連通性及表結(jié)構(gòu)異動(dòng)性監(jiān)控。

數(shù)據(jù)質(zhì)量模塊分為域內(nèi)版和全域版。其中,域內(nèi)版可以針對(duì)計(jì)算引擎內(nèi)的物理表及字段,以及Dataphin特有的邏輯表、指標(biāo)和實(shí)時(shí)元表進(jìn)行質(zhì)量監(jiān)控;同時(shí)還支持對(duì)已創(chuàng)建數(shù)據(jù)源的連通性以及監(jiān)控范圍內(nèi)的表結(jié)構(gòu)異動(dòng)性進(jìn)行監(jiān)控。全域版在支持計(jì)算引擎內(nèi)物理表的基礎(chǔ)上,還支持10余種數(shù)據(jù)源的表監(jiān)控,如MySQL、Oracle、Hana等。結(jié)合使用全域版和域內(nèi)版的功能,能夠拓展可監(jiān)控的資產(chǎn)對(duì)象類型,將數(shù)據(jù)質(zhì)量風(fēng)險(xiǎn)前置,降低對(duì)后續(xù)研發(fā)鏈路的影響。

13.png

2、基于DAMA體系內(nèi)置豐富的質(zhì)量規(guī)則模板,開(kāi)箱即用;可自定義監(jiān)控規(guī)則并支持配置規(guī)則觸發(fā)方式,以靈活適配多樣化的業(yè)務(wù)需求。

基于DAMA(國(guó)際數(shù)據(jù)資產(chǎn)管理協(xié)會(huì))體系,Dataphin質(zhì)量模塊內(nèi)置完整性、唯一性、及時(shí)性、一致性、有效性、穩(wěn)定性6類場(chǎng)景的系統(tǒng)模版及規(guī)則,大大降低使用門(mén)檻;支持自定義SQL的方式創(chuàng)建規(guī)則模版,以靈活適配多樣性的業(yè)務(wù)需求。此外,支持配置靈活多樣的規(guī)則觸發(fā)條件,如定時(shí)觸發(fā)、代碼運(yùn)行觸發(fā)、任務(wù)調(diào)度觸發(fā)等,可滿足不同的開(kāi)發(fā)場(chǎng)景。

14.png

3、自動(dòng)生成質(zhì)量監(jiān)控報(bào)告,支持查看下載異常數(shù)據(jù),可作為質(zhì)量整改的參考。

15.png

特性6:編輯器優(yōu)化

應(yīng)用場(chǎng)景:優(yōu)化報(bào)錯(cuò)及參數(shù)自動(dòng)提示,提升開(kāi)發(fā)效率和使用體驗(yàn)。

1、報(bào)錯(cuò)提示優(yōu)化:支持快速定位到錯(cuò)誤代碼行并標(biāo)識(shí)錯(cuò)誤語(yǔ)句,提示錯(cuò)誤原因及修復(fù)建議;可自動(dòng)識(shí)別不規(guī)范的代碼語(yǔ)句,支持一鍵修復(fù)或忽略提醒。

16.png

2、支持set參數(shù)提示:提示可選的參數(shù),并支持查看參數(shù)的默認(rèn)值、類型及說(shuō)明;指定參數(shù)后,如有默認(rèn)值或枚舉值,自動(dòng)提示可選值。

17.png

特性7:實(shí)時(shí)集成支持增量同步到Hive

應(yīng)用場(chǎng)景:實(shí)時(shí)增量從MySQL或Oracle抽取數(shù)據(jù)同步到Hive

支持批量在Hive目標(biāo)庫(kù)自動(dòng)建表,可自動(dòng)為目標(biāo)表添加系統(tǒng)附加字段;支持處理DDL,如新增表、刪除表、表結(jié)構(gòu)變更等8種場(chǎng)景;提供預(yù)覽字段功能,可查看源表與目標(biāo)表字段的差異對(duì)比,減少手動(dòng)建表操作。支持智能檢查目標(biāo)表規(guī)范性及可用性,針對(duì)異常結(jié)果給出告警、錯(cuò)誤等不同等級(jí)的提示,將問(wèn)題前置以降低任務(wù)運(yùn)行錯(cuò)誤的可能性。

18.png

此外,新增實(shí)時(shí)集成任務(wù)的提交詳情,異常及風(fēng)險(xiǎn)提示一目了然,校驗(yàn)流程透明化。

19.png

特性8:離線集成組件優(yōu)化

應(yīng)用場(chǎng)景:適配多種數(shù)據(jù)源的特殊邏輯及異常處理,提升集成任務(wù)配置流暢度。

輸入組件,對(duì)PostgreSQL、AnalyticDB for PostgreSQL類型的數(shù)據(jù)源,在使用QuerySQL方式時(shí),支持添加常量字段

Hana組件支持小寫(xiě)表名

由于AnalyticDB for PostgreSQL僅支持在建表時(shí)指定分區(qū)字段,不支持后續(xù)添加,因此在整庫(kù)遷移目標(biāo)數(shù)據(jù)源為AnalyticDB for PostgreSQL時(shí),自動(dòng)添加分區(qū)字段,以適配需要?jiǎng)?chuàng)建分區(qū)的場(chǎng)景

Hologres輸出組件支持填寫(xiě)SQL準(zhǔn)備語(yǔ)句和完成語(yǔ)句

優(yōu)化Oracle來(lái)源表帶有特殊字符(如/)時(shí)的處理策略,使離線管道任務(wù)能正常運(yùn)行而無(wú)需使用自定義組件,降低配置成本

特性9:補(bǔ)數(shù)據(jù)支持過(guò)濾暫停節(jié)點(diǎn)

應(yīng)用場(chǎng)景:批量選中多層節(jié)點(diǎn)進(jìn)行補(bǔ)數(shù)據(jù),可一鍵過(guò)濾暫停節(jié)點(diǎn),避免阻斷補(bǔ)數(shù)據(jù)任務(wù)執(zhí)行。

調(diào)度方式為“暫停調(diào)度”的任務(wù),生成的補(bǔ)數(shù)據(jù)實(shí)例默認(rèn)為暫停運(yùn)行。暫停運(yùn)行的節(jié)點(diǎn)會(huì)阻斷下游其他實(shí)例的運(yùn)行,此外如果選擇了多個(gè)補(bǔ)數(shù)據(jù)業(yè)務(wù)日期且設(shè)置為周期間串行(即并發(fā)分租數(shù)為1),還會(huì)影響后續(xù)業(yè)務(wù)日期實(shí)例的執(zhí)行,阻斷整個(gè)補(bǔ)數(shù)據(jù)進(jìn)程。

基于該背景,Dataphin新增支持在配置補(bǔ)數(shù)據(jù)任務(wù)時(shí),可一鍵過(guò)濾暫停調(diào)度的任務(wù)極其下游節(jié)點(diǎn)。此外某些場(chǎng)景下,暫停調(diào)度的任務(wù)在補(bǔ)數(shù)據(jù)對(duì)應(yīng)的業(yè)務(wù)日期下需要正常參與調(diào)度,如每月第一天運(yùn)行的財(cái)務(wù)月結(jié)算任務(wù),需要在指定的臨時(shí)結(jié)算日期運(yùn)行。針對(duì)這種場(chǎng)景,新增支持配置選中的暫停任務(wù)在選中的補(bǔ)數(shù)據(jù)業(yè)務(wù)日期的運(yùn)行方式,可選空跑、正常運(yùn)行、暫停運(yùn)行,以靈活適配多樣性的業(yè)務(wù)求。

20.png

特性10:脫敏規(guī)則支持配置脫敏方式

應(yīng)用場(chǎng)景:通過(guò)配置查詢時(shí)不脫敏僅展示脫敏,以支持簡(jiǎn)單的where/join等條件,對(duì)業(yè)務(wù)使用更友好

數(shù)據(jù)開(kāi)發(fā)中,常常對(duì)一些敏感字段需要配置脫敏規(guī)則,以保障數(shù)據(jù)安全。默認(rèn)情況下,在整個(gè)研發(fā)鏈路中,配置了脫敏規(guī)則的數(shù)據(jù)均使用脫敏后的結(jié)果參與計(jì)算,會(huì)導(dǎo)致where/join等條件不生效的問(wèn)題,影響業(yè)務(wù)使用。基于此背景,Dataphin支持針對(duì)脫敏規(guī)則配置不同的脫敏方式:

底層脫敏:在數(shù)據(jù)被查詢時(shí)就進(jìn)行脫敏。SQL的處理過(guò)程中,均使用脫敏后的結(jié)果處理,能對(duì)數(shù)據(jù)起到更好的保護(hù)效果

僅展示脫敏:在數(shù)據(jù)被查詢時(shí)不進(jìn)行脫敏,僅在最后對(duì)外展示的時(shí)候進(jìn)行脫敏。SQL處理過(guò)程中,均使用原文進(jìn)行處理,因此可以支持簡(jiǎn)單的where/join等條件,對(duì)業(yè)務(wù)使用更友好。需要注意的是,如果對(duì)敏感字段使用UDF處理(如字符串截取),會(huì)觸發(fā)脫敏降級(jí),該字段生成的衍生字段會(huì)統(tǒng)一降級(jí)為***。

21.png

通過(guò)該能力,開(kāi)發(fā)人員可以根據(jù)不同的使用場(chǎng)景配置不同的脫敏策略,以更好地適配業(yè)務(wù)需求,平衡好數(shù)據(jù)安全性和使用靈活性。

特性11:自定義消息渠道

應(yīng)用場(chǎng)景:快讀對(duì)接阿里云電話/短信以及企業(yè)自有消息渠道,以獲取告警及消息通知

支持實(shí)例級(jí)別和租戶級(jí)別的自由配置,不同租戶可開(kāi)啟不同的消息渠道。支持快速對(duì)接阿里云的電話及短信渠道,或經(jīng)過(guò)簡(jiǎn)單的參數(shù)配置對(duì)接企業(yè)自由的消息渠道。配置完成后,支持發(fā)送測(cè)試消息,以快速驗(yàn)證渠道可用性,保證消息可正常發(fā)送。

22.png

23.png24.png

特性12:跨租戶發(fā)布配置優(yōu)化

應(yīng)用場(chǎng)景:導(dǎo)入導(dǎo)出配置優(yōu)化,支持對(duì)接外部存儲(chǔ)系統(tǒng),發(fā)布流程更順暢

1、導(dǎo)出文件配置優(yōu)化:

新增可設(shè)置“是否導(dǎo)出建表語(yǔ)句”;如設(shè)置了導(dǎo)出,可在待發(fā)布對(duì)象列表下載建表文件

新增支持設(shè)置“是否運(yùn)行下載發(fā)布文件”

新增支持發(fā)布文件外部存儲(chǔ)設(shè)置(本期支持啟用OSS存儲(chǔ)),可設(shè)置導(dǎo)出完成后“是否自動(dòng)轉(zhuǎn)存外部存儲(chǔ)”,并支持設(shè)置同名文件沖突處理策略;若開(kāi)啟外部存儲(chǔ),待發(fā)布對(duì)象列表可一鍵轉(zhuǎn)存并查看轉(zhuǎn)存記錄

25.png

2、導(dǎo)入數(shù)據(jù)源校驗(yàn)優(yōu)化:

按照“數(shù)據(jù)源名稱”進(jìn)行匹配,如有名稱相同的數(shù)據(jù)源則校驗(yàn)數(shù)據(jù)源類型,類型一致則認(rèn)為在目標(biāo)環(huán)境匹配成功

如果未匹配到同名數(shù)據(jù)源,僅提示風(fēng)險(xiǎn),不阻斷發(fā)布(可能導(dǎo)致依賴對(duì)應(yīng)數(shù)據(jù)源的任務(wù)發(fā)布失敗)

四、總結(jié)與展望

本次發(fā)布的V3.6版本中,Dataphin圍繞數(shù)據(jù)資產(chǎn)建設(shè)、數(shù)據(jù)資產(chǎn)治理、基礎(chǔ)平臺(tái)等三大功能板塊進(jìn)行了完備性、安全性、研發(fā)效率、開(kāi)放性、穩(wěn)定性、易用性、可交付性等方面進(jìn)行了優(yōu)化和升級(jí)。在下一個(gè)版本中,我們將持續(xù)提升資產(chǎn)建設(shè)平臺(tái)的易用性及可交付性、資產(chǎn)治理平臺(tái)的完備性以及基本戶平臺(tái)的穩(wěn)定性和開(kāi)放性進(jìn)行迭代,敬請(qǐng)期待!

分享到:

相關(guān)推薦

評(píng)論 搶沙發(fā)

評(píng)論前必須登錄!

 

精彩評(píng)論