6月29日，阿里巴巴宣布成立專注企業(yè)數(shù)智服務(wù)的子公司瓴羊智能服務(wù)公司。Dataphin作為瓴羊的開發(fā)云核心產(chǎn)品之一，是阿里巴巴集團(tuán)OneData數(shù)據(jù)治理方法論基于內(nèi)部實踐的產(chǎn)品化輸出，致力于幫助各企業(yè)用中臺方法論治理企業(yè)級好數(shù)據(jù)，構(gòu)建起質(zhì)量可靠、消費便捷、生產(chǎn)安全經(jīng)濟(jì)的企業(yè)級數(shù)據(jù)中臺。
隨著各行業(yè)數(shù)字化戰(zhàn)略的開展落地，越來越多企業(yè)開始越發(fā)重視數(shù)據(jù)體系的構(gòu)建與完善。Dataphin（智能數(shù)據(jù)建設(shè)與治理）支持在多種大數(shù)據(jù)架構(gòu)之上構(gòu)建數(shù)據(jù)中臺，具備一站式數(shù)據(jù)采、建、管、用全生命周期管理能力，顯著提升數(shù)據(jù)治理水平，在計算引擎利舊降本基礎(chǔ)上滿足企業(yè)多元化數(shù)智應(yīng)用需求，為企業(yè)上云用數(shù)賦智夯實數(shù)字化能力底座。
1分鐘了解DataphinV3.5升級亮點
本次發(fā)布的V3.5版本中，Dataphin圍繞數(shù)據(jù)資產(chǎn)建設(shè)、數(shù)據(jù)資產(chǎn)治理、基礎(chǔ)平臺等三大功能板塊進(jìn)行了完備性、安全行、研發(fā)效率、開放性、穩(wěn)定性、易用性、可交付性等優(yōu)化和升級。
基于最新版本的Dataphin產(chǎn)品能力，企業(yè)將在數(shù)據(jù)中臺建設(shè)過程中獲得更大的助力。如通過多平臺多引擎適配能力，以及高效的數(shù)據(jù)集成，完成一站式數(shù)據(jù)匯聚處理，降低中臺建設(shè)起步成本。
其次，在企業(yè)重點關(guān)注的數(shù)據(jù)治理領(lǐng)域，通過數(shù)據(jù)研發(fā)賦能及治理實踐產(chǎn)品化輸出，企業(yè)可以通過阿里方法論（OneData）指導(dǎo)數(shù)據(jù)研發(fā)與治理。
除此之外，此次版本升級讓Dataphin平臺易用性獲得了大幅提升，能夠加速企業(yè)數(shù)字能力建設(shè)，例如通過內(nèi)置幫助文檔優(yōu)化新手使用體驗，智能運維診斷提升人員工作效能，同時支持客制自由化需求，與企業(yè)現(xiàn)有系統(tǒng)完成更佳融合。
在下一個版本中，我們將圍繞資產(chǎn)建設(shè)平臺的易用性及可交付性、資產(chǎn)治理平臺的完備性以及基礎(chǔ)平臺的穩(wěn)定性和開放性進(jìn)行持續(xù)迭代，敬請期待！
10項能力升級，覆蓋多場景妙用
特性1：多租戶能力
應(yīng)用場景：支持多個計算平臺的納管，充分利用已有資產(chǎn)，降低中臺建設(shè)起步成本
很多客戶在升級到數(shù)據(jù)中臺前，已經(jīng)開始了部分?jǐn)?shù)據(jù)資產(chǎn)的建設(shè)，在不同的部門或業(yè)務(wù)中使用Hadoop集群或者星環(huán)TDH的集群用于離線數(shù)據(jù)研發(fā)。在升級到企業(yè)級的數(shù)據(jù)中臺后，若能利用原有集群的計算能力，逐步遷移到新的計算平臺，將更好的利用已有的資產(chǎn)，降低企業(yè)建設(shè)數(shù)據(jù)中臺的起步成本。
在新版本中，Dataphin將支持以MaxCompute或Hadoop（包括CDH5、CDH6、CDP、星環(huán)Inceptor等）為元倉，支持利用Dataphin的多租戶的能力，用不同的租戶納管不同的計算平臺，一套平臺統(tǒng)一數(shù)據(jù)研發(fā)平臺，統(tǒng)一研發(fā)體驗。
應(yīng)用場景：支持租戶間數(shù)據(jù)共享和推送，靈活進(jìn)行集團(tuán)/子公司數(shù)據(jù)資產(chǎn)管控和沉淀
大型集團(tuán)公司往往有公共資產(chǎn)建設(shè)及統(tǒng)一平臺的訴求，而旗下子公司有保留相對獨立的管控及數(shù)據(jù)資產(chǎn)管理的空間的訴求。利用Dataphin提供的多租戶的能力，集團(tuán)和子公司分別使用不同的租戶，通過數(shù)據(jù)集成的能力共享數(shù)據(jù)到集團(tuán)租戶，集團(tuán)也可通過數(shù)據(jù)集成的能力將公共數(shù)據(jù)推送到子公司的租戶中。這樣的架構(gòu)形式既能統(tǒng)一管理沉淀集團(tuán)公共層數(shù)據(jù)，又能讓子公司保留相對的獨立，進(jìn)行更加靈活的管控和研發(fā)。
特性2：湖倉一體
應(yīng)用場景：通過MaxCompute + DLF 進(jìn)行統(tǒng)一的元數(shù)據(jù)管理，更高效清晰管理企業(yè)數(shù)據(jù)資產(chǎn)
最近幾年，湖倉一體的解決方案逐漸出現(xiàn)在客戶的應(yīng)用場景中。Dataphin也對這一場景進(jìn)行了支持。通過數(shù)據(jù)倉庫MaxCompute和數(shù)據(jù)湖構(gòu)建（DLF）將綁定映射了DLF元數(shù)據(jù)庫的MaxCompute的外部項目注冊到Dataphin的項目計算引擎，Dataphin可將數(shù)據(jù)湖中的元數(shù)據(jù)讀取到Dataphin中，進(jìn)行統(tǒng)一的元數(shù)據(jù)管理。
基于MaxCompute能力的湖倉一體的方案支持以下的產(chǎn)品特性：
基礎(chǔ)離線研發(fā)：基于MaxCompute SQL可對數(shù)據(jù)湖內(nèi)的數(shù)據(jù)進(jìn)行加工處理
統(tǒng)一元數(shù)據(jù)管理：可查詢檢索湖倉中的表、字段，并根據(jù)任務(wù)中自動血緣解析進(jìn)行溯源追蹤
資產(chǎn)治理：可對湖倉內(nèi)的數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量稽核校驗，并可支持安全識別及脫敏
通過以上產(chǎn)品能力，企業(yè)在數(shù)據(jù)入湖、入倉之后，能夠?qū)Ａ繑?shù)據(jù)進(jìn)行存儲和加工，幫助企業(yè)完成更清晰易用的數(shù)據(jù)資產(chǎn)管理，高效支撐后續(xù)的數(shù)據(jù)調(diào)取、數(shù)據(jù)處理、數(shù)據(jù)消費需求，快速應(yīng)對快速變化的數(shù)字化應(yīng)用挑戰(zhàn)。
特性3：建模研發(fā)優(yōu)化
應(yīng)用場景：派生指標(biāo)基于最大分區(qū)的計算 ，可節(jié)約存儲資源，保障數(shù)據(jù)強(qiáng)一致性
維度邏輯表, 累積快照事實表, 周期快照事實表的每一個分區(qū)都是截止分區(qū)時間的全量數(shù)據(jù), 最后一個分區(qū)完全覆蓋前面所有分區(qū)的數(shù)據(jù). 建模原來的設(shè)計中, 指標(biāo)生產(chǎn)讀取的是指標(biāo)時間對應(yīng)的邏輯表分區(qū), 為了滿足補(bǔ)數(shù)據(jù)的需要, 必須保留邏輯表很長一段時間的歷史分區(qū), 帶來了存儲的浪費. 3.5 版本支持在使用最新分區(qū)補(bǔ)任意過去時間的數(shù)據(jù), 且默認(rèn)使用這種設(shè)置.
特性4：數(shù)據(jù)標(biāo)準(zhǔn)
應(yīng)用場景：為數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)提供統(tǒng)一的產(chǎn)品化能力，讓數(shù)據(jù)流通通暢無歧義
數(shù)據(jù)標(biāo)準(zhǔn)是用于描述公司層面需共同遵守的數(shù)據(jù)含義和業(yè)務(wù)規(guī)則，通常從業(yè)務(wù)、技術(shù)、管理三方面進(jìn)行定義，使組織內(nèi)外部使用和交換的數(shù)據(jù)是一致且準(zhǔn)確的。然而，數(shù)據(jù)標(biāo)準(zhǔn)需求缺乏統(tǒng)一管理、不同系統(tǒng)間標(biāo)準(zhǔn)制定依據(jù)各異、資產(chǎn)建設(shè)缺乏和標(biāo)準(zhǔn)的關(guān)聯(lián)，使得數(shù)據(jù)標(biāo)準(zhǔn)的建設(shè)和應(yīng)用都面臨很大困難。
Dataphin全新上線的數(shù)據(jù)標(biāo)準(zhǔn)功能，旨在為數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)提供統(tǒng)一的產(chǎn)品化能力，并通過上線審批等環(huán)節(jié)加強(qiáng)標(biāo)準(zhǔn)質(zhì)量的審核。V3.5版本中，核心支持了以下能力;
標(biāo)準(zhǔn)目錄管理：支持最多五級目錄樹管理，可以按照業(yè)務(wù)組織結(jié)構(gòu)對標(biāo)準(zhǔn)進(jìn)行分級管理
標(biāo)準(zhǔn)集管理：標(biāo)準(zhǔn)集是一系列規(guī)范相似或一致、業(yè)務(wù)含義相關(guān)的一組標(biāo)準(zhǔn)的合集。標(biāo)準(zhǔn)集不定義標(biāo)準(zhǔn)，而是基于標(biāo)準(zhǔn)集屬性，定義歸屬這個標(biāo)準(zhǔn)集都應(yīng)該統(tǒng)一遵循的規(guī)范和約束。數(shù)據(jù)標(biāo)準(zhǔn)屬性繼承歸屬的標(biāo)準(zhǔn)集屬性。
數(shù)據(jù)標(biāo)準(zhǔn)管理：支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)創(chuàng)建、審批、發(fā)布上線、修訂、下線等
后續(xù)，Dataphin將進(jìn)一步拓展標(biāo)準(zhǔn)和質(zhì)量監(jiān)控規(guī)則的關(guān)聯(lián)能力以支持研發(fā)鏈路的落標(biāo)稽核能力，以及參考數(shù)據(jù)管理等能力。
特性5：權(quán)限審計
應(yīng)用場景：權(quán)限現(xiàn)狀及變動隨時掌握，實現(xiàn)敏感數(shù)據(jù)精細(xì)化合規(guī)管理
數(shù)據(jù)資產(chǎn)化已是大勢所趨，各行各業(yè)在大力拓展數(shù)據(jù)儲備的同時，對于敏感數(shù)據(jù)權(quán)限的管理也提出了更高的要求：敏感表授權(quán)給了哪些用戶？轉(zhuǎn)崗用戶擁有哪些敏感權(quán)限需要回收？不合理的高危權(quán)限究竟是誰授權(quán)和審批的？如何應(yīng)對合規(guī)性要求？
DataphinV3.5新增權(quán)限審計模塊，能夠幫助企業(yè)更加直觀高效地對各類型敏感數(shù)據(jù)進(jìn)行精細(xì)化管理，實現(xiàn)數(shù)據(jù)權(quán)限千人千面，保障數(shù)據(jù)被合適的對象消費：
支持對當(dāng)前系統(tǒng)的權(quán)限詳情（表授權(quán)給哪些用戶，某個用戶有哪些表權(quán)限）、權(quán)限操作（申請、授權(quán)等）進(jìn)行詳情審計，詳細(xì)了解權(quán)限系統(tǒng)的現(xiàn)狀和變動。支持對審計詳情進(jìn)行下載存檔，用于程序化檢查或者合規(guī)檢查。
特性6：內(nèi)置幫助文檔
應(yīng)用場景：縮短產(chǎn)品使用適應(yīng)周期，幫助新手用戶快速上手開展數(shù)據(jù)建設(shè)工作
Dataphin功能眾多，使用鏈路復(fù)雜，對于新手用戶來說，通常需要參照用戶指南進(jìn)行操作。V3.5版本，新增內(nèi)置幫助文檔，可以在操作頁面一鍵呼出，隨時查閱功能說明及操作引導(dǎo)，同時支持自定義調(diào)整窗口位置和大小，大大增強(qiáng)了易用性，減少產(chǎn)品版本和用戶指南版本不一致、查閱困難的問題。
特性7：查詢加速
應(yīng)用場景：即席查詢提升至秒級，不卡頓無需等待，讓研發(fā)體驗更順滑
Dataphin 3.5 針對MaxCompute引擎的即席查詢, 默認(rèn)啟用了查詢加速MCQA（MaxCompute Query Acceleration）功能. MCQA自動識別查詢作業(yè)大小, 自動分配小作業(yè)到獨立資源組, 將原來分鐘級的查詢優(yōu)化提升到秒級. 該功能為默認(rèn)設(shè)置, 無須用戶介入開啟。
特性8：運行診斷
應(yīng)用場景：自動化分析定位問題，提升運維人員修復(fù)效率，降低人工運維成本
任務(wù)為什么還未開始運行？需要處理的最上游節(jié)點是那個？為何某個任務(wù)被限流、命中了哪些限流規(guī)則？長時間等待調(diào)度資源，是分配不合理還是可用余量不足？...對于運維人員來說，常常被這些問題困擾，人工排查難度大、準(zhǔn)略率較低，影響了任務(wù)恢復(fù)進(jìn)度，還可能阻礙下游業(yè)務(wù)數(shù)據(jù)產(chǎn)出。
V3.5新增的離線任務(wù)運行診斷能力，支持：
自動化問題排查：按照上游依賴、定時時間、限流規(guī)則、調(diào)度資源、實例運行5個流程，對實例運行結(jié)果進(jìn)行自動化分析，幫助用戶快速識別并定位問題
智能診斷建議：提示問題產(chǎn)生的可能原因和修復(fù)建議，降低運維人員的人工分析成本，提升問題修復(fù)效率
特性9：調(diào)度資源優(yōu)化
應(yīng)用場景：提升SQL任務(wù)在調(diào)度系統(tǒng)的吞吐量，避免因SQL任務(wù)阻塞影響業(yè)務(wù)進(jìn)程
任務(wù)只有在調(diào)度資源充足的情況下才會被下發(fā)到計算引擎。對于SQL任務(wù)來說，主要消耗計算資源而非調(diào)度資源，因此調(diào)度資源通常不會成為SQL任務(wù)運行的瓶頸。
然而歷史版本中，調(diào)度系統(tǒng)未針對SQL任務(wù)預(yù)留單獨的調(diào)度資源組，從而導(dǎo)致SQL任務(wù)常常因為其他消耗資源多、運行時間久的任務(wù)阻塞下發(fā)，影響業(yè)務(wù)進(jìn)程。V3.5版本中，Dataphin針對SQL任務(wù)預(yù)留了單獨的調(diào)度資源組，提升了資源分配的合理性
特性10：審批系統(tǒng)接入
應(yīng)用場景：通過接入企業(yè)統(tǒng)一的審批中心，提升審批效率及易用性
Dataphin內(nèi)置了簡單的審批系統(tǒng)，可支持在Dataphin內(nèi)部進(jìn)行如權(quán)限申請、業(yè)務(wù)上線等審批的申請、審核和流轉(zhuǎn)。也有部分的客戶希望將Dataphin的審批任務(wù)集成在已有的審批系統(tǒng)中，以及根據(jù)組織關(guān)系及企業(yè)內(nèi)部的流程規(guī)范進(jìn)行更加自由及客制化的審批規(guī)則定義，如對于低敏感等級的數(shù)據(jù)對某些項目進(jìn)行開放，無需審批，而對于敏感數(shù)據(jù)的使用，則需要配置三級審批，降低安全合規(guī)的風(fēng)險。
DataphinV3.5版本支持了對接外部審批系統(tǒng)的功能，客戶可經(jīng)過簡單的代碼及配置，即可將Dataphin的審批任務(wù)發(fā)送到外部審批系統(tǒng)中，完成審批后，將審批結(jié)果同步給Datpahin，進(jìn)行后續(xù)的處理從而大幅提升審批工作流的效率和易用性。
關(guān)于瓴羊：
瓴羊是一家專注企業(yè)數(shù)智服務(wù)的DaaS公司，由阿里巴巴集團(tuán)數(shù)據(jù)中臺、業(yè)務(wù)中臺、客服系統(tǒng)、供應(yīng)鏈服務(wù)等多個部門融合升級而來，沉淀了阿里十年來數(shù)字化實踐的經(jīng)驗與能力，是“阿里巴巴最佳實踐”完整、系統(tǒng)、產(chǎn)品化地全面對外輸出。
瓴羊擁有著深度的行業(yè)洞見，專業(yè)的數(shù)字化團(tuán)隊就企業(yè)數(shù)字化轉(zhuǎn)型中的關(guān)鍵問題提供咨詢服務(wù)，針對數(shù)據(jù)治理和分析、營銷、銷售、服務(wù)、供應(yīng)鏈等企業(yè)核心經(jīng)營領(lǐng)域，推出了分析云、營銷云、產(chǎn)銷云、客服云、開發(fā)云等智能產(chǎn)品矩陣。通過持續(xù)的陪跑服務(wù)，打造客戶成功保障體系，幫助企業(yè)實現(xiàn)多云多平臺的數(shù)字化增長。
瓴羊致力于幫助不斷求“新”的企業(yè)實現(xiàn)全方位的數(shù)字化，至今已成功服務(wù)了LVMH、現(xiàn)代斗山、紅星美凱龍、小鵬汽車、漢高、老板電器、麥當(dāng)勞、一汽奧迪、海底撈、泡泡瑪特等企業(yè)的數(shù)字化建設(shè)項目，幫助客戶在數(shù)據(jù)資產(chǎn)、會員價值、貨品效率、客戶體驗等方面帶來突破性增長。
評論前必須登錄！
注冊