歡迎訪問廈門信息集團大數據運營有限公司網站(zhàn)!
0551-65909059   公司OA
聯系電話(huà):
當前位置:首頁>>新聞中心>>行業動态 >>數據治理(lǐ)平台工(gōng)具前世今生
今天是: 2024年07月29日   【農(nóng)曆:六月廿四】  星期一
數據治理(lǐ)平台工(gōng)具前世今生

本文(wén)經授權轉載自(zì)數據工(gōng)匠(jiàng)俱樂部(作(zuò)者:蔡春久)

原文(wén)鏈接:https://mp.weixin.qq.com/s/HJykXa_VhanLUcLw2Hs6IQ

前言

伴随着企事(shì)業單位信息化不斷的深入、各種技術持續的發展以及人們對(duì)數據治理(lǐ)的認知(zhī)不斷加深,數據治理(lǐ)工(gōng)具在過去的20年也(yě)不斷的發展,筆(bǐ)者以某世界500集團企業案例爲原型,介紹數據治理(lǐ)工(gōng)具發展及變遷及未來(lái)發展趨勢和(hé)方向,供廣大(dà)讀參考。

數據治理(lǐ)背景介紹

狹義上(shàng)講,數據治理(lǐ)是指對(duì)數據質量的管理(lǐ)、專注在數據本身。廣義上(shàng)講,數據治理(lǐ)是對(duì)數據的全生命周期進行管理(lǐ),包含數據采集、清洗、轉換等傳統數據集成和(hé)存儲環節的工(gōng)作(zuò)、同時(shí)還包含數據資産目錄、數據标準、質量、安全、數據開(kāi)發、數據價值、數據服務與應用(yòng)等,整個數據生命期而開(kāi)展開(kāi)的業務、技術和(hé)管理(lǐ)活動都屬于數據治理(lǐ)範疇。有的專家幹脆把廣義的數據治理(lǐ)稱爲數據資産管理(lǐ)。

數據治理(lǐ)專注于将數據作(zuò)爲企事(shì)業單位數據資産進行應用(yòng)和(hé)管理(lǐ)的一套管理(lǐ)機制,能(néng)夠消除數據的不一緻性,建立規範的數據應用(yòng)标準,提高(gāo)數據質量,實現(xiàn)數據内外(wài)部共享,并能(néng)夠将數據作(zuò)爲組織的寶貴資産應用(yòng)于業務、管理(lǐ)、戰略決策中,發揮數據資産價值。

數據治理(lǐ)管理(lǐ)工(gōng)具演變曆程及各自(zì)階段典型特點

筆(bǐ)者根據20年的從(cóng)業信息化行業經驗,總結了(le)數據治理(lǐ)工(gōng)具演變曆程和(hé)在不同階段典型特征。


圖1. 數據治理(lǐ)管理(lǐ)工(gōng)具演變曆程

1)第一代數據治理(lǐ)工(gōng)具-編碼時(shí)代(起步期,1994-2004年)

在這(zhè)個時(shí)代裏,企事(shì)業單位各種MIS系統得到(dào)較好(hǎo)的發展和(hé)應用(yòng),最典型莫過于是物資管理(lǐ)系統、進銷存系統、PDM系統等信息系統。爲了(le)确保這(zhè)些(xiē)MIS系統各種編碼好(hǎo)用(yòng),好(hǎo)查,避免一物多碼情況的發生,一些(xiē)大(dà)型集團企業在早期開(kāi)發一些(xiē)名叫“編碼系統”“編碼網站(zhàn)”等系統,這(zhè)些(xiē)系統主要發布主數據代碼爲主,配合某一單一的MIS系統應用(yòng)爲主,有的甚至在這(zhè)些(xiē)單一系統開(kāi)發一個模塊,如編碼模塊。這(zhè)是數據治理(lǐ)工(gōng)具最早期的工(gōng)具,确保MIS中各種編碼唯一性。

以下(xià)爲編碼管理(lǐ)系統功能(néng)架構。

圖2. 編碼管理(lǐ)工(gōng)具功能(néng)結構圖

以下(xià)以物資編碼管理(lǐ)系統爲例,列舉了(le)物料編碼系統功能(néng)點。

圖3. 物料編碼管理(lǐ)系統功能(néng)範例

在這(zhè)個時(shí)代,編碼系統采用(yòng)B/S架構、C/S架構都有,采用(yòng).net和(hé)JAVA技術居多,通過分發和(hé)訂閱形式發布數據。以下(xià)爲物資編碼系統系統頁面。

圖4. 物料編碼管理(lǐ)系統功能(néng)頁面範例

2)第二代數據治理(lǐ)工(gōng)具-主數據管理(lǐ)時(shí)代(發展期,2005年-2011年)

這(zhè)個時(shí)代最典型是國内很(hěn)多大(dà)型集團企業流行實施ERP系統,國外(wài)主流産品例如SAP ERP和(hé)Oracle EBS等産品,國内主流産品例如用(yòng)友的U8、NC、金(jīn)蝶的K3等。

最早的是些(xiē)外(wài)國ERP廠(chǎng)商推出MDM産品,例如Informatica、Oracle、IBM、SAP 、微軟都采取了(le)自(zì)有産品并提供主數據管理(lǐ)解決方案,集中管理(lǐ)單一版本的、完整的和(hé)可信任的主數據信息。這(zhè)些(xiē)産品具有企業級主數據存儲、數據整合、數據共享、數據質量、數據治理(lǐ)5大(dà)功能(néng)。基于SOA架構的企業級應用(yòng)。支持兩種實施模式:即“推動模式(交易模式)”和(hé)“拉動模式(共享模式)”。

主數據分發和(hé)交換主要采用(yòng)企業服務總線(ESB)産品,較多使用(yòng)國外(wài)主流IT廠(chǎng)商産品,例如:微軟的BizTalk、IBM WAS 、 Oracle OSB 、SAP XI(後來(lái)叫PI/PO)等。采用(yòng)SOA, B/S架構,主要爲ERP等經營管理(lǐ)系統服務。

圖5.     某國際廠(chǎng)商 MDM系統的功能(néng)結構

某國際廠(chǎng)商主數據管理(lǐ)解決方案涵蓋主數據建模、數據導入、數據分發、數據查重、數據校驗、數據完善、數據創建流程等企業主數據管理(lǐ)的各個方面。提供基于行業标準的模型建模語言,供客戶快(kuài)速定義主數據創建或審批流程,支持并行和(hé)串行流程,并提供強大(dà)的流程分析報(bào)表,幫助企業提高(gāo)流程效率。同時(shí)提供Java/.Net/Web Service等多種API,滿足和(hé)企業内其他(tā)系統集成的需求。該主數據管理(lǐ)解決方案可通過數據校驗、數據查重和(hé)數據合并等手段,有效的提高(gāo)企業主數據的質量。同時(shí)提供可選的組件Data Quality,提供深度的數據質量校驗功能(néng),如根據中國郵政名址庫進行客戶地址校驗更正,提高(gāo)地址的質量。<