数据中台与DataOps兴起,数据架构才是未来

龚菲 2019-08-16 09:58:35
在数字化转型的浪潮下,数据架构备受关注。作为企业架构中的关键纽带,数据架构解决了业务与数据的映射,规范了应用架构的数据集成关系,指导了技术架构的技术选型。伴随DataOps等场景的出现,数据架构会逐步走向数据消费端,为企业带来更多的变化和新发现。

 

 

数据架构是识别企业数据需求,并以这些数据需求为出发点,设计和维护的主蓝图,以使用这些主蓝图来指导数据集成、控制数据资产,并使数据投资与业务战略保持一致(DAMA-DMBOK2)。

 

小明打算在有生之年买一套北京二环内的房子,相关机构需要分析小明是否有买房资格,这是业务需求;那么为了分析小明的买房资格,最起码需要小明的身份数据、婚姻数据、在京纳税数据、在京缴纳社保数据、在京房产数据,这些是数据需求;为了有效获取并集成这些数据,以实现相关机构分析小明买房资格的业务需求,我们需要下图所示的数据架构(注:此处只是简单例子,企业真实数据架构含有很多组件,会复杂很多)。

 

 

作为连接企业架构中其他三个架构(业务架构、应用架构、技术架构)的关键纽带,数据架构解决了业务与数据间的映射,规范了应用架构中的数据集成关系,指导了技术架构的技术选型。

 

具体来说,数据架构在企业中的作用,可总结为以下四点:

 

作为企业数据层面的主蓝图,数据架构管理了整个企业的复杂数据和信息交付,数字化时代,企业拥有的数据量远超出员工的理解范围,数据架构使企业能在不同的抽象层次上表达数据,为数据管理奠定了坚实的基础

 

数据架构是对企业当前数据状态的整体性描述,通过数据架构,企业数据状态一目了然,通过分析数据架构中的不足与业界的差距,可以帮助企业定义未来的状态目标,帮助企业快速制定战略数据需求

 

数据架构为整个企业提供了一致的数据语言(包括标准业务词汇表、标准技术元数据等),将业务架构中的业务需求转化成为了数据、系统、技术需求,使不同部门和不同身份的技术和业务人员在数据层面达成一致,为数据标准化和数据集成提供了良好的支撑

 

数据生命周期中包括了数据的创建、获取、移动、转换、存储、维护、共享、使用、处理等诸多流程,在整个生命周期中数据可以被清理、转换、合并、更新和汇总,涉及到太多的数据流转过程,规范数据在诸多生命周期阶段的流转细节可能会非常复杂,要求不同阶段之间相互理解并随时达成一致,此时数据架构必不可少

三、数据架构包含哪些内容

 

1、数据模型——数据架构的核心

 

2、数据流——数据与数据间的关系

 

3、价值流——数据与业务间的关系

 

4、数据定义和数据标准——数据架构建设的准则

 

 

 

现在数据中台建设已经成为企业数字化转型的必选件,数据架构需要从模型为导向,走向以服务为导向。传统数据架构更重视内部信息的建模和梳理,为信息化打下了很好的基础。未来数据建模依然是企业数据架构的基础,这点毋庸置疑,但是为了使数据架构真正落地,为数据消费端服务,未来在数据建模的同时需要考虑数据服务需求,提前确定服务水平协议(SLA,Service Level Agreement),这将会成为未来企业数据架构规划的重点。

 

数据建模与数据集成依然是数据架构的重要任务,但数据集成方式应该参考服务化架构,不应该再单纯关注底层模型,以梳理现状为主,而应该从数据与业务的关联入手,在模型层之上规划需要提供给业务的数据服务,在数据模型设计时就要让业务明白数据服务与底层数据的关系。

 

客户数据、采购数据、互联网数据、IOT数据等对数字化企业越来越重要,数据架构需要重点规划外部的数据模型,以实现企业内部数据与外部数据在模型层面的连接。自GDPR(通用数据保护条例)发布以来,由于数据安全的收紧,外部数据的整体数据流也需要详细规划。

五、总结

 

数据架构的演进远远没有结束,伴随未来DataOps等场景的出现,数据架构会越来越走向最终的数据消费端,这部分内容会有更多的变化和新发现。

>>>>

参考资料

 

作者:龚菲

来源:DG数据治理订阅号(ID:data-gov)

dbaplus社群欢迎广大技术人员投稿,投稿邮箱:editor@dbaplus.cn

 
 
最新评论
访客 2019年09月18日

请问下为什么不用logstash同步呢?

访客 2019年09月16日

写的太好了,我这就开始学

访客 2019年09月16日

Discretized Streams 就要过时了??

访客 2019年09月07日

写的就跟屎一样

访客 2019年09月01日

没看懂啊,PK的时候,没懂,怎就就从 (1,1)变成了…

活动预告