我们距离DataOps还有多远?

中国信通院云大所 2022-05-07 09:58:23

起源

 

 

2014年

 
Lenny Liebmann提出DataOps的概念,在《3 reasons why DataOps is essential for big data success》这篇文章中,Lenny提出DataOps是优化数据科学和运营团队之间协作的一些实践集。
 
 

2015年

 

Andy Palmer将这个理念发扬光大,提出了DataOps的四个关键构成,数据工程、数据集成、数据安全和数据质量。

 

 

2017年

 

Nexla的Jarah Euston把DataOps的核心定义为从数据到价值。这个是首次把DataOps和业务价值关联起来的定义。

 
 

2018年

 

Gartner将其纳入到数据管理的技术成熟度曲线,标志着DataOps正式被业界所接纳并推广起来。

 

DataOps的概念自2014年提出至今已有8年之久。Gartner在2018年将DataOps纳入数据管理技术成熟度曲线,预计未来5-10年能达到成熟的水平。然而在2021年的报告中,DataOps仍然处于技术的“萌芽期”,预计未来2-5年可能达到成熟水平。现在看,留给DataOps的时间可是不多啦。

 

图片

 

定义

 
 

IBM

 

IBM将DataOps定义为DataOps是人员、流程和技术的有机结合,用于快速向数据公民提供可信的高质量数据。

 
 

Gartner

 

DataOps是一种协作性的数据管理实践,专注于改善整个组织的数据管理者和消费者之间的沟通、整合和数据流的自动化。

 
 

Wikipedia

 

DataOps是一套实践、流程和技术,它将综合的、面向流程的数据观点与敏捷软件工程中的自动化和方法相结合,以提高质量、速度和协作,促进数据分析领域的持续改进文化。

 
 

中国信通院

 

数据研发运营一体化(DataOps)是一种面向数据全生命周期,以价值最大化为目标的最佳实践。聚焦于协同从数据需求输入到交付物输出的全过程。明确研发运营目的,细化实施步骤,在价值运营、系统工具、组织模式、安全风险管理的支撑下,实现数据研发运营的一体化、敏捷化、精益化、自动化、智能化、价值显性化理念。

 

现状

 

从定义上来看,国外的一些机构纷纷给出自己的一些定义和理解,强调了DataOps的实践、敏捷、协同等特点。普遍认为DataOps是一种先进的数据分析、开发、管理理念。

 

2022年,中国信通院联合各行业组织机构对DataOps定义为一种由价值运营、工具、组织管理和安全加持下的最佳实践,并突出了一体化、敏捷化、精益化、自动化、智能化和价值显性化的特征。

 

从实施上来看,尽管Gartner的预测与实际发展变化难以完全契合,但从2018~2021年连续的报告上来看,DataOps长期处于“萌芽期”的位置,这也一定程度上反映了国内外组织对DataOps的实践还依然处于摸索尝试的阶段,鲜有组织明确的宣传自己的“成功”案例。

 

整体上来看,组织对DataOps的实践状态一直处于雾里看花、盲人摸象的阶段。虽然我们注意到越来越多的企业开始了对DataOps实践的尝试,越来越多的厂商试图开发适应DataOps理念的工具,但是“我们好像实践了DataOps,但又好像没有”,这句话很好地描述出了不少企业的现状。

 

2022年4月,中国信通院联合工商银行、招商银行、农业银行、平安银行、浦发银行、南京银行、阿里云、腾讯云、新炬网络、深算院等20余家单位对DataOps的定义、标准框架、能力特征等细节进行了深入的交流和探讨并达成了一致。未来我们将结合中国的数据发展情况,打造一套适合我国数据行业发展的DataOps体系。

 

图片

 

那么您认为企业距离DataOps还有多远呢?欢迎加入我们,一起分享交流DataOps的实践经验、探讨组织遇到的切实问题。

 

@尹正 

电话:15810811776(微信同)  

邮箱:yinzheng@caict.ac.cn

 

本文内容源自:数据资产管理联盟IDA

最新评论
访客 2022年05月03日

写的很好呀!

访客 2022年04月07日

你好,看完文章,有点地方不太明白,想请教下两个问题…

访客 2022年03月30日

想问一下,如何才能发现数据冲突呢

访客 2022年03月30日

d

访客 2022年03月28日

梁老师,您好,看了您写的exadata image升级方案,请…

活动预告