暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

DataOps,敏捷精益的数据运营

志明与数据 2023-02-25
630

本文为《DataOps实践手册-敏捷精益的数据运营》一书的概要分享,帮助大家快速理解DataOps概念,也希望抛砖引玉,听听您对DataOps的见解。
















本书作者哈文德·阿特瓦尔,拥有丰富的职业生涯,是一位非常有经验的数据管理专家,擅长通过数据分析来增强客户体验和提高业务绩效。他不仅熟悉分析的各类算法,更对从数据中传递价值所需的人员、流程和技术变革感兴趣,而且有着许多实践经验。哈文德也是一位颇受欢迎的演讲嘉宾,多次在一些国际数据研讨会上发表数据主题的专题演讲。


上面是参与本次翻译的译者,各位译者都在数据管理领域具有多年的理论和实践经验。此外,为了确保本书翻译的质量,我还邀请了中国信通院DataOps标准编写组的多位专家参与了校对工作。借此机会,对各位参与翻译和校对的朋友表示由衷的感谢!


本书是国内首本介绍DataOps方法论的书籍,很多读者会担心这是不是一本高深的技术书籍?其实完全不用担心,该书完全不是纯技术类书籍,而是从“道”与“法”的层面,阐述什么是DataOps,帮助读者深入浅出的理解和实践敏捷精益的数据运营体系。所以,本书适合参与数字化转型的各类角色人员阅读和学习,尤其有助于数据科学高级管理岗位的专业人士开拓视野、提升领导力。


首先,一起来理解下数据运营的概念,我们说数据运营泛指通过数据来 分析业务活动和解决问题、利用各种数据科学技术挖掘数据价值、帮助企业优化业务管理和提升决策效率的各类活动过程
随着我国数字化转型的开展,人们对数据利用得越来越深入,数据生产加工的链条越来越长,传统上以手工衔接流程为主的数据运营模式愈发跟不上时代的发展要求,如何能更有效地开发数据资源、释放数据价值,成为值得进一步探索的方向,DataOps的理念因此乘风而起,受到了业界的广泛关注。

本书总结了作者25年的行业经验和对DataOps的认知,从当前数据团队交付面临的挑战、什么是DataOps、如何建立对数据的信任,以及如何成功实现DataOps目标等多个方面,进行了系统的阐述。


本书结构上包括:DataOps入门开始DataOpsDataOps进阶自助服务组织的建立四个部分。
  • 第一部分,从数据科学面临的问题,以及如何系统性解决问题,即制定一个接地气的数据战略开篇;

  • 第二部分,介绍理想中的数据运营,应该具备的三个方面特征,即精益思维、敏捷协作,以及构建反馈和度量;

  • 第三部分,介绍如果组织期望开展敏捷高效的数据运营,应该从哪些方面着手,即解决人的问题要建立信任、一体化的理念,以及组织架构的问题;

  • 最后一部分,概要介绍数据运营流水线过程中涉及的流行技术,方便大家扩展选型的范围;
书中每一部分都非常精彩,下面就精华部分做概要解读。


第一部分开篇,作者介绍到:随着数字化转型越来越深入人心,越来越多的企业开始加大数据科学的投入,建设各种大数据系统、高薪聘请博士组建团队,来进行数据科学的研究,但是经过一段时间的运转,经常发现产出情况和预期差异很大,大家都开始质疑数据科学的价值,或者博士们的能力,那么问题出在哪里呢?
书中把这些状况的出现归纳为八大原因,并由此得出结论:数据已经不再属于IT,我们需要新的数据战略,来系统的规划和解决上述的问题

由此可以看出,要想让数据充分发挥价值,不是单一的聘请博士团队,或者购买一些工具即可。整个组织数据运营能力的提升是一个系统性的工程,需要一个切实可行的战略指引,需要从组织、人员、技术、流程、资产管理等诸多方面进行系统性部署。


第二部分介绍为了系统性地解决问题、实现高效的数据运营应该具备的三种思维,即:

  • 精益思维,精益思维起源于丰田公司,后来在软件开发过程中也得到了很好的应用。丰田公司在精益制造中总结的经典七大浪费现象,在数据运营中也是普遍存在的,数据运营也亟需借鉴并实践精益思维。

  • 敏捷协作,敏捷的理念,已经在软件开发领域取得了成效,书中提出的数据运营18原则,对助力数据快速发挥价值也有着巨大意义。

  • 构建反馈和度量,重点是要理解所有运营活动是一个相互关联的系统,彼此如何随时间的推移而互动,需要建立反馈和度量机制,持续互动改进,才能建立一个健康的数据运营系统。


作者为我们总结了数据运营的18原则,也是非常经典的。18原则对数字化转型工作意义非凡,这里面有对计算的要求,更多的是一种文化的革新,感兴趣的同学可以亲自阅读学习,这里就不详细展开。


第三部分,作者和我们分享了,要建立精益敏捷的数据运营能力,需要的进一步措施,主要分下面三步:

  1. 建立信任:要想人们信任数据,高质量的元数据管理必不可少,本章介绍了元数据、标签、数据质量评估、数据血缘、数据清理、数据发现等概念和实践。

  2. 建立面向数据运营的DevOps能力:高效的数据运营,需要自动化和持续集成能力,开发运营一体化的Devops实践完全可以借鉴到数据运营过程中大显身手。

  3. 构建一个DataOps组织:数据价值的发挥,最终还是依靠人员和组织架构的支撑。特别提到,数字化时代,数据运营更多的需要各种M型,π型人才,各位数据管理专业人员不仅要精进数据管理,还要学习相关的领域业务知识。


敏捷精益的数据运营离不开各种软件技术的支持,在本书的最后一部分中,介绍了数据运营各个环节中目前的热门技术清单,以及DataOps运营能力建设的最佳实践,如最小产品原则等。这一部分,作者特别提醒我们,技术和工具的选择一切都始于业务需求!支持业务、为业务创造价值才是数据运营的初心和使命。


最后做个简单总结:DataOps虽然是Data Operations的缩写,但是已经具有了全新的内涵。DataOps不是各类数据运营活动的简单堆砌,而是蕴含着精益、敏捷思想,以及DevOps理念的系统化工程,只有敏捷精益的数据运营才能称得上是DataOps。



文章转载自志明与数据,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论