2021年：DataOps蓬勃发展的开端，专业人才薪水也将飙升？

2014年6月，InformationWeek的特约编辑Lenny Liebmann首次在“ DataOps对大数据成功至关重要的三个原因”中介绍了DataOps。AndyPalmer随后在Tamr推广了这些术语。 

DataOps(数据操作)是一门新兴学科，将DevOps团队与数据工程师和数据科学家角色结合在一起，提供一些工具、流程和组织结构服务于以数据为中心的企业。 

尽管DataOps对很多人来说很新鲜，但却有越来越多大数据企业与专业人士正在讨论它。从最近与业务分析师、客户到合作伙伴的对话中了解到，对能够解决数据团队日益增长的种种挑战的平台与工具的需求仍在不断增长。 Nexla最近对数据专业人士进行了一项关于他们如何使用数据的调查，发现73%的公司正在倾注并投资DataOps。 

以往负责数据整理和提供 BI 报告的独立部门，现在数据团队大多在做业务功能和流程等核心工作，以简化管理、转换所有组织数据并最终将其作为有意义的见解反馈给业务，而这也是每个企业都可能面临的挑战。 

什么是数据运营？ 

IBM 最近的一篇博客提供的定义，将 DataOps 阐明为“为端到端数据管道流程（从收集到交付）带来速度和敏捷性的实践”。然而，同一篇文章指出许多有效的定义，主要是因为该术语处于意识和采用的早期阶段。 

虽然它对不同的人可能意味着不同的事情，但 DataOps 有三个无可争议的支柱：人员、流程和技术。负责优化数据流的团队和个人为其组织带来了巨大的效率，并可以通过更快更好的洞察力为所有团队提供前所未有的敏捷性。 

就像 DevOps 系统化软件开发一样，DataOps 旨在加速数据的收集、处理和分析。

正如 IBM CIO 所指出的那样，“IDC确定了‘数据到洞察’管道中的四个核心阶段：识别数据、收集数据、转换数据和分析数据。总的来说，这些阶段也构成了称为 DataOps 新兴学科的核心要素。” 

2021年，DataOps 专业人员和团队会成为焦点？以下为三点原因。

第一，与日俱增的数据量 

数据不等于洞察力，从未使用（或不需要）的数据与没有数据是一样的。许多公司仍在努力处理他们可以访问的数据源数量。广告数据、产品数据、使用数据、财务数据、客户数据——所有部门都有越来越多的内部和外部数据源。对其进行编排、保护、处理并将其转化为相关的仪表板和业务洞察力并非易事。 

数据团队可以访问的数据粒度级别，以及专门针对其需求量身定制的解决方案的业务期望只会增长。如果没有可靠的 DataOps 团队和流程，有效地扩展业务数据和报告流程是不现实的。依赖大量数据的人工智能和机器学习算法的采用意味着这种趋势还会增长。此外，对实时数据和洞察力日益增长的需求将增加另一层运营复杂性，需要采用完全不同的方式来管理、处理、转换和呈现数据。流程自动化以及数据源和仓库的编排将比以往任何时候都更加重要。 

第二，停止低效的流程变得更加紧迫 

很少有企业会停下来好好衡量一下由于糟糕的数据处理而浪费的时间和金钱，这也称为“数据债务”，与数据管理不善相关的成本不仅会影响财务，还会损害团队做出更好决策的能力。EPAM Systems 数据和分析实践的解决方案架构师 Petr Travkin将 DataOps 视为偿还组织数据债务的答案。Travkin 解释了企业为什么会对将高级分析应用于业务领域而感到兴奋，但却很难看到改进工作流程的价值。由此产生的数据债务以浪费数据工程、数据科学和分析工作的形式出现。 

全球疫情蔓延对大多数行业造成了巨大的影响，许多公司因此面临着越来越大的财务压力，此时削减成本和优化流程成为首要任务，而DataOps则是投资回报率非常清晰的领域之一。此外，因全球封锁许多企业开始扩大其在线业务，他们清楚地知道不能在洞察力方面走捷径，但需要管理、分析和用作战略洞察力的数据却越来越多。 

第三，缩小数据和洞察力之间的差距 

围绕数据流程更好、更简单和更面向业务的技术，改变了“非数据”人员获取业务洞察力的方式。云数据仓库、SaaS ETL 平台和无代码可视化仪表板的出现意味着决策者不再依赖数据团队来获取他们日常所需的洞察力。但是，为了实现这一目标，必须有一个 DataOps 团队或专家来集中编排所有数据流并了解整个组织的数据需求。 

虽然许多角色和职责在未来几年会减少，但 DataOps 仍会增长。那些具有管理数据流程优化的技能、远见和才能的专业人士将有很高的需求，并且可以肯定地预测，DataOps 专业人士的薪水将飙升以满足这种需求。 

数据团队正在迅速从数据和洞察力的提供者转变为生态系统的促进者和架构师，使组织中的任何人都能在需要时访问他们的洞察力。DataOps 是高效和有效业务数据的新守门人，未来的业务洞察力应高度依赖于它们。 

DataOps与数据中台，能否帮助企业摆脱困境？ 

那么，在面对与日俱增的数据量与全球蔓延的疫情的双重压力下，企业究竟应该如何利用数据技术停止低效的流程，来缩小数据和洞察力之间的差距？ 

快速实现数据驱动，推动企业加速数字化的变革。此时，以“云原生DataOps”为核心优势的数据中台建设，则成为智领云帮助企业摆脱困境迎接数字化挑战的看家武器DataOps的核心任务是提高数据分析和管理的质量并缩短数据开发的周期，是高效打造数据中台的必经之路。 

智领云联合创始人兼CTO宋文欣曾在采访中表示，DataOps涉及的技术和方法论非常复杂，相关的开源软件生态非常庞大，涉及领域包括数据集成、数据开发、数据质量、数据安全、数据门户等。而智领云提出云原生DataOps，则采用做减法的方式，通过云原生的方式集成相关软件生态，搭建中间层BDOS，让用户能够不直接面对复杂的DataOps技术。 

也就是说，智领云正将复杂的问题简化，所有人可以在BDOS上面轻松地进行数据开发和数据管理。 

此外，依托云原生DataOps，智领云能够实现生态融合，比如通过标准的开源协议，智领云可以对接云原生存储厂商，把各种不同的软件存储技术通过一个标准化的形式接入到平台。这样，BDOS技术架构就扮演了一个融合平台的角色，能够让客户享受到生态系统里的产品和技术。 

显然，DataOps已经被行业认为是数据和智能领域的主要趋势，随着企业对于该实践方案的采用变得越来越普遍，我们将看到技术与人才市场的相应转变。

原文链接：

https://www.forbes.com/sites/forbestechcouncil/2020/12/21/three-reasons-why-dataops-will-boom-in-2021/?sh=12ceba113519

作者：Itamar Ben Hemo，Rivery 首席执行官兼联合创始人