当大数据平台遇到K8s，智领云助力企业向数据驱动转型

数据驱动是企业数字化转型的一个重要特点。随着企业对数据分析和使用的不断增长，数据来源多，数据工具复杂，参与数据工作的人多，数据开发的工作量越来越大，同时还要求周期短、质量高。对此，数据团队持续优化数据开发流程、应用，借鉴了DevOps、精益管理等方法，形成了DataOps方法和实践，旨在让数据在企业内快速流动，服务于数据分析甚至业务运营。

DataOps的概念最早出现于2014年，由Lenny Liebmann提出，到2018年被Gartner纳入到技术成熟度曲线，标志着DataOps正式被业界接受。

如果不好理解DataOps，不妨先看看Twitter的例子。Twitter是一家数据驱动型的公司，从2011年的300人，发展到2014年的4000人，大数据平台从80台服务器的Hadoop集群，扩展到8000台服务器的核心数据处理平台，它的底层支撑就是一个全局共享的大数据平台。当业务和组织快速扩张时，能做到统一数据规范、消除数据和应用孤岛。

与DevOps类似，DataOps要实现的是数据的持续集成、持续开发和持续部署。智领云联合创始人&CEO彭锋表示，要构建 DataOps 所需的通用平台，一般需要以下技术：云原生架构，容器，实时和流处理，多分析引擎，集成的应用程序和数据管理，多租户和安全性，DevOps 工具。

当然，DataOps的使用和发展也需要有正确的工具和正确的思维加持，借助平台及工具的力量来实现“数据、数据平台、DataOps”的成功。智领云自主研发的即开即用，快速搭建数据工程的轻量级云原生大数据开发平台–BDOS Online就是这样一个平台。

云原生解决传统大数据平台的痛点

BDOS Online是智领云自主研发的一款云原生Data Platform as a Service (DPaaS)产品，旨在为需要高效快速实现多源异构数据应用开发、发布，运维的企业级用户提供一个在线协同数据应用开发及运营平台。

BDOS Online 的底层是纯K8s云原生的，这是因为现有大数据平台及数据中台建设方式效率低，开发发布流程复杂，无法形成客户的自主数据能力，系统性能低下，容易造成数据孤岛，应用孤岛，云原生体系则可以解决这些痛点。

首先，纯K8s的数据平台，去除了对Hadoop的依赖，可以直接在K8s运行现有工作负载，统一资源管理，提升资源使用率，便于多租户计费管理，大幅降低运维成本。

第二，类似于K8s对于集群管理的改造，将数据流水线的运行改造成代码式管理，集成开发，一次编写，随处运行。

第三，在云原生架构下提供模块化的数据工程，以产品形式提供面向场景的解决方案，用户可以自助使用、分别购买，按使用量付费。

100%云原生改造之后的优势

据彭锋介绍，作为国内第一个K8s在线⼤数据平台，BDOS Online的核心优势有：

首先，BDOS Online是纯K8s的大数据平台，端到端的，以在线方式提供Serverless方式的大数据开发功能，用户面对的直接是大数据应用和开发工具，而不是底层大数据系统。比如，用户要运行一个Spark程序，他们看到的是Spark程序本身运行的情况，花费的资源是这个Spark程序所花费的资源，而无需安装一个完整的大数据平台，更无需考虑底层组件的运维管理。

第二，允许用户以数据工程方式管理数据应用开发，真正实现数据即产品（Data as a product）。无论是实时大屏，数据看板，数仓ETL，数据服务，机器学习模型，还是通用的Docker应用，BDOS Online允许用户在一个数据项目里集成开发和运行这些步骤，而不是散布在各个子系统中，最终数据能力可以方便的共享和复用。

第三，在K8s体系下实现了多租户，资源隔离，混合调度，精准计费这些在传统大数据体系下很难完成，但是对企业级数据平台至关重要的功能，其主要基础就是因为BDOS Online将所有的大数据组件做了K8s改造和系统继承，一个机构的所有应用，不管是Hive ETL程序，还是Spark 机器学习程序，都在同一个机构的命名空间中管理，便于设置用户资源限额以及使用情况。

不少厂商，包括云计算厂商，也在K8s和大数据方面做了很多工作，智领云的差异化在于BDOS Online将所有组建，都用K8s进行了改造，而不是改造一部分。同时，BDOS Online可以在线上直接使用，因为它完成了多租户，授权健全的打通，计费等功能。

中小企业和大型机构都适用的平台

彭锋表示，云原生大数据平台是一个基础架构的服务，并没有行业属性。使用BDOS Online的客户，在云上有两种云原生的方式。针对中小客户，或者大客户中的创新团队，他们不希望自己来管理一个复杂的大数据开发平台，但是有数据分析的需求，需要大数据业务开发的管理方式。这样的客户可以在公有云上直接使用BDOS Online。

针对内部已经有大数据平台，或者需要搭建大数据平台，但是需要提供更高效的数据应用开发能力的客户，希望能够把整个开发统一管理起来，然后与现有的集群混排一起使用，这也是BDOS Online的一个目标使用场景。不少大企业内部的大数据平台，因为缺乏多租户的隔离和统一的开发管理，以及统一的开发流程的管理，使得内部大数据的平台运维、运营、数据使用比较困难。在使用了BDOS Online这种纯云原生的大数据平台之后，可以直接使用K8s技术管理功能，大大降低了集群的运维、开发、使用成本。

结语

此前我们较为熟知的是，智领云BDOS产品，作为企业级大数据操作系统，以独特的优势，已经打造了包括零售、金融、物联网、医疗等多个行业的标杆案例。而BDOS Online作为BDOS的线上简化版本，本次采访我们了解到它更为强大的功能，几乎完全不需要借助其他工具平台，所有的工作都可以在BDOS Online线上完成，无需关心各种复杂的大数据组件，只需专注实现业务即可。

现在您就可以扫描下方二维码，全面了解BDOS Online的功能和价值，免费注册BDOS Online，尽享28天的免费使用权益。当然你也可以点击Demo按钮，查看更多精彩示例项目！

#智领云公司简介#

武汉智领云科技有限公司成立于2016年8月，专注于云计算、大数据领域前沿技术的研发。公司创始团队成员来自于推特（Twitter）、苹果（Apple）和艺电（EA）等硅谷知名企业，是硅谷最早一批从事云计算和大数据研究与实践的技术专家，拥有十多年的云计算、大数据系统的系统架构和系统开发经验。公司作为拥有云计算、大数据领域核心技术的高科技企业获得了来自硅谷和国内知名投资人和投资机构的投资。公司于2019年4月获得线性资本数千万元pre-A轮融资，2020年7月获得由金沙江联合领投、线性资本跟投的数千万元A轮融资。

公司为企业级客户提供以云原生DataOps为底座的大数据平台数据中台/大数据平台数据中台系统解决方案；帮助企业搭建数据和AI中台实现云原生DataOps，轻松打造业务数据能力闭环，掌握全面、及时、更多维度的业务现状，提升数据驱动应用的迭代和发布速度；实现系统资产（人/资源/数据/应用） 在同一系统中的统一管理，建立数字化运营体系，并最终完成数据驱动的数字化转型。

公司在能源、教育、医疗健康、物联网、金融等行业同国内外很多知名企业和上市公司建立了合作关系，包括：D2IQ、埃克森美孚（中国）、一汽集团、极狐（GitLab中国）、南瑞信通、万达信息股份、中亦安图、深圳智宇、长江云通、湖北楚天云、万方数据股份、天喻教育、广州畅驿、上海和今、南京赛信等。公司与合作伙伴在多个领域中展开紧密的合作，充分利用各自的优势，共同为企业客户提供更有价值的云计算和大数据产品和技术服务。