社区编辑申请
注册/登录
当大数据平台遇到K8s,智领云助力企业向数据驱动转型 原创
大数据
BDOS Online是智领云自主研发的一款云原生Data Platform as A Service (DPaSS)产品,旨在为需要高效快速实现多源异构数据应用开发、发布,运维的企业级用户提供一个在线协同数据应用开发及运营平台。

数据驱动是企业数字化转型的一个重要特点。随着企业对数据分析和使用的不断增长,数据来源多,数据工具复杂,参与数据工作的人多,数据开发的工作量越来越大,同时还要求周期短、质量高。对此,数据团队持续优化数据开发流程、应用,借鉴了DevOps、精益管理等方法,形成了DataOps方法和实践,旨在让数据在企业内快速流动,服务于数据分析甚至业务运营。

DataOps的概念最早出现于2014年,由Lenny Liebmann提出,到2018年被Gartner纳入到技术成熟度曲线,标志着DataOps正式被业界接受。

如果不好理解DataOps,不妨先看看Twitter的例子。Twitter是一家数据驱动型的公司,从2011年的300人,发展到2014年的4000人,大数据平台从80台服务器的Hadoop集群,扩展到8000台服务器的核心数据处理平台,它的底层支撑就是一个全局共享的大数据平台。当业务和组织快速扩张时,能做到统一数据规范、消除数据和应用孤岛。

与DevOps类似,DataOps要实现的是数据的持续集成、持续开发和持续部署。智领云联合创始人&CEO彭锋表示,要构建 DataOps 所需的通用平台,一般需要以下技术:云原生架构,容器,实时和流处理,多分析引擎,集成的应用程序和数据管理,多租户和安全性,DevOps 工具。

当然,DataOps的使用和发展也需要有正确的工具和正确的思维加持,借助平台及工具的力量来实现“数据、数据平台、DataOps”的成功。智领云自主研发的即开即用,快速搭建数据工程的轻量级云原生大数据开发平台--BDOS Online就是这样一个平台。

云原生解决传统大数据平台的痛点

BDOS Online是智领云自主研发的一款云原生Data Platform as a Service (DPaaS)产品,旨在为需要高效快速实现多源异构数据应用开发、发布,运维的企业级用户提供一个在线协同数据应用开发及运营平台。

BDOS Online 的底层是纯K8s云原生的,这是因为现有大数据平台及数据中台建设方式效率低,开发发布流程复杂,无法形成客户的自主数据能力,系统性能低下,容易造成数据孤岛,应用孤岛,云原生体系则可以解决这些痛点。

首先,纯K8s的数据平台,去除了对Hadoop的依赖,可以直接在K8s运行现有工作负载,统一资源管理,提升资源使用率,便于多租户计费管理,大幅降低运维成本。

第二,类似于K8s对于集群管理的改造,将数据流水线的运行改造成代码式管理,集成开发,一次编写,随处运行。

第三,在云原生架构下提供模块化的数据工程,以产品形式提供面向场景的解决方案,用户可以自助使用、分别购买,按使用量付费。

100%云原生改造之后的优势

据彭锋介绍,作为国内第一个K8s在线⼤数据平台,BDOS Online的核心优势有:

首先,BDOS Online是纯K8s的大数据平台,端到端的,以在线方式提供Serverless方式的大数据开发功能,用户面对的直接是大数据应用和开发工具,而不是底层大数据系统。比如,用户要运行一个Spark程序,他们看到的是Spark程序本身运行的情况,花费的资源是这个Spark程序所花费的资源,而无需安装一个完整的大数据平台,更无需考虑底层组件的运维管理。

第二,允许用户以数据工程方式管理数据应用开发,真正实现数据即产品(Data as a product)。无论是实时大屏,数据看板,数仓ETL,数据服务,机器学习模型,还是通用的Docker应用,BDOS Online允许用户在一个数据项目里集成开发和运行这些步骤,而不是散布在各个子系统中,最终数据能力可以方便的共享和复用。

第三,在K8s体系下实现了多租户,资源隔离,混合调度,精准计费这些在传统大数据体系下很难完成,但是对企业级数据平台至关重要的功能,其主要基础就是因为BDOS Online将所有的大数据组件做了K8s改造和系统继承,一个机构的所有应用,不管是Hive ETL程序,还是Spark 机器学习程序,都在同一个机构的命名空间中管理,便于设置用户资源限额以及使用情况。

不少厂商,包括云计算厂商,也在K8s和大数据方面做了很多工作,智领云的差异化在于BDOS Online将所有组建,都用K8s进行了改造,而不是改造一部分。同时,BDOS Online可以在线上直接使用,因为它完成了多租户,授权健全的打通,计费等功能。

中小企业和大型机构都适用的平台

彭锋表示,云原生大数据平台是一个基础架构的服务,并没有行业属性。使用BDOS Online的客户,在云上有两种云原生的方式。针对中小客户,或者大客户中的创新团队,他们不希望自己来管理一个复杂的大数据开发平台,但是有数据分析的需求,需要大数据业务开发的管理方式。这样的客户可以在公有云上直接使用BDOS Online。

针对内部已经有大数据平台,或者需要搭建大数据平台,但是需要提供更高效的数据应用开发能力的客户,希望能够把整个开发统一管理起来,然后与现有的集群混排一起使用,这也是BDOS Online的一个目标使用场景。不少大企业内部的大数据平台,因为缺乏多租户的隔离和统一的开发管理,以及统一的开发流程的管理,使得内部大数据的平台运维、运营、数据使用比较困难。在使用了BDOS Online这种纯云原生的大数据平台之后,可以直接使用K8s技术管理功能,大大降低了集群的运维、开发、使用成本。

结语

此前我们较为熟知的是,智领云BDOS产品,作为企业级大数据操作系统,以独特的优势,已经打造了包括零售、金融、物联网、医疗等多个行业的标杆案例。而BDOS Online作为BDOS的线上简化版本,本次采访我们了解到它更为强大的功能,几乎完全不需要借助其他工具平台,所有的工作都可以在BDOS Online线上完成,无需关心各种复杂的大数据组件,只需专注实现业务即可。

扫码即可试用

责任编辑:赵立京 来源: 51CTO
相关推荐

2022-07-21 14:48:17

金融云计算

2022-03-02 11:05:57

数据驱动企业数字化转型

2018-08-07 10:46:29

2020-02-12 12:45:23

云迁移大数据云计算

2014-12-16 19:05:51

Informatica大数据

2018-01-10 10:52:46

数据

2015-03-19 16:53:30

大数据

2018-08-06 10:41:37

大数据

2021-07-15 14:28:59

2018-08-27 17:49:49

2018-12-12 10:01:23

2019-10-14 14:48:48

金蝶云华为鲲鹏处理器

2019-07-26 05:34:20

2017-12-14 11:50:32

华为云

2019-04-17 10:57:59

华云数据制造业

2017-06-30 13:59:57

2018-09-06 14:45:49

2021-10-20 13:28:00

2017-06-08 08:07:21

公有云数据金融

2018-03-27 17:29:02

华为

同话题下的热门内容

大数据分析技术和方法有哪些?如何构建准实时数仓?大数据如何成为元宇宙的基石节日消费数据不“杀熟”?大数据带你一起“解”七夕!五个方法,破解数据分析的核心难题中原银行实时风控体系建设实践聊聊数据分析的价值是什么?大数据的过去正在颠覆人们的未来

编辑推荐

使用Pandas&NumPy进行数据清洗的6大常用方法2018年7款最佳免费数据分析工具pyspark访问hive数据实战【漫谈数据仓库】 如何优雅地设计数据分层人工智能、大数据与深度学习之间的关系和差异
我收藏的内容
点赞
收藏

AISummit人工智能大会