社区编辑申请
注册/登录
新时代开源数据调度在1000+企业的进化之路 原创
开源 大数据
代立东:创业九死一生,做数据调度也一样

近年来,随着互联网的飞速发展,业务量在短时间内呈现爆发式增长,对应的数据量快速从数百 G 涨至数百 T。无论数据存储还是数据调度,当前数据量已经远超处理能力的上限。若信息处理技术仍渐进式发展,数据处理能力的提升将远落后于指数级增长的数据量。

可想而知,提升数据处理能力、使任调度任务效率最大化、保持工具高可用是目前各企业的共同诉求,同时也是大数据发展所要面对的核心技术难点。

在这样的背景下,大数据领域也涌现了很多优秀的开源项目。

其中大数据任务调度以 Apache DolphinScheduler 项目为代表:基于  Apache 开源社区理念打造的 Apache DolphinScheduler 是全球知名的 DataOps 领域开源项目,拥有超过350人的贡献者群体。作为一个分布式去中心化,易扩展的可视化工作流任务调度平台,Apache DolphinScheduler 已累计在 1000 多家公司生产环境中作为企业的核心调度系统,包括 IBM、腾讯、科大讯飞、美团、360、联通、顺丰等,覆盖金融、电信、零售、云计算、数据处理等众多领域。

自2021年4月9日从 ASF 孵化器毕业成为 Apache 顶级项目后,Apache DolphinScheduler 一直保持着强劲的发展势头。在数年的演进历程中始终保持快速的版本更新与持续的架构迭代。且值得关注的是,Apache Dolphin Scheduler 已于近日迎来了其3.0.0-beta-1 版本的正式发布。

6月23日的【T·Talk】技术分享活动中,我们特别邀请到了白鲸开源联合创始人、Apache DolphinScheduler PMC Chair 代立冬老师为大家分享 Apache DolphinScheduler 的进化之路。届时,代立冬老师将详细介绍 Apache DolphinScheduler 架构迭代中的经验与教训,并分享对云原生时代调度架构的思考与前瞻。

无论你是热衷于钻研开源技术的开发者,还是“大数据调度”的开源资深爱好者,都能从这些前沿的案例中获得全新的灵感。

欢迎大家参与6月23日,晚上20:00【T·TALK】第12期技术分享活动

扫海报下方二维码预约观看

图片

嘉宾介绍:

代立冬,白鲸开源联合创始人、Apache DolphinScheduler PMC Chair、Apache Member、Apache SeaTunnel PPMC、Apache 孵化器导师、ApacheCon Asia Bigdata Track co-Chair(2021)、COSCon 大数据论坛出品人,组织过万人的大数据技术社区。

责任编辑:徐杰承
相关推荐

2022-06-15 11:02:40

网络安全运营

2022-06-07 10:09:42

新技术人工智能5G

2022-06-24 11:14:00

美团开源

2022-06-22 09:19:55

HDC鸿蒙ADB命令

2022-06-07 11:16:51

云原生人工智能运维

2022-06-01 17:47:24

运维监控系统

2022-06-16 15:42:16

攻击面管理ASM

2022-06-28 10:03:56

CentOSLinux

2022-06-20 09:45:48

Python开源可视化库

2022-06-16 07:32:38

VSCodePython插件

2022-06-10 07:45:09

CentOS国产操作系统

2022-06-16 11:06:07

开源Grafanaon-call

2022-06-15 16:16:21

分布式数据库鸿蒙

2022-05-24 15:06:57

AbilityeTS FA鸿蒙

2022-06-03 09:41:03

DockerKubernetes容器

2022-05-09 11:19:12

CSS函数开源

2022-06-15 10:30:07

数据中心5G蜂窝网络

2022-05-31 10:57:56

腾讯开源人才

2022-06-02 15:28:42

网络安全信息通信数据保护

2022-05-09 15:08:56

存储厂商NFV领域华为

同话题下的热门内容

用这些开源工具在 Linux 上编辑 PDF 文件开放原子开源基金会 TOC 副主席谭中意:企业开源从来不是做慈善丨T观海专为开发人员构建的个人知识管理工具 - Dendron2022 年受欢迎的五大开源自动化和编排技术Apache Kafka:为“无缝系统”提供异步消息支持将 Zeek 与 ELK 栈集成​Podman Desktop 能否取代 Docker Desktop呢?Minetest:一个开源的 Minecraft 替代品

编辑推荐

十大免费开源云文件共享平台使用Go语言开发必备的5大开源工具开源人脸识别seetaface入门教程(一)Docker不香吗,为啥还要K8s?值得考虑的九大开源ERP系统,看看都有谁
我收藏的内容
点赞
收藏

51CTO技术栈公众号