实时处理大数据的分布式系统Druid-IO

大数据 分布式
Druid 是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统,旨在快速处理大规模的数据,并能够实现快速查询和分析。

Druid 是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统,旨在快速处理大规模的数据,并能够实现快速查询和分析。

Druid 具有以下主要特征:

  • 为分析而设计——Druid 是为 OLAP 工作流的探索性分析而构建,它支持各种过滤、聚合和查询等类;
  • 快速的交互式查询——Druid 的低延迟数据摄取架构允许事件在它们创建后毫秒内可被查询到;
  • 高可用性——Druid 的数据在系统更新时依然可用,规模的扩大和缩小都不会造成数据丢失;
  • 可扩展——Druid 已实现每天能够处理数十亿事件和 TB 级数据。

当业务中出现以下情况时,Druid 是一个很好的技术方案选择:

  • 需要交互式聚合和快速探究大量数据时;
  • 需要实时查询分析时;
  • 具有大量数据时,如每天数亿事件的新增、每天数 10T 数据的增加;
  • 对数据尤其是大数据进行实时分析时;
  • 需要一个高可用、高容错、高性能数据库时。

查询操作中数据流和各个节点的关系如下图所示:

如下图是 Druid 集群的管理层架构,该图展示了相关节点和集群管理所依赖的其他组件(如负责服务发现的ZooKeeper集群)的关系:

责任编辑:未丽燕 来源: 开源中国社区
相关推荐

2022-03-01 08:40:34

StormHadoop批处理

2017-11-03 15:05:56

Storm数据处理服务器

2023-10-26 07:36:02

分布式架构

2017-08-09 13:30:21

大数据Apache Kafk实时处理

2015-03-18 09:33:41

大数据分布式系统事务处理

2017-08-31 16:36:26

2011-12-22 09:21:04

云计算Hadoop大数据

2015-03-16 14:38:16

大数据存储分布式系统事务处理

2022-05-05 19:26:17

Druid分布式存储

2017-08-22 11:10:44

大数据分布式调度

2013-10-16 11:36:08

分布式大数据

2013-04-27 12:18:58

大数据全球技术峰会京东

2014-01-22 13:37:53

2023-05-12 08:23:03

分布式系统网络

2018-08-24 10:28:41

大数据数据分析工具

2023-02-11 00:04:17

分布式系统安全

2023-07-19 08:22:01

分布式系统数据

2023-05-29 14:07:00

Zuul网关系统

2023-12-19 08:03:25

存储大数据节点

2021-05-24 10:49:59

监控系统架构技术
点赞
收藏

51CTO技术栈公众号