社区编辑申请
注册/登录
两种主流大数据系统架构的区别,终于有人讲明白了
大数据
从资源管理角度来看,当前的大数据系统架构主要有两种:一种是MPP数据库架构 ,另一种是Hadoop体系的分层架构。这两种架构各有优势和相应的适用场景。

同样都可以处理大规模数据的MPP数据库架构与Hadoop体系架构属于不同的技术体系,二者没有直接的相关性,却常常被放在一起进行比较。特别是在企业数据仓库建设中,MPP架构与Hadoop架构代表两类典型的技术路线选型,事实上,在2015年左右甚至有人认为基于Hadoop体系的数仓将彻底取代基于MPP数据库的数仓。

1.设计思路对比

两类系统运行的硬件架构是相同的,都是普通服务器组成的集群,但从资源管理角度来说,它们并行化软件实现的设计思路却是相反的。

MPP架构相当于对单机的各类资源进行垂直综合管理,再将多个单机系统横向连接进行集成,可以说是先垂直后水平。

Hadoop架构相当于将所有机器的存储资源与计算资源抽象出来,分开管理,再进行组件级的垂直集成,可以说是先水平后垂直。

MPP与Hadoop架构对比如图1所示。

图片

▲图1 MPP与Hadoop架构对比

具体分析如下。

MPP架构是将许多单机数据库通过网络连接起来,相当于将一个个垂直系统横向连接,形成一个统一对外服务的分布式数据库系统,每个节点由一个单机数据库系统独立管理和操作该节点所在物理机上的所有资源(CPU、内存、磁盘、网络),节点内系统的各组件间的相互调用不需要通过控制节点,即对控制节点来说,每个节点的内部运行过程相对透明。

Hadoop架构是将不同的资源管理与功能进行分层抽象设计,每层形成一类组件,实现一定程度的解耦,包括存储资源管理、计算资源管理、通用并行计算框架、各类分析功能等,在每层内进行跨节点的资源统一管理或功能并行执行,层与层之间通过接口调用,相互透明,节点内不同层的组件间的相互调用需要由控制节点掌握或通过控制节点协调,即控制节点了解每个节点内不同层组件间的互动过程。

2.优缺点对比

MPP架构的优缺点总结如下:

  • 支持标准SQL,每个节点都有丰富的事务处理和管理功能;
  • 资源管理精细;
  • 更适合预知数据结构模型的中等规模的固定模式数据管理;
  • 集群规模调整要求较多,增减节点时通常需要停机,且有的系统只能增加不能减少;
  • 延迟小,相对吞吐量一般,单节点缓慢会拖累整体性能;
  • 表记录进行水平分割存储,方法通常包括一致性哈希(Consistent Hashing)、循环写入(Round Robin),但容易产生数据热点。

Hadoop架构的优缺点总结如下:

  • 每个节点功能简单,不具备丰富的数据管理功能,不支持事务;
  • 数据更新采用追加方式实现,同等数据量处理需要的资源更多;
  • 可以不用预先了解数据的格式与内容;
  • 扩展性好,支持集群规模更大,能动态扩容,支持扩充仅用于计算的节点;
  • 延迟高、吞吐量大、容错性(Failover)好。

总体来说,Hadoop架构在数据量较低的情况下,运行速度远不及MPP架构,但数据量一旦超过某个量级,Hadoop架构在吞吐量方面将非常有优势。有些大数据数据仓库产品也采用混合架构,以融合两者的优点,例如Impala、Presto等都是基于HDFS的MPP分析引擎,仅利用HDFS实现分区容错性,放弃MapReduce计算模型,在面向OLAP场景时可实现更好的性能,降低延迟。

本文摘编于《数据应用工程:方法论与实践》,经出版方授权发布。(书号:9787111704096)转载请保留文章出处。

责任编辑:武晓燕 来源: 数仓宝贝库
相关推荐

2022-06-21 11:14:51

大数据系统架构

2022-07-01 18:13:51

MPPHadoop大数据

2022-06-26 18:52:02

2022-07-14 09:24:28

大数据技术

2022-06-17 10:52:01

数据存储采集

2020-12-17 19:15:48

大数据大数据平台架构数据平台建设

2019-12-12 10:22:16

大数据平台大数据安全大数据

2019-12-24 08:11:39

大数据架构数据开发

2022-03-24 23:06:25

大数据技术应用

2014-07-24 09:08:07

大数据平台架构

2017-06-19 13:10:59

2018-07-30 09:06:46

2021-05-16 08:42:14

2021-02-22 10:32:53

2021-08-16 13:54:23

2021-02-22 11:03:25

大数据大数据平台架构

2019-12-12 15:39:28

大数据IT互联网

2019-03-22 13:53:07

大数据架构数据源数据质量

2019-08-23 15:55:27

架构大数据BI系统

2020-12-23 15:42:42

大数据大数据技术大数据框架

同话题下的热门内容

大数据分析技术和方法有哪些?如何构建准实时数仓?大数据如何成为元宇宙的基石节日消费数据不“杀熟”?大数据带你一起“解”七夕!五个方法,破解数据分析的核心难题中原银行实时风控体系建设实践聊聊数据分析的价值是什么?大数据的过去正在颠覆人们的未来

编辑推荐

使用Pandas&NumPy进行数据清洗的6大常用方法2018年7款最佳免费数据分析工具pyspark访问hive数据实战【漫谈数据仓库】 如何优雅地设计数据分层人工智能、大数据与深度学习之间的关系和差异
我收藏的内容
点赞
收藏

AISummit人工智能大会