快手一面:讲一讲 Hadoop、Hive、Spark 之间的关系?

开发 架构
今天我们就对 Hadoop、Hive、Spark 做下分析对比。

大家好,我是Tom哥

5G 时代,运营商网络不断提速,成本越来越低,流量越来越便宜。

给 互联网、物联网、互联网+ 各个行业的高速发展创造了非常好的有利条件,同时也产生了海量数据。

如何做好数据分析,计算,提取有价值信息,大数据技术一直是一个热门赛道。

今天我们就对 Hadoop、Hive、Spark 做下分析对比。

Hadoop

Hadoop 称为大数据技术的基石。

由两部分组成,分布式存储(HDFS)和分布式计算(MapReduce)。

HDFS 有两个关键组件:

1、NameNode

负责分布式文件系统的元数据(MetaData)管理,如:文件路径名、数据块的 ID 以及存储位置等信息,相当于操作系统中文件分配表(FAT)的角色。

2、DataNode

负责文件数据的存储和读写操作,HDFS 将文件数据分割成若干数据块(Block),每个 DataNode 存储一部分数据块,从而将一个大文件分割存储在整个 HDFS 集群中。

HDFS的高可用设计:数据存储故障容错、磁盘故障容错、DataNode故障容错、NameNode故障容错。

MapReduce 既是一个编程模型,又是一个计算框架。

包含 Map 和 Reduce 两个过程。

计算过程:

  • 首先,将输入的内容转换为 < key , Value > 健值对。
  • 将相同的 key 集中在一起,形成 < key,List >。
  • 最后,将 List 进行归约合并,输出零或多个 < key , Value >。
public void map(Object key, Text value, Context context)
public void reduce(Text key, Iterable<IntWritable> values, Context context )

转换成代码落地,分别继承 Mapper 和 Reducer 两个类,然后实现里面的两个默认方法,完成业务逻辑。

所有的复杂的业务全部抽象成 Map 和 Reduce 这两个函数计算,当我们面对复杂的具体业务功能通过 Map 和 Reduce 的多次 自由组合,从而实现业务逻辑。

当然,上面的程序在分布式系统中需要引擎调度,该计算框架也称为 MapReduce。

所以,MapReduce 即是 编程模型,MapReduce 代码程序,也是调度分布式计算的引擎框架。

亮点:

  • 数据不出门,算法满天跑。每次任务计算,只需要将对应的任务分发到数据所在的服务器上。避免大数据传输的性能损耗。
  • 引入 shuffle 机制,将不同服务器的中间计算结果,通过 Partitioner 用 Key 的哈希值对 Reduce 任务数取模,分组路由到 Reduce 服务器上,进行合并计算。
  • 框架自带调度引擎。

不足:

  • 每次 Map 任务的计算结果都会写入到本地文件系统,速度会慢些。
  • 如果实现复杂的业务逻辑,通过 Map -- Reduce 的多次自由组合,开发成本还是有些大。

Tom哥有话说:

Hadoop 作为大数据框架的鼻祖,在海量数据处理方面确实让我们眼前一亮。

但是完美总是需要持续打磨,Hadoop在处理速度、开发门槛等方面有很多不足。慢慢的随着达尔文进化论,市场上开始百花齐放,各种优秀的大数据框架陆续出现。

Hive

大数据时代,数据分析师岗位非常多,这帮人擅长通过 SQL 来进行数据分析和统计。

SQL 方式操控数据简单、直接,比起 MapReduce代码 ,大大降低了编程难度,提升了开发效率。

Hive 通过执行引擎 Driver 将数据表的信息记录在 Metastore 元数据组件中(包含表名、字段名、字段类型、关联的HDFS文件路径)。

运行过程:

  • 通过 Hive 的命令行工具或 JDBC,提交 SQL 语句。
  • Driver 将语句提交给编译器,进行 SQL解析、语法分析、语法优化等一系列操作,生成函数的 DAG(有向无环图)。
  • 根据执行计划,生成一个 MapReduce 任务作业。
  • 最后,提交给 Hadoop MapReduce 计算框架处理。

Tom哥有话说:

Hive 可以直白理解为 Hadoop 的 API 包装,采用 SQL 语法实现业务,底层依然 Map Reduce 引擎来执行,但是转换逻辑被 Hive 作为通用模块实现掉了。

我们发现 Hive 本质上并没有什么技术创新,只是将 数据库 和 MapReduce 两者有效结合,但是却给上层的程序员提供了极大的开发便利。

虽然,在性能方面没有质的飞跃,但是由于开发门槛大大降低,在离线批处理占有非常大市场。

Spark

无论是 MapReduce 还是 Hive 在执行速度上其实是很慢的,但是没有比较就没有伤害,直到 Spark 框架的横空出现,人们的意识也发生了重大改变。

Spark 将大数据集合抽象成一个 RDD 对象,然后提供了 转换、动作 两大类算子函数,对RDD进行处理,并得到一个新的 RDD,然后继续后续迭代计算,像 Stream 流一样依次执行,直到任务结束。内部也是采用分片处理,每个分片都会分配一个执行线程。

传统的面向对象编程思路:

将一个数据集合作为入参传递给一个函数方法,经过运算,返回一个新的数据集合。然后将这个新的数据集合作为入参传递给下一个函数方法,直到最后计算完成,输出结果。

如果这个数据集有 1亿条,总共两次函数运算,每一个函数运算,都要遍历1亿次,那么总的时间复杂度是 2亿次。

函数式编程思路:

将数据集合转换成流,每个元素依次经过上面两个函数处理,最后得到一个新的结果集合。整个流程只需要遍历一趟,那么总的时间复杂度是 1亿次。

面对海量的数据以及较多的算子组合运算,这种性能累计提升还是非常明显的。

Spark 的一些亮点:

引入惰性计算,只有当开发者调用了 Actions 算子,之前的转换算子才会执行。

以 shuffle 为边界,将 DAG 切分多个阶段,一个阶段里的多个算子(如:textFile、flatMap、map)可以合并成一个任务,然后采用上面的函数编程思想处理数据分片。

使用 内存 存储中间计算结果:

借助这些亮点优化,Spark 比 MapReduce 运行速度快很多。上图是逻辑回归机器学习算法的运行时间比较 ,Spark 比 MapReduce 快 100 多倍。

当然Spark 为了保留 Hive 的SQL优势,也推出了 Spark SQL,将 SQL 语句解析成 Spark 的执行计划,在 Spark 上执行。

Tom哥有话说:

Spark 像个孙猴子一样横空出世,也是有先天条件的。Hadoop 早期受内存容量和成本制约很大,但随着科技进步,到了Spark时期内存条件已经具备,架构思路也可以直接按照内存的玩法标准来设计。

有时候就是这样,赶上一个好时候,猪都能飞上天。要想成功,天时地利人和,缺一不可。

责任编辑:姜华 来源: 微观技术
相关推荐

2022-01-17 07:59:13

SpringSpringMVCSpringBoot

2012-05-04 13:25:46

HTML5

2021-01-18 05:11:14

通信Nodejs进程

2019-03-12 11:12:50

大数据HadoopSpark

2020-09-17 06:53:38

项目规范流程

2022-05-11 22:15:51

云计算云平台

2009-05-26 11:28:53

2022-02-14 08:13:33

删库MySQL备份

2011-12-22 20:53:40

Android

2011-12-23 09:43:15

开源开放

2009-07-30 14:38:36

云计算

2020-09-19 17:46:20

React Hooks开发函数

2022-07-26 07:51:40

ThreadRunnableFuture

2012-12-19 09:04:29

2021-11-03 09:03:09

面试链接http

2016-12-19 19:04:30

Hive问题集

2013-09-16 10:52:09

2012-05-31 14:54:59

Hadoop大数据

2016-12-13 16:36:15

Hadoopwindows

2022-04-02 10:52:33

Go开发面试
点赞
收藏

51CTO技术栈公众号