大数据开发技术之Hadoop组成三大架构

大数据 Hadoop
Hadoop在我们大数据培训课程中占据着举足轻重的地位,被公认为是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。在所有的大数据培训机构都把它作为必备课,它不仅是在大数据培训行业而且几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。

Hadoop在我们大数据培训课程中占据着举足轻重的地位,被公认为是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。在所有的大数据培训机构都把它作为必备课,它不仅是在大数据培训行业而且几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。

Hadoop组成(面试重点)

图2-21 Hadoop1.x与Hadoop2.x的区别

1 HDFS架构概述

HDFS(Hadoop Distributed File System)的架构概述,如图2-23所示。

图2-23 HDFS架构概述

2 YARN架构概述

YARN架构概述,如图2-24所示。

3 MapReduce架构概述

MapReduce将计算过程分为两个阶段:Map和Reduce,如图2-25所示

1)Map阶段并行处理输入数据

2)Reduce阶段对Map结果进行汇总

责任编辑:梁菲 来源: 今日头条
相关推荐

2016-12-07 17:12:57

大数据Hadoop

2017-02-10 09:00:03

HadoopSparkStorm

2010-06-29 19:31:48

UML建模技术

2015-04-24 11:20:15

Hadoop大数据架构大数据

2018-07-11 13:33:43

大数据人工智能Hadoop

2017-08-21 15:35:57

大数据云计算UE

2016-06-17 14:22:19

大数据区块链量子计算机

2010-06-09 16:07:13

UML组成

2022-03-14 09:46:10

Hadoop大数据

2015-03-16 13:49:27

大数据大数据误区大数据错误

2014-04-29 09:59:44

2017-03-09 14:45:13

DIY Hadoop大数据环境

2011-09-02 10:59:02

大数据数据分析Hadoop

2019-07-10 09:21:36

大数据数据库Hadoop

2016-11-22 09:40:08

2014-11-11 10:47:19

hadoop数据流

2018-03-15 09:53:48

大数据机器学习云服务

2022-10-24 00:26:51

大数据Hadoop存储层

2011-11-16 09:44:44

Hadoop数据库

2015-05-05 11:18:18

大数据Hadoop技术处理
点赞
收藏

51CTO技术栈公众号