Hadoop YARN

开发 前端 Hadoop
YARN又被称为MapReduce 2.0,借鉴Mesos,YARN提出了资源隔离解决方案Container,但是目前尚未成熟,仅仅提供 Java 虚拟机内存的隔离。

代码托管地址: Apache SVN

YARN又被称为MapReduce 2.0,借鉴Mesos,YARN提出了资源隔离解决方案Container,但是目前尚未成熟,仅仅提供 Java 虚拟机内存的隔离。

对比MapReduce 1.x,YARN架构在客户端上并未做太大的改变,在调用 API 及接口上还保持大部分的兼容,然而在YARN中,开发人员使用 ResourceManager、ApplicationMaster 与 NodeManager代替了原框架中核心的 JobTracker 和 TaskTracker。其中 ResourceManager 是一个中心的服务,负责调度、启动每一个 Job 所属的 ApplicationMaster,另外还监控 ApplicationMaster 的存在情况;NodeManager负责 Container 状态的维护,并向 RM 保持心跳。ApplicationMaster 负责一个 Job 生命周期内的所有工作,类似老的框架中 JobTracker。

责任编辑:陈四芳 来源: 51CTO
相关推荐

2013-01-21 13:22:56

IBMdW

2019-01-07 15:29:07

HadoopYarn架构调度器

2019-08-02 11:28:45

HadoopYARN调度系统

2013-11-27 09:21:18

YARNMapReduceHadoop

2013-05-29 09:22:03

2014-01-07 13:54:02

HadoopYARN

2015-09-28 16:24:34

YARNHadoop计算

2013-12-04 09:52:50

hadoop

2014-01-07 15:23:15

HadoopYARN

2014-01-07 16:34:36

HadoopYARN

2017-06-08 11:00:09

HDFSHadoopYARN

2018-07-31 14:24:02

HadoopYarn服务框架

2014-01-07 17:18:51

HadoopYARN

2023-12-26 00:55:51

资源隔离CPU

2020-04-22 14:34:42

大数据Hadoop技术

2014-01-07 15:05:25

HadoopYARN

2018-01-23 11:00:10

Hadoop3.0Yarn资源

2014-01-07 15:17:08

YARN配置

2014-01-07 14:29:14

HadoopYARN

2018-09-13 13:05:41

HadoopYarn数据处理
点赞
收藏

51CTO技术栈公众号