Hadoop 2.x HDFS和YARN的启动方式

大数据 Hadoop
以下是Hadoop 2.x HDFS和YARN的启动方式希望能对同学们有所帮助。

[[193364]]

一.三种启动方式介绍

方式一:逐一启动(实际生产环境中的启动方式)

  1. hadoop-daemon.sh start|stop namenode|datanode| journalnode 
  2. yarn-daemon.sh start |stop resourcemanager|nodemanager 

方式二:分开启动

  1. start-dfs.sh 
  2. start-yarn.sh 

方式三:一起启动

  1. start-all.sh 

二.脚本解读

start-dfs.sh脚本:

(1) 通过命令bin/hdfs getconf –namenodes查看namenode在那些节点上

(2) 通过ssh方式登录到远程主机,启动hadoop-deamons.sh脚本

(3) hadoop-deamon.sh脚本启动slaves.sh脚本

(4) slaves.sh脚本启动hadoop-deamon.sh脚本,再逐一启动

start-all.sh脚本:

说明:start-all.sh实际上是调用sbin/start-dfs.sh脚本和sbin/start-yarn.sh脚本

三.三种启动方式的关系

start-all.sh其实调用start-dfs.sh和start-yarn.sh

start-dfs.sh调用hadoop-deamon.sh

start-yarn.sh调用yarn-deamon.sh

如下图:

四.为什么要设置ssh协议

当执行start-dfs.sh脚本时,会调用slaves.sh脚本,通过ssh协议无密码登陆到其他节点去启动进程。

为了能自动启动远程节点的进程,需要进行免密码登录。

五.采用第二种启动方式

上面已经配置好了ssh公钥登录,接下来用第二种启动方式启动

Step1:先停止所以进程(如果已经启动)

  1. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop nodemanager 
  2. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop resourcemanager  
  3. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop datanode 
  4. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop secondarynamenode 
  5. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop namenode 

Step2:启动所以进程

  1. [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/start-dfs.sh 
  2. [hadoop@hadoop-yarn hadoop-2.2.0]$ sbin/start-yarn.sh 

Step3:查看管理界面

YARN: http://hadoop-yarn.dragon.org:8088/

HDFS: http://hadoop-yarn.dragon.org:50070/

责任编辑:武晓燕 来源: oschina博客
相关推荐

2017-08-03 10:38:32

HADOOP1.XHDFSHadoop

2010-06-07 13:35:16

Hadoop简介

2012-07-11 17:21:23

HadoopHDFS

2022-02-22 08:30:12

Husky代码工作流

2014-02-14 15:30:18

HadoopYARN

2021-03-04 10:11:50

MongoDBSpring BootSpring Boot

2022-03-18 09:00:00

开发Web服务应用程序

2010-07-05 09:50:29

PythonPython 2.7

2021-12-31 08:48:23

Logback日志管理

2010-06-03 15:39:47

Hadoop配置

2017-10-24 15:11:39

Python 2.x 3.x

2015-04-16 14:24:56

Hadoop云计算HDFS

2017-10-24 13:02:29

2020-08-19 17:56:46

缓存Redis集中式

2013-04-23 11:17:47

Hadoop

2013-03-08 10:09:30

Hadoop

2014-04-16 11:01:07

SparkYarn

2010-06-03 15:13:34

Hadoop Hdfs

2019-03-21 11:03:47

HDFSMapReduceHadoop

2014-01-07 14:29:14

HadoopYARN
点赞
收藏

51CTO技术栈公众号