专家指导 如何实现Hadoop集群搭建

开发 架构 Hadoop
关于Hadoop集群的概念相信大家应该有所了解,这里就向大家介绍一下Hadoop集群搭建的具体步骤,相信通过本文的介绍大家对Hadoop集群搭建有跟深刻的了解。

本节继续向大家介绍Hadoop集群搭建的步骤,希望通过本节的介绍你对如何进行Hadoop集群搭建有一定的认识,欢迎大家一起来学习Hadoop集群搭建搭建方面的知识。

一、建立Master到每一台Slave的SSH受信证书

1、伪分布式免密码ssh设置
?现在确认能否不输入口令就用ssh登录localhost:
$sshlocalhost

如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

?安装ssh,并生成公钥和私钥
?运行ssh-keygen-trsa,根据屏幕提示直接选择“回车”
?会在用户目录~/.ssh/产生两个文件,id_rsa,id_rsa.pub
?cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

2、Hadoop集群搭建的SSH设置
master:
[fan@fan001~]$ssh-keygen-trsa
[fan@fan001~]$sshfan@fan002"mkdir.ssh;chmod0700.ssh"(重复)
[fan@fan001~]$scp~/.ssh/id_rsa.pubfan@fan002:.ssh/id_rsa.pub(重复)
[fan@fan001~]$cd.ssh
[fan@fan001.ssh]$cpid_rsa.pubauthorized_keys
[fan@fan001.ssh]$chmod600authorized_keys

slave:
[fan@fan002~]$touch.ssh/authorized_keys
[fan@fan002~]$cd.ssh
[fan@fan002.ssh]$catid_rsa.pub>>authorized_keys
[fan@fan001.ssh]$chmod600authorized_keys
OK,完成免密码ssh设置

二、启动Hadoop

1、伪分布式的启动:
格式化一个新的分布式文件系统:$bin/hadoopnamenode-format
启动Hadoop守护进程:$bin/start-all.sh
Hadoop守护进程的日志写入到${HADOOP_LOG_DIR}目录(默认是${HADOOP_HOME}/logs).

2、启动Hadoop
Hadoop集群搭建过程中启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。
Ø格式化一个新的分布式文件系统:$bin/hadoopnamenode-format
Ø在分配的NameNode上,运行下面的命令启动HDFS:$bin/start-dfs.sh
bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动DataNode守护进程。
Ø在分配的JobTracker上,运行下面的命令启动Map/Reduce:$bin/start-mapred.sh
bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动TaskTracker守护进程。

3.停止Hadoop
Ø在分配的NameNode上,执行下面的命令停止HDFS:$bin/stop-dfs.sh
bin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上停止DataNode守护进程。
Ø在分配的JobTracker上,运行下面的命令停止Map/Reduce:$bin/stop-mapred.sh
bin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上停止TaskTracker守护进程。本节关于Hadoop集群搭建的相关内容介绍完毕。

【编辑推荐】

  1. Hadoop集群搭建过程中相关环境配置详解
  2. 技术分享 Hadoop集群搭建方法
  3. 专家讲解 Hadoop:HBASE松散数据存储设计
  4. 两种模式运行Hadoop分布式并行程序
  5. 专家提醒 部署Hadoop时应该注意具体事项
责任编辑:佚名 来源: csdn.net
相关推荐

2010-06-03 14:42:47

Hadoop分布式集群

2010-05-26 16:17:46

2010-06-04 17:34:13

Hadoop0.20.

2010-06-04 18:17:50

Hadoop集群

2016-10-27 09:37:10

Hadoop集群配置

2011-12-07 16:11:50

Hadoop集群搭建

2010-06-04 16:17:02

2010-07-12 11:36:32

UML活动图

2015-05-27 10:29:41

DockerHadoopHadoop集群

2010-05-20 19:01:03

Eclipse使用SV

2010-07-07 13:54:00

UML用例图

2010-09-27 10:54:53

JVM参数配置

2010-07-01 12:21:35

UML类图关系

2010-06-03 19:02:31

Hadoop集群搭建

2010-06-07 09:14:55

Hadoop集群

2021-04-19 08:52:58

Hadoop集群搭建Python

2014-03-17 10:05:45

Hadoop集群

2010-05-19 17:26:58

2010-06-08 15:44:18

UML建模工具

2010-06-02 09:45:02

SVN学习笔记
点赞
收藏

51CTO技术栈公众号