专家指导 如何进行Hadoop分布式集群配置

开发 架构 分布式 Hadoop
Hadoop相信大家应该有所了解,那么什么是Hadoop分布式集群呢,这里向大家介绍一下Hadoop分布式集群配置方法,欢迎大家一起来学习。

在学习Hadoop的过程中,你可能会遇到Hadoop分布式集群配置问题,本节和大家一起学习一下Hadoop分布式集群配置方法,希望通过本节的介绍大家能够掌握其方法。

Hadoop分布式集群配置总结

假设用2台机器配置hadoop分布式集群,192.168.11.13为主服务器namenode,192.168.11.17为数据节点datanode

1.配置SSH的无密码公钥
192.168.11.13
用root登录
创建用户linleran:adduserlinleran
设置密码:passwdlinleran
切换用户:sulinleran
到用户linleran的目录(/home/linleran)新建文件件.ssh:mkdir.ssh
修改目录.ssh权限为:[linleran@centos~]$chmod755.ssh

配置SSH的无密码公钥,一路回车。
[linleran@centos~]$ssh-keygen-trsa
Generatingpublic/privatersakeypair.
Enterfileinwhichtosavethekey(/home/linleran/.ssh/id_rsa):
Enterpassphrase(emptyfornopassphrase):
Entersamepassphraseagain:
Youridentificationhasbeensavedin/home/linleran/.ssh/id_rsa.
Yourpublickeyhasbeensavedin/home/linleran/.ssh/id_rsa.pub.
Thekeyfingerprintis:
df:99:37:84:a1:04:34:06:60:45:b9:ce:43:af:54:77linleran@centos.test
进入.ssh目录,将id_rsa.pub的内容复制到authorized_keys后面。
修改authorized_keys的权限为[linleran@centos.ssh]$chmod644authorized_keys。

192.168.11.17同样执行以内容,且将id_rsa.pub内容添加到192.168.11.13的authorized_keys后面,同时将192.168.11.13的id_rsa.pub内容添加过来,以确保2台机器相互可以ssh连接。Hadoop分布式集群配置时还要在主服务器安装hadoop。

2.在主服务器安装hadoop

解压tarzxvfhadoop-0.18.2.tar.gz

创建目录
/home/linleran/hadoop-0.18.2/hadoopfs/name
/home/linleran/hadoop-0.18.2/hadoopfs/data
/home/linleran/hadoop-0.18.2/tmp/

配置hadoop-env.sh设置jdk路径exportJAVA_HOME=/home/linleran/jdk1.5.0_15
配置conf/hadoop-site.xml

 

  1. <configuration> 
  2. <property> 
  3. <name>fs.default.name</name> 
  4. <value>hdfs://192.168.11.13:9000/</value> 
  5. </property> 
  6. <property> 
  7. <name>mapred.job.tracker</name> 
  8. <value>192.168.11.13:9001</value> 
  9. </property> 
  10. <property> 
  11. <name>dfs.name.dir</name> 
  12. <value>/home/linleran/hadoop-0.18.2/hadoopfs/name</value> 
  13. </property> 
  14. <property> 
  15. <name>dfs.data.dir</name> 
  16. <value>/home/linleran/hadoop-0.18.2/hadoopfs/data</value> 
  17. </property> 
  18. <property> 
  19. <name>dfs.replication</name> 
  20. <value>1</value> 
  21. </property> 
  22. <property> 
  23. <name>hadoop.tmp.dir</name> 
  24. <value>/home/linleran/hadoop-0.18.2/tmp/</value> 
  25. </property> 
  26. </configuration> 

配置conf/masters
将主机ip添加192.168.11.13

配置conf/slaves
将datanodeIP添加192.168.11.17

将配置好的hadoop通过scp部署到节点。scp–r/home/linleran/hadoop-0.18.2192.168.11.17:/home/linleran/hadoop-0.18.2 

3.Hadoop分布式集群配置时在主服务器启动

格式化一个新的分布式文件系统
bin/hadoopnamenode–format
启动服务
bin/start-all.sh

4.测试

测试分布式文件系统
mkdirtest-in
echo“helloword”>file1.txt
echo“hellohadoop”>file2.txt
bin/hadoopdfs–puttest-ininput
bin/hadoopjarhadoop-0.18.2-examples.jarwordcountinputoutput
bin/hadoopdfs–getoutputresult
catresult/*

5.Hadoop分布式集群配置过程中遇到的问题

SSH无密码访问不成功。.ssh目录需要755权限,authorized_keys需要644权限,否则一直提示输入密码。
Linux防火墙开着,hadoop需要开的端口需要添加,或者关掉防火墙。否则会出现节点服务器一直无法连上主服务器。节点服务器的日志不断的retry:
INFOorg.apache.hadoop.ipc.Client:Retryingconnecttoserver…
数据节点连不上主服务器还有可能是使用了机器名的缘故,还是使用IP地址比较稳妥。
分布式文件系统报错,java.lang.IllegalArgumentException:WrongFS:,hadoop-site.xml要配置正确,fs.default.name的value是hdfs://IP:端口/,mapred.job.tracker的value是IP:端口

【编辑推荐】

  1. HadoopStudio中实现MapReduce应用
  2. Hbase和Hadoop操作文件性能测试
  3. Hadoop创建Hbase表方法指导
  4. Hadoop 从Yahoo向Google的技术转折
  5. Hadoop初探

 

 

责任编辑:佚名 来源: it168.com
相关推荐

2010-09-27 10:54:53

JVM参数配置

2010-06-04 18:06:22

Hadoop集群搭建

2012-05-21 16:28:29

LinuxHadoop

2019-09-26 15:43:52

Hadoop集群防火墙

2017-08-10 10:17:32

Hadoop分布式搭建

2010-06-04 17:34:13

Hadoop0.20.

2010-06-18 10:34:05

UML面向对象

2010-05-19 15:00:18

Apache+SVN部

2010-06-03 18:54:57

Hadoop

2010-06-03 11:01:32

Hadoop安装部署

2009-11-09 09:25:24

Memcached入门

2012-09-19 14:09:20

Hadoop开源

2017-12-07 15:24:10

Hadoop大数据服务器

2011-09-28 11:22:52

Hadoop

2012-05-21 10:19:31

Hadoop

2023-03-09 11:35:40

2018-07-16 08:29:54

redis集群限流

2014-06-24 15:24:52

Moosefs分布式集群

2010-06-02 10:10:26

SVN源码管理

2011-03-28 13:39:45

nagios分布式
点赞
收藏

51CTO技术栈公众号