专家推荐 Linux下安装Hadoop教程新手必备

开发 架构 Hadoop
Hadoop相信大家应该有所了解了,那么这你是知道它是如何安装的吗?本文就向大家简单介绍一下Linux下安装Hadoop方法,欢迎大家一起来学习。

本节和大家一起学习一下Linux下安装Hadoop教程,在学习Hadoop的过程中,你可能会遇到Hadoop安装问题,这里介绍一下Linux下安装Hadoop方法,希望通过本节的介绍大家能够掌握如何安装Hadoop。

Linux下安装Hadoop教程

目的:此安装Hadoop教程旨在引导未接触Hadoop的新手入门只用,高手请飘过。

环境:Fedora12
Kernel2.6.31.5-127.fc12.i686.PAE
Hadoop-0.20.2
jdk-6u18-linux-i586
初学者可以选择三台实体机子做实验,一台做NameNode,JobTracker,另外两台做DataNode,TaskTracker。
本安装Hadoop教程里就用的三台机子做演示。
station1192.168.128.11NameNode
station2192.168.128.22DataNode
station3192.168.128.33DataNode

1、Fedora的安装就不用演示了,装好后默认是启动sshd服务的。
不确定的话可以手工查一下
[root@station1~]#servicesshdstatus
如果没有启动,可以手工启动
[root@station1~]#servicesshdstart

2、建立ssh无密码登录
在NameNode上
[cuijj@station1~]$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
会在~/.ssh/生成两个文件:id_dsa和id_dsa.pub。这两个是成对出现的。
把id_dsa.pub文件追加到DataNode上的authorized_keys(默认是没有这个文件的)内。
[cuijj@station1~]$scpid_dsa.pubcuijj@192.168.128.22:/home/cuijj/
登录到192.168.128.22上(另一台DataNode一样)
[cuijj@station1~]$catid_dsa.pub>>~/.ssh/authorized_keys

3、关闭防火墙
[root@station1~]#serviceiptablesstop

4、安装jdk1.6(确保几台机子的java环境一样)
到官网http://java.sun.com下载jdk-6u18-linux-i586.bin,下载后,直接安装。本安装Hadoop教程的安装路径为/home/cuijj/jdk1.6.0_18。安装后添加如下语句到/ect/profile中:
exportJAVA_HOME=/home/cuijj/jdk1.6.0_18
exportJRE_HOME=/home/cuijj/jdk1.6.0_18/jre
exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

5、安装hadoop
到官网下载hadoop-0.20.2.tar.gz
[cuijj@station1~]$tarxzvfhadoop-0.20.2.tar.gz
把Hadoop的安装路径添加到/etc/profile中
exportHADOOP_HOME=/home/cuijj/hadoop-0.20.2
exportPATH=$HADOOP_HOME/bin:$PATH
为了让/etc/profile生效,source一下
[cuijj@station1~]$source/etc/profile

6、配置hadoop
安装Hadoop教程介绍一下如何配置Hadoop。hadoop的配置文件在/conf目录下
1)配置Java环境
[cuijj@station1~]$vimhadoop-0.20.2/conf/hadoop-env.sh
exportJAVA_HOME=/home/cuijj/jdk1.6.0_18
2)配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件
[cuijj@station1~]$vimhadoop-0.20.2/conf/core-site.xml
[cuijj@station1~]$vimhadoop-0.20.2/conf/mapred-site.xml
[cuijj@station1~]$vimhadoop-0.20.2/conf/hdfs-site.xml
3)将NameNode上拷贝完整的hadoop到DataNode上
4)配置NameNode上的conf/masters和conf/slaves
masters:
192.168.128.11
slaves:
192.168.128.22
192.168.128.33

7、运行hadoop
1)格式化文件系统
[cuijj@station1hadoop-0.20.2]$hadoopnamenode-format
2)启动Hadoop
[cuijj@station1hadoop-0.20.2]$bin/start-all.sh
3)用jps命令查看进程,NameNode上的结果如下:
4)查看集群状态
[cuijj@station1hadoop-0.20.2]$hadoopdfsadmin-report
5)用hadoop的web方式查看
[cuijj@station1hadoop-0.20.2]$linkshttp://192.168.128.11:50070

8、运行wordcount.java程序
1)先在本地磁盘建立两个文件file01和file02
[cuijj@station1~]$echo"Hellocuijjbyecuijj">file01
[cuijj@station1~]$echo"HelloHadoopGoodbyeHadoop">file02
2)在hdfs中建立一个input目录
[cuijj@station1~]$hadoopdfs-mkdirinput
3)将file01和file02拷贝到hdfs的input目录下
[cuijj@station1~]$hadoopdfs-copyFromLocal/home/cuijj/file0*input
4)查看hdfs中有没有input目录
[cuijj@station1~]$hadoopdfs-ls
5)查看input目录下有没有复制成功file01和file02
6)执行wordcount(确保hdfs上没有output目录)
[cuijj@station1hadoop-0.20.2]$hadoopjarhadoop-0.20.2-examples.jarwordcountinputoutput
7)运行完成,查看结果
本安装Hadoop教程到此结束,谢谢关注。

【编辑推荐】

  1. 如何进行Hadoop安装部署?
  2. Hadoop安装部署简明步骤详解
  3. 学习笔记 Hadoop是什么?
  4. 深入剖析Hadoop HBase
  5. Hadoop配置指导手册

 

责任编辑:佚名 来源: csdn.net
相关推荐

2010-06-03 09:48:17

Hadoop安装

2010-06-01 17:45:45

SVN 基本操作

2010-05-28 19:02:50

TortoiseSVN

2009-06-23 18:36:09

2010-07-27 15:53:15

2011-06-30 17:41:46

SEO

2021-09-01 07:21:41

LinuxHadoop存储

2010-08-11 11:31:49

2010-07-20 16:19:54

Perl

2010-08-03 14:37:30

Flex入门教程

2019-10-17 17:15:01

Linux解压文件命令

2010-06-07 15:21:00

hadoop-0.20

2011-01-14 18:03:55

LinuxQQ安装

2013-08-09 09:37:59

Linux命令命令行

2010-06-29 13:45:50

UML类图教程

2010-05-21 09:31:09

安装VNC

2010-07-23 12:23:49

Perl基础

2014-03-10 11:43:45

Linux终端命令

2009-05-11 15:58:32

Linux软件卸载

2009-06-23 18:15:29

点赞
收藏

51CTO技术栈公众号