Hadoop文件系统如何快速安装?

开发 架构 Hadoop
Hadoop文件系统相信大家应该有所了解,这里向大家介绍一下Hadoop文件系统快速安装与使用,相信通过本文的学习大家对Hadoop文件系统安装与使用有更深刻的认识。

本节向大家介绍一下Hadoop文件系统的快速安装与使用,希望通过本节的介绍大家能够掌握Hadoop文件系统安装与使用方法,欢迎大家一起来学习。

Hadoop文件系统(HDFS)快速安装与使用技术文档

准备3台机器,一台作为Namenode,命名为master,两台作为dataNode,命名为slave01,slave02
在3台机器上都设置hadoop用户。

设置hadoop用户从master到slavessh不需要密码,设置方法参见“设置SSH服务器只采用密钥认证”一文。
注意:
(1)authorized_keys文件的访问权限应该设置为644,否则可能导致无密码登录失败。
(2)从master到master登录也需要配置无密码登录,否则会导致Namenode启动失败
下载并安装JDK,并在/etc/profile配置相应的环境变量,比如
JAVA_HOME=/usr/java/jdk1.6.0_18
CLASSPATH=.:$JAVA_HOME/lib
PATH=$JAVA_HOME/bin:$PATH
exportJAVA_HOMECLASSPATHPATH
在三台机器上创建相同的目录路径,为HDFS运行准备环境,比如在/data目录下创建hadoop目录,将其属主改成hadoop,然后在下面如下创建4个目录:
install:Hadoop源码解压后,放在该目录下
name:HDFS的名字节点存放目录
data01,data02:HDFS的数据存放目录,当然也可以是一个。
tmp:临时空间
注意:name目录只存放在master上,且权限为755,否则会导致后面的格式化失败。

编辑Hadoop文件系统HDFS配置文件,所有节点都要保持一致,共有四个:
core-site.xml:核心配置
hdfs-site.xml:站点多项参数配置
masters:主节点,在HDFS中就是Namenode的名称
slaves:数据节点(Datanode)名称

各个配置文件举例
核心配置:core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

站点节点配置:hdfs-site.xml
 

  1. <configuration> 
  2. <property> 
  3. <name>dfs.replication</name> 
  4. <value>2</value> 
  5. </property> 
  6. <property> 
  7. <name>dfs.name.dir</name> 
  8. <value>/data/hadoop/name</value> 
  9. </property> 
  10. <property> 
  11. <name>dfs.data.dir</name> 
  12. <value>/data/hadoop/data01,/data/hadoop/data02</value> 
  13. </property> 
  14. <property> 
  15. <name>dfs.tmp.dir</name> 
  16. <value>/data/hadoop/tmp</value> 
  17. </property> 
  18. </configuration> 

 主节点名称:masters
master

数据节点名称:slaves
master
slave01
slave02
注意:(1)如需要,可以在hadoop-env.sh中配置JAVA_HOME变量,比如:
exportJAVA_HOME=/usr/java/jdk1.6.0_18

(2)保证Hadoop文件系统各个节点上配置文件的一致性。
初始化namenode节点
登录到namenode上,cd/data/hadoop/install/bin,然后格式化Image文件的存储空间:
./hadoopnamenode-format
如果出错,就查看/data/hadoop/install/logs下的日志文件。

启动HDFS服务
在/data/hadoop/install/bin下有很多命令,
*start-all.sh启动所有的Hadoop守护,包括namenode,datanode,jobtracker,tasktrack,secondarynamenode。
*stop-all.sh停止所有的Hadoop。
*start-mapred.sh启动Map/Reduce守护,包括Jobtracker和Tasktrack。
*stop-mapred.sh停止Map/Reduce守护
*start-dfs.sh启动HadoopDFS守护,Namenode和Datanode。
*stop-dfs.sh停止DFS守护

简单使用
创建目录:./hadoopdfs-mkdirtest
查看目录:./hadoopdfs-ls
drwxr-xr-x-hadoopsupergroup02010-03-0421:27/user/hadoop/test
拷贝文件:./hadoopdfs-put/etc/servicestest,即把本地的文件存放到HDFS中

WEB界面
HDFS启动后,可以通过WEB界面来查看,缺省端口为50070,比如:http://master:50070/
即可查看整个HDFS的状态以及使用统计。
对于Mapreduce的WEB界面,缺省端口是50030。本节关于Hadoop文件系统的安装与使用介绍到这里。

【编辑推荐】

  1. Hadoop分布式文件系统详解
  2. Hadoop安装与使用如何进行?
  3. 专家讲解 Hadoop:HBASE松散数据存储设计
  4. 两种模式运行Hadoop分布式并行程序
  5. Hadoop应用之Hadoop安装篇

 

责任编辑:佚名 来源: csdn.net
相关推荐

2018-07-02 15:18:39

Linux文件系统

2021-09-01 07:21:41

LinuxHadoop存储

2010-06-04 18:45:43

Hadoop分布式文件

2013-05-21 10:10:29

Hadoop文件系统

2017-10-12 13:43:27

LinuxUbuntuZFS文件系统

2011-07-15 17:48:27

Platform

2018-03-01 16:26:30

HDFSHadoop系统

2018-07-06 09:16:22

HadoopRAID文件系统

2019-01-29 10:43:59

Linux 系统 数据

2010-04-30 17:03:44

Unix文件系统

2010-12-20 10:42:59

Linux文件系统

2020-07-22 14:53:06

Linux系统虚拟文件

2021-11-23 09:58:05

文件Linux命令

2011-01-13 14:10:30

Linux文件系统

2009-10-28 13:29:14

Linux文件系统安装

2018-08-14 10:44:58

HadoopHDFS命令

2016-09-14 23:51:23

2018-08-24 10:10:25

Linux文件系统技术

2019-09-20 10:04:45

Linux系统虚拟文件

2014-01-10 10:39:35

分布式文件系统TFS
点赞
收藏

51CTO技术栈公众号