专家推荐 Hadoop0.20.2集群配置指导手册

开发 架构 Hadoop
在学习Hadoop的过程中,你可能会遇到Hadoop0.20.2集群配置问题,这里就向大家简单介绍一下Hadoop0.20.2集群配置的方法,希望本文的介绍对你有所帮助。

本节和大家一起继续学习有关Hadoop0.20.2集群配置方面的内容,上节我们介绍到Hadoop的配置,接下来该启动Hadoop了。欢迎大家一起来学习Hadoop0.20.2集群配置的方法,相信通过本节的介绍大家对如何进行Hadoop0.20.2集群配置有一定的认识。

一、hadoop启动

先格式化一个新的分布式文件系统
$cdhadoop-0.20.2
$bin/hadoopnamenode-format
查看输出保证分布式文件系统格式化成功。
Hadoop0.20.2集群配置过程中在主节点master上面启动hadoop,主节点会启动所有从节点的hadoop。
$bin/start-all.sh
从主节点master关闭hadoop,主节点会关闭所有从节点的hadoop。
$bin/stop-all.sh
Hadoop守护进程的日志写入到${HADOOP_LOG_DIR}目录(默认是${HADOOP_HOME}/logs).

浏览NameNode和JobTracker的网络接口,它们的地址默认为:
NameNode-http://master:50070/
JobTracker-http://master:50030/

将输入文件拷贝到分布式文件系统:$bin/hadoopfs-putconfinput

运行发行版提供的示例程序:$bin/hadoopjarhadoop-0.20.2-examples.jargrepinputoutput'dfs[a-z.]+'

查看输出文件:
将输出文件从分布式文件系统拷贝到本地文件系统查看:
$bin/hadoopfs-getoutputoutput
$catoutput/*
或者
在分布式文件系统上查看输出文件:$bin/hadoopfs-catoutput/*


启动运行成功后,可以多熟悉熟悉hadoopdfs命令,例如:
hadoopdfs–ls查看/usr/root目录下的内容,默认如果不填路径这就是当前用户路径;
hadoopdfs–rmrxxxxxx就是删除目录;
hadoopdfsadmin-report这个命令可以全局的查看DataNode的情况;
hadoopjob-list后面增加参数是对于当前运行的Job的操作,例如list,kill等;
hadoopbalancer均衡磁盘负载的命令。本节关于Hadoop0.20.2集群配置方面的内容就介绍到这里。

【编辑推荐】

  1. Hadoop0.20.2集群配置入门指导手册
  2. Hadoop集群配置全程跟踪报道
  3. 专家讲解 Hadoop:HBASE松散数据存储设计
  4. 两种模式运行Hadoop分布式并行程序
  5. 轻松实现Hadoop Hdfs配置

 

责任编辑:佚名 来源: javaeye.com
相关推荐

2010-06-04 17:21:48

2010-06-07 15:48:40

Hadoop0.20.

2010-06-03 14:55:59

Hadoop配置

2012-09-18 09:55:44

Hadoop 2.0

2010-06-04 18:06:22

Hadoop集群搭建

2010-06-03 14:42:47

Hadoop分布式集群

2010-07-15 09:10:08

Perl函数手册

2010-07-20 13:19:16

Perl入门手册

2010-09-26 10:02:09

JVM优化配置

2013-11-22 09:57:03

hadoop1.2.1zookeeper-3hbase-0.94.

2010-05-27 13:35:43

SVN简易使用手册

2010-07-23 12:23:49

Perl基础

2009-12-22 11:14:38

WCF禁用安全配置

2010-05-20 09:41:07

MyEclipse下配

2010-06-07 18:12:39

mrtg 安装

2010-05-19 14:28:18

Subversion权

2010-09-27 10:54:53

JVM参数配置

2010-07-26 11:09:35

Perl函数手册

2010-05-26 12:59:48

SVN简易使用手册

2010-06-01 17:45:45

SVN 基本操作
点赞
收藏

51CTO技术栈公众号