Hadoop伪分布模式安装如何实现?

开发 架构 Hadoop
Hadoop安装可用的模式有三中,这里就向大家介绍一下问分布模式安装Hadoop,希望感兴趣的朋友们一起来关注,相信本文的介绍一定会让你有所收获的。

本节和大家一起学习一下Hadoop伪分布安装模式,上节我们介绍了Hadoop本地模式的安装,通过本节介绍大家可以做一下对比,看一下那种模式安装适合你,欢迎大家一起来学习Hadoop伪分布安装。为了便于大家理解,先看一下Hadoop的概念。

Hadoop伪分布安装模式  

Hadoop概念
   一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。
  简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。
  Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streamingaccess)文件系统中的数据。下面就hadoop0.20.1为蓝本,介绍在UbuntuLinux9.10下hadoop伪分布安装的方法。

支持的平台:
  Linux,可作为开发和产品部署的平台;
  Windows,可作为开发平台。

事先需要的软件:
  1.JavaTM1.6.x,必须安装,建议选择Sun公司发行的Java版本;
  2.ssh必须安装,并保证sshd运行,hadoop将以ssh进行通讯;
  3.如果是windows,则需要装Cygwin,用以支持shell命令。

安装可用的模式:
  1.本地模式;
  2.伪分布模式;
  3.全分布模式。

Hadoop伪分布模式安装步骤:

  1.将hadoop安装包解压缩到某目录下;
  2.修改conf/hadoop-env.sh文件,exportJAVA_HOME=那行设置正确的JAVA_HOME位置
  3.修改conf/core-site.xml,改为:
 

  1. viewplaincopytoclipboardprint?  
  2. <configuration> 
  3. <property> 
  4. <name>fs.default.name</name> 
  5. <value>hdfs://localhost:9000</value> 
  6. </property> 
  7. </configuration> 
  8. <configuration> 
  9. <property> 
  10. <name>fs.default.name</name> 
  11. <value>hdfs://localhost:9000</value> 
  12. </property> 
  13. </configuration> 

  4.修改conf/hdfs-site.xml,改为:
 

  1. viewplaincopytoclipboardprint?  
  2. <configuration> 
  3. <property> 
  4. <name>dfs.replication</name> 
  5. <value>1</value> 
  6. </property> 
  7. </configuration> 
  8. <configuration> 
  9. <property> 
  10. <name>dfs.replication</name> 
  11. <value>1</value> 
  12. </property> 
  13. </configuration> 

  5.修改conf/mapred-site.xml,改为:
 

  1. viewplaincopytoclipboardprint?  
  2. <configuration> 
  3. <property> 
  4. <name>mapred.job.tracker</name> 
  5. <value>localhost:9001</value> 
  6. </property> 
  7. </configuration> 
  8. <configuration> 
  9. <property> 
  10. <name>mapred.job.tracker</name> 
  11. <value>localhost:9001</value> 
  12. </property> 
  13. </configuration> 

  
6.设置本机ssh本机无密码
   先测试一下,输入命令sshlocalhost,如果提示密码,则需要进行以下操作:
     $ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
     $cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
  
7.格式化namenode:
     $bin/hadoopnamenode-format
  
8.启动Hadoop:
     $bin/start-all.sh
  至此,hadoop伪分布模式安装完毕!

【编辑推荐】

  1. Hadoop应用介绍之Hadoop安装环境配置
  2. Hadoop安装与使用如何进行?
  3. 专家讲解 Hadoop:HBASE松散数据存储设计
  4. 两种模式运行Hadoop分布式并行程序
  5. Hadoop应用之Hadoop安装篇
责任编辑:佚名 来源: csdn.net
相关推荐

2010-06-04 15:59:45

Hadoop完全分布模

2010-06-04 15:27:17

Hadoop本地

2017-10-25 18:25:40

Hadoop伪分布式环境部署

2014-09-04 09:35:17

2010-06-07 16:45:49

Hadoop0.20.

2010-06-04 18:29:02

Hadoop单机模式

2013-06-13 10:39:54

Hadoop2.0.4

2010-06-03 19:46:44

Hadoop

2020-04-28 12:18:08

Seata模式分布式

2017-08-10 10:17:32

Hadoop分布式搭建

2010-06-03 11:01:32

Hadoop安装部署

2021-09-01 07:21:41

LinuxHadoop存储

2011-09-28 11:22:52

Hadoop

2012-05-21 16:28:29

LinuxHadoop

2012-05-21 10:19:31

Hadoop

2010-06-04 16:17:02

2013-05-09 15:39:30

Hadoop集群分布式

2011-12-22 09:21:04

云计算Hadoop大数据

2010-06-03 19:28:02

Hadoop

2010-06-03 10:04:26

Hadoop安装
点赞
收藏

51CTO技术栈公众号