Windows下轻松实现Hadoop开发环境安全配置

开发 架构 Hadoop
Hadoop开发环境的安全配置你是否熟悉,这里就向大家介绍一下Windows下基于Eclipse的Hadoop开发环境完全配置方法,欢迎大家一起来学习,希望本文介绍对你的学习有所帮助。

本节接着上节向大家介绍Windows下基于Eclipse的Hadoop开发环境完全配置的方法步骤,上节介绍了配置的准本工作,接下来该开始配置Hadoop了,这里向大家简单分享一下,希望本节的学习可以让你对Hadoop开发环境有新的理解。

Windows下基于Eclipse的Hadoop开发环境完全配置
 

一,解压文件

打开一个cygwin,输入以下命令
cd.
explorer.
会弹出一个新窗口,把原来下载的hadoop压缩文件放到里面,并解压。个人认为,其实不一定要放到cygwin的用户根目录下,没试过。

二,配置Hadoop

打开解压出来的文件夹,在hadoop-0.19.2\conf目录下有一个hadoop-site.xml文件,打开,在原有的
<configuration></configuration>间插入
 

  1. <property> 
  2. <name>fs.default.name</name> 
  3. <value>hdfs://localhost:9100</value> 
  4. </property> 
  5. <property> 
  6. <name>mapred.job.tracker</name> 
  7. <value>localhost:9101</value> 
  8. </property> 
  9. <property> 
  10. <name>dfs.replication</name> 
  11. <value>1</value> 
  12. </property> 

 

保存。

三,格式化NameNode

打开一个cygwin,转到hadoop目录下,如果按照前面的解压,直接用cdhadoop-0.19.2就可以了,接着输入以下命令:
mkdirlogs
bin/hadoopnamenode-format

四,安装Eclipse插件

因为本节介绍的Hadoop开发环境配置是基于Eclipse的,所以需要安装Eclipse插件。打开解压后的文件夹,把hadoop-0.19.2\contrib\eclipse-plugin下的hadoop-0.19.2-eclipse-plugin.jar文件拷到eclipse的plugins目录下,重启eclipse,在Window-》OpenPerspective-》other,弹出的窗口中应该有一项Map/Reduce项,代表安装成功了。如果没有的话,把eclipse下的configuration\org.eclipse.update文件夹删了,再重启eclipse。

五,启动Hudoop集群
启动五个cygwin。

在***中启动NameNode,执行:
cdhadoop-0.19.2
bin/hadoopnamenode

在第二个中启动SecondaryNameNode,执行:
cdhadoop-0.19.2
bin/hadoopsecondarynamenode

第三个中启动jobtracker执行:
cdhadoop-0.19.2
bin/hadoopjobtracker

第四个中启动datanode,执行:
cdhadoop-0.19.2
bin/hadoopdatanode

***一个启动tasktracker,执行:
cdhadoop-0.19.2
bin/hadooptasktracker

六,在Eclipse中配置Hadoop开发环境

启动eclipse,转到Map/ReducePerspective,在上图的Map/ReduceLocations里,新建一个Location,填入以下值
*LocationName--localhost
*Map/ReduceMaster
oHost--localhost
oPort--9101
*DFSMaster
oCheck"UseM/RMasterHost"
oPort--9100
*Username--默认

七,上传文件到HDFS

打开一个cygwin,执行
cdhadoop-0.19.1
bin/hadoopfs-mkdirIn
bin/hadoopfs-put*.txtIn
这时,在eclipse的Projectexplorer的DFSlocation中,应该能反应变化,没有的话,reconnect一下。Hadoop开发环境安全配置的下一步该创建工程了。

八,创建工程

启动Eclipse,右键点击ProjectExplorer窗口,选择New->Project..找到Map/ReduceProject,点Next,输入名字。
点击下面的ConfigHadoopInstallDirectiory,输入Hadoop的目录,如:C:\cygwin\home\User\hadoop-0.19.2
右键点击新创建的Hadoop工程,选择New->Other转到Map/Reduce文件夹,选择MapReduceDriver然后点击Next,输入名字,点击Finish。
新创建了一个文件,但是有错误,把
conf.setInputPath(newPath("src"));
conf.setOutputPath(newPath("out"));
换为
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);

FileInputFormat.setInputPaths(conf,newPath("In"));
FileOutputFormat.setOutputPath(conf,newPath("Out"));
右键点击文件,选择RunAs-->RunonHadoop.在弹出的窗口中选择"Chooseexistinghadooplocation",然后选择刚才创建的localhost,点Finish就开始运行了。至此本节关于Hadoop开发环境安全配置就完成了。

【编辑推荐】

  1. Hadoop Hdfs配置过程全程报道
  2. Hadoop开发环境在Windows下的安全配置如何实现?
  3. 专家讲解 Hadoop:HBASE松散数据存储设计
  4. 两种模式运行Hadoop分布式并行程序
  5. Hadoop概念及其用法专家讲解

 

责任编辑:佚名 来源: csdn.net
相关推荐

2010-06-04 14:12:57

Hadoop开发环境

2010-06-03 15:13:34

Hadoop Hdfs

2009-07-10 13:24:12

如何配置JDK开发环境JDK配置

2009-07-06 15:58:11

JSP程序

2009-08-24 09:37:03

Windows 7下配

2010-07-26 13:39:53

Perl开发环境

2010-07-26 16:28:40

Perl开发环境

2021-05-18 09:01:09

Windows操作系统NodeJs服务器

2013-02-18 10:40:55

2020-01-14 11:45:31

安全模式Windows 10Windows

2010-06-02 11:16:31

2010-07-13 16:00:59

Perl开发环境

2012-06-05 01:23:14

Ubuntueclipse

2020-11-03 08:36:08

Hadoop

2011-09-14 15:33:33

Android 2.2

2009-09-25 13:56:10

虚拟化环境

2010-06-07 09:47:34

php sendmai

2011-07-14 13:28:24

2011-03-15 10:08:22

2013-06-05 13:31:25

点赞
收藏

51CTO技术栈公众号