Hadoop集群6:JDK和SSH无密码配置

开发 开发工具 大数据 Hadoop
本文为Hadoop集群系列第六篇,包括JDK和SSH无密码配置。如果你的计算机仅仅作为开发使用时推荐使用这种方法,因为所有用户的shell都有权使用这些环境变量,可能会给系统带来安全性问题。

1、Linux配置java环境变量

1.1 原文出处

地址:http://blog.csdn.net/jiedushi/article/details/6672894

1.2 解压安装jdk

在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录,执行命令 ./jdk-6u14-linux-i586.bin 这时会出现一段协议,连继敲回车,当询问是否同意的时候,输入yes,回车。之后会在当前目录下生成一个jdk1.6.0_14目录,你可以将它复制到 任何一个目录下。

1.3 需要配置的环境变量

1)PATH环境变量

作用是指定命令搜索路径,在shell下面执行命令时,它会到PATH变量所指定的路径中查找看是否能找到相应的命令程序。我们需要把 jdk安装目录下的bin目录增加到现有的PATH变量中,bin目录中包含经常要用到的可执行文件如javac/java/javadoc等待,设置好 PATH变量后,就可以在任何目录下执行javac/java等工具了。

2)CLASSPATH环境变量

作用是指定类搜索路径,要使用已经编写好的类,前提当然是能够找到它们了,JVM就是通过CLASSPTH来寻找类的。我们 需要把jdk安装目录下的lib子目录中的dt.jar和tools.jar设置到CLASSPATH中,当然,当前目录"."也必须加入到该变量中。

3)JAVA_HOME环境变量

它指向jdk的安装目录,Eclipse/NetBeans/Tomcat等软件就是通过搜索JAVA_HOME变量来找到并使用安装好的jdk。

1.4 三种配置环境变量的方法

1)修改/etc/profile文件

如果你的计算机仅仅作为开发使用时推荐使用这种方法,因为所有用户的shell都有权使用这些环境变量,可能会给系统带来安全性问题。

用文本编辑器打开/etc/profile

在profile文件末尾加入:

 

  1. export JAVA_HOME=/usr/share/jdk1.6.0_14 
  2. export PATH=$JAVA_HOME/bin:$PATH 
  3. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

 

重新登录

注解

a. 你要将 /usr/share/jdk1.6.0_14改为你的jdk安装目录

b. linux下用冒号":"来分隔路径

c. $PATH / $CLASSPATH / $JAVA_HOME 是用来引用原来的环境变量的值

在设置环境变量时特别要注意不能把原来的值给覆盖掉了,这是一种

常见的错误。

d. CLASSPATH中当前目录"."不能丢,把当前目录丢掉也是常见的错误。

e. export是把这三个变量导出为全局变量。

f. 大小写必须严格区分。

2)修改.bash_profile文件

这种方法更为安全,它可以把使用这些环境变量的权限控制到用户级别,如果你需要给某个用户权限使用这些环境变量,你只需要修改其个人用户主目录下的.bash_profile文件就可以了。

用文本编辑器打开用户目录下的.bash_profile文件

在.bash_profile文件末尾加入:

export JAVA_HOME=/usr/share/jdk1.6.0_14

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

重新登录

3)直接在shell下设置变量

不赞成使用这种方法,因为换个shell,你的设置就无效了,因此这种方法仅仅是临时使用,以后要使用的时候又要重新设置,比较麻烦。

只需在shell终端执行下列命令:

export JAVA_HOME=/usr/share/jdk1.6.0_14

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

1.5 测试jdk

1)用文本编辑器新建一个Test.java文件,在其中输入以下代码并保存:

public class test {

public static void main(String args[]) {

System.out.println("A new jdk test !");

}

}

2)编译:

在shell终端执行命令 javac Test.java

3)运行:

在shell终端执行命令 java Test

 当shell下出现"A new jdk test !"字样则jdk运行正常。

1.6 卸载jdk

找到jdk安装目录的_uninst子目录

在shell终端执行命令./uninstall.sh即可卸载jdk。

2、配置OpenSSH无密码登陆

2.1 原文出处

地址:http://www.iteye.com/topic/421608

2.2 文章序言

最近在搭建Hadoop环境需要设置无密码登陆,所谓无密码登陆其实是指通过证书认证的方式登陆,使用一种被称为"公私钥"认证的方式来进行ssh登录。

 在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA的加密算法.该工具做linux系统的远程管理是非常安全的。telnet,因为其不安全性,在linux系统中被搁置使用了。

" 公私钥"认证方式简单的解释:首先在客户端上创建一对公私钥 (公钥文件:~/.ssh/id_rsa.pub; 私钥文件:~/.ssh/id_rsa)。然后把公钥放到服务器上(~/.ssh/authorized_keys), 自己保留好私钥.在使用ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功就可以登录了。

在Ubuntu和Cygwin 配置都很顺利,而在Centos系统中配置时遇到了很多问题。故此文以Centos(Centos5 ) 为例详细讲解如何配置证书验证登陆,具体操作步骤如下:

2.3 确认系统已经安装好OpenSSH的server 和client

安装步骤这里不再讲述,不是本文的重点。

2.4 确认本机sshd的配置文件(root)

$ vi /etc/ssh/sshd_config

找到以下内容,并去掉注释符"#"

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile .ssh/authorized_keys

2.5 如果修改了配置文件需要重启sshd服务(root)

$ vi /sbin/service sshd restart

2.6 ssh登陆系统 后执行测试命令

$ ssh localhost

回车会提示你输入密码,因为此时我们还没有生成证书。

2.7 生成证书公私钥的步骤

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

2.8 测试登陆 ssh localhost

$ ssh localhost

正常情况下会登陆成功,显示一些成功登陆信息,如果失败请看下面的"一般调试步骤"。

2.9 一般调试步骤

本人在配置时就失败了,按照以上步骤依旧提示要输入密码。于是用ssh -v 显示详细的登陆信息查找原因:

$ ssh -v localhost

回车显示了详细的登陆信息如下:

。。。。。。省略

 

  1. debug1: Authentications that can continue: publickey,gssapi-with-mic,password 
  2. debug1: Next authentication method: gssapi-with-mic 
  3. debug1: Unspecified GSS failure. Minor code may provide more information 
  4. Unknown code krb5 195 
  5. debug1: Unspecified GSS failure. Minor code may provide more information 
  6. Unknown code krb5 195 
  7. debug1: Unspecified GSS failure. Minor code may provide more information 
  8. Unknown code krb5 195 
  9. debug1: Next authentication method: publickey 
  10. debug1: Trying private key: /home/huaxia/.ssh/identity 
  11. debug1: Trying private key: /home/huaxia/.ssh/id_rsa 
  12. debug1: Offering public key: /home/huaxia/.ssh/id_dsa 
  13. debug1: Authentications that can continue: publickey,gssapi-with-mic,password 
  14. debug1: Next authentication method: password 
  15. huaxia@localhost's password: 

 

同时用root用户登陆查看系统的日志文件:

$tail /var/log/secure -n 20

。。。。。。省略

Jul 13 11:21:05 shnap sshd[3955]: Accepted password for huaxia from 192.168.8.253 port 51837 ssh2

Jul 13 11:21:05 shnap sshd[3955]: pam_unix(sshd:session): session opened for user huaxia by (uid=0)

Jul 13 11:21:47 shnap sshd[4024]: Connection closed by 127.0.0.1

Jul 13 11:25:28 shnap sshd[4150]: Authentication refused: bad ownership or modes for file /home/huaxia/.ssh/authorized_keys

Jul 13 11:25:28 shnap sshd[4150]: Authentication refused: bad ownership or modes for file /home/huaxia/.ssh/authorized_keys

Jul 13 11:26:30 shnap sshd[4151]: Connection closed by 127.0.0.1

。。。。。。省略

从上面的日志信息中可知文件/home/huaxia/.ssh/authorized_keys 的权限有问题。

查看/home/huaxia/.ssh/ 下文件的详细信息如下:

$ ls -lh ~/.ssh/

总计 16K

-rw-rw-r-- 1 huaxia huaxia 602 07-13 11:22 authorized_keys

-rw------- 1 huaxia huaxia 672 07-13 11:22 id_dsa

-rw-r--r-- 1 huaxia huaxia 602 07-13 11:22 id_dsa.pub

-rw-r--r-- 1 huaxia huaxia 391 07-13 11:21 known_hosts

修改文件authorized_keys的权限(权限的设置非常重要,因为不安全的设置安全设置,会让你不能使用RSA功能 ):

$ chmod 600 ~/.ssh/authorized_keys

再次测试登陆如下:

$ ssh localhost

Last login: Wed Jul 13 14:04:06 2011 from 192.168.8.253

看到这样的信息表示已经成功实现了本机的无密码登陆。

2.10 认证登陆远程服务器

备注:远程服务器OpenSSH的服务当然要启动。

拷贝本地生产的key到远程服务器端(两种方法)

1)方法一:

$cat ~/.ssh/id_rsa.pub | ssh 远程用户名@远程服务器ip 'cat - >> ~/.ssh/authorized_keys'

2)方法二:

在本机上执行:

$ scp ~/.ssh/id_dsa.pub michael@192.168.8.148:/home/michael/

登陆远程服务器michael@192.168.8.148 后执行:

$ cat id_dsa.pub >> ~/.ssh/authorized_keys

本机远程登陆192.168.8.148的测试:

$ssh michael@192.168.8.148

Linux michael-VirtualBox 2.6.35-22-generic #33-Ubuntu SMP Sun Sep 19 20:34:50 UTC 2010 i686 GNU/Linux

Ubuntu 10.10

Welcome to Ubuntu!

* Documentation: https://help.ubuntu.com/

216 packages can be updated.

71 updates are security updates.

New release 'natty' available.

Run 'do-release-upgrade' to upgrade to it.

Last login: Wed Jul 13 14:46:37 2011 from michael-virtualbox

michael@michael-VirtualBox:~$

可见已经成功登陆。

如果登陆测试不成功,需要修改远程服务器192.168.8.148上的文件authorized_keys的权限(权限的设置非常重要,因为不安全的设置安全设置,会让你不能使用RSA功能 )

chmod 600 ~/.ssh/authorized_keys

原文链接:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504132.html

 

【编辑推荐】

  1. Hadoop集群系列1:CentOS安装配置
  2. Hadoop集群系列2:机器信息分布表
  3. Hadoop集群系列3:VSFTP安装配置
  4. Hadoop集群系列4:SecureCRT使用
  5. Hadoop集群搭建过程中相关环境配置详解
  6. Hadoop完全分布模式安装实现详解

 

责任编辑:彭凡 来源: 博客园
相关推荐

2012-09-13 13:26:40

Hadoop集群

2010-03-10 16:47:53

2010-03-10 16:16:53

Linux ssh无密

2013-05-27 14:13:51

Hadoop 2.0.

2012-05-08 11:14:27

LinuxOpenSSHSSH

2010-06-07 09:26:32

Hadoop集群

2012-06-25 10:30:06

Hadoop集群

2010-06-04 10:35:14

2017-06-22 08:58:51

Hadoopssh+IPssh+

2010-06-03 15:39:47

Hadoop配置

2010-06-07 09:14:55

Hadoop集群

2012-09-18 09:55:44

Hadoop 2.0

2009-11-24 09:26:49

LinuxJDKTomcat

2011-04-21 10:05:35

Hadoop集群lzo

2012-08-08 10:10:30

CentOS 6操作系统

2012-08-31 10:00:12

Hadoop云计算群集网络

2013-07-31 10:04:42

hadoopHadoop集群集群和网络

2012-11-08 14:47:52

Hadoop集群

2009-07-26 20:10:02

sshF5suse linux

2009-09-09 10:23:27

JDK 5Java SE 6
点赞
收藏

51CTO技术栈公众号