Hadoop2.6.0自动化部署脚本(一)

运维 自动化 Hadoop
最近自己写了一个Hadoop自动化部署脚本,包括Hadoop集群自动化部署脚本和Hadoop增加单节点自动化部署脚本。需要快速部署Hadoop集群的童鞋可以使用该脚本。这些脚本我在用5台虚拟机进行了测试,如果在使用中还有bug,欢迎指出。本文主要介绍Hadoop集群自动化部署脚本,安装的Hadoop版本为2.6.0。

1 概述

最近自己写了一个Hadoop自动化部署脚本,包括Hadoop集群自动化部署脚本和Hadoop增加单节点自动化部署脚本。需要快速部署Hadoop集群的童鞋可以使用该脚本。这些脚本我在用5台虚拟机进行了测试,如果在使用中还有bug,欢迎指出。本文主要介绍Hadoop集群自动化部署脚本,安装的Hadoop版本为2.6.0。

2 依赖

安装Hadoop2.6.0集群需要依赖JDK和Zookeeper。本文安装的JDK版本为jdk-7u60-linux-x64,Zookeeper版本为zookeeper-3.4.6。

3 各文件及配置说明

该部署脚本由两部分构成:root用户下执行的脚本和Hadoop启动用户下执行的脚本。这些脚本都只需要在一台服务器上执行即可,执行脚本的服务器作为Hadoop的Master服务器。下面分别进行说明。

3.1 root脚本说明

root脚本的目录结构如下:

  • conf — 配置文件目录
    • init.conf
  • expect — expect脚本目录
    • password.expect
    • scp.expect
    • otherInstall.expect
  • file — 安装文件目录
    • hadoop-2.6.0.tar.gz
    • jdk-7u60-linux-x64.tar.gz
    • zookeeper-3.4.6.tar.gz
  • installRoot.sh — 脚本执行文件

3.1.1 conf目录

该目录下的init.conf文件为root执行脚本使用的配置文件,在执行脚本之前需要对该配置文件进行修改。文件内容如下:

  1. #jdk file and version 
  2. JDK_FILE_TAR=jdk-7u60-linux-x64.tar.gz 
  3.  
  4. #jdk unpack name 
  5. JDK_FILE=jdk1.7.0_60 
  6.  
  7. #java home 
  8. JAVAHOME=/usr/java 
  9.  
  10. #Whether install the package for dependence,0 means no,1 means yes 
  11. IF_INSTALL_PACKAGE=1 
  12.  
  13. #host conf 
  14. ALLHOST="hadoop1master hadoop1masterha hadoop1slave1 hadoop1slave2 hadoop1slave3" 
  15. ALLIP="192.168.0.180 192.168.0.184 192.168.0.181 192.168.0.182 192.168.0.183" 
  16.  
  17. #zookeeper conf 
  18. ZOOKEEPER_TAR=zookeeper-3.4.6.tar.gz 
  19. ZOOKEEPERHOME=/usr/local/zookeeper-3.4.6 
  20. SLAVELIST="hadoop1slave1 hadoop1slave2 hadoop1slave3"  
  21.  
  22. #hadoop conf 
  23. HADOOP_TAR=hadoop-2.6.0.tar.gz 
  24. HADOOPHOME=/usr/local/hadoop-2.6.0 
  25. HADOOP_USER=hadoop2 
  26. HADOOP_PASSWORD=hadoop2 
  27.  
  28. #root conf: $MASTER_HA $SLAVE1 $SLAVE2 $SLAVE3 
  29. ROOT_PASSWORD="hadoop hadoop hadoop hadoop"  

下面是个别参数的解释及注意事项:

  1. ALLHOST为Hadoop集群各个服务器的hostname,使用空格分隔;ALLIP为Hadoop集群各个服务器的ip地址,使用空格分隔。要求ALLHOST和ALLIP要一一对应。
  2. SLAVELIST为zookeeper集群部署的服务器的hostname。
  3. ROOT_PASSWORD为除了Master服务器以外的其他服务器root用户的密码,使用逗号隔开。(在实际情况下,可能各个服务器的root密码并不相同。)

3.1.2 expect目录

该目录下包含password.expect、scp.expect、otherInstall.expect三个文件。password.expect用来设置hadoop启动用户的密码;scp.expect用来远程传输文件;otherInstall.expect用来远程执行其他服务器上的installRoot.sh。这三个文件都在installRoot.sh中被调用。

password.expect文件内容如下:

  1. #!/usr/bin/expect -f 
  2. set user [lindex $argv 0] 
  3. set password [lindex $argv 1] 
  4. spawn passwd $user 
  5. expect "New password:" 
  6. send "$password\r" 
  7. expect "Retype new password:" 
  8. send "$password\r" 
  9. expect eof  

其中argv 0和argv 1都是在installRoot.sh脚本中进行传值的。其他两个文件argv *也是这样传值的。

scp.expect文件内容如下:

  1. #!/usr/bin/expect -f 
  2. set dir, host, userpassword 
  3. set dir [lindex $argv 0] 
  4. set host [lindex $argv 1] 
  5. set user [lindex $argv 2] 
  6. set password [lindex $argv 3] 
  7. set timeout -1 
  8. spawn scp -r $dir $user@$host:/root/ 
  9. expect { 
  10.     "(yes/no)?" 
  11.     { 
  12.         send "yes\n" 
  13.         expect "*assword:" { send "$password\n"
  14.     } 
  15.     "*assword:" 
  16.     { 
  17.         send "$password\n" 
  18.     } 
  19. expect eof  

otherInstall.expect文件内容如下:

  1. #!/usr/bin/expect -f 
  2. set dir, host, userpassword 
  3. set dir [lindex $argv 0] 
  4. set name [lindex $argv 1] 
  5. set host [lindex $argv 2] 
  6. set user [lindex $argv 3] 
  7. set password [lindex $argv 4] 
  8. set timeout -1 
  9. spawn ssh -q $user@$host "$dir/$name" 
  10. expect { 
  11.     "(yes/no)?" 
  12.     { 
  13.         send "yes\n" 
  14.         expect "*assword:" { send "$password\n"
  15.     } 
  16.     "*assword:" 
  17.     { 
  18.         send "$password\n" 
  19.     } 
  20. expect eof  

3.1.3 file目录

这里就是安装Hadoop集群及其依赖所需的安装包。

3.1.4 installRoot.sh脚本

该脚本是在root用户下需要执行的脚本,文件内容如下:

  1. #!/bin/bash 
  2.  
  3. if [ $USER != "root" ]; then 
  4.     echo "[ERROR]:Must run as root";  exit 1 
  5. fi 
  6. # Get absolute path and name of this shell 
  7. readonly PROGDIR=$(readlink -m $(dirname $0)) 
  8. readonly PROGNAME=$(basename $0) 
  9. hostname=`hostname` 
  10.  
  11. source /etc/profile 
  12. # import init.conf 
  13. source $PROGDIR/conf/init.conf 
  14. echo "install start..." 
  15. # install package for dependence 
  16. if [ $IF_INSTALL_PACKAGE -eq 1 ]; then 
  17.     yum -y install expect >/dev/null 2>&1 
  18.     echo "expect install successful." 
  19.     # yum install openssh-clients #scp 
  20. fi 
  21.  
  22. #stop iptables or open ports, now stop iptables 
  23. service iptables stop 
  24. chkconfig iptables off 
  25. FF_INFO=`service iptables status` 
  26. if [ -n "`echo $FF_INFO | grep "Firewall is not running"`" ]; then 
  27.     echo "Firewall is already stop." 
  28. else 
  29.     echo "[ERROR]:Failed to shut down the firewall.Exit shell." 
  30.     exit 1 
  31. fi 
  32. #stop selinux 
  33. setenforce 0 
  34. SL_INFO=`getenforce` 
  35. if [ $SL_INFO == "Permissive" -o $SL_INFO == "disabled" ]; then 
  36.     echo "selinux is already stop." 
  37. else     
  38.     echo "[ERROR]:Failed to shut down the selinux. Exit shell." 
  39.     exit 1 
  40. fi 
  41.  
  42. #host config 
  43. hostArr=( $ALLHOST ) 
  44. IpArr=( $ALLIP ) 
  45. for (( i=0; i <= ${#hostArr[@]}; i++ )) 
  46.     if [ -z "`grep "${hostArr[i]}" /etc/hosts`" -o -z "`grep "${IpArr[i]}" /etc/hosts`" ]; then 
  47.         echo "${IpArr[i]} ${hostArr[i]}" >> /etc/hosts 
  48.     fi 
  49.  
  50. #user config 
  51. groupadd $HADOOP_USER && useradd -g $HADOOP_USER $HADOOP_USER && $PROGDIR/expect/password.expect $HADOOP_USER $HADOOP_PASSWORD >/dev/null 2>&1 
  52.  
  53. check jdk 
  54. checkOpenJDK=`rpm -qa | grep java` 
  55. # already install openJDK ,uninstall 
  56. if [ -n "$checkOpenJDK" ]; then 
  57.     rpm -e --nodeps $checkOpenJDK 
  58.     echo "uninstall openJDK successful" 
  59. fi 
  60. # A way of exception handling. `java -version` perform error then perform after ||. 
  61. `java -version` || ( 
  62.     [ ! -d $JAVAHOME ] && ( mkdir $JAVAHOME ) 
  63.     tar -zxf $PROGDIR/file/$JDK_FILE_TAR -C $JAVAHOME 
  64.     echo "export JAVA_HOME=$JAVAHOME/$JDK_FILE" >> /etc/profile 
  65.     echo 'export JAVA_BIN=$JAVA_HOME/bin' >> /etc/profile 
  66.     echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile 
  67.     echo 'export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar' >> /etc/profile 
  68.     echo 'export JAVA_HOME JAVA_BIN PATH CLASSPATH' >> /etc/profile 
  69.     echo "sun jdk done" 
  70.  
  71. check zookeeper 
  72. slaveArr=( $SLAVELIST ) 
  73. if [[ "${slaveArr[@]}" =~ $hostname ]]; then 
  74.     `zkServer.sh status` || [ -d  $ZOOKEEPERHOME ] || ( 
  75.         tar -zxf $PROGDIR/file/$ZOOKEEPER_TAR -C /usr/local
  76.         chown -R $HADOOP_USER:$HADOOP_USER $ZOOKEEPERHOME 
  77.         echo "export ZOOKEEPER_HOME=$ZOOKEEPERHOME" >> /etc/profile 
  78.         echo 'PATH=$PATH:$ZOOKEEPER_HOME/bin' >> /etc/profile 
  79.         echo "zookeeper done" 
  80.     ) 
  81. fi 
  82.  
  83. check hadoop2 
  84. `hadoop version` || [ -d  $HADOOPHOME ] || ( 
  85.     tar -zxf $PROGDIR/file/$HADOOP_TAR -C /usr/local
  86.     chown -R $HADOOP_USER:$HADOOP_USER $HADOOPHOME 
  87.     echo "export HADOOP_HOME=$HADOOPHOME" >> /etc/profile 
  88.     echo 'PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile 
  89.     echo 'HADOOP_HOME_WARN_SUPPRESS=1' >> /etc/profile 
  90.     echo "hadoop2 done" 
  91. source /etc/profile 
  92.  
  93. #ssh config 
  94. sed -i "s/^#RSAAuthentication\ yes/RSAAuthentication\ yes/g" /etc/ssh/sshd_config 
  95. sed -i "s/^#PubkeyAuthentication\ yes/PubkeyAuthentication\ yes/g" /etc/ssh/sshd_config 
  96. sed -i "s/^#AuthorizedKeysFile/AuthorizedKeysFile/g" /etc/ssh/sshd_config 
  97. sed -i "s/^GSSAPIAuthentication\ yes/GSSAPIAuthentication\ no/g" /etc/ssh/sshd_config 
  98. sed -i "s/^#UseDNS\ yes/UseDNS\ no/g" /etc/ssh/sshd_config 
  99. service sshd restart 
  100.  
  101. # install other servers 
  102. rootPasswdArr=( $ROOT_PASSWORD ) 
  103. if [ $hostname == ${hostArr[0]} ]; then 
  104.     i=0 
  105.     for node in $ALLHOST; do 
  106.         if [ $hostname == $node ]; then 
  107.             echo "this server, do nothing" 
  108.         else 
  109.             # cope install dir to other server 
  110.             $PROGDIR/expect/scp.expect $PROGDIR $node $USER ${rootPasswdArr[$i]} 
  111.             $PROGDIR/expect/otherInstall.expect $PROGDIR $PROGNAME $node $USER ${rootPasswdArr[$i]} 
  112.             i=$(($i+1)) #i++ 
  113.             echo $node" install successful." 
  114.         fi 
  115.     done 
  116.     # Let the environment variables take effect 
  117.     su - root 
  118. fi  

这个脚本主要干了下面几件事:

  1. 如果在配置文件中设置了IF_INSTALL_PACKAGE=1,则安装expect,默认是安装expect。如果服务器上已经有了expect,则可以设置IF_INSTALL_PACKAGE=0。
  2. 关闭防火墙,停止selinux。
  3. 将Hadoop集群的各个机器host及ip对应关系写到/etc/hosts文件中。
  4. 新建Hadoop启动用户及用户组。
  5. 安装jdk、zookeeper、hadoop并设置环境变量。
  6. 修改ssh配置文件/etc/ssh/sshd_config。
  7. 如果判断执行脚本的机器是Master机器,则拷贝本机的root脚本到其他机器上并执行。

注意:在执行该脚本之前,需要确保Hadoop集群安装的各个服务器上能够执行scp命令,如果不能执行,需要在各个服务器上安装openssh-clients,执行脚本为:yum –y install openssh-clients。

3.2 hadoop脚本说明

hadoop脚本的目录结构如下:

  • bin — 脚本目录
    • config_hadoop.sh
    • config_ssh.sh
    • config_zookeeper.sh
    • ssh_nopassword.expect
    • start_all.sh
  • conf — 配置文件目录
    • init.conf
  • template — 配置文件模板目录
    • core-site.xml
    • hadoop-env.sh
    • hdfs-site.xml
    • mapred-site.xml
    • mountTable.xml
    • myid
    • slaves
    • yarn-env.sh
    • yarn-site.xml
    • zoo.cfg
  • installCluster.sh — 脚本执行文件

3.2.1 bin脚本目录

该目录中包含installCluster.sh脚本中调用的所有脚本,下面一一说明。

3.2.1.1 config_hadoop.sh

该脚本主要是创建Hadoop所需目录,以及配置文件的配置,其中的参数均在init.conf中。

  1. #!/bin/bash 
  2.  
  3. # Get absolute path of this shell 
  4. readonly PROGDIR=$(readlink -m $(dirname $0)) 
  5. # import init.conf 
  6. source $PROGDIR/../conf/init.conf 
  7.  
  8. for node in $ALL; do 
  9.     # create dirs 
  10.     ssh -q $HADOOP_USER@$node " 
  11.         mkdir -p $HADOOPDIR_CONF/hadoop2/namedir 
  12.         mkdir -p $HADOOPDIR_CONF/hadoop2/datadir 
  13.         mkdir -p $HADOOPDIR_CONF/hadoop2/jndir 
  14.         mkdir -p $HADOOPDIR_CONF/hadoop2/tmp 
  15.         mkdir -p $HADOOPDIR_CONF/hadoop2/hadoopmrsys 
  16.         mkdir -p $HADOOPDIR_CONF/hadoop2/hadoopmrlocal 
  17.         mkdir -p $HADOOPDIR_CONF/hadoop2/nodemanagerlocal 
  18.         mkdir -p $HADOOPDIR_CONF/hadoop2/nodemanagerlogs 
  19.     " 
  20.     echo "$node create dir done." 
  21.     for conffile in $CONF_FILE; do 
  22.         # copy 
  23.         scp $PROGDIR/../template/$conffile $HADOOP_USER@$node:$HADOOPHOME/etc/hadoop 
  24.         # update 
  25.         ssh -q $HADOOP_USER@$node " 
  26.             sed -i 's%MASTER_HOST%${MASTER_HOST}%g' $HADOOPHOME/etc/hadoop/$conffile 
  27.             sed -i 's%MASTER_HA_HOST%${MASTER_HA_HOST}%g' $HADOOPHOME/etc/hadoop/$conffile 
  28.             sed -i 's%SLAVE1%${SLAVE1}%g' $HADOOPHOME/etc/hadoop/$conffile 
  29.             sed -i 's%SLAVE2%${SLAVE2}%g' $HADOOPHOME/etc/hadoop/$conffile 
  30.             sed -i 's%SLAVE3%${SLAVE3}%g' $HADOOPHOME/etc/hadoop/$conffile 
  31.             sed -i 's%HDFS_CLUSTER_NAME%${HDFS_CLUSTER_NAME}%g' $HADOOPHOME/etc/hadoop/$conffile 
  32.             sed -i 's%VIRTUAL_PATH%${VIRTUAL_PATH}%g' $HADOOPHOME/etc/hadoop/$conffile 
  33.             sed -i 's%DFS_NAMESERVICES%${DFS_NAMESERVICES}%g' $HADOOPHOME/etc/hadoop/$conffile 
  34.             sed -i 's%NAMENODE1_NAME%${NAMENODE1_NAME}%g' $HADOOPHOME/etc/hadoop/$conffile 
  35.             sed -i 's%NAMENODE2_NAME%${NAMENODE2_NAME}%g' $HADOOPHOME/etc/hadoop/$conffile 
  36.             sed -i 's%NAMENODE_JOURNAL%${NAMENODE_JOURNAL}%g' $HADOOPHOME/etc/hadoop/$conffile 
  37.             sed -i 's%HADOOPDIR_CONF%${HADOOPDIR_CONF}%g' $HADOOPHOME/etc/hadoop/$conffile 
  38.             sed -i 's%ZOOKEEPER_ADDRESS%${ZOOKEEPER_ADDRESS}%g' $HADOOPHOME/etc/hadoop/$conffile 
  39.             sed -i 's%YARN1_NAME%${YARN1_NAME}%g' $HADOOPHOME/etc/hadoop/$conffile 
  40.             sed -i 's%YARN2_NAME%${YARN2_NAME}%g' $HADOOPHOME/etc/hadoop/$conffile 
  41.             sed -i 's%HADOOPHOME%${HADOOPHOME}%g' $HADOOPHOME/etc/hadoop/$conffile 
  42.             sed -i 's%JAVAHOME%${JAVAHOME}%g' $HADOOPHOME/etc/hadoop/$conffile 
  43.             # update yarn.resourcemanager.ha.id for yarn_ha 
  44.             if [ $conffile == 'yarn-site.xml' ]; then 
  45.                 if [ $node == $MASTER_HA_HOST ]; then 
  46.                     sed -i 's%YARN_ID%${YARN2_NAME}%g' $HADOOPHOME/etc/hadoop/$conffile 
  47.                 else 
  48.                     sed -i 's%YARN_ID%${YARN1_NAME}%g' $HADOOPHOME/etc/hadoop/$conffile 
  49.                 fi 
  50.             fi 
  51.         " 
  52.     done 
  53.     echo "$node copy hadoop template done." 
  54. done  

3.2.1.2 config_ssh.sh和ssh_nopassword.expect

这两个文件是配置ssh无密码登录的,ssh_nopassword.expect被config_ssh.sh调用。

config_ssh.sh文件如下:

  1. #!/bin/bash 
  2.  
  3. # Get absolute path of this shell 
  4. readonly PROGDIR=$(readlink -m $(dirname $0)) 
  5. # import init.conf 
  6. source $PROGDIR/../conf/init.conf 
  7. # Get hostname 
  8. HOSTNAME=`hostname` 
  9.  
  10. # Config ssh nopassword login 
  11. echo "Config ssh on master" 
  12. # If the directory "~/.ssh" is not exist, then execute mkdir and chmod 
  13. [ ! -d ~/.ssh ] && ( mkdir ~/.ssh ) && ( chmod 700 ~/.ssh ) 
  14. # If the file "~/.ssh/id_rsa.pub" is not exist, then execute ssh-keygen and chmod 
  15. [ ! -f ~/.ssh/id_rsa.pub ] && ( yes|ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ) && ( chmod 600 ~/.ssh/id_rsa.pub ) 
  16.  
  17. echo "Config ssh nopassword for cluster" 
  18. For all node, including master and slaves 
  19. for node in $ALL; do 
  20.     # execute bin/ssh_nopassword.expect 
  21.     $PROGDIR/ssh_nopassword.expect $node $HADOOP_USER $HADOOP_PASSWORD $HADOOPDIR_CONF/.ssh/id_rsa.pub >/dev/null 2>&1 
  22.     echo "$node done." 
  23. done 
  24. echo "Config ssh successful."  

ssh_nopassword.expect文件如下:

  1. #!/usr/bin/expect -f 
  2.  
  3. set host [lindex $argv 0] 
  4. set user [lindex $argv 1] 
  5. set password [lindex $argv 2] 
  6. set dir [lindex $argv 3] 
  7. spawn ssh-copy-id -i $dir $user@$host 
  8. expect { 
  9.     yes/no   
  10.     {  
  11.         send "yes\r";exp_continue  
  12.     } 
  13.     -nocase "password:"  
  14.     {  
  15.         send "$password\r"  
  16.     } 
  17. expect eof  

3.2.1.3 config_zookeeper.sh

该文件主要是对zookeeper的配置,文件内容如下:

  1. #!/bin/bash 
  2.  
  3. # Get absolute path of this shell 
  4. readonly PROGDIR=$(readlink -m $(dirname $0)) 
  5. # import init.conf 
  6. source $PROGDIR/../conf/init.conf 
  7.  
  8. #update conf 
  9. sed -i "s%ZOOKEEPERHOME%${ZOOKEEPERHOME}%g" $PROGDIR/../template/zoo.cfg 
  10. sed -i "s%ZOOKEEPER_SLAVE1%${ZOOKEEPER_SLAVE1}%g" $PROGDIR/../template/zoo.cfg 
  11. sed -i "s%ZOOKEEPER_SLAVE2%${ZOOKEEPER_SLAVE2}%g" $PROGDIR/../template/zoo.cfg 
  12. sed -i "s%ZOOKEEPER_SLAVE3%${ZOOKEEPER_SLAVE3}%g" $PROGDIR/../template/zoo.cfg 
  13.  
  14. zookeeperArr=( "$ZOOKEEPER_SLAVE1" "$ZOOKEEPER_SLAVE2" "$ZOOKEEPER_SLAVE3" ) 
  15. myid=1 
  16. for node in ${zookeeperArr[@]}; do 
  17.     scp $PROGDIR/../template/zoo.cfg $HADOOP_USER@$node:$ZOOKEEPERHOME/conf 
  18.     echo $myid > $PROGDIR/../template/myid 
  19.     ssh -q $HADOOP_USER@$node " 
  20.         [ ! -d $ZOOKEEPERHOME/data ] && ( mkdir $ZOOKEEPERHOME/data ) 
  21.         [ ! -d $ZOOKEEPERHOME/log ] && ( mkdir $ZOOKEEPERHOME/log )         
  22.     " 
  23.     scp $PROGDIR/../template/myid $HADOOP_USER@$node:$ZOOKEEPERHOME/data 
  24.     myid=`expr $myid + 1` #i++ 
  25.     echo "$node copy zookeeper template done." 
  26. done 

3.2.1.4 start_all.sh

该脚本主要用来启动zookeeper及Hadoop全部组件,文件内容如下:

  1. #!/bin/bash 
  2.  
  3. source /etc/profile 
  4. # Get absolute path of this shell 
  5. readonly PROGDIR=$(readlink -m $(dirname $0)) 
  6. # import init.conf 
  7. source $PROGDIR/../conf/init.conf 
  8.  
  9. # start zookeeper 
  10. zookeeperArr=( "$ZOOKEEPER_SLAVE1" "$ZOOKEEPER_SLAVE2" "$ZOOKEEPER_SLAVE3" ) 
  11. for znode in ${zookeeperArr[@]}; do 
  12.     ssh -q $HADOOP_USER@$znode " 
  13.         source /etc/profile 
  14.         $ZOOKEEPERHOME/bin/zkServer.sh start 
  15.     " 
  16.     echo "$znode zookeeper start done." 
  17. done 
  18.  
  19. # start journalnode 
  20. journalArr=( $JOURNALLIST ) 
  21. for jnode in ${journalArr[@]}; do 
  22.     ssh -q $HADOOP_USER@$jnode " 
  23.         source /etc/profile 
  24.         $HADOOPHOME/sbin/hadoop-daemon.sh start journalnode 
  25.     " 
  26.     echo "$jnode journalnode start done." 
  27. done 
  28.  
  29. # format zookeeper 
  30. $HADOOPHOME/bin/hdfs zkfc -formatZK 
  31.  
  32. # format hdfs 
  33. $HADOOPHOME/bin/hdfs namenode -format -clusterId $DFS_NAMESERVICES 
  34.  
  35. # start namenode 
  36. $HADOOPHOME/sbin/hadoop-daemon.sh start namenode 
  37.  
  38. # sign in master_ha, sync from namenode to namenode_ha 
  39. ssh -q $HADOOP_USER@$MASTER_HA_HOST " 
  40.     $HADOOPHOME/bin/hdfs namenode -bootstrapStandby 
  41.  
  42. # start zkfc on master 
  43. $HADOOPHOME/sbin/hadoop-daemon.sh start zkfc 
  44.  
  45. # start namenode_ha and datanode 
  46. $HADOOPHOME/sbin/start-dfs.sh 
  47.  
  48. # start yarn 
  49. $HADOOPHOME/sbin/start-yarn.sh 
  50.  
  51. # start yarn_ha 
  52. ssh -q $HADOOP_USER@$MASTER_HA_HOST " 
  53.     source /etc/profile 
  54.     $HADOOPHOME/sbin/yarn-daemon.sh start resourcemanager 
  55. echo "start all done."  

4 集群自动化部署流程

4.1 root脚本的执行

选择一台服务器作为Hadoop2.6.0的主节点,使用root用户执行。

  1. 确保Hadoop集群所在服务器可以执行scp命令:在各个服务器上执行scp,如果提示命令没有找到,执行安装命令:yum –y install openssh-clients。
  2. 执行以下操作:
    1. 执行cd ~,进入/root目录下
    2. 将root脚本所在目录打成tar包(假设打包后的文件名为root_install.tar.gz),执行rz -y,上传root_install.tar.gz(若无法找到rz命令,执行安装命令:yum -y install lrzsz)
    3. 执行tar -zxvf root_install.tar.gz解压
    4. 执行cd root_install,进入到root_install目录中
    5. 执行. /installRoot.sh,开始安装jdk、zookeeper、Hadoop,等待安装结束
  3. 检查/etc/hosts、/etc/profile的配置,执行java -version、hadoop version命令检查jdk和Hadoop的安装情况。若出现java、hadoop命令找不到的情况,重新登录一次服务器再进行检查。

4.2 hadoop脚本的执行

在主节点使用Hadoop启动用户执行(该启动用户是在root中执行的脚本里创建的,下面假设该用户为hadoop2):

  1. 在root用户中直接进入hadoop2用户,执行su - hadoop2
  2. 执行以下操作:
    1. 执行cd~,进入/home/hadoop2目录下
    2. 将hadoop脚本所在目录打成tar包(假设打包后的文件名为hadoop_install.tar.gz),执行rz -y,上传hadoop_install.tar.gz(若无法找到rz命令,执行安装命令:yum -y install lrzsz)
    3. 执行tar -zxvf hadoop_install.tar.gz解压
    4. 执行cd hadoop_install,进入到hadoop_install目录中
    5. 执行./installCluster.sh,开始配置并启动zookeeper、Hadoop,等待脚本执行结束
  3. 检查zookeeper、Hadoop启动日志,检查是否安装成功。通过Hadoop本身提供的监控页面来检查Hadoop集群的状态。
  4. 最后根据mountTable.xml中fs.viewfs.mounttable.hCluster.link./tmp的配置,执行如下命令创建该name对应的value目录:

hdfs dfs -mkdir hdfs://hadoop-cluster1/tmp

如果不创建,执行hdfs dfs -ls /tmp时会提示找不到目录。

5 总结

Hadoop2.6.0部署脚本仍有缺陷,比如配置文件中参数较多,有部分重复,脚本的编写也有待改进。权当抛砖引玉。如有错误请童鞋们指正,谢谢。

责任编辑:庞桂玉 来源: 神算子
相关推荐

2014-03-11 11:10:10

PowerShell自动化脚本

2021-12-08 09:00:00

数据库Liquibase脚本

2011-08-25 09:33:25

MySQL运维

2021-03-16 12:08:32

Python 服务器脚本

2013-12-12 16:37:49

Shell脚本自动化部署MFS

2013-11-27 11:34:43

自动化部署Python

2022-11-15 17:07:40

开发自动化前端

2023-04-06 07:09:25

自动化部署Actions

2024-01-24 18:50:21

WebFTP服务器

2015-02-04 09:17:38

亚马逊AWS云自动化

2023-03-07 08:30:09

MCube模板缓存

2016-09-27 23:31:23

2014-03-11 11:03:17

自动化脚本PowerShell

2009-12-15 17:28:11

Ruby自动化脚本框架

2017-03-03 09:10:09

2011-05-31 17:35:45

测试自动化QTP

2022-04-08 09:05:53

Arch LinuxLinux

2017-12-17 21:58:18

2015-11-04 10:22:23

Chef自动化应用栈

2013-04-11 17:31:28

运维自动化Cobbler
点赞
收藏

51CTO技术栈公众号