如何快速搭建HBase分布式NoSQL数据库

云计算 分布式
建议大家在搭建HBase分布式环境时多参考一下官方资料或者按照我整理的文档进行搭建即可。以下操作步骤博主均默认为您已经完成hadoop和zookeeper安装和配置,若没有完成请参考博主大数据专栏的hadoop和zookeeper的安装博文进行搭建后再实施hbase的相关部署工作。

博主在安装HBase1.0的过程中参考了很多网上的资料进行配置安装,得到的一个结论就是太坑嗲了,按照我看到的所有安装部署文档都走了一遍都存在这样或者那样的问题,***浪费了大把的时间也没有搞定。建议后来者在搭建HBase分布式环境时多参考一下官方资料或者按照我整理的文档进行搭建即可。

注释:以下操作步骤博主均默认为您已经完成hadoop和zookeeper安装和配置,若没有完成请参考博主大数据专栏的hadoop和zookeeper的安装博文进行搭建后再实施hbase的相关部署工作。

笔者得到的教训:

1、如果想速成***参考官方文档进行学习拜读;

2、如果时间来不及或者英文水平很low,可以参考其他博主的博客进行搭建,遇到问题时就具体问题具体解决,不要在按照其他博主的步骤再搞一遍,不要陷入恶性循环否则有可能把人搞死;

3、保持一颗百折不挠之心。

下面我们进入正题,开始我们的今天快速搭建hbase之旅。

一、安装hbase之前的前置条件:

1、请确保已经正确部署hadoop集群;

2、各计算节点系统时间保持同步;

3、确认ulimit和nproc在各计算节点值设置合理

一般情况下数据库会在同一时间使用很多的文件句柄。大多数linux系统使用的默认值1024不能满足数据库的高并发要求,所以我们需要调整该参数。

修改方法如下所示:

在limits.conf文件内添加如下内容vi /etc/security/limits.conf:

###########################################################

hadoop soft nofile 32768

hadoop hard nofile 65536

hadoop soft nproc 32768

hadoop hard nproc 65536

4、配置环境变量,在管理hbase的用户下的profile内添加如下内容:

 

  1. export HBASE_HOME=/usr/local/hbase 
  2.  
  3. export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/hbase/bin 

二、Now开始我们的Hbase安装之旅

1、下载hbase1.0的程序安装包并解压

tar -zxvf hbase-1.0.0-bin.tar.gz

2、移动到/usr/local目录下并修改hbase属主

mv hbase-1.0.0 /usr/local/hbase && chown -R hadoop:hadoop /usr/local/hbase

3、修改hadoop的配置文件hdfs-site.xml,添加内容如下:

dfs.datanode.max.xcievers

4096

4、修改hbase的配置文件vi /usr/local/hbase/conf/hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_40

export HBASE_MANAGES_ZK=false #配置zookeeper独立启停

5、配置hbase-site.xml文件内容如下所示:

 

  1. hbase.rootdir 
  2.  
  3. hdfs://hbase01:9000/hbase 
  4.  
  5. The directory shared byRegionServers 
  6.  
  7. hbase.cluster.distributed 
  8.  
  9. true 
  10.  
  11. hbase.zookeeper.property.clientPort 
  12.  
  13. 4180 
  14.  
  15. The same as your zoo.cfg's parameter:clientPort=4180 
  16.  
  17. hbase.zookeeper.quorum 
  18.  
  19. hbase01,hbase02,hbase03 
  20.  
  21. The same as your zookeeper 
  22.  
  23. hbase.zookeeper.property.dataDir 
  24.  
  25. /home/hadoop/zoodata 
  26.  
  27. Property from ZooKeeper's config zoo.cfg's dataDir 

6、分别在hbase服务器的三个节点上创建data目录

mkdir -p /home/hadoop/zookeeper

7、配置regionservers内容如下所示:

  1. # vi ./conf/regionservers 
  2.  
  3. hbase01 
  4.  
  5. hbase02 
  6.  
  7. hbase03 

8、到此hbase的配置完成,下面将以上程序拷贝到其他region节点上去

  1. scp -rp /usr/local/hbase root@ip1:/usr/local 
  2.  
  3. scp -rp /usr/local/hbase root@ip2:/usr/local 
  4.  
  5. chown -R hadoop:hadoop /usr/local/hbase 

9、启动zookeeper

  1. 在每个节点都执行 
  2.  
  3. zkServer.sh start 
  4.  
  5. 检查zookeeper是否正确启动 
  6.  
  7. zkServer.sh status 

10、启动hbase数据库

  1. start-hbase.sh 
  2.  
  3. #在启动hbase之前请务必确认hadoop及zookeeper服务已经被正确的启动 

11、测试habse分布式数据库是否已经正确运行

  1. #hbase shell 
  2.  
  3. #创建表 
  4.  
  5. hbase(main):002:0> create 'fengzhanhai','feng' 
  6.  
  7. #插入数据 
  8.  
  9. hbase(main):010:0> put 'fengzhanhai','2','feng:a','100' 
  10.  
  11. #取一行数据 
  12.  
  13. hbase(main):017:0> get 'fengzhanhai',1 
  14.  
  15. COLUMN CELL 
  16.  
  17. feng:a timestamp=1429509649018, value=100 
  18.  
  19. 1 row(s) in 0.1620 seconds 

博文出处:http://blog.chinaunix.net/uid-25723371-id-4973888.html

责任编辑:Ophira 来源: ChinaUnix博客
相关推荐

2014-06-30 14:20:05

NoSQL数据库

2015-06-16 10:39:43

NoSQL分布式算法

2013-03-05 15:36:43

NoSQL分布式系统

2011-11-29 09:49:16

数据库其他数据库NoSQL

2021-11-08 10:52:02

数据库分布式技术

2021-07-30 06:58:28

数据库分布式映射

2023-10-16 09:00:00

数据库分布式系统

2022-12-08 08:13:11

分布式数据库CAP

2013-06-14 14:17:36

分布式Hbase管理和监控

2023-12-05 07:30:40

KlustronBa数据库

2018-05-07 09:30:41

数据库NoSQLNewSQL

2009-10-23 10:45:21

NoSQLMemcached关系数据库

2021-12-20 15:44:28

ShardingSph分布式数据库开源

2023-03-26 12:43:31

数据库KeyValue

2013-04-26 16:18:29

大数据全球技术峰会

2011-07-13 09:58:15

HBase

2015-10-16 18:03:25

Docker分布式CoreOS

2022-09-28 09:12:16

HBase分布式数据库数据库

2024-03-11 08:57:02

国产数据库证券

2023-11-14 08:24:59

性能Scylla系统架构
点赞
收藏

51CTO技术栈公众号