主流NoSQL数据库评测之HBase

数据库 其他数据库
本篇要评测的NoSQL产品是HBase,和其他简单的Key-Value结构不同,HBase主要面向处理海量数据的应用,可以认为是Google BigTable的一个开源版本。

本篇要评测的NoSQL产品是HBase,和其他简单的Key-Value结构不同,HBase主要面向处理海量数据的应用,可以认为是Google BigTable的一个开源版本。由于Facebook使用HBase来存储消息内容和大数据量的实时分析而使得这一产品备受关注。

一、HBase简介

HBase是用Java开发的,是一个开源的、分布式的、面向列的数据库,其存储的每个值都有一个时间戳,可以根据定义好的规则保存多个版本(默认是3个),这样就可以记录数据的变动情况。

HBase和Hadoop无缝集成,可以利用HDFS实现数据的底层分布式存储,保证冗余和可靠性,通过ZooKeeper来实现一致性和高可用性。

HBase有两种部署方式:一种是比较简单的单实例方式,它已经内置了0.20版本的Hadoop包和一个本地ZooKeeper,它们运行在同一个 JVM之下,可以用本地文件系统而不用HDFS。另外一种比较复杂的分布式部署,需要在每一个节点替换自带的Hadoop包以免有版本问题,而且必须有一个HDFS实例,同时需要独立的ZooKeeper集群,这也是处理海量数据时的推荐的部署方式。本文为测试方便,使用简单的单实例部署方式。

二、安装和使用

首先从镜像下载最新版的HBase,目前最新的版本是0.90.3:

  1. [root@localhost hbase]# wget http://mirror.bjtu.edu.cn/apache/hbase/stable/hbase-0.90.3.tar.gz 

先检查下本地的JDK版本是否在1.6以上:

  1. [root@localhost hbase]# java -version 
  2. java version "1.6.0_24" 

解压并配置数据文件的路径:

  1. [root@localhost hbase]# tar zxvf hbase-0.90.3.tar.gz 
  2. [root@localhost hbase]# cd hbase-0.90.3/conf 
  3. [root@localhost conf]# vi hbase-site.xml 
  4. </configuration> 
  5. <configuration> 
  6. <property> 
  7. <name>hbase.rootdir</name
  8. <value>/home/banping/hbase/data</value> 
  9. </property> 

启动Hbase进程:

  1. [root@localhost hbase-0.90.3]# bin/start-hbase.sh 
  2. starting master, logging to /home/banping/hbase/hbase-0.90.3/bin/../logs/hbase-root-master-localhost.localdomain.out 

可以通过自带的shell命令来进行基本的操作:

  1. [root@localhost hbase-0.90.3]# bin/hbase shell 
  2. hbase(main):002:0> create 'test','cf' 
  3. 0 row(s) in 0.9940 seconds 
  4. hbase(main):019:0> list 
  5. TABLE 
  6. test 
  7. 1 row(s) in 0.0290 seconds 
  8. hbase(main):022:0> put 'test''row1''cf:a''value1' 
  9. 0 row(s) in 0.2130 seconds 
  10. hbase(main):023:0> put 'test''row2''cf:b''value2' 
  11. 0 row(s) in 0.0120 seconds 
  12. hbase(main):024:0> put 'test''row3''cf:c''value3' 
  13. 0 row(s) in 0.0130 seconds 
  14. hbase(main):025:0> scan 'test' 
  15. ROW COLUMN+CELL 
  16. row1 column=cf:a, timestamp=1310027460885, value=value1 
  17. row2 column=cf:b, timestamp=1310027469458, value=value2 
  18. row3 column=cf:c, timestamp=1310027476262, value=value3 
  19. 3 row(s) in 0.0870 seconds 
  20.  
  21. hbase(main):026:0> get 'test''row1' 
  22. COLUMN CELL 
  23. cf:a timestamp=1310027460885, value=value1 
  24. 1 row(s) in 0.0250 seconds 
  25. hbase(main):027:0> disable 'test' 
  26. 0 row(s) in 2.0920 seconds 
  27. hbase(main):029:0> drop 'test' 
  28. 0 row(s) in 1.1440 seconds 
  29. hbase(main):030:0> exit 

停止Hbase实例:

  1. [root@localhost hbase-0.90.3]# ./bin/stop-hbase.sh 
  2. stopping hbase...... 

如果使用PHP操作Hbase,可以使用Facebook开源出来的thrift,官网是:http://thrift.apache.org/ ,它是一个类似ice的中间件,用于不同系统语言间信息交换。首先下载最新的版本0.6.1:

  1. [root@localhost hbase]# wget http://mirror.bjtu.edu.cn/apache//thrift/0.6.1/thrift-0.6.1.tar.gz 

安装需要的依赖包:

  1. [root@localhost thrift-0.6.1]# sudo yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel 

编译安装:

  1. [root@localhost thrift-0.6.1]# ./configure --prefix=/home/banping/hbase/thrift --with-php-config=/usr/local/php/bin/ 
  2. [root@localhost thrift-0.6.1]# make 
  3. [root@localhost thrift-0.6.1]# make install 

生成php和hbase的接口文件:

  1. [root@localhost hbase]# thrift/bin/thrift --gen php /home/banping/hbase/hbase-0.90.3/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift 
  2. [root@localhost hbase]# cd gen-php/Hbase 
  3. [root@localhost Hbase]# ll 
  4. total 320 
  5. -rw-r--r-- 1 root root 285433 Jul 7 19:22 Hbase.php 
  6. -rw-r--r-- 1 root root 27426 Jul 7 19:22 Hbase_types.php 

把PHP客户端需要的包及刚才生成的接口文件复制出来供php程序调用:

  1. [root@localhost Hbase]# cp -a /home/banping/hbase/thrift-0.6.1/lib/php /home/webtest/thrift/ 
  2. [root@localhost Hbase]# cd /home/webtest/thrift/ 
  3. [root@localhost thrift]# mkdir packages 
  4. [root@localhost thrift]# cp -a /home/banping/hbase/gen-php/Hbase /home/webtest/thrift/packages 

启动hbase和thrift进程:

  1. [root@localhost hbase-0.90.3]# ./bin/start-hbase.sh 
  2. [root@localhost hbase-0.90.3]# ./bin/hbase-daemon.sh start thrift 
  3. starting thrift, logging to /home/banping/hbase/hbase-0.90.3/bin/../logs/hbase-root-thrift-localhost.localdomain.out 

thrift服务默认监听的端口是9090。至此测试环境搭建完毕。

#p#

三、测试说明

1、测试环境

HBase部署在一台PC 服务器上,配置如下:

CPU为Xeon 2.80GHz *4

内存为4G

硬盘为一块400G SATA盘

操作系统为64位CentOS 5.3版本

2、测试方法

采用PHP客户端进行测试,在安装过程中我们已经获取了PHP客户端访问HBase需要的包含文件。

为了不对测试服务器产生额外的影响,测试客户端部署在另外一台独立的服务器上,运行的PHP的版本是5.3.5,web server是Nginx 0.8.54,通过fastcgi的方式调用PHP服务。使用apache ab工具实现多个请求和并发操作。

测试过程首先是进行写操作,通过500个请求,每个请求写入10000条记录,并发度为1来共写入500万条数据,每个行(row)定义为数字1到 5000000,列(column)标记为id:对应的行id,列value为100个字节大小的数据,版本默认为记录3个。然后是读操作,发起5000 个请求,每个请求随机根据row id值读出1000条记录,并发度为10共读出500万条记录,评测的重点是写入和读出数据的时间,以及在此过程中服务器的资源使用情况。

四、测试结果

1、写操作

成功写入500万条记录,共耗时5418秒,平均每秒写入数据923笔。磁盘上的数据文件大小620M。写入过程中,服务器内存、CPU和磁盘等资源使用情况如下图所示:

可见,内存使用平稳上升,最后占用1G左右,主要用来缓存数据,中间有偶尔的内存使用高峰,猜测是JAVA 的垃圾回收后会释放内存。CPU使用非常平稳,idle稳定在79左右,几乎没有wait发生。磁盘IO非常低,但是写入速度较慢。总体来说占用资源很少,表现也很平稳。

2、读操作

成功读出500万条记录,共耗时8521秒,平均每秒读出数据587笔。

读数据过程中磁盘IO很低,几乎没有波动。CPU消耗较多,Idle值稳定在13左右,等待CPU资源的进程一直有3到14个。内存表现平稳没有波动。

五、总结

通过以上测试结果可以看出,HBase读写效率并不高,因为它是针对海量数据处理来设计的,侧重的是海量存储下的性能而非Key-Value存储的效率,因此这也是正常的,另外由于写入速度慢,因此磁盘IO占用非常低,这和其他几款NoSQL有明显的区别。随着淘宝等国内互联网巨头不断加大使用 HBase的规模,相信在国内会有越来越多的成功案例。

【编辑推荐】

  1. 主流NoSQL数据库全方位评测之MongoDB
  2. 主流NoSQL数据库评测之Tokyo Cabinet
  3. 主流NoSQL数据库评测之HandlerSocket

 

 

 

责任编辑:艾婧 来源: IT168
相关推荐

2011-05-16 10:29:44

HandlerSockNoSQL

2011-07-06 16:36:40

Redis

2011-05-30 09:27:35

NoSQL评测

2011-06-14 09:09:13

NoSQLMongoDB

2011-09-21 11:21:00

NoSQL

2019-03-20 15:59:11

NoSQLRedis数据库

2015-06-30 12:49:27

HBaseNoSQL分布式

2015-05-07 14:25:40

谷歌NoSQL数据库HBase

2024-02-02 10:51:53

2021-09-28 09:25:05

NoSQL数据库列式数据库

2011-10-09 09:38:03

OracleNoSQL

2010-04-01 09:45:38

NoSQL

2019-07-08 10:36:34

数据库WebNoSQL

2011-07-19 09:08:50

JavaNoSQL

2011-03-01 09:10:19

开源数据库

2017-05-25 10:11:46

数据库令牌节点

2010-08-13 16:40:27

CouchDBAndroid SDKAndroid

2023-03-05 16:25:38

NoSQL数据库

2017-11-08 09:22:36

数据库NoSQLArangoDB

2020-10-31 22:01:40

NoSQL数据库
点赞
收藏

51CTO技术栈公众号