HBase 增量备份和还原工具

数据库 其他数据库
HBase自带的export/import机制可以实现Backup Restore功能。而且可以实现增量备份。 下面设增量备份的python脚本 在这个脚本中,每天做增量备份,每个月15日做全备份。

HBase自带的export/import机制可以实现Backup Restore功能。而且可以实现增量备份。 下面设增量备份的python脚本 在这个脚本中,每天做增量备份,每个月15日做全备份。

  1. import time 
  2. import datetime 
  3. from datetime import date 
  4. import sys 
  5. import os 
  6.  
  7. tablename=sys.argv[1
  8. backupDst=sys.argv[2
  9. today=date.today() 
  10. if today.day == 15:    //every month, we do a full backup 
  11.         backupSubFolder=backupDst+today.isoformat()+"-full" 
  12.         cmd="hbase org.apache.hadoop.hbase.mapreduce.Export %s %s"%(tablename,backupSubFolder) 
  13. else
  14.  
  15.         yesterday=datetime.date.today()- datetime.timedelta(days=1
  16.         todayTimeStamp=time.mktime(today.timetuple()) 
  17.         yesTimeStamp=time.mktime(yesterday.timetuple()) 
  18.         backupSubFolder=backupDst+today.isoformat() 
  19.         cmd="hbase org.apache.hadoop.hbase.mapreduce.Export %s %s %s"%(tablename,backupSubFolder,str(int(todayTimeStamp)*1000
  20.  
  21. print cmd 
  22.  
  23. os.system(cmd) 

而Restore机制就更加简单

  1. hbase org.apache.hadoop.hbase.mapreduce.Import tablename restorefolder 

要注意的是,做Restore时候,原始的表必须是创建好的。所以如果表本身被损坏,需要重新创建一个新的空表,再做Restore。

还有,必须在Hadoop-env.sh中配置好hbase和Zookeeper的路径,加上这样的语句

  1. export HADOOP_CLASSPATH="/usr/lib/hadoop-hbase/hbaseXXX.jar:/usr/lib/hadoop-hbase/lib/zookeeperXXX.jar:/etc/hadoop-hbase/conf" 

原文链接:http://hbase.iteye.com/blog/1172195

【编辑推荐】

  1. 主流NoSQL数据库评测之HBase
  2. HBase数据库性能调优
  3. Facebook实时信息系统:HBase每月存储1350亿条信息
  4. HBase性能深度分析
  5. 基于Java的HBase客户端编程

 

责任编辑:艾婧 来源: hadoop/hbase 技术讨论
相关推荐

2017-07-10 16:00:47

Mysql数据备份数据还原

2010-09-06 16:02:00

DB2

2010-08-06 09:07:15

DB2线增量备份

2015-08-21 10:40:10

SQL Server备份还原

2011-07-07 10:12:40

MySQL Clust

2010-05-26 10:25:50

MySQLdump增量

2019-11-28 10:15:35

TimeShiftUbuntuLinux

2010-12-31 14:42:51

ExchangeSer

2010-10-29 09:36:49

完全备份增量备份差异备份

2010-05-18 16:17:24

Visual Subv

2010-07-06 09:08:07

SQL server差

2011-09-19 16:40:40

2010-03-05 13:29:00

Python增量备份

2010-03-01 09:08:00

Windows 7系统还原

2010-05-25 17:45:00

MySQL备份

2011-03-03 16:10:04

Mysql数据库备份还原

2017-05-11 22:15:03

rdiff-backuLinux备份文件

2021-09-27 05:42:44

VeleroKubernetes 公有云

2020-09-27 10:06:16

Btrfs增量备份

2010-11-03 14:16:29

DB2增量备份
点赞
收藏

51CTO技术栈公众号