如何实现Cassandra与Hadoop MapReduce的整合?

开发 架构 大数据 Hadoop
Hadoop相信大家应该有所了解,那么Hadoop MapReduce呢,如何进行Cassandra与Hadoop MapReduce的整合,本文会给你一一解答。

在学习Hadoop的过程中,你可能会遇到整合Cassandra与Hadoop MapReduce问题,在这里向大家简单介绍一下,希望通过本节的介绍大家能够掌握整合Cassandra与Hadoop MapReduce的方法。

整合Cassandra与Hadoop MapReduce

看到这个标题,大家一定会问了。这个整合如何定义?

我个人认为,所谓的整合是指:我们可以编写MapReduce程序,从HDFS中读取数据然后插入到Cassandra中。也可以是直接从Cassandra中读取数据,然后进行相应的计算。

从HDFS中读取数据然后插入到Cassandra中

对于这种类型,我们可以按照以下几个步骤来操作。

1将需要插入Cassandra的数据上传到HDFS中。

2启动Hadoop MapReduce程序。

这种类型的整合其实和Cassandra本身没有什么联系。我们只是运行普通的MapReduce程序,然后在Map或者Reduce端将计算好的数据插入到Cassandra中。仅此而已。

直接从Cassandra中读取数据,然后进行相应的计算

这个功能是在Cassandra0.6.x版本中添加上去的。其可以从Cassandra直接读取MapReduce需要的数据,实现对于Cassandra的全表扫描的功能。

操作步骤如下:

1在MapReduce程序中指定使用的KeySpace,ColumnFamily,和SlicePredicate等和Cassandra相关的参数。(关于这些概念,可以参考《大话Cassandra数据模型》和《谈谈Cassandra的客户端》)

2启动Hadoop MapReduce程序。

这种类型的整合和从HDFS读取数据的整合相比,还是有许多不同的,主要有下面几点区别:

1输入数据来源不同:前一种是从HDFS中读取输入数据,后一种是从Cassandra中直接读取数据。

2Hadoop的版本不同:前一种可以使用任何版本的Hadoop,后一种只能使用Hadoop0.20.x

整合Hadoop0.19.x与Cassandra0.6.x

在Cassandra0.6.x中,默认实现的是与Hadoop0.20.x的整合,我们无法直接在Hadoop0.19.x中使用。

所以,要实现这个目标,我们***步需要做的事情是,修改Cassandra的源代码,提供一个可以在Hadoop0.19.x中使用的功能。

想要进行这项测试,我们可以按照如下步骤来进行:

1下载修改后的代码。

2在MapReduce中指定如下内容(注意,这里的class使用的package都是com.alibaba.dw.cassandra.hadoop下面的):

ConfigHelper.setColumnFamily(conf,Keyspace,MemberCF,"/home/admin/apache-cassandra-0.6.1/conf");SlicePredicatepredicate=newSlicePredicate().setColumn_names(Arrays.asList("CITY".getBytes(UTF8),"EMPLOYEES_COUNT".getBytes(UTF8)));ConfigHelper.setSlicePredicate(conf,predicate);ConfigHelper.setRangeBatchSize(conf,512);ConfigHelper.setSuperColumn(conf,"MemberInfo");
3确保每一台运行MapReduce的机器的指定目录与MapReduce程序中设定的storage-conf.xml文件路径一致。

4运行 Hadoop MapReduce程序。

存在的问题与改进
在实际的使用中,我们会发现Map端会出现这样的错误信息:

  1. java.lang.RuntimeException:TimedOutException()atcom.alibaba.dw.cassandra.
  2. hadoop.ColumnFamilyRecordReader$RowIterator.maybeInit(ColumnFamilyRecordReader.java:125)atcom.
  3. alibaba.dw.cassandra.hadoop.ColumnFamilyRecordReader$RowIterator.
  4. computeNext(ColumnFamilyRecordReader.java:164)atcom.alibaba.dw.cassandra.hadoop.
  5. ColumnFamilyRecordReader$RowIterator.computeNext(ColumnFamilyRecordReader.java:1)atcom.google.
  6. common.collect.AbstractIterator.tryToComputeNext(AbstractIterator.java:135)atcom.google.common.collect.
  7. AbstractIterator.hasNext(AbstractIterator.java:130)atcom.alibaba.dw.cassandra.hadoop.ColumnFamilyRecordReader.
  8. next(ColumnFamilyRecordReader.java:224)atcom.alibaba.dw.cassandra.hadoop.ColumnFamilyRecordReader.
  9. next(ColumnFamilyRecordReader.java:1)atorg.apache.hadoop.mapred.MapTask$TrackedRecordReader.
  10. moveToNext(MapTask.java:192)atorg.apache.hadoop.mapred.MapTask$TrackedRecordReader.
  11. next(MapTask.java:176)atorg.apache.hadoop.mapred.MapRunner.run(MapRunner.java:48)atorg.apache.
  12. hadoop.mapred.MapTask.run(MapTask.java:342)atorg.apache.hadoop.mapred.Child.main(Child.java:158)
  13. Causedby:TimedOutException()atorg.apache.cassandra.thrift.Cassandra$get_range_slices_result.read
  14. (Cassandra.java:11015)atorg.apache.cassandra.thrift.Cassandra$Client.recv_get_range_slices
  15. (Cassandra.java:623)atorg.apache.cassandra.thrift.Cassandra$Client.get_range_slices(Cassandra.java:597)
  16. atcom.alibaba.dw.cassandra.hadoop.ColumnFamilyRecordReader$RowIterator.maybeInit(ColumnFamilyRecordReader.java:108)...11more  

引起这样的问题的原因就在于使用ThriftAPI从Cassandra读取数据失败了。所以我们可以优化这段代码,提供想要的错误处理功能来提供程序的可用性。本节关于Cassandra与Hadoop MapReduce整合方面的知识介绍到这里。

【编辑推荐】

  1. HadoopHBase实现配置简单的单机环境
  2. 专家指导 如何进行Hadoop分布式集群配置
  3. Hadoop集群与Hadoop性能优化
  4. Hadoop创建Hbase表方法指导
  5. 深入剖析Hadoop HBase

 

责任编辑:佚名 来源: csdn.net
相关推荐

2010-06-07 13:35:16

Hadoop简介

2014-10-13 09:32:06

HadoopMapReduce

2017-04-19 11:17:48

SparkHadoopMapReduce

2015-03-24 15:08:21

mapreducehadoop

2010-06-03 16:32:09

Hadoop MapR

2016-11-02 09:20:01

SparkHadoop MapR大数据

2016-09-19 15:14:41

Hadoop Hadoop MapRWordCount

2012-10-29 10:14:07

APPHadoopSplunk

2023-09-27 15:34:48

数据编程

2013-01-21 13:22:56

IBMdW

2014-11-10 15:02:21

大数据云计算Hadoop

2013-11-27 09:21:18

YARNMapReduceHadoop

2013-04-24 10:47:48

Hadoop集群

2012-04-23 10:30:38

Hadoop

2014-10-15 16:32:43

MapReducehadoop

2010-08-20 16:02:45

Cassandra集群

2019-10-31 09:52:02

HadoopJava大数据

2014-04-15 09:30:08

Cassandra\H

2012-05-09 09:13:29

IDCHadoopMapReduce

2013-12-17 09:52:13

pythonhadoopmapreduce
点赞
收藏

51CTO技术栈公众号