实现Spark部署 依赖供应商还是"自力更生"?

大数据 Spark
Apache Spark用户经常面临一个困境:继续获取来自供应商的支持还是更新版本,使用具有更新功能的快速移动的开源软件?

[[184786]]

Apache Spark用户经常面临一个困境:继续获取来自供应商的支持还是更新版本,使用具有更新功能的快速移动的开源软件?

Novantas公司将Spark数据处理引擎作为商业Hadoop发行版的一部分。这样使得分析服务和软件提供商与Spark版本的Hadoop软件包支持的Spark版本捆绑在一起,因此,它不一定能立即访问新的Spark功能

例如,Novantas在今年年初开发的基于Hadoop的应用程序中使用了Spark 1.4,以帮助银行的分析团队在内部系统中找到相关的客户和财务数据。该版本由Apache软件基金会于2015年6月发布,去年9月被Spark 1.5取代,1月被1.6取代。但是要升级,Novantas将不得不通过Cloudera放弃Spark支持。

“我们不想使用不受支持的版本,”纽约公司Novantas解决方案技术部门CTO和工程总监Kaushik Deka说。这是因为应用程序是该部门***次真正使用Hadoop和Spark。坚持使用Spark 1.4不太理想。Deka说,他希望当Novantas移动到一个新的技术版本可以解决问题。

这样的考虑在大数据环境中是常见的,其通常涉及以快速的速度更新的开源技术。Spark的情况尤其突出:在2014年7月到2016年7月之间,通过Apache共有18个版本,Spark 2.0版本一般都可以使用。

为了更好地使用新功能,一些组织已经避开了供应商提供的Spark支持,并自行部署了基本的Apache Spark软件。

例如,Synchronoss技术公司在2014年从Hadoop供应商MapR获得Spark。但移动管理公司Bridgewater的大数据分析平台高级主管Suren Nathan表示,公司有时直接升级到Apache Spark的新版本,以获得所需的功能。“现在,我的团队可以非常熟练地使用Spark,”他说。

Webtrends公司也一直使用基本的Spark软件。“我们正试图尽可能保持现有的发布,”来自美国的在线活动跟踪公司***技术官Peter Crossley说,“市场上没有其他技术像这种技术一样快。”

Crossley表示,他更喜欢通过Hadoop供应商Hortonworks获得支持的Spark版本。为了尽可能做到这一点,他的团队与Hortonworks合作开发了一个“双轨发布计划”,供应商去年3月加快了Sparkand与Hadoop相关的其他大数据技术的交付。

责任编辑:武晓燕 来源: TechTarget中国
相关推荐

2009-08-26 08:56:14

Windows 7显卡驱动

2010-04-07 17:25:14

服务器

2010-11-12 15:50:07

谷歌服务器

2013-10-28 16:00:48

二十八亩地轻应用App Builder

2013-07-17 09:49:29

云计算PaaSGAE

2013-01-22 11:43:00

云管理软件公共云私有云

2012-06-08 09:31:34

UC整合UC

2011-11-01 16:48:21

2017-12-22 15:37:46

谷歌IBM微软

2013-04-16 10:12:46

IaaS云计算

2021-09-13 14:31:32

物联网供应商IoT

2011-12-26 10:15:03

服务器云服务云计算

2019-10-24 08:41:06

供应商安全信息安全数据泄露

2023-08-05 14:15:25

PC产品Phone

2012-01-05 10:17:27

2018-04-17 12:23:37

多云云计算供应商

2012-12-26 10:08:56

云管理软件公共云私有云

2022-08-05 10:52:43

SOC安全运营中心

2012-03-05 10:42:24

SaaS云计算数据存储
点赞
收藏

51CTO技术栈公众号