51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

Spark

353内容  
涵盖Spark相关研究热点、技术难点与应用场景，让用户更加了解这一为大规模数据处理而设计的快速通用的计算引擎。
文章 博文
共 353 条
星星之火渐呈燎原之势：Spark 2.0预览版重磅来袭 译文
Apache Spark 2.0即将正式与广大用户见面。虽然目前其预览版只向Databricks云产品订阅用户开放，但考虑到Spark峰会即将于下个月召开，预计Apache Spark 2.0的全面降临也将为时不远。在1.x系列时代，Apache Spark的发展速度相当快，倾向于通过小版本更新推出各类新功能。而在首次大版本升级当中，我们相信Spark 2.0将带来真正具有突破性的变化与更加关键的新功能设计。

2016-05-31 10:21:45

SparkSpark 2.0并行计算
为什么在大数据处理中Cassandra与Spark如此受欢迎？ 译文
说起Cassandra的用途时，我们可以将其理解为一套理想的客户系统实现方案——其能够保证各类应用始终可用，包括产品目录、物联网、医疗系统以及移动应用。Cassandra于2010年成为Apache软件基金会的顶级项目，而且至今仍拥有极高人气。Cassandra专业知识能够帮助我们在人才市场上获得赏识。我们不禁要问——为什么这一开源项目能够大受欢迎？

2016-05-19 10:31:35

数据处理CassandraSpark
Spark Streaming 数据清理机制
大家刚开始用Spark Streaming时，心里肯定嘀咕，对于一个7*24小时运行的数据，cache住的RDD,broadcast 系统会帮忙自己清理掉么？还a是说必须自己做清理？如果系统帮忙清理的话，机制是啥？

2016-05-11 10:29:54

Spark Strea数据清理Spark
Spark与Storm注意：Apache Apex已然横空出世 译文
诞生于2015年6月的Apache Apex可谓横空出世，其同样源自DataTorrent及其令人印象深刻的RTS平台，其中包含一套核心处理引擎，仪表板、诊断与监控工具套件外加专门面向数据科学家用户的图形流编程系统dtAssemble。

2016-04-27 11:01:11

SparkStormApache Apex
LinkedIn开源Dr. Elephant:Hadoop和Spark性能监控工具
Hadoop的专家们审查流程时发现几个常见的经常性的优化模式，并在此基础上，我们决定开始一个新的实验项目，同时优化Hadoop平台开发者和Hadoop使用者的时间。这就是Dr.Elephant的诞生过程。

2016-04-18 10:45:22

Dr. ElephanHadoop性能监控
WOT2016黄慧攀：海量日志处理可以不用Hadoop或Spark 原创
4月14-15日在北京珠三角JW万豪酒店，51CTO将举办WOT互联网运维与开发者峰会。WOT秉承专注技术，服务技术人群的理念，自 2012年首次举办以来，历经4届，积累了大量的技术资源，成为广大技术从业者和技术爱好者一致认可的技术分享大会、交流和人脉拓展平台。记者专访了本次大会大数据与运维专场的黄慧攀讲师，他分享的内容：海量日志处理系统架构。

2016-04-08 13:26:19

WOT2016又拍云海量日志处理
借助 Redis ，让 Spark 提速 45 倍！
提速幅度有多大?如果Redis和Spark结合使用，结果证明，处理数据(以便分析下面描述的时间序列数据)的速度比Spark单单使用进程内存或堆外缓存来存储数据要快45倍――不是快45%，而是快整整45倍!

2016-03-21 10:16:06

RedisSpark大数据处理
共筑Spark大数据引擎的七大工具 译文
Apache Spark不仅仅让大数据处理起来更快，还让大数据处理起来更简单、功能更强大、更方便。Spark并非只是一项技术，它结合了诸多部分，新的功能和性能改进不断添加进来，每个部分都在不断完善之中。

2016-03-21 09:56:41

Spark大数据处理Apache
非要一决高下？听说Hadoop和Spark更配哦
对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。

2016-03-16 14:59:09

HadoopSpark大数据平台
如何基于Spark进行用户画像？
如果你面对5万个匿名驾驶员线路的数据集，你知道如何根据路线研发出一个驾驶类型的算法类签名，来表征驾驶员的特征吗？本文就从数据分析、机器学习和结果等三个方面介绍comSysto团队解决以上问题的过程。

2016-03-16 10:22:28

Spark用户画像数据科学
别再比较Hadoop和Spark了，那不是设计人员的初衷
直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。Hadoop和Spark并不是非此即彼的关系，也不是说一方是另一方的简易替代者。两者彼此兼容，这使得这对组合成为一种功能极其强大的解决方案，适合诸多大数据应用场合。

2016-03-09 14:35:42

HadoopSpark数据处理
Spark Streaming 妙用之实现工作流调度器
开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming，我们也许能简化这些工作。

2016-03-03 15:11:42

Spark Strea工作流调度器
Spark 1.6.0 新手快速入门
随着越来越多的代码贡献者和使用经验，Spark的性能和稳定性在不断提升。本文简单介绍了Spark1.6.0的使用方式，希望对各位初学者有所帮助。

2016-03-02 11:23:34

Spark 1.6.0开源大数据技术
选择 Parquet for Spark SQL 的 5 大原因
Parquet 用于 Spark SQL 时表现非常出色。它不仅提供了更高的压缩率，还允许通过已选定的列和低级别的读取器过滤器来只读取感兴趣的记录。本文将为您详细介绍使用 Parquet for Spark SQL 优势的 5 大原因。

2016-03-01 11:11:38

ParquetSpark SQL列式存储
7种最常见的Hadoop和Spark项目
Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，以下所列的是最常见的七种项目。

2016-02-26 10:20:17

HadoopSpark大数据项目
雅虎开源人工智能独门武器 CaffeOnSpark
Yahoo 在科技方面的实力大概鲜有人知。事实上开源 Hadoop 就是 Yahoo 孵化的。2月25日，Yahoo 发布了 CaffeOnSpark 人工智能的源代码，每个学术研究人员或是大公司都可以使用或是加以修改。

2016-02-26 09:43:42

雅虎人工智能开源
Spark 2.0面纱半揭，相关细节引人遐想 译文
在上周召开的Spark东部峰会上，Databricks公司CTO兼Spark创始人Matei Zaharia谈到了即将出炉的Spark 2.0，其将包含三大核心转变。

2016-02-24 09:29:38

Spark大数据Spark 2.0
Spark 是否真的比 MapReduce 技高一筹
作为一个开源的数据处理框架，Spark 是如何做到如此迅速地处理数据的呢?秘密就在于它是运行在集群的内存上的，而且不受限于 MapReduce 的二阶段范式。这大大加快了重复访问同一数据的速度。听上去好像 Spark 已经注定要取代 Hadoop MapReduce 了。但真的是这样吗?

2016-02-19 10:05:01

SparkMapReduce数据处理
Hadoop/Spark生态圈里的新气象
Hadoop绝对没有消亡，不过我确信，知名研究机构Gartner的下一篇文章会这么认为。但Hadoop绝不再是原来的Hadoop。现在你需要知道这个新的Hadoop/Spark生态圈里面有什么。

2016-02-16 13:56:00

HadoopSpark生态圈
事实上，Spark是一项非常值得学习的技术
如今，诸如亚马逊、eBay和雅虎等公司都开始采用Spark技术。许多机构将Spark部署在上千个节点的集群中。事实上，Spark是一项非常值得学习的技术。

2016-02-16 10:34:42

Spark大数据数据处理
Spark Streaming 的玫瑰与刺
玫瑰篇主要是说Spark Streaming的优势点，刺篇就是描述Spark Streaming 的一些问题，做选型前关注这些问题可以有效的降低使用风险。说人话：其实就是讲Spark Streaming 的好处与坑。

2016-01-28 10:11:30

Spark StreaSpark大数据平台
一个SparkSQL作业的一生可能只是一集琅琊榜
小红是数据分析，她某天写了个SQL来统计一个分院系的加权均值分数汇总。她提交了这个查询到某个SQL On Hadoop平台执行，然后她放下工作，切到视频网页看一会《琅琊榜》……

2016-01-25 13:22:45

SparkSparkSQL数据分析
2分钟读懂Hadoop和Spark的异同
谈到大数据框架，现在最火的就是Hadoop和Spark，倒底现在业界都在使用哪种技术？二者间究竟有哪些异同？它们各自解决了哪些问题？让我们通过本文来了解。

2016-01-25 10:48:15

大数据框架HadoopSpark
Cloudera和Spark的年度回顾
Cloudera 作为Apache Hadoop的最快速、最便捷、最安全的数据管理和分析平台，以及最新开源技术的提供者，于一个月前宣布增加了对Spark SQL和MLiB与Cloudera Enterprise 5.5 和 CDH 5.5集成的支持。

2016-01-15 15:55:56

ClouderaSparkHadoop
使用Docker在本地搭建hadoop，spark集群
目前网上在docker上部署spark的介绍比较简单和没有相关启动使用的操作,本文重点在于docker相关的操作.

2016-01-07 09:36:20

Docker容器
大数据工具比较：R语言和Spark 谁更胜一筹？
本文有两重目的，一是在性能方面快速对比下R语言和Spark，二是想向大家介绍下Spark的机器学习库。

2015-12-08 13:48:50

大数据工具R语言Spark
使用Apache Spark和MySQL打造强大的数据分析
借助真实案例和代码样本，本文作者展示了如何将Sparke和MySQL结合起来，创造数据分析上的强大工具。

2015-10-16 09:21:13

SparkMySQL数据分析
Storm、Spark和MapReduce 开源分布式计算系统框架比较
比较项 Storm Spark Streaming 分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm； 这三个框架各有优势，现在都属于 Apache 基金会下的顶级项目，下文将对三个框架的特点与适用场景进行分析，以便开发者能快速选择适合自己的框架进行开发。

2015-10-15 14:05:51

StormSparkMapReduce
逆水行舟，看前行中的Spark
近两年，Spark技术发展速度惊人，用户越来越多，社区也愈加活跃，生态更加丰富，这些都证明了Spark的魅力。在生态建设上，Spark取得了极大的成功，主要体现在Application、Environment及Data Source三个方面。

2015-09-25 11:26:16

spark大数据
Spark是什么？用Spark进行数据分析
Apache Spark是一个为速度和通用目标设计的集群计算平台。

2015-09-23 09:24:56

spark数据分析
Spark“变形记”——云海大数据一体机让数据处理更轻松
云海大数据一体机就是采用了业内主流的Hadoop+Spark的架构形式，搭建了国内外领先的大数据分析平台CloudCanyon，通过Spark计算框架消除了传统Map/Reduce计算框架的弊病，实现了高效的内存计算。Hadoop经过多年的发展，大家对其性能已经是耳熟能详；但是对于Spark，许许多人还觉得有些陌生。

2015-09-10 13:35:45

云海大数据一体机
Databricks Cloud推动Spark大数据平台大众化
Databricks Cloud是一款基于云计算的Spark大数据处理引擎，它实现了一些更新特性，旨在满足来自数据科学家社区的功能需求。

2015-08-18 13:35:42

spark
I.D.Spark—圆你的创业梦

2015-08-06 09:36:35

南京软博会
Spark项目为何会在云环境中大放光芒？ 译文
就在上个月，多家在云及商业计算领域声名显赫的巨头公开表达（并决定投资）了对Apache Spark数据分析项目的兴趣。是什么让这些老牌劲旅对这款年轻的技术方案青眼有加？

2015-07-31 11:26:26

spark云计算大数据
大数据：Spark和Hadoop是友非敌
Spark 在 6 月份取得了激动人心的成绩。在圣何塞举办的 Hadoop 峰会上，Spark 成了人们经常提及的话题和许多演讲的主题。IBM 还在 6 月 15 号宣布，将对 Spark 相关的技术进行巨额投资。

2015-07-23 14:29:28

大数据sparkhadoop
Spark 和 Hadoop 是朋友不是敌人
6月15日，IBM 宣布计划大规模投资 Spark 相关技术，此项声明会促使越来越多的工程师学习 Spark 技术，并且大量的企业也会采用 Spark 技术。

2015-07-15 10:11:31

SparkHadoop
Spark的快难道是以丧失正确性为代价的？
Spark最著名的一篇论文是：《Spark: Cluster Computing with Working Sets》。当你读它的时候你需要明白：文中代码不保证计算结果是正确的。具体来说，它的Logistic Regression的代码在map阶段用到了accumulator。下面解释为什么这么做是错误的。

2015-07-06 14:54:19

Spark计算正确性Hadoop
三个理由告诉你为什么需要在云端运行Spark 译文
Spark的发展势头正猛，可是对主流用户们来说还是太难了。云外加可视化也许有所帮助。

2015-06-23 09:10:04

Spark主机托管云平台
助人就是助己：IBM宣布大规模资助开源大数据项目Spark
本周一，IBM宣布将对开源实时大数据分析项目Apache Spark进行大规模资助，蓝色巨人宣称，其资助的力度之大相当于每年数亿美元的投入。

2015-06-16 11:09:44

IBM大数据开源
相比Hadoop,如何看待Spark技术?
之前看Spark的评价，几乎一致表示，Spark是小数据集上处理复杂迭代的交互系统，并不擅长大数据集，也没有稳定性。但是最近的风评已经变 化，尤其是14年10月他们完成了Peta sort的实验，这标志着Spark越来越接近替代Hadoop MapReduce了。

2015-04-28 14:55:01

HadoopSpark技术
Spark点燃近实时大数据之火
在用户体验达不到所宣传效果之后，IT领域中必然会随之出现“新的热门事件”。目前的新热门事件涉及大数据和对海量分布式数据的快速精准分析。

2015-04-01 15:03:58

Spark大数据
Spark成为大数据分析领域新核心的五个理由 译文
为了更为顺畅地实现Hadoop基础之上的高级与实时分析目标，Apache Spark凭借着自身的出色表现很快成为大数据领域的新核心。

2015-03-20 16:40:40

Spark大数据分析大数据
流式大数据处理的三种框架：Storm,Spark和Samza
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。

2015-03-16 14:54:06

大数据流式大数据大数据处理
了解大数据技术生态圈：Hadoop/hive/spark
大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。

2015-03-04 11:19:59

大数据生态圈Hadoop
物联网安全洗牌：ARM收购Offspark
ARM控股公司挤入连接设备市场，周一收购了物联网安全软件公司Offspark。

2015-02-11 09:29:04

物联网安全ARM收购
大数据计算平台Spark内核全面解读
Spark是起源于美国加州大学伯克利分校AMPLab的大数据计算平台，在2010年开源，目前是Apache软件基金会的顶级项目。随着Spark在大数据计算领域的暂露头角，越来越多的企业开始关注和使用。

2015-02-03 03:18:56

SparkSpark内核
Spark 1.2：向MapReduce在Hadoop中的统治地位发起挑战
面向Hadoop的Spark内存内框架最新版本在集群性能改进之外，也加入了针对Python的更多支持能力。

2014-12-29 09:59:03

Spark 1.2MapReduce
专访携程李亚锋:大数据技术融合下的Spark更具魅力 原创
“大数据”作为当下最火热的IT行业词汇，在主流的数据处理工具当中Hadoop和Spark都被大家所熟悉。不过，目前基于内存计算的Spark适合各种迭代算法和交互式数据分析，能够提升大数据处理的实时性和准确性，已经逐渐获得很多企业的支持。这是否意味着我们应该彻底抛弃Hadoop？在前不久的北京Spark亚太峰会上 ，记者有机会专访到携程大数据平台高级经理李亚锋，为大家分享如何通过Spark与Hadoop大数据技术间的融合，实现优势互补，引导企业发现用户的潜在需求。

2014-12-23 15:07:56

携程大数据Spark
Spark1.2新特性概述
Spark Contributor、Spark布道者陈超通过本文总结了Spark 1.2版本的新特性，其中包括Spark Core、Spark Streaming、MLlib、GraphX、Spark SQL等方面，方便大家了解学习。

2014-12-23 10:07:30

SparkSpark 1.2
Spark 1.2 发布，开源集群计算系统
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 1.2 发布，此版本包括 172 位贡献者和超过 1000 个 commits。

2014-12-22 09:57:27

Spark分布式数据集大数据
上一页 1 ··· 34567 8
点赞

51CTO技术栈公众号

业务
速览
在线客服