直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

Spark

353内容

关注

涵盖Spark相关研究热点、技术难点与应用场景，让用户更加了解这一为大规模数据处理而设计的快速通用的计算引擎。

共 353 条

什么是Apache Spark？数据分析平台如是说

Spark 可以用多种方式部署，它为 Java、Scala、Python，和 R 编程语言提供了本地绑定，并且支持 SQL、流数据、机器学习，和图处理。你将会发现它被银行、电信公司、游戏公司、政府，和所有如 Apple、Facebook、IBM，和 Microsoft 等主要的科技巨头公司使用。

2017-11-29 12:45:37

Apache Spar 大数据数据分析

大数据架构师必看：常见的七种Hadoop和Spark项目案例

如果你的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。

2017-11-27 14:12:34

大数据 Hadoop 数据分析

深度解析：Spark优于Hadoop吗？

对于任何一个进入大数据世界的人来讲，大数据和Hadoop 就成了同义词。随着人们学习了大数据生态系统及其工具和运作原理，他们更能理解大数据的实际意义以及Hadoop 在生态系统中所扮演的角色。

2017-11-13 13:39:24

Spark Hadoop 大数据

微软开源用于Spark的深度学习库MMLSpark

微软开源了MMLSpark，用于Apache Spark的的深度学习库。MMLSpark可以与微软认知工具包和OpenCV完美整合。虽然SparkML可以建立可扩展的机器学习平台，绝大多数开发者的精力都耗在了调用底层API上。MMLSpark旨在简化PySpark中的重复性工作。

2017-10-26 13:54:49

深度学习 Spark MMLSpark

Spark 1.6升级2.x防踩坑指南

Spark 2.x自2.0.0发布到目前的2.2.0已经有一年多的时间了，2.x宣称有诸多的性能改进，相信不少使用Spark的同学还停留在1.6.x或者更低的版本上，没有升级到2.x或许是由于1.6相对而言很稳定，或许是升级后处处踩坑被迫放弃。

2017-10-24 13:02:29

Spark 2.x 代码 Spark 2.0

手把手教你Spark性能调优

日前接到反馈，集群部分 spark 任务执行很慢，且经常出错，参数改来改去怎么都无法优化其性能和解决频繁随机报错的问题。

2017-10-20 13:41:11

Spark 集群代码

大数据前景分析：Hadoop将被Spark替代？

谈到大数据，相信大家对hadoop和Apache Spark这两个名字并不陌生。然而，最近业界有一些人正在大张旗鼓的宣扬Hadoop将死，Spark将立。与Hadoop相比，Spark技术如何?现工业界大数据技术都在使用何种技术?

2017-10-19 08:28:15

大数据 Hadoop Spark

谈谈Spark与Spark-Streaming关系

spark程序是使用一个spark应用实例一次性对一批历史数据进行处理，spark streaming是将持续不断输入的数据流转换成多个batch分片，使用一批spark应用实例进行处理，侧重点在Steaming上面。

2017-10-13 10:36:33

Spark Spark-Strea 关系

合并Spark社区代码的正确姿势

最近刚刚忙完Spark 2.2.0的性能测试及Bug修复，社区又要发布2.1.2了，国庆期间刚好有空，过了一遍2.1.2的相关JIRA，发现有不少重要修复2.2.0也能用上，接下来需要将有用的PR合到我们内部维护的2.2.0分支上了。

2017-10-12 11:30:34

Spark 代码 PR

Spark Graphx 实现图中极大团挖掘, 伪并行化算法

对于关联性较强的图,找出来的连通图非常大,这时串行化的极大团算法,仍然会耗时很久,这里利用剪枝的思想减少样本数据量,但是对于大图,优化空间有限。

2017-10-12 11:14:21

Spark Graph 挖掘伪并行化

大数据分析技术与实战之Spark Streaming

Spark是基于内存的大数据综合处理引擎，具有优秀的作业调度机制和快速的分布式计算能力，使其能够更加高效地进行迭代计算，因此Spark能够在一定程度上实现大数据的流式处理。

2017-10-11 11:10:02

Spark Strea 大数据流式处理

Apache Spark常见的三大误解

最近几年关于Apache Spark框架的声音是越来越多，大家通过Google搜索更多关于Spark的信息。然而很多人对Apache Spark的认识存在误解，在这篇文章中，将介绍我们对Apache Spark的几个主要的误解，以便给那些想将Apache Spark应用到其系统中的人作为参考。

2017-10-10 17:00:11

Spark Hadoop 数据处理

分布式数据集SparkRDD的依赖与缓存

RDD(Resilient Distributed Dataset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。

2017-09-27 10:53:53

分布式数据集 SparkRDD

如何基于Spark Streaming构建实时计算平台

随着互联网技术的迅速发展，用户对于数据处理的时效性、准确性与稳定性要求越来越高，如何构建一个稳定易用并提供齐备的监控与预警功能的实时计算平台也成了很多公司一个很大的挑战。

2017-09-26 09:35:22

数据处理计算平台 Spark Strea

从源码角度看Spark on yarn client & cluster模式的本质区别

对于yarn-client和yarn-cluster的唯一区别在于，yarn-client的Driver运行在本地，而AppMaster运行在yarn的一个节点上，他们之间进行远程通信，AppMaster只负责资源申请和释放(当然还有DelegationToken的刷新)，然后等待Driver的完成;而yarn-cluster的Driver则运行在AppMaster所在的container里，Driver和AppMaster是同一个进程的两个不同线程，它们之间也会进行通信，AppMaster同样等待Driver的完成，从而释放资源。

2017-09-25 16:21:30

Spark on ya cluster 模式

超实用的Spark数据倾斜解决姿势，学起来！

本文将结合实例详细阐明Spark数据倾斜(Data Skew)的几种场景及对应的解决方案，包括避免数据源倾斜、调整并行度、使用自定义Partitioner、使用Map侧Join代替Reduce侧Join、给倾斜Key加上随机前缀等。

2017-08-28 13:08:22

Spark 数据倾斜

分布式机器学习平台大比拼：Spark、PMLS、TensorFlow、MXNet

本论文从分布式系统的角度开展针对当前一些机器学习平台的研究，综述了这些平台所使用的架构设计，对这些平台在通信和控制上的瓶颈、容错性和开发难度进行分析和对比，并对分布式机器学习平台的未来研究工作提出了一些建议。

2017-08-22 17:55:35

机器学习 Spark TensorFlow

Spark入门：Spark Streaming 概览

Spark Streaming是Spark API的一个可横向扩容，高吞吐量，容错的实时数据流处理引擎，Spark能够从Kafka、Flume、Kinesis或者TCP等等输入获取数据，然后能够使用复杂的计算表达式如map,reduce,join和window对数据进行计算。

2017-08-14 10:30:13

Spark Spark Strea 扩容

用 Apache Spark 和 TensorFlow 进行深度学习

神经网络在过去几年中取得了惊人的进步，现在已成为图像识别和自动翻译领域最先进的技术。TensorFlow是 Google 为数字计算和神经网络发布的新框架。在这篇博文中，我们将演示如何使用 TensorFlow 和 Spark 一起来训练和应用深度学习模型。

2017-08-10 15:31:57

Apache Spar TensorFlow

横向对比三大分布式机器学习平台：Spark、PMLS、TensorFlow

分布式机器学习是机器学习领域的一大主要研究方向，我们对分布式机器学习平台的三大基本设计方法进行了简要介绍并举例进行了说明。

2017-08-07 11:02:28

机器学习分布式 Spark

TiSpark (Beta) 用户指南

TiSpark 是 PingCAP 推出的为了解决用户复杂 OLAP 需求的产品。本文简单介绍如何部署和使用 TiSpark。本文假设你对 Spark 有基本认知。

2017-08-05 16:31:51

TiDB TiSpark 数据库

Spark学习之RDD简单算子

Spark学习之RDD简单算子希望给大家带来一些帮助。

2017-08-04 10:58:55

RDD Spark 算子

SparkStreaming与Kafka整合遇到的问题及解决方案

最近工作中是做日志分析的平台，采用了sparkstreaming+kafka，采用kafka主要是看中了它对大数据量处理的高性能，处理日志类应用再好不过了，采用了sparkstreaming的流处理框架主要是考虑到它本身是基于spark核心的，以后的批处理可以一站式服务，并且可以提供准实时服务到elasticsearch中，可以实现准实时定位系统日志。

2017-08-03 09:37:35

SparkStream Kafka Direct

思科 Cisco Spark Room Kit在大中华区成功落地思科协作助力雅清达携手3W COFFICE打造高效协作共享空间

思科协作Cisco Spark Room Kit系列新产品自2017年6月份在大中华区推出以来，凭借领先的技术优势，在市场上引起了强烈反响。近日，思科合作伙伴广州雅清达智能系统有限公司(以下简称雅清达)宣布将为3W集团旗下的3W COFFICE(共享办公空间)提供思科最新视频协作解决方案，这也标志着思科Cisco Spark Room Kit在大中华区成功落地。

2017-07-28 13:14:45

如何选择Spark机器学习API

本文将简要介绍Spark机器学习库(Spark MLlib’s APIs)的各种机器学习算法，主要包括：统计算法、分类算法、聚类算法和协同过滤算法，以及各种算法的应用。

2017-07-26 17:25:22

机器学习 Spark API

10 亿级海量数据运算下，Apache Spark 的四个技术应用实践原创

本文主要介绍 Apache Spark 如何实现苏宁中台商品价格信息的 TB 级别复杂业务数据处理运算，以及其中碰到的问题和解决方案。

2017-07-11 09:59:22

Apache Spar 技术数据

Spark UDF变长参数的二三事儿

在复杂业务逻辑中，我们经常会用到Spark的UDF，当一个UDF需要传入多列的内容并进行处理时，UDF的传参该怎么做呢? 下面通过变长参数引出，逐一介绍三种可行方法以及一些不可行的尝试...

2017-07-10 08:30:11

Spark UDF 变长参数

手把手教你 Spark 性能调优

集群部分 spark 任务执行很慢，且经常出错，参数改来改去怎么都无法优化其性能和解决频繁随机报错的问题。

2017-07-07 11:01:04

Spark 性能调优

基于Spark的大规模机器学习在微博的应用

一直以来，微博都尝试通过机器学习来解决业务场景中遇到的各种挑战。本文为新浪微博吴磊在CCTC 2017云计算大会Spark峰会所做分享《基于Spark的大规模机器学习在微博的应用》主题的一部分，介绍微博在面对大规模机器学习的挑战时，采取的最佳实践和解决方案。

2017-06-27 15:35:02

机器学习 Spark 微博应用

Spark Streaming vs. Kafka Stream 哪个更适合你

本文介绍了两大常用的流式处理框架，Spark Streaming和Kafka Stream，并对他们各自的特点做了详细说明，以帮助读者在不同的场景下对框架进行选择。

2017-06-27 15:08:05

大数据 Apache Spar Kafka Strea

实用 | 从Apache Kafka到Apache Spark安全读取数据

随着在CDH平台上物联网(IoT)使用案例的不断增加，针对这些工作负载的安全性显得至关重要。本篇博文对如何以安全的方式在Spark中使用来自Kafka的数据，以及针对物联网(IoT)使用案例的两个关键组件进行了说明。

2017-06-26 15:00:17

大数据 Apache Kafk Apache Spar

学习Spark——那些让你精疲力尽的坑

这篇就介绍下自己遇到的各种坑。我不知道各位是否遇到过并能轻松解决，反正我是被这些小问题搞得精疲力尽，故在此总结以备忘。

2017-06-21 08:39:20

Spark Scala HDFS

Spark Submit的ClassPath问题

我们的产品需要与客户的权限系统对接，即在登录时使用客户的认证系统进行认证。集成认证的方式是调用客户提供的jar包，调用userService的authenticate方法。同时，还需要在classpath中提供密钥的key文件。

2017-06-12 13:30:56

集成认证集群 ClassPath

Spark Shuffle过程分析：Map阶段处理流程

默认配置情况下，Spark在Shuffle过程中会使用SortShuffleManager来管理Shuffle过程中需要的基本组件，以及对RDD各个Partition数据的计算。我们可以在Driver和Executor对应的SparkEnv对象创建过程中看到对应的配置。

2017-06-07 12:25:37

Shuffle 代码 Map阶段处理

Spark Streaming场景应用- Spark Streaming计算模型及监控

本篇文章主要介绍了Spark Streaming在实际应用场景中的两种计算模型，包括无状态模型以及状态模型;并且重点关注了下Spark Streaming在监控方面所作的努力。

2017-06-06 08:31:10

Spark Strea 计算模型监控

高科技也能“玩时尚”，思科协作重磅推出全新 Spark Room Kit 系列!

谁说高科技一定枯燥呆板，思科协作推出全新 Spark Room Kit 系列，真正的一体化设备，颜值与才华一应俱全!

2017-05-22 15:18:30

思科 Spark Room

Spark踩坑记：共享变量

使用spark过程当中踩过的一些坑和经验。我们知道Spark是多机器集群部署的，分为Driver/Master/Worker，Master负责资源调度，Worker是不同的运算节点，由Master统一调度。

2017-05-05 08:12:51

Spark 共享变量

Spark中的核心概念RDD，我们了解多少？

RDD全称叫做弹性分布式数据集(Resilient Distributed Datasets)，它是一种分布式的内存抽象，表示一个只读的记录分区的集合，它只能通过其他RDD转换而创建，为此RDD支持丰富的转换操作。通过这种转换操作，新的RDD则包含了如何从其他RDDs衍生所必需的信息，所以说RDDs之间是有依赖关系的。

2017-04-25 09:50:16

Spark RDD 核心

大数据系列之并行计算引擎Spark介绍

Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

2017-04-24 12:07:44

Spark 大数据并行计算

Spark源码分析之分区器的作用

首先对spark有一定了解的都应该知道，在spark中每个RDD可以理解为一组分区，这些分区对应了内存块block,他们才是数据最终的载体。那么一个RDD由不同的分区组成，这样在处理一些map,filter等算子的时候，就可以直接以分区为单位并行计算了。直到遇到shuffle的时候才需要和其他的RDD配合。

2017-04-24 09:20:05

Spark 分析分区器

Spark：超越Hadoop MapReduce

和 Hadoop 一样，Spark 提供了一个 Map/Reduce API(分布式计算)和分布式存储。二者主要的不同点是，Spark 在集群的内存中保存数据，而 Hadoop 在集群的磁盘中存储数据。

2017-04-19 11:17:48

Spark Hadoop MapReduce

借hbase-rdd二次开发谈如何在Spark Core之上扩建自己的模块

我是51CTO学院讲师张敏，在51CTO学院 “4.20 IT充电节”(4月19~20日) 到来之际，和大家分享一下Spark Core之上扩建自己的模块的经验。

2017-04-14 09:03:00

RDD 模块 Hbase

Spark for python developers —Spark与数据的机器学习

机器学习可以从数据中得到有用的见解. 目标是纵观Spark MLlib，采用合适的算法从数据集中生成见解。对于 Twitter的数据集, 采用非监督集群算法来区分与Apache Spark相关的tweets。初始输入是混合在一起的tweets。首先提取相关特性, 然后在数据集中使用机器学习算法, 最后评估结果和性能。

2017-04-13 13:30:56

Spark Spark MLlib 机器学习

Spark名词解释及关系

随着对spark的业务更深入，对spark的了解也越多，然而目前还处于知道的越多，不知道的更多阶段，当然这也是成长最快的阶段。这篇文章用作总结最近收集及理解的spark相关概念及其关系。

2017-04-13 09:10:06

Spark 解释关系

Hive、MapReduce、Spark分布式生成唯一数值型ID

Spark中生成这样的非连续唯一数值型ID，非常简单，直接使用zipWithUniqueId()即可。

2017-04-12 09:29:02

Hive MapReduce Spark

有望取代Spark的实时机器学习框架Ray

一个新的项目旨在为实时处理开发一种速度更快的框架，可用来支持用Python编写的机器学习应用。

2017-04-08 17:32:39

人工智能乔丹 Ray

Spark程序运行常见错误解决方法以及优化

task倾斜原因比较多，网络io,cpu,mem都有可能造成这个节点上的任务执行缓慢，可以去看该节点的性能监控来分析原因。以前遇到过同事在spark的一台worker上跑R的任务导致该节点spark task运行缓慢。

2017-04-07 09:02:06

Spark 方法优化

是英雄还是狗熊？大数据那些事之SparkSQL

SparkSQL最主要的东西有两个，一个是DataFrame全面取代了RDD。我必须为这个叫声好。作为一个根红苗正的关系数据库思想熏陶出来的人，带有RDD的Spark总给我一种干爹干妈做的数据处理的产品的感觉。用上DataFrame顿时有回到亲爹亲妈做的产品的感觉。期间的差距，可能是无法言语表达的。

2017-04-06 09:35:10

大数据 SparkSQL Spark

Apache Spark 内存管理详解

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。

2017-04-01 14:01:50

Apache Spar 内存管理

pyspark访问hive数据实战

直接进行spark开发需要去学习scala，为了降低数据分析师的学习成本，决定前期先试用sparkSQL，能够让计算引擎无缝从MR切换到spark，现在主要使用pyspark访问hive数据。

2017-03-13 09:48:26

pyspark hive 数据

上一页 1 2 3 4 5 6 ··· 8 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营