直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

Spark

353内容

关注

涵盖Spark相关研究热点、技术难点与应用场景，让用户更加了解这一为大规模数据处理而设计的快速通用的计算引擎。

共 71 条

Spark RDD算子进阶（转换算子、行动算子、缓存、持久化）

0x00 教程内容0x01 进阶算子操作1. 创建RDD2. 转换算子3. 行动算子0x02 RDD的缓存与持久化1. 缓存与持久化的意义2. 缓存3. 持久化

2021-06-10 18:17:00

Spark教程 Spark

带你深入浅出，彻底了解什么是Spark？

大数据专业，或者人工智能，深度学习方向的小伙伴们一定对Spark这个名词不陌生吧~不认识也没有关系，今天Alice为大家带来关于Spark的一个详细介绍。文章目录激动人心的Spark发展史Spark为什么流行？1：优秀的数据模型和计算抽象2：完善的生态圈3.Spark VS HadoopSpark使...

2021-06-01 17:48:55

Spark 大数据技术

大数据面试杀招——Spark高频考点，必知必会!

关于大数据面试中Spark的高频考点，快来学习!

2021-06-01 17:20:31

如何监控Azure Databricks集群资源使用率

Azure Databricks可以监控吗？如何监控Azure Databricks呢？这篇文章给你答案！

2021-05-21 15:19:58

Azure Datab Databricks 监控

网易Spark Kyuubi核心架构设计与源码实现剖析

本文较为系统、全面并且由浅入深地介绍了网易Spark Kyuubi出现的背景、核心架构设计与关键源码实现，是学习、应用和对Kyuubi进行二次开发不可多得的技术干货。

2021-05-17 03:41:26

大数据 Spark Kyuubi

prometheus+ Grafana监控全家桶

普罗米修斯监控操作系统，elasticsearch、kafka、flink

2021-05-13 10:04:17

普罗米修斯监控es prometheus prometheus

实时计算框架：Flink集群搭建与运行机制

Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink不仅可以运行在包括YARN、Mesos、Kubernetes在内的多种资源管理框架上，还支持在裸机集群上独立部署。在启用高可用选项的情况下，它不存在单点失效问题。

2021-05-09 19:33:48

Flink Spark 大数据

实时计算框架：Spark集群搭建与入门案例

Spark是专为大规模数据处理而设计的，基于内存快速通用,可扩展的集群计算引擎，实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流，运算速度相比于MapReduce得到了显著的提高。

2021-04-26 08:32:07

Spark 大数据实时计算

SparkSubmit object分析

org.apache.spark.deploy.SparkSubmit分析ObjectSparkSubmit类图分析![](https://s4.51cto.com/images/blog/202104/22/6f3f6821c2c3e8903ec82254c4ca02e0.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6

2021-04-22 14:54:23

Spark性能调优-Shuffle调优及故障排除篇

Spark调优之Shuffle调优本节开始先讲解Shuffle核心概念；然后针对HashShuffle、SortShuffle进行调优；接下来对map端、reduce端调优；再针对Spark中的数据倾斜问题进行剖析及调优；最后是Spark运行过程中的故障排除。本文首发于公众号【五分钟学大数据】，本公号专注于大数据技术，分享高质量大数据原创技术文章。一、Shuffle的核心概念1. ShuffleM

2021-03-24 21:06:08

大数据 spark

Spark性能调优-RDD算子调优篇（深度好文，面试常问，建议收藏）

Spark调优之RDD算子调优不废话，直接进入正题！1. RDD复用在对RDD进行算子时，要避免相同的算子和计算逻辑之下对RDD进行重复的计算，如下图所示：RDD的重复计算对上图中的RDD计算架构进行修改，得到如下图所示的优化结果：RDD架构优化2. 尽早filter获取到初始RDD后，应该考虑尽早地过滤掉不需要的数据，进而减少对内存的占用，从而提升Spark作业的运行效率。本文首发于公众号：五分

2021-03-06 09:43:48

大数据 spark 大数据面试

Spark底层原理详细解析(深度好文，建议收藏)

Spark简介 Apache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。Spark源码从1.x的40w行发展到现在的超过100w行，有1400多位大牛贡献了代码。整个Spark框架源码是一个巨大的工程。下面我们一起来看下spark的底层执行原理。Spark运行流

2021-01-29 20:15:47

大数据 spark

Flink实战，APP推广情况分析

接着https://blog.51cto.com/mapengfei/2581240这里用Flink来实现对APP在每个渠道的推广情况包括下载、查看、卸载等等行为的分析因为之前的文章都是用scala写的，这篇用java来实现一波，分别演示下用aggregate聚合方式和process方式的实现和效果整体思路1、准备好数据源：这里用SimulatedSource来自己随机造一批数据2、准备数据输入样

2021-01-10 21:13:17

flink APP统计 flink java

Flink实战，实时流量统计 TOPN访问URL

跟https://blog.51cto.com/mapengfei/2580330类似场景，来从Nginx、Apache等web服务器的日志中读取数据，实时统计出来访问热度最高的TOPN访问URL，并且要确保数据乱序的处理，lag等情况下，还要确认数据的准确性目标：从log文件中读取数据（也可以参考上一篇从kakfa中），取http的method为get的请求，并且把静态文件访问过滤掉，进行实时统

2021-01-03 17:09:18

flink统计热门ur 实时流量统计

Flink从入门到真香(16、Flink内置的一些Process Function)

之前的转换算子是无法访问事件的时间戳信息和水位线信息的，而这在一些应用场景下，极为重要。例如MapFunction这样子的map转换算子就无法访问时间戳或者当前事件的事件事件。基于此，DataStreamAPI提供了一系列LOW-LEVEL的转换算子调用。可以访问时间戳，watermark以及注册定时事件，还可以输出特定的一些事件，例如超时时间等。processfunction用来构建事件驱动的应

2020-11-25 21:54:42

Flink check checkpoint 状态后端

生产SparkStreaming数据零丢失最佳实践(含代码)

生产上保证数据零丢失(断批还原)

2019-06-22 09:14:33

Spark Spark Strea

Spark on Yarn with Hive实战案例与常见问题解决

Spark on Yarn with Hive实战案例与常见问题解决

2018-10-09 11:14:27

Spark Yarn Hive

记录一则Spark读写和Lost Excutor错误的分析和解决过程

一、概述上篇blog记录了些在用spark-sql时遇到的一些问题，今天继续记录用Spark提供的RDD转化方法开发公司第一期标签分析系统（一部分scala作业逻辑代码后面blog再给大家分享）遇到的一些SPARK作业错误信息。其中有些问题可能一些数据量或者shuffle量比较小的作业时不会遇到的，我们整套标签系统的初级输入数据大概是8T左右，这里也是个参考。(下面的Spark部署模

2015-02-27 18:10:20

利用saltstack的api接口和modules实现实时监控

前言：其实一说起实时监控，我就有很多的感想 ~ 以前也做过几个类似的全网流量监控的项目，用过websocket的模式的，还有就是redis pubsub模式，还有就是从同事的nagios获取流量数据（这个结果很郁闷，nagios加了Ndoutils插件后可以把数据存入到mysql里面，当时水平不到位，获取的数据有断链，原因不明）。这些方法也都

2013-12-27 08:23:02

saltstack m saltstack a saltstack

flex viewstack的简单应用

1 Flex API里面介绍viewstack： MX ViewStack 导航器容器由一组彼此上下堆叠的子容器组成，其中一次只可以显示一个子容器。选择另一个子容器后，它将显示在原来子容器的位置处，所以看起来好像此子容器替换了原来的子容器。但是，原来的子容器仍然存在，只不过它现在处于不可见

2012-04-24 09:27:53

Flex SDK 4(Gumbo)更方便的自定义样式、自定义SparkSkin（二）

上一篇文章介绍了在Flex SDK 4(Gumbo)如何通过代码来设定样式，本篇文章详细说明一下这些代码的含义。由于上一篇文章已经给出代码，因此在本篇文章中就不再重复了。自定义Button的mxml的代码解释： 1、<s:SparkSkin xmlns:s="library://ns.adobe.

2009-07-06 09:00:25

Flex FB4新体验 SolidColor

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营