Spark 大数据处理最佳实践

大数据 Spark
本文主要案例介绍如何利用Spark 大数据技术。

内容框架:

大数据概览
如何摆脱技术小白
Spark SQL 学习框架
EMR Studio 上的大数据最佳实践

一、大数据概览

大数据处理 ETL (Data → Data)
大数据分析 BI (Data → Dashboard)
机器学习 AI (Data → Model)

二、如何摆脱技术小白

什么是技术小白?

只懂表面,不懂本质
比如:只懂得参考别人的 Spark 代码,不懂得 Spark 的内在机制,不懂得如何调优 Spark Job

摆脱技术小白的药方

懂得运行机制
学会配置
学会看 Log

懂得运行机制:Spark SQL Architecture

学会配置:如何配置 Spark App

配置 Driver

spark.driver.memory

spark.driver.cores

配置 Executor

spark.executor.memory

spark.executor.cores

配置 Runtime

spark.files

spark.jars

配置 DAE
…..........
学会看 Log:Spark Log

三、Spark SQL 学习框架

Spark SQL 学习框架( 结合图形/几何)

1. Select Rows

2. Select Columns

3. Transform Column

4. Group By / Aggregation

5. Join

Spark SQL 执行计划

1. Spark SQL - Where

2. Spark SQL - Group By

3. Spark SQL - Order by

四、EMR Studio 实践

EMR Studio 特性:

兼容开源组件
支持连接多个集群
适配多个计算引擎
交互式开发 + 作业调度无缝衔接
适用多种大数据应用场景
计算存储分离

1. 兼容开源组件

EMR Studio 在开源软件 Apache Zeppelin,Jupyter Notebook, Apache Airflow 的基础上优化了做了优化和增强。

2. 支持连接多个集群

一个 EMR Studio 可以连接多个 EMR 计算集群,您可以很方便地切换计算集群,提交作业到不同的计算集群上运行。

3. 适配多个计算引擎

自动适配 Hive、Spark、Flink、Presto、Impala 和 Shell 等多个计算引擎,无需复杂配置,多个计算引擎间协同工作

4. 交互式开发 + 作业调度无缝衔接

Notebook + Airflow : 无缝衔接开发环节和生产调度环节

利用交互式开发模式可以快速验证作业的正确性.
在 Airflow 里调度 Notebook 作业,最大程度得保证开发环境和生产环境的一致性,防止由于开发阶段和生产阶段环境不一致而导致的问题。

5. 适用多种大数据应用场景

大数据处理 ETL
交互式数据分析
机器学习
实时计算

6. 计算存储分离

所有数据都保存在 OSS 上,包括:

用户 Notebook 代码

调度作业 Log

即使集群销毁,也可以重建集群轻松恢复数据

责任编辑:梁菲 来源: 阿里云云栖号
相关推荐

2016-10-12 09:41:45

Hadoop+Spar大数据开发

2017-11-14 05:04:01

大数据编程语言数据分析

2018-01-22 08:33:28

SparkHadoop计算

2012-06-07 09:11:29

大数据HadoopHBase

2018-07-25 15:31:51

SparkFlink大数据

2014-12-02 09:49:12

Spark大数据

2018-12-07 14:50:35

大数据数据采集数据库

2020-11-02 15:56:04

大数据数据库技术

2017-07-21 14:22:17

大数据大数据平台数据处理

2018-05-02 13:59:01

大数据数据收集数据科学

2015-03-16 14:54:06

大数据流式大数据大数据处理

2016-05-19 10:31:35

数据处理CassandraSpark

2020-07-22 08:13:22

大数据

2022-11-17 11:52:35

pandasPySpark大数据

2023-12-13 10:22:04

APISpark数据

2023-11-29 13:56:00

数据技巧

2015-10-16 09:50:10

2015-11-09 09:58:31

大数据Lambda架构

2011-09-01 15:12:43

SQL ServerHadoop

2015-12-07 15:05:39

UCloudUHadoop大数据
点赞
收藏

51CTO技术栈公众号