Standalone是什么?Standalone集群的三类进程

大数据
Standalone模式是Spark自带的一种集群模式,不同于前面本地模式启动多个进程来模拟集群的环境,Standalone模式是真实地在多个机器之间搭建Spark集群的环境,完全可以利用该模式搭建多机器集群,用于实际的大数据处理。

Standalone是什么

Standalone模式是Spark自带的一种集群模式,不同于前面本地模式启动多个进程来模拟集群的环境,Standalone模式是真实地在多个机器之间搭建Spark集群的环境,完全可以利用该模式搭建多机器集群,用于实际的大数据处理。

StandAlone 是完整的Spark运行环境,其中: Master角色以Master进程存在, Worker角色以Worker进程存在 Driver和Executor运行于Worker进程内, 由Worker提供资源供给它们运行。

StandAlone集群在进程上主要有3类进程:

(1)主节点Master进程:

Master角色, 管理整个集群资源,并托管运行各个任务的Driver

(2)从节点Workers:

Worker角色, 管理每个机器的资源,分配对应的资源来运行Executor(Task); 每个从节点分配资源信息给Worker管理,资源信息包含内存Memory和CPU Cores核数。

(3)历史服务器HistoryServer(可选):

Spark Application运行完成以后,保存事件日志数据至HDFS,启动HistoryServer可以查看应用运行相关信息。Spark的历史服务器, 功能: 将Spark运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息。

责任编辑:华轩 来源: 今日头条
相关推荐

2014-04-16 14:04:34

SparkStandalone

2010-07-30 16:06:41

2010-07-19 13:49:52

autoTelnet

2010-09-26 16:10:03

数据加密产品

2010-06-12 16:41:59

网络核心协议

2021-11-29 10:41:09

分布式抽象接口

2021-09-01 15:48:50

API漏洞应用程序安全

2014-12-29 10:25:34

MEFNFVSDN

2020-09-22 18:01:22

SparkStandalone运行

2018-04-24 09:00:00

开发自动化软件架构

2012-03-26 10:10:56

云计算

2010-09-28 15:33:18

DHCP服务器应用

2010-09-25 15:54:23

SQL存储过程

2018-07-05 22:43:24

2010-07-16 10:58:21

云计算

2016-09-13 14:05:24

Spark集群管理模式

2010-09-09 11:25:09

2014-06-10 10:20:42

2015-09-29 09:53:07

数据中心数据

2009-06-10 15:49:25

就业IT培训偏门
点赞
收藏

51CTO技术栈公众号