Spark的YARN模式部署

数据库 Spark
Spark可以通过SBT(Scala Build Tool)或者Maven来编译,官方提供的二进制安装文件是用Maven编译。

1:Spark的编译

Spark可以通过SBT(Scala Build Tool)或者Maven来编译,官方提供的二进制安装文件是用Maven编译,如果是要在YARN集群上运行的话,还需要再用SBT编译一下,生成YARN client端使用的jar包;最好是直接对源码使用SBT进行编译而生成YARN client端使用的jar包。笔者在测试过程中,对Maven编译过的Spark进行SBT二次编译后,在运行部分例子的时候有错误发生。

A:Maven编译

笔者使用的环境曾经编译过Hadoop2.2.0(参见hadoop2.2.0源码编译(CentOS6.4)),所以不敢确定Maven编译过程中,Spark是不是需要编译Hadoop2.2.0中使用的部分底层软件(看官方资料是需要Protobuf2.5)。除了网络下载不给力而不断的中止、然后重新编译而花费近1天的时间外,编译过程还是挺顺利的。

maven编译时,首先要进行设置Maven使用的内存项配置:

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

然后用Maven编译:

mvn -Pnew-yarn -Dhadoop.version=2.2.0 -Dyarn.version=2.2.0 -DskipTestspackage

参考文档:Building Spark with Maven

B:SBT编译

Spark源码和二进制安装包都绑定了SBT。值得注意的是,如果要使用Scala进行Spark应用开发,必须使用和Spark版本相对应版本的Scala,如:Spark0.8.1对应的Scala2.9.3。对于不匹配的Scala应用开发可能会不能正常工作。

SBT编译命令:

SPARK_HADOOP_VERSION=2.2.0 SPARK_YARN=true ./sbt/sbt assembly

二种编译都是在Spark根目录下运行。在SBT编译过程中如果网络不给力,手工中断编译(ctrl+z)后要用kill-9 将相应的进程杀死后,然后再重新编译,不然会被之前的sbt进程锁住而不能重新编译。

2:Spark运行

Spark可以单独运行,也可以在已有的集群上运行,如Amazon EC2、Apache Mesos、Hadoop YARN。下面用Spark自带的例程进行测试,运行的时候都是在Spark的根目录下进行。如果需要知道运行更详细的信息,可以使用log4j,只要在根目录下运行:

cp conf/log4j.properties.template conf/log4j.properties

A:本地运行

./run-example org.apache.spark.examples.SparkPi local

Spark安装和测试(YARN模式) - mmicky - mmicky 的博客

也可以多线程方式运行,下面的命令就是开4个线程。

./run-example org.apache.spark.examples.SparkPi local[4]

Spark安装和测试(YARN模式) - mmicky - mmicky 的博客

B:YARN集群

启动Hadoop2.2.0集群

确保环境变量HADOOP_CONF_DIR或YARN_CONF_DIR已经设置

在YARN集群中运行Spark应用程序的命令:

  1. SPARK_JAR=<SPARK_ASSEMBLY_JAR_FILE> ./spark-classorg.apache.spark.deploy.yarn.Client \ 
  2.   --jar <YOUR_APP_JAR_FILE> \ 
  3.   --class <APP_MAIN_CLASS> \ 
  4.   --args <APP_MAIN_ARGUMENTS> \ 
  5.   --num-workers <NUMBER_OF_WORKER_MACHINES> \ 
  6.   --master-class <ApplicationMaster_CLASS> 
  7.   --master-memory <MEMORY_FOR_MASTER> \ 
  8.   --worker-memory <MEMORY_PER_WORKER> \ 
  9.   --worker-cores <CORES_PER_WORKER> \ 
  10.   --name <application_name> \ 
  11.   --queue <queue_name> \ 
  12.   --addJars <any_local_files_used_in_SparkContext.addJar> \ 
  13.   --files <files_for_distributed_cache> \ 
  14.   --archives <archives_for_distributed_cache> 

例1计算PI,可以看出程序运行时是先将运行文件上传到Hadoop集群的,所以客户端最好是和Hadoop集群在一个局域网里。

  1. SPARK_JAR=./assembly/target/scala-2.9.3/spark-assembly-0.8.1-incubating-hadoop2.2.0.jar \ 
  2.     ./spark-class org.apache.spark.deploy.yarn.Client \ 
  3.       --jar examples/target/scala-2.9.3/spark-examples-assembly-0.8.1-incubating.jar \ 
  4.       --class org.apache.spark.examples.SparkPi \ 
  5.       --args yarn-standalone \ 
  6.       --num-workers 3 \ 
  7.       --master-memory 2g \ 
  8.       --worker-memory 2g \ 
  9.       --worker-cores 1 

Spark安装和测试(YARN模式) - mmicky - mmicky 的博客

例2计算TC

  1. SPARK_JAR=./assembly/target/scala-2.9.3/spark-assembly-0.8.1-incubating-hadoop2.2.0.jar \ 
  2.     ./spark-class org.apache.spark.deploy.yarn.Client \ 
  3.       --jar examples/target/scala-2.9.3/spark-examples-assembly-0.8.1-incubating.jar \ 
  4.       --class org.apache.spark.examples.SparkTC \ 
  5.       --args yarn-standalone \ 
  6.       --num-workers 3 \ 
  7.       --master-memory 2g \ 
  8.       --worker-memory 2g \ 
  9.       --worker-cores 1 

Spark安装和测试(YARN模式) - mmicky - mmicky 的博客

点击Tracking UI中的相应链接可以查看Spark的运行信息:

Spark安装和测试(YARN模式) - mmicky - mmicky 的博客

Spark安装和测试(YARN模式) - mmicky - mmicky 的博客

  Spark安装和测试(YARN模式) - mmicky - mmicky 的博客

  Spark安装和测试(YARN模式) - mmicky - mmicky 的博客 

 

责任编辑:彭凡 来源: 网易博客
相关推荐

2014-04-16 14:04:34

SparkStandalone

2021-08-31 23:09:27

Spark资源分配

2017-09-25 16:21:30

Spark on yacluster模式

2016-09-13 14:05:24

Spark集群管理模式

2014-04-16 10:41:58

Spark

2014-08-25 09:03:44

HuluSpark On Y

2014-04-16 11:01:07

SparkYarn

2020-03-06 16:00:04

KubernetesSpark容器

2019-06-11 09:50:07

SparkBroadcast代码

2024-01-29 08:07:42

FlinkYARN架构

2014-09-16 10:13:27

Spark搭建环境

2023-06-06 19:24:06

KubernetesSpark

2020-05-20 13:20:45

KubernetesSpark数据

2020-09-14 08:30:44

Kubernetes容器

2014-01-07 11:24:45

SparkHadoop

2014-07-17 14:09:31

Spark

2012-06-10 17:31:55

无线网络捷网络

2020-09-22 18:01:22

SparkStandalone运行

2014-05-16 10:55:47

Spark

2010-02-01 11:12:27

mod_python模
点赞
收藏

51CTO技术栈公众号