前言

Spark 自从2.3版本以来就支持运行在k8s上,本文主要介绍如何运行Spark在阿里云容器服务-Kubernetes。

前提条件

1、 已经购买阿里云容器服务-Kubernetes。购买链接:Kubernetes控制台。本例k8s集群类型为:Kubernetes 托管版。
2、 Spark镜像已构建。本例构建Spark的镜像的Dokerfile内容为:

# 基础镜像FROM registry.cn-beijing.aliyuncs.com/acs/spark:v2.4.0# 作者LABEL maintainer "guangcheng.zgc@alibaba-inc.com"#拷贝jar包到制定目录COPY ./spark-examples-0.0.1-SNAPSHOT.jar /opt/spark/exampl
收藏 打印