在 Kubernetes 上运行 Spark 教程 [已关闭]-解网

问：

想改进这个问题吗？更新问题，使其仅通过编辑这篇文章来关注一个问题。

2天前关闭。

改进此问题

我正在学习在 k8s （minikube）上创建一个基本的 spark 集群。但是，我找不到任何为主 Pod 和 worker pod 创建 YAML 文件的教程。请问sb能举个例子吗？我已经阅读了 https://spark.apache.org/docs/latest/running-on-kubernetes.html 上的说明，但太难理解了。非常感谢

在 k8s 上运行 spark 的完整教程

apache-spark kubernetes pyspark minikube

假设您有一个正在运行的 K8s 集群。我将分享这些步骤。如果集群尚未就绪，您可以创建一个集群。假设我正在 AKS az group create --name <resource-group-name> --location <region> az aks create --resource-group <resource-group-name> --name <aks-cluster-name> --node-count <node-count> --enable-addons monitoring --generate-ssh-keys 将 <resource-group-name>、<region>、<aks-cluster-name> 和 <node-count>替换为所需的 values.az aks get-credentials --resource-group <resource-group-name> --name <aks-cluster-name>

0赞 Arko 11/17/2023

群集准备就绪后，创建一个名为 spark 的单独命名空间以便于设置，切换到该命名空间 kubectl config set-context --current --namespace=spark

0赞 Arko 11/17/2023

使用 - kubectl apply -f 部署 spark operator raw.githubusercontent.com/apache/spark/main/kubernetes/...

0赞 Arko 11/17/2023

部署 SparkApplication：Deploy a SparkApplication：创建名为 spark-app.yaml 的文件，并使用 Spark 应用程序对其进行配置详细信息： apiVersion： sparkoperator.k8s.io/v1beta2 kind： SparkApplication 元数据： name： spark-example 命名空间： spark spec： type： Python 模式： cluster image： <your-docker-image> mainApplicationFile： local:///opt/spark/work-dir/your_spark_app.py sparkVersion： “3.0.1” restartPolicy： type：从不将 <your-docker-image> 替换为 Docker 映像和 Spark your_spark_app.py应用程序文件。

答： 暂无答案

上一个：更改端口号时，kubectl port-forward 失败

下一个：Spring Boot 3.2 - 使用 NodePort 的多集群 MongoDB 连接

在 Kubernetes 上运行 Spark 教程 [已关闭]

Running Spark on Kubernetes tutorial [closed]

评论