【Spark on Kubernetes】Executor环境变量

时间:2022-07-22
本文章向大家介绍【Spark on Kubernetes】Executor环境变量,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

今天在给 Executor 配置环境变量的时候,以为 Executor 环境变量跟 Driver 一样是通过 spark.kubernetes.driverEnv.XXX=YYY,最后发现其实是 spark.executorEnv,要注意 Env 的大小写,都是细节… 可以看到下图,其实 Spark on Kubernetes 的文档,并没有写,所以 Executor 环境变量就是普通的参数即可。