【Spark】常见的编译错误
时间:2022-07-23
本文章向大家介绍【Spark】常见的编译错误,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
文章目录
- 1 java.lang.ClassNotFoundException: xsbt.CompilerInterface
- 2 Unable to find: dev/checkstyle-suppressions.xml
- 3 Unable to find configuration file at location scalastyle-config.xml
- 4 Summary
1 java.lang.ClassNotFoundException: xsbt.CompilerInterface
改动了一下 Spark 的代码,重新编一个,因为有段时间没编了,本地环境可能有点问题,果不其然,报错了,java.lang.ClassNotFoundException: xsbt.CompilerInterface
。
仔细看一下 maven 的编译日志,把下面 .sbt/
目录下的问题件删除,让 Spark 的编译脚本重新去下载就好了。
2 Unable to find: dev/checkstyle-suppressions.xml
在 spark/resource-manager/kubernetes 下执行下面的命令,编译 spark_kubernetes 的模块报错,这个只要把对应的文件 copy 到上述的目录就可以。
build/mvn -pl :spark-kubernetes_2.12 clean install -DskipTests
3 Unable to find configuration file at location scalastyle-config.xml
在 spark/resource-manager/kubernetes 下执行下面的命令,编译 spark_kubernetes 的模块报错,这个只要把对应的文件 copy 到上述的目录就可以。
build/mvn -pl :spark-kubernetes_2.12 clean install -DskipTests
4 Summary
其实编译的问题主要集中在对 Maven,尤其是 plugin 功能的不熟悉,或者是环境很混乱,环境变量设置不合理等等,但是一般来说 spark 的编译脚本 make-distribution.sh
,都可以把问题暴露出来,用户需要仔细去排查。
- iOS学习——键盘弹出遮挡输入框问题解决方案
- iOS项目——项目开发环境搭建
- im协议设计选型(上)
- iOS学习——UIAlertController详解
- iOS学习——获取iOS设备的各种信息
- iOS学习——属性引用self.xx与_xx的区别
- iOS学习——iOS 整体框架及类继承框架图
- iOS学习—— UINavigationController的返回按钮与侧滑返回手势的研究
- iOS学习——iOS常用的存储方式
- iOS学习——内存泄漏检查及原因分析
- IOS学习——iphone X的适配
- 使用PowerShell自动部署ASP.NetCore程序到IIS
- ios学习——键盘的收起
- IOS学习7——cocoapod安装与使用教程
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 使用Angular rxjs进行优雅限流
- Nginx自动重定向
- dotnet OpenXML SDK 形状的翻转与旋转
- C# dotnet 使用 AsyncEx 库的 AsyncLock 异步锁
- bt5.9手动开心
- 项目中多个文件引入同一份公共样式less文件导致编译打包后有多份样式
- Angular rxjs Observable的异步行为
- Angular rxjs里自定义operator的使用
- tensorflow 生成指定大小的赋值0的张量 np.zeros 在TF中对应的语句 生成全0张量
- Angular rxjs fromEvent使用的一个例子
- 在StackBlitz上setup SAP Spartacus
- [898]python获取两个list交集|并集|差集
- [897]使用Maxwell实时同步mysql数据
- Magicodes.IE之导入导出筛选器
- 一文搞懂Flink生成StreamGraph