北明数科 bug
时间:2019-10-22
本文章向大家介绍北明数科 bug,主要包括北明数科 bug使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
解决方案:
在conf后面加上. set("spark.testing.memory", "471859201")
bug报错:
Exception in thread "main" java.lang.IllegalArgumentException: System memory 259522560 must be at 。。。
解决方案:
hadoop-common-bin-2.7.3-x64.zip解压到任意目录。
bug报错:
org.apache.hadoop.util.Shell$ExitCodeException: /bin/bash: line
bug原因:
win环境运行hadoop任务,需要下载相应的运行环境。
解决方案:
for (x <- glomTest(arrayTwo).collect()) {
println(x.toList)
}
bug报错:
array(array(),array()) 这种rdd打印不出来
解决方案:
bin/kafka-console-consumer.sh --bootstrap-server ambari02:9092 --from-beginning --topic first
bug报错:
zooker ,bootstrap
bug原因:
之前连接zookeeper是老版本,新版本要用 --boot..,同时端口号改为9092
解决方案:
hive-site.xml
1 将Type改成dbcp
2 将mysql-connect-java 的连接驱动 放到spark/jars目录下
x
1
// 数据库连接
2
<property>
3
<name>datanucleus.connectionPoolingType</name>
4
<value>dbcp</value>
5
<description>
6
Expects one of [bonecp, dbcp, hikaricp, none].
7
Specify connection pool library for datanucleus
8
</description>
9
</property>
10
//版本校验
11
<property>
12
<name>hive.metastore.schema.verification</name>
13
<value>false</value>
14
<description>
15
Enforce metastore schema version consistency.
16
True: Verify that version information stored in is compatible with one from Hive jars. Also disable automatic
17
schema migration attempt. Users are required to manually migrate schema after Hive upgrade which ensures
18
proper metastore schema migration. (Default)
19
False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.
20
</description>
21
</property>
bug报错:
org.datanucleus.exceptions.NucleusUserException: The connection pool plugin of type "HikariCP" was not found in the CLASSPATH! at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:234)
bug原因:
hive-site.xml默认配置的数据库连接方式就是HikariCP。
bug报错:
org.apache.hadoop.hive.metastore.ObjectStore (line: 6684) : Version information found in metastore differs 3.1.0 from expected schema version 1.2.0. Schema verififcation is disabled hive.metastore.schema.verification so setting version.
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/catalyst/catalog/HiveTableRelation
原文地址:https://www.cnblogs.com/changsheng1120/p/11719479.html
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法