spark2 sql读取json文件的格式要求
问题导读 1.spark2 sql如何读取json文件? 2.spark2读取json格式文件有什么要求? 3.spark2是如何处理对于带有表名信息的json文件的? spark有多个数据源,json是其中一种。那么对于json格式的数据,spark在操作的过程中,可能会遇到哪些问题? 这里首先我们需要对json格式的数据有一定的了解。 json数据有两种格式: 1.对象表示 2.数组表示 二者也有嵌套形式。 比如我们创建一个个人信息的json。
[Plain Text] 纯文本查看 复制代码
?
{ "people": [
{
"name": "aboutyun",
"age": "4"
},
{
"name": "baidu",
"age": "5"
}
]
}
上面是一个比较常见的json。信息我们大致也能看出来:people表示的是表名,后面的内容为表的内容,包含了姓名和年龄。然而我们在使用spark读取的时候却遇到点小问题。上面内容保存为文件people.json,然后上传到hdfs的跟路径,进入spark-shell,读取json文件
[Scala] 纯文本查看 复制代码
?
val peopleDF=spark.read.json("/people.json")
打印schema
[Bash shell] 纯文本查看 复制代码
?
peopleDF.printSchema
这时候我们看到people并不是表名,而age和name也非列明。我们通过
[Scala] 纯文本查看 复制代码
?
peopleDF.show
展示列名
也就是说我们如果带有"people"格式的信息,DataFrame就会被认为是列名。个人认为这是spark不太好的地方,应该可以改进。这里也可以自动读取为表名或则忽略,而不是默认为一个字段名称。 既然目前spark是这么做,那么我们该如何做,才能让spark正确的读取? 我们来尝试下面格式的json文件
[Plain Text] 纯文本查看 复制代码
?
[
{
"name": "aboutyun",
"age": "4"
},
{
"name": "baidu",
"age": "5"
}
]
操作是同样的方式
[Scala] 纯文本查看 复制代码
?
val peopleDF=spark.read.json("/people.json")
[Bash shell] 纯文本查看 复制代码
?
peopleDF.printSchema
接着我们来打印数据
[Scala] 纯文本查看 复制代码
?
peopleDF.show
这时候我们看到它能正确的显示数据了。 从上面我们看出spark对于json文件,不是什么格式都是可以的,需要做一定的修改,才能正确读取,相信以后spark会有所改进。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- conda管理C源代码程序的时候总是出现库文件冲突或者缺失
- 如何获取非模式生物KEGG PATHWAY的基因集并用clusterProfile做GSEA?
- 通过视频着色进行自监督跟踪
- Python爬虫:一些常用的爬虫技巧总结
- 带你用 Python 实现自动化群控(入门篇)
- Chrome终于上线这项重磅功能,中国用户苦等多年!
- YOLO 算法最全综述:从 YOLOv1 到 YOLOv5
- 《JavaScript ES6 函数式编程入门经典》读书笔记
- Java9-Reactive Stream API响应式编程
- mybatis-plus增删改查以及前后端分离模式下的项目应用
- docker(常用软件安装)
- PyTorch版:集成注意力和MobileNet的YOLOv4
- 从源代码级别看懂MinIO对象存储网关的实现
- 4种主流超参数调优技术
- 一分钟学Python| 面向对象(上)