Hive迁移Saprk SQL的坑和改进办法
Qcon 全球软件开发者大会2016北京站 演讲主题:Spark在360的大规模实践与经验分享 李远策
360-Spark集群概况
360-Spark集群概况
360-Spark应用
MLLib • 算法:LDA、LR、FP-Growth、ALS、KMeans、随机森林等。 • 业务:新闻主题分类、新闻推荐、APP推荐、恶意代码识别、恶意域名检测等。 GraphX • 算法:PageRank、Louvain、LPA、连通子图等。 • 业务:搜索PageValue、网站安全监测等。 SparkSQL • 采用HiveContext替换公司90%以上的Hive作业,每天例行1.5W+作业。 • 每个Hive SQL平均3轮MR作业,平均性能提升2~5倍。
SparkSQL替换Hive
Hive迁移到SparkSQL的“正确打开方式”: 1、编译Spark加上-Phive -Phive-thriftserver参数 2、部署Spark(Yarn)集群 3、配置SparkSQL共用Hive的元数据库 4、用spark-hive(spark-sql)工具替换原有的hive命令 5、-e/–f 或者thriftserver提交作业。
SparkSQL部署方案
SparkSQL部署方案
Hive迁移SparkSQL – 坑 & 改进
SQL兼容 (Insert overwrite [local] directory的支持)
例如:insert overwrite directory ‘/tmp/testdir’ select *from T1; Hive中支持,SparkSQL暂时不支持。
因为SparkSQL-HiveContext的SQL解析调用了Hive的ParseDriver. parse完成,所以语法解析上不存在问题。
解决方案: 1、解析AST中的TOK_DIR和TOK_LOCAL_DIR将其转化成新定义的逻辑计划WriteToDirectory 2、将逻辑计划WriteToDirectory转换成新定义的物理计划WriteToDirectory。 3、在物理计划WriteToDirectory执行方法中复用InsertIntoHiveTable中的saveAsHiveFile逻辑将结果写到HDFS中。 4、如果是local directory则将结果再拉回到本地
SQL兼容 (SQL二义性问题)
例如:
select C.id from (
select A.id from testb as A
join
(select id from testb ) B
on A.id=B.id) C;
C.id is A.id or B.id ?
transformation bugs (行尾部空列导致的数组越界)
例如: 001tABCt002t [001, ABC, 002] 003tEFGtt [003, EFG]
new GenericInternalRow(
prevLine.split(ioschema.outputRowFormatMap(
“TOK_TABLEROWFORMATFIELD”))
.map(CatalystTypeConverters.convertToCatalyst))
transformation bugs (Script的标准错误缓冲区打满导致transform流程卡住)
transformation
输入小文件合并的改进 (增加支持自定义inputFormat类)
默认采用建表时指定的InpurFormat,如果是默认的TextInputFormat,当小文件比较多是可能会导致RDD的partition数太多,导致性能下降。
解决办法: 通过参数允许用户指定InputFormat,在TableReader中反射生成对应的InputFormat对象并传入到HadoopRDD的构造函数中。
使用方法:
set spark.sql.hive.inputformat=org.apache.hadoop.mapred.lib.CombineTextInputFormat;
输出小文件合并的改进 (增加自动合并结果文件)
当spark.sql.shuffle.partitions设置的比较大且结果数据集比较小时,会产生大量的小文件(文件数等同spark.sql.shuffle.partitions)。 解决办法: 在最后的执行计划中加入一个repartition transformation。通过参数控制最终的partitions数且不影响shuffle partition的数量。 使用方法: set spark.sql.result.partitions=10;
• 支持yarn-cluster模式,减小client的负载默认的yarn-client模式下Scheduler会运行在client上,加重client机器的负载。 解决办法: 让sparkSQL工具支持yarn-cluster模式。 1)在Yarn集群上部署SparkSQL依赖的hive metastore jar包。 2)开通Yarn nodemanager节点访问Hive metastore数据库的权限。 3)解决“”“转义问题。如 spark-hive –e “select * fromuser where name = ”张三””;在yarn-cluster模式中会触发两次command执行从而导致“”被转义两次。
邮箱: liyuance@gmail.com liyuance@360.cn 急招大数据运维和运维开发人员,谢谢
- 这年头真的还有USB设备是安全的吗?
- js的动态加载、缓存、更新以及复用(一)使用范围:遇到的问题:目标:页面结构:正文
- js的动态加载、缓存、更新以及复用(二)恼人的命名冲突
- 以【猫叫、老鼠跑、主人醒】为例子,使用 javascript 来实现 观察者模式 (有在线演示)
- Debian/Ubuntu-shell脚本来管理iptables安全策略
- Pegasus间谍套件内部原理及流程剖析
- 用node.js实现ORM的一种思路
- iOS“远程越狱”间谍软件Pegasus技术分析
- 学习HTML5之表单
- 基于jQuery的ajax对WebApi和OData的封装我们还是先来看看要求在看看目标:思路封装方式
- js的动态加载、缓存、更新以及复用(四)
- ajax的再次封装!(改进版) —— new与不 new 有啥区别?
- ajax的再次封装!
- 【自然框架】js版的QuickPager分页控件 V2.0
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 「数据仓库架构」数据仓库的三种模式建模技术
- 设计模式实战-空对象模式,你肯定不知道,但是项目中会常用到到
- Go 开发十种常犯错误
- SpringBoot缓存应用实践
- 为什么应该使用 Go module proxy
- 谁能想到,我给技术总监“上了一课”
- 设计模式速览
- 序列模型——吴恩达深度学习课程笔记(五)
- 30分钟学会pyecharts数据可视化
- 用Keras从零开始6步骤训练神经网络
- Keras结构化数据预处理范例——Titanic生存预测
- 从原理上搞懂如何设置线程池参数大小?
- Keras图像数据预处理范例——Cifar2图片分类
- Keras文本数据预处理范例——IMDB影评情感分类
- JVM性能调优监控工具jps、jstack、jmap、jhat、jstat、hprof 使用详解