sqlldr性能调优测试(r3第5天)
时间:2022-05-04
本文章向大家介绍sqlldr性能调优测试(r3第5天),主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
接着续上次提到的sqlldr的性能问题,加载一个表数据400多万条记录,竟然用了6个多小时。最后大家争论不休的时候,我发现应该是网络的问题。 http://blog.itpub.net/23718752/viewspace-1182534/ 今天客户IT的同事把网络做了调整,他们就想看看到底改进有多大。 下面是测试的一些记录。
àoriginal logs for issue table, loading around 6 hours.
Total logical records skipped: 0
Total logical records read: 4096786
Total logical records rejected: 0
Total logical records discarded: 0
Run began on Wed Jun 11 08:52:55 2014
Run ended on Wed Jun 11 14:57:40 2014
Elapsed time was: 06:04:44.05
CPU time was: 00:00:38.18
àafter network enhanced, loading time has reduced to around 4 mins.
Total logical records skipped: 0
Total logical records read: 4096786
Total logical records rejected: 0
Total logical records discarded: 0
Run began on Mon Jun 16 12:58:01 2014
Run ended on Mon Jun 16 13:02:15 2014
Elapsed time was: 00:04:13.28
CPU time was: 00:00:30.00
àconsidering impact from index, I loaded data again, keep table structure,index exactly the same.
Total logical records skipped: 0
Total logical records read: 4096786
Total logical records rejected: 0
Total logical records discarded: 0
Run began on Mon Jun 16 13:09:34 2014
Run ended on Mon Jun 16 13:16:37 2014
Elapsed time was: 00:07:02.61
CPU time was: 00:00:31.23
àtune sqlldr command with below options, keep table structure,index exactly the same.
parallel=true bindsize=7500000 readsize=7500000 streamsize=7500000 rows=50000
Total logical records skipped: 0
Total logical records read: 4096786
Total logical records rejected: 0
Total logical records discarded: 0
Run began on Mon Jun 16 13:21:13 2014
Run ended on Mon Jun 16 13:24:19 2014
Elapsed time was: 00:03:05.75
CPU time was: 00:00:41.27
所以综上所述,在排查了cpu,io,缓存,网络的因素后,还可以使用一些选项来优化sqlldr,在某种程度上得到提升。
- [程序设计语言]-[核心概念]-03:控制流
- 简单代码实现“网站维护中”“coming soon” 效果
- 使用Topshelf创建Windows 服务
- 自定义AuthorizeAttribute
- 系统进程管理工具Process Explorer
- jquery 操作DOM元素(1)
- 开源的读取Excel文件组件-ExcelDataReader
- BlackPearl 的 ServiceObject 开发部署
- [程序设计语言]-[核心概念]-04:数据类型
- jquery 筛选元素(1)
- [程序设计语言]-00:目录
- 使用 SQL Server 2008 数据类型-xml 字段类型参数进行数据的批量选取或删除数据
- jquery 筛选元素 (2)
- 专家:中国还不是网络强国 今后须打破国外垄断
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法