使用shell进行日志分析(r2第14天)
时间:2022-05-04
本文章向大家介绍使用shell进行日志分析(r2第14天),主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
最近做数据批量加载的时候,是通过pl/sql嵌在shell脚本里执行的。 脚本运行后生成的日志类似如下的格式
Get Dump file for APP_TMP.TESTRESS_NAME_LINK...
Elapsed: 00:00:00.64
.
DB details is accessible from source schema ...
.
DB details is accessible from target schema ...
.
Directory ext_datapump_dir has read,write permission ,proceed...
.
SYNONYM TESTEEMENT exists in CONNECT account,proceed...
.
Get Dump file for APP_TMP.TESTEEMENT...
Elapsed: 00:00:00.49
.
DB details is accessible from source schema ...
.
DB details is accessible from target schema ...
.
Directory ext_datapump_dir has read,write permission ,proceed...
.
SYNONYM TESTEEMENT_RESOURCE exists in CONNECT account,proceed...
.
因为表比较多,所以日志看起来不是很清晰,想生成类似报表的格式来查看每个表耗费了多长时间,就一目了然了。
期望的结果类似下面的样子。
#########################################################################
Table_name Elapsed time
#########################################################################
APP_TMP.TESTRESS_DATA... Elapsed: 00:00:01.13
APP_TMP.TESTRESS_NAME_LINK... Elapsed: 00:00:00.64
APP_TMP.TESTEEMENT... Elapsed: 00:00:00.49
APP_TMP.TESTEEMENT_RESOURCE... Elapsed: 00:00:00.74
APP_TMP.TEST_RES_HISTORY... Elapsed: 00:00:00.82
APP_TMP.TEST_ACCOUNT... Elapsed: 00:00:01.03
APP_TMP.TEST_ADDRESS_NAME... Elapsed: 00:00:00.78
APP_TMP.TEST_AGED_TRIAL_BALANCE... Elapsed: 00:00:01.16
APP_TMP.TEST_BILLING_ARRANGEMENT... Elapsed: 00:00:00.61
APP_TMP.TEST_CHARGE_GROUP... Elapsed: 00:00:01.66
APP_TMP.TEST_CHARGES... Elapsed: 00:00:06.73
APP_TMP.TEST_CREDIT_DEBIT_LINK... Elapsed: 00:00:01.67
APP_TMP.TEST_CUSTOMER_CREDIT... Elapsed: 00:00:00.40
APP_TMP.TEST_DEPOSIT_REQUEST... Elapsed: 00:00:00.10
APP_TMP.TEST_DIRECT_DEBIT_REQUEST... Elapsed: 00:00:00.67
APP_TMP.TEST_INVOICE... Elapsed: 00:00:01.98
APP_TMP.TEST_PAY_CHANNEL... Elapsed: 00:00:00.53
APP_TMP.TEST_PAYMENT... Elapsed: 00:00:01.28
APP_TMP.TEST_PAYMENT_ACTIVITY... Elapsed: 00:00:00.19
首先是根据关键字找到对应的行,下一行就是耗费的时间。想通过命令简单的实现。最后grep帮了大忙。
grep -A1 --color=auto "Get Dump file for " extract.log
输出类似下面的样子。
--
Get Dump file for APP_TMP.TESTTOMER...
Elapsed: 00:00:00.91
--
Get Dump file for APP_TMP.TESTNT_DISTRIBUTE...
Elapsed: 00:00:00.84
--
Get Dump file for APP_TMP.TEST_MEMO...
Elapsed: 00:00:22.27
--
Get Dump file for APP_TMP.TESTE_DATA...
Elapsed: 00:00:01.55
--
达到了初步效果。就需要把冗余的信息去除“Get Dump file for ",然后能让对应的执行时间横向显示。
可以使用sed来做。
sed 's/Get Dump file for //' |sed 'N;N;s/n/ /g'
APP_TMP.TESTRESS_DATA... Elapsed: 00:00:01.13 --
APP_TMP.TESTRESS_NAME_LINK... Elapsed: 00:00:00.64 --
APP_TMP.TESTEEMENT... Elapsed: 00:00:00.49 --
APP_TMP.TESTEEMENT_RESOURCE... Elapsed: 00:00:00.74 --
效果基本达到了,但是显示比较粗糙,不规整,这个时候awk能帮上大忙了。
使用如下的脚本来格式化输出
awk '
BEGIN{
print "#########################################################################"
printf "%-50s %8s %11s n", "Table_name","Elapsed","time"
print "#########################################################################"
}
{printf "%-50s %8s %11s n", $1,$2,$3,$4
}'
这样环环相扣,就可以输出基本完整的报告了。完整命令如下:
grep -A1 --color=auto "Get Dump file for " extract.log |sed 's/Get Dump file for //' |sed 'N;N;s/n/ /g' |awk '
BEGIN{
print "#########################################################################"
printf "%-50s %8s %11s n", "Table_name","Elapsed","time"
print "#########################################################################"
}
{printf "%-50s %8s %11s n", $1,$2,$3,$4
}'
输出:
#########################################################################
Table_name Elapsed time
#########################################################################
APP_TMP.TESTRESS_DATA... Elapsed: 00:00:01.13
APP_TMP.TESTRESS_NAME_LINK... Elapsed: 00:00:00.64
APP_TMP.TESTEEMENT... Elapsed: 00:00:00.49
- 【聊】我个人眼里的ReactJs生态系统
- [WCF REST] Web消息主体风格(Message Body Style)
- apache配置https服务
- [WCF 4.0新特性] 默认绑定和行为配置
- mysql数据库及django用户名启用中文的方法
- 【学习笔记】先行者课程0109-rotate3d_变量、堆、栈
- 通过WCF扩展实现消息压缩
- Linux系统中的信号量机制
- 基于Linux与lpc3250开发板的交叉开发环境搭建
- WCF中关于可靠会话的BUG!!
- [WCF安全系列]谈谈WCF的客户端认证[Windows认证]
- ls命令实现分析
- [WCF安全系列]谈谈WCF的客户端认证[X.509证书认证]
- Openstack Trove概要
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Flutter基础widgets教程-CupertinoTabView篇
- 关于time的使用
- class priority_queue<> 简单介绍
- C++ share_prt 简单设计和实现
- 使用函数对象与使用函数的比较
- C++ 函数指针的定义方法及使用
- C++ 线程池的简易实现
- Flutter基础widgets教程-DataTable篇
- 2015-C++研发附加题第一题
- win7 64位 下,进程可申请的堆空间
- 生成N位格雷码
- sort 升序还是降序?priority_queue 大根堆还是小根堆?
- 将2N个整数分成两组,每组有N个数,并且满足,这两组的差的绝对值最小。
- C++11正则表达式 ECMAScript文法
- Flutter基础widgets教程-Divider篇