GoldenGate数据迁移的问题总结(一)(r10笔记第84天)
今天对GoldenGate的数据同步进一步做了测试,发现在一些模拟真实的场景中,需要考虑的因素要更多更为复杂。简单同步几条,几百条数据的测试同步做验证测试可以,但是很难测试出来一些潜在的问题,今天碰到了一些问题,基本都得到了解决。
首先要测试的这个环境数据要多一些。导出了一个测试环境的数据进行OGG的复制演练。
test@TESTDB> select table_type from cat group by table_type
TABLE_TYPE
-----------
TABLE
VIEW
SYNONYM
SEQUENCE
test@TESTDB> select count(*)from cat;
COUNT(*)
----------
259
我觉得数据迁移里面增量数据的迁移实在是太复杂了,一旦某个地方出错,回滚的余地都会很小。这个用户下有不少的表,所以测试起来就会更加谨慎小心。为了不影响其它用户,我先做了源端和目标端的配置。源端基于Solaris,10gR2,目标端基于Linux 64,11gR2
配置抽取进程
dblogin userid ogg_source,password oracle
add trandata test.*
edit params ext_test
EXTRACT ext_test
USERID ogg_source, PASSWORD oracle
EXTTRAIL /export/home/oracle/ogg/ogg_10g/dirdat/tl
TABLE test.*;
ADD EXTRACT ext_test, TRANLOG, BEGIN NOW
ADD EXTTRAIL /export/home/oracle/ogg/ogg_10g/dirdat/tl, EXTRACT ext_test
start ext_test
info ext_test
配置投递进程
edit params dp_test
EXTRACT dp_test
PASSTHRU
RMTHOST 10.127.133.125, MGRPORT 1530
RMTTRAIL /export/home/oracle/ogg/ogg_10g/dirdat/tl
TABLE test.*;
ADD EXTRACT dp_test,EXTTRAILSOURCE /export/home/oracle/ogg/ogg_10g/dirdat/tl
ADD RMTTRAIL /export/home/oracle/ogg/ogg_10g/dirdat/tl, EXTRACT dp_test
start dp_test
info dp_tes配置应用进程
dblogin userid ogg_target,password oracle
edit params rep_test
REPLICAT REP_test
USERID ogg_target, PASSWORD oracle
ASSUMETARGETDEFS
HANDLECOLLISIONS
MAP test.*,TARGET test.*;
ADD REPLICAT rep_test, EXTTRAIL /export/home/oracle/ogg/ogg_10g/dirdat/tl,CHECKPOINTTABLE ogg_target.CHKPTAB
start rep_test为了简单测试一下数据量大的情况下的同步情况,我选取了下面的几个表数据,摘自impdp的日志
. . imported "test"."SWD_DRAWCN" 839.7 MB 11174310 rows
. . imported "test"."SWD_QDRAWCHECK" 187.7 MB 9052277 rows
. . imported "test"."TL_SERVER_LOG" 13.92 MB 61341 rows
. . imported "test"."SWD_DRAWCARD" 8.129 MB 185044 rows
首先测试了delete的情况,看看源端,目标端的同步速率,整个过程持续了近40分钟,其中大部分的时间都在源端,可见硬件老化还是很严重的,在目标端同样的操作就快了不是一点半点。
问题1:抽取进程失败
然后再次使用impdp在源端导入数据,这个过程源端的抽取进程很可能会失败,原因之一就是因为impdp需要创建一个临时表,而我们在配置里指定测试用户下的表都要映射 。
2016-11-16 16:21:04 ERROR OGG-00901 Failed to lookup object ID for table test.SYS_IMPORT_TABLE_01
.这个过程很容易,在Impdp完成后重启抽取进程即可。
问题2:支持TRUNCATE
我对测试环境中的对象进行了检查,发现有一个地方很可能出现问题,因为在线上库中存在一个JOB,会先清空一个中继表数据,然后补入一部分数据,清空的操作是truncate,所以数据同步还是需要支持truncate操作,对于其它的DDL暂时先不动。
要实现识别truncate的操作,OGG已经做好了,需要在抽取进程和应用进程的参数配置,加入一个参数GETTRUNCATES即可。这样就可以轻松同步数据了,使用truncate都可以自动同步,摆平了一个潜在的隐患。
问题3:投递进程失败
下午在大批量数据的测试场景中,发现投递进程竟然自动停了。
2016-11-16 17:22:36 ERROR OGG-01668 Oracle GoldenGate Capture for Oracle, dp_test.prm: PROCESS ABENDING.
2016-11-16 17:22:53 INFO OGG-01026 Oracle GoldenGate Capture for Oracle, ext_test.prm: Rolling over remote file /export/home/o
racle/ogg/ogg_10g/dirdat/tl000059.--登录到目标端,发现数据库直接hang住了。
[oracle@newtest ~]$ sqlplus n1/n1
^C ERROR:
ORA-02002: error while writing to audit trail
ORA-00604: error occurred at recursive SQL level 1
ORA-01013: user requested cancel of current operation
而问题的原因就是归档空间满了。简单清理后继续测试。
问题4:trail文件的清理
而后续继续测试,发现另外一个问题摆上了日程,那就是对trail文件的清理,其中一个方式就是在mgr中配置参数,设定一个范围来删除。
edit param mgr
PURGEOLDEXTRACTS /export/home/oracle/ogg/ogg_10g/dirdat/tl*, USECHECKPOINTS, MINKEEPDAYS 2
问题5:无法停止replicat进程
如果在数据同步的过程中,停止replicat进程失败,会直接影响数据同步的情况
GGSCI (newtest.oracle.com) 10> stop rep_test
Sending STOP request to REPLICAT REP_test ...
STOP request pending end-of-transaction (6158834 records so far)..
可以使用kill的方式终止
GGSCI (newtest.oracle.com) 9> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER STOPPED
REPLICAT STOPPED REP_1 00:00:00 00:00:34
REPLICAT RUNNING REP_test 00:31:32 01:01:07
GGSCI (newtest.oracle.com) 14> start mgr
Manager started.
GGSCI (newtest.oracle.com) 17> kill replicat rep_test
Sending KILL request to MANAGER ...
Killed process (84166) for REPLICAT REP_test
小技巧:
在数据复制的过程中,如果想查看源端目标端的同步情况,使用info得到的信息是很笼统的,我们可以使用send的方式得到一个状态信息,这个数据是相对准确的。
GGSCI (newtest.oracle.com) 2> send rep_test, status
Sending STATUS request to REPLICAT REP_test ...
Current status: At EOF
Sequence #: 48
RBA: 99999876
6158834 records in current transaction
PENDING
STOP request pending end-of-transaction (6158834 records so far)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Redis - NoSQL 和 Jedis 入门
- cargo manifest规则使用介绍
- 小程序bindinput和bindblur赋值延迟问题解决
- 小程序监听屏幕滑动事件
- 使用GithubActions发布Vue网站到GithubPage
- 3.QOpenGLWidget-通过着色器来渲染渐变三角形
- 特斯拉大半夜「见鬼」!空无一人的路上,它却看见「幽灵」秒刹车
- .NET 异步详解
- 他被导师半夜敲门叫醒:你得诺贝尔奖了!还曾为5G频谱拍卖设计方案,担任谷歌IPO咨询顾问
- C#实现——十大排序算法之选择排序
- CSS高级技巧 CSS用户界面样式
- 从零开始针对 .NET 应用的 DevOps 运营实践 - 运行环境搭建
- Sentinel断路器与熔断降级【源码笔记】
- 数据分析、数据挖掘基础:描述统计学基础知识分享!
- 前端开发必会的HTML/CSS硬知识