海量数据迁移之分区并行抽取(r2笔记53天)
在之前的章节中分享过一些数据迁移中并行抽取的细节，比如一个表T 很大，有500G的数据，如果开启并行抽取，默认数据库中并行的最大值为64，那么生成的dump文件最50多为64个，每个dump文件就是7.8G，还是不小，况且在做数据抽取的时候，资源被极大的消耗，如果资源消耗紧张，可能可用的并行资源还不到64个。那么dump文件可能比7G还要大得多。 如果换一步来说，我们尝试调高并行的参数，可以支持100个并行，那么每个dump文件也有5G，也没有太大的改善。 所以自己在斟酌后考虑使用分区加并行的思想来做大表的切分。 生产中500G的大表肯定是做了分区操作，而且分区数可能还比较多。我们就设定为100个吧。 分区表的数据基本都是分散在各个分区的，考虑数据的不均匀分布，那么每个分区的数据可能在5~10G吧。 参照这个思想，假设开启并行，比如200M为一个基准点来切分分区表，比如分区表的某个分区含有5G的数据，那么需要开启25个并行即可，文件就会被切分为200M的很多细粒度的dump文件。按照10G来算，最多也是50个并行，比默认提供的并行参数还要低一些。 按照这个思想，对比较大的分区表才做分区+并行，如果是普通表就需要最大程度的应用并行，如果分区表比较小，那就可以不用使用分区+并行了。 目前我设定的基准为1G，比如一个分区表T，大小在1.5G,那么可以考虑开启分区+并行，如果分区表的大小为500M，那么就可以不用考虑使用分区+并行了，因为在每个分区中的数据可能相对比较少。 今天写了如下的脚本来做做分区抽取的判断脚本，如果分区表的大小在1G以上，才抽取分区信息，否则和普通表一样对待。
tablst=`cat ../parfile/tablst|awk '{print "'''" $1 "''',"}'`
#for segment within 50M, will use parallel 1, and parallel will calculated with segment_bytes_size_MB/50M
page=200
sqlplus -s $1 <<EOF
set feedback off
set head off
set line 100
set pages 0
set long 10000
set termout off
col segment_name for a40
col parallel format 9999
spool tab_parall_temp.lst
select segment_name,nvl(partition_name,'x'),ceil(sum(bytes/1024/1024)/$page) parallel from user_segments
where segment_name in
(
select segment_name from user_segments
where segment_name in (select table_name from user_tables where table_name in ($tablst'x') and table_name not in (select table_name from user_external_tables))
group by segment_name having sum(bytes/1024/1024)>=1000
)group by segment_name,nvl(partition_name,'x')
union
select segment_name,'x',ceil(sum(bytes/1024/1024)/$page) parallel from user_segments
where segment_name in
(
select segment_name from user_segments
where segment_name in (select table_name from user_tables where table_name in ($tablst'x') and table_name not in (select table_name from user_external_tables))
group by segment_name having sum(bytes/1024/1024)<1000
) group by segment_name,'x' ;
spool off;
EOF
sed '/^$/d' tab_parall_temp.lst |sort > ../parfile/tab_partition_parall.lst
rm tab_parall_temp.lst
生成的参数文件内容如下，对于普通表和较小的分区表而言，就默认补充了一个字符‘x'， 便于稍后的处理时统一管理
MEMO P9_A3000_E1 1
MEMO P9_A3000_E2 1
MEMO P9_A3000_E3 1
MEMO P9_A3000_E4 1
MEMO P9_A3000_E5 1
MEMO PMAXVALUE_AMAXVALUE_EMAXVALUE 1
SERVICE x 36
SUBSCRIBER_HISTORY x 11
SUBSCRIBER x 5
对于大表的分区+并行抽取，可以考虑如下的脚本。
#### source owner $1
#### tab_name $2
#### target owner $3
#### dump directory $4
#### partition_name $5
function check_conn {
Num=`echo show user | $ORACLE_HOME/bin/sqlplus -s $1| grep -i 'USER ' | wc -l`
if [ $Num -gt 0 ]
then
echo DB details is accessible from $2 schema ...
else
## inst is inaccessible
echo Instance: DB detailsIs Invalid Or UserName/PassWord Is Wrong
echo '***********************************************'
exit
fi
}
check_conn $1 source
echo .
check_conn $3 target
echo .
source_owner=`echo "$1" |awk -F@ '{print $1}'|awk -F/ '{print $1}'|tr '[a-z]' '[A-Z]'`
target_owner=`echo "$3" |awk -F@ '{print $1}'|awk -F/ '{print $1}'|tr '[a-z]' '[A-Z]'`
tab_name=`echo "$2"|tr '[a-z]' '[A-Z]'`
partition_name=$5
tablst=`cat ../parfile/tablst|awk '{print "'''" $1 "''',"}'`
tmp_parallel=`grep -w $tab_name ../parfile/tab_partition_parall.lst|grep $partition_name| awk '{print $3}'`
echo $tmp_parall
tmp_dump_cnt=`ls -l ../DUMP/${tab_name}*.dmp|wc -l`
tmp_dump_cnt=`expr $tmp_dump_cnt + 1 `
echo $tmp_dump_cnt
tmp_parallel=`expr $tmp_parallel + $tmp_dump_cnt `
for i in {${tmp_dump_cnt}..${tmp_parallel}};
do
echo '${tab_name}_$i.dmp', >> tmp_${tab_name}_par_dmp.lst
done
sed -e '/^$/d' -e '$s/.$//' tmp_${tab_name}_par_dmp.lst > ../DUMP_LIST/${tab_name}_par_dmp.lst
dump_list=`cat ../DUMP_LIST/${tab_name}_par_dmp.lst`
#echo $dump_list
#echo $tmp_parallel
if [[ $partition_name = 'x' ]]
then
partition_name=''
else
partition_name='partition('$partition_name')'
fi
sqlplus -s $3 <<EOF
set feedback off
set serveroutput on
DECLARE
datapump_flag number(2);
begin
select count(*) into datapump_flag from user_tab_privs where table_name=upper('$4') and grantee=upper('$target_owner') and privilege in ('READ','WRITE');
if(datapump_flag=2) then
dbms_output.put_line( 'Directory '||'$4'||' has read,write permission ,proceed...');
else
dbms_output.put_line( 'WARNING! Directory '||'$4'||' does not have read,write permission to $target_owner ,Please check again...');
return;
end if;
end;
/
EOF
echo .
sqlplus -s $1 <<EOF
set feedback off
set serveroutput on
DECLARE
TABLE_FLAG number(2);
begin
select count(*)into table_flag from all_synonyms where owner=upper('$source_owner') and table_name=upper('$2') ;
if(table_flag>0) then
dbms_output.put_line( 'SYNONYM '||'$tab_name'||' exists in CONNECT account,proceed...');
else
dbms_output.put_line( 'SYNONYM does not exists in CONNECT account,please check again');
return;
end if;
end;
/
!echo .
DECLARE
TABLE_FLAG number(2);
begin
execute immediate 'select count(*) from all_external_tables where owner=upper(''$target_owner'') and table_name=upper(''$2'')' into table_flag;
if(table_flag>0) then
dbms_output.put_line( 'External table exists in mig account,proceed...');
--execute immediate 'drop table $3.$2_ext';
end if;
end;
/
exec dbms_output.put_line('Get Dump file for $source_owner.$2 $partition_name...');
conn $3
set timing on
create table $target_owner.${tab_name}_ext
ORGANIZATION EXTERNAL
(TYPE ORACLE_DATAPUMP
DEFAULT DIRECTORY $4
ACCESS PARAMETERS( nologfile)
LOCATION (
$dump_list
)
)
parallel $tmp_parallel
as
select /*+ parallel(t $tmp_parallel) */ * from $source_owner.$tab_name $partition_name t;
set feedback off;
set timing off
drop table $target_owner.$2_ext;
EOF
echo .
rm tmp_${tab_name}_par_dmp.lst
exit
脚本生成的日志如下：
Get Dump file for APP_TMP.MEMO partition(P5_A2000_E2)...
Elapsed: 00:00:00.52
DB details is accessible from source schema ...
DB details is accessible from target schema ...
447
Directory new_test has read,write permission ,proceed...
SYNONYM MEMO exists in CONNECT account,proceed...
Get Dump file for APP_TMP.MEMO partition(P5_A2000_E3)...
Elapsed: 00:00:00.73
DB details is accessible from source schema ...
DB details is accessible from target schema ...
449
Directory new_test has read,write permission ,proceed...
SYNONYM MEMO exists in CONNECT account,proceed...
Get Dump file for APP_TMP.MEMO partition(P5_A2000_E4)...
生成的dump文件如下所示，可以看到生成了几百个相关的dump文件。
-rw-r----- 1 prodbuser dba 15826944 Aug 3 18:13 MEMO_460.dmp
-rw-r----- 1 prodbuser dba 13254656 Aug 3 18:13 MEMO_461.dmp
-rw-r----- 1 prodbuser dba 15044608 Aug 3 18:13 MEMO_462.dmp
-rw-r----- 1 prodbuser dba 15015936 Aug 3 18:13 MEMO_463.dmp
-rw-r----- 1 prodbuser dba 13135872 Aug 3 18:13 MEMO_464.dmp
-rw-r----- 1 prodbuser dba 13266944 Aug 3 18:13 MEMO_465.dmp
-rw-r----- 1 prodbuser dba 15003648 Aug 3 18:13 MEMO_466.dmp
-rw-r----- 1 prodbuser dba 20480 Aug 3 18:13 MEMO_467.dmp
-rw-r----- 1 prodbuser dba 20480 Aug 3 18:13 MEMO_468.dmp
-rw-r----- 1 prodbuser dba 20480 Aug 3 18:13 MEMO_469.dmp
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- PHP7 echo和print语句实例用法
- python上selenium的弹框操作实现
- php分享朋友圈的实现代码
- Laravel框架Request、Response及Session操作示例
- 利用scikitlearn画ROC曲线实例
- 小程序微信退款功能实现方法详解【基于thinkPHP】
- PHP回调函数简单用法示例
- PHP explode()函数用法讲解
- 详解提高使用Java反射的效率方法
- PHP fopen函数用法实例讲解
- python正则表达式的懒惰匹配和贪婪匹配说明
- PyQt5-QDateEdit的简单使用操作
- thinkphp5实现无限级分类
- Python numpy矩阵处理运算工具用法汇总
- Django后端分离 使用element-ui文件上传方式