暂无图片
ogg 抽取数据延时大
我来答
分享
respark
2022-07-13
ogg 抽取数据延时大
暂无图片 50M

数据库impdp导入了一批新数据,产生了3T归档,OGG的抽取进程延时有40小时,trace显示一直在读redo

General statistics:
0.00% Checking messages (includes checkpointing)
0.00% Checking periodic tasks
0.00% Waiting for more data
0.00% Converting ASCII data to internal
0.00% Reading input records
0.00% Writing output records (replicate_io)
0.00% Mapping columns
0.00% Outputting data records
0.00% Performing SQL statements
0.00% Executing BATCHSQL statements
0.00% Executing SQL statements
0.00% Preparing SQL statements
0.00% Commit operations
0.00% Rollback operations
0.00% Checkpointing

Redo log statistics:
0.06% Opening redo log file
0.00% Positioning into redo log file
95.94% Reading record from redo log file
0.69% Extracting subrecord from redo record
0.00% Retrieving and processing transaction items 

我来答
添加附件
收藏
分享
问题补充
10条回答
默认
最新
respark

微信图片_20220713154805.jpg

暂无图片 评论
暂无图片 有用 0
暂无图片
respark
上传附件:trace.zip
暂无图片 评论
暂无图片 有用 0
respark
升级问题到: 紧急故障
暂无图片 评论
暂无图片 有用 0
respark
题主
2022-07-13
CPU,内存,磁盘IO都检查过了不高
Root__Liu

归档满了吧

暂无图片 评论
暂无图片 有用 0
Root__Liu

1、检查下归档空间,是不是归档满了。

2、select * from v$log;

      select * from v$Logfile;

看看是不是redo logfile大小不足,current或者active的多。

3、检查堵塞链,看看有没有异常等待事件。

暂无图片 评论
暂无图片 有用 0
respark
题主
2022-07-14
数据库正常,没有负载,归档空间也没满

从你发的日志看确实一直在读重做日志,不知道你当时具体是怎么操作的?一个impdp会产生3T归档,/惊;然后你impdp进去的表也是在ogg抽取的队列内么?

暂无图片 评论
暂无图片 有用 0
respark
题主
2022-07-14
重置数据,大部分表都在队列内,这种读日志的过程有没有办法优化的?磁盘的IO并不高,能不能让ogg读得更快点
答主
2022-07-14
那你操作上应该这样:先停了ogg,再impdp,导入完成再去开ogg,而且还需要根据情况设置抽取时间点;这样重置源端数据还有要考虑对目标端的影响哦
薛晓刚

任何CDC的工具,包括OGG对于大事务,尤其您这样3T的都是处理不好,甚至无法处理的。

暂无图片 评论
暂无图片 有用 0
respark
题主
2022-07-14
现在是一直在处理,也没有报错,感觉处理得太慢,机器负载又不高,想有没有办法调优
刘贵宾

view params extract   截图看一下进程参数配置

暂无图片 评论
暂无图片 有用 0
respark


暂无图片 评论
暂无图片 有用 0
杨卓

你这个是由于经典模式OGG抽取是读取所有redo,然后filter过滤日志。 大量的数据导入,短时间内产生大量的redo导致OGG进程延迟。 正常,如果你想解决这个:
1.合并OGG进程,减少抽取进程,减少IO;
2.模式换成集成模式抽取进程;
3.减少数据泵导入产生的redo,但这个是个伪命题
transform=disable_archive_logging:y”运行 DataPump 导入作业时仍会生成存档日志
12c数据泵导入可以减少redo的产生,但是OGG服务器db一般是建议force logging那么这个参数也无效!

暂无图片 评论
暂无图片 有用 0
回答交流
提交
问题信息
请登录之后查看
附件列表
请登录之后查看
邀请回答
暂无人订阅该标签,敬请期待~~
暂无图片墨值悬赏