暂无图片
kettle写mysql表数据量大时连接丢失
我来答
分享
刘洁婷
2023-02-09
kettle写mysql表数据量大时连接丢失

我的kettle从mysql库中查询数据,写入mysql库的总表中,当数据量是25000条时可以正常很快执行;当数据量是10万条时,查询转换时间大概是12分钟,完成后就开始写入mysql的总表,这个时候就会报错:disconnecting from database连接断开,error looking up row from data set…一条也写入不了,大概十几秒钟后就会增删改这些步骤都会变红,终止kettle。数据库的错误日志里只有一些警告并没有error

所有的办法都试过了就是找不到原因,该设置的参数也都设置了,关于timeout相关参数都是默认值。同一个kettle 转换其他的步骤数据量也不小都可以正常执行,只有这个总表,一条数据也没有。我从navicat连接mysql这个表也是可以正常批量写入的。为什么20000条可以,到十万条就断开了?

我来答
添加附件
收藏
分享
问题补充
2条回答
默认
最新
严少安
暂无图片

是否可以尝试2w rows commit一次呢?

暂无图片 评论
暂无图片 有用 2
刘洁婷

设置提交数量是100条,每100条会提交一次,kettle的插入、更新步骤,设置的提交记录数量是100。

暂无图片 评论
暂无图片 有用 0
回答交流
提交
问题信息
请登录之后查看
邀请回答
暂无人订阅该标签,敬请期待~~
暂无图片墨值悬赏