2023-02-09
kettle写mysql表数据量大时连接丢失
我的kettle从mysql库中查询数据,写入mysql库的总表中,当数据量是25000条时可以正常很快执行;当数据量是10万条时,查询转换时间大概是12分钟,完成后就开始写入mysql的总表,这个时候就会报错:disconnecting from database连接断开,error looking up row from data set…一条也写入不了,大概十几秒钟后就会增删改这些步骤都会变红,终止kettle。数据库的错误日志里只有一些警告并没有error
所有的办法都试过了就是找不到原因,该设置的参数也都设置了,关于timeout相关参数都是默认值。同一个kettle 转换其他的步骤数据量也不小都可以正常执行,只有这个总表,一条数据也没有。我从navicat连接mysql这个表也是可以正常批量写入的。为什么20000条可以,到十万条就断开了?
我来答
添加附件
收藏
分享
问题补充
2条回答
默认
最新
回答交流
提交
问题信息
请登录之后查看
邀请回答
暂无人订阅该标签,敬请期待~~
墨值悬赏


评论
