暂无图片
MySQL同步到clickhouse,有方案的相关资料吗?
我来答
分享
暂无图片 匿名用户
MySQL同步到clickhouse,有方案的相关资料吗?

MySQL同步到clickhouse,有方案的相关资料吗?

我来答
添加附件
收藏
分享
问题补充
3条回答
默认
最新
watson

《ClickHouse单机部署以及从MySQL增量同步数据》https://www.modb.pro/db/24940

可以参考下。

暂无图片 评论
暂无图片 有用 2
yBmZlQzJ
暂无图片 评论
暂无图片 有用 2
刚阿德

clickhouse官方文档提到的两个,也就是2楼  yBmZIQzJ提到的,都不好用:

1、MySQL引擎:https://clickhouse.com/docs/zh/engines/database-engines/mysql

2、MaterializedMySQL引擎:https://clickhouse.com/docs/zh/engines/database-engines/materialized-mysql

开源工具,类dts工具,cloudcanal,有saas和社区版:

https://www.clougence.com/cloudcanal

这个工具业务和我们运维都在用。业务侧,主要是1)同步部分表到es,缓解线上mysql库读压力;2)同步部分表到ck,ck接入到grafana,利用alert功能,告警推送到企业微信。运维侧,主要是实时同步告警历史表和其它存在mysql的数据,展示成报表


上面主要是实时同步。离线数据的话,比如mysql库表空间统计信息、索引统计信息等,我们是通过python+crontab,每天定时拉取mysql information_schema数据到ck。


希望对你有所启发

暂无图片 评论
暂无图片 有用 0
回答交流
提交
问题信息
请登录之后查看
邀请回答
暂无人订阅该标签,敬请期待~~
暂无图片墨值悬赏