我目前是把canel放到kafka集群节点,目前同步量级比较小,后期量上来了,感觉会扛不住
kafka至少三节点的集群,硬盘要速度快,容量大,kafka里java相关的参数肯定要调整。 另外最好考虑增量模式,全量模式可能会浪费磁盘空间。
你担心扛不住是担心canel还是kafka?
理论上canel解析binlog,变化多少传多少,就和从库一样。如果这个也有压力,那么主从也是问题。
如果担心kafka不行。kafka最佳实践就是ssd硬盘多节点,往上加。
还有就事要问多个MySQL到kafka就结束了?
ogg可以直接从mysql到kafka,甚至直接到你后面最终的终点。
主要是担心kafka