暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

多个canal-server集群共用一套zookeeper解决方案

一粒菜鸟 2020-02-21
1240

前言


    canal提供了使用zk搭建集群版的server的方式,进一步保证了canal的高可用性,但是我们有时会遇到需要多个集群的情况,在使用中发现,一个集群就需要搭建一套zk,这就大大增加了我们使用的成本,下面就给大家介绍一下如何使用一套zk,创建多个canal-server集群

集群配置



首先需要在canal-adamin界面创建集群,编辑集群名称和zk地址。


zk名称:serve-1
地址: 192.168.0.19:2181


admin界面配置集群,导入基本配置,修改以下内容


canal.zkServers = 192.168.0.19:2181
canal.instance.global.spring.xml = classpath:spring/default-instance.xml
# 其他内容根据需要自行调整


修改server启动配置canal.properties,并启动server(k8s下启动查看之前文章,修改config.sh文件)


# register ip
canal.register.ip = ${HOSTNAME}.canal-server-discovery-svc-stable.testcanal.svc.cluster.local

# canal admin config
canal.admin.manager = canal-admin-stable:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441
# admin auto register 
canal.admin.register.auto = true
# 注意这里要填写的是admin下创建的集群名称
canal.admin.register.cluster = serve-1


至此集群版canal-server就搭建完成,可以在zk的根目录下查看到canal的相关信息,那我们如何在zk上部署多套server集群呢?

zk部署多套server集群




使用命令或插件在zk根目录下新建znode:test-canal


create test-canal "test-canal"


canal-admin界面新建集群


zk名称:serve-2
地址: 192.168.0.19:2181/test-canal


admin界面配置集群,导入基本配置,修改以下内容


canal.zkServers = 192.168.0.19:2181/test-canal
canal.instance.global.spring.xml = classpath:spring/default-instance.xml
# 其他内容根据需要自行调整


修改server启动配置canal.properties,并启动server


注意必须先在zk内创建znode之后再创建相关配置,否则server在启动时连接zk会报错,当然也可以通过修改代码,让server在启动时自动创建znode,本文不再做描述,为大家提供相关代码位置


com.alibaba.otter.canal.deployer.CanalController.java


final String zkServers = getProperty(properties, CanalConstants.CANAL_ZKSERVERS);
        if (StringUtils.isNotEmpty(zkServers)) {
            zkclientx = ZkClientx.getZkClient(zkServers);
            // 初始化系统目录
            zkclientx.createPersistent(ZookeeperPathUtils.DESTINATION_ROOT_NODE, true);
            zkclientx.createPersistent(ZookeeperPathUtils.CANAL_CLUSTER_ROOT_NODE, true);
        }


以上便是在同一套zk下创建多个canal-server集群的方式,希望对你有所帮助!


 往期推荐 

🔗

k8s集群下搭建数据同步工具-canal:canal-admin篇

k8s集群下搭建数据同步工具-canal:canal-server篇

k8s集群下搭建数据同步工具-canal:canal-adapter篇

k8s集群下canal-server的伪高可用

k8s集群下canal-adapter连接canal-server域名问题改造



一粒菜鸟


程序猿的非硬核技术文档和崩溃日常




文章转载自一粒菜鸟,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论