

CloudCanal是一款数据迁移同步工具,帮助企业快速构建高质量数据流通通道,产品包含 SaaS 模式和私有输出专享模式。
核心能力包括:数据迁移、数据同步、结构迁移、数据校验等。


0. ENV
CentOS 7.6;
CloudCanal 2.1.0.22。


1. 机器准备
操作系统: Ubuntu/CentOS/MacOS
硬件架构: x86 或 arm64(可跑,但会比较慢),不支持 vmware、virtualbox 和 windows 的 linux 子系统
CPU: 4核
内存: 8GB(推荐更大容量内存)


2. 环境准备
CloudCanal 是一个分布式系统,故会占用一些端口,部署前请确保未被其他应用占用8111、9090、55000、25000、55005、7007。
控制台请使用Chrome浏览器访问,其他浏览器可能出现体验不畅等问题。


3. docker 准备
3.1 docker安装
如您的机器没有安装 docker ,请先安装(版本 17 以上,请勿使用过低版本的 docker )。
参考文档: https://docs.docker.com/engine/install/
1) 安装依赖包
yum-util 提供yum-config-manager功能,另外两个是devicemapper驱动依赖的
$ sudo yum install -y yum-utils device-mapper-persistent-data lvm2
2) 卸载旧版本(如果安装过旧版本的话)
旧版本名称docker or docker-engine,卸载$ sudo yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine
3) 安装方式-yum方式
3种安装方式yum源、RPM、脚本,本次使用yum方式。
设置yum源,使用官方yum源-因网速问题不推荐
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
建议使用国内源
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
4) 安装最新docker引擎
sudo yum install -y docker-ce docker-ce-cli containerd.io
5) docker版本查看
[root@oms ~]# docker --versionDocker version 20.10.12, build e91ed57
6) 服务设置
启动docker服务
[root@oms cloudcanal]# systemctl start docker
设置开机启动
[root@oms cloudcanal]# systemctl enable docker
3.2 docker-compose安装
如您的机器没有安装 docker-compose 环境,请先安装。
官方文档指导安装: https://docs.docker.com/compose/install/#alternative-install-options
国内镜像站安装
[root@oms ~]# curl -L https://get.daocloud.io/docker/compose/releases/download/1.28.5/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose% Total % Received % Xferd Average Speed Time Time Time CurrentDload Upload Total Spent Left Speed100 423 100 423 0 0 125 0 0:00:03 0:00:03 --:--:-- 125100 11.6M 100 11.6M 0 0 2843k 0 0:00:04 0:00:04 --:--:-- 14.3M[root@oms ~]# chmod +x /usr/local/bin/docker-compose[root@oms ~]# ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose


4. 下载CloudCanal安装包
阿里云 OSS 下载最新版本
https://cloudcanal-community.oss-cn-hangzhou.aliyuncs.com/latest/cloudcanal.7z
12月20日之后的包里面我们增加了md5值校验文件,下载之后可以校验一下
md5
https://cloudcanal-community.oss-cn-hangzhou.aliyuncs.com/latest/md5sum.txt


5. 解压安装包
安装包为 cloudcanal.7z,包含了镜像和管理脚本
1) 安装 7z 解压工具(如果已经安装,此步略过)
安装7z命令(centos系)
[root@oms ~]# yum install p7zip p7zip-plugins
2) 解压到/opt/cloudcanal目录
[root@oms ~]# 7z x cloudcanal.7z -o/opt/cloudcanal7-Zip [64] 16.02 : Copyright (c) 1999-2016 Igor Pavlov : 2016-05-21p7zip Version 16.02 (locale=en_US.UTF-8,Utf16=on,HugeFiles=on,64 bits,12 CPUs Intel(R) Xeon(R) Gold 6242R CPU @ 3.10GHz (50657),ASM,AES-NI)Scanning the drive for archives:1 file, 1323298686 bytes (1262 MiB)Extracting archive: cloudcanal.7z--Path = cloudcanal.7zType = 7zPhysical Size = 1323298686Headers Size = 567Method = LZMA2:24Solid = +Blocks = 2Everything is OkFolders: 1Files: 20Size: 2878641419Compressed: 1323298686
3) 解压文件说明
解压目录如下,其中包括:
镜像:包含四个 tar 压缩文件
脚本:启动、更新和停止,以及 scripts 运维脚本目录
日志与配置文件:日志为 docker-compose 启动日志,配置文件为docker-compose配置文件
[root@oms ~]# ls -lrt /opt/cloudcanal/total 2811212-rw-r--r--. 1 root root 376 Feb 11 03:20 使用必读.txt-rwxr-xr-x. 1 root root 2002 Feb 11 03:20 upgrade.sh-rwxr-xr-x. 1 root root 2682 Feb 11 03:20 startup.sh-rwxr-xr-x. 1 root root 1248 Feb 11 03:20 startNewSidecar.sh-rwxr-xr-x. 1 root root 63 Feb 11 03:20 shutdown.shdrwxr-xr-x. 2 root root 4096 Feb 11 03:20 scripts-rw-r--r--. 1 root root 6708 Feb 11 03:20 ddl_history.sql-rw-r--r--. 1 root root 1608 Feb 11 03:20 docker-compose.yml-rw-r--r--. 1 root root 540 Feb 11 03:20 docker-compose-sidecar.yml-rw-------. 1 root root 453781504 Feb 11 03:20 mysql.tar-rw-------. 1 root root 911380480 Feb 11 03:21 console.tar-rw-------. 1 root root 1308463104 Feb 11 03:21 sidecar.tar-rw-------. 1 root root 205000192 Feb 11 03:21 prometheus.tar


6. 启动CloudCanal
1) 启动CloudCanal
执行启动命令: sh startup.sh
[root@oms cloudcanal]# sh startup.shNo clougence_mysql_volume is in use, we will create clougence_mysql_volume...clougence_mysql_volume...Creating cloudcanal-mysql ... doneCreating cloudcanal-console ... doneCreating cloudcanal-sidecar ...Creating cloudcanal-prometheus ... doneCreating cloudcanal-sidecar ... done...Waiting for console to start...Waiting for console to start...Waiting for console to start...Waiting for console to start...Waiting for console to start...Waiting for console to start...cloudcanal-console start!!!cloudcanal-sidecar start!!!cloudcanal start!!!And console_data and sidecar_data are two symbolic links for console and sidecar volumes.Now please visit http://{您部署机器的ip}:8111 in explorer. #出现这行表示执行成功。
2) 启动报错-Is the docker daemon running处理
启动报错:
[root@oms cloudcanal]# sh startup.shCannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running
解决方法:
需要启动docker服务
# systemctl start docker


7. 确认启动成功
启动过程将耗时1分钟左右,访问控制台 http://{您部署机器的ip}:8111
正确登录并开始操作
http://192.168.80.121:8111


8. 使用教程(必读)
1) 登录及默认数据源
为了方便您一开始快速体验 CloudCanal ,我们已自动帮您做好了一些初始化的工作
请务必使用提供的默认账号登入,方便您快速体验
如遇需要发送短信的场景,先点击获取验证码,然后输入短信验证码 777777 即可
试用用户:test@clougence.com
试用密码:clougence2021
默认已添加测试 MySQL,并已准备好表和数据
cloudcanal_test_a(源端)
cloudcanal_test_b(目标端)
默认已添加一台运行机器,用于执行具体的数据同步任务
2) 我怎么访问 CloudCanal 元数据库?
在 docker 宿主机上执行执行命令
mysql -uclougence -h127.0.0.1 -P25000 -p123456 登录
CloudCanal元数据库名称为 cloudcana_console


9. 官方参考
https://doc-cloudcanal.clougence.com/quick/quick_start
旨在交流,不足之处,还望抛砖。
作者:王坤,微信公众号:rundba,欢迎转载,转载请注明出处。
如需公众号转发,请联系wx: landnow。





