MySQL数据同步之otter - 墨天轮文档

MySQL数据同步之otter

1527

5页

2次

2020-08-11

5墨值下载

MySQL 数据同步

一、otter 介绍

基于日志数据，用于 MySQL 或者 ORACLE 之间准实时同步数据。

目前用途：

mysql/oracle 互相同步

中间表/行记录同步

二、原理及架构图

otter 整体模块

manager (提供 web 页面进行同步管理)

arbitrate (分布式调度，可跨 IDC 机房)

node (同步过程 setl)

canal / eromanga (同步数据来源)

大集群化部署

1 个 manager 集群 + 多个 IDC 机房 node 组成

1. 基于 Canal，获取数据库增量日志数据。

2. 典型管理系统架构，manager(web 管理)+node(工作节点)

a. manager 运行时推送同步配置到 node 节点

b. node 节点将同步状态反馈到 manager 上

3. 基于 zookeeper，解决分布式状态调度的，允许多 node 节点之间协同工作.

4.目前支持 MySQL-->MySQL MySQL-->ORACLE 等异库之间同步

三、需要安装包

https://github.com/alibaba/otter/releases

manager.deployer-4.2.18.tar.gz

node.deployer-4.2.18.tar.gz

（安装时候可能需要安装下载工具，下载后编译安装

https://liquidtelecom.dl.sourceforge.net/project/aria2/stable/aria2-1.19.0/aria2-

1.19.0.tar.gz）

canal.deployer-1.1.4.tar.gz

四、安装简要步骤

manager

MySQL 数据同步

otter manager 依赖于 mysql 进行配置信息的存储，所以需要预先安装 mysql，并初始化

otter manager 的系统表结构

a. 安装 mysql，这里不展开，网上一搜一大把

b. 初始化 otter manager 系统表：

这个 sql 可以下载

. 整个 otter 架构依赖了 zookeeper 进行多节点调度，所以需要预先安装 zookeeper

a. manager 需要在 otter.properties 中指定一个就近的 zookeeper 集群机器

## otter manager domain name #修改为正确访问 ip，生成 URL 使用

otter.domainName = 127.0.0.1

## otter manager http port

otter.port = 8082 #按需调整默认 8080

## jetty web config xml

otter.jetty = jetty.xml

otter manager database config ，修改为正确数据库信息

otter.database.driver.class.name = com.mysql.jdbc.Driver

otter.database.driver.url = jdbc:mysql://127.0.01:3306/ottermanager

otter.database.driver.username = root

otter.database.driver.password = Dr@.1214

#zk 地址

otter.zookeeper.cluster.default = 127.0.0.1:2181

访问：

node

具体安装详见：https://github.com/alibaba/otter/wiki/Node_Quickstart

1. otter node 会受 otter manager 进行管理，所以需要预先安装 otter manager

2. 完成 manager 安装后，需要在 manager 页面为 node 定义配置信息，并生一个唯一 id.

a. nid 配置 (将环境准备中添加机器后获取到的序号，保存到 conf 目录下的 nid 文件，

比如我添加的机器对应序号为 6)

3.node 节点进行跨机房传输时，会使用到 HTTP 多线程传输技术，目前主要依赖了

aria2c 做为其下载客户端，后续会推出 java 版本.

of 5

5墨值下载

mysql

关注

评论