如何使用pg_chameleon迁移MySQL数据库至openGauss

• 通过读取MySQL的binlog，提供实时在线复制的功能。

• 支持从多个MySQL schema读取数据，并将其恢复到目标openGauss数据库中。源schema和目标schema可以使用不同的名称。

• 通过守护进程实现实时复制，包含两个子进程，一个负责读取MySQL侧的日志，一个负责在openGauss侧重演变更。

接下来我们将演示如何使用pg_chameleon迁移MySQL数据库至openGauss。

pg_chameleon通过~/.pg_chameleon/configuration下的配置文件config-example.yaml定义迁移过程中的各项配置。整个配置文件大约分成四个部分，分别是全局设置、类型重载、目标数据库连接设置、源数据库设置。全局设置主要定义log文件路径、log等级等。类型重载让用户可以自定义类型转换规则，允许用户覆盖已有的默认转换规则。目标数据库连接设置用于配置连接至openGauss的连接参数。源数据库设置定义连接至MySQL的连接参数以及其他复制过程中的可配置项目。

详细的配置项解读，可查看官网的说明：

https://pgchameleon.org/documents_v2/configuration_file.html

下面是一份配置文件示例：

# global settings
pid_dir: '~/.pg_chameleon/pid/'
log_dir: '~/.pg_chameleon/logs/'
log_dest: file
log_level: info
log_days_keep: 10
rollbar_key: ''
rollbar_env: ''

# type_override allows the user to override the default type conversion
# into a different one.
type_override:
"tinyint(1)":
    override_to: boolean
    override_tables:
    - "*"
            
# postgres  destination connection
pg_conn:
  host: "1.1.1.1"
  port: "5432"
  user: "opengauss_test"
  password: "password_123"
  database: "opengauss_database"
  charset: "utf8"
  
sources:
 mysql:
  db_conn:
   host: "1.1.1.1"
   port: "3306"
   user: "mysql_test"
   password: "password123"
   charset: 'utf8'
   connect_timeout: 10
  schema_mappings:
    mysql_database:sch_mysql_database
   limit_tables:
   skip_tables:
   grant_select_to:
    - usr_migration
   lock_timeout: "120s"
   my_server_id: 1
   replica_batch_size: 10000
   replay_max_rows: 10000
   batch_retention: '1 day'
   copy_max_memory: "300M"
   copy_mode: 'file'
   out_dir: tmp
   sleep_loop: 1
   on_error_replay: continue
   on_error_read: continue
   auto_maintenance: "disabled"
   gtid_enable: false
   type: mysql
   keep_existing_schema: No

以上配置文件的含义是，迁移数据时，MySQL侧使用的用户名密码分别是 mysql_test 和 password123。MySQL服务器的IP和port分别是1.1.1.1和3306，待迁移的数据库是mysql_database。

openGauss侧使用的用户名密码分别是 opengauss_test 和 password_123。openGauss服务器的IP和port分别是1.1.1.1和5432，目标数据库是opengauss_database，同时会在opengauss_database下创建sch_mysql_database schema，迁移的表都将位于该schema下。

下面开始介绍整个迁移的步骤。

在openGauss侧创建迁移时需要用到的用户以及database。

在MySQL侧创建迁移时需要用到的用户并赋予相关权限。

修改MySQL的配置文件，一般是/etc/my.cnf或者是 etc/my.cnf.d/ 文件夹下的cnf配置文件。在[mysqld] 配置块下修改如下配置（若没有mysqld配置块，新增即可）：

修改完毕后需要重启MySQL使配置生效。

python3 -m venv venv
source venv/bin/activate

更新pip：pip install pip --upgrade

将openGauss的 pg_config 工具所在文件夹加入到 $PATH 环境变量中。例如：

export PATH={openGauss-server}/dest/bin:$PATH

下载psycopg2源码(https://github.com/psycopg/psycopg2 )，去掉检查PostgreSQL版本的限制，使用 python setup.py install编译安装。

下载pg_chameleon源码(https://github.com/the4thdoctor/pg_chameleon )，修改前面提到的在openGauss上的问题，使用 python setup.py install编译安装。

3. 创建pg_chameleon配置文件目录

chameleon set_configuration_files

4. 修改pg_chameleon配置文件

cd ~/.pg_chameleon/configuration
cp config-example.yml default.yml

根据实际情况修改 default.yml 文件中的内容。重点修改pg_conn和mysql中的连接配置信息，用户信息，数据库信息，schema映射关系。前面已给出一份配置文件示例供参考。

5. 初始化复制流

chameleon create_replica_schema --config default
chameleon add_source --config default --source mysql

此步骤将在openGauss侧创建用于复制过程的辅助schema和表。

6. 复制基础数据

chameleon init_replica --config default --source mysql

7. 开启在线实时复制

chameleon start_replica --config default --source mysql

8. 停止在线复制