暂无图片
暂无图片
3
暂无图片
暂无图片
暂无图片

数据库迁移至GoldenDB

Whill 2025-05-06
785


背景信息

在控制台创建 X 数据库迁移数据至 GoldenDB 数据库的迁移任务,可以通过创建全量任务将源端数据库的存量业务数据迁到 GoldenDB 数据库中。

前提条件

为源端X和目标端 GoldenDB 创建专用于数据迁移项目的数据库用户,并为其赋予相关权限。为源端 X 选择合适的 jdbc 驱动。相关权限说明参考 数据库权限准备 。

使用限制

  • 源端数据库在迁移过程中请勿执行表结构变更的 DDL 语句,否则可能造成数据迁移该表的失败;
  • 在迁移过程中请关闭目标端的外键与触发器;
  • 目前支持的 X 数据库包含 PostgreSQL、 openGauss、 SQL Server、 DB2、 TiDB;
  • 仅支持库名、表名和列名为 ASCII 码且不包含特殊字符(包括.-;|)的命名。

数据类型映射

X 数据库GoldenDB 数据库
INTEGERINTEGER
TINYINTTINYINT
MEDIUMINTMEDIUMINT
BIGINTBIGINT
SMALLINTSMALLINT
DECIMALDECIMAL
NUMERICNUMERIC
FLOATFLOAT
REALREAL
DOUBLE PRECISIONDOUBLE PRECISION
BITBIT
CHARCHAR
VARCHARVARCHAR
BINARYBINARY
VARBINARYVARBINARY
BLOBBLOB
TEXTTEXT
DATEDATE
DATETIMEDATETIME
TIMESTAMPTIMESTAMP
TIMETIME
YEARYEAR

操作步骤

  1. 创建迁移任务

    1)登录 SM 控制台。

    2)在左侧导航栏,点击 任务管理 下面的 任务列表 

    3)在任务列表页面,点击右上角上面的 新增 ,新增一个同步任务。

  2. 在新建任务中,选择源端和目标端后,配置各项参数

    参数

    描述

    任务名称

    任务名的名称,使用字符串进行命名

    源数据库

    在下拉框中选择要进行同步的源端数据源,需要先在数据源中创建数据源。

    目标数据库

    在下拉框中选择要进行同步的目标端数据源,需要先在数据源中创建数据源。

    采集抽取方式

    迁移直接选择全量。

    是否开启比对

    选择是时,在全量迁移过程中进行数据比对,选择否时,在全量迁移过程中不进行数据比对。

    是否自动绑定组件

    任务在创建完成后是否自动绑定采集回放组件,如果选择是,则会自动绑定采集回放组件,如果选择否后再保存任务,须在任务列表后面的组件进行手动添加,否则无法启动任务。选择开启比对后,比对组件也需要自动绑定或者手动绑定。

    同步白名单

    配置需要同步库表信息,表名分号分隔,支持正则语法。如果打开大小写敏感,库表名请按实际填写。如果关闭大小写敏感,库表名使用小写。

    同步黑名单

    配置不需要同步库表信息,表名分号分隔,支持正则语法。如果打开大小写敏感,库表名请按实际填写。如果关闭大小写敏感,库表名使用小写。对于某张表既满足白名单又在黑名单里面,则该张表不会进行数据同步。

  3. 点击 下一步 ,填写基础配置信息

    参数

    描述

    映射规则

    选择该任务配置的库表列映射规则,库表列映射规则需提前配置

    是否保存全量快照点

    如果该全量完成后,后期需要做增量任务,则需要记录全量时的快照点信息,选择是,则记录该全量快照点信息,选择否,则不记录。

    全量总并行度

    所有的采集线程数。

    全量采集表间并发数

    在采集时,对于每张表的数据抽取时,每张表的抽取并发度。如需提升性能,可以适度提高该值。

    回放唯一性重复处理方式

    处理目的端主键冲突时的策略,提供以下几种选择:
    1. 忽略:跳过冲突记录。
    2. 替换:用新数据替换已有数据。
    3. 日志写入:将冲突记录写入日志。
    4. 中止退出:任务执行中遇到冲突时中止任务。

  4. 点击 保存 ,完成任务创建

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论