[TOC]

一、导读

KingBase数据库是人大金仓的一款典型的集中式国产数据库，它的使用方法和开源的postgreSQL整体比较相似。根据官方描述，KingBase能够提供很多便捷的数据迁移工具，将数据从异构、同构数据库中实现无损、快速的数据迁移。本次由于项目上的需求，我们需要将SIT环境的KingBase数据迁移至UAT环境(对UAT环境进行覆盖)。

UAT环境是开发人员做历史性能测试用的数据库，在上层应用进行更新后，我们需要将数据库的数据随即同步过去，由于对数据需求的时间没有严格要求，因此选择使用逻辑的方式进行导出导入覆盖UAT数据库。
在KingBase数据库中，逻辑导出和导入主要是用了两个命令，分别为：sys_dump、sys_restore（这里需要另外说一下，如果我们导出了sql文本，那么也可以通过ksql执行文本的方式进行导入）。

在进行导出和导入前，可以先了解下sys_dump和sys_restore的一些参数，方便我们进行选择，我们可以通过sys_dump --help和sys_restore --help进行查看(整体和postgreSQL一样，具体参数放在最后吧)。

二、需求描述

经过调研，本次迁移环境在sit环境中，有三个数据库，分别为dba_sit、dbb_sit、dbc_sit三个数据库，数据库的所属用户为usera_sit、userb_sit、userc_sit，数据库使用的schema也与用户相同，但是usera_sit的表都在public的schema下。

而在uat环境中，同样也需要三个数据库，分别为dba、dbb、dbc，数据库所属用户为usera、userb、userc，数据库使用的schema与用户相同，且所有表都在各自的schema下。

迁移前后状态具体如下：

迁移后
===>

这里可以看到，我们需要重点做的两个转换，一是将用户table_owner由usera_sit(userb_sit、userc_sit)转换为usera(usera、userb、userc),二是将对象所属的schema由public转换为usera(userb、userc)。

三、迁移过程

由于在之前uat环境曾被做过测试，因此首先我们需要清理uat数据库。当直接drop database dba的时候，出现报错：

ERROR: database "dba" is being accessed by other users
描述:There are 60 other sessions using the database

这里很明显可以看，由于数据库仍然有客户端连接，所以无法删除。
出现这种情况解决办法无非就是从应用、数据库本身两个方面解决。在oracle数据库中，监听是一个独立的进程，所以dba往往会手动关闭监听，杀死LOCAL=NO的会话，从而结束旧连接，拒绝新连接。

而在人大金仓(或者postgreSQL数据库中)，我们则可以通过select sys_terminate_backend(pid)方式对旧连接强制关闭，用sys_hba.conf(pg_hba.conf)对连接的限制进行策略设置来拒绝新的连接。

vi /data/sys_hba.conf，加入以下内容：

host    dba     all     0.0.0.0/0       reject
host    dbb     all     0.0.0.0/0       reject
host    dbc     all     0.0.0.0/0       reject

重新加载配置：

/kingbase/Cluster/kingbase/bin/sys_ctl -D /data reload

登录数据库，生成语句批量结束旧会话：

ksql dba usera

select concat('select sys_terminate_backend(',pid,');') from sys_stat_activity where datname in（'dba','dbb','dbc'）;

删除旧数据库：

drop database dba;
drop database dbb;
drop database dbc;

重新创建新的数据库，并指定owner为usera，创建同名schema：

ksql test system
create database dba owner usera;
\c dba usera
create schema usera;

导出数据：

sys_dump -U usera_sit -v dba_sit -Fd -f exp_dba_sit.dump

其中，
-U 表示导出时候连接的用户
-v 表示现实详细过程
-F 指定备份文件格式，分为p(plain)表示纯文本形式的SQL,c（custom）表示自定义模式,d（目录）表示生成一个数据归档目录,t(tar)表示生成一个tar包
-f 表示输出到文件或者目录中，如果不加该参数则会标准输出(也就是说如果-F使用了d的参数生成目录，则必须使用-f参数)
-O 表示导出的时候不导出数据库对象的所属关系，但是这个参数只对默认的sql生效，即-F指定了p格式(在导出时没有使用，是因为我们采用了目录格式，所以不生效)

导入数据：

sys_restore -U usera -g public -G usera -O -v -d dba exp_dba_sit.dump

其中，
-U 表示导入时候连接的用户
-g 表示源数据所属的schema
-G 表示导入数据所属的schema
需要注意的是，这两个参数需要同时使用；整体效果类似于oracle数据库expdp中的remap_schema，在导入的时候我们则通过这两个参数将原来库中的public模式转换成usera模式
-O 表示不带入导出时的的用户，导入时候的-U参数指定的用户则成为对象的owner，最终达到我们想要的用户转换。
-v 表示显示详细的导入过程。
此外，还有两个参数，在导入的时候也有一些用处，
-c 表示在重新创建对象前会清除，重新导入，类似于oracle中expdp的table_exist_actions，这个参数可以让我们导入的时候可以反复重新导入
-C 表示在恢复数据库前创建这个数据库，需要注意的事，它无法跟进参数，所以重建的数据库应该是和导出的一致。

附 kingbase导出导入的参数

sys_dump 把一个数据库转储为纯文本文件或者是其它格式.

用法:
  sys_dump [选项]... [数据库名字]

一般选项:
  -f, --file=FILENAME          输出文件或目录名
  -F, --format=c|d|t|p         输出文件格式（c为定制，d为目录，t为tar，p为明文（默认值））
  -v, --verbose                详细模式
  -V, --version                输出版本信息，然后退出
  -Z, --compress=0-9           被压缩格式的压缩级别
  -j, --jobs=NUM               执行多个并行任务进行备份转储工作
  -K, --key=encryptkey         加密密钥
  --lock-wait-timeout=TIMEOUT  在等待表锁超时后操作失败
  --no-sync                    不用等待变化安全写入磁盘
  -?, --help                   显示此帮助, 然后退出

控制输出内容选项:
  -a, --data-only              只转储数据,不包括模式
  -b, --blobs                  在转储中包括大对象
  -B, --no-blobs               排除转储中的大型对象
  -c, --clean                  在重新创建之前，先清除（删除）数据库对象
  -C, --create                 在转储中包括命令,以便创建数据库
  -E, --encoding=ENCODING      转储以ENCODING形式编码的数据
  -n, --schema=PATTERN         只导出指定的模式
  -N, --exclude-schema=PATTERN 不导出指定的模式
  -O, --no-owner               在明文格式中, 忽略恢复对象所属者
  -s, --schema-only            只转储模式, 不包括数据
  -S, --superuser=NAME         在明文格式中使用指定的超级用户名
  -t, --table=PATTERN          只导出指定表
  -T, --exclude-table=PATTERN  不导出指定表
  -x, --no-privileges          不要转储权限 (grant/revoke)
  --binary-upgrade             只能由升级工具使用
  --column-inserts             以带有列名的INSERT命令形式转储数据
  --copy-binary                以二进制拷贝方式导出数据
  --disable-dollar-quoting     取消美元 (符号) 引号, 使用 SQL 标准引号
  --disable-triggers           在只恢复数据的过程中禁用触发器
  --enable-row-security        启用行安全性（只转储用户能够访问的内容）
  --exclude-table-data=PATTERN 不导出特定表数据
  --extra-float-digits=NUM     覆盖extra_float_digits的默认设置
  --if-exists                  当删除对象时使用IF EXISTS
  --include-all-partitions[=OPT]
                               转储分区表的所有分区
  --inserts                    以INSERT命令，而不是COPY命令的形式转储数据
  --load-via-partition-root    通过根表加载分区
  --no-security-labels         不转储安全标签的分配
  --no-subscriptions           不转储订阅
  --no-synchronized-snapshots  在并行工作集中不使用同步快照
  --no-tablespaces             不转储表空间分配信息
  --no-unlogged-table-data     不转储没有日志的表数据
  --no-comments                不转储注释
  --no-publications            不转储发布
  --on-conflict-do-nothing     将ON CONFLICT DO NOTHING添加到INSERT命令
  --parallel-lob-data          并行导出lob表
  --quote-all-identifiers      所有标识符加引号，即使不是关键字
  --rows-per-insert=NROWS      每个插入的行数；意味着--inserts
  --serializable-deferrable    等到备份可以无异常运行
  --snapshot=SNAPSHOT          为转储使用给定的快照
  --strict-names               要求每个表和(或)schema包括模式以匹配至少一个实体
  --section=SECTION            备份命名的节 (数据前, 数据, 及 数据后)
  --use-set-session-authorization
                               使用 SESSION AUTHORIZATION 命令代替
                               ALTER OWNER 命令来设置所有权

联接选项:
  -d, --dbname=DBNAME      对数据库 DBNAME备份
  -h, --host=主机名        数据库服务器的主机名或套接字目录
  -p, --port=端口号        数据库服务器的端口号
  -U, --username=名字      以指定的数据库用户联接
  -w, --no-password        永远不提示输入口令
  -W, --password           强制口令提示 (自动)
  --role=ROLENAME          在转储前运行SET ROLE

如果没有提供数据库名字, 那么使用 KINGBASE_DATABASE 环境变量的数值
报告错误至 <kingbase-bugs@kingbase.com.cn>.







sys_restore 从一个归档中恢复一个由 sys_dump 创建的 Kingbase 数据库.

用法:
  sys_restore [选项]... [文件名]

一般选项:
  -d, --dbname=名字        连接数据库名字
  -f, --file=文件名        输出文件名(-为输出到stdout)
  -F, --format=c|d|t       备份文件格式(应该自动进行)
  -l, --list               打印归档文件的 TOC 概述
  -v, --verbose            详细模式
  -V, --version            输出版本信息, 然后退出
  -?, --help               显示此帮助, 然后退出

恢复控制选项:
  -a, --data-only              只恢复数据, 不包括模式
  -c, --clean                  在重新创建之前，先清除（删除）数据库对象
  -C, --create                 创建目标数据库
  -e, --exit-on-error          发生错误退出, 默认为继续
  -E, --skip-errors            跳过COPY时遇到的错误行
  -I, --index=NAME             恢复指定名称的索引
  -j, --jobs=NUM               执行多个并行任务进行恢复工作
  -K, --key=encryptkey         指定加密密钥
  -L, --use-list=FILENAME      从这个文件中使用指定的内容表排序输出
  -n, --schema=NAME            在这个模式中只恢复对象
  -N, --exclude-schema=NAME    不恢复此模式中的对象
  -g, --fromSchema=NAME        恢复来自这个模式的对象，和-G一同使用
  -G, --toSchema=NAME          把对象恢复到这个模式，和-g一同使用
                               目标模式和源模式的的数目应相同，或者只有一个目标模式
  -O, --no-owner               不恢复对象所属者
  -P, --function=NAME(args)    恢复指定名字的函数
  -s, --schema-only            只恢复模式, 不包括数据
  -S, --superuser=NAME         使用指定的超级用户来禁用触发器
  -t, --table=NAME             恢复命名关系（表、视图等）
  -T, --trigger=NAME           恢复指定名字的触发器
  -x, --no-privileges          跳过处理权限的恢复 (grant/revoke)
  -1, --single-transaction     作为单个事务恢复
  --from-schema-case-sensitive 指定源模式区分大小写，默认不区分大小写
  --view-only                  仅恢复此视图
  --recreate-view              最后重新创建视图
  --disable-triggers           在只恢复数据的过程中禁用触发器
  --enable-row-security        启用行安全性
  --if-exists                  当删除对象时使用IF EXISTS
  --no-comments                不恢复注释
  --no-data-for-failed-tables  对那些无法创建的表不进行
                               数据恢复
  --no-publications            不恢复发行
  --no-security-labels         不恢复安全标签信息
  --no-subscriptions           不恢复订阅
  --no-tablespaces             不恢复表空间的分配信息
  --section=SECTION            恢复命名节 (数据前、数据及数据后)
  --strict-names               要求每个表和(或)schema包括模式以匹配至少一个实体
  --use-set-session-authorization
                               使用 SESSION AUTHORIZATION 命令代替
                               ALTER OWNER 命令来设置所有权

联接选项:
  -h, --host=主机名        数据库服务器的主机名或套接字目录
  -p, --port=端口号        数据库服务器的端口号
  -U, --username=名字      以指定的数据库用户联接
  -w, --no-password        永远不提示输入口令
  -W, --password           强制口令提示 (自动)
  --role=ROLENAME          在恢复前执行SET ROLE操作

选项 -n 和 -g(-G) 不能组合使用
选项 -I, -n/-g(-G), -P, -t, -T 以及 --section 可以组合使用和指定多次用于选择多个对象.

如果没有提供输入文件名, 则使用标准输入.

报告错误至 <kingbase-bugs@kingbase.com.cn>.