从 TiDB/MySQL 导出数据
需要的权限
- SELECT
- RELOAD
- LOCK TABLES
- REPLICATION CLIENT
- PROCESS
导出为 SQL 文件
本文假设在 127.0.0.1:4000 有一个 TiDB 实例，并且这个 TiDB 实例中有无密码的 root 用户。
Dumpling 默认导出数据格式为 SQL 文件。也可以通过设置 --filetype sql 导出数据到 SQL 文件：
dumpling -u root -P 4000 -h 127.0.0.1 --filetype sql -t 8 -o /tmp/test -r 200000 -F256MiB
以上命令中：
-h、-P、-u分别代表地址、端口、用户。如果需要密码验证，可以使用-p $YOUR_SECRET_PASSWORD将密码传给 Dumpling。-o用于选择存储导出文件的目录，支持本地文件路径或外部存储 URL 格式。-t用于指定导出的线程数。增加线程数会增加 Dumpling 并发度提高导出速度，但也会加大数据库内存消耗，因此不宜设置过大。一般不超过 64。-r用于指定单个文件的最大行数，指定该参数后 Dumpling 会开启表内并发加速导出，同时减少内存使用。当上游为 TiDB 且版本为 v3.0 或更新版本时，该参数大于 0 表示使用 TiDB region 信息划分表内并发，具体取值将不再生效。-F选项用于指定单个文件的最大大小，单位为MiB，可接受类似5GiB或8KB的输入。如果你想使用 TiDB Lightning 将该文件加载到 TiDB 实例中，建议将-F选项的值保持在 256 MiB 或以下。
注意
如果导出的单表大小超过 10 GB，强烈建议使用 -r 和 -F 参数。
导出为 CSV 文件
你可以通过使用 --filetype csv 导出数据到 CSV 文件。
当你导出 CSV 文件时，你可以使用 --sql <SQL> 导出指定 SQL 选择出来的记录。例如，导出 test.sbtest1 中所有 id < 100 的记录：
./dumpling -u root -P 4000 -h 127.0.0.1 -o /tmp/test --filetype csv --sql 'select * from `test`.`sbtest1` where id < 100' -F 100MiB --output-filename-template 'test.sbtest1.{{.Index}}'
以上命令中：
--sql选项仅仅可用于导出 CSV 文件的场景。上述命令将在要导出的所有表上执行SELECT * FROM <table-name> WHERE id < 100语句。如果部分表没有指定的字段，那么导出会失败。- 使用
--sql配置导出时，Dumpling 无法获知导出的表库信息，此时可以使用--output-filename-template选项来指定 CSV 文件的文件名格式，以方便后续使用 TiDB Lightning 导入数据文件。例如--output-filename-template='test.sbtest1.{{.Index}}'指定导出的 CSV 文件为test.sbtest1.000000000、test.sbtest1.000000001等。 - 你可以使用
--csv-separator、--csv-delimiter等选项，配置 CSV 文件的格式。具体信息可查阅 Dumpling 主要选项表。
注意
Dumpling 导出不区分字符串与关键字。如果导入的数据是 Boolean 类型的 true 和 false，导出时会被转换为 1 和 0 。
输出文件格式
metadata：此文件包含导出的起始时间，以及 master binary log 的位置。cat metadata
Started dump at: 2020-11-10 10:40:19
SHOW MASTER STATUS:
Log: tidb-binlog
Pos: 420747102018863124
Finished dump at: 2020-11-10 10:40:20
{schema}-schema-create.sql：创建 schema 的 SQL 文件。
cat test-schema-create.sql
CREATE DATABASE `test` /*!40100 DEFAULT CHARACTER SET utf8mb4 */;
{schema}.{table}-schema.sql：创建 table 的 SQL 文件
cat test.t1-schema.sql
CREATE TABLE `t1` (
`id` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;
{schema}.{table}.{0001}.{sql|csv}：数据源文件
cat test.t1.0.sql
/*!40101 SET NAMES binary*/;
INSERT INTO `t1` VALUES
(1);
*-schema-view.sql、*-schema-trigger.sql、*-schema-post.sql：其他导出文件
导出到 Amazon S3 云盘
Dumpling 在 v4.0.8 及更新版本支持导出到 Amazon S3 云盘。如果需要将数据备份到 Amazon S3 后端存储，那么需要在 -o 参数中指定 Amazon S3 的存储路径。
可以参照 AWS 官方文档 - 如何创建 S3 存储桶在指定的 Region 区域中创建一个 S3 桶 Bucket。如有需要，还可以参照 AWS 官方文档 - 创建文件夹在 Bucket 中创建一个文件夹 Folder。
将有权限访问该 Amazon S3 后端存储的账号的 SecretKey 和 AccessKey 作为环境变量传入 Dumpling 节点。
export AWS_ACCESS_KEY_ID=${AccessKey}
export AWS_SECRET_ACCESS_KEY=${SecretKey}
Dumpling 同时还支持从 ~/.aws/credentials 读取凭证文件。更多 Dumpling 存储配置可以参考外部存储。
在进行 Dumpling 备份时，显式指定参数 --s3.region，即表示 Amazon S3 存储所在的区域，例如 ap-northeast-1。
./dumpling -u root -P 4000 -h 127.0.0.1 -r 200000 -o "s3://${Bucket}/${Folder}" --s3.region "${region}"
筛选导出的数据
使用 --where 选项筛选数据
默认情况下，Dumpling 会导出排除系统数据库（包括 mysql 、sys 、INFORMATION_SCHEMA 、PERFORMANCE_SCHEMA、METRICS_SCHEMA 和 INSPECTION_SCHEMA）外所有其他数据库。你可以使用 --where <SQL where expression> 来指定要导出的记录。
./dumpling -u root -P 4000 -h 127.0.0.1 -o /tmp/test --where "id < 100"
上述命令将会导出各个表的 id < 100 的数据。注意 --where 参数无法与 --sql 一起使用。
使用 --filter 选项筛选数据
Dumpling 可以通过 --filter 指定 table-filter 来筛选特定的库表。table-filter 的语法与 .gitignore 相似，详细语法参考表库过滤。
./dumpling -u root -P 4000 -h 127.0.0.1 -o /tmp/test -r 200000 --filter "employees.*" --filter "*.WorkOrder"
上述命令将会导出 employees 数据库的所有表，以及所有数据库中的 WorkOrder 表。
使用 -B 或 -T 选项筛选数据
Dumpling 也可以通过 -B 或 -T 选项导出特定的数据库/数据表。
注意
--filter选项与-T选项不可同时使用。-T选项只能接受完整的库名.表名形式，不支持只指定表名。例：Dumpling 无法识别-T WorkOrder。
例如通过指定：
-B employees导出employees数据库-T employees.WorkOrder导出employees.WorkOrder数据表
