暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

TiDB DM-1 概述及运维

原创 longlongago7777 2022-03-10
530

功能:
一体化的数据迁移任务管理工具,用于将数据从与 MySQL 协议兼容的数据库迁移到 TiDB。
支持全量迁移和增量同步;
支持对表与操作进行过滤;支持分库分表的合并迁移。
起源:源自微众银行项目,和微众一起打磨出来;
数据量:全量迁移,目前建议用于 1TB 以内的存量数据;
典型用户:微众、小米、德克士、Paypay等
开发语言:主要是go、shell;


本文总结了 TiDB Data Migration (DM) 工具日常巡检的方法:
安装运维:
TIup(tiup dm):list,start,display,scale-in,scale-out,upgrade,edit-config,reload,
dmctl:list-member,query-status,start-task;
OpenAPI,如下:curl -X 'DELETE' 'http://127.0.0.1:8261/api/v1/cluster/masters/master1' -H 'accept: */*'

错误调查:
方法一:执行 query-status 命令查看任务运行状态以及相关错误输出。详见查询状态。
方法二:如果使用 TiUP 部署 DM 集群时正确部署了 Prometheus 与 Grafana,如 Grafana 的地址为 172.16.10.71,可在浏览器中打开 http://172.16.10.71:3000 进入 Grafana,选择 DM 的 Dashboard 即可查看 DM 相关监控项。具体监控指标参照监控与告警设置。
方法三:通过日志文件查看 DM 运行状态和相关错误。
DM-master 日志目录:通过 DM-master 进程参数 --log-file 设置。如果使用 TiUP 部署 DM,则日志目录位于 {log_dir}。
DM-worker 日志目录:通过 DM-worker 进程参数 --log-file 设置。如果使用 TiUP 部署 DM,则日志目录位于 {log_dir}。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论