自动数据迁移测试可帮助您在将系统和应用程序迁移到云或其他主机时确保信息的完整性。在本指南中了解如何自动执行此过程。
将数据从本地迁移到云系统或在多个云系统之间迁移是各种规模和行业的公司中常见且复杂的事件。迁移的数据类型范围从电子邮件消息到 Office 文档和 PDF 文件到数据库、网站数据和代码存储库。
无论您要完成的数据迁移有多复杂，完成迁移前、迁移和迁移后阶段的测试都很重要。
这可能是一个乏味的过程：很容易错过关键步骤并损害迁移的整体安全性、性能和/或准确性。但是，如果您花时间自动化数据迁移测试流程，从长远来看，您可以在建立清晰且受控的测试计划的同时节省时间。
数据迁移测试的类型
定义现有数据迁移测试的“类型”很棘手，因为数据迁移测试可以按多种方式分类。对于初学者来说，测试方法可能看起来会有所不同，具体取决于您要迁移的系统类型。
对于以下每种类型的数据迁移测试，重要的是要考虑系统中存储了多少数据、数据的格式如何以及未来可能需要如何转换。还要考虑系统内置的任何安全或合规性功能，以及该数据对日常业务运营的重要性。
考虑到该框架，这些是基于源系统格式的不同类型的数据迁移测试：
- 数据库迁移测试
- 操作系统迁移测试
- 服务器迁移测试
- 应用迁移测试
- 数据中心迁移测试
- 云迁移测试
您选择进行的数据迁移测试类型可能还取决于各种其他因素，例如您的时间表、预算以及您手头上支持该流程的内部资源和团队。
测试迁移数据时要考虑的因素
需要测试并确认以下十个数据迁移因素的功能，以确保迁移割接成功。虽然其中许多因素应该在迁移前进行测试，但其他几个因素需要在整个迁移过程中进行审查——甚至是在迁移后。
- 可访问性：可以在目标源上访问数据。
- 准确性：数据完整且可用。
- 传输的可靠性：是否所有的数据都传输过来以达到 100% 的传输率。对此进行测试可能涉及比较源和目标上的数据集大小。
- 自动化的可靠性：是否可以指望自动传输能够按预期开始并完成任务。
- 速度：数据传输的速率，以建立可预测的基线。
- 可重复性：测试是否可以多次运行并得到相同的结果。
- 错误检查：在其他地方读取、传输或写入数据时是否发生错误，以及如何纠正这些错误。
- 安全性：确保只有适当的个人和团体才能访问目标源上的数据。
- 丰富：是否可以在目标源上优化数据和访问。
- 保护：数据被备份并且可以在目标源上恢复。
数据迁移工具
虽然有许多以消费者为中心的工具可以将相对较小的数据集从一个系统移动到另一个系统，但本文的重点是业务级迁移工具，用于更大的数据集：
- Apex Data Loader：一个开源的 Salesforce 数据迁移器。
- AWS Data Pipeline：一种在 AWS 数据存储之间迁移数据的解决方案。
- Azure Cosmos DB：一种开源命令行工具，适用于各种数据源。
- Azure DocumentDB： Microsoft 的开源数据迁移工具。
- Configero Data Loader：适用于 Salesforce 的基于 Web 的数据加载器应用程序。
- Dell EMC Rainfinity：一种适用于异构环境的数据迁移工具。
- IBM Informix：一种基于 SQL 的数据迁移工具，可跨多个操作系统运行。
- Informatica Cloud Data Wizard：一个 Salesforce 数据加载器应用程序，用于处理常见和自定义对象。
- SnapLogic：作为服务工具的集成平台。
- Stitch Data：一个基于云的 ETL 平台。
即使是普通的旧 rsync 命令也是一种高质量的数据迁移工具，我自己认为是首选。在审查潜在的数据迁移供应商时，请关注与您的环境的兼容性、可靠性、速度、安全性和可扩展性。
自动化数据迁移测试的策略
在正式切换截止日期之前用大量时间进行测试通常是数据迁移中涉及的大部分艰苦工作。测试可能是简短的或扩展的，但在流程进入“实时”阶段之前应该彻底进行和确认。
自动数据迁移方法是这里的关键要素。您希望此过程无缝运行，同时还在后台运行，最少的人为干预。这就是为什么我赞成连续或频繁复制以保持同步。
一种常见的策略是通过仅同步新数据的调度程序或 cron 作业在后台运行自动数据同步。进程每运行一次，传递的信息量就会越来越少。
这被称为涓流数据迁移，它运作良好，因为大多数公司每天都使用和更新他们的一小部分数据。在测试的第一天初始迁移 10TB 的数据可能会导致在实际切换之前的那一刻只迁移 30GB 最近更改或更新的数据。
自动化数据迁移测试的步骤
备份您的数据
始终确保在继续之前备份您的数据，即使您的迁移仅涉及将数据从源复制到目标。系统错误和人为错误可能是一个可怕的组合；我已经看到 rsync 操作的实例出现了可怕的错误，目标数据被错误地与源数据同步，以至于数据被意外删除。
确定要迁移的数据集、源系统和目标系统
确定要迁移的数据及其迁移位置。可能涉及多个来源和多个目标，以及不同数据集的不同优先级。确保您只迁移实际需要的数据——此时考虑运行重复数据删除解决方案来简化数据集——但要了解涉及数据保留策略的任何要求，以便遵守它们。
您应该充分了解什么位于何处。最重要的是，您应该知道要迁移的数据总量。您必须确保在目标端有足够的资源，尤其是数据存储。
使用涓流数据迁移策略来测试和迁移现有数据
只要有可能，计划实施涓流数据迁移复制策略，其中您的源定期同步到目标，并且只有新文件必须在后续运行中传输。显然，这意味着您的第一次迁移操作将是最长和最复杂的。根据需要争取供应商支持。
确定您的自动化技术并抽查其准确性
确定将确保数据迁移自行运行的自动技术和原则。出于一致性和简单性的考虑，无论数据源和/或重要性如何，这些都应该全面应用。
通知您的团队数据迁移进度的监控和警报是现在要考虑的关键因素。对目标端的人工数据校验可以通过“抽查”的方式进行，但是根本无法对成百上千的文件进行逐一核对。
采取必要的安全措施
确保在源目标环境中正确应用安全性，不仅是为了数据保护，也是为了确保迁移工具能够正常运行。特别是对于某些行业和运营区域，考虑需要添加或维护哪些数据治理和监管协议也很重要。
使用测试数据进行实时测试
实施解决方案并对无关数据进行实时测试。这通常涉及使用虚拟文件，但您应该避免使用空文件；空文件没有用，因为您要确认内容在目标系统和源系统上是否相同。
配置自动化并监控结果
配置并运行自动数据迁移过程并监控结果。确保满足本文中数据迁移测试类型中的每个元素。
这个任务，以及这些步骤的其余部分，可以由内部数据迁移团队处理，但也可能需要引入供应商支持来实现这一级别的自动化和测试。
原文标题：How to automate data migration testing
原文作者：Scott Matteson
原文链接：https://www.techrepublic.com/article/how-to-automate-data-migration-testing/
