暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

使用 AzCopy 将数据从 AWS S3 迁移到 Azure Blob 存储

汪宇杰博客 2021-08-24
506

点击上方蓝字 / 关注“汪宇杰博客”

原文:Azure Tips and Tricks

翻译:汪宇杰

导语

想要将数据从 AWS S3 迁移到 Azure Blob/文件存储的客户遇到了许多挑战。他们必须使用自己的工具,或者可能在云提供商之间编写脚本以从 AWS 读取数据并将其移动到 Azure Blob/文件存储中。这意味着数据传输的规模和速度仅限于中间的客户端,这增加了移动的复杂性。于是 AzCopy 来拯救大家于水深火热之中。

Azure 发布了 AzCopy 命令行工具(支持MacOS、Linux 和 Windows),以简化 AWS S3 到 Azure Blob 存储之间的传输过程。它是用于 Azure Blob/文件存储的下一代数据传输程序,经过重新设计,可通过内置弹性提供更大规模的数据移动。AzCopy 支持从本地文件系统到 Azure Blob 存储以及在 Azure 存储帐户之间高效地复制数据。最新版本增加了对 AWS S3 作为源的支持,以帮助您使用简单的命令移动数据。

开搞


下载 Azcopy

https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-v10

打开命令提示符,输入以下命令,然后按回车。

azcopy login

使用以下命令将 AWS S3 bucket 复制到 Azure Blob 容器:

azcopy cp "https://s3.amazonaws.com/mybucket/" "https://mystorageaccount.blob.core.windows.net/mycontainer<SAS>" --recursive

请确保 AWS S3 bucket 和 Blob/文件存储容器可公开访问。这里是为您的存储容器生成 SAS 的步骤。

https://docs.microsoft.com/en-us/azure/storage/common/storage-dotnet-shared-access-signature-part-1

结论


在我们的内部测试中,当 AWS S3 bucket 和 Azure 存储帐户位于同一区域时,我们看到了 50 GB 或更高的传输速率。当您想要从 AWS 移动大量数据时,这种级别的性能使 AzCopy 成为一个快速而简单的选择。除了更高的速度,AzCopy 还提供弹性。每个故障都会自动重试多次以缓解网络故障。可以恢复或重新启动失败或取消的作业,以便您可以轻松地一次移动 TB 的数据。继续尝试并与我们分享您的反馈。

欢迎随时在 AzureTipsAndTricks 查看有关 AzCopy 的其他技能。

https://microsoft.github.io/AzureTipsAndTricks/

https://microsoft.github.io/AzureTipsAndTricks/blog/tip81.html

https://microsoft.github.io/AzureTipsAndTricks/blog/tip139.html



汪宇杰博客

Azure | .NET | 微软 MVP

无广告,不卖课,做纯粹的技术公众号

文章转载自汪宇杰博客,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论