如何迁移 CDH/HDP 到 CDP

在旧 CDH/HDP 升级到新 CDP 的过程中，主要有两种原地升级、迁移升级两种方式：

原地升级

版本要求

HDP2（2.6.5 以上版本）和 CDH5（5.13-5.16 版本）的用户可以直接采用原地升级，升级到 CDP7.03 以上版本。如果低于 HDP2.6.5 版本或 CDH5.13 版本，则需要先升级到对应版本再进行原地升级。而 CDH6 的用户都可以原地升级到 CDP7.1.7 以上版本；HDP3 的用户都可以原地升级到 7.1.6 以上版本。

用户特征

在原地升级的情况下，最适合的用户特征如下：

• 没有额外的资源

• 组织有多个集群，可以在配置较低的环境中验证整个升级测试

• 集群里边有大型的单租户集群，而不是有很多租户，租户之间对时间要求也不一样

升级过程

• 备份应用程序和配置

• 已删除的组件查看和替换应用程序 (docs)

• 从 DEV 开始，升级 CM

• 部署 parcel、激活并升级到 CDP Runtime

• 完成应用冒烟测试

• 安排停机时间

• 升级主服务器、工作服务器、边缘服务器和客户端服务器

• 运行工作负载并完成 App Dev Signoff

升级任务

迁移升级

用户特征

在迁移升级的情况下，最适合的用户特征如下：

• 有额外的基础设施，这一点对于阿里云用户来说得天独厚

• 干净的开始（新服务器配置，新网络，操作系统，平台）

• 无法承受长时间停机的租户

• 大型的多租户集群，难以协调切换

升级过程

• 资产清单

• 创建新的 CDP PvC Base 集群

• 逐步将数据和工作负载迁移到 CDP 集群

• 随着工作负载从旧集群移出，服务器可以退役，然后添加到新的 CDP 集群

• 重复使用或停用旧硬件

升级任务

CDH/HDP 到 CDP 升级路线图

其中较为推荐CDP7.1.7，版本更为稳定。CDP/HDP 的所有用户都可以通过原地升级或迁移升级到CDP7.1.7。如果需要使用更低的版本，可以在上图找到适合的最低版本。

技术风险和应对措施

迁移指导文档：

https://docs.cloudera.com/cdp-private-cloud-upgrade/latest/migrating.html  

迁移升级工作分解

迁移升级实施流程

预备期

并行期

运行期

数据迁移方案说明

基础组件

安全+元数据

数据仓库 +操作型数据库 + 机器学习 + 数据工程

流处理

Hbase 迁移比较

全量&增量数据迁移

数据一致性校验方法

参考资料

[1] 阿里云 CDP 官网

https://ac.aliyun.com/application/cloudera

[2]阿里云 CDP 产品文档

https://www.yuque.com/aliyunbigdata/xdgumz

[3]Cloudera CDP 官网文档

https://docs.cloudera.com/cdp-private-cloud-base/7.1.5/index.html

---

我们会在钉群推送精彩文章，邀请技术大牛直播分享。

欢迎钉钉扫码加入交流群一起参与讨论~

阿里云CDP 免费试用进行中！