
Cloudera 很高兴地宣布发布 Cloudera 数据平台 (CDP) 私有云 (PvC) 基础版本 7.1.7 和 Cloudera Manager 版本 7.4.4。这些版本引入了从 CDH 6 到 CDP Private Cloud Base 的直接升级路径,并汇总了先前版本的所有先前维护增强功能。
新功能的完整列表如下:
升级增强
CDH 6 升级
CDH 6 客户现在可以将他们的 CDH 6.1.x、6.2.x 和 6.3.x 集群直接升级到 CDP Private Cloud Base,而无需构建新的集群。此处提供了升级过程的完整详细信息。
回滚步骤的文档化
回滚步骤可用于支持从 CDH 6 升级到 CDP 7.1.7
回滚步骤可用于支持从 HDP 3 升级到 CDP 7.1.6
新的升级指南
入门
升级前任务
升级集群
升级后任务
故障排除
现在 docs.cloudera.com 上提供了一个新的Upgrade Companion,为所有 CDP形态的所有升级相关活动提供一个集中的文档中心。Upgrade Companion 提供了一组内容选项卡,涵盖了 CDP 升级过程的 5 个主要步骤中的每一个:
Upgrade Companion 还包括一组过滤器,可帮助读者将内容缩小到他们特定的配置要求。
注意:Upgrade Companion 旨在补充而不是替代现有的升级文档。
平台支持的增强
新的操作系统支持
CDP 私有云基础现在支持 基于x86 和 PPC的RHEL/CENTOS 8.2
CDP 私有云基础现在支持基于X86的 Ubuntu 20
新的数据库支持
CDP 私有云基础现在支持 MariaDB 10.3、MariaDB 10.4 和 Oracle 19c (19.9)
通用功能增强
Cloudera Manager增强功能
通过升级 20 多个嵌入式的lib库提供了大量 CVE/安全修复
启用外部身份验证时检查 LDAP 连接的工具
任意服务的可扩展服役/退役的工作流程
服务监视器现在在可能的情况下适应低内存环境
用于 CSD 作者的 Atlas 金丝雀和可扩展金丝雀监控框架
可配置的 Kerberos 配置用于Ozone、YARN QM的文件位置和Principal
更高效的机架拓扑评估(将 YARN 性能提高多达 20%)
一致的操作系统用户/组 ID(无缝重新附加云存储卷)
快照存储现在包含在 HDFS 使用情况报告计算中
测试DB连接的工具现在支持Oracle RAC
SDX 增强功能
现在支持可点击 的UI 表格格式的过滤器
轻松的选择审核过滤器以显示和展示完整的用户访问详细信息
用于指定 Ranger 审核的最长保留天数的配置选项
用于 Hive 表创建的 Ranger 授权现在支持新的资源“storage-type”和“storage-url”,以及一种权限“RW Storage“. 当 doAs = false 时,超级用户“hive”将是在指定存储中创建表的用户,这会导致表创建获得用户 hive 的授权,而不是发出“create/alter table”命令的原始用户的授权。
现在在 Ranger审核中捕获 HDFS 超级用户操作
Ranger审核增强功能包括
当用户和组从同步源(UNIX、LDAP、AD 或 PAM)中删除时,Ranger 用户同步服务将更新 Ranger。这可确保用户和组及其相关的访问权限在从同步源中删除时不会保留在 Ranger 中。
CM中可配置Ranger审核的最大保留天数属性。现在,用户可以在 Ranger 配置和刷新配置中从 CM 更新 solr 文档过期 ranger.audit.solr.config.ttl 和 ranger.audit.solr.config.delete.trigger 参数并刷新配置以获得使用 ttl 更新的 Ranger审核的 Solr 集合和删除触发器。
数据仓库增强功能
Impala 现在支持基于 Ranger 的行级过滤器策略。行级过滤策略类似于其他 Ranger 访问策略,可以为特定用户、组和条件设置过滤器。
平台增强
支持配置了基于公平性排序的队列的队列内抢占
支持 LazyPreemption,优化从队列中选择容器以进行抢占
动态队列调度 (TP) 功能使客户能够动态更改队列资源分配
Ozone 现在默认为完整的高可用性配置,可实现连续运行而不会出现任何单点故障风险
Ozone节点退役使管理员可以更轻松地执行节点的操作系统升级、硬件维护和其他维护
Ozone的安全删除功能有助于防止意外删除文件和目录。
YARN 兼容性增强
Kudu 与 Hive Metastore 的集成现在可以通过 Cloudera Manager 进行配置
Kudu 支持 INSERT 和 INSERT_IGNORE 操作(TP)的多行事务
流媒体增强
现在可以将 Kafka 服务配置为自动将主题元数据发布到 Apache Atlas。Kafka 主题将在 Atlas 中显示为单个实体以及数据沿袭图。
Streams Messaging Manager (SMM) 现在可以配置为使用外部 的Prometheus 指标存储,而不是 Cloudera Manager 的内部指标存储。这提高了具有大量主题、分区、消费者和生产者的大型 Kafka 部署的 SMM 可扩展性。
添加了Schema Registry功能,允许从 Confluent的Schema Registry的 Kafka 主题转储导入模式。然后可以通过 REST 将模式作为文件上传。
Streams Replication Manager 现在支持以安全方式存储所有敏感数据。
Cruise Control 现在公开 TLS 配置以支持 TLS 密码和协议
Cloudera Runtime 组件版本
您必须熟悉 Cloudera Runtime 7.1.7 发行版中所有组件的版本,以确保这些组件与其他应用程序的兼容性。您还必须了解可用的 Technical Preview 组件并仅在测试环境中使用它们。
Apache 组件
组件版本号由三部分组成,[**Apache 组件版本号**].[*运行时版本号*].[*运行时版本号*]。例如,如果列出的 Apache HBase 组件版本号为 2.2.3.7.1.7.0-551,2.2.3 是上游 Apache HBase 组件版本,7.1.5 是运行时版本,551 是运行时构建。您还可以在 Cloudera Manager 中查看组件版本号。
Component | Version |
|---|---|
Apache Arrow | 0.8.0.7.1.7.0-551 |
Apache Atlas | 2.1.0.7.1.7.0-551 |
Apache Calcite | 1.19.0.7.1.7.0-551 |
Apache Avro | 1.8.2.7.1.7.0-551 |
Apache Hadoop (Includes YARN and HDFS) | 3.1.1.7.1.7.0-551 |
Apache HBase | 2.2.3.7.1.7.0-551 |
Apache Hive | 3.1.3000.7.1.7.0-551 |
Apache Impala | 3.4.0.7.1.7.0-551 |
Apache Kafka | 2.5.0.7.1.7.0-551 |
Apache Knox | 1.3.0.7.1.7.0-551 |
Apache Kudu | 1.15.0.7.1.7.0-551 |
Apache Livy | 0.6.0.7.1.7.0-551 |
MapReduce | 3.1.1.7.1.7.0-551 |
Apache Ozone | 1.1.0.7.1.7.0-551 |
Apache Oozie | 5.1.0.7.1.7.0-551 |
Apache ORC | 1.5.1.7.1.7.0-551 |
Apache Parquet | 1.10.99.7.1.7.0-551 |
Apache Phoenix | 5.1.1.7.1.7.0-551 |
Apache Ranger | 2.1.0.7.1.7.0-551 |
Apache Solr | 8.4.1.7.1.7.0-551 |
Apache Spark | 2.4.7.7.1.7.0-551 |
Apache Sqoop | 1.4.7.7.1.7.0-551 |
Apache Tez | 0.9.1.7.1.7.0-551 |
Apache Zeppelin | 0.8.2.7.1.7.0-551 |
Apache ZooKeeper | 3.5.5.7.1.7.0-551 |
Other Components
Component | Version |
|---|---|
Cruise Control | 2.0.100.7.1.7.0-551 |
Data Analytics Studio | 1.4.2 |
GCS Connector | 2.1.2.7.1.7.0-551 |
HBase Indexer | 1.5.0.7.5.0-551 |
Hue | 4.5.0.7.1.7.0-551 |
Search | 1.0.0.7.1.7.0-551 |
Schema Registry | 0.10.0.7.1.7.0-551 |
Streams Messaging Manager | 2.1.0.7.1.7.0-551 |
Streams Replication Manager | 1.0.0.7.1.7.0-551 |
Connectors and Encryption Components
Component | Version |
|---|---|
HBase connectors | 1.0.0.7.1.7.0-551 |
Hive Meta Store (HMS) | 1.0.0 |
Hive on Tez | 1.0.0 |
Hive Warehouse Connector | 1.0.0.7.1.7.0-551 |
Spark Atlas Connector | 0.1.0.7.1.7.0-551 |
Spark Schema Registry | 1.1.0.7.1.7.0-551 |
原文来源:https://docs.cloudera.com/cdp-private-cloud/latest/release-summaries/topics/announcement-202108-717.html
https://docs.cloudera.com/cdp-private-cloud-base/7.1.7/runtime-release-notes/topics/rt-pvc-runtime-component-versions.html




