暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

CDP的Hive Metastore简介

大数据杂货铺 2021-08-02
1124

Hive Metastore (HMS) 是一种服务,用于在后端 RDBMS(例如 MySQL 或 PostgreSQL)中存储与 Apache Hive 和其他服务相关的元数据。Impala、Spark、Hive 和其他服务共享元存储。与 HMS 的连接包括 HiveServer、Ranger 和代表 HDFS 的 NameNode。

Beeline、Hue、JDBC 和 Impala shell 客户端通过 thrift 或 JDBC 向 HiveServer 发出请求。HiveServer 实例向 HMS 读/写数据。默认情况下,冗余的 HMS 以主动/主动模式运行。物理数据驻留在后端 RDBMS 中,一个用于 HMS的RDBMS。所有的 HMS 实例使用相同的后端数据库。一个单独的 RDBMS 支持安全服务,例如 Ranger。在任何给定时间,所有连接都路由到单一的 RDBMS 服务。HMS 通过thrift与 NameNode 对话,并充当 HDFS 的客户端。

HMS 直接连接到 Ranger 和 NameNode (HDFS),HiveServer 也是如此,但为简单起见,该图中并未显示。后端的一个或多个 HMS 实例可以与其他服务(例如 Ranger)通信。

HMS表的存储

当您运行 CREATE TABLE 语句或将表迁移到 Cloudera Data Platform 时,您需要了解 HMS 如何存储 Hive 表。语句的成功或失败、结果表类型和表位置取决于许多因素。

HMS 表的转换

HMS 包含有关您创建的表的以下 Hive 元数据

·       表的定义

·       列名

·       数据类型

·       中央的Schema存储库中的注释

当您在 CREATE TABLE 语句中使用 EXTERNAL 关键字时,HMS 会将表存储为外部表。当您省略 EXTERNAL 关键字并创建托管表或摄取托管表时,HMS 可能会将表转换为外部表,或者创建表可能会失败,这具体取决于表的属性。影响表转换的一个重要表属性是 ACID 或非 ACID 表类型

ACID

表属性不包含任何设置为 true ACID 相关属性。例如,该表不包含这样的属性 transactional=true insert_only=true

ACID

表属性确实包含一个或多个设置为 true ACID 属性

完全的ACID

表属性包含 transactional=true 包含insert_only=true

仅插入ACID

表属性包含 insert_only=true

以下矩阵显示了表类型以及是否支持位置属性

ACID

托管表

位置属性

注释

行动

ACID

是的

是的

迁移到 CDP,例如从 HDP CDH 集群。

表存储为外部

ACID

是的

表位置为空(null)

存储在外部仓库子目录中的表*

     metastore.warehouse.external.dir

    HMS 检测与 HMS 交互的客户端类型,例如 Hive 或 Spark,并将客户端的能力与表的需求进行比较。HMS 根据比较结果执行以下操作:

    表要求

    客户符合要求

    托管表

    ACID 表类型

    行动

    客户端可以写入任何类型的 ACID

    是的

    是的

    创建表失败

    客户端可以写入完整的 ACID

    是的

    insert_only=true

    创建表失败

    客户端可以写入仅插入的 ACID

    是的

    insert_only=true

    创建表失败

    例如,如果 Spark 客户端不具备所需的功能,则会出现以下类型的错误消息

      Spark has no access to table `mytable`. Clients can access this table only if
      they have the following capabilities: CONNECTORREAD,HIVEFULLACIDREAD, HIVEFULLACIDWRITE,
      HIVEMANAGESTATS, HIVECACHEINVALIDATE, . . .


      原文链接:https://docs.cloudera.com/cdp-private-cloud-base/latest/hive-hms-overview/topics/hive-hms-introduction.html



      文章转载自大数据杂货铺,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

      评论