暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

CDH配置Hue组件

Java菜鸟 2019-03-28
1432

Hue可以使用以下两种方式访问HDFS:

  1. 通过WebHDFS访问HDFS
    WebHDFS 具有高速良好的传输数据,因为客户端直接与Hadoop集群内的DataNode通信。

  2. 通过HttpFS访问HDFS
    HttpFS是一种代理服务,适合于与外部系统集成。

注意:
WebHDFS和HttpFS都使用HTTP REST API,因此它们完全可以共同使用,但Hue必须配置使用其中一个。对于HDFS高可用HA部署,必须使用HttpFS。

配置步骤:

  1. 启用WebHDFS,仅对使用WebHDFS方式访问HDFS

     <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>

    HDFS服务 》 配置 》搜索 dfs.webhdfs.enabled 》勾选 》保存更改

  2. HDFS上添加配置

    WebHDFS方式

     <!-- Hue WebHDFS proxy user setting -->
    <property>
    <name>hadoop.proxyuser.hue.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>hadoop.proxyuser.hue.groups</name>
    <value>*</value>
    </property>

    HDFS服务 》 配置 》搜索 core-site.xml 》添加配置 》保存更改
    HttpFS方式

     <!-- Hue HttpFS proxy user setting -->
    <property>
    <name>httpfs.proxyuser.hue.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>httpfs.proxyuser.hue.groups</name>
    <value>*</value>
    </property>

    HDFS服务 》 配置 》搜索 httpfs-site.xml 》添加配置 》保存更改

  3. 确保 core-site.xml 具有以下配置

     <property>  
    <name>hadoop.proxyuser.httpfs.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>hadoop.proxyuser.httpfs.groups</name>
    <value>*</value>
    </property>

    HDFS服务 》 配置 》搜索 core-site.xml 》添加配置 》保存更改

     ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190328113112636.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzIxNTI1MA==,size_16,color_FFFFFF,t_70)

  4. 在oozie-site.xml添加配置

     <!-- Default proxyuser configuration for Hue -->
    <property>
    <name>oozie.service.ProxyUserService.proxyuser.hue.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>oozie.service.ProxyUserService.proxyuser.hue.groups</name>
    <value>*</value>
    </property>

    Oozie服务 》 配置 》搜索 site.xml 》添加配置 》保存更改

  5. Hue配置 webhdfs_url

    在 hue.ini配置指定 WebHDFS 或 HttpFS的地址

     [hadoop]
    [[hdfs_clusters]]
    [[[default]]]
    # Use WebHdfs/HttpFs as the communication mechanism.
    # WebHdfs
    ...
    webhdfs_url=http://FQDN:50070/webhdfs/v1/
    # 或 HttpFs
    ...
    webhdfs_url=http://FQDN:14000/webhdfs/v1/

    Hue服务 》 配置 》搜索 webhdfs_url 》选择对应服务 》保存更改

  6. 重启集群


文章转载自Java菜鸟,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论