暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBase 8a 数据导出hdfs时报错

VV_刺头王 2022-01-20
1636

 问题及现象:
使用SELECT INTO OUTFILE命令,把GBASE 8a集群中的表导出到HADOOP中的HDFS上,命令为:
gbase> select * from test.cd_normal_test into outfile 'HDP://10.254.10.33:50070/data/cd_normal_test.tbl?user=crossdata' outfilemode by hdfs writemode by overwrites FIELDS TERMINATED BY ',';
报错
ERROR 1708 (HY000): [10.254.10.34:5050](GBA-02EX-0005) Failed to query in gnode:
DETAIL: Query failed.
CAUSE GBA-01EX-700) Gbase general error: I/O operation on HDP://10.254.10.33:50070/data/cd_normal_test_n1.tbl?user=crossdata failed with error - Operation not permitted File name HDP://10.254.10.33:50070/data/cd_normal_test_n1.tbl?user=crossdata
SQL: SELECT /*10.254.10.33_1265_2_2016-07-11_23:32:08*/ /*+ TID('552') */ `test.cd_normal_test`.`id` AS `id`, `test.cd_normal_test`.`name` AS `name`, `test.cd_normal_test`.`age` AS
查看hadoop上的数据,只导出每个节点的一条数据。

 原因及解决方法:
hadoop集群的replicate参数配置不正确,hadoop集群只有2个节点,replicate配置是3。
当HDFS的复本数大于DATANODE时,会导致SELECT INTO OUTFILE到HDFS的功能异常。
修改replicate配置后,可以正常导出。
Vim hdfs-site.xml
找到参数:dfs.replication,进行修改。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论