暂无图片
暂无图片
1
暂无图片
暂无图片
暂无图片

GBase 8a 与Hadoop(HDFS)数据交换方案

原创 上善若水 2021-11-27
2300


GBase 8a 支持试用Load SQl的方式直接从Hadoop读取数据文件后,将数据加载到数据库中,主要说明如下:

1)       在GBase 8a上,使用Load SQL语句方式,进行数据加载,语句举例:

LOAD DATA INFILE  'hdp://hadoop@172.16.4.55:50070/user/hdfs/export/t1.snappy' INTO TABLE test.t1 FIELDS terminated by '|';

2)       GBase 8a 管理节点(gc)将通过Name Node 获取数据文件的具体存储信息,包括存储的文件大小,数据分布的DataNode信息等:

3)       管理节点将获取后的信息,加入到执行计划中,下发到GBase 各个计算节点;

4)       计算节点根据执行计划,访问hadoop的Data node,读取数据加载入库;

5)       支持NameNode 高可用;

6)       每次加载任务,与NameNode进行一次交互,加载过程中不再与NameNode产生交互;

7)       GBase 8a的加载会充分利用CPU、IO、网络等资源,因此加载任务的并发不需要太多,一般生产系统上加载任务的并发也不会超过10或20个,而加载任务过程中(每个任务会持续一段时间,视加载的文件大小而定),只是在最初访问一次Namenode,中间过程与Namenode不产生交互,因此对于Name Node 的影响几乎没有影响。

8)       GBase支持hadoop协议包含webhdfs、hdfs3;支持的文件格式包含txt、csv、gzip、snappy、lzo、avro、json。

9)       支持Kerberos认证。


「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论