暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBase南大通用云数仓与GBase 8a的DBLink访问网络打通问题

白军奎 2023-12-26
246

GCDW是GBase南大通用的云数仓产品,支持K8S容器云平台、虚拟机、物理机等多种部署方式。具有存储、计算、元数据分离的架构设计,使用HDFS、S3作为数据存储服务,计算节点管理节点无状态可以随需扩展。

GCDW是GBase 8a集群的云数仓版本形态,与GBase 8a共用开发接口、SQL解析、计算引擎等。所以用户的业务是无需改造既可以从云下的GBase 8a迁移到云上GCDW上的。

同样的,GCDW集成了GBase8a的功能,包括DBLINK能力。

GCDW支持与GBase 8a集群的DBLink访问,但在GCDW部署在K8S容器云平台的场景下,与云平台外部的物理机上部署的GBase 8a集群进行DBLINK访问时,存在云上云下的dblink网络不通的问题。由于容器只有在K8S平台内访问的虚拟IP地址,物理机无法知晓容器的访问地址,而dblink需要两端的环境是需要相互访问的,即DBLink访问的关键是需要K8S云平台和物理机网络的打通。

GBase南大通用针对该问题有两个解决方案:
方案1:使用K8S的NodePort方案,在每个容器节点上使用NodePort Service将POD的IP地址暴露出来。该方案下一方面需要暴露K8S节点的IP地址,二是数据传输效率比较低;
方案2:由云平台提供VPC网络打通容器和外部服务器的网络连接,此时GCDW云数仓将有两套网络地址,一是集群内使用的域名地址,二是云平台分配的IP地址,GCDW在进行DBLink访问时将域名动态转换为IP地址提供给GBase 8a集群,用于GBase 8a计算节点访问GCDW的计算节点进行点对点数据传输。该方案由于VPC网络没有额外的隧道封装,性能更好。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论