GBase 8a MPP Cluster数据加载及集成

数据加载

GBase 8a MPP Cluster 中，集群加载功能直接集成在 GBase 8a MPP Cluster 内部，不需要额外部署外部加载工具。
加载工具具备如下一些特性和优点：

• 与集群高度集成，方便部署；
• 支持SQL及外部工具的加载方式；面向用户的SQL接口方式使集群和单机加载方式统一，更符合用户的使用习惯；
• 支持单表多数据源并行加载，支持多加载机对单表的并行加载，最大化加载性能；
• 支持从通用数据服务器拉取数据，支持ftp/http/hdfs/RESTFUL/Kafka等多种文件传输协议；
• 支持普通文本、gzip压缩、snappy压缩等多种格式数据文件；
• 支持普通文本、定长文本、宽松模式的加载；
• 支持错误数据溯源功能，可以准确定位错误数据在源文件中的位置；
• 加载性能可以随着集群规模的扩展而持续提升。

kafka 数据集成

数据同步系统通过 OGG 复制 Oracle 的业务数据到 GBase 8a MPP Cluster，为了应对业务系统可能的峰值，在系统中加入 Kafka 消息队列作为缓冲区。总体流程如下：

OGG 发送端（GoldenGate Extract）从 Oracle 的在线日志和归档日志中抽取事务信息，生成 Trail 文件。OGG 接收端（GoldenGate Replicat）收到 Trail 文件抽取事务信息转换为目标格式，并生产事务消息到 Kafka。Consumer 从 Kafka 中消费事务消息，将数据更新到 8a MPP Cluster 中。

Kafka consumer 的主要功能就是同步 Kafka 数据到 8a MPP Cluster：

• 根据配置，可以指定需要同步的业务；
• 在同步过程中，提供同步状态查询功能；
• 实现数据同步的高可用性和事务数据一致性。