目前有20T的数据需要从gp导入至clickhouse,目前想到的方案有
1、导出csv,然后导入
2、使用外部表
3、用python读出数据,然后插入至clickhouse
还有其他更好的方案吗?
4、使用clickhouse自带的数据导入工具clickhouse-client,通过命令行将数据从gp导入至clickhouse。
5、使用第三方工具,如Apache Nifi、Apache Kafka等,将数据从gp传输到clickhouse。
6、使用分布式文件系统(如HDFS)将数据从gp传输到clickhouse。