技术调研 | 低代码Oracle同步数据到Doris

引言

https://www.modb.pro/db/1694184502469939200

看到selectDB开发了一个对Oracel11G数据同步的工具，工具是基于flink的低代码工作的，就想着快速测试一把，看它好不好用。

环境准备

Oracle

# 拉取镜像
docker pull registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11g

# 启动镜像
docker run -it -d \
--privileged \
-p 1521:1521 \
--name oracle11g \
-e ORACLE_ALLOW_REMOTE=true \
-v /mnt/disk1/oracle:/data/oracle \
registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11g

# 进入容器
docker exec -it oracle11g bash

Doris

准备apache-doris-2.0.0\StarRocks-3.1.2\selectdb2.0.0,直接单机的安装方式，参见

https://www.modb.pro/db/1697283553411289088

Oracle启用CDC日志

mkdir  /home/oracle/oracle-data

最近还需要加上

Flink 环境配置

cd  <FLINK_HOME>/lib
wget https://repo.maven.apache.org/maven2/com/ververica/
flink-sql-connector-oracle-cdc/2.3.0/flink-sql-connector-oracle-cdc-2.3.0.jar


wget https://repository.apache.org/content/repositories/snapshots/org/apache/doris/flink-doris-connector-1.16/
1.5.0-SNAPSHOT/flink-doris-connector-1.16-1.5.0-20230811.065053-1.jar 
-O flink-doris-connector-1.16-1.5.0-SNAPSHOT.jar

# 启动Flink集群
bin/start-cluster.sh

flink提交作业

<FLINK_HOME>/bin/flink run \
     -Dexecution.checkpointing.interval=10s \
     -Dparallelism.default=1 \
     -c org.apache.doris.flink.tools.cdc.CdcTools \
     ./lib/flink-doris-connector-1.16-1.5.0-SNAPSHOT.jar \
     oracle-sync-database \
     --database test_db \
     --oracle-conf hostname=127.0.0.1 \
     --oracle-conf port=1521 \
     --oracle-conf username=admin \
     --oracle-conf password=admin123 \
     --oracle-conf database-name=HELOWIN \
     --oracle-conf schema-name=ADMIN \
     --including-tables "PERSONS.*" \
     --sink-conf fenodes=127.0.0.1:8030 \
     --sink-conf username=root \
     --sink-conf password=\
     --sink-conf jdbc-url=jdbc:mysql://127.0.0.1:9030 \
     --sink-conf sink.label-prefix=label \
     --table-conf replication_num=1
     

调研测试

• SelectDB顺利通过测试，满足预期
• apache doris顺利通过测试 ，满足预期。
• StarRocks没有通过测试，通过后台日志，发现语法报错，前面flink日志检查 CREATE TABLE IF NOT EXISTS test_db.PERSONS(ID BIGINT COMMENT ‘’,NAME VARCHAR(384) COMMENT ‘’ ) UNIQUE KEY(ID) DISTRIBUTED BY HASH(ID) BUCKETS AUTO PROPERTIES(‘replication_num’=‘1’,‘light_schema_change’=‘true’)， 放到 StarRocks确实是运行不了，这个时候才发现StartRocks真的是区分 apache doris、SelectDB