Flink CDC、Paimon 和 Doris 搭建开始之前，
请确保您有以下环境：
• Linux 服务器若干台（根据集群规模）
• Java 8 或更高版本
• MySQL 5.7以上（用于 Flink CDC）
Flink 1.18 安装步骤：
1. 下载 Flink 1.18：
wget https://archive.apache.org/dist/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz
2. 解压并设置环境变量：
tar -zxvf flink-1.18.0-bin-scala_2.12.tgz
mv flink-1.18.0 opt/flink
echo 'export FLINK_HOME=/opt/flink' >> etc/profile
echo 'export PATH=$PATH:$FLINK_HOME/bin' >> etc/profile
source etc/profile
Flink CDC 配置步骤：
1. 下载 Flink CDC Connector for Flink 1.18（以 MySQL 为例）：
wget https://repo1.maven.org/maven2/com/ververica/flink-connector-mysql-cdc/2.4.1/flink-connector-mysql-cdc-2.4.1.jar
cp flink-connector-mysql-cdc-2.4.1.jar $FLINK_HOME/lib/
2. 创建 Flink CDC 作业配置文件（mysql-to-doris.yaml）：
source:
type: mysql
hostname: localhost
port: 3306
username: root
password: 123456
tables: app_db..*
server-id: 5400-5404
server-time-zone: UTC
sink:
type: doris
fenodes: 127.0.0.1:8030
username: root
password: ""
database: test_db
table: sink_table
table.create.properties.light_schema_change: true
table.create.properties.replication_num: 1
pipeline:
name: Sync MySQL Database to Doris
parallelism: 2
3. 提交 Flink CDC 作业：
$FLINK_HOME/bin/flink run -c com.alibaba.ververica.connectors.mysql.MySqlConnector \
-p 2 \
-Dconnector.mysql.hostname=localhost \
-Dconnector.mysql.port=3306 \
-Dconnector.mysql.username=root \
-Dconnector.mysql.password=123456 \
-Dconnector.mysql.database-name=app_db \
-Dconnector.mysql.table-name=.* \
-Dconnector.mysql.server-id=5400-5404 \
-Dconnector.mysql.server-time-zone=UTC \
-Dconnector.doris.fenodes=127.0.0.1:8030 \
-Dconnector.doris.username=root \
-Dconnector.doris.password= \
-Dconnector.doris.database=test_db \
-Dconnector.doris.table=sink_table \
-Dconnector.doris.table.create.properties.light-schema-change=true \
-Dconnector.doris.table.create.properties.replication-num=1 \
-Djob.name=Sync MySQL Database to Doris \
$FLINK_HOME/lib/flink-connector-mysql-cdc-2.4.1.jar
步骤 2: 搭建 Paimon
2.1 安装 Paimon
1. 下载 Paimon for Flink 1.18：
wget https://repository.apache.org/content/groups/snapshots/org/apache/paimon/paimon-flink-1.18/0.5-SNAPSHOT/paimon-flink-1.18-0.5-20230802.034234-105.jar
cp paimon-flink-1.18-0.5-20230802.034234-105.jar $FLINK_HOME/lib/
2. 启动 Flink 集群：
$FLINK_HOME/bin/start-cluster.sh
3. 使用 Flink SQL 客户端：
$FLINK_HOME/bin/sql-client.sh embedded
4. 创建 Paimon Catalog：
CREATE CATALOG paimon_catalog WITH (
'type' = 'paimon',
'warehouse' = 'file:///path/to/your/local/warehouse'
);
USE CATALOG paimon_catalog;
步骤 3: 搭建 Doris
3.1 安装 Doris
1. 下载并解压 Doris：
wget https://apache.doris.apache.org/downloads/main/2.1.1/apache-doris-2.1.1.tar.gz
tar -zxvf apache-doris-2.1.1.tar.gz -C opt/module/
mv opt/module/apache-doris-2.1.1 opt/module/doris
2. 配置 FE（Frontend）：
vim opt/module/doris/fe/conf/fe.conf
添加或修改以下配置：
LOG_DIR = ${DORIS_HOME}/log
meta_dir = opt/module/doris/doris-meta
priority_networks = 192.168.180.152/24
3. 创建元数据目录：
mkdir -p opt/module/doris/doris-meta
4. 配置环境变量：
echo 'export DORIS_HOME=/opt/module/doris' >> etc/profile
echo 'export PATH=$PATH:$DORIS_HOME/be/bin' >> etc/profile
echo 'export PATH=$PATH:$DORIS_HOME/extensions/apache_hdfs_broker/bin' >> etc/profile
echo 'export PATH=$PATH:$DORIS_HOME/fe/bin' >> /etc/profile
source /etc/profile
5. 启动 FE：
/opt/module/doris/fe/bin/start_fe.sh --daemon
6. 配置 BE（Backend）：
vim /opt/module/doris/be/conf/be.conf
添加或修改以下配置：
priority_networks = 192.168.180.153/24
storage_root_path = /opt/module/doris/be/storage.HDD;/opt/module/doris/be/storage.SSD
7. 创建存储目录：
mkdir -p /opt/module/doris/be/storage.HDD
mkdir -p /opt/module/doris/be/storage.SSD
8. 修改 start_be.sh 文件：
cd /opt/module/doris/be/bin/
vim start_be.sh
export JAVA_HOME=/opt/module/jdk1.8.0_212
9. 启动 BE：
/opt/module/doris/be/bin/start_be.sh --daemon
10. 连接 FE 和 BE：
使用 MySQL 客户端连接到 FE：
mysql -uroot -P9030 -p -h192.168.1.152
添加 BE 节点：
ALTER SYSTEM ADD BACKEND "192.168.1.153:9050";
11. 可选部署 Broker：
启动 Broker：
start_broker.sh --daemon
添加 Broker 节点：
ALTER SYSTEM ADD BROKER broker_name "192.168.1.152:8000";
