1
Oracle/Mysql 同步 Greenplum/Csv文件同步脚本.pdf
25墨值下载
功能：
Oracle/Mysql 同步 Greenplum/Csv文件同步脚本
一、程序
程序运行环境：python3.6
1、将源库数据通过SQL生成CSV文件
2、将源库数据通过SQL同步入Greenplum数据库
anl_pyetl
1
├── py_conf #配置文件目录，可存放多个配置文件
2
│ └── 1-two_conn.ini # 配置文件，命名规则：序列-用户.ini
3
├── py_csv #CSV 文件输出目录
4
├── py_log #日志输出目录
5
│ └── 2024-07-19
6
│ └── two #用户名目录
7
│ └── py_etl.log #日志输出
8
├── py_main #主脚本目录
9
│ ├── main.py # 主脚本
10
│ └── py_main.py # 主脚本
11
├── py_sh # shell 目录
12
│ └── py_etl.sh # shell 调用python 脚本
13
├── py_sql # SQL 文本目录
14
│ └── two # 用户名目录
15
│ ├── 1.anl_trans_day.sql # 交易SQL
16
│ └── 2.anl_refund_day.sql # 退款SQL
17
└── py_tool # python 工具代码目录
18
├── confile.py # 操作配制文件
19
├── database.py # 数据库操作
20
└── dirfile.py # 文件操作
21
1.1、配置文件 ：1-two_conn.ini
命名规则：序列-用户.ini
[path_url]
1
#csv 文件目录
2
csvdir = /u01/script/anl_pyetl/py_csv/two/
3
#源库连接信息:支持：Oracle\Mysql\Greenplum\Postgresql
4
srcdb = {'dbtype':'oracle','user': 'two','passwd': 'two', 'tns':
'192.168.2.101:1521/two', 'encoding': 'utf-8'}
5
6
#Mysql
7
#dburl = {'dbtype':'mysql','user': 'two','passwd': 'two',
'dbname':'two_db','host':'192.168.2.101','port':3305}
8
9
#Greenplum
10
#srcdb = {'dbtype':'greenplum','user': 'two','passwd': 'two', 'dbname':
'two_db','host':'192.168.2.101','port':'5432'}
11
12
#目标库连接信息：仅支持Greenplum, 删除此配置仅生成csv文件，不入库
13
dstdb = {'dbtype':'greenplum','user': 'anl_two','passwd': 'anl_two', 'dbname':
'anltwo_db','host':'192.168.2.102','port':'5432'}
14
15
# 表1：anl_trans_day 与入库表名一致
16
[anl_trans_day]
17
# Y:同步，N:不同步
18
sync = Y
19
#同步状态，用于监控，Start :开始，End:同步结束，Fail:同步失败，格式：[状态:记录数:结束日期]
20
state = End:319843:2024-07-19 00:25:14
21
#指定SQL File
22
sqlfile = py_sql/two/1.anl_trans_day.sql
23
#传参数:同步昨天的数据
24
params = {"StartDate": "sysdate-1", "EndDate": "sysdate"}
25
26
[anl_refund_day]
27
sync = Y
28
state = End:1976:2024-07-19 00:27:16
29
sqlfile = py_sql/two/2.anl_refund_day.sql
30
#指定日期同步
31
params = {"StartDate": "2024-06-14", "EndDate": "2024-06-15"}
32
1.2、SQL 文件：1.anl_rans_day.sql
SELECT
1
id,
2
of 24
25墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
文档被以下合辑收录
评论