MogDB - 处理DB2数据库以特殊分隔符导出文件，导入Mogdb报错案例一则

前言

信创大环境下，大量信创数据库替代了原本DB2,Oracle数据库的位置，但是针对于报表业务，需要定时从核心数据库，如DB2源库中洗入数据，而在数据转换的过程中，经常会出现一些奇奇怪怪的问题。
本文针对一个DB2导出的使用特殊字符作为分隔符的案例，介绍处理该类问题的思路。

现象

DB2导出文件，使用特殊字符0x01作为分隔符，语法类似

load from 'path/filename.txt' of del modified by codepage=1208 coldel0x01 nochardel insert into schema.tablename;

但是简单改写SQL后，使用coldel0x0关键字，会在mogdb数据库导入时会出现语法不兼容错误提示

copy schema.tablename from 'path/filename.txt' with delimiter 'coldel0x01';

分析及处理

1、错误提示很明确，Mogdb中没有类似DB2中coldel0x01的语法，需要改写。我们可以简单的从coldel0X01语义中判断，文件是以0x01作为分隔符。那么0x01，到底指代的是什么字符呢？

2、根据本文末尾附注中的ascii表可以看到0x01对应的是SOH

3、在数据库中使用chr()函数，我们可以得到对应的0x01对应的数据库字符

MogDB=# select chr('01');
 chr  
------
 \x01
(1 row)

4、我们使用强制转义符(E),替换掉SQL中with delimiter coldel0x01报错部分，进行导入测试

copy t1 from '/home/omm/t1.dat' with delimiter E'\x01';

5、发现可以正常导入

6、至此问题解决

拾遗

1、Mogdb的copy命令支持多个字符或不可见字符分隔符





2、对于dat文本文件中存在\，copy自动转义，导致数据录入错误的场景，我们可以用WITHOUT ESCAPING关键字，取消针对于dat文本文件的自动转义功能

附注

ascii标准码表，含转义字符（图片版）：

ascii标准码表（文字版）：