暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBase 8a之数据加载

原创 就叫这个名吧。 2022-10-25
1070

GBase 8a 支持通过 SQL 接口进行数据加载。语法:

LOAD DATA INFILE ‘file_list’ INTO TABLE tbl_name [options]

tbl_name:
[database_name.]table_name
options:
[DATA_FORMAT number [HAVING LINES SEPARATOR]]
[NULL_VALUE ‘string’] [FIELDS
[TERMINATED BY ‘string’] [ENCLOSED BY ‘string’] [PRESERVE BLANKS] [AUTOFILL] [{LENGTH|DEFINER} ‘string’]
[TABLE_FIELDS ‘string’]
] [LINES
[TERMINATED BY ‘string’]
]
[MAX_BAD_RECORDS number] [DATETIME FORMAT format]
[DATE FORMAT format] [TIMESTAMP FORMAT format]
[TIME FORMAT format] [TRACE number] [TRACE_PATH ‘string’] [PARALLEL number] [SKIP_BAD_FILE number]
[SET col_name = value[,…]]

参数说明:

FILE_LIST:待加载文件列表。支持以本地文件方式和 URL 方式指定数据文件路径,以英文逗号(‘,’)作为多个文件的分隔符。
scheme://[user:password@]host[:port]/path,
scheme://[user:password@]host[:port]/path
OPTIONS:

DATA_FORMAT:用来指定使用哪种方式解析数据文件并加载。指定为 3,表示使用文本方式加载。指定为 4,表示使用定长方式加载。如果某列数据可能包含了行分隔符,则需要在 SQL 中输入’HAVING LINES SEPARATOR’子句。指定为 5,表示使用文本文件宽松模式,即数据源文件为包围符中含有换行符和包围符文本文件,或多列少列文本文件。
NULL_VALUE:用于指定空值字符,支持不超过 15 个任意字符的组合,参数值以引号包围,指定方式与字段包围符一样。

FIELDS 子段:

TERMINATED BY:用于指定字段分隔符,支持不超过 15 个任意字符的组合, 支持任意字符,参数值以单引号包围,仅当使用文本方式加载时有效。可使用字符本身。
ENCLOSED BY:用于指定字段包围符,支持任意单字符,参数值以单引号包围,仅当使用文本方式加载时有效。可使用字符本身。

PRESERVE BLANKS:用于设定是否保留字段内容两端的空格,默认不保留空格。
AUTOFILL:用于设定是否启用缺失列自动补齐功能,启用该参数后,对缺失分割符的字段数据按照 default 值或者 NULL 值进行加载,默认不自动补齐。
LENGTH|DEFINER:在使用定长模式加载时,用于设定字段长度的参数。定 长格式数据导入时,设置每个字段的长度,有多个字段时,用逗号分隔。
TABLE_FIELDS:用于指定列加载,对于日期时间类型可以设置每一列的格式。

SET:指定列值加载,加载系统将待加载文件和指定加载列值加载到集群 系统的表中。输入的类型应为常量,包括字符串、整数值、浮点值和 NULL。

LINES 子段:

TERMINATED BY:行分隔符,支持任意单字符,参数值以引号包围。指定方式与包围符一样。默认行分隔符为’\n’。
MAX_BAD_RECORDS:在每次加载的任务中,设定错误数据行数的上限。当 本次加载任务产生的错误数据行数大于 max_bad_records 设定的值时,加载任务回滚,加载工具报错退出。此参数取值范围为:[0, 4294967295]。此参数为可选参数,默认不限制错误条数。0 表示只要有错误数据就报错退出。
DATE FORMAT:用来指定 date 列类型的默认格式,默认为’%Y-%m-%d’。

DATETIME FORMAT : 用来指定 datetime 列的默认格式, 默认为’%Y-%m-%d %H:%i:%s’。
TIMESTAMP FORMAT : 用来指定 timestamp 列的默认格式, 默认为’%Y-%m-%d %H:%i:%s’。
TIME FORMAT:用来指定 time 列的默认格式,默认为’%H:%i:%s’。

TRACE:用来指示本次加载是否保存错误数据溯源。如果指定为 0,则不溯源。如果指定为 1,则进行溯源。默认值为 1。
溯源信息包括:错误数据所在的文件,所在行号。
TRACE_PATH:用来指定本次加载过程中产生的错误数据和日志存放路径。缺省情况下,错误数 据和溯源日志记 录在加载机节 点的
/opt/gnode/log/gbase/loader_logs 下。
PARALLEL:用来控制加载并行度,取值范围[0,1024]。默认值为 0,表示并行度取值是线程池最大可用线程数。
SKIP_BAD_FILE: 用来指定本次加载任务中是否忽略不存在或没有读取权限的数据文件继续加载。如果指定为 0,则加载报错终止。如果指定为 1,则忽略异常文件继续加载。默认值为 0。

最后修改时间:2022-10-25 10:19:47
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论