GBase 8a MPP Cluster 数据加载参数及语句

• CHARACTER SET : 用来指定待加载数据文件的编码格式，目前支持GBK和UTF8 两种格式。省略时，认为不需要转码。
• DATA_FORMAT：用来指定使用哪种方式解析数据文件并加载。指定为3，表示使用文本方式加载。指定为4，表示使用定长方式加载。如果某列数据可能包含了行分隔符，则需要在SQL中输入'HAVING LINES SEPARATOR'子句。指定为5，表示使用文本文件宽松模式，即数据源文件为包围符中含有换行符和包围符文本文件，或多列少列文本文件。
• NULL_VALUE：用于指定空值字符，支持不超过15个任意字符的组合，参数值以引号包围，指定方式与字段包围符一样。
• TERMINATED BY：用于指定字段分隔符，支持不超过 15 个任意字符的组合，支持任意字符，参数值以引号包围，仅当使用文本方式加载时有效。可使用字符本身(仅限可见字符，如： "|")、 C 风格转义字符(如： "\a")、 \xhh 十六进制(如： "\xFF")或 x''十六进制(如： "x'09'")四种方式指定。例如： '|'，表示用|作为分隔字符。
• ENCLOSED BY：用于指定字段包围符，支持任意单字符，参数值以单引号包围，仅当使用文本方式加载时有效。可使用字符本身(仅限可见字符，如："|")、 C 风格转义字符(如： "\a")、 \xhh 十六进制(如： "\xFF")或 x''十六进制(如："x'09'")四种方式指定。
• PRESERVE [LEADING | TRAILING] BLANKS：用于设定是否保留字段内容两端的空格， 可选参数可以选择保留左边空格或者右边空格， 默认不保留空格。
• AUTOFILL：用于设定是否启用缺失列自动补齐功能，启用该参数后，对缺失分割符的字段数据按照 default 值或者 NULL值进行加载，默认不自动补齐。
• LENGTH：在使用定长模式加载时，用于设定字段长度的参数。定长格式数据导入时，设置每个字段的长度，有多个字段时，用逗号分隔。
• TABLE_FIELDS：用于指定列加载，对于日期时间类型可以设置每一列的格式。 对于数据加载过程中，数据文件中不需要加载的字段，可以使用table_fields 参数中的 filler 关键字将其忽略掉。
• SET：指定列值加载，加载系统将待加载文件和指定加载列值加载到集群系统的表中。
• TERMINATED BY：行分隔符，支持任意单字符，参数值以引号包围。指定方式与包围符一样。默认行分隔符为'\n'。
• MAX_BAD_RECORDS：在每次加载的任务中，设定错误数据行数的上限。当本次加载任务产生的错误数据行数大于 max_bad_records 设定的值时，加载任务回滚，加载工具报错退出。不指定该参数表示不限制错误条数，指定该参数时，此参数取值范围为： [0, 4294967295]。 0 表示只要有错误数据就报错退出。
• DATE FORMAT：用来指定 date 列类型的默认格式，如'%Y-%m-%d'。
• DATETIME FORMAT ： 用来指定datetime列的默认格式，如'%Y-%m-%d %H:%i:%s'。
• TIMESTAMP FORMAT ： 用来指定timestamp列的默认格式，如'%Y-%m-%d %H:%i:%s.%f'。
• TIME FORMAT：用来指定 time 列的默认格式，如'%H:%i:%s'。
• TRACE：用来指示本次加载是否保存错误数据溯源。如果指定为 0，则不溯源。如果指定为 1，则进行溯源。默认值为 1。
• TRACE_PATH：用来指定本次加载过程中产生的错误数据和日志存放路径。在禁用日志汇总功能时，该参数才能起作用 ， 默认值为加载节点的“ $GBASE_BASE/log/gbase/loader_logs”中。
• NOSPLIT：用来指定本次加载任务中是否禁用分块加载功能，指定该参数将禁用分块加载功能。不指定该参数，在集群加载时，将自动启动分块加载功能，按照数据量和参与运算的加载节点数对数据进行均匀分块，以均衡数据服务器和数据处理节点的负载，优化加载性能。
• PARALLEL：用来控制集群加载并行度，取值范围[0,1024]。默认值为 0，表示并行度取值是线程池最大可用线程数。
• MAX_DATA_PROCESSORS：用来指定本次加载任务中参与数据解析的处理的最大节点数，取值范围[1, 4294967295]，默认值 16。
• MIN_CHUNK_SIZE：用来指定本次加载任务中数据分块的最小粒度，取值范围[1, 4294967295]，默认值 64M。
• SKIP_BAD_FILE：用来指定本次加载任务中是否忽略不存在或没有读取权限的数据文件继续加载。如果指定为 0，则加载报错终止。如果指定为 1，则忽略异常文件继续加载。默认值为
• IGNORE NUM LINES： 配置该参数加载工具会将本次加载指定的所有数据文件的表头进行过滤，跳过每个文件的前 NUM 行（表头所占行数） ， NUM 取值范围为[0， MAX_UINT]
• FILE_FORMAT ： 用 来 指 定 被 加 载 文 件 的 格 式 。 枚 举 型 参 数 ， 取 值 为UNDEFINED 、 UNCOMPRESSED 、 GZIP 、 SNAPPY 、 LZO ， 默 认 为UNDEFINED。指定为 UNDEFINED，表示不指定格式，按文件后缀自动判断文件格式；指定为 UNCOMPRESSED，表示按普通文本方式加载文件；指定为 GZIP，表示按 GZIP 格式加载文件；指定为 SNAPPY，表示按 SNAPPY格式加载文件；指定为 LZO，表示按 LZO 格式加载文件。
• 
  

LOAD DATA INFILE 'file_list' INTO TABLE [dbname.]tbl_name [options] options:

[CHARACTER SET charset_name]

[DATA_FORMAT number

[HAVING LINES SEPARATOR]] [NULL_VALUE 'string']

[FIELDS [TERMINATED BY 'string']

[ENCLOSED BY 'string']

[PRESERVE BLANKS]

[AUTOFILL] [LENGTH 'string']

[TABLE_FIELDS 'string'] ]

[LINES [TERMINATED BY 'string'] ]

[MAX_BAD_RECORDS number]

[DATETIME FORMAT format]

[DATE FORMAT format]

[TIMESTAMP FORMAT format]

[TIME FORMAT format]

[TRACE number]

[TRACE_PATH 'string']

[NOSPLIT] [PARALLEL number]

[MAX_DATA_PROCESSORS number]

[MIN_CHUNK_SIZE number]

[SKIP_BAD_FILE number]

[SET col_name = value[,...]]

[IGNORE NUM LINES]

[FILE_FORMAT format]