执行加载操作时,加载所生成的错误数据与溯源信息日志会生成在随机选择的集群节点上,当集群规模不断变大的时候,这种使用方式会带来很多不便,为方便用户查看加载错误数据等相关加载日志信息,集群加载开发了日志查询与汇总功能,将一次加载的错误数据日志与溯源信息日志汇总至加载发起节点,并提供相应地查询以及检索日志的功能。
加载日志汇总功能:
(1)支持加载错误数据与溯源信息日志文件汇总至加载发起节点功能;
(2)支持加载结果信息统计日志功能;
(3)支持加载跳过数据文件列表日志回传到发起节点功能。
加载日志查询功能:
(1)支持加载错误数据与溯源信息以show语法方式的检索功能;
(2)支持加载结果信息内存表查询功能。
1、影响错误数据日志汇总的几个参数
gbase_loader_logs_collect
gbase_loader_logs_dir
trace, trace path
参数释义:
① gbase_loader_logs_collect 加载日志汇总开关,取值范围:0(关闭)或1(开启),默认值为1,即开启加载日志汇总,错误数据与溯源信息汇总到发起节点gbase_loader_logs_dir指定目录。
参数设置方式:set global或配置文件设置(注意:要求所有节点配置相同)
语句示例:
set global gbase_loader_logs_collect=1; (开启加载日志汇总功能)
set global gbase_loader_logs_collect=0; (关闭加载日志汇总功能)
② gbase_loader_logs_dir 加载错误数据和溯源日志文件的汇总目录,在该路径下会创建一个以TASK_ID_loader_result.log命名的日志,存放本次加载的结果信息。
默认值:$GULUSTER_HOME/log/gcluster/loader_logs (gcluster层)
$GULUSTER_HOME/log/gbase/loader_logs (gnode层)
参数设置方式:set global或配置文件设置(注意:要求所有节点配置相同)
特别注意:
参数gbase_loader_logs_dir设置时,要求所有节点存在指定目录,且具有写(w)权限,否则,没有指定目录的节点设置失败。
③ tarce, trace path
当加载日志汇总开关参数gbase_loader_logs_collect设置为0(关闭)时,加载日志的生成与存储由参数trace, trace path控制。
参数trace:用来指示本次加载是否保存错误数据溯源。取值范围:0(不溯源)或1(溯源),默认值为1。
参数trace path:用来指定本次加载过程中产生的错误数据和日志存放路径。在禁用日志汇总功能时,该参数才能起作用,默认值为加载节点的$GULUSTER_HOME/log/gbase/loader_logs中。
语句示例:
Load data infile ‘ftp://数据节点IP/data/test.tbl’ into table table_Name fields terminated by ‘|’ trace 0 trace_path ‘/opt/test_dirName’;
trace为0,不保存错误数据溯源,即指定路径 ‘/opt/test_dirName’下没有相应地task_id文件。
Load data infile ‘ftp://数据节点IP/data/test.tbl’ into table table_Name fields terminated by ‘|’ trace 1 trace_path ‘/opt/test_dirName’;
trace为1,保存错误数据溯源,即指定路径 ‘/opt/test_dirName’下有相应地task_id文件(需要在集群各节点相应路径下查找)。
2、加载错误数据与溯源信息以show语法方式的检索
语法格式:
show [gcluster] load logs task_id [limit <offset.length>];
语句释义:
(1)show load logs 129;
显示当前coor节点task_id 129任务的前10条错误数据信息。
(2)show load logs 129 limit 2;
显示task_id 129任务的前2条错误数据信息。
(3)show load logs 129 limit 1,3;
显示task_id 129任务的从第1条开始的后面3条错误数据信息。
(4)show gcluster load logs 129;
显示所有coor节点上task_id 129任务的前10条错误数据信息。
注意:
(1)show查询功能,只能查询当前汇总目录内的加载错误数据与溯源信息,即如果对gbase_loader_logs_dir变更后,show load logs查询不到原指定目录的相关加载信息。
(2)show load logs支持对用户权限控制,默认只能查询当前用户指定加载任务的信息,有process权限的用户,可以查询其他用户指定加载任务的信息。
(3)show load logs语句,默认显示本次加载产生的错误数据的前10条信息。




