暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBase 8a优化加载的参数相关配置

努力的贾维斯 2022-04-24
681

在GBase 8a中有多种方式优化加载,本章节讲解的参数可以很好的优化加载性能。

提升加载性能参数

gcluster_loader_max_data_processors

gcluster_loader_max_data_processors 为单个数据加载任务中最大加载机的个数,默认取值为 16。通常建议 gcluster_loader_max_data_processors 取值为 4~8。在使用 sftp 加载时,需要特别关注 ssh 连接个数限制,可能因为加载需要连接 sftp的加载机个数太多造成超过 ssh 允许的最大连接数而导致加载失败问题。可以调整sshd 的配置文件,调整 maxstartup、maxsession 等参数。

加载任务负载均衡设置

gcluster_load_rebalance_seed

gcluster_load_rebalance_seed 参数表示不同 data 节点上的加载任务数最大差值大于等于参数值时会启动 node 加载任务负载均衡,默认值为 5。如果取得更好的均衡效果,可以将参数 gcluster_load_rebalance_seed 设置为 2 或者 1。集群每个加载任务会随机选取不超过 gcluster_loader_max_data_processors 个data 节点作为加载机。在 gcluster_load_rebalance_seed 取默认值 5 的情况下,如果并发了 5 加载任务,都随机选取第 10 个节点作为加载机。此时第 10 个 data节点上 load 任务数为 5,同时也存在部分节点上 load 任务数为 0,data 节点间最大任务数之差为 5。当第 6 个加载下发时,根据 gcluster_load_rebalance_seed参数条件,不再选取第 10 个节点作为加载机,而是选取加载任务差值小于 5 的节点作为加载机。

加载单行最大长度设置

gbase_loader_max_line_length

gbase_loader_max_line_length 参数用于指定数据加载文件中允许的单行的最大长度,默认为 4M。GBase 8a 集群能够加载的最大的数据行长度为 4M,当待加载的数据文件中存在超过 4M 大小的行时,加载任务将失败并报错“Line length xxxx is more thangbase_loader_max_line_length(4194304)”,通过调整gbase_loader_max_line_length 参数为更大取值,可以让加载任务执行成功,超过 4M 大小的行则作为错误数据跳过。

加载读超时时间参数设置

gbase_loader_read_timeout

gbase_loader_read_timeout 参数用于指定读取 FTP/HTTP/SFTP 文件的超时时间,如果填充一个数据块(8M)的时间超过此参数值,加载任务将报错停止。0表示永不超时。默认取值为 300 秒。在较差网络环境下可调大概参数,避免出现 read operation timeout 超时错误。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论