暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBase 8a通过sftp协议加载大文件报错

原创 何以丿伤别离 2021-12-15
1941

问题描述:

使用sftp加载大文件报错,加载小文件正常。

问题分析:

当集群并发加载任务数和单任务最大加载机数较大时,会出现sftp文件加载失败的情况。

问题解决:

确定是参数gcluster_loader_max_data_processors设置太大造成,将参数调小后无报错。

同时,建议使用sftp加载的方式,sshd的配置文件需要调整maxstartup、maxsession等参数。

如maxstartup调整如下:

# MaxStartups的值表示为“start:rate:full”,默认值为10:30:100,当未认证连接数达到start(10)时,新的连接尝试有“rate/100” (30%)的可能会被sshd拒绝,当未认证连接数达到full(100)时,所有新的连接尝试都会被拒绝。

# 在集群最大并发加载任务数为N,单加载任务最大加载机数(max_data_processors)为M时MaxStartups的推荐值为M*N+10:30:M*N*2

# MaxStartups 10:30:100
MaxStartups 20:30:100

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论