暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBase 8a MPP Cluster 硬件规划参考

原创 薛定谔的比干 2022-09-19
426

集群规划

V953版本:gcware解绑后,数据一致性管理节点减少能在保证集群高可用下减轻信息交互的资源消耗。

  • 一个gcware服务与一个gcluster服务部署在同一服务器上
  • 部署gcware可以等于或小于gcluster服务
  • gcware服务节点上限64个,通常推荐 3-7 个足够
  • gcware解绑后,gcluster服务节点数上限理论上可以超过64个,但通常建议配置的管理节点个数不超过64个,节点数过多,管理成本、ddl成本会比较高,具体根据业务需求确定。
  • gcware推荐部署奇数个
  • gcware节点不支持扩容,gcluster节点支持扩容
  • gnode节点支持节点数1000以上,支持扩容,建议单个VC的节点规模控制在300以下,也可以超过300。

数据量评估
未来使用年限
当前的数据量
预计每日增长的数据量
预计数据备份份数

计算公式:
压缩保守预计比 3:1
总数据量:[当前数据量 + 预计每日增长数据量 * (365 * 未来使用年限)* (预计数据备份分数 + 1)] / 3

单台服务器配置:
硬盘:做完RAID后实际可用存储空间

总数据量:每个节点保留40%预留空间,用以保持集群的性能和其他操作的备份空间
当前数据量 * (1 - 40%)

集群推荐
数据节点数量:总数据量/单台节点数据量
管理节点数量:推荐3-7个,如果并发量大或者sql复杂可配到5-7个。建议独立部署到单独的服务器最佳。

服务器配置硬件规划

数据节点内存:
8a自动评估内存,dc_heap用途是缓存数据(DC),如dc_heap不够用时,会向操作系统申请内存dc_heap_malloc。
dc_heap自动评估:实际内存6/16;上限为:实际内存0.8;
冷热数据按经验预计估计*:2,查询数据量为 dc_heap/0.2最佳
建议:数据按季度或月等时间分表,具体情况根据实际性能需求进行调整。

数据节点CPU
对CPU的消耗主要是数据压缩、解压、以及SQL运算中的计算需求。在不考虑计算类型的情况下,业界通常采用每CPU核心管理4GB到16GB内存,按照每CPU核心配备16GB内存计算。
建议:每个节点配置16核以上的CPU最佳。

管理节点配置
配置可比数据节点较低,建议CPU和内存一致,硬盘容量可比数据节点小。

8a MPP Cluster应用于数据IO密集型应用场景,系统整体性能与IO能力密切相关,以上为预估,部署完成后根据实测进行调整。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论