暂无图片
暂无图片
2
暂无图片
暂无图片
暂无图片

金点分享 | 金篆GoldenDB的物理机规划和数据库节点评估—金融应用指南03

张芝 2024-02-29
230

为帮助金融机构做好分布式数据库产品的选型,推动分布式数据库产品在金融邻域的稳妥应用,金篆GoldenDB在北京金融科技产业联盟的指导下编写《GoldenDB分布式事务型数据库金融应用指南》。《指南》深入探讨了如何从应用规划、应用开发、数据迁移等关键环节,将金篆GoldenDB引入金融机构的IT系统中;在数据安全方面介绍了数据加密、访问控制等功能,在性能调优部分提供了完整的优化策略。

过去两期从金融应用场景、产品架构和产品特性三个维度为大家深入介绍了金篆GoldenDB。本期是系列文章的第3期,将为大家讲解金篆GoldenDB在金融应用规划阶段,如何做好关键资源要素设计。

物理机规划


选择合适的服务器:硬件配置,推荐CPU、内存、磁盘典型规格,RAID配置、网络冗余。

表1 典型服务器配置规格

服务器型号

支持:海光服务器,鲲鹏服务器,Intel服务器等。

CPU

标准推荐:2路24C以上,支持:Intel X86、海光X86、鲲鹏、龙芯、飞腾、兆芯等。

MEM

标准推荐:128G以上,典型配置256G、384G或512G。

DISK

系统盘: 2*480, 做RAID1 

数据盘:2块1.92T 以上,推荐SAS SSD磁盘以上,做RAID10

网络

万兆网络,双网卡绑定。

OS

支持KylinV10sp2/sp3,Redhat7.6 /Centos7.6以上,统信UOS、中兴新支点、方德、深之度、凝思、SUSE、Redhat。

金篆GoldenDB为纯软件组件构成,支持虚拟部署,最少要求3台12C 16G 500G硬盘(管理节点、数据节点、计算节点合设)。

数据库节点设计评估因素


在做数据库节点设计时,需要关注以下几个关键因素:

1) 数据量:单机数据量超过1TB,有必要开始考虑使用分布式数据库;超过2TB的数据量,需要使用多分片设计。数据量的评估不仅需要考虑当前存量,还要考虑未来的增量。

2) 交易量:业务系统TPS/QPS超过2000TPS/20000QPS,有必要开始考虑使用分布数据库;超过4000TPS/40000QPS,需要考虑使用多分片。交易量评估需要考虑:当前交易量、预期交易增量。结合平均TPS和峰值TPS两种情况。

数据库节点评估方法


数据库节点数量依据总数据量、单服务器存储容量、总TPS要求、单分片TPS预估共同确定。

01 以数据量作为节点数计算方式

1) 计算单台服务器的存储容量,服务器磁盘需要做RAID,推荐采用RAID10,这样服务器的总存储容量是裸容量的1/2,亦可以采用其他RAID模式。一般服务器磁盘需要预留一定的空闲空间(10~30%)。如以下服务器为例,使用RAID10后,预留30%空闲空间,则单台服务器容量为9.4T。

表2 服务器存储容量计算示例

单块容量(T)

1.92

磁盘数量

14

裸容量(T)

26.88

RAID10(T)

13.44

空闲空间

30%

单台服务器容量(T)

9.4

2) 计算业务存储容量需求。假设设计规模为38T,数据库日志空间为4T,计算得到总数据库空间为42T。

表3 数据总量计算示例

设计规模(T)

38

日志规模(T)

4

总数据规模(T)

42

3) 根据副本数量计算总的存储节点规模。

表4 典型服务器配置规格

总空间(T)

42

单台容量(T)

9.4

单副本台数

42/9.4~=5

副本数量

3

存储节点数(台)

15

02 以处理性能作为计算方式

1) 数据节点:以业务的TPS和QPS,按每台机器4000 TPS或者40000 QPS相除(2路24C+384G+SSD),得到数据分片数量。

2) 计算节点:业务的TPS和QPS,按每台机器6000 TPS或者60000 QPS相除(2路24C+384G),得到计算节点数量。

03 机器数量计算结果

1) 数据节点机器数量=max(总数据量/单分片数据量,总TPS要求/单分片TPS预估)*副本数量

2) 计算节点机器数量=总TPS要求/单计算节点TPS预估

04 资源评估工具示例

根据上述资源评估计算方法,可整理输出资源评估的小工具/公式(excel 工具),具体如下:

数据节点(按存储规模计算)

表5 按存储规模计算数据节点数量

参数

计算公式

说明

单块容量

1.92

输入值,根据服务器配置给定,影响单台服务器存储容量。

磁盘数量

14

输入值,根据服务器配置给定,影响单台服务器存储容量。

RAID空间

折算

1/2

输入值,RAID0为1,RAID10为1/2,RAID5(每4块磁盘)为3/4。生产系统推荐RAID10。

空闲空间比率(%)

30%

输入值,预留一定的磁盘空闲空间。推荐30%

单台服务器容量(T)

9.4

计算值,单块容量*磁盘数量*RAID空间折算*(1-空闲比例)计算得出。

设计规模(T)

38

输入值,包括表数据和索引。

数据库日志空间(T)

4

输入值,给数据库日志的存储空间,以每日生产数据库日志和天数进行计算,并建议至少保留7天。

总数据库空间(T)

42

计算值,设计规模+数据库日志空间。

数据分片数量(存储规模)

5

计算值,总数据库空间/单台服务器容量。

数据节点(按计算规模计算)

表6 按计算规模计算数据节点数量

参数

计算公式

说明

应用TPS

峰值

24000

输入值,实测或统计得出。

应用QPS

峰值

240000

输入值,实测或统计得出。

单节点TPS性能

4000

经验值,与CPU/内存/存储有关,基准为2路24C+384G内存+SSD存储。

单节点QPS性能

40000

经验值,与CPU/内存/存储有关,基准为2路24C+384G内存+SSD存储.

TPS所需

台数

6

计算值,应用TPS峰值/单节点TPS性能。

QPS所需

台数

6

计算值,应用QPS峰值/单节点QPS性能。

数据库节点台数(计算规模)

6

计算值,TPS和QPS所需台数取最大值。

总数据库空间(T)

42

计算值,设计规模+数据库日志空间。

数据分片数量(存储规模)

6

计算值,总数据库空间/单台服务器容量。

数据分片按数据量计算为5台,按处理性能计算为6台,两者取最大值,为6台

数据节点(按计算规模计算)

表7 按计算规模计算数据节点数量

参数

计算公式

说明

应用TPS

峰值

24000

输入值,实测或统计得出。

应用QPS

峰值

240000

输入值,实测或统计得出。

单节点TPS性能

6000

经验值,与CPU/内存有关,基准为2路24C+384G内存。

单节点QPS性能

60000

经验值,与CPU/内存有关,基准为2路24C+384G内存。

TPS所需

台数

4

计算值,应用TPS峰值/单节点TPS性能。

QPS所需台数

4

计算值,应用QPS峰值/单节点QPS性能。

计算节点台数(计算规模)

4

计算值,TPS和QPS所需台数取最大值。

服务器台数合计

表8 服务器总数量计算过程

数据节点

台数

6*3

计算值,取数据节点台数(存储规模)和数据节点台数(计算规模)最大值,再乘以三副本。

计算节点

台数

4

计算值,TPS和QPS所需台数取最大值。

管理节点

台数

1*3

经验值,金篆GoldenDB Insight和GTM合设,三个副本。

金篆GoldenDB总服务器台数

25

三种节点合计。

05 容器化方式部署

金篆GoldenDB也支持容器化部署方式。采用容器化部署时,根据应用的TPS/QPS选择合适的容器资源。具体如下:

1) CN节点。CN节点提供两种配置8C32G、16C64G。不同配置的性能容量如下:

表9 计算节点典型容器化配置规格

CN

CPU

内存

TPS

QPS

8C

32G

1500

15000

16C

64G

3000

30000

CN个数=总QPS需求/CN的QPS。

出于高可用设计要求,CN个数不得少于2个。

2) DN节点。DN节点提供三种配置8C32G、16C64G、16C128G。不同配置的性能容量如下:

表10 数据节点典型容器化配置规格

DN

CPU

内存

TPS

QPS

8C

32G

1000

10000

16C

64G

2000

20000

16C

128G

2000

20000

推荐单个DN的数据量不超过500G,根据QPS需求、数据量计算分片个数,再根据应用高可用需求计算DN容器数,推荐三副本以上。

分片个数=MAX((向上取整)总QPS需求/DN的QPS, (向上取整)数据总量/500)。

DN个数=分片个数乘以副本数。

3) GTM节点。GTM节点的配置为4C16G,租户级GTM,高可用与DN对等,推荐三副本以上。

本期从物理机规划和数据库节点评估两方面介绍了金篆GoldenDB的金融应用规划,下期将为大家深入介绍金篆GoldenDB的业务连续性规划,包括高可用设计和容灾方案。

公开资料显示,金篆GoldenDB是金融市场排名第一的金融级分布式数据库,银行业金融级分布式数据库市场份额占比为24.4%,银行核心系统市场投产数量占行业50%,银行次核心及非银核心系统市场投产数量占行业32%,这三项数据均为行业第一。GoldenDB现已服务超60家金融客户,核心系统案例覆盖国有大行、政策性银行、股份制银行、城商行、农商行、大型金融机构、券商、保险,具备支撑金融行业最核心业务系统的深厚实力和经验!

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论