分层存储可以概括为将数据分为高频访问的热数据和低频访问的冷数据, 并分别存储在热数据层和冷数据层,以达到性能与成本的平衡。典型的交易系统中除了高频访问的资料数据、资产数据外,在交易过程中会产生大量的带时间戳的日志型记录,如交易流水数据、运行日志数据等,随着系统在网时间越长, 这类日志型记录会越来越多,最终整个系统的冗余数据变得异常庞大。这种情况在磁盘库上可能问题不太明显,但是在全内存态运行的数据库中就显得尤为棘手,毕竟内存的成本是相对高昂的,用内存去存储这类冗余数据显得不划算。
如图 4-3 所示为在一个典型交易系统中的冷热数据分类情况。进一步分析这类数据的用途可以发现,这类数据往往不参与交易系统核心交易过程,更多是作为事后分析、排查问题的数据依据。对这些数据的访问在时效性、吞吐量等指标方面并没有太高的要求,因此从交易系统角度看,将这类数据转移到低端存储上是完全可以接受的。这就需要内存数据库可以支持在多种存储介质上对数据进行迁移,并且这个过程必须是无感的、自动完成的,以免对应用层造成影响。

AntDB 分布式内存数据库支持以下两种存储结构:
● 内存。
● 磁盘。
内存包括通用的 DDR 内存,以及近年涌现的 PMEM 持久内存。相比DDR 内存,PMEM 持久内存适用于要求高性能的缓存业务,与全内存运行相比在牺牲一定响应时间的同时,可以获得更高的性价比。如图 4-4 所示为通过实际测试得到数据。

图 4-4 所示为 DDR 与 PMEM 性能测试对比,在实现室环境下相同硬件测试平台上,采用持久内存的平台整体性能可以达到全内存平台的 92.7%。
磁盘存储,包括传统机械硬盘、磁带以及近年开始逐渐成为主流的 SSD 固态硬盘。在服务器平台下,磁盘存储往往以阵列模式部署,自身具备一定的数据容灾能力。
AntDB 分布式内存数据库可以通过建表语句指定表单数据的存储介质,目前支持的枚举包括“HOT”和“COLD”两种,从业务视角区分数据的冷、热程度以及存储方式。以交易类系统为例,在实际使用过程中,可以将与实时交易过程紧密相关的资料数据、资产数据相关表设定为“HOT”,这部分数据常驻内存,提供极高的访问速率与极低的时延,而针对庞大的运行日志数据则设定为“COLD”,这部分数据存储到廉价的磁盘整列,既不影响数据的访问,又可以提供整体数据库建设方案的性价比。
切换策略的设定。AntDB 分布式内存数据库在支持多种存储引擎的同时, 可以支持表单级的跨存储切换。交易类流水数据在业务上有一个渐冷的过程, 例如近期的交易流水查询率较高,不能直接归入冷数据,但超过一定时间的交易流水几乎只有审查的作用,对实时交易过程并没有太多作用。针对这一类场景 AntDB 分布式内存数据库可以指定“表单 + 条件”的切换策略,如 trans_ yyyymmdd 类的交易流水表,以时间轴为条件,定期进行存储的切换。这个过程是自动化的,无须人工干预。分层存储可以概括为将数据分为高频访问的热数据和低频访问的冷数据, 并分别存储在热数据层和冷数据层,以达到性能与成本的平衡。典型的交易系统中除了高频访问的资料数据、资产数据外,在交易过程中会产生大量的带时间戳的日志型记录,如交易流水数据、运行日志数据等,随着系统在网时间越长, 这类日志型记录会越来越多,最终整个系统的冗余数据变得异常庞大。这种情况在磁盘库上可能问题不太明显,但是在全内存态运行的数据库中就显得尤为棘手,毕竟内存的成本是相对高昂的,用内存去存储这类冗余数据显得不划算。
如图 4-3 所示为在一个典型交易系统中的冷热数据分类情况。进一步分析这类数据的用途可以发现,这类数据往往不参与交易系统核心交易过程,更多是作为事后分析、排查问题的数据依据。对这些数据的访问在时效性、吞吐量等指标方面并没有太高的要求,因此从交易系统角度看,将这类数据转移到低端存储上是完全可以接受的。这就需要内存数据库可以支持在多种存储介质上对数据进行迁移,并且这个过程必须是无感的、自动完成的,以免对应用层造成影响。
AntDB 分布式内存数据库支持以下两种存储结构:
● 内存。
● 磁盘。
内存包括通用的 DDR 内存,以及近年涌现的 PMEM 持久内存。相比DDR 内存,PMEM 持久内存适用于要求高性能的缓存业务,与全内存运行相比在牺牲一定响应时间的同时,可以获得更高的性价比。如图 4-4 所示为通过实际测试得到数据。
图 4-4 所示为 DDR 与 PMEM 性能测试对比,在实现室环境下相同硬件测试平台上,采用持久内存的平台整体性能可以达到全内存平台的 92.7%。
磁盘存储,包括传统机械硬盘、磁带以及近年开始逐渐成为主流的 SSD 固态硬盘。在服务器平台下,磁盘存储往往以阵列模式部署,自身具备一定的数据容灾能力。
AntDB 分布式内存数据库可以通过建表语句指定表单数据的存储介质,目前支持的枚举包括“HOT”和“COLD”两种,从业务视角区分数据的冷、热程度以及存储方式。以交易类系统为例,在实际使用过程中,可以将与实时交易过程紧密相关的资料数据、资产数据相关表设定为“HOT”,这部分数据常驻内存,提供极高的访问速率与极低的时延,而针对庞大的运行日志数据则设定为“COLD”,这部分数据存储到廉价的磁盘整列,既不影响数据的访问,又可以提供整体数据库建设方案的性价比。
切换策略的设定。AntDB 分布式内存数据库在支持多种存储引擎的同时, 可以支持表单级的跨存储切换。交易类流水数据在业务上有一个渐冷的过程, 例如近期的交易流水查询率较高,不能直接归入冷数据,但超过一定时间的交易流水几乎只有审查的作用,对实时交易过程并没有太多作用。针对这一类场景 AntDB 分布式内存数据库可以指定“表单 + 条件”的切换策略,如 trans_ yyyymmdd 类的交易流水表,以时间轴为条件,定期进行存储的切换。这个过程是自动化的,无须人工干预。




