达梦数据库内存结构简述、参数修改以及案例优化（笔记）

DM 内存结构

数据库管理系统是一种对内存申请和释放操作频率很高的软件，如果每次对内存的使用都使用操作系统函数来申请和释放， 效率会比较低， 加入自己的内存管理是 DBMS 统所必须的。通常内存管理系统会带来以下好处：
1. 申请、释放内存效率更高；
2. 能够有效地了解内存的使用情况；
3. 易于发现内存泄露和内存写越界的问题。

DM 数据库管理系统的内存结构主要包括:内存池、缓冲区、排序区、哈希区等。根据系统中子模块的不同功能，对内存进行了上述划分，并采用了不同的管理模式。

1.内存池

1.1 共享内存池

1.2 运行时内存池

2.缓冲区

2.1 数据缓冲区

2.2 日志缓冲区

2.3 字典缓冲区

2.4 SQL 缓冲区

3 排序区

4 哈希区

1.内存池

DM Server的内存池包括共享内存池和其他一些运行时内存池。动态视图V$MEM_POOL详细记录了当前系统中所有的内存池的状态，可通过查询这个动态视图掌握DM Server的内存使用情况。

1.1 共享内存池

共享内存池是DM Server在启动时从操作系统申请的一大片内存。在DM Server的运行期间，经常会申请与释放小片内存，而向操作系统申请和释放内存时需要发出系统调用，此时可能会引起线程切换，降低系统运行效率。采用共享内存池则可一次向操作系统申请一片较大内存，即为内存池，当系统在运行过程中需要申请内存时，可在共享内存池内进行申请，当用完该内存时，再释放掉，即归还给共享内存池。

DM 系统管理员可以通过DM Server的配置文件（dm.ini）来对共享内存池的大小进行设置， 共享池的参数为MEMORY_POOL，该配置默认为200M。如果在运行时所需内存大于配置值，共享内存池也可进行自动扩展， INI参数MEMORY_EXTENT_SIZE指定了共享内存池每次扩展的大小，参数 MEMORY_TARGET 则指定了共享内存池扩展到超过该值后， 空闲时会收缩到的大小。

1.2 运行时内存池

除了共享内存池，DM Server的一些功能模块在运行时还会使用自己的运行时内存池。这些运行时内存池是从操作系统申请一片内存作为本功能模块的内存池来使用， 如会话内存池、虚拟机内存池等。

2.缓冲区

2.1 数据缓冲区

数据缓冲区是DM Server在将数据页写入磁盘之前以及从磁盘上读取数据页之后， 数据页所存储的地方。这是DM Server至关重要的内存区域之一，将其设定得太小，会导致缓冲页命中率低，磁盘IO频繁；将其设定得太大，又会导致操作系统内存本身不够用。

系统启动时，首先根据配置的数据缓冲区大小向操作系统申请一片连续内存并将其按数据页大小进行格式化，并置入―自由‖链中。数据缓冲区存在三条链来管理被缓冲的数据页，一条是―自由‖链，用于存放目前尚未使用的内存数据页，一条是―LRU‖链，用于存放已被使用的内存数据页(包括未修改和已修改)， 还有一条即为―脏‖链， 用于存放已被修改过的内存数据页。

LRU 链对系统当前使用的页按其最近是否被使用的顺序进行了排序。这样当数据缓冲区中的自由链被用完时，从 LRU 链中淘汰部分最近未使用的数据页，能够较大程度地保证被淘汰的数据页在最近不会被用到，减少IO。

在系统运行过程中，通常存在一部分―非常热‖（反复被访问）的数据页，将它们一直留在缓冲区中，对系统性能会有好处。对于这部分数据页，数据缓冲区开辟了一个特定的区域用于存放它们，以保证这些页不参与一般的淘汰机制，可以一直留在数据缓冲区中。

(1) 类别

DM Server中有四种类型的数据缓冲区，分别是NORMAL、KEEP、FAST和RECYCLE。其中，用户可以在创建表空间或修改表空间时，指定表空间属于NORMAL或KEEP缓冲区。RECYCLE缓冲区供临时表空间使用，FAST缓冲区根据用户指定的FAST_POOL_PAGES大小由系统自动进行管理，用户不能指定使用 RECYCLE 和 FAST 缓冲区的表或表空间。

NORMAL 缓冲区主要是提供给系统处理的一些数据页，没有特定指定缓冲区的情况下，默认缓冲区为 NORMAL； KEEP的特性是对缓冲区中的数据页很少或几乎不怎么淘汰出去，主要针对用户的应用是否需要经常处在内存当中，如果是这种情况，可以指定缓冲区为KEEP。

DM Server提供了可以更改这些缓冲区大小的参数，用户可以根据自己应用需求情况，指定dm.ini文件中 BUFFER(100MB)、 KEEP(8MB)、 RECYCLE(64MB)、FAST_POOL_PAGES(3000)值（括号中为默认值），这些值分别对应是 NORMAL缓冲区大小、KEEP缓冲区大小、RECYCLE缓冲区大小、FAST缓冲区数据页总数。

(2) 读多页

在需要进行大量 I/O 的应用当中， DM 之前版本的策略是每次只读取一页。如果知道用户需要读取表的大量数据，当读取到第一页时，可以猜测用户可能需要读取这页的下一页，在这种情况下，一次性读取多页就可以减少 I/O 次数，从而提高了数据的查询、修改效率。

DM Server提供了可以读取多页的参数，用户可以指定这些参数来调整数据库运行效率的最佳状态。在 DM 配置文件 dm.ini 中，可以指定参数 MULTI_PAGE_GET_NUM 大小（默认值为 1 页），来控制每次读取的页数。

如果用户没有设置较适合的参数MULTI_PAGE_GET_NUM值大小，有时可能会给用户带来更差的效果。 如果 MULTI_PAGE_GET_NUM 太大，每次读取的页可能大多都不是以后所用到的数据页，这样不仅会增加 I/O 的读取，而且每次都会做一些无用的 I/O，所以系统管理员需要衡量好自己应用需求，给出最佳方案。

2.2 日志缓冲区

日志缓冲区是用于存放重做日志的内存缓冲区。为了避免由于直接的磁盘 IO 而使系统性能受到影响，系统在运行过程中产生的日志并不会立即被写入磁盘，而是和数据页一样，先将其放置到日志缓冲区中。那么为何不在数据缓冲区中缓存重做日志而要单独设立日志缓冲区呢？主要是基于以下原因：

1. 重做日志的格式同数据页完全不一样，无法进行统一管理；

2. 重做日志具备连续写的特点；

3. 在逻辑上， 写重做日志比数据页 IO 优先级更高。

DM Server 提供了参数 RLOG_BUF_SIZE对日志缓冲区大小进行控制，日志缓冲区所占用的内存是从共享内存池中申请的，单位为页数量，且大小必须为 2 的 N 次方，否则采用系统默认大小512页

2.3 字典缓冲区

字典缓冲区主要存储一些数据字典信息，如模式信息、表信息、列信息、触发器信息等。每次对数据库的操作都会涉及到数据字典信息，访问数据字典信息的效率直接影响到相应的操作效率，如进行查询语句，就需要相应的表信息、 列信息等，这些字典信息如果都在缓冲区里，则直接从缓冲区中获取即可， 否则需要 I/O 才能读取到这些信息。

DM8采用的是将部分数据字典信息加载到缓冲区中，并采用 LRU 算法进行字典信息的控制。缓冲区大小设置问题，如果太大，会浪费宝贵的内存空间，如果太小，可能会频繁的进行淘汰，该缓冲区配置参数为DICT_BUF_SIZE，默认的配置大小为5M。

DM8采用缓冲部分字典对象，那会影响效率吗？数据字典信息访问存在热点现像，并不是所有的字典信息都会被频繁的访问，所以按需加载字典信息并不会影响到实际的运行效率。但是如果在实际应用中涉及对分区数较多的水平分区表访问，例如上千个分区，那么就需要适当调大DICT_BUF_SIZE参数值。

2.4 SQL 缓冲区

SQL 缓冲区提供在执行 SQL 语句过程中所需要的内存，包括计划、 SQL 语句和结果集缓存。

很多应用当中都存在反复执行相同SQL语句的情况，此时可以使用缓冲区保存这些语句和它们的执行计划，这就是计划重用。这样带来的好处是加快了SQL语句执行效率，但同时给内存也增加了压力。

DM Server 在配置文件 dm.ini 提供了参数来支持是否需要计划重用，参数为USE_PLN_POOL，当指定为非0时，则启动计划重用；为0时禁止计划重用。DM同时还提供了参数CACHE_POOL_SIZE（单位为 MB），来改变SQL缓冲区大小，系统管理员可以设置该值以满足应用需求，默认值为20M。

结果集缓存包括 SQL 查询结果集缓存和 DMSQL 程序函数结果集缓存，在 INI 参数文件中同时设置参数 RS_CAN_CACHE=1 且 USE_PLN_POOL 非 0 时 DM 服务器才会缓存结果集。DM还提供了一些手动设置结果集缓存的方法。

客户端结果集也可以缓存，但需要在配置文件 dm_svc.conf 中设置参数：

ENABLE_RS_CACHE = (1) //表示启用缓存；

RS_CACHE_SIZE = (100) //表示缓存区的大小为 100M, 可配置为 1-65535

RS_REFRESH_FREQ = (30) //表示每 30 秒检查缓存的有效性，如果失效，自动重查； 0表示不检查。

同时在服务器端使用INI参数文件中的CLT_CACHE_TABLES参数设置哪些表的结果集需要缓存。 另外，FIRST_ROWS 参数表示当查询的结果达到该行数时，就返回结果，不再继续查询，除非用户向服务器发一个 FETCH 命令。这个参数也用于客户端缓存的配置， 仅当结果集的行数不超过 FIRST_ROWS 时，该结果集才可能被客户端缓存。

3 排序区

排序缓冲区提供数据排序所需要的内存空间。当用户执行 SQL 语句时，常常需要进行排序，所使用的内存就是排序缓冲区提供的。在每次排序过程中，都首先申请内存，排序结束后再释放内存。

DM Server 提供了参数来指定排序缓冲区的大小，参数 SORT_BUF_SIZE 在 DM 配置文件 dm.ini 中，系统管理员可以设置其大小以满足需求，由于该值是由系统内部排序算法和排序数据结构决定，建议使用默认值2M。

4 哈希区

DM8提供了为哈希连接而设定的缓冲区，不过该缓冲区是个虚拟缓冲区。之所以说是虚拟缓冲，是因为系统没有真正创建特定属于哈希缓冲区的内存，而是在进行哈希连接时，对排序的数据量进行了计算。如果计算出的数据量大小超过了哈希缓冲区的大小，则使用 DM8创新的外存哈希方式；如果没有超过哈希缓冲区的大小，实际上还是使用内存池来进行哈希操作。

DM Server 在 dm.ini 中提供了参数 HJ_BUF_SIZE 来进行控制，由于该值的大小可能会限制哈希连接的效率，所以建议保持默认值， 或设置为更大的值。

除了提供 HJ_BUF_SIZE 参数外， DM Server 还提供了创建哈希表个数的初始化参数，其中， HAGR_HASH_SIZE 表示处理聚集函数时创建哈希表的个数，建议保持默认值100000。

1.内存池

1.1 共享内存池

1.2 运行时内存池

2.缓冲区

2.1 数据缓冲区

2.2 日志缓冲区

2.3 字典缓冲区

2.4 SQL 缓冲区

3 排序区

4 哈希区

【1 共享内存】

1.1 修改共享内存

MEMORY_POOL 决定了以M为单位的公共内存池的大小。

select para_name,para_value,para_type,description from v$dm_ini where para_name like '%MEMORY%';

只能修改dm.ini中的数值，然后重启生效。

限制MEMORY_POOL 大小的相关参数

MEMORY_TARGET 可以用来限制共享内存可以使用多少系统内存，0 表示的是不限制。

【2 数据缓冲区】

修改BUFFER 数值

BUFFER 是用户行存表的系统缓冲区。BUFFER表示初始的系统缓冲区大小，单位为M。

OLTP BUFFER大小为整个物理内存的40%-60%。

OLAP BUFFER 大小为整个物理内存的60%-80%。

select para_name,para_value,para_type,description from v$dm_ini where para_name like '%BUFFER%';

BUFFER也是静态参数，然后重启生效。

限制BUFFER大小的相关参数

当BUFFER_POOLS=1时，系统支持缓冲区的自动扩展。MAX_BUFFER表示最多能扩到多大。在自动扩展后，如果系统的压力在一段时间内比较低，系统又会自动收缩缓冲区。

【3 sql缓冲区】

SQL 缓冲区提供在执行 SQL 语句过程中所需要的内存，包括计划、 SQL 语句和结果集缓存。

select para_name,para_value,para_type,description from v$dm_ini where para_name like 'USE_PLN_POOL';

查询计划重用模式，0：禁止；1： 严格重用，2:解析重用，3:混合解析重用。

USE_PLN_POOL也是静态参数，然后重启生效。

select para_name,para_value,para_type,description from v$dm_ini where para_name like 'CACHE_POOL_SIZE';

CACHE_POOL_SIZE也是静态参数，然后重启生效。

【4 字典缓冲区】

select para_name,para_value,para_type,description from v$dm_ini where para_name like '%DICT%';

DICT_BUF_SIZE // 大小

PLN_DICT_HASH_THRESHOLD //关联登记

注：当cache_pool_size的值大于等于PLN_DICT_HASH_THRESHOLD的值的时候，才开启记录执行计划中关联的数据字典，从而减少物理IO，调优时需注意。

DICT_BUF_SIZE也是静态参数，然后重启生效。

【5 重做日志缓冲区】

select para_name,para_value,para_type,description from v$dm_ini where para_name like 'RLOG%';

Rlog_buf_size 日志缓冲区的大小单位page

RLOG_POOL_SIZE 最大日志缓冲区的大小M

RLOG_POOL_SIZE也是静态参数，然后重启生效。

【6 排序区】

select para_name,para_value,para_type,description from v$dm_ini where para_name like 'SORT%';

SORT_BUF_SIZE动态参数，即改即生效。

【7 Hash 区】

select para_name,para_value,para_type,description from v$dm_ini where para_name like 'HJ_BUF%';

HJ_BUF_SIZE 哈希连接的哈希buf大小（以M节为单位）

HJ_BUF_SIZE动态参数，即改即生效。

---------------------------------------------------------------------------------------------------------------------------------------------------------

我们了解如何修改DM内存参数，具体如合修改多少的内存比较合适？

参考案例如下：