openGauss每日一练第 21 天 | openGauss 3.0.0数据库在线实训课程

原创 shunwah 2022-12-14

405

作者：马顺华

从事运维管理工作多年，目前就职于某科技有限公司，熟悉运维自动化、OceanBase部署运维、MySQL 运维以及各种云平台技术和产品。并已获得OceanBase认证OBCA、OBCP证书。

第21天 | openGauss数据库例行维护

学习目标

学习检查数据库运行状态、锁信息、维护表、重建索引等数据库维护操作技术

课程学习

openGauss数据库例行维护

1.检查openGauss状态

1）-- 操作系统命令查看实例状态

root@modb:~# 
root@modb:~# su - omm
omm@modb:~$ ps -ef|grep gaussdb
omm          1     0  0 Dec13 ?        00:04:27 gaussdb
omm       6995  6991  0 10:05 pts/0    00:00:00 grep gaussdb
omm@modb:~$ ps -Tp 1
  PID  SPID TTY          TIME CMD
    1     1 ?        00:00:01 gaussdb
    1   306 ?        00:00:00 jemalloc_bg_thd
    1   307 ?        00:00:05 alarm
    1   298 ?        00:00:00 jemalloc_bg_thd
    1   304 ?        00:00:00 gaussdb
    1   305 ?        00:00:00 syslogger
    1   310 ?        00:00:00 jemalloc_bg_thd
    1   308 ?        00:00:00 reaper
    1   309 ?        00:00:00 jemalloc_bg_thd
    1   357 ?        00:00:00 pagewriter
    1   354 ?        00:00:01 checkpointer
    1   355 ?        00:00:00 Spbgwriter
    1   356 ?        00:00:36 pagewriter
    1   358 ?        00:00:00 pagewriter
    1   359 ?        00:00:00 pagewriter
    1   360 ?        00:00:00 pagewriter
    1   361 ?        00:00:03 WALwriter
    1   362 ?        00:00:00 WALwriteraux
    1   363 ?        00:00:00 AVClauncher
    1   364 ?        00:00:04 Jobscheduler
    1   365 ?        00:00:00 asyncundolaunch
    1   366 ?        00:00:00 globalstats
    1   367 ?        00:00:00 applylauncher
    1   368 ?        00:00:01 statscollector
    1   369 ?        00:00:28 percentworker
    1   371 ?        00:00:23 TrackStmtWorker
    1   370 ?        00:01:45 ashworker
    1   372 ?        00:00:00 auditor
    1   373 ?        00:00:02 2pccleaner
    1   374 ?        00:00:00 faultmonitor
    1   375 ?        00:00:00 WLMworker
    1   376 ?        00:00:08 WLMmonitor
    1   377 ?        00:00:00 WLMarbiter
    1   378 ?        00:00:00 undorecycler
omm@modb:~$

2）-- 使用数据库工具gs_ctl查看实例状态

root@modb:~# 
root@modb:~# su - omm
omm@modb:~$ gs_ctl status -D /var/lib/opengauss/data
[2022-12-14 10:33:53.306][7226][][gs_ctl]: gs_ctl status,datadir is /var/lib/opengauss/data 
gs_ctl: server is running (PID: 1)
/usr/local/opengauss/bin/gaussdb
omm@modb:~$

3）-- 检查参数

omm@modb:~$ gsql -r
gsql ((openGauss 3.0.0 build 02c14696) compiled at 2022-04-01 18:12:00 commit 0 last mr  )
Non-SSL connection (SSL connection is recommended when requiring high-security)
Type "help" for help.

omm=# show data_directory;
     data_directory      
-------------------------
 /var/lib/opengauss/data
(1 row)

omm=#

2.检查锁信息

锁机制是数据库保证数据一致性的重要手段，检查相关信息可以检查数据库的事务和运行状况。

1）-- 查询数据库中的锁信息

omm=# 
omm=# SELECT * FROM pg_locks;
  locktype  | database | relation | page | tuple | bucket | virtualxid | transactionid | classid | objid | objsubid | virtualtransaction |      
 pid       |    sessionid    |      mode       | granted | fastpath |      locktag      | global_sessionid 
------------+----------+----------+------+-------+--------+------------+---------------+---------+-------+----------+--------------------+------
-----------+-----------------+-----------------+---------+----------+-------------------+------------------
 relation   |    16384 |    12010 |      |       |        |            |               |         |       |          | 11/26807           | 28147
1267667184 | 281471267667184 | AccessShareLock | t       | t        | 4000:2eea:0:0:0:0 | 0:0#0
 virtualxid |          |          |      |       |        | 11/26807   |               |         |       |          | 11/26807           | 28147


1267667184 | 281471267667184 | ExclusiveLock   | t       | t        | b:68b7:0:0:0:7    | 0:0#0
 virtualxid |          |          |      |       |        | 9/12547    |               |         |       |          | 9/12547            | 28147
1518735600 | 281471518735600 | ExclusiveLock   | t       | t        | 9:3103:0:0:0:7    | 0:0#0
(3 rows)omm=#

2）-- 查询等待锁的线程状态信息

omm=# 
omm=# SELECT * FROM pg_thread_wait_status WHERE wait_status = 'acquire lock';
 node_name | db_name | thread_name | query_id | tid | sessionid | lwtid | psessionid | tlevel | smpid | wait_status | wait_event | locktag | loc
kmode | block_sessionid | global_sessionid 
-----------+---------+-------------+----------+-----+-----------+-------+------------+--------+-------+-------------+------------+---------+----
------+-----------------+------------------
(0 rows)

omm=#

3.统计事件数据

SQL语句长时间运行会占用大量系统资源，用户可以通过查看事件发生的时间，占用内存大小来了解现在数据库运行状态。

1）-- 查询事件的时间，查询事件的线程启动时间、事务启动时间、SQL启动时间以及状态变更时间。

omm=# 
omm=# SELECT backend_start,xact_start,query_start,state_change FROM pg_stat_activity;
         backend_start         |          xact_start           |          query_start          |         state_change          
-------------------------------+-------------------------------+-------------------------------+-------------------------------
 2022-12-14 10:42:25.435317+08 | 2022-12-14 10:42:32.658107+08 | 2022-12-14 10:42:32.658107+08 | 2022-12-14 10:42:32.658111+08
 2022-12-13 17:11:11.174978+08 |                               |                               | 
 2022-12-13 17:11:11.174886+08 | 2022-12-13 17:11:11.177588+08 | 2022-12-13 17:11:11.177588+08 | 2022-12-13 17:11:11.177891+08
 2022-12-13 17:11:11.174926+08 |                               |                               | 
 2022-12-13 17:11:11.174385+08 |                               |                               | 2022-12-14 10:42:24.797056+08
 2022-12-13 17:11:11.174338+08 |                               |                               | 2022-12-14 10:42:31.657162+08
 2022-12-13 17:11:11.174338+08 |                               |                               | 2022-12-13 17:11:11.174361+08
 2022-12-13 17:11:11.163968+08 |                               |                               | 
 2022-12-13 17:11:11.174329+08 |                               |                               | 2022-12-14 10:42:32.279086+08
(9 rows)

omm=#

2）-- 查询当前服务器的会话计数信息

omm=# 
omm=# SELECT count(*) FROM pg_stat_activity;
 count 
-------
     9
(1 row)

omm=#

3）-- 查询系统级统计信息，查询当前使用内存最多的会话信息。

omm=# 

omm=# SELECT * FROM pv_session_memory_detail() ORDER BY usedsize desc limit 10;
 sessid | threadid | contextname | level | parent | totalsize | freesize | usedsize 
--------+----------+-------------+-------+--------+-----------+----------+----------
(0 rows)

omm=#

4）-- 查询表统计信息

omm=# SELECT * FROM pg_statistic;
 starelid | starelkind | staattnum | stainherit | stanullfrac | stawidth | stadistinct | stakind1 | stakind2 | stakind3 | stakind4 | 
stakind5 | staop1 | staop2 | staop3 | staop4 | staop5 |                                                                              
                                                                                                                                     
                                                                                                                                     
                                                                                                                                     
                                                                 stanumbers1                                                         
                                                                                                                                     
                                                                                                                                     
                                                                                                                                     
                                                                                       | stanumbers2 |                               
                                                                                                                                     
                                                                                                                                     
                                                                                                                                     
                                                                                                                                     
                                                                                                                                     
                                                                                                                                     
                                                                                                                                     
                                                                                                                                     
                                                                                                                                     
                                                                                                                                     
                                                                                                                                     
--More--

4.数据库版本、日志信息

1）-- 数据库版本

omm=# SELECT version();
                                                                        version                                                      
                  
-------------------------------------------------------------------------------------------------------------------------------------
------------------
 (openGauss 3.0.0 build 02c14696) compiled at 2022-04-01 18:12:00 commit 0 last mr   on aarch64-unknown-linux-gnu, compiled by g++ (G
CC) 7.3.0, 64-bit
(1 row)

omm=#

2）-- 在gsql中

omm=#  
omm=# \! ls /var/lib/opengauss/data/pg_log
postgresql-2022-12-13_171059.log  postgresql-2022-12-13_171111.log  postgresql-2022-12-14_000000.log
omm=# \q
omm@modb:~$

3）-- 数据库日志位置

omm@modb:~$ 
omm@modb:~$ cd /var/lib/opengauss/data/pg_log
omm@modb:/var/lib/opengauss/data/pg_log$ ls /var/lib/opengauss/data/pg_log
postgresql-2022-12-13_171059.log  postgresql-2022-12-13_171111.log  postgresql-2022-12-14_000000.log
omm@modb:/var/lib/opengauss/data/pg_log$

5.检查应用连接数

如果应用程序与数据库的连接数超过最大值，则新的连接无法建立。建议每天检查连接数，及时释放空闲的连接或者增加最大连接数。

1）-- 执行如下SQL语句查看连接数。

omm@modb:/var/lib/opengauss/data/pg_log$ gsql -r
gsql ((openGauss 3.0.0 build 02c14696) compiled at 2022-04-01 18:12:00 commit 0 last mr  )
Non-SSL connection (SSL connection is recommended when requiring high-security)
Type "help" for help.

omm=# SELECT count(*) FROM (SELECT pg_stat_get_backend_idset() AS backendid) AS s;
 count 
-------
    21
(1 row)

omm=#

2）-- 查看现有最大连接数。

omm=# 
omm=# SHOW max_connections;
 max_connections 
-----------------
 200
(1 row)

omm=#

6.例行维护表：VACUUM、VACUUM FULL和ANALYZE

为了保证数据库的有效运行，数据库必须在插入/删除操作后，基于客户场景，定期做VACUUM FULL和ANALYZE，更新统计信息，以便获得更优的性能。
VACUUM和ANALYZE会导致I/O流量的大幅增加，这可能会影响其他活动会话的性能。

1）-- 创建表、插入数据、查看数据

omm=# 
omm=# CREATE TABLE customer_t
omm-# (  c_customer_sk             integer,   
omm(#   c_customer_id             char(5),    
omm(#   c_first_name              char(6),    
omm(#   c_last_name               char(8) 
omm(# ) ;
CREATE TABLE
omm=# INSERT INTO customer_t (c_customer_sk, c_customer_id, c_first_name,c_last_name) VALUES    
omm-# (6885, 1, 'Joes', 'Hunter'),    
omm-# (4321, 2, 'Lily','Carter'),    
omm-# (9527, 3, 'James', 'Cook'),
omm-# (9500, 4, 'Lucy', 'Baker');
INSERT 0 4
omm=# select count(*) from customer_t;
 count 
-------
     4
(1 row)

omm=#

2）-- 使用VACUUM或VACUUM FULL命令，进行磁盘空间回收。

–使用VACUUM

omm=# 
omm=# VACUUM customer_t;
VACUUM
omm=#

3）-- 使用VACUUM full

–需要向正在执行的表增加排他锁，且需要停止其他所有数据库操作。

omm=# 
omm=# VACUUM FULL customer_t;
VACUUM
omm=#

4）-- 使用ANALYZE语句更新统计信息。

omm=# 
omm=# ANALYZE customer_t;
ANALYZE
omm=#

5）-- 使用ANALYZE VERBOSE语句更新统计信息，并输出表的相关信息。

omm=# 
omm=# ANALYZE VERBOSE customer_t;
INFO:  analyzing "public.customer_t"(gaussdb pid=1)
INFO:  ANALYZE INFO : "customer_t": scanned 1 of 1 pages, containing 4 live rows and 0 dead rows; 4 rows in sample, 4 estimated total rows(gaussdb pid=1)
ANALYZE
omm=#

6）-- 也可以同时执行VACUUM ANALYZE命令进行查询优化。

omm=# 
omm=# VACUUM ANALYZE customer_t;
VACUUM
omm=#

维护建议：

定期对部分大表做VACUUM FULL，在性能下降后为全库做VACUUM FULL，目前暂定每月做一次VACUUM FULL。

定期对系统表做VACUUM FULL，主要是PG_ATTRIBUTE。

启用系统自动清理线程（AUTOVACUUM）自动执行VACUUM和ANALYZE，回收被标识为删除状态的记录空间，并更新表的统计数据。

7.重建索引

在重建索引前，用户可以通过临时增大maintenance_work_mem和psort_work_mem的取值来加快索引的重建。

1）-- 环境准备

omm=# 
omm=# CREATE TABLESPACE EXAMPLE RELATIVE LOCATION 'tablespace1/tablespace_1';
CREATE TABLESPACE
omm=# CREATE schema HR;
CREATE SCHEMA
omm=# 
omm=# CREATE TABLE HR.areaS(   area_ID NUMBER,   area_NAME VARCHAR2(25)  )tablespace EXAMPLE;
CREATE TABLE
omm=# 
omm=# \d HR.areaS

omm=#                Table "hr.areas"
  Column   |         Type          | Modifiers 
-----------+-----------------------+-----------
 area_id   | numeric               | 
 area_name | character varying(25) | 
Tablespace: "example"
CREATE INDEX areaS_idx ON HR.areaS (area_id);
CREATE INDEX
omm=#

2）-- 使用REINDEX TABLE语句重建索引。

omm=# 
omm=# REINDEX  table HR.areaS;
REINDEX
omm=#

课程作业

1、使用操作系统命令和数据库工具检查实例状态

2、检查锁信息

3、查看数据库版本、日志信息

4、检查应用连接数、查看现有最大连接数

5、对表进行VACUUM、VACUUM FULL和ANALYZE操作

6、建表、索引，进行重建索引操作

1、使用操作系统命令和数据库工具检查实例状态

root@modb:~# 
root@modb:~# su - omm
omm@modb:~$ ps -ef |grep gaussdb
omm          1     0  0 Dec13 ?        00:04:57 gaussdb
omm       7789  7784  0 11:46 pts/1    00:00:00 grep gaussdb
omm@modb:~$ ps -Tp 1
  PID  SPID TTY          TIME CMD
    1     1 ?        00:00:01 gaussdb
    1   298 ?        00:00:00 jemalloc_bg_thd
    1   304 ?        00:00:00 gaussdb
    1   305 ?        00:00:00 syslogger
    1   306 ?        00:00:00 jemalloc_bg_thd
    1   308 ?        00:00:00 reaper
    1   307 ?        00:00:05 alarm
    1   309 ?        00:00:00 jemalloc_bg_thd
    1   310 ?        00:00:00 jemalloc_bg_thd
    1   354 ?        00:00:01 checkpointer
    1   355 ?        00:00:00 Spbgwriter
    1   356 ?        00:00:41 pagewriter
    1   357 ?        00:00:00 pagewriter
    1   358 ?        00:00:00 pagewriter
    1   359 ?        00:00:00 pagewriter
    1   360 ?        00:00:00 pagewriter
    1   361 ?        00:00:04 WALwriter
    1   364 ?        00:00:04 Jobscheduler
    1   362 ?        00:00:00 WALwriteraux
    1   363 ?        00:00:00 AVClauncher
    1   365 ?        00:00:00 asyncundolaunch
    1   366 ?        00:00:00 globalstats
    1   367 ?        00:00:00 applylauncher
    1   368 ?        00:00:01 statscollector
    1   369 ?        00:00:32 percentworker
    1   370 ?        00:01:56 ashworker
    1   372 ?        00:00:00 auditor
    1   371 ?        00:00:26 TrackStmtWorker
    1   374 ?        00:00:00 faultmonitor
    1   375 ?        00:00:00 WLMworker
    1   373 ?        00:00:02 2pccleaner
    1   376 ?        00:00:09 WLMmonitor
    1   377 ?        00:00:00 WLMarbiter
    1   378 ?        00:00:00 undorecycler
omm@modb:~$ gs_ctl status -D /opengauss/data
[2022-12-14 11:46:49.710][7796][][gs_ctl]: gs_ctl status,datadir is /opengauss/data 
no server running
omm@modb:~$ 
![image.png](https://oss-emcsprod-public.modb.pro/image/editor/20221214-8fc53384-c2c7-4556-a5b9-613c4a408b37.png)

omm@modb:~$ 
omm@modb:~$ gsql -r
gsql ((openGauss 3.0.0 build 02c14696) compiled at 2022-04-01 18:12:00 commit 0 last mr  )
Non-SSL connection (SSL connection is recommended when requiring high-security)
Type "help" for help.

omm=# show data_directory;
     data_directory      
-------------------------
 /var/lib/opengauss/data
(1 row)

omm=#

2、检查锁信息

omm=# 
omm=# SELECT * FROM pg_locks;
  locktype  | database | relation | page | tuple | bucket | virtualxid | transactionid | classid | objid | objsubid | virtualtransaction |  
     pid       |    sessionid    |      mode       | granted | fastpath |      locktag      | global_sessionid 
81471518735600 | 281471518735600 | ExclusiveLock   | t       | t        | 9:3462:0:0:0:7    | 0:0#0
(3 rows)

------------+----------+----------+------+-------+--------+------------+---------------+---------+-------+----------+--------------------+--
---------------+-----------------+-----------------+---------+----------+-------------------+------------------
 relation   |    16384 |    12010 |      |       |        |            |               |         |       |          | 11/28008           | 2
81471349456112 | 281471349456112 | AccessShareLock | t       | t        | 4000:2eea:0:0:0:0 | 0:0#0
 virtualxid |          |          |      |       |        | 11/28008   |               |         |       |          | 11/28008           | 2
81471349456112 | 281471349456112 | ExclusiveLock   | t       | t        | b:6d68:0:0:0:7    | 0:0#0
 virtualxid |          |          |      |       |        | 9/13410    |               |         |       |          | 9/13410            | 2
omm=# SELECT * FROM pg_thread_wait_status WHERE wait_status = 'acquire lock';
 node_name | db_name | thread_name | query_id | tid | sessionid | lwtid | psessionid | tlevel | smpid | wait_status | wait_event | locktag |
 lockmode | block_sessionid | global_sessionid 
-----------+---------+-------------+----------+-----+-----------+-------+------------+--------+-------+-------------+------------+---------+
----------+-----------------+------------------
(0 rows)

omm=#

3、查看数据库版本、日志信息

omm=# SELECT version();
                                                                        version                                                                
        
-----------------------------------------------------------------------------------------------------------------------------------------------
--------
 (openGauss 3.0.0 build 02c14696) compiled at 2022-04-01 18:12:00 commit 0 last mr   on aarch64-unknown-linux-gnu, compiled by g++ (GCC) 7.3.0,
 64-bit
(1 row)

omm=# \q
omm@modb:~$ cd /var/lib/opengauss
omm@modb:/var/lib/opengauss$ find ./ -name pg_log
./data/pg_log
omm@modb:/var/lib/opengauss$ ls /var/lib/opengauss/data/pg_log
postgresql-2022-12-13_171059.log  postgresql-2022-12-13_171111.log  postgresql-2022-12-14_000000.log
omm@modb:/var/lib/opengauss$

4、检查应用连接数、查看现有最大连接数

omm=# 
omm=# SELECT count(*) FROM (SELECT pg_stat_get_backend_idset() AS backendid) AS s;
 count 
-------
    21
(1 row)

omm=# SHOW max_connections;
 max_connections 
-----------------
 200
(1 row)

omm=#

5、对表进行VACUUM、VACUUM FULL和ANALYZE操作

omm=# 
omm=# CREATE TABLE customer_t
(  c_customer_sk             integer,   
  c_customer_id             char(5),    
  c_first_name              char(6),    
  c_last_name               char(8) 
) ;omm-# omm(# omm(# omm(# omm(# 
ERROR:  relation "customer_t" already exists in schema "public"
DETAIL:  creating new table with existing name in the same schema
omm=# 
omm=# 
omm=# 
omm=# CREATE TABLE customer_t1
(  c_customer_sk             integer,   
  c_customer_id             char(5),    
  c_first_name              char(6),    
  c_last_name               char(8) 
) ;omm-# omm(# omm(# omm(# omm(# 
CREATE TABLE
omm=# omm-# INSERT INTO customer_t1 (c_customer_sk, c_customer_id, c_first_name,c_last_name) VALUES    
(6885, 1, 'Joes', 'Hunter'),    
(4321, 2, 'Lily','Carter'),    
(9527, 3, 'James', 'Cook'),
(9500, 4, 'Lucy', 'Baker');
select count(*) from customer_t1;omm-# omm-# omm-# INSERT 0 4
omm=# 
 count 
-------
     4
(1 row)

omm=# er_t1;VACUUM customer_t1;
VACUUM FULL customer_t1;
ANALYZE customer_t1;
ANALYZE VERBOSE customer_t1;
VACUUM ANALYZE customVACUUM
omm=# VACUUM
omm=# ANALYZE
omm=# INFO:  analyzing "public.customer_t1"(gaussdb pid=1)
INFO:  ANALYZE INFO : "customer_t1": scanned 1 of 1 pages, containing 4 live rows and 0 dead rows; 4 rows in sample, 4 estimated total rows(gaussdb pid=1)
ANALYZE
omm=#

6、建表、索引，进行重建索引操作

omm=# 
omm=# CREATE TABLESPACE OPENTEST RELATIVE LOCATION 'tablespace2/tablespace_2';
CREATE TABLESPACE
omm=# CREATE schema OPEN;
CREATE SCHEMA
omm=# CREATE TABLE OPEN.areaS(   area_ID NUMBER,   area_NAME VARCHAR2(25)  )tablespace OPENTEST;
CREATE TABLE
omm=# \d OPEN.areaS
              Table "open.areas"
  Column   |         Type          | Modifiers 
-----------+-----------------------+-----------
 area_id   | numeric               | 
 area_name | character varying(25) | 
Tablespace: "opentest"

omm=# CREATE INDEX areaS_idx ON OPEN.areaS (area_id);
CREATE INDEX
omm=# REINDEX  table OPEN.areaS;
REINDEX
omm=#

最后修改时间：2022-12-14 14:23:39

「喜欢这篇文章，您的关注和赞赏是给作者最好的鼓励」

关注作者

openGauss每日一练第 21 天 | openGauss 3.0.0数据库在线实训课程

第21天 | openGauss数据库例行维护

学习目标

课程学习

1.检查openGauss状态

1）-- 操作系统命令查看实例状态

2）-- 使用数据库工具gs_ctl查看实例状态

3）-- 检查参数

2.检查锁信息

1）-- 查询数据库中的锁信息

2）-- 查询等待锁的线程状态信息

3.统计事件数据

1）-- 查询事件的时间，查询事件的线程启动时间、事务启动时间、SQL启动时间以及状态变更时间。

2）-- 查询当前服务器的会话计数信息

3）-- 查询系统级统计信息，查询当前使用内存最多的会话信息。

4）-- 查询表统计信息

4.数据库版本、日志信息

1）-- 数据库版本

2）-- 在gsql中

3）-- 数据库日志位置

5.检查应用连接数

1）-- 执行如下SQL语句查看连接数。

2）-- 查看现有最大连接数。

6.例行维护表：VACUUM、VACUUM FULL和ANALYZE

1）-- 创建表、插入数据、查看数据

2）-- 使用VACUUM或VACUUM FULL命令，进行磁盘空间回收。

3）-- 使用VACUUM full

4）-- 使用ANALYZE语句更新统计信息。

5）-- 使用ANALYZE VERBOSE语句更新统计信息，并输出表的相关信息。

6）-- 也可以同时执行VACUUM ANALYZE命令进行查询优化。

7.重建索引

1）-- 环境准备

2）-- 使用REINDEX TABLE语句重建索引。

课程作业

1、使用操作系统命令和数据库工具检查实例状态

2、检查锁信息

3、查看数据库版本、日志信息

4、检查应用连接数、查看现有最大连接数

5、对表进行VACUUM、VACUUM FULL和ANALYZE操作

6、建表、索引，进行重建索引操作

评论