暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

openGauss每日一练第21天 | 学习心得体会 | 感谢

原创 Michael_Liu 2022-12-14
244

11月24日参加OpenGauss3.0的线上培训,第一次接触线上有实验环境的实操培训,十分的便利且有效,确实极大程度上给学习opengauss带来的帮助,更为切实的对数据库有操作接触和了解。
之后12月初又参加了OGCA第三期的认证培训,12月11日考过了OGCA的认证,到12月14日最后一次课程练习结束,这半个多月来,通过学习和了解,是对OpenGauss由陌生到熟悉的过程。感谢恩墨学院对数据库发展及很多学习者的帮助,希望后续有更多有益有效的线上培训课程,由衷感谢所有老师的付出。

学习目标
学习检查数据库运行状态、锁信息、维护表、重建索引等数据库维护操作技术

课程作业
1、使用操作系统命令和数据库工具检查实例状态

2、检查锁信息

3、查看数据库版本、日志信息

4、检查应用连接数、查看现有最大连接数

5、对表进行VACUUM、VACUUM FULL和ANALYZE操作

6、建表、索引,进行重建索引操作
课程学习
1.检查openGauss状态
omm@modb:~$ ps -ef | grep gaussdb
omm          1     0  0 10:02 ?        00:00:01 gaussdb
omm        419   415  0 10:06 pts/0    00:00:00 grep gaussdb
omm@modb:~$ ps -Tp 1
  PID  SPID TTY          TIME CMD
    1     1 ?        00:00:00 gaussdb
    1   290 ?        00:00:00 jemalloc_bg_thd
    1   296 ?        00:00:00 gaussdb
    1   297 ?        00:00:00 syslogger
    1   298 ?        00:00:00 jemalloc_bg_thd
    1   299 ?        00:00:00 alarm
    1   300 ?        00:00:00 reaper
    1   301 ?        00:00:00 jemalloc_bg_thd
    1   302 ?        00:00:00 jemalloc_bg_thd
    1   347 ?        00:00:00 Spbgwriter
    1   348 ?        00:00:00 pagewriter
    1   349 ?        00:00:00 pagewriter
    1   346 ?        00:00:00 checkpointer
    1   350 ?        00:00:00 pagewriter
    1   351 ?        00:00:00 pagewriter
    1   352 ?        00:00:00 pagewriter
    1   353 ?        00:00:00 WALwriter
    1   354 ?        00:00:00 WALwriteraux
    1   355 ?        00:00:00 AVClauncher
    1   356 ?        00:00:00 Jobscheduler
    1   357 ?        00:00:00 asyncundolaunch
    1   358 ?        00:00:00 globalstats
    1   359 ?        00:00:00 applylauncher
    1   360 ?        00:00:00 statscollector
    1   361 ?        00:00:00 percentworker
    1   362 ?        00:00:00 ashworker
    1   363 ?        00:00:00 TrackStmtWorker
    1   364 ?        00:00:00 auditor
    1   365 ?        00:00:00 2pccleaner
    1   367 ?        00:00:00 WLMworker
    1   366 ?        00:00:00 faultmonitor
    1   368 ?        00:00:00 WLMmonitor
    1   369 ?        00:00:00 WLMarbiter
    1   370 ?        00:00:00 undorecycler

--使用数据库工具gs_ctl查看实例状态
omm@modb:~$ gs_ctl status -D /var/lib/opengauss/data
[2022-12-14 10:07:23.204][425][][gs_ctl]: gs_ctl status,datadir is /var/lib/opengauss/data 
gs_ctl: server is running (PID: 1)
/usr/local/opengauss/bin/gaussdb

--检查参数
omm@modb:~$ gsql -r
gsql ((openGauss 3.0.0 build 02c14696) compiled at 2022-04-01 18:12:00 commit 0 last mr  )
Non-SSL connection (SSL connection is recommended when requiring high-security)
Type "help" for help.

omm=# show data_directory;
     data_directory      
-------------------------
 /var/lib/opengauss/data
(1 row)

2.检查锁信息
锁机制是数据库保证数据一致性的重要手段,检查相关信息可以检查数据库的事务和运行状况。
--查询数据库中的锁信息
SELECT * FROM pg_locks;
omm=#   locktype  | database | relation | page | tuple | bucket | virtualxid | transactionid | classid | objid | objsubid
 | virtualtransaction |       pid       |    sessionid    |      mode       | granted | fastpath |      locktag    
  | global_sessionid 
------------+----------+----------+------+-------+--------+------------+---------------+---------+-------+---------
-+--------------------+-----------------+-----------------+-----------------+---------+----------+-----------------
--+------------------
 relation   |    16384 |    12010 |      |       |        |            |               |         |       |         
 | 11/62              | 281471237258480 | 281471237258480 | AccessShareLock | t       | t        | 4000:2eea:0:0:0:
0 | 0:0#0
 | 11/62              | 281471237258480 | 281471237258480 | ExclusiveLock   | t       | t        | b:3e:0:0:0:7    
  | 0:0#0
 virtualxid |          |          |      |       |        | 11/62      |               |         |       |         

(3 rows)

 virtualxid |          |          |      |       |        | 9/65       |               |         |       |         
 | 9/65               | 281471494683888 | 281471494683888 | ExclusiveLock   | t       | t        | 9:41:0:0:0:7    
  | 0:0#0omm=# 
omm=# 

--查询等待锁的线程状态信息
 SELECT * FROM pg_thread_wait_status WHERE wait_status = 'acquire lock';
 node_name | db_name | thread_name | query_id | tid | sessionid | lwtid | psessionid | tlevel | smpid | wait_status
 | wait_event | locktag | lockmode | block_sessionid | global_sessionid 
-----------+---------+-------------+----------+-----+-----------+-------+------------+--------+-------+------------
-+------------+---------+----------+-----------------+------------------
(0 rows)


3.统计事件数据
SQL语句长时间运行会占用大量系统资源,用户可以通过查看事件发生的时间,占用内存大小来了解现在数据库运行状态。

--查询事件的时间,查询事件的线程启动时间、事务启动时间、SQL启动时间以及状态变更时间。
omm=# SELECT backend_start,xact_start,query_start,state_change FROM pg_stat_activity;
         backend_start         |          xact_start           |          query_start          |         state_chan
ge          
-------------------------------+-------------------------------+-------------------------------+-------------------
------------
 2022-12-14 10:29:20.135732+08 | 2022-12-14 10:29:37.017036+08 | 2022-12-14 10:29:37.017036+08 | 2022-12-14 10:29:3
7.01704+08
 2022-12-14 10:02:52.770302+08 |                               |                               | 
 2022-12-14 10:02:52.769957+08 | 2022-12-14 10:02:52.772492+08 | 2022-12-14 10:02:52.772492+08 | 2022-12-14 10:02:5
2.772751+08
 2022-12-14 10:02:52.770293+08 |                               |                               | 
 2022-12-14 10:02:52.762687+08 |                               |                               | 2022-12-14 10:29:3
4.379323+08
 2022-12-14 10:02:52.762662+08 |                               |                               | 2022-12-14 10:29:3
6.201878+08
 2022-12-14 10:02:52.76267+08  |                               |                               | 2022-12-14 10:02:5
2.762688+08
 2022-12-14 10:02:52.762675+08 |                               |                               | 2022-12-14 10:29:3
6.261152+08
 2022-12-14 10:02:52.755742+08 |                               |                               | 
(9 rows)
omm=# 
omm=# 
--查询当前服务器的会话计数信息
omm=#  SELECT count(*) FROM pg_stat_activity;
 count 
-------
     9
(1 row)

--查询系统级统计信息,查询当前使用内存最多的会话信息。
omm=# 
omm=#   SELECT * FROM pv_session_memory_detail() ORDER BY usedsize desc limit 10;
 sessid | threadid | contextname | level | parent | totalsize | freesize | usedsize 
--------+----------+-------------+-------+--------+-----------+----------+----------
(0 rows)

--查询表统计信息
omm=# 
 SELECT * FROM pg_statistic;
 starelid | starelkind | staattnum | stainherit | stanullfrac | stawidth | stadistinct | stakind1 | stakind2 | stak
ind3 | stakind4 | stakind5 | staop1 | staop2 | staop3 | staop4 | staop5 |                                          
                                                                                                                   
                                                                                                                   
                                                                                                                   
                                                                                                                   
                                        stanumbers1                                                                
                                                                                                                   
                                                                                                                   
                                                                                                                   
                                                                                                                   
                   | stanumbers2 |


4.数据库版本、日志信息
--数据库版本 
omm=# SELECT version();
                                                                        version                                    
                                    
-------------------------------------------------------------------------------------------------------------------
------------------------------------
 (openGauss 3.0.0 build 02c14696) compiled at 2022-04-01 18:12:00 commit 0 last mr   on aarch64-unknown-linux-gnu, 
compiled by g++ (GCC) 7.3.0, 64-bit
(1 row)
--在gsql中
omm=# \! ls /var/lib/opengauss/data/pg_log
postgresql-2022-12-14_100238.log  postgresql-2022-12-14_100252.log
--数据库日志位置
root@modb:~# cd /var/lib/opengauss/data/pg_log
ls /var/lib/opengauss/data/pg_logroot@modb:/var/lib/opengauss/data/pg_log# 
postgresql-2022-12-14_100238.log  postgresql-2022-12-14_100252.log

5.检查应用连接数
如果应用程序与数据库的连接数超过最大值,则新的连接无法建立。建议每天检查连接数,及时释放空闲的连接或者增加最大连接数。

--执行如下SQL语句查看连接数。
omm=# SELECT count(*) FROM (SELECT pg_stat_get_backend_idset() AS backendid) AS s;
 count 
-------
    21
(1 row)
--查看现有最大连接数。
omm=# SHOW max_connections;
 max_connections 
-----------------
 200
(1 row)

6.例行维护表:VACUUM、VACUUM FULL和ANALYZE
为了保证数据库的有效运行,数据库必须在插入/删除操作后,基于客户场景,定期做VACUUM FULL和ANALYZE,更新统计信息,以便获得更优的性能。
VACUUM和ANALYZE会导致I/O流量的大幅增加,这可能会影响其他活动会话的性能。

--创建表、插入数据、查看数据

omm=# CREATE TABLE customer_t
omm-# (  c_customer_sk             integer,   
omm(#   c_customer_id             char(5),    
omm(#   c_first_name              char(6),    
omm(# omm(#   c_last_name               char(8) 
) ;
CREATE TABLE
omm=# INSERT INTO customer_t (c_customer_sk, c_customer_id, c_first_name,c_last_name) VALUES    
omm-# (6885, 1, 'Joes', 'Hunter'),    
omm-# (4321, 2, 'Lily','Carter'),    
omm-# (9527, 3, 'James', 'Cook'),
omm-# (9500, 4, 'Lucy', 'Baker');
INSERT 0 4
omm=# select count(*) from customer_t;
 count 
-------
     4
(1 row)
--使用VACUUM或VACUUM FULL命令,进行磁盘空间回收。
--使用VACUUM
omm=# VACUUM customer_t;
VACUUM
--使用VACUUM full
--需要向正在执行的表增加排他锁,且需要停止其他所有数据库操作。
omm=# VACUUM FULL customer_t;
VACUUM

--使用ANALYZE语句更新统计信息。
omm=# ANALYZE customer_t;
ANALYZE

--使用ANALYZE VERBOSE语句更新统计信息,并输出表的相关信息。
omm=# ANALYZE VERBOSE customer_t;
INFO:  analyzing "public.customer_t"(gaussdb pid=1)
INFO:  ANALYZE INFO : "customer_t": scanned 1 of 1 pages, containing 4 live rows and 0 dead rows; 4 rows in sample, 4 estimated total rows(gaussdb pid=1)
ANALYZE

--也可以同时执行VACUUM ANALYZE命令进行查询优化。
omm=# VACUUM ANALYZE customer_t;
VACUUM

维护建议:
定期对部分大表做VACUUM FULL,在性能下降后为全库做VACUUM FULL,目前暂定每月做一次VACUUM FULL。
定期对系统表做VACUUM FULL,主要是PG_ATTRIBUTE。
启用系统自动清理线程(AUTOVACUUM)自动执行VACUUM和ANALYZE,回收被标识为删除状态的记录空间,并更新表的统计数据。

7.重建索引
 在重建索引前,用户可以通过临时增大maintenance_work_mem和psort_work_mem的取值来加快索引的重建。

--环境准备
omm=# CREATE TABLESPACE EXAMPLE RELATIVE LOCATION 'tablespace1/tablespace_1';
CREATE TABLESPACE
omm=# CREATE schema HR;
CREATE SCHEMA
omm=# 
omm=#   CREATE TABLE HR.areaS(   area_ID NUMBER,   area_NAME VARCHAR2(25)  )tablespace EXAMPLE;
CREATE TABLE
omm=# \d HR.areaS
               Table "hr.areas"
  Column   |         Type          | Modifiers 
-----------+-----------------------+-----------
 area_id   | numeric               | 
 area_name | character varying(25) | 
Tablespace: "example"

omm=# CREATE INDEX areaS_idx ON HR.areaS (area_id);
omm=# CREATE INDEX
--使用REINDEX TABLE语句重建索引。
REINDEX  table HR.areaS;
REINDEX

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论