2023年12月份openGauss训练营培训课程课件

董小姐恩墨学院 2023-12-21

307

openGauss是一款开源关系型数据库管理系统，采用木兰宽松许可证v2发行。openGauss内核深度融合华为在数据库领域多年的经验，结合企业级场景需求，持续构建竞争力特性。与其他开源数据库相比，openGauss具有以下特点：

高性能——两路鲲鹏性能150万tpmC
高可靠—— 故障切换时间RTO<10s
高安全 —— 端到端全方位安全防护
易运维——基于AI的智能参数调优

课时1:openGauss全景介绍

1、介绍 openGauss 全景

1.1.openGauss总体架构介绍

本章节主要介绍了openGauss发展的历史，现状以及未来。对当前的DataPod和DataKit 2种openGauss当前主推的场景化产品进行了介绍。同时对openGauss的整个逻辑模块的视图进行了讲解。

1.2.openGauss传统主备架构介绍

本章节主要介绍了数据库的几种部署架构，然后对openGauss的传统主备架构的原理、运行机制进行了介绍，同时对传统主备中的重点功能模块极致RTO进行了介绍。

说明：

单主机：除了数据库服务还部署有其他服务
独立主机：只部署数据库服务

1.2.1.openGauss传统主备架构

1.2.2.openGauss传统主备原理

1.2.3.openGauss传统主备极致RTO原理

1.2.4.openGauss传统主备极致RTO时间

1.3.openGauss资源池化主备架构介绍

说明：

hot data:频繁访问的数据
warm data:访问不那么频繁的数据

2、介绍资源池化架构原理,和传统 HA 架构区别

3、资源池化安装部署

https://docs-opengauss.osinfra.cn/zh/docs/latest/docs/DatabaseAdministrationGuide/%E8%B5%84%E6%BA%90%E6%B1%A0%E5%8C%96%E5%BC%80%E5%8F%91%E8%80%85%E7%8E%AF%E5%A2%83%E9%83%A8%E7%BD%B2.html

资源池化介绍

openGauss资源池化是openGauss推出的一种新型的集群架构.通过DMS和DSS组件,实现集群中多个节点的底层存储数据共享和节点间的内存实时共享，达到节省底层存储资源以及集群内部支持一写多读且可以实时一致性读的目的。

资源池化架构图

在社区上正式发布的企业版安装包中, 如果需要搭建资源池化架构, 在硬件上需要准备磁阵, 服务器和光交换机，且需要部署CM和OM组件。
本文主要介绍可用于开发者进行开发的编译环境搭建方式, 不需要磁阵、CM和OM组件, 仅需要一台普通的物理机就可以搭建出资源池化的环境。
需要注意的是, 因为没有使用到真正的CM, 这种方式搭建的环境不能用于调试主备倒换或failover场景, 只能用于验证集群正常运行时的场景。

组件说明：

OM	运维管理模块（Operation Manager）。提供数据库日常运维、配置管理的管理接口、工具。
CM	数据库管理模块（Cluster Manager）。管理和监控数据库系统中各个功能单元和物理资源的运行情况，确保整个系统的稳定运行。

读写节点和只读节点共享一份底层存储。
读写节点和只读节点之间通过TCP或RDMA协议使用DMS组件共享Shared Buffer Pool中的热数据页。
读写节点和只读节点通过DSS API和DSS Server的协同访问底层共享存储中的持久化的数据。

服务器环境

	ip	OS version	配置	官方要求
实验环境	192.168.40.122	Centos7.3	1C4G40GB	磁盘空余空间大于200GB

已经自行使用编译方式编译出了openGauss带资源池化代码的debug版本的安装包, 可以通过确认生成的bin目录下是否有dssserver, dsscmd, lib目录下是否有libdms.so, libdssapi.so , libdssaio.so, 来判断，同时要保证编译openGauss时使用的是测试版本的DSS组件和DMS组件，详细参考下面的步骤。

编译安装

说明：

openGauss必须用Debug模式编译，不能使用Release模式，DMS和DSS组件需要使用测试版本。
手动编译安装的方式中，没有包含CM和OM组件，而正式的使用环境中DSS组件和DMS组件对CM有依赖，所以在编译openGauss之前需要先用测试的模式分别编译DSS和DMS组件。

https://docs-opengauss.osinfra.cn/zh/docs/5.0.0/docs/DatabaseAdministrationGuide/%E8%B5%84%E6%BA%90%E6%B1%A0%E5%8C%96%E5%BC%80%E5%8F%91%E8%80%85%E7%8E%AF%E5%A2%83%E9%83%A8%E7%BD%B2.html

课时2:DataKit工具介绍

1、Datakit的整体介绍

Datakit的定位

DataKit的全景图

DataKit的整体架构

DataKit主要功能

2、Datakit的部署

环境准备

DataKit的搭建依赖于java 11+服务，所以在安装之前需要先安装openJDK11，并下载相应的DataKit安
装包。相关说明和软件包的下载链接如下:

3、DataKit基础插件

基础运维插件

数据迁移插件

业务开发插件

智能运维

课时3:MySQL迁移介绍

初步了解迁移全流程，掌握MySQL和openGauss之间数据迁移和校验的实现原理，了解openGauss工具一体化平台Datakit，并能运用该平台进行数据迁移。

01数据迁移概述

02openGauss迁移工具集

介绍了MySQL迁移全流程中五个关键步骤: 全量迁移、全量校验、增量迁移、增量校验、反向迁移的实现原理，接着介绍了一键式迁移portal，并对迁移工具集进行总结。

03工具一体化平台DataKit

介绍了工具一体化平台Datakit的能力，接着讲述了DataKit的部署方式，着重介绍了如何用DataKit实现MySQL迁移全流程。

04MySQL迁移全流程demo

1、了解MySQL迁移原理和迁移工具

2、MySQL的迁移演示

课时4:基于驱动的应用程序开发流程介绍

JDBC介绍

完成了JDBC的介绍，使学员们了解了JDBC的作用，同时也可以掌握openGauss社区的jdbc开源地址、发布包等内容，为下一步的驱动开发做好准备。

openGauss驱动原理

了解openGaussidbc驱动的协议、实现原理，掌握dbc代码的编译、调试能力，可以参与到idbc的社区问题实战活动。

纯JDBC应用程序开发

了解openGaussjdbc的加载过程和基本的jdbc应用程序编写。

使用ORM框架和连接池的应用程序开发

了解与驱动密切相关的ORM和连接池概念，以及掌握mybatis和druid的使用。

课时5:资源池化双中心容灾介绍

openGauss容灾架构介绍

通过本课程，学员可以对openGauss当前传统主备，资源池化，资源池化双中心容灾的架构都有所了解。对openGauss核心容灾故障恢复机制能够有基本的了解，着重掌握openGauss资源池化基于DORADO存储同城双中心方案
背景:金融、银行业对数据的安全有着较高的要求，当主集群机房发生断网、停电、火灾等情况下，需要保证数据的安全性以及服务的可用性，因此需要采用双集群的高可用方案。主集群在出现故障的情况下，备机房的数据还具备能继续提供服务的能力
本特性主要实现基于华为高端存储设备Dorado同步复制能力的RPO=0的双集群

课时6:资源池化开发者入门

在本课程中，会介绍资源池化的起源、特点，相对于传统单机、分布式的差异与共同，以及资源池化的架构，关键组件DMS\DSS的架构原理。同时教授大家如何安装部署一个资源池化的集群环境
还会向大家介绍资源池化的代码框架，openGauss 在传统单机模式上如何修改以实现资源池化功能。
期望大家可以从架构原、操作使用、实现方案三个层面都能够有一定程度的概念和理解。