增量数据同步工具Debezium介绍

Debezium能做什么

RedHat开源的Debezium是一个将多种数据源实时变更数据捕获，形成数据流输出的开源工具。

它是一种CDC（Change Data Capture）工具，工作原理类似大家所熟知的Canal, DataBus, Maxwell等，是通过抽取数据库日志来获取变更的。

官方介绍为：

Debezium is an open source distributed platform for change data capture. Start it up, point it at your databases, and your apps can start responding to all of the inserts, updates, and deletes that other apps commit to your databases. Debezium is durable and fast, so your apps can respond quickly and never miss an event, even when things go wrong

debezium.io

为什么选择Debezium

笔者所在公司以PostgreSQL为源的实时同步需求较多。在对比各项同步工具之前，先来看看具体业务。

业务场景1：系统去O

要求使用PostgreSQL替换Oracle，使用GoldenGate搭建Oracle到PostgreSQL正向实时同步链路，待数据追平，将业务切换到PostgreSQL库，达成去O目的。若系统切换到PostgreSQL后存在问题，需要工具搭建PostgreSQL到Oracle的回退链路

业务场景2：不同BU子系统之间协作

数据库均为Postgres，系统B需要系统A的业务数据，但是由于网络拓扑复杂，库体积较大，如果以接口的形式提供数据，不仅需要增加额外的开发，同时会对A库造成一定压力，系统A无法接受，此时需要工具搭建不同BU之间PostgreSQL之间的同步，并要求对源库影响较小

业务场景3：OLAP、数仓

需要将PostgreSQL数据接入大数据平台，接入点为Kafka，消费逻辑由下游应用自行实现

因此，对于不支持PostgreSQL的工具，我们没有采用。

是否采用抽取日志这种实时同步的方式，取决于同步表变更数据量÷整库总变更数据量的比例，比例越高，非同步表的大事务越少，越推荐采用。否则，采用业务时间戳或触发器等准实时同步手段进行同步。

本文仅讨论抽取日志实时同步的工具。

我们对比了4种CDC工具，其中GoldenGate简称ogg，Debezium简称dbz，DataPipeline简称dp。对比如下：

支持的数据源、目标类型

主要功能对比

通过对比综合考虑，我们最终决定

PostgreSQL->PostgreSQL的同步，目标库版本不低于源库版本，使用开源工具Pglogical

PostgreSQL->非PostgreSQL的同步，或高版本PostgreSQL->低版本PostgreSQL，使用Debezium + Kafka + 自行开发消费端

目前我们共有9条链路，2600多张表，通过Debezium进行同步。当然，此过程中碰到许多问题，笔者在后续文章中也会挑选一些有代表性的问题来阐述。

Debezium抽取原理

图片来自Debezium社区Blog：

PostgreSQL在9.4版本推出了logical decoding功能，使得外部应用抽取并解析数据库的wal日志成为可能，我们称作逻辑流复制：

https://www.postgresql.org/docs/9.4/logicaldecoding.html

若想使用此功能，首先需要在数据库安装logical decoding插件，例如wal2json：

https://github.com/eulerto/wal2json

然后，以java应用为例，应用需使用PostgreSQL JDBC驱动包的逻辑流API，来获取logical decoding插件传输过来的events。相对于普通应用无法解析物理流复制而言，逻辑流复制的events是可以解析的，Debezium也正是利用了这一点，做到抽取的。

Debezium抽取并解析这些events之后，将其序列化存储到kafka，供下游消费程序使用。