PolarDB-X开源分布式数据库在韵达科技的应用实践

阿里云数据库 2022-11-24

361

本文整理自韵达科技业务中台总监李波涛，在 2022 阿里巴巴开源开放周上的分享。

背景：企业介绍业务诉求

韵达主要面向国内外提供快递、快运、供应链、仓储服务等，目前拥有 4 万多家快递服务网点，3000多家快运服务网点，200多家加盟商，以及 100 多家分拣中心，其中包括 4200 条快递干线，1000多条快运干线，150家城市配送站，业务覆盖了 100 多家重点城市，遍布全球 30 万个国家和地区，拥有 200 万平米仓储面积，从业人员 30 多万。

韵达每日订单量高达几千万，每个订单有多种标签信息，因此数据量巨大。其中上游业务方有各大电商平台、订单中心、大客户、智橙网、财务中心、店配团、物流团等。

打标平台主要提供了订单标签基础服务、查询统计服务、消息推送、 CSV 文件推送、订单标签处理等。其中数据存储是核心业务，数据量较大，而且是高并发访问场景。数据存储涉及到 Kafka、 CSV、Redis、MySQL 分库分表。

下游主要为业务赋能，有韵图、智能外联、大掌柜、数据中台、结算团、韵达超市、揽派系统等一共 30 多个系统。

应用实践：架构升级核心能力

韵达原先的业务架构存在较多痛点：

数据无法充分发挥业务价值：传统的分库分表方案缺少数据全局视角，对复杂查询的限制较多，需要人工进行处理。
历史数据清理繁琐：数据并不需要长期存储，对于业务场景而言一般只需存储 1年。但因为分表较多，数据清理较麻烦，同时为了避免对在线业务产生影响，经常需要在业务低峰期比如凌晨，与 DBA 团队合作对历史数据做手动清理。
随着业务上升导致性能衰减：数据增加以后查询能力下降。另外，计算存储资源固定，难以扩容。

因此，韵达采用了阿里云开源PolarDB-X云原生分布式数据库对业务架构进行了升级，使架构性能得到了极大的提升：

运营成本降低：支持灵活设置历史数据的存储周期，可以降低存储成本。透明分布式使得使用、运维方面的成本也得以下降。高兼容 MySQL 语法对开发团队而言，学习成本也得到了降低。
提高弹性扩展能力：计算存储分离架构提供了弹性能力，可随时扩缩容，资源可以按需分配，提高了资源利用率。
高可用能力提升：引入了强一致协议，克服了主备脑裂问题。另外，多副本技术的加持使得数据更加安全可靠。

上图为升级后的基于分布式数据库的业务架构。与老架构的主要差别在于，将原先基于 MySQL 的人工分库分表使用 PolarDB-X 进行了替换，架构上并未有大调整。

此外，开发团队并不需要理解 CN 节点，也不需要与CN节点打交道，他们看到的只是一个 PolarDB-X 数据库，可以理解为一个大型的MySQL实例，不存在额外的学习成本。

PolarDB-X 提供了两种数据库模式，分别是 Auto模式和DRDS模式。官方推荐使用Auto模式，它具有较好的功能特性，我们也采用了该模式。

Auto模式分区灵活，支持自动、手动分区，单机DDL语法无需改动，可以直接在 PolarDB-X 上使用。高度兼容了 MySQL ，无需额外的学习成本。支持分区级分裂合并，解决了数据热点问题。

Auto模式下的数据库建表语法与MySQL的建表语法完全一致，无需指定分区定义，自动采用 Primary Key 做分区，非常方便。另外，PolarDB-X支持多种表类型，比如传统单表、广播表、分区表，且可以通过简单 DDL 语句进行灵活的转换，比如分区表通过partition-by即可做哈希分区，可通过pratition参数指定分区数，可以创建 broadcast 广播表，也可以通过outtable将单表转换为分区表，非常方便快捷。

PolarDB-X也提供了数据生命周期管理。

通过Local Partition By Range(create_time)指定TTL表的物理时间分区列，在物理表上的数据会以此列做时间分区。可以通过 startwith 指定初始时间分区， intervial month 意为指定数据分区间隔为一个月，也可以按天或者按年进行分区。Expire after 指每个分区 12 个月会自动清理，清理工作不再需要开发与运维在凌晨手动完成，Pre allocate 可以指定提前创建分区的数量。

TTL在 PolarDB-X 后台通过定时任务来自动处理，节省了开发与运维的成本。