暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

方案精讲 | TiDB 多业务融合方案(合集)

TiDB Club 2023-03-26
400

⬆️PingCAP DevCon 视频回放及演讲资料已上线


作者简介

李振环,PingCAP 行业解决方案架构师,主要关注新经济行业和合作伙伴生态。有多年分布式数据库和大数据实战经验,之前在贝壳金服担任大数据平台技术负责人,负责贝壳金服大数据整体架构。


多业务融合即将多个业务系统部署在同一套 TiDB 集群中,如何提高资源隔离能力确保不同业务之间不相互影响是多业务融合方案设计要点。


本期将通过上下两篇方案精讲,为您介绍 TiDB 多业务融合方案的以下方面:

1. 如何使用单 TiDB 集群支持多业务,并且保证业务之间隔离性;

2. 多业务融合能力与 HTAP 结合;

3. 多业务融合在基础架构上通过修改 Leader 分布进一步提升整体隔离性;

4. 如何在线调整业务资源组


01

方案精讲丨TiDB 多业务融合方案(上

如下图所示,本文主要介绍如何使用单 TiDB 集群支持多业务,并且保证业务之间隔离性。


多业务融合方案说明


本文将介绍以下内容:

● TiDB 资源控制和隔离:此部分主要介绍 TiDB 与 NUMA 和 cgroup 技术结合实现单机多实例部署时资源控制和隔离,以及 TiDB 自带的资源控制参数;

TiDB 数据隔离:此部分主要介绍 TiDB Label 与 Placement Rules in SQL 技术实现数据存储隔离;

基于上述资源控制和数据隔离技术实现单集群多业务融合架构;

方案收益分析;

监控和报警隔离说明:融合部署的业务应用可以根据重要性分别配置监控和报警


TiDB 资源控制和隔离


NUMA 介绍

NUMA(Non-Uniform Memory Access) 非均匀内存访问架构是指多处理器系统中,内存的访问时间是依赖于处理器和内存之间的相对位置的。CPU 访问“本地” Memory 时速度更快,CPU 跨节点访问“远程” Memory 时速度较慢。


UMA(Uniform Memory Access) 均匀内存访问架构则是与NUMA相反,所以处理器对共享内存的访问距离和时间是相同的。



点击此处阅读原文



02

方案精讲丨降低架构复杂度、实现成本节约:TiDB 多业务融合方案(下)

如何提高资源隔离能力确保不同业务之间不相互影响是多业务融合方案设计要点。


前文已介绍了基础多业务融合方案,在本文中您将继续了解多业务融合方案以下能力:

 多业务融合能力与 HTAP 结合;

多业务融合在基础架构上通过修改 Leader 分布进一步提升整体隔离性;

如何在线调整业务资源组


1. HTAP 能力结合


多业务融合之后用户提出了一些新的需求:

● 基于订单和商品信息得到当日热卖商品,基于用户标签给用户推荐热卖商品(实时分析);

● 实时风控需要查询商品、订单、支付、用户等行为数据做风控 (统一视图);

● 订单详细页面:展示订单基础信息、订单支付状态和商品详情(统一视图)


1.1 多业务融合结合 TiFlash 实时数据分析

需求 a 是实现实时数据聚合分析,传统方案会将订单、商品、用户等业务系统数据同步到统一的大数据平台,然后执行聚合 SQL 得到最终推荐结果。此过程需要维护复杂数据同步链路,数据时效性一般为 T + 1 ,无法满足实时数据推荐需求。基于多业务融合方案数据已经存储在统一的 TiDB 集群中,只需要使用 SQL 查询 TiFlash 业务数据即可得到最终推荐结果。具体实现架构如下图所示:


多业务融合之后支付、订单等数据已经统一存储在 TiDB 集群中,在此集群上扩展蓝色 TiFlash 实例和蓝色 TiDB 实例,并为分析相关的表创建 TiFlash 列存副本,设置新 TiDB 实例 session 级别变量:tidb_isolation_read_engines = tiflash ,强制所有数据分析 SQL 查询 TiFlash 数据副本。综上实现数据分析只使用蓝色 TiFlash 和 TiDB 资源,保持与业务系统隔离。与传统方案对比此方案具备以下优势:

● 无数据同步链路:内置实时数据同步功能,减少用户运维成本;

● 强一致性数据分析:实现跨业务强一致性数据分析;

● 强大的 TiFlash 列存 MPP 分析能力:提升数据分析效率


需要注意以上能力需要使用 TiDB 6.1.2 或者 6.3 以上版本。



点击此处查看原文



Infra Meetup No.155 视频回放已上线

点击下方图片查看分享完整回顾

文章转载自TiDB Club,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论