暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

OceanBase 学习笔记25: 什么是ODP 的表路由机制?

497

本章节介绍 ODP 的表路由机制。

在 OceanBase 数据库中,Partition 是数据存储的基本单元。当我们创建表时,就会存在表和 Partition 的映射。如果是非分区表,一张表仅对应一个 Partition,如果是分区表,一张表可能会对应多个 Partition。目前 OceanBase 数据库未实现 Partition 的合并和分裂。

在 OceanBase 数据库中,有 Local 计划、Remote 计划和 Distributed 计划三种表路由。Local 计划、Remote 计划均为单分区的路由。OBProxy 的作用就是尽量消除 Remote 计划,将路由尽可能的变为 Local 计划。如果表路由类型为 Remote 计划的 SQL 过多,说明该 OBProxy 的路由可能存在问题(可通过查看 oceanbase.GV$OB_SQL_AUDIT 视图中 plan_type 字段来确认)。

非分区表路由

在 OBProxy 中保存了 Partition 和 OBServer_addr 的映射缓存,Partition 通过 SQL Parser 功能解析获取表名,根据表名去 Location Cache 中获取 Partition 所在 OBServer 的 IP。

存在如下三种情况:

  • Location Cache 中不存在,访问 OBServer 的 __all_virtual_proxy_schema 表拉取。

  • Location Cache 中存在并可用,直接使用。

  • Location Cache 中存在但不可用,从 Location Cache 中去除并重新拉取。

有关 Location Cache 的相关介绍,请参见《 ODP 用户指南》。

分区表路由

和非分区表一样,在 OBProxy 中保存了 Partition 和 OBServer_addr 的映射缓存,Partition 通过 SQL Parser 功能解析获取表名。相比非分区表,分区表额外增加了一个分区 ID 信息,根据表名和分区 ID 去 Location Cache 中获取 Partition 所在 OBServer 的 IP。

分区 ID 通过 SQL 语句获取,来源往往是 where 子句的表达式、insert 语句 values 值。需要保证能获取到 a = xxx,其中 a 为分区键,xxx 为常量。示例如下:

obclient> CREATE TABLE t1(c1 int, c2 int) PARTITION BY hash(c1) partitions 5; 
obclient> UPDATE t1 SET c2 = 3 WHERE c1 = 5;

这里提取到 c1 = 5,通过这个信息可以计算到影响到的分区 ID,将 SQL 转发给对应分区所在 OBServer 即可。

OBProxy 如果计算不出分区 ID,那么就无法拉取准确的路由。可以在 obproxy.log 日志文件中,搜索 "calculate partition id" 查看是否计算成功。示例如下:

[root@ocp-deploy-obnorpm2-bfc89744b-qsfkz log]# grep "calculate partition id" obproxy.log
[2021-10-28 17:18:18.552825] DEBUG [PROXY] ob_mysql_route.cpp:577 [73979][Y0-7FB3C9D07A80] [lt=10] [dc=0] succ to calculate partition id(part_id_=1)
[2021-10-28 17:18:31.045191] INFO  [PROXY] ob_mysql_route.cpp:575 [73979][Y0-7FB3C9D07A80] [lt=17] [dc=0] fail to calculate partition id, just use tenant server(tmp_ret=-4002)

有关分区表的相关介绍,请参见 分区概述

ODP 依赖的 OBServer 内部表

路由的准确性,除了与 ODP 本身有关,还依赖于从 OBServer 内部表中获取到正确信息。如下为 ODP 所依赖的 OBServer 内部表:

  • __all_virtual_proxy_schema:用于保存分区与其所在机器的对应关系信息,也有 Partition 的部分相关信息。

  • __all_virtual_proxy_partition_info:保存分区表相关分区信息。

  • __all_virtual_proxy_partition:保存一级分区信息。

  • __all_virtual_proxy_sub_partition:保存二级分区信息。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论