暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
首页 / GaussDB(DWS)CBB组件之共享消息队列介绍

GaussDB(DWS)CBB组件之共享消息队列介绍

GaussDB DWS 2022-03-25
867

GaussDB(DWS)在并发执行DDL过程中，会涉及元数据失效的问题，那么语句执行线程如何及时通知其他线程元数据失效呢？答案是共享消息队列。共享消息队列主要用于存储失效消息，当线程执行DDL后，会将本地的失效消息提交到到共享消息队列中，并通知其他线程处理元数据失效。在本文中，将详细说明共享消息队列实现机制。在讲解过程中，大家有任何建议，欢迎留言讨论！

共享消息队列是什么？

在前文中，我们讲解了SysCache的实现原理，GaussDB(DWS)通过SysCache缓存表元数据，以加速查询，然而在并发查询过程中，不可避免地会出现需要同步元数据的情况，举个简单例子，假设存在以下语句执行流程：a.Create table abc（会话1）b.Select * from abc（会话1）c.Drop table abc（会话2）d.Select * from abc（会话1）在会话1中，会连续两次执行Select表操作(b和d)，在b语句执行后，会话1将对abc的元数据进行缓存，缓存到SysCache中，以备后续使用。然而，在c语句执行后，需要对会话1中的元数据进行失效，否则，会话1将在执行d语句过程中发生错误，读取已删除的数据。那么，会话2如何“通知”会话1失效哪些数据呢？答案是共享消息队列。

共享消息队列存储结构

如图所示，为共享消息队列数据结构

图示中主要包括两部分，下面部分为ThreadLocal结构，主要记录的是每个线程内部的数据，线程间数据是独立的，无法互相访问，上面部分为共享消息队列中的数据，共享消息队列存在于共享内存中，可同时被多个线程访问，共享消息队列的访问场景是典型的一写多读场景。在共享消息队列中，核心变量有三个，nextMsgNum、minMsgNum、MaxMsgNum，其中nextMsgNum记录了每个线程消息读取到的位置，minMsgNum记录了共享消息队列中最早消息的位置，maxMsgNum记录了共享消息队列中最新消息的位置，对于每个线程而言，需要定期（在表加锁/事务开始/收到信号时触发）从共享消息队列中读取失效消息，利用失效消息（共享消息队列中的每个消息）更新线程内部数据，同时，若线程内部产生失效消息（通常DDL语句在事务提交时产生大量失效消息），则需要向共享消息队列中插入失效数据，供其他线程读取。另外，还有两个参数，hasMessages、resetState，其中hasMessages用于标记对应线程是否存在未读取的失效消息，resetState用于标记对应线程是否需要失效全部消息。NOTE：失效数据有哪些？失效消息一共有六类（源自PG），有兴趣的同学可以研读PG源码，在此处我们不再展开，仅需知道线程需要从共享消息队列中读取/插入消息，以实现数据同步。

共享消息队列接口实现

共享消息队列本质上对于外部接口只需要提供三个功能：读取共享消息队列中消息、向共享消息队列中写入消息、清理共享消息队列。
读取共享消息队列

如图所示，为失效消息读取过程。在线程同步失效消息过程中，有几个关键点：
  • 若共享内存中线程对应的hasMessage为True，则表示有失效消息需要读取，否则直接返回，无新的失效消息。
  • 读取失效消息过程中，需要持有读共享锁，以保证读取的消息不会被清理掉。
  • 若读取失效消息过程中，发现resetState被置为True，说明该线程已经无法使用共享消息队列中的消息进行追增，需要对缓存进行全失效。缓存全失效相当于追增全部数据，需要将nextMsgNum置为maxMsgNum。缓存全失效将严重降低SQL执行性能，尽量减少缓存全失效的发生频率。
  • 在追增数据过程中，会推进线程自身的nextMsgNum，以标记数据追增位置。
NOTE：在读取共享消息队列过程中，每个线程推进自己的nextMsgNum位置，以方便记录数据追增情况。
向共享消息队列中写入消息

如图所示，为失效消息写入过程。有以下几个关键点：

  • 写入失效消息过程，需要调用清理共享消息队列接口，以保证有足够多的空位写入失效消息。
  • 在写入失效消息过程中，会更新maxMsgNum。
  • 写入失效消息完毕以后，需要将其他线程的hasMessage标记为True。
  • 写入失效消息过程，需要持排他写锁，阻塞其他线程写操作，但不阻塞读。
NOTE：写入失效消息过程实际上是推进maxMsgNum的过程，同时告知其他线程有新的失效消息需要读取。
清理共享消息队列

如图所示，清理共享消息队列过程中，有以下几个关键点：

  • 清理共享消息队列需要持有排他读锁和排他写锁，阻塞读过程。其主要原因是，清理共享消息队列会推进minMsgNum，若不持读锁，可能导致nextMsgNum读取过期数据。

  • 清理共享消息队列会推进minMsgNum。

  • 清理共享消息队列过程，会将所有没有及时追增失效消息的线程执行全失效。

  • 在清理共享消息队列最后步骤，会对距离minMsgNum最近的线程，发送追增信号，以确保不会频繁发生全失效。该步骤主要考虑的情况是，若线程长时间处于idle状态，需要外部信号触发其及时追增消息。

NOTE：清理共享消息队列过程，实际上是推进minMsgNum的过程，同时对所有没有及时追增失效消息的线程执行全失效。根据以上共享消息队列接口可知，读取共享消息队列主要负责推进各个线程自身的nextMsgNum；写入失效消息主要负责推进maxMsgNum；清理共享消息队列主要负责推进minMsgNum。通过共享消息队列，可有效实现各个线程之间的数据同步。

关于GaussDB(DWS)共享消息队列您还想了解哪些实现呢？欢迎各位小伙伴在公众号留言~
往期精彩回顾




gaussdb
文章转载自GaussDB DWS，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论