暂无图片
暂无图片
6
暂无图片
暂无图片
暂无图片

openGauss - 向量化执行引擎算子HashAgg解读

原创 闫宗帅 2024-07-07
575

openGauss - 向量化执行引擎算子HashAgg解读

对于分组聚合来说,可以通过排序将待排序值按照大小排列起来,相同的值就紧密连在一起,然后依次遍历,遇到不相同的值就得到一个分组。另一种方式是通过Hash来完成,将所有值都构建到hash表中,同一个桶的值即为一个分组(hash冲突的场景忽略)。openGauss的向量化执行引擎如何通过Hash来实现聚合?

1、HashAggRunner类

HashAggRunner类是Hash Agg执行的对象,主要成员及其关系如下图所示:


1)m_hashVal[]:数组大小是batch大小,存储着batch每行hash列的hash值:


1)Hash表由m_hashData管理,hash表数据都在内存则总是使用m_hashData[0],由两个成员组成:tbl_sizehash表大小,tbl_datahash

2)tbl_data[]为hash表,hash表存储hashCell*指针。也就是每个分组的值放到这里。Hash表的大小就是分组数:


该分组数是根据work_mem和以及统计信息估算出来的。

1)m_cacheLoc[]数组存储每行记录的hash桶号,计算方法:m_hashVal[i] & (m_hashSize - 1)。可以看到,不同值肯定会存在放在同一个桶的情况。

2)m_Loc[]数组存放hashCell,而hashCell则表示每个分组值,当发生hash冲突时,以链表的形式挂载同一个桶上。

3)HashAgg分组聚合的计算方式:这里忽略hash冲突的场景

   比如有一列值:


   依次:第一行1hash后放到桶1,然后将1cell放到m_Loc[0]2放到m_Loc[1]1hash到桶1,使用桶1cell,将其放到m_Loc[2]3放到m_Loc[3]2cell存放到m_Loc[4]。那么m_Loc[]数组依次存储的cell为:


这样将m_Loc[]数组带入向量化计算函数中,对其进行聚合,比如count

for( i < nrows ){
   m_Loc[i].cell++;
}

2、流程


1)HashAggRunner::Run函数是向量化HashAgg操作入口函数,Build函数用于构建hash表并进行聚合;Probe函数用于构建聚合输出结果

2)构建hash表的具体函数为HashAggRunner::buildAggTbl,对于hash冲突的值以链表的形式挂载同一个桶上,总是向链表头插入;构建的过程中进行分组聚合时,需要进一步调用函数match_key在链表上进行匹配

3)HashAggRunner::Probe函数用于将cell值即hash表中的值构建到输出结果batch中,中间若有QUAL条件,则需要过滤后投影输出。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论