暂无图片
如何解决倾斜问题?
我来答
分享
暂无图片 匿名用户
如何解决倾斜问题?

如何解决倾斜问题?

我来答
添加附件
收藏
分享
问题补充
1条回答
默认
最新
数据库小学生

为了解决倾斜问题,我们支持了动态扫描。将协调节点内部分成DataThread 和 ControlThread,其中DataThread 负责收集汇总元组,ControlThread 负责控制每个扫描算子的扫描进度。

每个算子控制每个节点上scan 算子的扫描进度,每个节点上scan 算子再扫描下一 个块的数据时会向QC 节点进行请求查询,从而获得下一个扫描的目标块,使得扫 描快的工作进程能多扫描逻辑的数据切片。

此外,尽管是冬天分配,过程中我们也尽量考虑了buffer数据亲和性。另外,每个 算子的上下文均存储在各个worker的私有内存中,协调节点不存储表的相关信息。利用数据共享的特点,还可支持云原生下极致弹性的要求:将Coordinator 全 链路上各个模块所需要的外部依赖存在共享存储上,每个节点都可以看到相同的数 据。同时worker 全链路需要的运行时参数通过控制链路从Coordinator 同步,使 Coordinator 和worker 无状态化。任何节点都可以作为协调节点,确定了协调节点 之后,控制节点再从协调节点获取相关的控制信息。

暂无图片 评论
暂无图片 有用 0
回答交流
提交
问题信息
请登录之后查看
邀请回答
暂无人订阅该标签,敬请期待~~
暂无图片墨值悬赏