暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Presto调研(1)

原创 手机用户2895 2024-08-28
103

概述

presto在一款广泛使用的大数据分析引擎,云上很多数据库选择presto做二次开发(如adb,polardb-x),以性能好,代码模块化好著称。presto代码工程中实现相比greenplum要精细很多,阅读难度更大,精力所现,本文只对shuffle的代码实现做一个简单总结。

概念

  • Stage 等同于greenplum的slice,一个plan会切成多个stage,stage之间由exchange连接。
  • fragment 等同stage

image.png

  • worker presto进程
  • task&&driver presto是两层调度,coordinator把task分发到不同的worker,worker再调度一组driver,也就是逻辑thread去处理同一个task。driver可以理解成coroutine。

image.png
image.png

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论