概述
presto在一款广泛使用的大数据分析引擎,云上很多数据库选择presto做二次开发(如adb,polardb-x),以性能好,代码模块化好著称。presto代码工程中实现相比greenplum要精细很多,阅读难度更大,精力所现,本文只对shuffle的代码实现做一个简单总结。
概念
- Stage 等同于greenplum的slice,一个plan会切成多个stage,stage之间由exchange连接。
- fragment 等同stage

- worker presto进程
- task&&driver presto是两层调度,coordinator把task分发到不同的worker,worker再调度一组driver,也就是逻辑thread去处理同一个task。driver可以理解成coroutine。


「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。




