Inceptor表分桶实践最佳案例.pdf
25墨值下载
分桶背景
随着企业的数据不断增长，数据的分布和访问模式变得越来越复杂。我们前面介绍了如何通过对表进行
分区来提高查询效率，但对于某些特定的查询模式，特别是需要频繁地进行数据联接查或取样的场景，
仍然可能面临性能瓶颈。此外，随着数据的不断积累，可能会出现某些分区数据量过大，导致查询和处
理效率受到影响。
为了更细粒度地管理和优化数据存储与访问，数据分桶（Bucketing）技术逐渐受到了关注，即对指定列
的哈希值将其分配到固定数量的子集中（桶），保障数据的均匀分布，从而为复杂查询提供了更高效的
处理方式。
为什么要分桶
数据分桶通过对特定列的值进行哈希处理，帮助您更好地均匀分布数据、优化特定模式的查询，其优势
如下：
优化特定查询模式： 对于涉及桶列的JOIN和过滤操作，分桶可以大大加速查询，因为它能确保只
有相关的桶被访问和处理。例如，基于桶键的 JOIN 操作可以在 map 阶段执行，避免了 shuffle 和
reduce 阶段的开销。
此外，当查询的谓词包含分桶键时，可快速定位到具体的分桶，极大减少数据扫描范围，提升查询
效率。
增加数据访问的预测性： 由于数据是基于哈希值进行分桶的，所以系统可以准确地知道哪些数据位
于哪个桶中。这为数据访问提供了更高的预测性，从而进一步提高了查询性能。
何时分桶
数据分桶是一种大数据优化策略，主要目的是提高查询性能，在决定是否对表进行分桶时，需要综合考
虑以下几个因素，以确保分桶对系统性能和数据管理带来实际的好处：
高频的连接操作: 当两个大表需要经常进行连接操作，并且连接基于某个特定的列，经常因为数据
移动而产生大量的 Shuffle 读写，拖慢了查询效率。
频繁的聚合操作: 对于需要频繁执行的聚合操作，如果按照聚合的键进行数据分桶，可以大大提高
查询性能，因为每个节点可以独立地完成其桶内的聚合操作。
设计表分桶策略
选择合适的分桶键是分桶优化成功的关键。以下是一些选择合适分桶键的指南和考虑因素：
步
骤
说明
分
析
查
询
需
求
● 常用的 JOIN 列：重点关注经常执行 JOIN 操作的列，基于桶键的 JOIN 可以在 Map 阶段执
行，避免了 Shuffle 阶段的开销。 ● 常用的 WHERE 子句列：重点关注经被用作过滤条件的
列，将其作为分桶键可避免全表或分区扫描，只需扫描特定桶，从而帮助提高查询效率，并
确保数据在桶之间的均匀分布。
了
解
数
据
特
征
● 分析数据在列上的分布情况，一个理想的分桶键应该有较大的基数和较少的重复值，避免
桶中的数据不均衡。
选
择
分
桶
列
数
量
● 多分桶列：适用于处理高任务并行度的查询，假设数据的一个主要特征或多个特征经常被
一起查询或用于 JOIN 操作，即使查询条件没有涵盖所有分桶列的等值条件，该查询也可通
过扫描关联的分桶，提高任务执行的并行度。 ● 单分桶列：适用于高并发的点查询，使其只
需扫描与该键匹配的特定桶，减少不同查询之间的 I/O 干扰，并提高系统的响应时间。
确
认
分
桶
数
● 默认情况下，分桶数由 ArgoDB 自动计算，可覆盖大部分业务场景，即 数据磁盘总数 *
5，然后取比起大的相邻质数，例如磁盘数为 12，先将其乘以 5，再取相邻质数，则默认分
桶数为 61。 ● 如果表执行了分区操作，推荐单个分区中，分桶的数据规模为 50~100 MB，
既可以避免文件过小触发小文件合并，给文件管理带来额外开销，同时也避免了 Block 文件
数过多导致查询启动的 task 数过多影响执行和并发效率，需要注意应避免将分桶数设置为
31 及其倍数，减少潜在的哈希冲突。
在具体实践中，您也可以使用小规模数据量的表来尝试使用不同的分桶键，比较分桶获得到的查询
收益，找出为您提供最佳性能的选择，此外，随着业务数据特性、查询需求的变化，可能还需要定
期评估分桶键合理性。
最佳实践
创建分桶表
场景介绍
XYZ 是一家全球知名的电子产品零售商，主营智能手机、耳机、笔记本电脑等电子产品。近期，该企业
注意到某些产品的退货率居高不下。高退货不仅影响了公司的利润，还可能导致顾客的不满和对品牌的
不信任。为了深入研究这一问题，该企业希望通过分析历史业务数据，识别产品质量问题、优化库存管
理，从而能够更加聚焦地改进其产品和服务，在竞争激烈的零售市场中保持领先地位。
接下来，我们以 TPC-DS 样例数据集为例，演示在搭建退货数据分析的数据仓库过程中，如何通过数据
分桶来提升数据查询性能，我们用到的表分别为：
store_sales*：存储了商品的销售数据，约 2.88 亿条数据（38.1 GB）且持续增长中。
sales_returns*：存储了商品的退货数据，约 2888 万条数据（3.2 GB）且持续增长中。
item*：存储了商品信息，共 20.4 万条数据，该表作为上两个事实表的共同维度表。
of 15
25墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论