实时离线数仓实战No.10 | Doris中搭建离线数仓DWD层 →

大数据技能圈 2024-06-05

实时离线数仓实战V2是在实时离线数仓实战V1的基础上进行扩展的系列文章。相比V1，V2主要的内容包括数据库表的调整、增加数仓建模的内容扩展、数仓性能调优等内容。

组件安装详细文档请访问：

建议收藏 | 《实时/离线数仓实战》配套组件安装文档 →

访问github及gitee获取代码及相关jar包：

https://github.com/Mrkuhuo/data-warehouse-learning

https://gitee.com/wzylzjtn/data-warehouse-learning

1. 业务数据库模拟数据生成

实时离线数仓实战No.5 | 业务数据生成实战及数据模型梳理 →

2. ods层数仓创建

实时离线数仓实战No.9 | Doris中搭建离线数仓ODS层 →

3. dwd层数仓建设

DWD层设计要点：

（1）DWD层的设计依据是维度建模理论，该层存储维度模型的事实表。

（2）DWD层表名的命名规范为dwd_数据域_表名_单分区增量全量标识（inc/full）

涉及表为：

1.交易域加购事务事实表
  dwd_trade_cart_add_inc
2.交易域下单事务事实表
  dwd_trade_order_detail_inc
3.交易域取消订单事务事实表
  dwd_trade_cancel_detail_inc
4.交易域支付成功事务事实表
  dwd_trade_pay_detail_suc_inc
5.交易域退单事务事实表
  dwd_trade_order_refund_inc
6.交易域退款成功事务事实表
  dwd_trade_refund_pay_suc_inc
7.交易域购物车周期快照事实表
  dwd_trade_cart_full
8.工具域优惠券领取事务事实表
  dwd_tool_coupon_get_inc
9.工具域优惠券使用(下单)事务事实表
  dwd_tool_coupon_order_inc
10.工具域优惠券使用(支付)事务事实表
  dwd_tool_coupon_pay_inc
11.互动域收藏商品事务事实表
  dwd_interaction_favor_add_inc
12.互动域评价事务事实表
  dwd_interaction_comment_inc
13.流量域页面浏览事务事实表
  dwd_traffic_page_view_inc
14.流量域启动事务事实表
  dwd_traffic_start_inc
15.流量域动作事务事实表
  dwd_traffic_action_inc
16.流量域曝光事务事实表
  dwd_traffic_display_inc
17.流量域错误事务事实表
  dwd_traffic_error_inc
18.用户域用户注册事务事实表
  dwd_user_register_inc
19.用户域用户登录事务事实表
  dwd_user_login_inc

建表语句详情查看目录

 org/bigdatatechcir/warehousev2/doris/dml/dwd

计算逻辑代码请看目录

org/bigdatatechcir/warehousev2/doris/logical/dwd

配置数据源：

dolphinscheduler配置DorisSQL全量（first结尾）计算任务：

dolphinscheduler配置DorisSQL增量（per_day结尾）计算任务：

添加作者获取大数据资料包：

精彩推荐

实时离线数仓实战No.9 | Doris中搭建离线数仓ODS层 →

实时离线数仓实战No.8 | 数据仓库开发规范 →

实时离线数仓实战No.7 | 数据仓库建模实战 →

实时离线数仓实战No.6 | 雪花模型、星形模型与星座模型详解 →

深度解析！Hbase核心面试题集锦 →

请各位读者动动手指点赞、收藏、在看，您的支持是我持续创作的动力，感谢。

doris 事务流量

文章转载自大数据技能圈，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

实时离线数仓实战No.10 | Doris中搭建离线数仓DWD层 →

评论