实时离线数仓实战No.11 | Doris中搭建离线数仓DWS层 →

大数据技能圈 2024-06-07

实时离线数仓实战V2是在实时离线数仓实战V1的基础上进行扩展的系列文章。相比V1，V2主要的内容包括数据库表的调整、增加数仓建模的内容扩展、数仓性能调优等内容。

组件安装详细文档请访问：

建议收藏 | 《实时/离线数仓实战》配套组件安装文档 →

访问github及gitee获取代码及相关jar包：

https://github.com/Mrkuhuo/data-warehouse-learning

https://gitee.com/wzylzjtn/data-warehouse-learning

1. 业务数据库模拟数据生成

实时离线数仓实战No.5 | 业务数据生成实战及数据模型梳理 →

2. ods层数仓创建

实时离线数仓实战No.9 | Doris中搭建离线数仓ODS层 →

3. dwd层数仓建设

实时离线数仓实战No.10 | Doris中搭建离线数仓DWD层 →

4. dws层数仓建设

设计要点：

（1）DWS层的设计参考指标体系。

（2）DWS层表名的命名规范为dws_数据域_统计粒度_业务过程_统计周期（1d/nd/td）

注：1d表示最近1日，nd表示最近n日，td表示历史至今。

涉及表为：

最近1日汇总表

1.交易域用户商品粒度订单最近1日汇总表
  dws_trade_user_sku_order_1d
2.交易域用户商品粒度退单最近1日汇总表
  dws_trade_user_sku_order_refund_1d
3.交易域用户粒度订单最近1日汇总表
  dws_trade_user_order_1d
4.交易域用户粒度加购最近1日汇总表
  dws_trade_user_cart_add_1d
5.交易域用户粒度支付最近1日汇总表
  dws_trade_user_payment_1d
6.交易域省份粒度订单最近1日汇总表
  dws_trade_province_order_1d
7.交易域用户粒度退单最近1日汇总表
  dws_trade_user_order_refund_1d
8.流量域会话粒度页面浏览最近1日汇总表
  dws_traffic_session_page_view_1d
9.流量域访客页面粒度页面浏览最近1日汇总表
  dws_traffic_page_visitor_page_view_1d

最近n日汇总表

1.交易域用户商品粒度订单最近n日汇总表
  dws_trade_user_sku_order_nd
2.交易域用户商品粒度退单最近n日汇总表
  dws_trade_user_sku_order_refund_nd
3.交易域用户粒度订单最近n日汇总表
  dws_trade_user_order_nd
4.交易域用户粒度加购最近n日汇总表
  dws_trade_user_cart_add_nd
5.交易域用户粒度支付最近n日汇总表
  dws_trade_user_payment_nd
6.交易域省份粒度订单最近n日汇总表
  dws_trade_province_order_nd
7.交易域优惠券粒度订单最近n日汇总表
  dws_trade_coupon_order_nd
8.交易域活动粒度订单最近n日汇总表
  dws_trade_activity_order_nd
9.交易域用户粒度退单最近n日汇总表
  dws_trade_user_order_refund_nd
10.流量域访客页面粒度页面浏览最近n日汇总表
  dws_traffic_page_visitor_page_view_nd

历史至今汇总表

1.交易域用户粒度订单历史至今汇总表
  dws_trade_user_order_td
2.交易域用户粒度支付历史至今汇总表
  dws_trade_user_payment_td
3.用户域用户粒度登录历史至今汇总表
  dws_user_user_login_td

建表语句详情查看目录

 org/bigdatatechcir/warehousev2/doris/dml/dws

计算逻辑代码请看目录

org/bigdatatechcir/warehousev2/doris/logical/dws

配置数据源：

dolphinscheduler配置DorisSQL dws_1d初始化任务（first结尾）计算任务：

dolphinscheduler配置DorisSQL dws_1d 增量任务（per_day结尾）计算任务：

dolphinscheduler配置DorisSQL dws_10d初始化任务（first结尾）计算任务：

dolphinscheduler配置DorisSQL dws_10d 增量任务（per_day结尾）计算任务：

dolphinscheduler配置DorisSQL dws_nd 全量计算任务：

添加作者加入交流群并获取大数据资料包：

精彩推荐

实时离线数仓实战No.10 | Doris中搭建离线数仓DWD层 →

实时离线数仓实战No.9 | Doris中搭建离线数仓ODS层 →

实时离线数仓实战No.8 | 数据仓库开发规范 →

实时离线数仓实战No.7 | 数据仓库建模实战 →

实时离线数仓实战No.6 | 雪花模型、星形模型与星座模型详解 →

深度解析！Hbase核心面试题集锦 →

请各位读者动动手指点赞、收藏、在看，您的支持是我持续创作的动力，感谢。

数据粒度

文章转载自大数据技能圈，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

实时离线数仓实战No.11 | Doris中搭建离线数仓DWS层 →

评论