暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

数据治理系列文章之一:HexaDB鲁班报表轻量一体化方案

HexaDB 2024-11-15
244

1、背景

数翊的鲁班大数据开发管理平台,在具备数据采集、开发、质检、安全、消费的基础能力外,还可提供高效快捷的可视化数据分析能力。在数据体量以及不同业务场景要求的影响下,常见的大数据开发平台或不支持可视化分析、需对接第三方报表工具;或数据时效性差、开发门槛高。本文中小六将为您介绍鲁班的数据分析能力,为您提供一个部署更轻量、数据时效性更强、开发门槛更低的解决方案。

2、业务场景

基于快消行业客户要根据大数据开发管理平台治理后的订单数据、库存数据,进行报表分析,通过报表指导之后的销售业务与库存管理业务。

3、传统方案与难点

传统方案

1)产品架构:分别部署一套数据中台、一套报表开发平台,数据治理完成后,报表平台再通过接口从中台取数;

2)报表开发:通过接口传参从数仓取数,形成初始数据集,再进行报表可视化开发。

图1-传统模式下的报表开发

难点

1)部署两套平台,需要额外的资源开销,同时也不支持统一的运维管理;

2)报表平台通过接口从中台取数,涉及两套系统对接,不可避免出现数据延迟;

3)报表平台通过接口取数有一定的技术门槛,大部分业务人员无法直接构建报表,需要将需求先同步至数据开发人员,使得报表开发流程复杂化,沟通成本提升的同时又进一步增加了数据延迟。

4、鲁班方案与优势

鲁班方案

1)产品架构

只需部署一套鲁班,通过鲁班内置的报表开发工具,结合全链路的数据治理能力,即可闭环报表开发能力;

2)报表开发

在支持图形化拖拉拽的报表可视化配置基础上,摒弃传统接口传参的取数方式,基于AIGC大模型的能力,实现自然语言取数。

图2-鲁班报表轻量一体化方案

AI取数环节,鲁班可接入主流大语言模型,如Chat2DB、智谱清言、通义千问、文心一言、百川,同时也支持对接用户部署的私有化大模型,适配各种场景。用户仅需输入自然语言,AI即可识别语义,并精准进行数据库查询计算,获取用户所需数据。

优势

1)降低产品成本

用一套鲁班替代传统的中台+报表平台,软件成本、部署所需资源以及运维成本都大幅降低;

2)降低数据延迟

在鲁班一套平台内,治理完成的数据即刻通过AI查询生成报表开发所需的数据集,无需跨平台进行数据对接,降低数据延迟;

3)消除开发门槛

AI查询取数的全过程仅需输入自然语言,真正做到彻底消除技术门槛,让业务人员可自闭环报表开发工作,精简流程,提升效率。

5、实施效果对比

1)部署资源对比:某快消品行业客户,使用传统方案的中台+报表平台,部署所需资源为4台8核32G,使用鲁班库仓报表一体化方案后,缩减为2台8核32G,部署资源降低50%;

2)数据延迟对比:传统方案中报表平台对接中台,需要根据不同业务所需指标来个性化开发接口,从治理数据结束到报表开发完成,时间延迟为T+1;使用鲁班方案后将延迟降低为分钟级。

3)开发成本对比:同样以上述快消行业客户为例,通过大数据平台已治理完成两张表,分别是订单信息表(temp_orders)、商品库存信息表(temp_inventory),需要根据两表的信息计算库存周转率,分析库存积压的风险。在获取报表所需数据集时,客户原有方案以及鲁班的实现分别如下:

  • 原有方案:通过以下SQL脚本实现取数

    SELECT
    i.product_id,
    IFNULL(o.total_ordered_quantity, 0) AS total_ordered_quantity,
    IFNULL(i.total_inventory_quantity, 0) AS total_inventory_quantity,
    -- 如果库存数量为0,则避免除以0的错误
    CASE
    WHEN i.total_inventory_quantity = 0 THEN NULL
    ELSE o.total_ordered_quantity / i.total_inventory_quantity
    END AS turnover_rate
    FROM
    temp_inventory i
    LEFT JOIN
    temp_orders o ON i.product_id = o.product_id
    ORDER BY
    product_id;
    • 鲁班方案:直接通过输入以下自然语言描述,AI自动计算,相比原方案的难易程度显而易见,而这仅仅是一个很简单指标的计算,在更复杂的计算场景下,鲁班方案的优势将进一步凸显。

    “请通过temp_orders表中的总订单量除以temp_inventory表中的总库存量来计算库存周转率,如果某产品的库存数量为0,我们就将这个产品的库存周转率标记为NULL。”

    6、总结

    鲁班的报表一体化方案,可同时解决传统中台+报表带来的产品成本高、部署资源开销大、运维复杂、数据延迟大、报表开发门槛高等一系列问题。轻量化的部署和运维,能使企业快速响应市场变化、提升决策效率。灵活的AI数据处理能力,使得即便是非技术背景的业务人员也能参与到报表的设计和维护中,进一步降低了对专业技术人员的依赖。鲁班的报表一体化方案以其低成本、低延迟、低门槛的三低特点,真正做到了数据治理分析的降本增效,助力企业在数字化转型的道路上迈出更坚实的步伐。

    文章转载自HexaDB,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

    评论