暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

如何衡量OLAP的业务价值?镜舟工程师总结了三个标准

原创 镜舟数据库 2023-08-11
629

7月11日,镜舟科技云原生技术负责人丁凯应邀参加 DatafunCon OLAP 圆桌会,与哔哩哔哩基础架构 OLAP 平台负责人李呈祥、腾讯 TEG 数据平台专家工程师程广旭,针对 OLAP 技术在不同行业的应用、机遇与挑战等话题,展开分享。

OLAP(Online Analytical Processing)是一种数据处理技术,**可进行复杂的数据分析,具备快速、灵活地进行大数据量的复杂查询处理的能力。常用于支持业务团队辅助商业决策,如固定报表、用户画像、行为分析等场景。**目前在各行各业的应用非常广泛,虽然从业务集群的机器规模上来说,可能还不如 Hadoop,Presto 量大,但是它所承载的数据却对业务有很高的价值。通常那些有价值的、且时效性要求非常高的数据,会被放到 OLAP 里面来,导致大家对它最初的定位是查询加速器。

但随着业务分析需求增加,OLAP 产品的能力和边界都在不断扩展。镜舟数据库当前已发布3.0版本,支持更具性价比的湖仓架构。从最初的分析型数据库、到 OLAP 引擎、再到湖仓,镜舟科技一直站在行业技术能力的第一梯队。

![图片](data:image/svg+xml,%3C%3Fxml version=‘1.0’ encoding=‘UTF-8’%3F%3E%3Csvg width=‘1px’ height=‘1px’ viewBox=‘0 0 1 1’ version=‘1.1’ xmlns=‘http://www.w3.org/2000/svg’ xmlns:xlink=‘http://www.w3.org/1999/xlink’%3E%3Ctitle%3E%3C/title%3E%3Cg stroke=‘none’ stroke-width=‘1’ fill=‘none’ fill-rule=‘evenodd’ fill-opacity=‘0’%3E%3Cg transform=‘translate(-249.000000, -126.000000)’ fill=’%23FFFFFF’%3E%3Crect x=‘249’ y=‘126’ width=‘1’ height=‘1’%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)

图片

镜舟科技是大数据分析领域冉冉上升的新星。镜舟数据库是一款基于 StarRocks 研发的企业级产品,拥有极速统一的湖仓分析能力。无论在性能还是易用性上都表现出色,同时更加稳定可信。StarRocks 拥抱开源,保持技术创新;镜舟深耕行业,创造业务价值。在本次圆桌上,丁凯也代表镜舟科技,阐述了产品业务价值的思考。

在我们公司内部,有一条价值观经常被提到 “成就客户 Customer Obsession”。某个功能、某项服务是否在客户侧产生了业务价值,一直是我们非常关心的点。如何来衡量,我比较关注的点有三个:能不能提升性能?能不能帮业务降本增效?能不能帮业务省心?

  • 能不能提升性能?

性能价值的体现,主要在一些时效性较高的业务上。比如用户分析、自助 BI 分析、人群圈选、监控告警等。

**某银行客户,利用镜舟数据库完成内部 BI 系统的改造与实时数仓建设,提高了银行数据导入、查询与分析效率。**如客户留存分析查询效率提升10倍以上,所有业务板块查询耗时5.8秒。通过搭建实时数仓,最新贷款等业务数据,可以秒级查询到结果,管理决策用数效率从 T+1小时转换为秒级。在实时存贷款报表应用中,业务人员能够查询到精准到秒级的最新数据,核对存款入账时间从平均半小时缩减至5秒钟,极大的提高了业务人员的工作效率。

  • 能不能帮业务降本增效?

降本增效是业务价值体现最为显著的。比如能够节约服务器成本,或节约人力成本。可能有些场景对于性能要求不高,但用镜舟数据库可以节约几倍的服务器成本,对客户来讲也是很大的价值。

某金融技术公司,初代数据架构的链路较为复杂、数据存在一定冗余。具体来说,数据从各个核心业务数据库通过 ETL 平台将实时、离线数据汇集到 Hadoop 集群中。数据根据实时性以及数据量被分别写入到 HBase 与 Hive,结合 Phoenix、Alluxio+Presto 对外统一提供数据。用户通过前端系统调用配置等多种方式获取数据。在 Hive+Presto 的基础上再附加 Alluxio 作缓存,直接导致系统硬件成本翻倍,并且加大了运维成本。引入镜舟数据库后,在实时处理方面用镜舟替代了以前的 HBase+Phoenix,离线数据方面也部分用镜舟数据库替代了 Hive+Alluxio+Presto。通过升级改造,服务器成本整体减低到接近原体系架构的一半。以前使用多服务多组件,如今统一到镜舟数据库,使得运维成本也得到了大大降低。

  • 能不能帮业务省心?

省心这个其实非常重要。业务团队每天要处理一线情况,再因为系统改变业务逻辑,增加业务上的复杂度,或者增加运维人员工作复杂性,就会本末倒置。工具没有解决问题,反而新增了问题。所以我们会关注,产品能不能给业务人员省心、省事。

某车企客户曾经历过性能与业务的决策时刻,在 IoT 领域时序数据库是无法忽视的选项,更加擅长像车辆信号这种带有时间戳的大数据写入场景。但因为业务侧数据量太多,且持续在增加,最初的业务逻辑是按照多表来制定的。同时,时序数据库在语法上,对业务侧来讲也存在差异。多方权衡下,最终因为镜舟数据库在业务侧更吻合,且同时满足技术对性能的要求,从而促使双方达成了合作。

未来,镜舟科技将持续深耕行业,与更多客户一起挖掘产品的业务价值。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论