7月11日,镜舟科技云原生技术负责人丁凯应邀参加 DatafunCon OLAP 圆桌会,与哔哩哔哩基础架构 OLAP 平台负责人李呈祥、腾讯 TEG 数据平台专家工程师程广旭,针对 OLAP 技术在不同行业的应用、机遇与挑战等话题,展开分享。
OLAP(Online Analytical Processing)是一种数据处理技术,**可进行复杂的数据分析,具备快速、灵活地进行大数据量的复杂查询处理的能力。常用于支持业务团队辅助商业决策,如固定报表、用户画像、行为分析等场景。**目前在各行各业的应用非常广泛,虽然从业务集群的机器规模上来说,可能还不如 Hadoop,Presto 量大,但是它所承载的数据却对业务有很高的价值。通常那些有价值的、且时效性要求非常高的数据,会被放到 OLAP 里面来,导致大家对它最初的定位是查询加速器。
但随着业务分析需求增加,OLAP 产品的能力和边界都在不断扩展。镜舟数据库当前已发布3.0版本,支持更具性价比的湖仓架构。从最初的分析型数据库、到 OLAP 引擎、再到湖仓,镜舟科技一直站在行业技术能力的第一梯队。
’ fill=’%23FFFFFF’%3E%3Crect x=‘249’ y=‘126’ width=‘1’ height=‘1’%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
镜舟科技是大数据分析领域冉冉上升的新星。镜舟数据库是一款基于 StarRocks 研发的企业级产品,拥有极速统一的湖仓分析能力。无论在性能还是易用性上都表现出色,同时更加稳定可信。StarRocks 拥抱开源,保持技术创新;镜舟深耕行业,创造业务价值。在本次圆桌上,丁凯也代表镜舟科技,阐述了产品业务价值的思考。
在我们公司内部,有一条价值观经常被提到 “成就客户 Customer Obsession”。某个功能、某项服务是否在客户侧产生了业务价值,一直是我们非常关心的点。如何来衡量,我比较关注的点有三个:能不能提升性能?能不能帮业务降本增效?能不能帮业务省心?
性能价值的体现,主要在一些时效性较高的业务上。比如用户分析、自助 BI 分析、人群圈选、监控告警等。
**某银行客户,利用镜舟数据库完成内部 BI 系统的改造与实时数仓建设,提高了银行数据导入、查询与分析效率。**如客户留存分析查询效率提升10倍以上,所有业务板块查询耗时5.8秒。通过搭建实时数仓,最新贷款等业务数据,可以秒级查询到结果,管理决策用数效率从 T+1小时转换为秒级。在实时存贷款报表应用中,业务人员能够查询到精准到秒级的最新数据,核对存款入账时间从平均半小时缩减至5秒钟,极大的提高了业务人员的工作效率。
降本增效是业务价值体现最为显著的。比如能够节约服务器成本,或节约人力成本。可能有些场景对于性能要求不高,但用镜舟数据库可以节约几倍的服务器成本,对客户来讲也是很大的价值。
某金融技术公司,初代数据架构的链路较为复杂、数据存在一定冗余。具体来说,数据从各个核心业务数据库通过 ETL 平台将实时、离线数据汇集到 Hadoop 集群中。数据根据实时性以及数据量被分别写入到 HBase 与 Hive,结合 Phoenix、Alluxio+Presto 对外统一提供数据。用户通过前端系统调用配置等多种方式获取数据。在 Hive+Presto 的基础上再附加 Alluxio 作缓存,直接导致系统硬件成本翻倍,并且加大了运维成本。引入镜舟数据库后,在实时处理方面用镜舟替代了以前的 HBase+Phoenix,离线数据方面也部分用镜舟数据库替代了 Hive+Alluxio+Presto。通过升级改造,服务器成本整体减低到接近原体系架构的一半。以前使用多服务多组件,如今统一到镜舟数据库,使得运维成本也得到了大大降低。
省心这个其实非常重要。业务团队每天要处理一线情况,再因为系统改变业务逻辑,增加业务上的复杂度,或者增加运维人员工作复杂性,就会本末倒置。工具没有解决问题,反而新增了问题。所以我们会关注,产品能不能给业务人员省心、省事。
某车企客户曾经历过性能与业务的决策时刻,在 IoT 领域时序数据库是无法忽视的选项,更加擅长像车辆信号这种带有时间戳的大数据写入场景。但因为业务侧数据量太多,且持续在增加,最初的业务逻辑是按照多表来制定的。同时,时序数据库在语法上,对业务侧来讲也存在差异。多方权衡下,最终因为镜舟数据库在业务侧更吻合,且同时满足技术对性能的要求,从而促使双方达成了合作。
未来,镜舟科技将持续深耕行业,与更多客户一起挖掘产品的业务价值。




