暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

客如云如何利用OceanBase进行分布式云升级?

SQL学习者 2023-08-02
165

累积服务商家137 万+ 海量数据面临挑战

客如云现在已经累计服务超过 137 万的商家,海量数据下我们面临着三大核心问题。

第一,海量数据逼近单实例存储上限。业务数据超过现用数据库的单库存储上限,需要客如云不断在业务当中进行分库、分表操作,投入成本非常高,收益非常低;

第二,存储成本持续攀升。多个报表类业务的数据库在存储空间上已超 20TB 数据,存储费用日益高昂,且需不断提高投入;

第三,报表查询性能有待提高。业务报表类聚合查询,平均响应时间达几秒甚至更长,某些查询不返回数据本应快速结束时反而执行超预期的时间。

由于面临着这些挑战,客如云不得不在市场当中积极发现寻找与客如云发展速度符合的分布式数据库,也正是这些挑战,开启了 OceanBase 与客如云的故事。

在多个应用场景打磨下,客如云总结了三个选择OceanBase的原因:

第一,OceanBase是原生分布式数据库。自研一体化架构突破高性能和高可用, 实现应用无限扩展和服务永远在线;

第二,高性价比。基于 LSM-Tree 的高压缩引擎,平衡了“性能”和“压缩”的瓶颈,有效降低存储成本 70% - 90%,原生多租户,资源隔离按需使用;

第三,HTAP。多副本架构体系,支持混合业务分析场景, 通过在降本的情况下,使报表查询性能有了显著提升。

事实上,切换数据库过程中有非常大的风险,前期我们和 OceanBase 的团队也做了大量的测试验证,验证结果是,我们的业务无需做任何改造,可以直接在线进行切换,切换过程当中通过利用 OceanBase 的 OMS 一键迁移工具,实现了业务在线、双写实时同步的能力,使得我们业务在没有关机的情况下,在线直接进行业务的启动,完成无损迁移。

基于 OceanBase 的分布式能力,我们将原来分散的一些数据库进行了集中化的托管,使所有业务的后续运维效率得到了巨大提升,并对资源进行了有效利用,可同时处理交易数据和分析数据,将两个原来客如云使用的数据库进行统一的处理和分析,极大地提升了性能、降低了成本。


客如云分布式云升级数据压缩比与查询性能双提升

客如云切换为 OceanBase 使用一年后,为客如云带来如下价值:

第一,存量数据所需空间大幅度减少,存储空间节省了 80%

第二,增量数据对新购空间的需求与压力同时降低,数据库成本降低40%

第三,报表慢查询性能显著提高,慢查询(> 1s)数量减少 95%

第四,大表在线 DDL 秒级完成,索引的创建更快速、使用更灵活,索引调整时间缩短 95%

基于 OceanBase 数据库的能力,客如云将所有的公域平台数据、商家私域数据进行了有效的结合,形成了类目偏好、用户行为、消费习惯、LBS 信息聚集中心,通过数据处理提炼加工形成特征因子、时间序列、表征项量,最终沉淀出了人群洞察算法、人-品算法、人-品-场推荐算法,形成了实时算法平台,并且将这些算法应用在全渠道互联运营、实时精准营销、新店新品运营洞察当中,使我们的品牌能够通过这样的个体化解决方案,为自己的运营、为自己的用户带来更多的洞见。

累积服务商家137 万+ 海量数据面临挑战

客如云现在已经累计服务超过 137 万的商家,海量数据下我们面临着三大核心问题。

第一,海量数据逼近单实例存储上限。业务数据超过现用数据库的单库存储上限,需要客如云不断在业务当中进行分库、分表操作,投入成本非常高,收益非常低;

第二,存储成本持续攀升。多个报表类业务的数据库在存储空间上已超 20TB 数据,存储费用日益高昂,且需不断提高投入;

第三,报表查询性能有待提高。业务报表类聚合查询,平均响应时间达几秒甚至更长,某些查询不返回数据本应快速结束时反而执行超预期的时间。

由于面临着这些挑战,客如云不得不在市场当中积极发现寻找与客如云发展速度符合的分布式数据库,也正是这些挑战,开启了 OceanBase 与客如云的故事。

在多个应用场景打磨下,客如云总结了三个选择OceanBase的原因:

第一,OceanBase是原生分布式数据库。自研一体化架构突破高性能和高可用, 实现应用无限扩展和服务永远在线;

第二,高性价比。基于 LSM-Tree 的高压缩引擎,平衡了“性能”和“压缩”的瓶颈,有效降低存储成本 70% - 90%,原生多租户,资源隔离按需使用;

第三,HTAP。多副本架构体系,支持混合业务分析场景, 通过在降本的情况下,使报表查询性能有了显著提升。

事实上,切换数据库过程中有非常大的风险,前期我们和 OceanBase 的团队也做了大量的测试验证,验证结果是,我们的业务无需做任何改造,可以直接在线进行切换,切换过程当中通过利用 OceanBase 的 OMS 一键迁移工具,实现了业务在线、双写实时同步的能力,使得我们业务在没有关机的情况下,在线直接进行业务的启动,完成无损迁移。

基于 OceanBase 的分布式能力,我们将原来分散的一些数据库进行了集中化的托管,使所有业务的后续运维效率得到了巨大提升,并对资源进行了有效利用,可同时处理交易数据和分析数据,将两个原来客如云使用的数据库进行统一的处理和分析,极大地提升了性能、降低了成本。


客如云分布式云升级数据压缩比与查询性能双提升

客如云切换为 OceanBase 使用一年后,为客如云带来如下价值:

第一,存量数据所需空间大幅度减少,存储空间节省了 80%

第二,增量数据对新购空间的需求与压力同时降低,数据库成本降低40%

第三,报表慢查询性能显著提高,慢查询(> 1s)数量减少 95%

第四,大表在线 DDL 秒级完成,索引的创建更快速、使用更灵活,索引调整时间缩短 95%

基于 OceanBase 数据库的能力,客如云将所有的公域平台数据、商家私域数据进行了有效的结合,形成了类目偏好、用户行为、消费习惯、LBS 信息聚集中心,通过数据处理提炼加工形成特征因子、时间序列、表征项量,最终沉淀出了人群洞察算法、人-品算法、人-品-场推荐算法,形成了实时算法平台,并且将这些算法应用在全渠道互联运营、实时精准营销、新店新品运营洞察当中,使我们的品牌能够通过这样的个体化解决方案,为自己的运营、为自己的用户带来更多的洞见。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论