兴业证券OLAP类系统基于OceanBase的创新实践

证券业软件系统业务种类繁多、逻辑复杂、数据来源广，存在大量复杂的 OLAP 场景，同时对系统的稳定性与实时性具有极高的要求。

随着各证券公司加紧推动业务系统的技术应用创新建设，探索关键业务在海量数据与复杂查询场景下的解决方案，验证我国分布式数据库在 OLAP 场景的可行性与性能，已经是证券行业亟需破解的难题。

投顾工作平台作为兴业证券投顾服务的核心 CRM 支撑系统，是提高投资顾问工作效率、提升客户服务能力、实现财富管理业务转型和数字化转型目标的重要系统，其主要负载类型是实时数据分析与决策支持。

当前基于商业数据库的传统系统架构下，系统性能瓶颈已日益凸显。因此，开展投顾工作平台系统升级建设，探索关键业务在海量数据与复杂查询场景下的解决方案，具有重要的现实意义和战略价值。

投顾工作平台的系统升级改造面临以下挑战：

1.数据存储压力：数据来源多元、数据规模庞大（13 TB）、数据日益增长；

2.数据计算压力：OLAP 关联场景复杂，工作时间数据库CPU负载超过 50%，峰值达到 80%；

3.重构改造压力：商业数据库绑定程度深，业务重构难度较大。

为此，投顾工作台的系统升级改造，需要实现以下技术目标： 

1.完成技术栈的全面升级，其中关键的数据库层需实现升级； 

2.改造过程中，不影响业务新需求的持续交付； 

3.改造完成后，系统性能较传统架构版本有所提升；

4.水平可扩展，未来数据量持续增长，在应用架构不做改动的前提下，系统处理能力持续提升。

本次系统升级实践，采用了领域驱动设计（DDD）原则来指导应用架构的设计。通过这种设计，我们构建了一个分层的“ 3+N ”领域架构，以促进业务能力的下沉和复用。系统被划分为三个主要层级：场景域、支撑域和核心域。

• 场景域专注于为PC端和移动端提供Web服务；

• 支撑域提供稳定可靠的技术服务基础；

• 核心域构建财富管理中台领域模型。

图1   系统升级应用架构

在此架构下，主中心的 6 台数据库节点都能提供读写服务，少数派节点故障 RPO=0，RTO<8s，灾备中心具备同等的处理能力与高可用能力。

图2   数据库集群/租户架构

项目组通过数据亲和分布、并行、向量化等手段，探索并实践了多种优化措施，形成了自下而上在数据库设计、SQL 执行计划、应用程序逻辑三个方面的优化方案。

1.数据亲和设计：让关联度强的数据在物理分布上更集中，减少复杂查询中数据在节点间的传输开销。

其中主要方法有三点：

• 开展分区与表组规划工作，将数据按特定规则（普通表、客户 Hash 分区表、时间分区表）重新组织分区分组，相同表组的表分区数据会被调度到同一个节点上，减少分布式事务的发生概率和数据在节点间的传输；

  
  

• 宽表及数据冗余设计，结合 OceanBase 高压缩比及底层行列混存架构，针对业务中关联性紧密的关键数据，构建业务宽表或者采用冗余存储方式，减少查询的数据表关联，以空间换时间，降低 OLAP 查询复杂度，可有效提升查询性能；

  
  

• 使用复制表，对于 SQL 关联查询频繁且更新频率低的表（例如员工表和组织表）设置为复制表，复制表在 3 副本中的各个节点都能提供强一致查询，有效减少跨节点请求，提升查询性能。
  

2.执行计划优化：非最优执行计划将导致系统开销显著增加，特别当连接表数量增多时，会进一步产生更大的性能开销。为解决此类问题，项目组联合 OceanBase 团队深入分析，进行如下几方面优化：

• 设计并行调度，使用 Parallel 指定并行调度机制执行查询，指示优化器并行线程数量，根据查询数据规模评估结果集的数量级，设置 4-16 的并行度。其中，对于执行大表扫描、大表连接、大数据量排序和聚合、批量插入、删除和更新数据操作，设置 16 的并行度。
  

  
  

• 设计 SQL 优化器提示 HINT 注入，对执行计划进行人为干预。对个别复杂 SQL 的执行计划进行分析和归纳总结，结合业务数据模型发现潜在问题，制定出优化规则，生成最有利于该场景的 HINT 以获取最优的执行计划。目前已使用 LEADING、USE_HASH 等 HINT。

图3   SQLighten技术原理

二是引入缓存管理框架。通过自动注册管理器，实现统一缓存管理，针对不同生命周期的数据支持不同的缓存策略，降低维护成本，提升查询效率，减轻数据库负担。

事实上，基于 SQL 的优化或许有其极限，结合业务的优化是存在着无限可能的，例如模糊查找前置、复杂查询逻辑拆分等优化手段。但此类优化方案的缺点也很显著，由于此类优化可能改变现有功能，甚至需要调整原有系统功能，需要投入较大的沟通和开发成本。

效果验证：即席查询性能提升 5 倍

针对不同 OLAP 业务场景开展性能测试，复杂 OLAP 场景选择正式客户查询中 10 张表以上的多表关联查询，简单 OLAP 场景选取正式客户查询中 5 张表以内的关联查询，重点关注平均响应时间随查询复杂度和优化手段变化的量化关系，以评估上述优化手段在处理不同复杂度 OLAP 工作负载时的性能表现。

图4   复杂OLAP场景下不同优化手段独立性能表现

图5   复杂OLAP场景下不同优化手段组合性能表现

通过上述数据可发现，同一优化策略在各类应用场景所产生的性能提升效果存在差异，例如分区分组在汇总/统计场景效果显著，而在列表查询中则效果并不突出。

针对不同复杂度的 OLAP 场景展开对比分析，重点对比优化措施在简单查询（ 5 表内关联）和复杂查询（10 表以上关联）在列表场景中的效果。

性能测试结果表明，经过优化后，主要接口查询性能均得到显著提升，简单 OLAP 查询平均响应时间降至 1 秒（原系统需 2.3 秒），复杂 OLAP 查询稳定在 1.9 秒（原系统需 105.6 秒）。

值得注意的是，优化措施在复杂 OLAP 场景的提升幅度显著高于简单 OLAP 场景。这主要是由于复杂 OLAP 执行路径也更加复杂，为优化措施提供了更大的改进空间。同时，由于复杂 OLAP 场景对资源调度和计算效率更加敏感，针对性的优化措施（如并行子查询、执行计划优化等）能够带来更明显的性能提升效果。

采用相同的性能优化方案同时在原系统和新系统实施，并重点针对复杂 OLAP 场景开展对比。相同的性能优化方案在非信创环境中也展现出显著效果，可实现 3-10 倍的性能提升，证明该优化方法具有跨平台的通用价值。

综上，基于以上多个应用场景开展的性能测试结果分析可知，同一优化策略在不同类型应用场景的性能优化效果存在差异，多种优化手段协同作用时，性能提升效果更为显著。

同时，优化策略的组合形式对系统性能表现有着直接影响。此外，随着 OLAP 场景复杂程度的增加，性能优化所取得的成效愈发突出。这些优化手段不仅具有广泛的适用性，还与 OceanBase 的分布式架构高度适配。经过优化后，具备支撑处理亿级数据量的复杂 OLAP 类系统的能力。

以下是系统迁移优化前后的对比数据，基于 OceanBase 的 OLAP 类系统——投顾工作平台整体实现存储空间降低超 80%、即席查询性能提升 5 倍、关键跑批任务时长缩短 20%。

目前，投顾工作平台核心模块已进入双轨运行阶段，为 OLAP 类系统的分布式升级提供了宝贵经验。