如何高效存储中高频多因子

• 二进制文件：一般以因子或因子+日期范围为单位来存储因子，类似于数据库的窄表存储，但数据查询和对齐缺乏灵活性，需要写程序来处理。一般没有压缩，且不能充分享受分布式带来的吞吐量提升。在用户较多时，版本管理和数据一致性会面对极大挑战。
• 关系型数据库 SQL Server：大数据量时性能急剧下降。窄表存储时，拼接宽表性能低下；而宽表模式最多支持1024列，增删改因子性能不佳。
• MongoDB：虽然增删因子较为方便，存储空间大，但数据导入导出和转换对齐的效率较低。
• ClickHouse：宽表存储写入和查询效率高，但是宽表的增删改列的效率极低，超大宽表支持不好（每列一个文件)；窄表转宽表效率极低，耗时是宽表查询的30倍以上。此外，ClickHouse 的分布式集群运维和管理较为复杂。

存储引擎

• 分布式存储，大幅提升读写吞吐量

• 灵活的分区策略：支持三层分区，每层分区支持值，范围，哈希等多种方式

• 支持分区内索引

• 支持窄表存储和宽表存储（32767列）

• 高压缩比

• 灵活的数据去重策略

• 高效的分区写入，删除和更新等操作

• 支持 Array Vector

• 支持多个分布式表的 Co-location存储

• 多引擎满足不同场景需要

• 分布式计算提升计算能力

• 库内支持因子的批量计算和流式计算，支持批流一体

• 支持SQL和 Join，尤其是Window Join 和Asof Join

• 高效的数据过滤，对齐，转置，转换，平滑以及窗口处理

• 1400+内置函数库

• 内置多范式编程的脚本语言

• 支持按用户和用户组进行权限管理。对任一权限支持grant，revoke和 deny三种操作

• 支持对数据库，表和函数视图三种对象进行管理

• 区分创建、更新、删除、写、读、执行等权限

• DB_OWNER 角色赋予某些用户独立创建和管理数据库的能

• 函数视图帮助机构实现复杂的权限管理，譬如因子访问控制