暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

辰钰资本:存储大 PK,谁才是处理高频交易数据的专家?

原创 DolphinDB 2025-03-28
151

下文引述自辰钰投资董事长李栋、董事陈志凌、数据库工程师苏虎臣

“在使用 DolphinDB 前,我们先后使用过文件系统MySQLPostgreSQL存储数据。

之前使用文件系统会先将数据落在本地,然后用 Python 进行计算。但是文件系统在实际应用中存在一些不足。首先,在存储过程中文件系统的IO是一个很大的瓶颈。其次,在处理大量数据时,文件系统过于庞大,进行存储查询等操作费时且费力。同样地,MySQL 和 PostgreSQL 这两个数据库在实际测试中都非常慢。如果要处理的数据量很大,系统甚至会无法工作。

因此,我们想要搭建一套新的系统。主要考虑的数据库有MongoDBKdb+DolphinDB

由于 MongoDB 缺乏函数支持、旧代码改起来比较费劲,KDB+的语言较难学习,整体上手很慢,所以我们放弃了这两个数据库。

反观 DolphinDB,性能比 Kdb+更好,语言类 SQL 容易上手,同时提供丰富的金融函数。在低频转向高频的过程中,原来的系统无法处理骤然剧增的数据,但 DolphinDB 是这方面的专家,相较之下新系统的速度可以提升10倍左右。在处理逐笔数据时,相比之前使用过的文件系统,现在的系统效率得到大大提升,并且使用起来也非常方便。此外,DolphinDB 作为一站式数据库,综合了分布式存储、编程建模和高性能计算,可以在研究时快速抽取某些特定的数据,这大大加快了我们的研究进度。”

更多案例内容点击《如何提升量化投研效率?来自辰钰投资的案例分享》

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论