DTCC2023速记

2023年，数据库行业有哪些新技术、新产品、新动向？数据库行业的一些关键技术、可持续研发运营能力是否具备？未来数据库行业发展会有哪些新趋势？通过DTCC2023第十四届中国数据库技术大会及会议资料，快速观察如下：

1. TeleDB是突出电信应用场景的云环境下的大数据平台，并不是数据库。

2. KaiwuDBIoT分布式多模数据库，云边端协同？似缺少对时序数据处理异构数据处理、分析的深入分析

3. HashData分布式数仓的TP能力谈到WAL与Timetravel，TimeTravel也非TP必需，TP 的 ACID、可用性、安全性等能力似需补强，统一平台有其必要，期待有更多创新。

4. 华夏银行谈到数据库的应用与服务，如分布式改造、适配、迁移、交割等，而非数据库产品本身。

5. SUNDB致力于国产化改造升级、关键点弱化及弃用Ora体系功能、存量应用迁移、行业方案。

6. 阿里云瑶池基于飞天内核的云原生一站式数据管理平台与服务，支持多模、实时数据存储与处理，SaaS数据库方案、多租户架构，复用Lindorm产品技术架构，强调化繁为简，阿里风格，一而贯之。

7. 美图分布式数据库Blade基于开源TiDB构建，基于开源VictoriaMetrics搭建分布式高可用监控体系，跨地域的集群迁移及容灾，五套K8S集群，跨三个主要地域，四个服务专区，支撑近万个容器化服务实例，安全稳定运行，努力自研，计算、存储资源隔离的租户公共集群。基于开源的数据库集群应用范例，值得期待。

8. 数帆Curve块存储：云原生、高性能、稳定易运维的开源分布式（数据）存储系统，通过raft协议保证三副本的数据一致性;基于本地文件系统(ext4)实现存算分离PolarDB-FileSystem　PFS适配　MySQL + PFS + Curv，大压力、超大容量场景待验证。对存储能力的深入对说存算分离架构数据库或大数据应用很有价值。

9. Airwallex　Raft等分布式算法在数据库中的原理和实践。

10. 平安集团UbiSQL，基于TiDB，支持Oracle迁移，TiDB5.4可应用于核心数据库环境，推荐TiDB 6.5，限制内存。

11. GBase 8c，似基于Postgresql，有修改。

12. 万里开源MySQL生态

13. UPRedis是中国银联在开源的redis数据库社区版云闪付营销，Proxy技术框架文件进行对称加密，AOF-BINLOG异地容灾。算是内存数据库在安全、高可用在金融领域的应用案例。

14. 图数据库ArcGraph：支持TP、AP，具体向量、分布式特征，基于Rust实现。

15. 湖南大学彭鹏的分布式图数据库管理技术介绍，有深度，且较为全面，难得。

16. ByteGraph 图数据库在广告营销等领域促进了产品架构的演进，如基于EC技术降低副本数量，合并进程：减少穿透层数，减少多跳查询RPC开销，减少分片数列式存储WAL主从同步等，存储成本降低 30% ~ 50%。在单分片场景下，多跳召回场景上可提供数倍于原有系统的性能。很好的应用范围。

17. 虎牙大数据异构数据库物化视图设计与落地，为数据的统一管理提供了新的思路，相对于湖仓一体的冗余模式在数据一致性与效率方面应有较大提升，在数据分析、价值挖掘方面的实现能力方面或需要再观察。

18. SinoDB构建具有行业特征的数据库封装　BizWrapper具有行业特征的数据和业务逻辑的技术框架，插件化，类Postgresql扩展，满足多业务场景的定制化需求。

19. 移动云He3DB所有写转化为日志写（log is database），读请求从S3获取基础版本page，基于每个节点当前最新apply wal lsn,回放成不同版本的page，支持Postgresql、MySQL。

20. Klustron Global MVCC原理和实现技术

21. MTSQL的DDL解决之道？什么库应该不重要？海量数据的道理,全线关闭AHI特性，在buffer pool中建索引，文件异步删除+分段truncate删表，磁盘空间持续告警,减少binlog、redo log只创建必要的索引、调整刷脏速度－改表。

22. 微众银行国产数据库应用实践－TDSQL同城多活部署(TiDB同架构部署)(同城副本)+2(跨城副本) 的TDSQL部署架构，同城主备强一致性数据同步，RPO=0；RTO <= 30秒

23. 百度云原生一体化数据库-GaiaDB 4.0云数据库，覆盖所有核心业务线，线上最大实例500TB+， 整体规模达到数PB原生分布式协议（DB-Quorum）吞吐性能提升40%+， 时延降低30%+。原生智能网络（DBNetwork)RPC端到端延迟缩短60%+至百us物理同步协议，任意切换不丢失数据

24. 成章数据：云原生，计算和可伸缩资源。灵活混合扩展任意模块，高性价比：AWS AuroraMySQL

25. MatrixOne: 云原生数据库架构设计，HTSAP，（其中 S 指Serving 系统，是一类随着互联网应用爆发，而得到广泛应用的数据库。在需要应对海量用户和高并发场景的互联网行业，如推荐业务，对是 S 是否应引入，本人持开放态度），统一与融合的兼容异构数据的数据平台架构，相比传统数据管理架构有创新，其物化视图是否与虎牙的平台类似，基于Fabric 架构？与Denodo区别，求证。）各类数据库有各自己的特长，满足不同场景，融合类数据库自有其空间，云原生部署的优势不赘述了。

26. 聚好看－MySQL性能诊断－利用eBPF技术实现高效的根因诊断eBPF是Linux内核的一个革命性技术，可以在不改内核代码的情况下，在内核上下文中运行沙箱程序。可以广泛应用于云原生网络，负载均衡，跟踪应用程序，提取可观测性数据。采集mysqld进程中SQL执行相关的参数指标，观测MySQL内核。

27. 本来生活网：实时数仓Hologres提升性能的实践

28. UXDB SRAC：数据库高可用领域的关键技术，对标Oracle RAC，期待有更多的案例。

29. FastData:基于MDS的FastData全流程架构可满足海量实时数据处理需求，Data Fabric架构与湖仓一体架构架构在数据管理方面能否有机整合，个人需要再深入。

30. 快手实时数仓－kafka+flink+CK+redis+Hudi,数据治理自动化

31. 腾讯云向量数据库在多场景下的应用

32. OPPO可观测数据融合处理平台：基于Prometheus TSDB构建多租户的分布式存储服务；集中压缩，数据去重，降低成本；依赖对象存储实现长时间数据集中存储。Grafana

33. 阿里云向量数仓AnalyticDB（PostgreSQL版）

34. eBay－Milvus：Pulsar、推荐、隐式语义信息

35. 爱可生TensorDB：基于卷积神经网络实现非结构化数据搜索，近似最近邻检索算法，以图搜图，视频推荐或者文本检索

36. 太海潮音基于生命时空的数智模型，应该是中医理论首次登陆DTCC、似风马牛不相及，尚未发现中医理论与数智模型的可对应的关系，或还在探索之中，乐见其成。

37. 阿哇科技开源向量数据库Vearch架构设计，ChatGLM+AwaDB构建本地知识库示例

38. TDengine时序数据库，对比 influxdb，介绍集群、存储与时段技术的差异，解决写入、查询、删除量大与实时性高要求问题

39. 海保人寿：数据治理-从无序走向秩序为企业以DCMM为标准构建数据管理体系，扩展数据异构处理、加密与安全，较为全面。

40. TeleDB-DCP一站式数据库多云管理平台、统一数据库管理、集数据迁移、数据实时同步、数据订阅于一体，集数据迁移、 数据实时同步、 数据订阅于一身，阿里云风格

41. 海能达PostgreSQL的高可用

42. Vastbase－基于opengauss，安全感知能力、账本数据库有些新意

43. B站大数据平台支持Spark,安全合规：分类分级为纲、存储加密为本、ABAC 权限控制。还不是全程安全的方案，如未涉及数据采集规则、传输加密、服务脱敏等安全措施。或是业务暂无需求的缘故。SOX审计法案需要研究。

44. 甲骨文MySQL：93%的安全漏洞可以预防，安全能力较为全面。另7％如能提出，让人放心。

45. 爱奇艺数据迁移、应用上云，自研服务上云、基于ScyllaDB开发的大容量分布式KV，ScyllaDB 基于 SSD 的 NoSQLDatabase，类Cassandra，低延迟和高吞吐量

46. 字节BitSail CDC 基于 Spark、Hive，实现MQ2Hive、Realtime Lakehouse，相比 FlinkCDC、OG 的优势是什么？DDL自动同步需要但不紧急，难度与风险并存。支持全库到目标端

47. 小红书－MySQL、Mongo、TiDB、Kafka、Redis、RocketMQ，有较好的应用案例和规划

48. 赛宝－软件度量估算:软件开发度量似有数据库无关，但功能点法如能得到推进，有助于软件工程发展。

49. 去哪儿网归因分析:辛普森悖论，即在某个条件下的两组数据，分别讨论时都会满足某种趋势，可是一旦合并考虑，却可能导致相反的结论。长/短期趋势检测TOP3场景

50. B站离线平台架构演进HDFS、HMS、Presto、Hive、Flink、Spark、Ranger、Dispatcher、Kyuubi、HBO、SDM＋BI、ADHOC、DCQ、ETL，HDFS稳定增强，离线混部。

51. DBbrain全链路分析－数据库性能优化、管理等功能的数据库自治云服务。

52. 南京基石数字化模式下的运维体系重构，突出知识库与AI

53. 作业帮－数据库智能运维MySQL、Redis、TIDB、ES、MongoDB，任务系统：可定制化、可扩展、复杂任务支持监控系统、资源管理、备份系统、故障处理、多云场景下的管控策略、服务开放与管控

54. 恒昌利通：缓存数据库助力金融场景的探索MySQL、Redis、MongoDB制定了全新的标准化制度，完成数据库自动化部署、备份恢复统一管理

55. 快手Redis架构演进实践－精细化运营、降冷、容器化，关注内核优化、版本升级平台化

56. 携程HBase混合云体系的建设与应用，多种混合云部署推动Set化建设，解决存储利用率与峰值等问题

57. 360的Pika，兼容Redis协议的大容量KV数据库，Redis的场景补充，通过持久化存储的方式解决Redis在大容量场景下的单线程易阻塞、容量有限、加载慢、故障切换代价高等问题.

总体来说：数据库提供商产品不足一半，数据库互联网、金融、电信等领域的应用、优化案例居多。云原生、图数据库、向量数据库等能力日益突出。仅就应用场景与服务对于行业的牵引作用来说是件好事，但就数据库、大数据技术研究、产品研发与推广能力建设，打造长期可持续的行业基础能力来说，还需要更多有力的支撑。

以上速记，个人视角，不必过度解读。如有遗漏甚至误读，欢迎指正。