数据技术嘉年华 DTC 2024 归来有感

原创严少安 2024-04-17

464

从北京回来两天，精神依旧亢奋（精神食粮的力量），但身体略显疲惫（肥宅体质太弱），缓了两天沉淀一下才动笔记录下这次 DTC 2024 之旅。大佬们和各大厂商已经纷纷发表回顾，我这正好建个索引，以期帮助网友们继续围观、讨论本次嘉年华。

DTC^[1]，全称，Data Technology Carnival，意为，数据技术嘉年华，是由中国数据库联盟 ACDU 和墨天轮主办，这是第十三届，却是我第一次线下参加。

这次参展没看到 Oracle 红色 logo，但是每个场次却又在讨论 Oracle，有趣，妙蛙~

0. 晒单

依照惯例，先晒战利品。

本次参会喜提贴纸若干，笔记本快贴满了，不过 C 位好像还有空。

以及参会证和工作证两张，特此感谢小墨（们）同意我来帮忙搬了两个箱子。

言归正传，简单聊聊这次参会见闻，可谓干货满满，收获颇丰。

时间原因，分身乏术，只是挑选了自己感兴趣的场次来观摩学习，文中故而有所侧重。

1. Vector & AI & RAG 是 24 年主题词

去年火热讨论的 LLM，已经出现了很多产品，走在前沿的大厂已经开始利用大模型重构知识库，优化业务流程，甚至对外提供商业服务和解决方案，LLM 不再只是学术讨论，而是已经进入千家万户，比如科大讯飞的星火认知大模型。

关于大模型，可参阅：戴明明的课题：大模型对数据库运维的赋能（PPT^[2] 已可免费下载）

而今年，更多的将会是超越 LLM 转而讨论 Vertor DB、Gen-AI 和 RAG。

关于向量数据库，DB-Engine 已经有单独的门类。

矢量数据库管理系统，通常简称为矢量数据库，是针对高维矢量数据的高效存储、索引和查询而优化的系统。它们使用专门的算法和数据结构来支持相似性搜索，通常用于机器学习或数据挖掘，重点关注性能、可扩展性和灵活性。矢量 DBMS 通常可以处理多种数据类型，包括数字、文本和二进制。它们可以存储与每个向量相关的元数据，并且可以有效地存储稀疏向量。

并列出了流行的 14 款向量数据库产品。

图片.png

如果包括支持向量的多模数据库，则共有 25 款产品。

图片.png

在中国数据库排行榜中，目前共有 11 款向量数据库产品参与其中。

图片.png

关于更多 Vector DB 的内容，可参阅：尹海文总监的【Oracle Vector DB】合集^[3]

关于 Gen-AI 和 RAG，本次 DTC 共有三位嘉宾开讲相关内容，分别是：

姚维：Gen AI 时代趋势中的 TiDB 进展（PPT^[4] 已可免费下载）
郑喜亮：腾讯云向量数据库与您共建高质量RAG
陈茏久：Gen-AI时代的智能化一站式数据库

（上图截取自，Gen AI 时代趋势中的 TiDB 进展）

那么，怎么用 RAG 或者如何落地，姚维先生给到了一个参考样例：

一个基于 TiDB Serverless Vector Storage 的会话式搜索 RAG（检索增强生成）应用程序，根据您在官方和文档网站上的知识提供开箱即用且可嵌入的 QA 机器人体验。

这款应用的名字是：TiDB.AI^[5]

图片.png

2. 国产数据库持续发力

All in One?

国产数据库的话题总是离不开“兼容”二字，兼容 Oracle, MySQL, PostgreSQL, MongoDB, Redis, etc.

不只兼容语法，还要兼容错误码，真是太难了。。。

图片.png

“数据库嘛，存储数据的地方，从A库导出，再导入B库就可以了嘛。如此简单，还要适配啥呢。”

然，国产数据库卷的“不可救药”，不仅要兼容国际主流数据库，以方便迁移，

（毕竟很多人认为异构数据库迁移也可以不改代码）

还要做上下游的国产化适配，所以经常可以在墨天轮看到 xxx 数据库厂商与 xxx OS 或中间件兼容适配。

或许，有一天，xxx 数据库厂商，也会与 xxx 数据库厂商兼容呢，300 家国产库厂商相互适配会是多大的笛卡尔积 …

会不会有一款数据库，同时兼容各大主流数据库，并支持多模，并支持向量 AI，并支持超融合，并支持 …

大小不重要，效率很重要

之前介绍过，Oracle 23c 的容器镜像需要 9G 空间，从下载到拉起只需 10 几分钟（取决于网速），这，对于开发者是非常友好的，开箱即用，大大提升开发环境准备的效率，以及程式测试的效率。

咱就说，开发中，这点空间算什么。。。

提到容器镜像，就必须要再提一下《最好的PostgreSQL学习镜像》，简直不要太全了，《PolarDB开源思考与实践》议程可以走神，但德哥和萧主席的歌要听，毕竟是嘉年华最嗨点。

再比如，前几日介绍过震惊！数据库小白装国产数据库只需10分钟！

其实，还有更加便捷的通道，就是 TiDB Cloud^[6] ，免费试用，每账户有 25G 存储空间，真香。

如果你还在为个人博客站点的机器付费，比如个人云主机搭建 WP + MySQL，那么不妨考虑迁移到 TiDB Cloud + Vercel。

关于 TiDB Cloud，推荐阅读：https://asktug.com/t/topic/1003128

性能不重要，环保很重要

源自吕海波（Vage）老师的议题《后摩尔定律时代的数据库研发》(PPT^[7] 已可免费下载)。

（吕老师的课要认真听讲，稍不留神，可能还是听不懂。。。）

在后摩尔时代，CPU 主频提升放缓，大小核、N 多核概念应运而生，业界只说多少 C 而不再强调主频多少 G，

而绿色能源低碳环保的大格局则不断提升重要性，碳中和第一位，算力次之。

对于数据库来说，也许，TPC 测试结果只是一个数字，不再是选型的首要条件，

总数据量与机器数量的比值，或者，计算能力与机器数量是否线性正相关且没有拐点，更为重要。

3. 生态工具适配颇具挑战

本次嘉年华，有三个数据库工具值得细细研究，PPT 已可免费下载：

云原生智能数据管理平台 NineData：叶正盛：NineData在10000公里跨云数据库间实时数据复制技术原理与实践^[8]
革命性内核工具 eBPF：张纪宽：DBdoctor：利用eBPF技术实现数据库智能诊断与优化^[9]
DBDevOps 工具 Bytebase：陈天舟：全球数据库生态软件：现状、趋势与机遇^[10]

这三种不同类型的工具，适用于不同场景，比如遇到投产审核 SQL 时，会用到 Bytebase，遇到性能问题时，会用到 DBdoctor，上云、跨云、跨库传输数据时，会用到 NineData。

近几年，各大数据库厂商都在变更发版模型，数据库已不再是传统意义上的基础设施，而变成了一项服务。版本快速迭代的好处在于可以快节奏引入新特性并有试错的空间，并且可以及时修复 bug，用户也可以及时升级，解决影响。但是有些大版本升级，却无法支持原地升级，还需要通过数据传输工具将老版本的数据迁移到新版本，这其实，对于生态工具也是考验，需要不断进行适配工作然后升级工具的版本，适配的工具产生了“保质期”，产品越多、版本越多，生态工具适配也将变得繁重。