OceanBase-memory-transaction-engine
免费下载
书书书
第
５
期
２０１４
年
９
月
华东师范大学学报（自然科学版）
ＪｏｕｒｎａｌｏｆＥａｓｔＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔ
ｙ
（
ＮａｔｕｒａｌＳｃｉｅｎｃｅ
）
Ｎｏ．５
Ｓｅ
ｐ
ｔ．２０１４
文章编号：
１０００５６４１
（
２０１４
）
０５０１４９１５
犗犮犲犪狀犅犪狊犲
内存事务引擎
李
凯，
韩富 晟
（阿 里 巴 巴 集 团 ，北京
１０００２０
）
摘要：
ＯｃｅａｎＢａｓｅ
是一个分布式可扩展的关系数据库，采 用基 线 静 态 数 据 与 动 态 增 量 数 据 分 离
存储的架构设计
．
其内存事务引擎提供了动态数据的存储、写入和查询服务，用 户 写 入 的数 据 被
存储在内存中称为
Ｍｅｍｔａｂｌｅ
的数据结构中
．Ｍｅｍｔａｂｌｅ
及其周边的事务管理 结 构 共 同组 成 了 内
存数据库引擎，来实现事务的
ＡＣＩＤ
特性
．
在事务引擎中，通过多版 本 的并 发 控 制 技术 实 现 读 写
相互不阻塞
，实现只读事务满足“快 照 隔 离”级 别；通 过 经 典 的 行 锁 方 式 实 现 多 个 写 之 间 的 并 发
控制，实现 最 高 满 足“已 提 交 读”的事 务 隔 离 级 别
．
关键词：关 系 数 据 库 ；
分布式系统；
事务；
互联网
中图分类号：
ＴＰ３３３．１
文献标识码：
Ａ
犇犗犐
：
１０．３９６９
／
ｊ
．ｉｓｓｎ．１０００５６４１．２０１４．０５．０１３
收稿日期：
２０１４０６
第一作者：李凯，男，阿里巴巴集团技术专家，研究方向为分布式系统与数据库
．Ｅｍａｉｌ
：
ｙ
ｕｂａｉ．ｌｋ
＠
ａｌｉ
ｐ
ａ
ｙ
．ｃｏｍ．
通信作者：韩富晟，男，阿里巴巴集团技术专家，研究方向为分布式系统与数据库
．Ｅｍａｉｌ
：
ｙ
ａｎｒａｎ．ｈｆｓ
＠
ａｌｉ
ｐ
ａ
ｙ
．ｃｏｍ．
犕犲犿狅狉
狔
狋狉犪狀狊犪犮狋犻狅狀犲狀
犵
犻狀犲狅犳犗犮犲犪狀犅犪狊犲
ＬＩＫａｉ
，
ＨＡＮ Ｆｕｓｈｅｎ
ｇ
（
犃犾犻犫犪犫犪犌狉狅狌
狆
，
犅犲犻
犼
犻狀
犵
１０００２０
，
犆犺犻狀犪
）
犃犫狊狋狉犪犮狋
：
ＯｃｅａｎＢａｓｅｉｓａｄｉｓｔｒｉｂｕｔｅｄｓｃａｌａｂｌｅｒｅｌａｔｉｏｎａｌｄａｔａｂａｓｅ．Ｉｔｓｓｔｏｒａ
ｇ
ｅａｒｃｈｉｔｅｃｔｕｒｅｉｓｄｅ
ｓｉ
ｇ
ｎｅｄｂ
ｙ
ｓｅ
ｐ
ａｒａｔｉｎ
ｇ
ｂａｓｅｌｉｎｅｓｔａｔｉｃｄａｔａａｎｄｉｎｃｒｅｍｅｎｔｄ
ｙ
ｎａｍｉｃｄａｔａ
，
ｗｈｏｓｅｍｅｍｏｒ
ｙ
ｔｒａｎｓａｃｔｉｏｎ
ｅｎ
ｇ
ｉｎｅ
，
ｎａｍｅｌ
ｙ
Ｍｅｍｔａｂｌｅ
，
ｐ
ｒｏｖｉｄｅｄ
ｙ
ｎａｍｉｃｄａｔａｓｔｏｒａ
ｇ
ｅ
，
ｗｒｉｔｅ
，
ａｎｄ
ｑ
ｕｅｒ
ｙ
，
ｃｌｉｅｎｔｓｗｒｏｔｅｄａｔａｔｏ
ｔｈｅｉｎｍｅｍｏｒ
ｙ
ｄａｔａｓｔｒｕｃｔｕｒｅ．Ｍｅｍｔａｂｌｅａｎｄｓｏｍｅｔｒａｎｓａｃｔｉｏｎ ｍａｎａ
ｇ
ｅｍｅｎｔｓｔｒｕｃｔｕｒｅｓｔｏ
ｇ
ｅｔｈｅｒ
ｆｏｒｍｔｈｅｉｎｍｅｍｏｒ
ｙ
ｄａｔａｂａｓｅｅｎ
ｇ
ｉｎｅ
，
ｗｈｉｃｈｃａｎａｃｈｉｅｖｅｔｈｅｔｒａｎｓａｃｔｉｏｎ ＡＣＩＤ
ｐ
ｒｏ
ｐ
ｅｒｔｉｅｓ．Ｂ
ｙ
ｂａｓｅｄｍｕｌｔｉｖｅｒｓｉｏｎｃｏｎｃｕｒｒｅｎｃ
ｙ
ｃｏｎｔｒｏｌｔｅｃｈｎｉ
ｑ
ｕｅｓｔｏ
ｐ
ｒｅｖｅｎｔｒｅａｄｉｎ
ｇ
ａｎｄｗｒｉｔｉｎ
ｇ
ｆｒｏｍ ｂｌｏｃｋｉｎ
ｇ
ｅａｃｈｏｔｈｅｒｔｏａｃｈｉｅｖｅｒｅａｄｏｎｌ
ｙ
ｔｒａｎｓａｃｔｉｏｎｓｔｏｍｅｅｔｔｈｅ
“
ｓｎａ
ｐ
ｓｈｏｔｉｓｏｌａｔｉｏｎ
”
ｌｅｖｅｌ
；
Ｐｒｏｖｉｄｅｍｕｌｔｉ
ｗｒｉｔｅｃｏｎｃｕｒｒｅｎｃ
ｙ
ｃｏｎｔｒｏｌｂ
ｙ
ｕｓｉｎ
ｇ
ｃｌａｓｓｉｃｒｏｗｌｏｃｋｔｅｃｈｎｏｌｏ
ｇｙ
ｔｏ ｍｅｅｔｔｈｅ
“
ｒｅａｄｃｏｍｍｉｔｔｅｄ
”
ｔｒａｎｓａｃｔｉｏｎｉｓｏｌａｔｉｏｎｌｅｖｅｌ．
犓犲
狔
狑狅狉犱狊
：
ｒｅｌａｔｉｏｎａｌｄａｔａｂａｓｅｓ
ｙ
ｓｔｅｍ
；
ｄｉｓｔｒｉｂｕｔｅｄｓ
ｙ
ｓｔｅｍ
；
ｔｒａｎｓａｃｔｉｏｎ
；
ｉｎｔｅｒｎｅｔ
０
引
言
在互联网高速发展的今天，互联网公司不仅有大量非结构化的数据，例如网站访问日志
等；也有 很 多 结 构 化 的 数 据 ，例 如
Ｇｏｏ
ｇ
ｌｅ
的搜索广告、淘宝／天猫的商品搜索广告的计费
．
淘
宝
／天猫、
Ａｍａｚｏｎ
和
ｅＢａ
ｙ
等的网上和移动购物，支付宝的 网 上和 移动 支 付，等 等，都 是商 务
华东师范大学学报（自 然 科 学 版）
２０１４
年
交易和金融交易
．
对这些数 据 的 处 理 依 赖 于 严 格 的 数 据 库 事 务 语 义，即 原 子 性 （
Ａｔｏｍｉｃ
ｙ
）、
一致性（
Ｃｏｎｓｉｓｔｅｎｃ
ｙ
）、隔 离 性 （
Ｉｓｏｌａｔｉｏｎ
）和 持 久 性 （
Ｄｕｒａｂｉｌｉｔ
ｙ
）的 保 证
．
同 时 也 对 数 据 库 的
存储容量和事务处理能力提出了越来越高的要求
．
使用商业数据库、配置高端服务器和存储设备，在一段时间内确实能够解决互联网公司
对数据库的需求，但是随着业务的发展，对存储 容量 和 事 务 处理 能 力 的 需求 越 来 越 高，购 买
商业解决方案的成本变得难以接受，并且也同样遇到软硬件处理能力的瓶颈
．
一些公司开始
转向使用开源数据库软件如
Ｍ
ｙ
ＳＱＬ
，搭配廉价服 务 器，使 用分 库 分表 的方 式 对业 务 数 据 进
行拆分存储，而拆分后的数据库扩展困难，运维成本高，不支持跨域分库分表的事务，且基于
传统数据设计的
Ｍ
ｙ
ＳＱＬ
并不能充分发挥当前大容 量 内存 加
ＳＳＤ
的 主 流服 务器 配 置优 势
．
一些新 兴的 内 存数 据库 如
ＭｅｍＳＱＬ
，能 够 充分 利用 大 容量 内存 的 优势，但 是由 于 数据 必须
全部存放在内存中，而数据容量有限成本偏高，基于单机数据的设计，使得扩展能力也有限
．
Ｇｏｏ
ｇ
ｌｅ
的
Ｍｅ
ｇ
ａＳｔｏｒｅ
基于
Ｂｉ
ｇ
Ｔａｂｌｅ
／
ＧＦＳ
开发，有良好的可扩展性和较低的成本，但是对数
据库事务支持有限
，无法应用在对事务要求严格的电子商务领域
．
阿里巴巴集团自主研发的
数据 库
ＯｃｅａｎＢａｓｅ
，适 应 电 子 商 务 领 域 对 数 据 库 事 务 的 严 格 要 求，充 分 发 挥 大 容 量 内 存 和
ＳＳＤ
发展的优势，以较低的成 本 提 供 海 量 存 储 和 高 性 能 事 务，良 好 的 可 扩 展 性 和 容 错 能 力
很大程度上降低了运维成本
．
ＯｃｅａｎＢａｓｅ
是一个分布式的关 系 数 据 库，采 用 基 线 数 据 与 动 态 数 据 分 离 存 储 的 架 构 设
计，其中 基 线 数 据 被 划 分 为 多 个 有 序 的 分 块 ，称 为
Ｔａｂｌｅｔ
，每个
Ｔａｂｌｅｔ
存储 若 干个 副本 随 机
地分布在机群的多台机器上；动态数据就是一段时间内的数据更新记录，每次查询需要将基
线数据与动态 数 据 合 并 后 产 生 最 终 结 果 返 回 给 客 户 端
．
整 个 机 群 主 要 由
４
个 模 块 组 成：
Ｃｈｕｎｋｓｅｒｖｅｒ
提供基线数据的存储和 查 询 服 务，定 期 将 本 地 保 存 的 基 线 数 据 与 动 态 数 据 合
并
，生成 新 版 本 的 基 线 数 据 ；
Ｕ
ｐ
ｄａｔｅｓｅｒｖｅｒ
提供动态数据的存储、查询和写入服务，每隔 一 段
时间将当前动态数据“冻结”，并分配一个“冻结版本号”，用于
Ｃｈｕｎｋｓｅｒｖｅｒ
合并新 版 本的 基
线数据；
Ｒｏｏｔｓｅｒｖｅｒ
提供
Ｔａｂｌｅｔ
在 多 台
Ｃｈｕｎｋｓｅｒｖｅｒ
上 位 置 信 息 的 存 储 和 查 询 服 务，负 载
平衡、迁移、复 制 等 的 调度 管 理 ，以及
Ｓｃｈｅｍａ
信 息的 管 理 ；
Ｍｅｒ
ｇ
ｅｓｅｒｖｅｒ
实 现
ＳＱＬ
接 口，处
理 客 户 端 的 查 询 和 写 入 请 求 ，将
ＳＱＬ
请求转化为
Ｕ
ｐ
ｄａｔｅｓｅｒｖｅｒ
和
Ｃｈｕｎｋｓｅｒｖｅｒ
认识的执行
计划，同时负责从多台机器接收查询结果后的合并和处理
．
如上所述，
Ｕ
ｐ
ｄａｔｅｓｅｒｖｅｒ
提供了动态数据 的 存 储、写 入 和 查 询服 务，任何 数 据 写 入都 将
最终 被 发 送 到
Ｕ
ｐ
ｄａｔｅｓｅｒｖｅｒ
执行，并存储在内存中称为
Ｍｅｍｔａｂｌｅ
的数据结构，上面提 到 的
冻结则意味着当前
Ｍｅｍｔａｂｌｅ
停止数据 写入，构 造 新的
Ｍｅｍｔａｂｌｅ
来 接收 后 续 写 入的 数 据
．
Ｍｅｍｔａｂｌｅ
及 其周 边 的 事 务管 理 结 构 共同 组 成 了
Ｕ
ｐ
ｄａｔｅｓｅｒｖｅｒ
的 内存 事 务 引 擎，实 现 满足
ＡＣＩＤ
特性的数据库事务
．
内存事务引擎提供交互式事务接口，使用多版本的并发控制技术实现读写相互不阻塞，
提供快照读事务；经典的两 阶 段 行锁 方 式 实 现写 的 并 发 控制
［
１
］
．
使 用
ｌｏ
ｇｇ
ｉｎ
ｇ
ａｈｅａｄ
方 法 的
记录
ｒｅｄｏｌｏ
ｇ
来持久化事务
［
２
］
，并且通过同步实时的 备机 来 保证 服务 的 持续 可用
．
通 过批 处
理、预解锁、并发提交等技术，来优化事务提交 性能
．
本 文第
１
节 概述 内 存 事 务引 擎，第
２
节
介绍并发事务设计，第
３
节介绍事务引擎的持 久化 与 恢 复，第
４
节 介绍 性 能 优 化技 术，最 后
对整个
ＯｃｅａｎＢａｓｅ
内存事务引擎做出总结，展望未来的发展方向
．
０５１
of 15
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论