华东师范大学学报自然科学版2014年-分布式环境中数据库模式设计实践.pdf
免费下载
书书书
第
５
期
２０１４
年
９
月
华东师范大学学报（自然科学版）
ＪｏｕｒｎａｌｏｆＥａｓｔＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔ
ｙ
（
ＮａｔｕｒａｌＳｃｉｅｎｃｅ
）
Ｎｏ．５
Ｓｅ
ｐ
ｔ．２０１４
文章编号：
１０００５６４１
（
２０１４
）
０５０２９０１１
分布式环境中数据库模式设计实践
庞天 泽，
张晨 东，
高
明，
宫学 庆
（华 东 师 范 大 学 软件学院，上海
２０００６２
）
摘 要 ：近年来，数据规模呈爆炸式增长，使 得 传 统 集 中 式 数 据 库 难 以 满 足 业 务 需 求
．
而 分 布 式 数
据库可以将数据存储在多个节点上，具有更 好 的 扩 展 性，从 而 可 以 支 撑 业 务 的 不 断 增 长
．
目 前，
许多企业已经开发出了成功的分布 式 数据 库 产 品，例 如
Ｇｏｏ
ｇ
ｌｅＳ
ｐ
ａｎｎｅｒ
、淘 宝 的
ＯｃｅａｎＢａｓｅ
等
．
传统数据库模式设计中，三大范式（
１ＮＦ
、
２ＮＦ
和
３ＮＦ
）及 其 扩 展 范 式 能 够 减 少 数 据 冗 余 和 更 新
异常
，并保证数据的完整性
．
然而，在分布式 架 构 下，严 格 遵 循 范 式 的 模 式 设 计 可 能 带 来 查 询 效
率较低等问题
，而使用反范式模式设计方法通常可以有效提高查询效率
．ＯｃｅａｎＢａｓｅ
是淘宝自主
研发的分布式数据库，支持跨 行 跨 表 事 务，并 在
ＯＬＴＰ
中 具 有 良 好 的 性 能，但 是 对 于
ＯＬＡＰ
业
务，其性能并不高
．
本文将以
ＯｃｅａｎＢａｓｅ
为 例，介 绍 如 何 利 用 反 范 式 设 计 分 布 式 数 据 库 模 式 ，以
改善
ＯＬＡＰ
的查询性能，并通过在
ＯｃｅａｎＢａｓｅ
上部署
ＴＰＣＨ
基 准 评 测 验 证 了 反 范 式 模 式 设 计
的有效性和高效性
．
关 键 词 ：反范式；
分布式数据库；
ＯｃｅａｎＢａｓｅ
；
ＴＰＣＨ
中 图 分 类 号 ：
ＴＰ３９２
文 献 标 识 码 ：
Ａ
犇犗犐
：
１０．３９６９
／
ｊ
．ｉｓｓｎ．
１０００５６４１．２０１４．０５．０２６
收稿日期：
２０１４０７
基金项目：国家
９７３
课题（
２０１０ＣＢ７３１４０２
）
第一作者：庞天泽，男，硕 士 生 ，研究方向为分布式数据库
．Ｅｍａｉｌ
：
ｐ
ａｎ
ｇ
ｔｚ
＠
ｅｃｎｕ．ｅｄｕ．ｃｏｍ．
通信作者：宫学庆，男，教 授 ，博士生导师，研究方向为数据库
．Ｅｍａｉｌ
：
ｘ
ｑｇ
ｏｎ
ｇ
＠
ｓｅｉ．ｅｃｎｕ．ｅｄｕ．ｃｎ．
犐犿
狆
犾犲犿犲狀狋犪狋犻狅狀狅犳犱犪狋犪犫犪狊犲狊犮犺犲犿犪犱犲狊犻
犵
狀犻狀犱犻狊狋狉犻犫狌狋犲犱犲狀狏犻狉狅狀犿犲狀狋
ＰＡＮＧ Ｔｉａｎｚｅ
，
ＺＨＡＮＧ Ｃｈｅｎｄｏｎ
ｇ
，
ＧＡＯ Ｍｉｎ
ｇ
，
ＧＯＮＧ Ｘｕｅ
ｑ
ｉｎ
ｇ
（
犛狅
犳
狋狑犪狉犲犈狀
犵
犻狀犲犲狉犻狀
犵
犐狀狊狋犻狋狌狋犲
，
犈犪狊狋犆犺犻狀犪 犖狅狉犿犪犾犝狀犻狏犲狉狊犻狋
狔
，
犛犺犪狀
犵
犺犪犻
２０００６２
，
犆犺犻狀犪
）
犃犫狊狋狉犪犮狋
：
Ｒｅｃｅｎｔｌ
ｙ
，
ｗｅｈａｖｅｗｉｔｎｅｓｓｅｄａｎｅｘ
ｐ
ｏｎｅｎｔｉａｌｉｎｃｒｅａｓｅｉｎｔｈｅａｍｏｕｎｔｏｆｄａｔａ．Ｉｔｒｅｓｕｌｔｓ
ｉｎａ
ｐ
ｒｏｂｌｅｍｔｈａｔａｃｅｎｔｒａｌｉｚｅｄｄａｔａｂａｓｅｉｓｈａｒｄｔｏｓｃａｌｅｕ
ｐ
ｔｏｔｈｅｍａｓｓｉｖｅｂｕｓｉｎｅｓｓｒｅ
ｑ
ｕｉｒｅｍｅｎｔｓ．
Ａｄｉｓｔｒｉｂｕｔｅｄｄａｔａｂａｓｅ
（
ＤＤＢ
）
ｉｓａｎａｌｔｅｒｎａｔｉｖｅｔｈａｔｃａｎｂｅｓｃａｌａｂｌｅｔｏｔｈｅｌａｒ
ｇ
ｅｓｃａｌｅａ
ｐｐ
ｌｉｃａｔｉｏｎｓ
ｂ
ｙ
ｄｉｓｔｒｉｂｕｔｉｎ
ｇ
ｔｈｅｄａｔａｔｏ ｍｕｌｔｉｎｏｄｅｓｅｒｖｅｒ．Ｎｏｗ
，
ｍａｎ
ｙ
ｅｎｔｅｒ
ｐ
ｒｉｓｅｓｈａｖｅｓｕｃｃｅｓｓｆｕｌｌ
ｙ
ｉｍ
ｐ
ｌｅ
ｍｅｎｔｅｄｓｏｍｅｄｉｓｔｒｉｂｕｔｅｄｄａｔａｂａｓｅｓ
，
ｓｕｃｈａｓＧｏｏ
ｇ
ｌｅＳ
ｐ
ａｎｎｅｒａｎｄＴａｏＢａｏＯｃｅａｎＢａｓｅ．Ｉｎｔｈｅｔｈｅｏ
ｒ
ｙ
ｏｆｔｈｅｄｅｓｉ
ｇ
ｎａｔｉｏｎｏｆｔｒａｄｉｔｉｏｎａｌｄａｔａｂａｓｅ
，
ｄｉｆｆｅｒｅｎｔｎｏｒｍａｌｆｏｒｍｓｒｅｄｕｃｅｔｈｅｏ
ｐ
ｅｒａｔｉｏｎａｌｅｘｃｅ
ｐ
ｔｉｏｎａｎｄｄａｔａｒｅｄｕｎｄａｎｃ
ｙ
，
ａｎｄａｌｓｏｅｎｓｕｒｅｔｈｅｄａｔａｉｎｔｅ
ｇ
ｒｉｔ
ｙ
．Ｈｏｗｅｖｅｒ
，
ａｓｃｈｅｍａｄｅｓｉ
ｇ
ｎｓｔｒｉｃｔｌ
ｙ
ｆｏｌｌｏｗｉｎ
ｇ
ｔｈｅｎｏｒｍａｌｆｏｒｍｓｌｅａｄｓｔｏａｎｉｎｅｆｆｉｃｉｅｎｔｌ
ｙ
ｄｉｓｔｒｉｂｕｔｅｄｄａｔａｂａｓｅｓ
ｙ
ｓｔｅｍ ｂｅｃａｕｓｅｏｆｔｈｅ
ｌａｒ
ｇ
ｅａｍｏｕｎｔｏｆｄｉｓｔｒｉｂｕｔｅｄｒｅｌａｔｉｏｎａｌｏ
ｐ
ｅｒａｔｉｏｎｓ．Ｆｏｒｔｕｎａｔｅｌ
ｙ
，
ｄｅｎｏｒｍａｌｉｚａｔｉｏｎｃａｎｓｉ
ｇ
ｎｉｆｉｃａｎｔｌ
ｙ
ｉｍ
ｐ
ｒｏｖｅｔｈｅ
ｑ
ｕｅｒ
ｙ
ｅｆｆｉｃｉｅｎｃ
ｙ
ｂ
ｙ
ｒｅｄｕｃｉｎ
ｇ
ｔｈｅｎｕｍｂｅｒｏｆｒｅｌａｔｉｏｎｓａｎｄｔｈｅａｍｏｕｎｔｏｆｔｈｅｄｉｓｔｒｉｂｕ
ｔｅｄｒｅｌａｔｉｏｎａｌｏ
ｐ
ｅｒａｔｉｏｎｓ．ＯｃｅａｎＢａｓｅ
，
ａｄｉｓｔｒｉｂｕｔｅｄｄａｔａｂａｓｅ
，
ｉｓｉｍ
ｐ
ｌｅｍｅｎｔｅｄｂ
ｙ
ＴａｏＢａｏａｎｄｈａｓ
ｈｉ
ｇ
ｈ
ｐ
ｅｒｆｏｒｍａｎｃｅｆｏｒＯＬＴＰ
，
ｒａｔｈｅｒｔｈａｎＯＬＡＰ．Ｉｎｔｈｉｓ
ｐ
ａ
ｐ
ｅｒ
，
ｗｅｉｎｔｒｏｄｕｃｅｈｏｗｔｏｕｔｉｌｉｚｅｄｅ
第
５
期 庞天泽，等：分布 式 环 境 中 数 据 库 模 式 设 计 实 践
ｎｏｒｍａｌｉｚａｔｉｏｎｔｏｄｅｓｉ
ｇ
ｎｔｈｅｓｃｈｅｍａｆｏｒＯｃｅａｎＢａｓｅａｎｄｔｏｉｍ
ｐ
ｒｏｖｅｔｈｅ
ｐ
ｅｒｆｏｒｍａｎｃｅｏｆＯＬＡＰ．Ｆｉ
ｎａｌｌ
ｙ
，
ｗｅｉｌｌｕｓｔｒａｔｅｔｈｅｅｆｆｉｃｉｅｎｃ
ｙ
ａｎｄｅｆｆｅｃｔｉｖｅｎｅｓｓｏｆｔｈｅｄｅｎｏｒｍａｌｉｚａｔｉｏｎｄｅｓｉ
ｇ
ｎｆｏｒＯｃｅａｎＢａｓｅｉｎ
ｔｈｅｅｍ
ｐ
ｉｒｉｃａｌｓｔｕｄ
ｙ
ｂ
ｙ
ｕｓｉｎ
ｇ
ｂｅｎｃｈｍａｒｋＴＰＣＨ．
犓犲
狔
狑狅狉犱狊
：
ｄｅｎｏｒｍａｌｉｚａｔｉｏｎ
；
ｄｉｓｔｒｉｂｕｔｅｄｄａｔａｂａｓｅ
；
ＯｃｅａｎＢａｓｅ
；
ＴＰＣＨ
０
引
言
数据库按照表结构 来 组 织、存 储 和 管 理 数 据，被 广 泛 应 用 于 各 行 各 业，以 提 供 数 据 支
撑
［
１
］
．
数据库模型主要分为网状模型、层 次模 型、关 系模 型 和 面 向对 象 模 型 等
［
２
］
．
其 中，关系
模型使用二维表来描述数据间的关系，具有很好的数据独立性和简洁的数据组织结构
．
目前
主流数据库管理系统均采用关系 模 型 ，如
Ｏｒａｃｌｅ
［
３
］
、
ＤＢ２
［
４
］
、
Ｍ
ｙ
Ｓ
ｑ
ｌ
［
５
］
等，这 类 传 统 的关 系 型
数据库采用集中式的管理模式，即数据的存储和处理一般都集中于一个节点上
．
而数据库厂
商则通过不断地提高节点的存储和处理能力
，来 应对 业 务 和 数据 量 的 增 长
．
但 是，由 于 近几
年互联网的快速发展，全球数据量正呈爆炸式增长，传统的集中式数据库难以承载海量数据
的存储和访问
．
为解决这一问题，分布式数据库是一个不错 的 选 择
．
在 分布 式 数 据 库中，系 统 通常 会 根
据数 据 分 片 和数 据 分 配 的策 略，将 数据 分 布 存 储在 多 个 节 点上
．
节 点之 间 通 过 网络 相 互 连
接，当数据库收到数据请求时，能够将请求发往 相应 的 节 点 进行 处 理 ，降 低 了单 个 节 点 的负
载
．
另外，在分布式数据库中，为了防止数据由于节点故障而造成丢失或无法访问，一般会为
数据创建多个副本，分别存储在不同的节点上
．
这样，即使有某个节点出现故障，也不会影响
数据库的正常使用，很大程度上提高了数据库的可靠性
．
分布式数据库很好地解决了集中数
据库的数据存储瓶颈，并提升了数据库的可靠性
．
但是在实际应用中，它仍存在一些问题
．
在
分布式数据库中，节点之间通过网络互连，数据 会跨 节 点 甚 至跨 地 域 分 布
．
如 果应 用 中 存 在
连接操作
，并且涉及的各张表数据分别存储在不同节点上，那么执行该应用时将会造成数据
的跨节点交互
．
特别是对于
ＯＬＡＰ
业务，数据量一般十分庞 大 ，连 接操 作 导致 的大 量 数据 交
互会产生巨大的网络传输开销，严重影响数据 库的 性 能
．
此 外，由 于 数据 分 布 存 储并 具 有 多
个副本，副本间的数据一致性需要数据库来维护，这也会给数据库的性能带来负面影响
．
在实践中，数据设计通常都会遵循范式
．
然 而，严格 的 范 式 设计 无 法 保 证数 据 库 在 任何
情况下都能有最优的性能
［
６
］
．
为减少数据冗 余，范式 设 计 的 数据 库 通 常 会包 含 大 量 的表 格，
因此，查询时可能需要连接多张表后才能获得需要的全部数据
．
而过多的连接操作是数据库
性能下降的主要因素
，特别是在大数据量情 况下，影 响 更 大
．
因 此，通 过 减少 表 的 数 量，同 时
增加数据冗余，尽量减少查询中的连接操作，从 而提 高 数 据 库性 能，这 正 是所 谓 的 反 范式 数
据库模式设计
．
尤其是在数据仓库业务中，由于数据量相对庞大，查询请求也较为复杂，反范
式设计可以很好地改善数据库性能，以满足业务需求
．
由于在分布式数据库中增加了网络传输开 销，传 统 的数 据 库 范 式设 计 方 法 带来 的 问 题
被放大
．
因此，反范式模式设计可能是分布式数据库的一个选择，这是因 为 ：（
１
）分 布式 数 据
库通过多节点数据冗余提高系统可用性，数据的完整性不再是通过减少 冗 余来 实现；（
２
）反
范式模式设计降低了网络数据传输开销
，可以提高分布式数据库的性能
．
但是反范式模式设
计也有缺点，比如在
ＯＬＴＰ
中，数据库的增、删、改的操 作 十分 常见，较 多 的数 据冗 余 会增 加
１９２
of 11
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论