区块链的数据管理技术综述.pdf
免费下载
软件学报 ISSN 1000-9825, CODEN RUXUEW
Journal of Software, [doi: 10.13328/j.cnki.jos.006091]
©中国科学院软件研究所版权所有.
区块链的数据管理
技术
张志威
1
,
王国仁
1
,
徐建良
2
,
杜小勇
3
1
(北京理工大学计算机学院,北京,中国)
2
(香港浸会大学计算机系,香港,中国)
3
(中国人民大学信息学院,北京,中国)
通讯作者: 王国仁, E-mail: wanggrbit@126.com
摘 要: 最近几年,随着
加密货币和去中心化应用
是在一个
分布式环境下众多不可信节点共同维护
致性,实现去中心化的数据管理.
针对区块链的安全性以及共识协议
块链技术与传统数据库
下数据管理技术的异同
行与验证、系统可扩展性等诸多方面,
并已有诸多技术广泛应用于实际的分布式数据库中
点只可能发生崩溃而不存在恶意攻击.然而,
在区块链环境中
理带来了新的问题与挑战.因此,本文将梳理
并分析
关键词: 区块链;数据管理;数据存储;
事务执行
Survey on Data Management in Blockchain Systems
ZHANG Zhi-Wei
1
, WANG Guo-Ren
1
, XU
Jian
1
(School of Computer Science and Technology, Beijing Institute of Technology, Beijing
2
(Department of Computer Science, Hong Kong Baptist University, Hong Kong, China)
3
(Information School
, Renmin University of China, Beijing 100081, China)
Abstract:
Blockchain technologies have gained more and more attention during the last
users do not fully trust each other. Embedded with consensus protocols and security mechanism, blockchain systems achieve sev
immutability, and all the users a
gree on all the data records and histories of transactions.
database, in which nodes agree with
the orders of executions of all the transactions.
problems for blockchains. In this paper, we aim to survey and analyze the techniques about data management for the blockchain
it assumes that the nodes in the distributed database are trusted,
the malicious nodes, it needs to consider Byzantine fault tolerance.
databases have similar architecture
, many works have been done to translate the techniques from distributed databases to blockchains. Considering this, in this
paper, we survey the techniques for the data management in blockchains. We focus on four aspects
query processing and blockchain scalability. We compare the differences and analyze the benefits of the techniques in these a
Keywords: blockchain; data management; data stor
age; transaction execution; query processing;
最近几年,由于加密货币
以及去中心化应用
加密货币中的比特币
[1]
、以太坊
[2]
等已被允许在新加坡
节点维护、只可添加的链式数据结构.
在区块链系统中
行连接,且新的区块只能在链表末尾添加.
因此
况下,
所有的区块形成了一个存在全局顺序的链表
数据的一致性以及不可篡改等特点.
为了在不可信的网络中保证数据不可篡改
块中,因此网络中的节点可通过哈希值,
验证自身数据
恶意节点的恶意攻击行为,
区块链系统要求可以支持拜占庭容错
致性.由于以上特性,
整个区块链网络构成了一个
基金项目: 国家自然科学基金(
61602395, 61732014
Foundation item: National Natural Science Foundation of China
Science and Technology Project (SDZX2019042)
收稿时间:
2019-11-25; 修改时间: 2020-03-
08, 2020
技术
综述
加密货币和去中心化应用
的流行,区块链技术受到了各行业极大的关注.
从数据
分布式环境下众多不可信节点共同维护
且不可篡改的账本.由于节点间相互不可信,
区块链通过共识协议
针对区块链的安全性以及共识协议
,已有诸多工作进行全面的分析.
本文将从数据管理的角度
下数据管理技术的异同
.分布式数据管理的研究已经持续数十年,
涵盖了数据存储模式
并已有诸多技术广泛应用于实际的分布式数据库中
.该类
工作往往假定存在中心
在区块链环境中
,系统设计需考虑不可信
节点可能的攻击行为以及拜占庭容错
并分析
国内外有关区块链数据管理的文献,
并展望未来的研究方向
事务执行
;查询处理;
Survey on Data Management in Blockchain Systems
Jian
-Liang
2
, DU Xiao-Yong
3
(School of Computer Science and Technology, Beijing Institute of Technology, Beijing
100081, China)
(Department of Computer Science, Hong Kong Baptist University, Hong Kong, China)
, Renmin University of China, Beijing 100081, China)
Blockchain technologies have gained more and more attention during the last
few years. In general, blockchains are distributed ledge
users do not fully trust each other. Embedded with consensus protocols and security mechanism, blockchain systems achieve sev
gree on all the data records and histories of transactions. From the perspective of data management
the orders of executions of all the transactions. Many works have been done to survey about
problems for blockchains. In this paper, we aim to survey and analyze the techniques about data management for the blockchain
it assumes that the nodes in the distributed database are trusted, and only the crash failure needs to be considered. On the other hand, as the blockchains consider
the malicious nodes, it needs to consider Byzantine fault tolerance. These have brought new problems and challenges to the blockchains.
, many works have been done to translate the techniques from distributed databases to blockchains. Considering this, in this
paper, we survey the techniques for the data management in blockchains. We focus on four aspects
of management, including storage, transaction management,
query processing and blockchain scalability. We compare the differences and analyze the benefits of the techniques in these a
age; transaction execution; query processing;
以及去中心化应用
的兴起,
区块链技术在工业界与学术界得到了极大的关注
等已被允许在新加坡
、加拿大等国家进行支付.
从数据处理的角度
在区块链系统中
,数据与事务以区块为最小单位进行存储.
区块与区块之间以链表的方式
因此
,区块链中每个节点均按照区块被添加的顺序
来存储
所有的区块形成了一个存在全局顺序的链表
.区块链因此也常被称作账本.与此同时,
区块链系统可在不可信的网络中支持
为了在不可信的网络中保证数据不可篡改
,
区块链将每个区块及前一区块的哈希值存储在区
验证自身数据
以及前一区块的数据
是否与相应的哈希值一致
区块链系统要求可以支持拜占庭容错
,即当网络中存在少量恶意节点时
,
整个区块链网络构成了一个
去中心化且不可篡改的一致数据存储系统.
61602395, 61732014
);香港研究资助局项目（12200819）;
广东省科技专项资金项目
Foundation item: National Natural Science Foundation of China
(61602395, 61732014); Hong Kong
General Research Fund(12200819); Guangdong Key
08, 2020
-04-29; 采用时间: 2020-05-25; jos 在线出版时间: 2020-06-08
E-mail: jos@iscas.ac.cn
http://www.jos.org.cn
Tel: +86-10-62562563
从数据
管理的角度,区块链可以视作
区块链通过共识协议
,确保数据存储的一
本文将从数据管理的角度
,分析区
涵盖了数据存储模式
、事务处理机制、查询执
工作往往假定存在中心
可信节点或者节
节点可能的攻击行为以及拜占庭容错
.这给数据管
并展望未来的研究方向
.
few years. In general, blockchains are distributed ledge
rs in which the
users do not fully trust each other. Embedded with consensus protocols and security mechanism, blockchain systems achieve sev
eral properties, such as
From the perspective of data management
, blockchain is a distributed
Many works have been done to survey about
the security and concensus
problems for blockchains. In this paper, we aim to survey and analyze the techniques about data management for the blockchain
systems. In traditional databases,
and only the crash failure needs to be considered. On the other hand, as the blockchains consider
These have brought new problems and challenges to the blockchains.
Since blockchains and
, many works have been done to translate the techniques from distributed databases to blockchains. Considering this, in this
of management, including storage, transaction management,
query processing and blockchain scalability. We compare the differences and analyze the benefits of the techniques in these a
reas for blockchains.
区块链技术在工业界与学术界得到了极大的关注
,并产生了巨大的影响.
从数据处理的角度
,区块链是一种由网络中一组
区块与区块之间以链表的方式
进
来存储
区块内的数据内容.在这种情
区块链系统可在不可信的网络中支持
区块链将每个区块及前一区块的哈希值存储在区
是否与相应的哈希值一致
.同时,考虑到不可信网络中
,
依然可以确保网络中数据的一
广东省科技专项资金项目
SDZX2019042
General Research Fund(12200819); Guangdong Key
2
Journal of Software 软件学报
区块链系统的去中心化特点使其与传统的分布式数据库在技术,应用等方面有很大不同.传统的分布式数据库往往假定存在
中心节点,且节点不存在恶意行为,因此大部分分布式数据库只需要考虑崩溃性故障.而区块链中节点之间是不可信的,即节点可
能恶意地发送消息或执行计算,因而区块链需考虑拜占庭容错.诸多企业,例如 IBM
[3]
、Oracle
[4]
、SAP
[5]
、华为
[6]
等均建立了自身
的区块链系统.随着区块链技术的推广以及对智能合约的支持,区块链技术也被进一步应用于多个领域,包括物联网
[7, 117]
、医疗健
康
[8-9]
、专利保护
[10]
、政府监管
[11]
、资产管理
[12]
等.与此同时,越来越多的工作对区块链各个方面进行了优化,包括系统模型
[13-14]
、
共识算法
[15-16]
、数据安全
[17-20]
、数据存储
[21]
以及性能评价基准
[22]
等等.
...
PreHash ConsProof
MerkleRoot
PreHash
ConsProof
MerkleRoot
R
TX
1
TX
2
TX
3
TX
4
R
TX
5
TX
6
TX
7
TX
8
区块t
区块t+1
Fig. 1 The structure of the blockchain.
图 1 区块链中的数据结构
从数据管理的角度,区块链是一个在分布式环境下存储大量存在全序关系的数据记录系统.数据以及对数据的操作均存储在
区块内并以区块的粒度进行管理.一个典型的区块结构如图 1 所示,包括前一区块哈希值（PreBkHash）、共识验证字段（ConsProof）
以及区块内事务的哈希值（MerkleRoot）.其中节点可利用共识验证字段验证其存储的区块是否满足共识条件并确保网络中少量
节点的恶意行为不会影响区块链的一致性,从而使其支持拜占庭容错.在分布式数据库系统中,由于其假定节点不存在恶意攻击行
为,因此分布式数据库中节点共识只需考虑节点崩溃的情况.典型的共识算法有 Paxos
[23]
、Raft
[24]
等.这类共识算法已经被应用于全
球化的分布式数据库中,并已经取得了很好得性能.而在区块链中,为了支持拜占庭容错,区块链中典型的共识机制包括工作量证
明 PoW
[25]
、实用拜占庭容错 PBFT
[26]
等.关于区块结构以及共识算法将在“区块链的核心构成”部分介绍.
虽然与分布式数据库相比,区块链可以支持在不信任网络环境中的去中心化数据管理,但是区块链系统在数据管理方面仍然
面临着诸多问题.其核心问题包括数据存储、事务处理性能、查询处理优化等方面.例如,现阶段区块链的每秒可执行事务数（TPS）
远小于传统的分布式数据库,也很难满足实际公司级别的交易量需求.最广泛使用的电子货币比特币支持平均每秒 7 笔交易,而
visa 等信用卡公司每秒需执行 4000 笔左右的交易
[27-28]
.具体而言,区块链系统中的数据管理与现有分布式数据库有如下方面的不
同：
数据存储方面：在区块链系统中,数据以区块作为基本存储单位.为了方便数据的存取,以太坊
[2]
等利用 LevelDB 这
一基于 Key-Value 结构的数据库存取数据,而部分区块链则选择利用文件系统或关系型数据库进行存储.与传统的分
布式数据库或其他分布式存储系统相比,由于区块链网络中的节点均存储数据的备份,导致数据的存储在区块链框
架下产生新的挑战.首先,直接将所有数据存储于区块链上将导致区块链上的数据规模极大.在一般情况下,系统中的
节点均需要存储所有历史和新添加的数据,因而导致整个系统的存储开销极大.这将使得部分节点可能由于存储空
间的限制,不能加入到区块链的网络中.其次,由于区块链中存储了大量的历史数据,在这种情况下,一个数据在区块
链中可以存在多个历史版本.现有的诸多操作需要基于数据的不同版本进行,因此数据存储需支持多版本的存储、查
询等操作,且可以在各个版本上进行独立的数据添加更改等操作.
事务执行方面：在区块链中,智能合约的一次执行相当于数据库中的一个事务.在传统的数据库中,事务处理需满足
ACID 特性,包括原子性（atomicity）、一致性（consistency）、隔离性（isolation）与持久性（durability）.在区块链
系统中,其事务的处理同样需满足以上特性.为了提高系统的吞吐量,部分区块链的事务处理同样会采用并发机制.但
是,区块链系统的并发控制与分布式数据库的并发控制相比有诸多不同.首先,区块链系统中的事务的提交（Commit）
是以区块为单位,而不是以每个事务为单位.一个区块内将包含多个事务.这将导致针对事务的并发控制需要考虑区
块的提交顺序.当一个事务与其他事务并发执行却没有在同一区块中提交将不会明显提高系统的执行效率.其次,部
分区块链中的事务处理流程与数据库中的事务不同.例如 Hyperledger Fabric 中,事务的处理包含模拟、验证等过程.
当其共 识 协议 达 成之后, 每 个节点 才会 执行区 块内的 事务.第三 ,分布式数 据库 往往基 于 master-slave
[32-33]
或者
of 18
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论