巨杉⼯具系列之一 | ⼤对象存储⼯具sdblobtool

巨杉数据库 2019-11-19

1013

近期，巨杉数据库正式推出了完整的SequoiaDB 工具包，作为辅助工具，更好地帮助大家使用和运维管理分布式数据库。为此，巨杉技术社区还将持续推出工具系列文章，帮助大家了解巨杉数据库丰富的工具矩阵。

本文作为系列第一篇，将分享巨杉数据库大数据存储工具 sdblobtool 的基本介绍和应用实践。

巨杉工具矩阵

一、对象存储与自建存储对比

通俗地讲，自建存储就是自己购买服务器设备存储文件，通过运维人员手工进行文件的上传下载。而对象存储，则是使用不同的存储形态来存储文件。目前，对象存储独立的存储形态有三种：块存储、⽂件存储以及新出现的对象存储。

块存储：简单来说，块存储就是将硬盘直接挂载到主机，在主机上我们能够看到的就是一块块的硬盘以及硬盘分区。从存储架构的角度而言，块存储又分为DAS存储（Direct-Attached Storage，直连式存储）和SAN存储（Storage Area Network，存储区域网络）。

文件存储：指的是在文件系统上的存储，也就是主机操作系统中的文件系统。我们知道，文件系统中有分区，有文件夹，子文件夹，整体形成⼀个自上而下的⽂件结构，⽤户可以通过操作系统中的应⽤程序来打开和修改文件系统下的⽂件。

对象存储：指的是⾯向对象/⽂件的、海量的互联网存储对象。虽然它也是文件，但它是已经被封装的⽂件（编程中的对象就有封装性的特点）。在对象存储系统⾥，用户不能直接打开和修改⽂件，但可以像 ftp ⼀样上传和下载⽂件。另外，对象存储不像⽂件系统那样有⼀个很多层级的⽂件结构，而是只有⼀个“桶”的概念（也就是存储空间），“桶”⾥⾯全部都是对象，是一种非常扁平化的存储方式。

二、巨杉数据库大对象存储

SequoiaDB 和各大云平台对象存储都提供存储服务，都具备分布式、可扩展、高可用等特性。各大云平台对象存储是专门为对象存储而设计的，而SequoiaDB的块存储引擎则针对非结构化数据存储。

SequoiaDB 的块存储字段类型叫做LOB（Large OBject，大对象），其核心机制是将内容文件打散成多个数据块，每个数据块被分别发送到不同分区独立存放。如下图所示：

LOB 记录的存储格式

LOB 文件逻辑结构

与其他解决方案相比，由于不存在独立中控元数据节点，SequoiaDB 提供的 LOB 存储机制理论上可以存放近乎无限数量的对象文件，并且不会由于元数据堆积而造成性能下降。同时，由于数据块被散列分布到所有数据节点，整个系统的吞吐量随集群磁盘数量的增加近乎线性提升。最后，SequoiaDB 提供原生的内容管理接口，通过 REST 访问方式支持批次管理、版本管理、流程管理等一系列基本CM特性。

基于LOB 存储机制的内容管理平台架构图

从使用方式上看，SequoiaDB的 LOB 机制可以使用原生 API 的访问形式，对底层 LOB 对象进行读写访问；同时，用户也可以通过高阶 CM API Java 接口，Java 驱动会将请求封装成 RESTful 形式，通过发送接收 HTTP 报文进行对象和批次级别读写更新操作。

相对于其他云存储平台，巨杉数据库对象存储具有以下优势：

安全性

SequoiaDB 提供基于本地化的对象存储，通过多副本数据备份，实现数据安全，安全性毋庸置疑。

支持全类型数据的覆盖

SequoiaDB 是⼀款以 JSON/BSON 数据类型作为底层存储格式的分布式关系型数据库，支持灵活的数据类型定义和存储，支持全类型数据的覆盖，可同时存储结构化、半结构化和非结构化数据，对大数据的存储与分析提供了了一个坚实、可靠、高效与灵活的底层平台。

更加灵活的一致性策略

目前，SequoiaDB 数据分区组的数据一致性是基于集合级别进行配置的。用户在使用SequoiaDB 的过程中，可以随时调整数据一致性的强度。在一个多副本的 SequoiaDB 集群中，集合默认的数据⼀致性行级别为“最终⼀致性”。

深度整合大数据体系组件

SequoiaDB 的企业版本不仅集成了 Hadoop 的 HDFS、MapReduce和Spark，还向客户提供完善的 SQL 解决方案和丰富的第三方插件，例如 ETL 工具 Kettle 的 SequoiaDB 插件，Spark SQL 的扩展包--支持 Spark SQL 自动同步操作 SequoiaDB 数据集等。

SequoiaDB 不仅通过了全球最大的 Hadoop 发行商 Cloudera 的官方认证（全球只有四家 NoSQL 数据库获得），还获得了了 DataBricks 的官方认证，同时，SequoiaDB 也是国内三家经过 DataBricks 授权，拥有发行 Spark 权利的厂商之⼀。

三、大对象存储工具 sdblobtool ⽤法

sdblobtool 是一款用于管理 SequoiaDB 集合中大对象的工具，具有大对象(lob)的导出、导⼊、迁移的功能。

1. 大对象的导出

导出功能是将集合中的⼤对象导出到本地⽂件。导出参数：

Note：
--prefer 的取值包括 M 或 m 指master(主节点); S 或 s(从节点); A 或 a 表示anyone; 通过1~255指定instanceid(实例id)

导出示例：

1. 连接主机名为 sdb 的数据库服务器中服务名为11810协调节点，将集合空间为 sample，集合为 employee 中的大对象导⼊到本地文件 mylob。

[sdbadmin@sdb01]$ sdblobtool --operation export --hostname sdb --svcname 11810
--collection sample.employee --file /opt/file/lobfile

执行效果

[sdbadmin@sdb] sdblobtool --operation export --hostname sdb --svcname 11810 --collection sample.employee --file /home/sdbadmin/mylob
lob exporting has been done, total num:6


#查看当前目录下的日志文件
[sdbadmin@sdb] ls -lrt
总用量 104
-rw-r-----1 sdbadmin sdbadmin_group 99328 10月 27 18:24 myblog
-rw-r--r--1 sdbadmin sdbadmin_group 1497  10月 27 18:24 sdblobtool.log

导出日志

2019-10-27-18.24.33.252414        Level:EVENT
PID:23987                          TID:23987
Function:main                      Line:323
Message:
Start sdblobtool [Ver:3.2, Re;ease: 42463, Build: 2019-07-27-20.55.27]...


2019-10-27-18.24.33.252848         Level:EVENT
PID:23987                          TID:23987
Function:main                      Line:344
File:SequoiaDB/engine/pmd/sdblobtool.cpp
Message:
options:{省略}


2019-10-27-18.24.33.257633         Level:EVENT
PID:23987                          TID:23987
Function:_exportLob
File:Sequoiadb/engine/mig/migLobTool.cpp
Message:
begin to export lob


2019-10-27-18.24.33.270184        Level:EVENT
PID:23987                          TID:23987
Function:_exportLob
File:Sequoiadb/engine/mig/migLobTool.cpp
Message:
lob exporting has been done, total num:6


2019-10-27-18.24.33.270323        Level:EVENT
PID:23987                          TID:23987
Function:_exportLob
File:Sequoiadb/engine/pmd/sdblobtool.cpp
Message:
sdblobtool quit. rc: 0, shell rc: 0.

2. 连接主机名为 sdb01 的数据库服务器器中服务名为 11810 协调节点，使用用户名 sdbadmin,密码 sdbadmin，将集合空间为 sample，集合为 employee 中的大对象导入到本地文件 lobfile。

[sdbadmin@sdb01]$ sdblobtool --operation export --hostname sdb01 --svcname
11810 --username sdbadmin --password sdbadmin --collection samole.employee --file
/opt/file/lobfile

3. 将集合空间为bizz，集合为 img 中的大对象导入到本地文件 lobfile 中，并指定从主节点导出。

[sdbadmin@sdb01]$ sdblobtool --operation export --hostname sdb01 --svcname
11810 --collection bizz.img --prefer M --file opt/file/lobfile

2. 大对象的导入

⼤对象导入是将本地文件中的大对象文件导入到集合中, 导入参数：

Note:
指定--ignorefe 时只需要添加 --ignorefe即可，不需要为其指定具体值。--file的本地⽂文件指使用 sdblobtool 导出⽣生成的文件。

导入示例：

1. 将本地文件 mylob 中的⼤对象导入至集合空间 sample，集合 employee2 中，当遇到已经存在的大对象时跳过。

[sdbadmin@sdb01]$ sdblobtool --operation import --hostname sdb --svcname 11810
--collection sample.employee2 --file /home/sdbadmin/mylob --ignorefe

执行效果

[sdbadmin@sdb] ls lrt
总用量 100
-rw-r-----1 sdbadmin sdbadmin_group 99328 10月 27 18:27 mylob
[sdbadmin@sdb]
[sdbadmin@sdb] sdblobtool --operation import --hostname sdb --svcname 11810 --collection sample.employee2 --file /home/sdbadmin/mylob --ignoref
File version: 1 TotalNum: 6 CreateTime: 2019-10-27-18.27.27.894000
lob importing has been done, total num: 0
[sdbadmin@sdb]
[sdbadmin@sdb] ls -lrt
总用量 104
-rw-r-----1 sdbadmin sdbadmin_group 99328 10月 27 18:27 mylob
-rw-r--r--1 sdbadmin sdbadmin_group 1492  10月 27 18:30 sdblobtool.log

导出日志

2019-10-27-18.30.08.474176               Level:EVENT
PID:8084                                 TID:8084
Function:main                            Line:323
File:SequoiaDB/engine/pmd/sdblobtool.cpp
Message:
Start sdblobtool [Ver: 3.2, Release: 42463, Build: 2019-07-27-20.55.27]...


2019-10-27-18.30.08.474534               Level:EVENT
PID:8084                                 TID:8084
Function:main                            Line:344
File:SequoiaDB/engine/pmd/sdblobtool.cpp
Message:
options:{ "hostname": "sdb", "svcname": "11810", "usrname": "", "passwd": "", "operation": "import", "collection": "foo.bar2", "file": "/home/sdbadmin/mylob", "ignorefe": true, "dsthost": "localhost", "dstservice": "11810", "dstusrname": "", "dstpasswd": "", "PreferedInstance": "M", "ssl": false }


2019-10-27-18.30.08.478471               Level:EVENT
PID:8084                                 TID:8084
Function:_importLob                      Line:628
File:SequoiaDB/engine/mig/migLobTool.cpp
Message:
begin to import lob


2019-10-27-18.30.08.484134               Level:EVENT
PID:8084                                 TID:8084
Function:_importLob                      Line:654
File:SequoiaDB/engine/mig/migLobTool.cpp
Message:
lob importing has been done, total num:0


2019-10-27-18.30.08.484228               Level:EVENT
PID:8084                                 TID:8084
Function:main                            Line:365
File:SequoiaDB/engine/pmd/sdblobtool.cpp
Message:
sdblobtool quit. rc: 0, shell rc: 0.

2. 使用用户名 sdbadmin 密码 sdbadmin 将本地文件 mylob 中的大对象导入至集合空间 sample，集合 employee2 中，当遇到已经存在的大对象则跳过。

[sdbadmin@sdb01]$ sdblobtool --operation import --hostname sdb01 --username sdbadmin --passwd sdbadmin --svcname 11810 --collection sample.employee2 --file /home/sdbadmin/mylob --ignorefe

3. 大对象迁移

大对象迁移是将集合中的大对象迁移到另一个集合中，迁移参数：

Note：
指定--ignorefe 时只需要添加 --ignorefe即可，不需要为其指定具体值。

迁移示例：

连接集群主机名为 sdb01 中的协调节点11810，将集合空间 sample，集合 employee 下的大对象复制到另一个集群，目标集群主机名为 sdb02，协调节点为11810，集合空间 sample，集合 employee2 中，需要已存在的大对象跳过。

[sdbadmin@sdb01]$ sdblobtool --operation migration --hostname sdb01 --svcname 11810 --collection sample.employee --dsthost sdb02 --dstservice 11810 --dstcollection sample.employee2 --ignorefe

4. 导出成功标志

指定大对象迁移命令后，控制台会在命令执行后给出本次命令执行结果：

大对象导出

lob exporting has been done, total num:6

大对象导入

File version: 1 TotalNum: 6 CreateTime: 2019-10-27-18.27.27.894000
lob importing has been done, total num: 0

用户通过控制台输出可以判断本次导入或者导出是否存在问题。然后再进入导入/导出生成的 sdblobtool.log 日志文件，检查日志文件中文件导出数量的统计，查看日志文件是否存在 ERROR 信息，判断本地操作是否存在错误。

5. 大对象工具日志

使用 sdblobtool 时，命令执行结束会在当前所在目录生成 "sdblobtool.log" 日志文件，当发生错误时，用户可以进入日志文件查看错误的详细信息。

6. 常见问题

以下为使用 sdblobtool 工具时常见问题。

其他问题可参照巨杉数据库错误码文档进行对照

错误码参考文档：

http://doc.sequoiadb.com/cn/sequoiadb-cat_id-1432190985-edition_id-0

四、总结

巨杉数据库对象存储通过多副本备份机制实现数据安全，并且具备更加灵活的⼀致性策略，支持全类型数据覆盖，深度整合大数据体系组件。

sdblobtool 是一款用于管理 SequoiaDB 集合中大对象的工具，具有大对象(lob)的导出、导入、迁移的功能，使用便捷高效。

往期技术干货

巨杉Tech | 基于Kafka+Spark+SequoiaDB实时处理架构快速实战

巨杉Tech | SequoiaDB数据域及存储规划

巨杉Tech | SparkSQL+SequoiaDB 性能调优策略

巨杉Tech | 使用 etlAlchemy 工具迁移数据实战

巨杉Tech | Hbase迁移至SequoiaDB 实战

巨杉Tech | SequoiaDB 巨杉数据库高可用容灾测试

巨杉Tech | 使用 SequoiaDB + Docker + Nodejs 搭建 Web 服务器

巨杉学习笔记 | SequoiaDB MySQL导入导出工具使用实战

巨杉内核笔记 | 会话（Session）

180秒揭秘数据库金融级灾备架构

点击阅读原文，获取更多精彩内容~

sequoiadb

最后修改时间：2019-11-20 09:24:36

文章转载自巨杉数据库，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

巨杉⼯具系列之一 | ⼤对象存储⼯具sdblobtool

一、对象存储与自建存储对比

二、巨杉数据库大对象存储

三、大对象存储工具 sdblobtool ⽤法

四、总结

评论