巨杉Tech Hbase迁移至SequoiaDB 实战.pdf
50墨值下载
巨杉 Tech Hbase 迁移至 SequoiaDB 实战
背景
在传统银行 IT 架构中，联机交易与统计分析系统往往采用不同的技术与物理设备，通过定
期执行的 ETL 将联机交易数据向分析系统中迁移。而作为数据服务资源池，同一份数据可
能被不同类型的微服务共享访问。当一些联机交易与审计类业务针对同一份数据同时运行
时，必须保证请求在完全隔离的物理环境中执行，做到交易分析业务无干扰。
HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，善于处理大数据场景，
具备以下特点：
·表规模大，亿级别行，上百万列
·面向列存储，列独立检索
但是 HBase 在使用中也存在下面的一些问题：
·HBase 只能做简单的 key-value 查询，无法实现复杂的统计 SQL
·HBase 不支持多索引
·运维复杂。Hadoop 作为一套完整大数据分析体系框架，操作比较复杂，出现问题难以定
位
为了解决上述问题，在典型的数据中台和服务平台业务中，用户需要选择一个可弹性扩展的
分布式关系型数据库，以满足以下需求：
·标准 SQL 支持
·支持高并发
·多索引中支持
·易维护等需求
SequoiaDB 巨杉数据库是计算存储分离架构，这种分布式架构一方面可以提供针对数据表的
无限横向水平扩张，另一方面在计算层通过提供不同类型数据库实例的方式，100%兼容
MySQL，PostgreSQL 与 SparkSQL 协议与语法。除了结构化数据外，SequoiaDB 巨杉数据库
可以在同一集群支持包括 JSON 和 S3 对象存储、以及 Posix 文件系统在内的非结构化数
据，使整个数据库面向上层的微服务架构应用提供了完整的数据服务资源池。
SequoiaDB 支持复杂 SQL 查询、支持多索引、支持高并发，并且作为开源分布式数据库运
维简单便捷。到目前为止，已有大量用户从 HBase 迁移至 SequoiaDB，本文将与大家分享
从 HBase 迁移数据至 SequoiaDB 的操作实战。
导出 HBase 数据
·先用 Hive 把 HBase 数据导出为 csv 文件。Hbase 数据结构如下：
图 1 Hbase 数据结构 整合 HBase 和 hive, 创建 hive 外部表进行关联
·hive 创建外部表关联 Hbase 参考语句
·整合效果如下图所示
of 6
50墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
文档被以下合辑收录
评论