背景
在传统银行 IT 架构中，联机交易与统计分析系统往往采用不同的技术与物理设备，通过定期执行的 ETL 将联机交易数据向分析系统中迁移。而作为数据服务资源池，同一份数据可能被不同类型的微服务共享访问。当一些联机交易与审计类业务针对同一份数据同时运行时，必须保证请求在完全隔离的物理环境中执行，做到交易分析业务无干扰。
HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，善于处理大数据场景，具备以下特点：
表规模大，亿级别行，上百万列
面向列存储，列独立检索
但是 HBase 在使用中也存在下面的一些问题：
HBase 只能做简单的 key-value 查询，无法实现复杂的统计 SQL
HBase 不支持多索引
运维复杂。Hadoop 作为一套完整大数据分析体系框架，操作比较复杂，出现问题难以定位
标准SQL支持
支持高并发
多索引中支持
易维护等需求
1 导出HBase数据
先用 Hive 把 HBase 数据导出为 csv 文件。Hbase 数据结构如下：
图1 Hbase数据结构 整合HBase和hive, 创建hive外部表进行关联
hive 创建外部表关联 Hbase 参考语句
CREATE EXTERNAL TABLE hbase_user(id string,name string,phone string,birthday string,id_number string,gender string,email string,address string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:name,info:phone,info:birthday,info:id_number,info:gender,info:email,i nfo:address") # 指定映射关系，:key为rowkeyTBLPROPERTIES ("hbase.table.name" = "user"); # 指定要映射的hbase表名
整合效果如下图所示
hive (default)> select * from hbase_user limit 1;OKhbase_user.id hbase_user.name hbase_user.phone hbase_user.birthday hbase_user.id_number hbase_user.gender hbase_user.email hbase_user.address0004928c7287408085403c6ec4cd3c12 刘英 15073203583 2013-07-15 211324199408301340 M maojuan@yahoo.com 黑龍江省晶市徐汇六盘水街J座 222331
导出 hive 表中的数据到 csv
导出的数据如下图所示，为 csv 格式
[hadoop@node hbase_hive_export_user.csv]$ tail -2f 000000_0ffdca61d22b74462aefdcb948d819542,边志强,18598897076,1958-08-25,52062819960928857X,M,ming52@gmail.com,内蒙古自治区太原县浔阳史街P座 547199ffdf82a4e2f84c3a9c99e726153d9496,傅玉华,14509458979,1977-08-13,451022198005119836,M,yanhe@hotmail.com,辽宁省兵县山亭深圳路h座 706208
2 通过CSV文件导入到SequoiaDB中
将 HBase 导出的 csv 文件导入到 SequoiaDB 中，导入的命令如下：
sdbimprt --hosts=localhost:11810 --type=csv --file=user.csv -c users -l employee --fields='id string,name string,phone string,birthday string,id_number string,gender string,email string,address string'
其中集合空间名称为users，集合名称为 employee，执行结果如下：
$ sdbimprt --hosts=localhost:11810 --type=csv --file=user.csv -c users -l employee --fields='id string,name string,phone string,birthday string,id_number string,gender string,email string,address string'parsed records: 24282parse failure: 0sharding records: 0sharding failure: 0imported records: 24282import failure: 0
3 在SequoiaDB 的MySQL层创建HBase对应映射表
CREATE TABLE `employee` (`id` int(11) DEFAULT NULL,`name` varchar(50) COLLATE utf8mb4_bin DEFAULT NULL,`phone` int(20) DEFAULT NULL,`birthday` datetime DEFAULT NULL,`id_number` int(20) DEFAULT NULL,`gender` varchar(11) COLLATE utf8mb4_bin DEFAULT NULL,`email` varchar(50) COLLATE utf8mb4_bin DEFAULT NULL,`address` int(50) DEFAULT NULL) ENGINE=SEQUOIADB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;
4 在SequoiaDB 的SAC图形化界面查看数据导入情况
登录到 SequoiaDB 存储引擎层，查看数据量为24282，数据导入成功完毕。
#sdb> db = new Sdb("localhost", 11810)> db.users.employee.count()24282Takes 0.002236s.
在 SequoiaDB 的图形化界面上，可以查看到导入到 SequoiaDB 中的数据条数为24282
图3 SAC图形化界面SequoiaDB存储引擎层查看数据示意图
同时，在 SequoiaDB 对应的 MySQL 实例层，可以查看到对应数据是24282
$ opt/sequoiasql/mysql/bin/mysql -h 127.0.0.1 -P 3306 -u root...mysql> use users;Database changedmysql> show tables;+-----------------+| Tables_in_users |+-----------------+| employee |+-----------------+1 row in set (0.00 sec)mysql> select count(*) from employee;+----------+| count(*) |+----------+| 24282 |+----------+1 row in set (0.00 sec)
在SequoiaDB 的 SAC 图形化界面中，查看 MySQL 实例层，得出数据条数为24282
图4 SAC界面MySQL实例层查询数据示意图
5 在SequoiaDB 中执行多索引查询验证
在 SequoiaDB 的 mysql 实例层创建多个索引
mysql> ALTER TABLE `employee` ADD INDEX index_id (`id`);mysql> ALTER TABLE `employee` ADD INDEX index_email (`name`);
在 SequoiaDB 的 mysql 实例层，执行多个索引查询
mysql> select count(*) from employee where name="xiuyingxia";+----------+| count(*) |+----------+| 2 |+----------+1 row in set (0.00 sec)
总结
SequoiaDB 支持复杂 SQL 查询、支持多索引、支持高并发，作为开源分布式数据库运维简单便捷。Hbase 迁移至 SequoiaDB，可以先通过 hive 导出数据文件 csv 格式，然后通过 SequoiaDB 的导入工具 sdbimprt 导入到 SequoiaDB 中。
