暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

年末总结_聊一聊数据库行业的“继往开来”

一森咖记 2019-12-31
1076

【此为"一森咖记"公众号——第103篇文章】


读完需要

15
分钟

速读仅需10分钟

【引言】
国人有总结的习惯,在2019年的最后一天,必须要总结以往,展望未来。今天就来敲一敲黑板,聊一聊数据库行业的“继往开来”。
 
本文内容引用《数据架构选型必读:2019年数据库产品技术总结与展望》,链接如下:
https://mp.weixin.qq.com/s/i1n3Te8SQc2-9Ahjw7-hHw
 
根据个人感兴趣,本文抽取了部分内容,并做了一定程度的个人解读。
 
【大纲】
1. Oracle2019年总结与展望
2. MySQLPostgreSQL开源库的发展展望;
3. GaussDB国产数据库的发展展望
4. 总结

一、 Oracle的2019年总结与展望

先看下数据库老大哥Oracle都有哪些发展和新特性,以及下一步的发展趋势。
1. 2019917日,Oracle宣布将首次采用VMware,并将正式支持在VMware虚拟化环境中运行的Oracle企业软件甲骨文在Gartner 2019操作型数据库管理系统关键能力报告的传统事务处理、分布式可变多模数据处理、事件处理/动态数据处理、增强事务处理的四大使用场景中的排名均蝉联第一。还被Gartner 2019年“操作型数据库管理系统魔力象限”评为领导者。
2. 2019918日,Oracle宣布云服务永久免费。具体来说,Oracle用户可以永久享受到以下福利:

1. 2Autonomous Database(自主数据仓库或自主事务处理),每个Autonomous Database都有1OCPU20 GB存储资源;

2. 2Compute VM,每个Compute VM1/8 OCPU1 GB内存;

3. 2Block Volumes,总共100 GB,最多5个免费备份;

4. 10 GB Object Storage10 GB Archive Storage和每月50000API请求;

5. 1Load Balancer10 Mbps带宽;

6. 每月10 TB的出站数据传输;

7. 5亿个摄取数据点和10亿个服务监测数据点;

每月传递100万个通知的选项和每月1000封电子邮件。


3. 2019年,Oracle新推出的自治数据库版本19c提供了更多的自治能力和新功能。Oracle Database 19c新特性摘要如下:

1. 自动索引(Auto-Indexing)自动化索引功能在帮助用户简化开发、运维的同时,数据库性能最高可提升60%

2. 实时自动统计信息收集在数据库发生变化时,可自动收集统计数据供SQL优化器使用,极大减轻人工SQL调优压力;

3. Active Data Guard备库DML重定向备端可做DML操作, 实现数据中心应用级双活,简化应用部署难度,同时最大化架构可用性和硬件利用率;

4. 自动SQL隔离可将开发人员性能不好的SQL进行资源隔离,保障系统正常运行,提升数据库可用性;

5. 物联网(IoT)流处理功能专为插入快速激增的IoT数据打造,让IoT更易用、更好用。

4. 201988日的数据库大会上发布了Oracle区块链本地解决方案,帮助企业轻松搭建区块链网络。
5. 2019917日,甲骨文全球大会上发布了最新的Exadata X8MOracle Exadata X8M业内首个采用了英特尔®傲腾™DC持久性内存和创新的数据库RDMA技术,与上一版本相比I/O吞吐量提高了2.5倍,I/O延迟降低了90%
6. 根据Oracle的产品策略, 2020年将会推出Oracle 20c20c将会提供更多的自治能力,包括原生持久内存(PMEM)数据库、自动机器学习、为安全交易而打造的原生区块链表,以及性能更加强大的二进制JSON数据类型。

二、MySQL和PostgreSQL开源库的发展展望

MySQL发展
2019年1014日,MySQL发布8.0.18版本。版本亮点:
1、Hash Join
Hash Join不需要任何索引来执行,并且在大多数情况下比当前的块嵌套循环算法更有效;
2、创建用户时可以随机生成密码:
CREATE USER ALTER USER SET PASSWORD语句添加了语法,以生成强随机密码,并将其作为结果返回给客户端。添加的语法是:CREATE USER user IDENTIFIED BY RANDOM PASSWORDALTER USER user IDENTIFIED BY RANDOM PASSWORD,和SET PASSWORD [FOR user] TO RANDOM
3、群组复制:
group_replication_exit_state_action增加了OFFLINE_MODE 模式。用于指定当服务器无意离开群组时群组复制的行为。OFFLINE_MODE行为将关闭所有连接,并禁止非CONNECTION_ADMINSUPER权限的用户建立新连接,否则它的行为类似于现有READ_ONLY模式。
 
PostgreSQL 12正式发布
2019年10月3日,PostgreSQL最新稳定版PG 12正式发布,带来大量新特性以及性能提升,如下:

1. 支持AM接口,通过AM接口可以扩展存储、索引接口。例如:支持undoZHEAP存储引擎,以及ZEDSTORE行列混合存储引擎。

2. 分区表性能得到巨大提升,相比以前版本,在1024个分区的情况下,查询性能提升469

3. BtreeGiST索引支持指定任意字段排序组织形式的聚集存储。大幅提升聚集查询效率,例如轨迹数据、订单跟踪数据的查询效率。

4. 支持reindex concurrently语法,简化索引膨胀维护操作流程。

5. 支持SQL/JSON path语言,提升开发者操作JSON字段的效率。

6. 索引空间利用率提升,读写性能提升。

7. 支持审计日志采样。

8. 支持虚拟列。

 
PostgreSQL常用插件动态

1. 分布式插件citus发布9.1.0

citusPostgreSQL的一款sharding插件,agpl开源协议,目前为微软所拥有,国内苏宁有较大量使用案例。

 

2. 分布式代理函数pl/proxy发布2.9

Pl/proxyPostgreSQL的一款sharding代理函数插件,bsd开源协议。2.9加入对PG 12的支持。

 

3. 地理信息插件postgis 3.0.1 dev1发布

PostGIS是专业的时空数据库插件,在测绘、航天、气象、地震、国土资源、地图等时空专业领域应用广泛。同时在互联网行业也得到了对GIS有性能、功能深度要求的客户青睐,比如共享出行、外卖等客户。

 

4. Oracle兼容插件orafce发布3.8

OrafcePG的兼容Oracle常用类型、包、函数、操作符的扩展插件包。3.8发布,支持PG 12PG果然是号称从Oracle迁移最容易的开源库。

 

5. 实时用户画像插件pg_roaringbitmap发布0.5.0

Pg_roaringbitmap是兼容roaringbitmap库的PG数据库插件,支持位图类型的压缩存储、开发友好的大量聚合、计算函数和操作符,广泛应用于实时精准用户画像系统。

 

6. PostgreSQL衍生产品动态:gpdb发布6.1.0

gpdb是兼容PostgreSQL的开源mpp数据库,适合OLAP场景。

 

三、GaussDB国产数据库的发展展望


因本人比较关注新秀国产数据库GaussDB,故重点介绍下


华为在数据库领域已经有12年的开发经验,从早期的摸索到现在的产品逐步成熟,中间也是经历了很多历程。华为的数据库产品系列命名为:GaussDB,高斯数据库。华为GaussDB是一个企业级AI-Native分布式数据库。GaussDB采用MPP(Massive Parallel Processing)架构,支持行存储与列存储,提供PB(Petabyte250次方字节)级别数据量的处理能力。华为Gauss数据库是全球首款AI-Native数据库,能够同时支持X86ARMGPUNPU等异构计算。
可为超大规模数据管理提供高性价比的通用计算平台,也可用于支撑各类数据仓库系统、BI(Business Intelligence)系统和决策支持系统,为上层应用的决策分析提供服务。华为GaussDBAI能力植入到数据库内核的架构和算法中,为用户提供更高性能、更高可用、更多算力支持的分布式数据库。
 
GaussDB三大产品线系列。目前华为已经开发有三个产品系列:GaussDB 100GaussDB  200GaussDB300
1)GaussDB  100:主要以OLTP为主。目前该产品已经应用在招商银行。
2)GaussDB  200:以OLAP为主,兼顾OLTP。该产品目前已经在工商银行得到上线应用。
3)GaussDB 300HTAP,是企业级分布式HTAP数据库(Hybrid  Transaction  and Analytical Process,混合事务和分析处理)。
 
GaussDB2019年发布两个事件:
1. 华为于2019515日正式发布了自主研发的分布式数据库GaussDBGaussDB包括GaussDB TGaussDB A两款数据库产品。
GaussDB T预计20201月正式发布
2. 2019919,华为宣布将开源其GaussDB数据库,开源后命名为openGaus,将在20206月正式上线,可覆盖70%企业业务场景。
 
以下是GaussDB TGaussDB A两款数据库产品介绍。
GaussDB T数据库
全自研的分布式数据库,主要面向OLTP场景,产品特点包括:

1. 高可用:故障倒换时间<10s,支持闪回;

2. 高性能:基于鲲鹏920处理器,性能超越业界其他TOP商业数据库30%

3. 高扩展:分布式强一致,TPC-C扩展比>0.8

4. 兼容性:支持SQL-92SQL:1999SQL:2003等一系列标准的常用语法,兼容业界其他TOP商业数据库常用的SQL语法,支持离线/在线迁移。

 
GaussDB A数据库
要面向OLAP场景,支持MPP(大规模并行处理)分布式部署方式。产品特点包括:

1. 高可用:故障时查询自动重试,同城/异地双集群容灾;

2. 高性能:核心企业数据仓库场景下,分析性能持平其他业界主流分析型数据库,基于Kunpeng 920处理器芯片,相对通用同期芯片,TPC-H/TPC-DS性能提升30%,支持GPU异构多维硬件加速(10万路摄像头千亿图像比对秒级响应)

3. 高扩展:单集群最大支持2048节点,在线扩容,重分布对业务透明;

4. 数据融合:SQL on Anywhere,支持与异构/同构数据源、FusionInsight大数据库互联互通;

5. 计算融合:支持x86/华为Kunpeng CPUGPU等异构计算芯片的智能调度,实现算力最优;

6. 数据安全:数据透明加密,支持国密算法SM4,行级细粒度权限控制。

 
【总结】
1. 数据库老大哥Oracle一直在领跑的路上,但主要是是在技术创新,一些更人性化、落地性的现场服务一直起色不佳;反观国内的各大国产库把售后服务做得很落地,基本属于随叫随到,产品迭代很快;
2. 国内各大厂的国产数据库不容小觑,且产品特性、可靠性也越来越逼近OracleOracle美国方从最近的接触上来,不是很给力,大O该有点危机意识了;
3. 2019年华为推出了新一代的数据库产品Gauss数据库,正在大踏步向前迈进,且产品已经得到大业户的认可,在金融、能源、政企等国内客户得到上线应用,未来可期。
 
【参考】
https://mp.weixin.qq.com/s/dUijvrfMPJLYR2_tL6jdmA
【参考】
https://mp.weixin.qq.com/s/i1n3Te8SQc2-9Ahjw7-hHw



下是个人微信公众号“一森咖记”,欢迎关注

   

近期热文
你可能也会对以下话题感兴趣。点击链接就可以查看。
 
 

文章转载自一森咖记,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论