暂无图片
暂无图片
1
暂无图片
暂无图片
暂无图片

国产数据库学习选择-openGauss审计实战

原创 大数据模型 2023-11-03
694

前文

原谅我的粤腔普通话很普通,我已经反复演练了一下,以后还会努力提升一下水平,整理openGauss的絮絮叨叨如下了,人生的第一场直播下面观众是零。image.png

国产数据库学习选择-openGauss审计实战

国产数据库趋势

我们为什么要学习国产数据库,因为国产的数据库将会越来越好,以后都是国产数据库的世界。

国产数据库就像现在我们现在的国产车。十年前,二十年前,没有多少人愿意使用或者采购国产车,认为它存在方方面面的问题 ,事实 上也存在很多小问题。到了今天国产车已经满大街都是了,甚至在欧州、中东国家也有不错的口啤。国产车与国外车的品牌差距再也不是天渊之别。

现在的国产数据库也处于10年前的国产车的地位,总有一天发力升起,我们早点上车,

我们要相信任何事业起初都是筚路蓝缕,简小艰难的,但只要有坚定与恒念,则必将在行至终点时,呈现出一幅辽阔宏大的景象。

它有三个支撑它,一个是信创,一个数据化转型 ,一个个是大规模组织,信创和数字化转是国家的,大规模 组织是民营自发的。一个个来

信创就是现在国家所有的重要企业的信息化发展需要逐步国产化,信创之前叫做安可,安全可靠,自主可控。安可现在做信创,信创全名信息应用技术创新, 增强版的的安可,包括软件硬件网络,国产操作系统啊、国产芯片、数据库、工业软件这些。 笔者参与的项目建设中,比如以金融行业举例,国资 银行以及股份银行、还有地级市 的银行都在进行数据库的替代,短则五年,然后长则十年之内的全部替换老美的产品。

自从中兴芯片卡脖子以及华为手机停产,国家进一步升已经把信创提升到高度战略。以后政策倾向基础软件,长期释放红利,与信创的公司都可以从国家得到惠利,国产数据库将会持续从这里收益。

信创是国产数据库的一个爆发点,另外一个是数据化转型的建设,转型与数据库的关系

数据库是盛放数据的容器,库是容器,数据如水。要保障数据安全、要保证数据准确、要确数据的完整性、要保护数据质量,容器可以发挥很多的作用,它为盛放水做相应的适配。

一些问题的解决可以由数据库提供,输入数据装进容器时进行加密,保证数据不被 窃取,输出数据离开容器后进行脱敏,保证敏感信息不外露, 数据在使用过程会经过很多阅历,容器提供审计功能可以进行跟踪。

从外面国家重视数据的层面来看,结合中国人内心情结,中国人的情感!中国的进行数字化转型原意使用我们自己的数据库,用自家的碗来装水,这些因素都会助于国产数据库的发展和建设。

第三个爆发点是规模性组织

墨天轮注册在内的国产数据库一共有285个,国产数据库产业已经形成了空前的规模性的组织,中国的互联网环境 还有大量的工业建设,这些土壤,有助凝聚五湖四海的人才,都是国产数据库发展的机会。

从数字来看,我当前数据库处于做大的阶段。做大之后就是做强、做精、做厚,做大有利于做强做精做厚,进一步产品差异化和个性化,提高品牌影响力和知名度,相信国产数据库未来可为。

代表性的学习名单列表

200多个数据库厂商,我们 学习哪个 ?往大的学,往好的学,往有利于自己的学。我

,其实数据库不是新鲜科技,早年Oracle、MySQL和postgresq已经在市场抢占先机,有市场上有巩固地位,它们们塑造的品牌意识已经深入人心。我们应该从哪一个数据库学起,无论你是学生还是工作者,你都可以参考以下因素。

基础软件是世界的事业。基础软件不同于一般的商品,它可以随处可得,下载一个mysql,免费!下载一个PG免费,你学习的基础软件可能会与世界另一端异国它乡开发的基础软件有竞争关系。

如果是手机、平板、电视等实体,需要物流、运输传达到目的地,再交关税、增值税、个人所得税、企业所得税,才会与当地的物品产生竞争关系,你必须要付出大量支出。基础软件是没有地域性的,随时随地就发生竞争。

如果你学习一个软件有局限性,可以不用钻入太深。举个例了,ORACLE还可以学,SQLSERVER和DB2还会学习,相对就业或者工作需求而言,ORACLE的需要比较多。

开源是前提条件,这么理解这句话?有人说话,开源把一个市场的份额从5000个亿降到500亿,而且500亿只会传递有开源实力的公司。核心技术是高级竞争力,开源就是把核心代码暴露出来,赤裸裸 的展示核心代码实力,基础软件的内核代码是晦涩难懂的。

有些软件是不开源的,不开源也好,ORACLE也不开源,但是它旗下的MYSQL开源,间接助长了ORACLE的普及性。

**生态发展状况。**生态是重要的一个标志,数据库作为一个整体解决方案中的一个点,上面有操作系统、文件系统、芯片,下面有BI智能分析软件、ETL数据集成软件、DBAAS数据可视化软件等

1.接口是不是成熟,通用的PG JDBC和MYSQL JDBC是否支持,有没有自己专属 的JDBC。JDBC是否也同样兼容于其它的数据库。
2.成熟的数据对象监控管理解决方案 以及大规模的集群管理方案,假设一个生产集群有一百个节点,有没有一体的技术栈解决把集群管理起来。监控对象的寿命 ,包括流量【正常流量、异常流量、高峰流量】,延迟【主从延迟、分片延迟、SQL执行时间】、饱和度【系统的资源消耗状况】

3.与上下游的软件 适配、打通、连接状况。 已经连接了上下游 软件,还有多少上下游 软件还没有适配。

**清晰可见的研发路线。**研发路线是产品的生命力,我们学习一个产品,当然希望它的市场生命力长,不要学着学碰上,突然产品停止研发了,那么我们学习的东西可能就是屠龙之技。

我所知道有些国产数据库进化的版本是不多的了,每年的版本都有一个小版本的推进,大版本是很难推进的。最好找个长期技术支持和短线技术的厂商 学。

**研发实力。**基础是一个非常复杂的东西,必须要自主研发可控,同时也是一个简单的东西,直接外面套皮换肤就好,我们当然希望我们学的东西有强大的技术支撑,有BUG可以及时修复,有需求可以及时改进,有问题可以马上反馈并得解决

看看华为在数据库投入的研发实力,看看阿里投入的研发实力,

**可触及性。**主要考虑社会区活跃度以技术支持【包括文档、说明】,知行合一,除了学习数据库的理论知识,你还要动手实践 ,可解及性包括产品的安装,安装下面是多种安装方式 ,例如本地部署 、云布署、分布式布署、WEB界面布署、一键部署等等。 可解及性用户与产品的距离,有些国产数据库,你想学习使用它,官网上半天都找到安装介质。使用文档也是乱七八槽。

可触及性说的就是工程师与产品的学习距离,这个距离不可能是0,但是我们要往0的方向走,某个国产数据库厂商,它们是做分布式的,我记得2019年安装3个节点 就要花2个小时,还要通过Ansible软件来进行,现在简单到只需要一步安装。

**通用型数据库。**数据库最好是通用型数据库,既能TP,也能AP,而不是专用的数据库,只能专注时间序列监控的业务,其它活不能干。这样的面就少了,应用的时候拳脚也不方便展开。

通用型不是必需的,市场上相对来学习通知型有助于就业或者找工作。

有些特性同样也很重要,例如3高3易,3高是 高可用、高性能、高安全 ,3 易是易扩展、易运维、易伸缩的特点,这些是对数据库的进一步延伸,在这里没有赘述,这是数据库都要有的。 最重要的是,你先把基本面掌握。

我根据7个维度筛选了3个国产数据库,分别是openGauss、OceanBase以及TiDB,我认为3个数据库厂都是非常有实力的,3高3易的特点都有实际的数字输出和详细的配置说明。

openGauss、OceanBase以及TiDB

基础软件是世界的事业,TIDB举办世界黑客比赛,OB举办大学生比赛,在产研发多用发力。三家都输出多个专利和论文,但是只有华为的专利是最多的。

开源是前提条件,都有开源,TiDB最早开源,OceanBase,TIDB是apache2.0协议,OB是木兰pub协议,TIDB则是 MulanPubL-2.0宽松协议

生态发展状况,都有自家的JDBC,

清晰可见的研发路线,迭代速度OB已经是4版本,openGauss版本是5,准备兼容MYSQL模式,TIDB是7 完全兼容 MYSQL8,

研发实力,三家公司的认真努力,阿里成立了子公司,TIDB获得了D轮融资,华为投入了大量内核开发。

可触及性, 与个人开发者之间的距离。

TiDB的社区活跃度第一,做了很久了。技术支持方面 三家的公司都倾向玩 TO B,就是说商用或者企业采购有这方面的需求,技术支持非常到位。要是你的个人学习,回应就会慢一点,不过官网社区三者都有找到资料。

通用型数据库,三个都是关系型数据库,都是关系代数。

openGauss是什么

  • 【】历史基于postgresql9.2.4

  • 【】南大通用 8C 海量数据 VASTBASE 超图软件YUKON禹贡 云和恩墨mogDB 磐维 数据库(PanWeiDB)是一款基于openGauss进行内核定制开发的数据库产品

我介绍一下openGauss,openGauss是一个通用型的关系数据库,具有3高3易的特点,高可用、高性能、高安全、易扩展、易运维、易伸缩,满足所有的业务场景的需要

基于pg9.2.4基础上开发,但是openGauss与PG没有依赖关系,openGauss有独立自主研发的路径,有自己的发展道路。

市场大多数据库产品都是基于mysql或者PG的封装打包研发的,区别于它们,它们对MYSQL依赖,OPENGAUSS不依赖? 依赖是什么? 例如GREEPLUM依还没PG,GP7版本 要用更好的PG,postgresql 9.4.24版本要升级成为pg 12,这样的话GP7才会有更好的功能和性能。现在PG发展到16,GP7也可以在源代码,通过替换轮子得到更好的功能和性能。

为什么 学习openGauss,openGauss不依赖,反而有些厂商依赖openGauss,知名的数据库厂都使用它的内核 ,南大通用 8C 基于openGauss改造升级,实现分布式技术变成 多模多态分布式数据库。超图软件YUKON禹贡基于openGauss的改写,打造了一款时空数据库。海量数据 VASTBASE 基于openGauss开发的,成就了时序数据库。MogDB基于openGauss做了安全特性加强、多融 合成了新的一款产品。

中国移动 磐维数据库(ChinamobileDB) V1.0 基于 openGauss 3.0 研发,已经实现10+省市100+系统规模应用,磐维数据库(ChinamobileDB) V1.0 基于 openGauss 3.0

这些实力不俗的公司都用openGauss,而且他们是用作商业用途,华为是一个有实力担当的大厂,会持续把这个产品推进下去。所以这个产品技术值得我们学习。

openGauss的优势

为什么学习openGauss? 并不是openGauss完胜Oceanbase和TIDB,OB有OB的优点,TIDB有TIDB的长处,我觉得openGauss有openGauss的特色。

架构组织:

相对于Oceanbase和TIDB,openGauss的架构属性,它不是集群数据库,它是一个单机数据库。单机的运作通讯是内循环,进程间通讯、线程间访问、内存管理都是本地区域间进行。

而集群软件则跨区域、距网络进行,你要考虑数据分布、网络交换的影响。因此三者的对比比较,Oceanbase与TiDB有较多相似,可以在同一个起跑线比较,但是openGauss和Oceanbase和TIDB无法进行对比,不是一样的东西。

与传统数据库PG\mysql相比,它结合了两者的优化,同时具备MYSQL的单进程多线程特点和PG的工作线程和后台线程的特点。

前面活动的工作线程 负责建立连立用户连接,并且把请求写入到WAL日志,持续对WAL日志管理,拷贝出归档日志出来。

后台线程把错误的东西写到文件上,定期把脏页写到数据文件上,定时对修改删除的数据表进行同步到硬盘上。

智能化:

如果三个产品每一个都定义三个标签 识别他们的关键的根本特征, 我认为OB和TIDB都是关系型、HTAP、分布式。

而openGauss的三个标签则是单机、关系型、智能化,注意opengGauss有智能化这个标签。

openGauss对数据的理解不仅仅是数据存储使用,它考虑的更多是智能化,本身华为也在汽车、手机、手表的研发,AI的应用场景比较 多吧, openGauss提倡的数据库与AI的融合概念: 有DB4AI、AI4DB,DB FOR ALL,已经有现成的工具和解决方案。我觉得华为在这方面比较 超前的。

我简单聊下三者的差别,服务层

AI4DB,就是AI怎么DB服务,本质上是服务层外驱的方式。就是数据库检测到外面环境变化,捕抓到敏感值,根据外部环境的变化,不断调整优化自己。数据库自治运维 、自动参数优化就是具体的使用场景 。

openGauss在这方面落地的工具是dbmind,布署的时候 ,你会发现要用采集器,连续不断时序数据的收集组件一大堆,这些是为了收集外部数据进行自监控、自诊断,最后实现系统的运维诊断。

DB4AI,就是DB怎么去做AI,本质是数据库内驱的方式 ,说简单 点,数据库内置很多函数和命令去完成AI的功能,

数据库天生就有数据存储的功能 , 现在又有AI的功能 。 传统的解决则是通过应用从接口读 取数据库,再进行各种机器学习框架才能进行AI应用, 现在只需要通过SQL-like语句实现推荐系统、图像检索、时序预测等功能,充分发挥数据库的高并行、列存储等优势,既可以避免数据和碎片化存储的代价,又可以避免因信息泄漏造成的安全风险。

openGauss在这方面落地的东西 有现成的库内AI函数。实现智能查询重写、代价估计、行数估计、计划自适应选择、负载自适应调度、自学习索引、缓存自适应淘汰等。

ALL IN DB , 官方原话就是对数据库内核进行修改,实现原有数据库架构模式下无法实现的功能,如利用AI算法改进数据库的优化器,实现更精确的代价估计,这里需要多方面的协调。 本质上就是内核层内驱的方式,openGauss的技术内核心 存储层、计算层、服务层都是独立自主研发可控,基于上面做扩展延伸实现AI更复杂的功能,例如向量化数据,把数据以向量化的形式保存在数据库里面。

支持较多的高级企业功能openGauss提供全密态计算、数据库审计、动态数据脱敏、区块链、帐本数据等功能,这些都是数据库的高级功能 。很多开源的公司会把产品经营分为 社区版和商业版,社区版本提供基本的使用功能,商业版提供高级功能和人性化功能 ,藉此收费。

opengauss直接开放提供这些商业功能,所以还是挺有意思的。我觉得从这个角度出发,就可以学习openGauss。未来openGauss的发展, 它会持续增强Oracle和MySQL的兼容性,因为这样,这将有望扩大其在数据库市场中的受众和应用范围。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

文章被以下合辑收录

评论