暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Redis不再“开源”,国产化替代有了新目标!星环科技湖仓一体方案助力金融用户成功替代多个开源系统

3451

点击上方蓝字关注我们

像许多开源数据库一样,应用广泛的Redis修改了开源许可协议,在OSI定义下不再是开源软件,用户面临许可费用、安全可控等问题。


另外,以前开源Redis可结合RedSearch、RedisJSON、RedisGraph、RedisTimeSeries和RedisBloom等模块应用,而这些模块应用早都修改了许可协议,是名副其实的商业软件。


随着Redis等软件开源许可政策的变动和技术自主可控的考量,金融等行业的用户开始选择国产化替代方案。


江西金融发展集团利用星环科技创新的湖仓一体化解决方案,不但替换多个开源系统,包括MySQL 5.7实例、Redis服务实例,以及开源CDH平台等,而且确保了数据的安全性和业务的连续性。



1. 影响:Redis在OSI定义下不再开源

Redis Lab宣布,自Redis 7.4版本起,将原本的BSD开源协议更改为RSAv2和SSPLv1协议,导致Redis在OSI定义下不再被视为传统意义上的开源产品。


BSD协议相对宽松,允许用户自由使用和商用;而RSALv2协议限制商业用途,SSPLv1协议则具有传染性,要求基于此协议的软件也必须开源。


对于直接使用开源Redis的最终用户,可以继续使用,但不得提供商业服务。第三方Redis服务供应商若未与Redis Labs商业合作,则无法提供Redis 7.4及以后版本的服务,导致用户无法购买到新版本Redis或无法升级现有实例。


早在2019年,Redis Labs的部分模块已采用RSAL协议,限制无版权Redis服务提供商的服务范围。2018年,Redis Labs还将自家开发的Redis模块许可证更改为Apache v2.0和Commons Clause结合,限制了这些模块的开源属性,并可能旨在成为这些附加组件服务的独家提供商。

资料:从开源转为闭源的知名产品示例

·RedHat Enterprise Linux(RHEL):


虽然RHEL本身是闭源的,但它是基于开源的Fedora项目的。RedHat公司通过提供企业级的商业支持和服务,将Fedora转变为闭源的RHEL版本。


·MongoDB:


2018年对其开源许可证进行了修改,引入了Server Side Public License(SSPL),在某种程度上限制了云服务提供商的使用,虽然MongoDB本身仍然是开源的,但这一变化被视为对开源社区的一种限制。


VirtualBox虚拟机软件:


Oracle收购Sun公司之后接手了VirtualBox项目,虽然VirtualBox的主要部分依然开源,但是其PUEL(个人及评估许可)版本包含了一些闭源驱动以提供更好的性能,而企业版则有更多的闭源特性。


ElasticSearch搜索引擎:


Elastic在2018年更改了Elasticsearch和Kibana的部分协议,将一部分功能纳入专有许可,尽管核心依旧开源,但部分企业级特性成为闭源,并要求商业用户购买许可证。


EstherCrawl:


一个开源的网络爬虫,后来转变为闭源软件。开发者在GitHub上移除了所有的源代码,并停止了开源版本的更新。


Xen Server:


最初是开源的虚拟化平台,后来Citrix决定停止开源版本的开发,转而专注于其商业版本的产品。



2.动机:不想被云供应商“白嫖”

Redis公司变更许可协议,主要是为了避免云供应商无偿利用Redis源代码。这种举措在开源界并非罕见,MongoDB、Elastic和Confluence等公司之前也有过类似动作。


Redis认为,新许可证下,云服务提供商将不再能免费使用Redis源代码。


此举引发了关于影响开发者和社区参与度的担忧,但Redis澄清称,对使用Redis开源版本和新版本的最终用户、构建客户端库的开发者以及商业用户而言,并没有变化。


真正受到影响的是那些提供与Redis竞争产品的组织,他们将无法再免费使用新版本源代码。这些组织可选择购买商业许可,以满足超出RSALv2或SSPLv1许可限制的需求。


3.替代:Redis Stack的替代不是一个简单产品能够实现的


对于Redis Stack的替代,绝非简单的产品更迭所能轻易实现。当前,诸如星环科技、华为、微软等众多企业纷纷推出了自研的数据库产品,意图在市场中为Redis找寻替代方案。


然而作为一个内存数据存储方案,Redis已经被数以百万计的开发人员广泛采用,不仅用于缓存,还作为矢量数据库、文档数据库、流引擎和消息代理等多种应用场景的核心组件。


Redis Stack更是在Redis的基础上,进一步集成了JSON处理、搜索和查询、时间序列分析以及概率计算等多项功能,为用户提供了更加全面和强大的解决方案。这意味着,当用户选择Redis Stack时,不仅仅是在使用Redis本身,更是在享受一个高度集成、功能丰富的数据处理平台。


因此,对于用户而言,替代Redis并非仅仅是替换一个数据存储产品那么简单。需要的不仅仅是一个能够执行Redis OSS所有功能的替代品,更需要一个能够支持JSON文档、时间序列数据、全文搜索等的完整解决方案,完成对RedSearch、RedisJSON、RedisGraph、RedisTimeSeries和RedisBloom等替代。


这样的替代方案必须能够无缝对接用户现有的业务流程,确保数据的一致性和处理的连续性,同时还要在性能、稳定性和扩展性等方面达到甚至超越Redis Stack的水平。



4.案例:江西金融发展集团利用湖仓一体全面替代开源产品


需求

江西金融发展集团(江西金发)的互联网金融业务体系构建于互联网开发技术栈之上,专为互联网用户打造了一套能够应对高并发需求的信贷业务系统,并运用大数据风控技术增强了业务安全性。


之前,业务系统完全依赖于MySQL 5.7版本数据库,总计约200个实例。在非关系型数据库方面,选择了Redis服务,部署了约10个实例。大数据处理平台则采用开源CDH平台的免费版本。


随着业务规模的扩大和互联网属性的深化,系统面临着更高的并发处理、低延迟响应及稳定性要求。交易量的增长也加剧了对风控分析、报表生成等实时查询与批量处理功能的需求,这些需求已超出单机MySQL等开源软件的处理能力极限。


方案

江西金融发展集团与星环科技合作,针对其互联网金融业务系统的前置、中台、风控等核心部分实施分布式数据库改造,旨在确保系统达到高可用、高并发等技术标准,全面提升安全可控性。


经过对产品在成熟度、技术先进性及行业应用案例等方面的综合评估,江西金发决定选用星环科技的分布式交易型数据库KunDB与分布式分析型数据库ArgoDB构建湖仓一体的解决方案,既确保国产数据库替换的准确性,降低了迁移成本,又在性能、可靠性、实时性等方面实现了显著提升。


江西金发系统升级为星环科技KunDB+ArgoDB湖仓一体架构,用户可以基于统一访问接口,最大程度降低数据湖、数据仓库、数据集市业务过程中业务接口的调整,降低用户开发成本,提高数据处理效率。统一的元数据管理可以在精准的ACL控制下,实现按需展示仓集内的相关元数据的统一查询,提高数据管理效率。统一存储管理,对使用者屏蔽不同数据源的数据存储,降低业务数据管理难度。


此外,基于星环科技分布式AETP技术,系统可同时支撑TP与AP的高性能业务需求。基于容器化技术的部署实现了资源隔离,易于管理和发布,并为系统稳定性提供了保证。同时,测试环境与生产环境相互不影响,且可实现CI/CD,提升了开发效率。



效果

平滑迁移。星环科技KunDB高度兼容MySQL,支持MySQL通信协议、方言和开发生态,配合星环科技自研的迁移工具,实现了原开源MySQL系统数据和业务的平滑迁移,共完成了14个核心业务往分布式数据库的迁移和业务改造,通过全量数据迁移+增量数据迁移的方式实现在线不停服迁移,满足未来几年业务增长的需求。


性能提升。业务系统中前置业务(对接第三方互联网金融平台的流量)、中台、风控核心业务等跟跟对公业务强相关的模块,均对接了分布式数据库,对高并发和大数据量的表进行了分表,实现了存储上的扩展和性能上的扩展,实时信贷交易的并发量为原来的3倍,基于分布式分析型数据库ArgoDB的分析业务响应效率提升为原来的5倍。


系统容灾水平提升。业务系统与分布式数据库均采用冗余部署的容灾方案,通过Loadbalance组件实现动态负载均衡。故障时服务和数据库可自动选主,RTO<10s,RPO=0,提供7*24小时持续服务,且不影响负载均衡的有效性。


自主可控。KunDB和ArgoDB均为星环科技自主研发,并且与国产软硬件生态完成兼容适配,助力江西金发实现了从数据库到操作系统到硬件的全栈改造,实现了技术大幅升级,提前进入新的主流技术生态。


5.竞争力:星环科技THD与ArgoDB多模处理能力是核心优势


星环科技大数据基础平台TDH和分布式分析型数据库ArgoDB不但可以替代开源Redis,也可以替代RedisSearch、RedisJSON、RedisGraph、RedisTimeSeries和RedisBloom等模块应用。TDH和ArgoDB的优势就是多模技术和产品。


星环科技自主研发的ArgoDB成为入选Gartner多模数据库四家中国产品之一,在该领域具有领先地位。


据介绍,Gartner指南工具中列出了八类细分数据库:操作型、分析型、图数据库、时序数据库、键值数据库、文档存储数据库、宽表数据库以及多模数据库。ArgoDB能够在单一平台上处理包括关系型数据、图数据库、时序数据等在内的11种主流数据模型。


TDH和ArgoDB凭借其多模分析、实时数据处理、存算解耦、混合负载、数据联邦、异构服务器混合部署等先进技术能力,能够一站式满足数据仓库、实时数据仓库、数据集市、OLAP、联邦计算、仓集一体等多种应用场景需求。


新发布的TDH 9.3版本对多模型统一技术架构进行了迭代升级,新增分布式向量数据库Transwarp Hippo,现支持11种模型数据的统一存储管理,并通过统一查询处理语言实现跨模型数据流转与关联分析,极大提升了业务开发便利性。


早在2020年5月,TDH即已实现多模型数据的统一处理,能够在同一平台上一站式处理多种数据模型。在TDH的多模统一架构下,系统实现了资源调度、数据存储管理、计算引擎匹配及数据操作/语言的四层统一。底层通过容器化技术确保资源隔离与互不干扰,中间层通过分布式存储管理系统实现多模型数据的统一存储管理,计算引擎自动匹配算法以提升不同数据模型的处理效率,上层则通过统一数据操作/语言处理各类业务请求。


用户只需使用单一SQL语句即可完成对不同数据模型的操作查询、模型转换关联分析,显著简化开发复杂度和用户操作。数据在原存储引擎中保持不变,无需导入导出或转换,避免数据不一致、冗余存储等问题,具有低复杂度、低成本(开发与运维)、高效数据处理等多重优势。


参考资料:

·https://mp.weixin.qq.com/s/aegQlD3c__HkN-msk3om_Q


·https://mp.weixin.qq.com/s/VYLi4vc9Su6wWIs6zdtUjw


·https://mp.weixin.qq.com/s/dyTJpJb6fCZwzbQ9pwYccw


·https://redis.io/docs/about/about-stack/


·https://mp.weixin.qq.com/s/0MVThTkRgnCbuu6Cy_rHEw


·https://mp.weixin.qq.com/s/xJTWGbqAIqBSgFVuhEySQg



相关文章


·创新引领应用案例与国产化替代系列不需要水晶球就能看到数据湖仓一体是未来,三家金融企业如何逆袭成功?


·创新引领应用案例与国产化替代系列时序数据库革新,某运营商破解国产替代之路!看TimeLyre如何平滑接力InfluxDB,铸就自主可控新里程碑


·创新引领应用案例与国产化替代系列开源Elasticsearch or Opensearch之争如火如荼,Scope国产替代成本亲民,政务应用效果显著解燃眉之急!


·创新引领应用案例与国产化替代系列革命性转变:MariaDB替代MySQL理想破灭,MySQL 5.7退役引发轰动,替代开源数据库还需看国产数据库崛起


·创新引领应用案例与国产化替代系列设备时序数据、消费者行为图数据、交易关系型数据···建设高效稳健大数据平台,某烟草企业实现多模式数据的深度价值变现


·创新引领应用案例与国产化替代系列许可变更、服务改变、安全威胁和成本增加、性能难以提升···一家航空公司用国产化替代一招解决开源大数据CDH所有烦恼!


·创新引领应用案例与国产化替代系列:打破数据架构边界,实现数据集中管理和分析!这家头部农商行湖仓一体做到了!




迎接春日的美好



END


文章转载自Hadoop大数据应用,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论