Elasticsearch信创国产化替代.pdf

sg1234

233

3页

1次

2024-05-29

10墨值下载

Elasticsearch安全能力不足，开源协议变更加剧安全风险

数据保护能力不足：Elasticsearch 开源版本是不具备数据保护功能的，看似免费，但不安全。用户

必须付费获得Gold+许可才能获得相关的安全保护功能，且不同的安全功能对应不同的收费标准。

数据有丢失风险：为了满足数据入库性能要求，Elasticsearch在数据层采用了简单的主从最终一致

性模型。当主副本出现故障时，从副本和主副本不能保证数据的强一致性，从副本的数据有可能不

是最新的。以此为基础恢复数据，很有可能导致部分数据丢失。

开源协议变更带来商业风险：2021年初， Elastic 公司决定将这两款开源软件的 Apache License

2.0 变更为双授权许可，即Server Side Public License (SSPL) 和 Elastic License。其核心条款是“如

果将程序的功能或修改后的版本作为服务提供给第三方，那么必须免费公开提供服务源代码”。这

意味着不法分子可以获得其源代码并研究其漏洞，给企业用户带来巨大的安全风险。

星环科技自主研发的国产搜索引擎Transwarp Scope

国产自研搜索引擎，自主可控

Transwarp Scope是星环科技自主研发的企业级分布式搜索引擎，提供PB级海量数据的交互式多

维检索分析服务，支持百万级高并发和毫秒级低延时检索业务，覆盖模糊匹配，精确查询，多维检

索等各类检索类场景，满足数据检索多样化需求。

内置配套的安全授权、访问控制机制等，不收取额外的安全功能费用，在降低用户总拥有成本的同

时，充分保证系统数据安全。

Scope兼容常用的Elasticsearch读写接口，可实现Elasticsearch的平滑迁移。并且比Elasticsearch

具有更强的查询性能、扩展性、数据一致性和可靠性，以及更低的硬件和运维成本等优势。

此外，Scope已完成与主流信创生态厂商的适配互认工作，支持适配长城飞腾、华为泰山、龙芯等

服务器架构，同时满足麒麟，UOS等操作系统，入选国家软硬件技术图谱，满足信创要求和国产

化替换需求。

*全方位数据安全保障*

Transwarp Scope内置配套的安全授权、用户权限控制等相关安全功能，可以有效保障系统数据

和访问上的安全。

在用户权限认证上，基于SASL提供plain与gssapi两种认证方式，对应传统的用户名密码认证方式

和基于Kerberos的登录验证方式。其中kerberos可依赖于TDH平台的安全服务Guardian，同时提

供用户组概念，便于通过平台实现统一管理与操作。

在数据权限上，基于角色的访问控制 (RBAC) 机制，使用户能够通过将权限分配给角色并将角色分

配给用户或组来授权用户，支持Index level Security &Database level Security。

在数据加密上，Scope支持基于SSL/TLS两类协议进行数据加密，确保数据传输过程的安全。

硬件和运维成本

Elasticsearch单节点支持的数据量最多到20TB左右，在项目实践中客户通常在每台服务器上部署

多个Elasticsearch实例，而如此多的实例将会带来不稳定问题，触发节点失联，运维成本高。反

之，如果每台服务器配置较少容量的磁盘，那么用户将付出非常高的硬件成本。而当节点数超过

100时，同样会有稳定性问题。

这两类方案，运维成本和硬件成本变成了鱼和熊掌不可兼得，让用户陷入两难的境地。

星环科技Transwarp Scope对内存进行创新优化，提高单集群单节点容量上限，单实例可突破至

百TB的数据存储，是Elasticsearch的5倍以上，大大降低用户硬件成本。

在提高单实例存储容量，降低集群规模的同时，Scope通过多进程架构，充分利用集群cpu/内存资

源，读写压力分流，满足更高的并发需求，提高集群稳定性的同时降低运维成本。

集群扩展性

Elasticsearch在集群扩展上存在瓶颈，其采用的P2P架构和排队模型处理一些状态同步和元数据改

变等操作时，效率比较低。在项目实践中，当节点（或实例）规模超过100个时，会遇到稳定性问

题，特别是多种任务并发的情景下，集群压力大，容易触发节点接连失联的问题。

星环科技Transwarp Scope采用多进程架构，充分利用集群cpu/内存资源，读写压力分流，满足

更高的并发需求以及提升稳定性，单集群在200以上节点规模下稳定运行，同时保障性能无衰减。

数据读写性能

Elasticsearch在数据读写性能方面存在不足，如压缩率不足，数据膨胀率高，读写策略优化不足

等都大大降低了数据读写的效率。数据读写性能受限，直接影响查询操作的并发度和数据入仓的效

率。

星环科技Transwarp Scope对读写线程资源的管理更严格、更精细，使读写性能更优，数据批量

写入速度相对Elasticsearch提升40%，读写分离的特性大幅提升查询的稳定性。

数据恢复性能

Elasticsearch缺乏“增量数据”的概念，当单点发生故障进行数据恢复时，采用全量数据拷贝方式恢

复数据，工作量大，往往需要小时级的时间才能恢复服务，严重影响服务的正常进行。

星环科技Transwarp Scope具有很强的容灾和数据恢复能力。Scope基于Raft协议保证数据的一致

性，同时提供多副本支持，重启恢复时间在TB级数据量下控制在分钟级，不到Elasticsearch的

1/10，大幅降低了服务不可用时间。

此外，Scope支持跨数据中心的多活部署，使得重要业务在多数据中心交互和流转，还支持主备集

群的实时数据同步，满足主备集群的failover和switchover。

数据一致性

Elasticsearch主本和副本之间同步采用P2P架构和排队模型实现主从最终一致性。当主副本出现故

障时，从副本和主副本不能保证数据的强一致性，很有可能导致部分数据丢失。

Transwarp Scope基于自主研发的分布式数据库管理系统TDDMS，采用shared-nothing架构，通

过多副本机制实现数据服务高可用，使用raft协议保证副本之间的数据一致性，保障数据不丢失。

此外，TDDMS支持弹性扩缩容、自动故障恢复、权限控制、多租户与冷热数据分层存储等功能。

售后服务

Elasticsearch是开源产品，用户需自己探索和解决问题，无法获取有效的服务保障。用户需要购

买企业版才能获得相应的服务，且在国内没有原厂技术研发人员，很难保障SLA。

Transwarp Scope的产品提供方星环科技是国内厂商，具有非常强大的研发、技术支持与服务能

力，提供强大的原厂服务保障能力，保障用户售后无忧。

星环科技Transwarp Scope可平滑替代Elasticsearch

平滑替代Elasticsearch

Transwarp Scope兼容常用Elasticsearch的接口，可实现Elasticsearch业务的平滑迁移。星环科

技提供多种数据迁移方案，用户可根据实际情况灵活选择。

经过大量项目的实践和经验，星环科技建立了成熟标准的Elasticsearch平滑迁移方法论，通过调

研评估、方案测试和上线保障“三步”策略，全程保障数据与业务的平滑迁移。

多生态兼容

除了兼容以上Elasticsearch接口，Scope还兼容PostgreSQL协议以及Spark等大数据产品的接入。

同时，Scope还提供完备的SQL语法支持，满足传统数据库迁移到Scope的需求，通过星环科技

SQL编译器QUARK实现大数据基础平台TDH内部的完整数据流转方案。

迁移后的效果

性能全面提升：相较于Elasticsearch，用户迁移到星环科技Transwarp Scope之后，可以实

现海量存储能力，极大降低用户硬件和运维成本，数据读写性能、日志分析性能和数据检索性