点击上方的蓝字关注我们
在大数据应用的广阔领域中，分布式搜索和分析套件，因为拥有多样化的用例、众多的场景、强大的数据处理与分析能力等，扮演着举足轻重的角色。
无论是实时应用监控、海量的日志分析，还是网站内容的精准搜索、分布式搜索和分析应用等，分布式搜索和分析都能够轻松应对，不仅帮助用户便捷地提取、保护、搜索和聚合数据，还提供了强大的查看和分析功能，为庞大的数据集提供了快速的访问和响应能力，使得用户能够轻松探索自己的数据，发现其中的价值和规律。
值得一提的是，分布式搜索和分析套件不仅注重功能的完善，还十分关注安全性和质量，提供了安全可靠的搜索和分析环境，确保数据的安全性和完整性。同时，这些套件还不断推出新功能和创新功能路线图，以满足用户不断变化的需求，并推动大数据应用的持续进步。
以某金融客户为例，成功使用星环分布式搜索引擎Scope替代了原有的开源ES系统，使节点的数据恢复和服务恢复时间从原来的数小时大幅缩短至十分钟左右。，不仅彰显了星环Scope的高效性和可靠性，也充分证明了分布式搜索和分析套件在大数据应用中的重要性和价值。
1.Opensearch 和 Elasticsearch依然难分伯仲
2010 年Elastic公司根据开源 Apache 2.0 许可，推出开源系统Elasticsearch ，并一度成为世界上很受欢迎的企业搜索引擎。Elasticsearch经常与 Logstash 和 Kibana(称为 ELK 堆栈)一起部署，以实现日志分析用例，包括应用程序可观测性、安全日志分析和了解用户行为。
2015年，Amazon 利用该开源许可证推出了 Amazon Elasticsearch Service (Amazon ES)，这是一项基于云的托管服务，允许 AWS 客户启动可扩展的 Elasticsearch 集群，将数据源连接到集群终端节点，并在云中加载、处理、分析或可视化数据。
但 Elastic公司却反对亚马逊使用其产品和商标，并于 2019 年以涉嫌商标侵权和虚假广告为由对这家科技巨头提起诉讼。Elastic 和 Amazon 在 2021 年通过两项重要进展解决诉讼：
2021年1 月，Elastic宣布，从 7.11 版本开始，Elasticsearch 将采用服务器端公共许可证 (SSPL) 和 Elastic 许可证进行许可。这一变化阻止了 Amazon 和其他公司在不直接与 Elastic 合作的情况下提供 Elasticsearch 即服务。
2021年4 月，亚马逊宣布将分叉Elasticsearch 的最后一个开源版本 (7.10.2)，以启动一个新的开源搜索引擎项目。由于不能再使用“Elasticsearch”这个名称，所以这个新项目将被称为OpenSearch。亚马逊还将以“Amazon OpenSearch Service”的名义提供OpenSearch作为云服务。
到现在为止，这两种搜索引擎依然难分伯仲，哪一种最适合用户的应用，没有人能搞得清楚。
2.开源并不是免费，附加功能需要付费
在许可和定价方面，Elasticsearch 和 OpenSearch 近年来都发生了重大变化。2021 年，Elasticsearch 将其许可证从 Apache 2.0 更改为服务器端公共许可证 (SSPL)。
此举在开源社区中引发了争议，因为开源促进会 (OSI) 不承认 SSPL 是开源许可证。作为回应，AWS 分叉了 Elasticsearch 的最后一个 Apache 许可版本，以创建 OpenSearch，该版本仍保留在 Apache 2.0 许可证下。
Elasticsearch 和 OpenSearch 的自我管理版本都可以免费下载，但用户需要使用自己的硬件和计算资源来安装、管理和操作它们。
使用这些搜索引擎的更常见方式是在云中 - 使用 Elastic Cloud(可在多个公有云提供商上使用)或使用 Amazon OpenSearch Service。标准订阅的 Elastic Cloud 定价起价为 95 美元+/月，而如果 AWS 客户仍低于 AWS 免费套餐使用限制，则可以免费开始使用 OpenSearch Service。
OpenSearch 用户还可以访问完整的OpenSearch 功能集，而某些 Elasticsearch 功能仅适用于黄金、白金或企业订阅级别的用户。Elasticsearch 和 Amazon OpenSearch Service 的实际按使用付费成本因用户而异，但两家提供商都提供了一个工具，可让您估算成本。
在安全上，Elasticsearch 和 OpenSearch 配备了许多相同的安全功能，但尽管这些功能都包含在 OpenSearch 中，但有些功能仅在 Elasticsearch 上提供给付费客户。
密码保护和数据加密等基本安全功能包含在 OpenSearch 和免费版 Elasticsearch 中。但是，Elasticsearch 用户需要先升级到高级订阅(黄金版、白金版或企业版)，然后才能利用高级安全功能，包括基于角色的访问控制 (RBAC)、字段和文档级安全性以及审计日志记录。
3.金融用户利用Scope平滑替代ES，事半功倍！
随着数字化转型的持续推进以及国产化进程的不断加速，国产搜索引擎数据库随着半结构化数据的膨胀以及检索需求的旺盛，得到了快速发展，并得到了广泛应用。
星环科技自研的分布式搜索引擎Scope可以在全文检索、日志分析等多个场景替代ElasticSearch（ES），提升稳定性、性能、集群扩展性等能力。
某金融客户构建两地三中心运维中台，满足跨集群作业的同时支持传统海量日志分析。在该项目中，利用星环Scope对齐客户ES使用方式，仅在表设计做少量改动离线入库，业务迁移量和数据迁移工作量大幅下降。同时读写性能优化，降低了读写混合场景下带来的性能毛刺现象。
应用效果突出，包括：
硬件成本降低。星环科技对开源ES的内存使用进行了优化，采用了独创的堆外技术(Off-Heap)、冷却技术(Cooling)和自适应段合并算法(Self-Adaption Segment Merge)，节省了内存使用。因此，单节点单实例的数据量上限提升至50TB，大大提升了磁盘的利用率，降低了用户的硬件成本。
数据恢复速度快。开源ES单磁盘损坏进行更新后，必须重启磁盘所在节点恢复数据和服务，需要耗费数小时来完成一致性检查并恢复数据。
星环科技对写入数据做了细粒度的标记控制，实现“增量数据”功能。单节点重启或单点故障数据恢复时，采用了增量数据拷贝方式，工作量减小，启动时间加快。即使单节点单实例数据量为70TB，平均的启动时间也可以在10分钟左右快速完成。
4.分布式搜索引擎Scope的几大“硬核”
国产自研搜索引擎如星环分布式搜索引擎Transwarp Scope在设计上考虑了自主可控、高性能、高并发、低延时等特性，以满足在大数据环境下对搜索引擎的需求。
目前，中国用户采用Transwarp Scope替代Elasticsearch，可实现平滑迁移，同时比Elasticsearch具有更强的查询性能、扩展性、数据一致性和可靠性，以及更低的硬件和运维成本等优势。
同时Transwarp Scope已完成与龙芯、海光、飞腾等国产芯片以及中标麒麟、统信UOS等国产操作系统的适配工作，满足信创要求和国产化替换需求。
星环科技自主研发的分布式搜索引擎Transwarp Scope，提供了PB级海量数据的交互式多维检索分析服务，支持百万级高并发和毫秒级低延时检索业务，覆盖模糊匹配、精确查询、多维检索等各类检索场景。
此外，Scope还内置了配套的安全授权、访问控制机制等，保证了系统数据的安全性。而且，Scope兼容常用的Elasticsearch读写接口，可实现平滑迁移，同时比Elasticsearch具有更强的查询性能、扩展性、数据一致性和可靠性，以及更低的硬件和运维成本等优势。
2023年最新发布的Transwarp Scope 2.5提供了更友好的兼容度支持。在满足高性能多样化检索的同时，在集群拓展性、安全管控能力、运维管控、数据一致性等方面进一步加强，充分覆盖顾客在搜索引擎类产品的国产化替换痛点并提供平滑迁移的解决方案，助力企业构建稳定可靠、安全易用的日志分析、海量数据检索等检索业务场景。
在性能上，星环Scope 2.5依靠多进程架构，充分利用集群资源，支持与实时流引擎Slipstream无缝衔接，支持flink/kafka to Scope，全文检索毫秒级响应。
在可展性上，星环Scope 2.5支持在线水平扩展，支持百节点+大规模集群的部署，利用容器技术实现资源调度和资源隔离，支持弹性扩缩容。
星环Scope 2.5基于Raft一致性协议的存储引擎，具备自动故障迁移、自动数据修复的能力。同时提供用户认证、传输加密等功能，保障集群数据安全。
星环Scope 2.5满足各类软硬件环境需求以及信创需求，支持单集群混合架构部署，最大化利用硬件资源，实现了多类操作系统适配，支持多种架构的CPU，实现灵活部署。
参考资料：
·https://coralogix.com/guides/elasticsearch/elasticsearch-vs-opensearch-key-differences/
·https://www.chaossearch.io/blog/opensearch-vs-elasticsearch-comparison
·https://mp.weixin.qq.com/s/QHBCMY7kaXz4sh2dsAEpZw
·https://mp.weixin.qq.com/s/yYiTtxLiK-I2vBysrD8PUg
·https://mp.weixin.qq.com/s/6QRuKXxugmAVFla3EYH9zQ
相关文章
·创新引领应用案例与国产化替代系列：Redis不再“开源”，国产化替代有了新目标！星环科技湖仓一体方案助力金融用户成功替代多个开源系统
·创新引领应用案例与国产化替代系列：不需要水晶球就能看到数据湖仓一体是未来，三家金融企业如何逆袭成功?
·创新引领应用案例与国产化替代系列：时序数据库革新，某运营商破解国产替代之路!看TimeLyre如何平滑接力InfluxDB，铸就自主可控新里程碑
·创新引领应用案例与国产化替代系列：开源Elasticsearch or Opensearch之争如火如荼，Scope国产替代成本亲民，政务应用效果显著解燃眉之急!
·创新引领应用案例与国产化替代系列：革命性转变：MariaDB替代MySQL理想破灭，MySQL 5.7退役引发轰动，替代开源数据库还需看国产数据库崛起
·创新引领应用案例与国产化替代系列：设备时序数据、消费者行为图数据、交易关系型数据···建设高效稳健大数据平台，某烟草企业实现多模式数据的深度价值变现
·创新引领应用案例与国产化替代系列：许可变更、服务改变、安全威胁和成本增加、性能难以提升···一家航空公司用国产化替代一招解决开源大数据CDH所有烦恼!
·创新引领应用案例与国产化替代系列：打破数据架构边界，实现数据集中管理和分析!这家头部农商行湖仓一体做到了!
五一劳动节快乐
致敬劳动者
END
