快速了解搜索引擎Scope.pdf

sg1234

6页

0次

2024-08-16

10墨值下载

什么是搜索引擎数据库

搜索引擎数据库是一类专门用于数据内容搜索的NoSQL数据库，是非结构化大数据处理分析领域中重要

的基础支撑软件。

伴随互联网、移动互联网、物联网、5G等信息通信技术及产业的发展，全球数据量呈现爆发式增长的趋

势。根据IDC数据显示，到2028 年，全球数据圈（global datasphere）预计将增长到 400 ZB，非结构

化数据成为全球数据量的主要来源。

非结构化数据指的是无法以预定义格式存储或适合现有数据模型的数据，比如图像、视频、音频、用户

行为等等。数据结构复杂，不方便用传统的数据库二维逻辑来表现，但其中却蕴含着丰富的数据价值，

因此如何高效地处理分析非结构化数据是数据库领域面临的机遇和挑战。

在这样的时代背景下，搜索引擎数据库逐渐被人们所熟知，它可以使用索引对数据中的相似特征进行归

类，提供快速准确的数据检索服务。通过对索引和检索过程的优化，可以处理大量文本、半结构化或非

结构化的数据。

搜索引擎数据库的应用十分广泛。

诞生的初期，搜索引擎数据库主要是为了解决关系型数据库中长文本检索效率低下的问题，所以又称为

全文数据库、非结构化数据库等等。随着技术的发展，目前衍生出了多种处理不同类型来源数据的检索

引擎并集成在不同的数据库中。例如除了长文本数据、常见的数值、日期之外，还可以处理各种各样的

非结构化数据，例如 IP、地理位置信息、图片、音视频等等。

凭借在数据查询效率方面的优势，搜索引擎数据库在数据处理方面的地位越来越高，并在应用程序搜

索、网站搜索、企业搜索、智能问答、图像与语音搜索、语义搜索、业务分析和安全分析等方面有着广

泛的应用。

更多搜索引擎数据库的背景介绍以及所涉及的技术点剖析可点击下方对应链接进行查看：

搜索引擎数据库介绍

搜索引擎相关技术点：全文检索、倒排索引、分片

Scope是什么

Scope是星环自研的搜索软件，除了保留底层的lucene框架和工具层外，上层进行了全自主研发改造，

扬弃了开源产品中的那些带来瓶颈和限制的模型，用更贴合海量数据大集群场景的模型来代替，打造出

了自主可控的搜索引擎产品。

适用场景

文档数据库

存储半结构化、非结构化数据

功能和性能均优于Mongodb

日志分析与监控

统计和日志类时间序列数据的存储和分析

舆情分析

高聚合率的统计分析，如：热词跟踪

搜索引擎

多条件模糊查询

不指定列的全文搜索

为什么选择Scope?

技术栈全面可控，数据安全有保障

一直以来，我国的上游核心技术频繁的遭遇“卡脖子”，严重影响了我国关键科技和产业的发展。在过去

几年内， Elasticsearch 数据泄露事件频发，安全风险加剧。数据泄露事件频发给国内各行业用户敲响了

数据安全的警钟。同时，ES在2021年更改了其开源协议，对其产品的许可协议增加了限制，也带来了更

多的商业风险。

因此，自主可控和国产化替代迫在眉睫。

在这个体系和背景下，全链路的打通，软硬件的结合都是重要的环节。搜索产品作为一款软件，也要在

国产化适配以及兼容性上都要做到更好。

Scope可以满足各类硬件环境需求以及信创需求，对国内主流服务器架构以及操作系统深度适配，并且

支持混合架构部署，允许不同配置、不同架构、不同操作系统的机器在同⼀集群中部署和使用，充分利

用集群资源。

除此之外，Scope还为用户提供了企业级安全保障，从以下3个维度全方位保护用户数据的安全：

用户认证，我们基于SASL提供plain与GSSAPI的认证方式；

数据传输加密：我们支持基于SSL/TLS的加密方式；

而在用户权限上，我们同样提供表/索引级别的权限控制。确保您的集群可以放心大胆的使用。

国产化高效替代，性能服务双保障

Scope提供PB级海量数据的交互式多维检索分析服务，单实例可突破至百TB的数据存储，是

Elasticsearch 的 5 倍以上，大大降低用户硬件成本。数据批量写入速度相对 Elasticsearch 提升 40%。

相对于Elasticsearch， Scope 具有很强的容灾和数据恢复能力，重启恢复时间在 TB 级数据量下控制在

分钟级，不到Elasticsearch 的 1/10。

除此之外，在满足了用户各类检索需求（日志检索、全文检索等）的同时也提供了更好的产品服务。