基于 Tantivy 的 MyScaleDB 全文搜索：性能提升与功能扩展

• 可配置的分词器：支持各种语言分词器，以满足用户不同的分词需求。

• 自然语言查询：用户可以使用 AND、OR、IN 等关键词灵活地组合文本查询，降低 SQL 语句编写的复杂性。

MyScaleDB 与 Tantivy 的无缝集成

MyScaleDB 使用 C++ 编写，基于 ClickHouse 开发，是一个面向 AI 原生应用的强大搜索引擎。为了丰富 MyScaleDB 的全文搜索功能，我们需要一个可以直接嵌入 MyScaleDB 的库。

Tantivy 是一个受 Apache Lucene 启发的全文搜索库。与 Elasticsearch、Apache Solr 和其他类似引擎不同，Tantivy 可以集成到各种数据库中，例如 MyScaleDB。Tantivy 使用 Rust 编程语言编写，可以通过 Corrosion 很容易地与 C++ 程序集成。

SELECT
    id,
    text,
    TextSearch(text, 'who is Obama') AS score
FROM ms_macro
ORDER BY score DESC
LIMIT 5

1. 数据集详情

为了测试 TextSearch
的性能，我们使用了 Microsoft 提供的 ms_macro
数据集。ms_macro
数据集包含 8,841,823 条文本记录，我们将其转换为 parquet 格式以便轻松导入 MyScaleDB。此外，我们还创建了一组 SQL 文件，用于基于不同的词频测试搜索性能。读者可以通过 S3 访问此测试中使用的数据集：

• ms_macro_text.parquet
  ：1.6GB

• ms_macro_query_files.tar.gz
  ：5.8MB

ms_macro_query_files.tar.gz
文件包含此测试中使用的所有 SQL 文件。每个 SQL 文件的名称指示了被搜索词条在 ms_macro
数据集中的出现频率以及 SQL 文件中包含的查询数量。例如，ms_macro_count_hastoken_100_100k.sql
文件包含 100k 个查询，并且每个查询中的词条在数据集中出现 100 次。

以下是 hasToken
和 TextSearch
查询的示例：(请在此处提供实际的 SQL 查询示例，包括 hasToken 和 TextSearch)

SELECT count(*) FROM ms_macro WHERE hasToken(text, 'Crimp');
SELECT count(*) FROM (
    SELECT TextSearch(text, 'Crimp') AS score
    FROM ms_macro ORDER BY score DESC LIMIT 10000000
) as subquery;

CREATE TABLE default.ms_macro
(
    `id` UInt64,
    `text` String
)
ENGINE = MergeTree
ORDER BY id
SETTINGS index_granularity = 128;

INSERT INTO default.ms_macro
SELECT * FROM
s3('https://myscale-datasets.s3.ap-southeast-1.amazonaws.com/ms_macro_text.parquet','Parquet');

OPTIMIZE TABLE default.ms_macro final;
SELECT count(*) FROM system.parts WHERE table = 'ms_macro';

SELECT count(*) FROM default.ms_macro;

-- Ensure that when creating the FTS index, no other index exists on the text column of ms_macro. 
ALTER TABLE default.ms_macro DROP INDEX IF EXISTS fts_idx;
ALTER TABLE default.ms_macro ADD INDEX fts_idx text TYPE fts;
ALTER TABLE default.ms_macro MATERIALIZE INDEX fts_idx;

-- Ensure that when creating the Inverted index, no other index exists on the text column of ms_macro.
ALTER TABLE default.ms_macro DROP INDEX IF EXISTS inverted_idx;
ALTER TABLE default.ms_macro ADD INDEX inverted_idx text TYPE inverted;
ALTER TABLE default.ms_macro MATERIALIZE INDEX inverted_idx;

clickhouse-benchmark -c 8 --timelimit=60 --randomize --log_queries=0 --delay=0  < ms_macro_count_hastoken_100_100k.sql -h 127.0.0.1 --port 9000

从比较结果来看，当搜索词的频率较高（100K1M）时，跳跃索引的加速效果相当有限（相比于未建立任何索引的性能，仅提升了十倍）。然而，当搜索词的频率较低（1001K）时，跳跃索引可以达到显著的加速效果（相比于未建立任何索引的性能，提升高达百倍）。

另一方面，TextSearch
函数在所有场景下都始终优于跳跃索引和倒排索引。这是因为 TextSearch
直接利用了 Tantivy 的全文搜索能力，无需扫描 granules，而是直接从索引中检索结果。这使得搜索过程更快、更高效。

将 Tantivy 集成到 MyScaleDB 中显著增强了其文本搜索能力，使其成为使用大型语言模型 (LLM) 进行文本数据分析和检索增强生成 (RAG) 的强大工具。通过解决 ClickHouse 原生文本搜索函数的局限性，并引入 BM25 相关性评分、可配置分词器和自然语言查询等高级功能，MyScaleDB 现在为复杂的文本搜索需求提供了强大而高效的解决方案。

为 Tantivy 实现 C++ 封装包、创建新的跳跃索引以及引入 TextSearch 函数都为此改进做出了贡献。这些增强功能不仅提升了 MyScaleDB 的性能，还扩展了其用例，使其成为各种应用中高效、准确的文本搜索的首选。

我们希望这篇文章能够提供有关集成过程及其为 MyScaleDB 带来的好处的宝贵见解。随着我们不断增强 MyScaleDB 的功能，敬请期待更多更新和改进。