使用 Logstash 对 Elasticsearch 文档进行重复数据删除
这种方法已经在之前的文章 “Logstash：处理重复的文档” 已经描述过了。Logstash 可用于检测和删除 Elasticsearch 索引中的重复文档。 在那个文章中，我们已经对这个方法进行了详述，也做了展示。我们也无妨做一个更进一步的描述。

在下面的示例中，我编写了一个简单的 Logstash 配置，该配置从 Elasticsearch 集群上的索引读取文档，然后使用指纹过滤器根据 [“CAC”, “FTSE”, “SMI”] 字段的哈希值为每个文档计算唯一的 _id 值，最后将每个文档写回到同一 Elasticsearch 集群上的新索引，这样重复的文档将被写入相同的 _id 并因此被消除。

此外，通过少量修改，相同的 Logstash 过滤器也可以应用于写入新创建的索引的将来文档，以确保几乎实时删除重复项。这可以通过更改以下示例中的输入部分以接受来自实时输入源的文档，而不是从现有索引中提取文档来实现。

来源 Elastic 中国社区官方博客https://blog.csdn.net/UbuntuTouch/article/details/106643400