功能介绍

海量图像检索的基本功能是通过图像特征比对，找出具有相同或相似特征的图片，可在多种业务场景中应用。以人像搜索为例的场景有：人脸打卡、轨迹搜索、安全布控、同行分析等。

可以概括为以下几个基本搜索能力：

• 联合查询：结合时间、空间等信息进行查询。如：同行分析
• 简单KNN查询：仅在基础数据集中搜索最接近的特征数据。如：安全布控
• 在查询的基础上按照图像的特定属性对搜索结果排序。如：轨迹搜索。

实现原理

图像检索在实际的应用中通常对实时要求很高，需要在海量数据、超高并发的情况下保证实时性，同时又需要有较高的准确性。因此图像检索通常不是简单的brute搜索，会结合特征检索算法通过特征编码、数据聚合等方式提高搜索性能。

GaussDB 200提供图像特征检索加速能力平台，集成短特征搜索的能力。可以将业务系统已经提取的图像特征，进行再编码分析，加快检索效率，实现海量数据下的秒级搜索。

使用者需要将使用的第三方图像特征提取算法根据GaussDB 200平台的接口要求，进行适当改造后，上传给GaussDB 200平台，从而GaussDB 200可根据提供的算法为使用者提供合适的图像检索能力。

图1 海量图形检索实现原理

基本概念：

• 长特征数据：由企业视频采集系统中提取出的客户图像特征数据，或称未编码数据、长编码数据。数据长度约2000多位，如果直接过滤查询匹配，性能较低。
• 短特征数据：由AI特征训练平台根据模型训练后，将长特征分解成的短特征。或称编码数据、短编码数据。
• SearchLet：在MPPDB内部增加“短特征检索引擎”SearchLet实现图像特征检索功能。Seachlet不持久化数据，所有数据从MPPDB表中获取数据，Seachlet只做短特征的缓存和缓存数据查询。
• AI特征训练平台：独立的训练编码平台，通过libpq接口连接MPPDB数据库，从数据库中提取长特征和ID信息，进行离线训练编码，生成对应的短特征和模型，短特征和模型再通过libpq写回MPPDB表中。AI特征训练平台分为模型训练和编码训练。
  • 模型训练是使用一定的算法，对存储的长特征数据进行计算，生成这组数据的“特征规则模型”，使用该特征规则模型可以对长特征数据进行编码，生成短特征，一组长特征生成的模型只能对该组长特征使用。
  • 编码训练是使用模型和算法，将长特征按照某种计算逻辑编码成短特征。

数据流向：

• 将由企业视频采集系统提取出的客户图像特征数据，导入到MPPDB中。

  用户图像数据格式类似于 “<摄像头地址>,<时间戳>,<客户图像特征长编码>,<其他客户基本信息>”。

  其中“客户图像特征长编码”长度约达到了2000多位，如果直接用于查询匹配，性能较低。

• 通过libpq接口将长特征数据导入AI特征训练平台，进行训练。
• 将训练完成的短特征数据通过libpq接口导入MPPDB中。
• 用户执行图像检索。
• MPPDB内部进行图像检索分析，具体步骤如下：
  图2 MPPDB内部进行图像检索分析
  
  • 先查找MPPDB中是否存在短特征，如果有则使用Searchlet接口将短特征数据导入后，进行查询分析。
  • 如果MPPDB中不存在短特征，则直接使用长特征查询。

  最后将结果汇总。由于长特征和短特征是分别从未编码表和编码表中查询的到的记录集，因此最终结果记录集需要将以上两个记录集进行union all。

• Searchlet模块反馈查询结果给数据库。
• 数据库反馈结果给客户端。