配置文件模板
#name：算法名，唯一标识一个算法库，算法名长度不长于4096字节，不能重复，CPU和GPU同样算法库实现的也不能重复#
#order：排序方式，只能是asc或者desc，其他值非法
#useDefaultModel：是否使用默认模型标志，只能是true或者false，其他值非法
#
#libs： 算法库的路径
#userLibs: 第三方公司算法库路径，路径长度不长于4096字节
#cpuLib：第三方公司CPU算法库路径
#gpuLib：第三方公司GPU算法库路径
#systemLibs：自研算法库路径
#cpuLib：自研CPU算法库路径
#gpuLib：自研GPU算法库路径
#cpu算法必须提供，gpu算法可以选择提供。
#
#formula: 原始向量计算公式相关配置
#handler：处理方式是用平台内置的还是使用第三方厂商开发的。除Formula_Embedded_L2_Float32和Formula_Specific_Impl以外的值非法
#Formula_Embedded_L2_Float32: 内置的L2 FLOAT计算方法， 自研CPU算法库路径必须提供并且有效，自研GPU算法库路径可以选择提供。
#Formula_Specific_Impl: 第三方厂商实现的方法，第三方CPU算法库路径必须提供并且有效，第三方GPU算法库路径可以选择提供。
#
#model: 优化算法的模型相关配置
#handler：处理方式是用平台内置的还是使用第三方厂商开发的，只支持以下模型名称
#Model_Embedded_XQ: 内置的XQ模型
#Model_Embedded_HR: 内置的HR模型
#Model_Not_Supported: 内置的空模型，和handler不设置的作用相同，表示该算法没有优化模型
#Model_Specific_Impl_XQ 第三方厂商实现的XQ模型
#Model_Specific_Impl_HR 第三方厂商实现的HR模型
#
#centralize：模型中心点计算方式，目前不支持，必须配置Centralize_Not_Supported
#Centralize_Not_Supported：不支持
#Centralize_Embedded_Xmean：内置Xmean
#
#params：算法库使用到的参数（平台能感知，但是不理解其意义，由算法库提供者指定）
#centroidNum：中心点个数
#subVecSize：
#
#注意：
#1、配置算法库路径和模型路径必须保证路径下相应文件存在。
#2、配置存储介质类型如果是GPU，则必须保证算法配置支持GPU算法
#3、reload操作只能删除，增加算法配置，不能修改算法配置，删除算法配置必须保证算法没有使用。
#
#LOPQ算法配置注意事项：
#1、LOPQ算法参数不支持修改，保证默认值
#2、LOPQ算法必须配置模型路径，内置了L2距离计算函数
#3、LOPQ算法触发训练最小数据必须大于52万，配置值trainThreshold必须大于520000。
#4、LOQP算法短特征长度是36
#5、LOPQ算法支持使用聚类优化，聚类优化缩小检索范围，置true使用聚类，否则不使用，不配置表示不使用聚类优化
#
algorithmConfig:
#yt pq model
#algorithm_yt_pq_model:
#centralize:
#handler: Centralize_Not_Supported
#formula:
#handler: Formula_Specific_Impl #Formula_Embedded_L2_Float32 #Formula_Specific_Impl
#libs:
#sysCpuLib: no_so
#sysGpuLib: no_so
#userCpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libcpu_ytpq_algorithm.so
#userGpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libgpu_pq_algorithm.so
#model:
#handler: Model_Specific_Impl_XQ
#expandSearchRatio: 50
#calcCodecCpu: true
#name: algorithm_yt_pq_model
#order: asc
#params:
#paramBits: 8
#paramM: 32
#paramDim: 128
#modelPath: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/yt_pq_model.model
#libPath: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libcalcDistance.so
#version: 0.4;0.000,0.446,0.496,0.825,0.909,0.923,0.943,1.00;-1.00,0.135,0.248,0.341,0.421,0.501,0.728,1.00
#useDefaultModel: false
#lopq model cluster
algorithm_lopq_model_cluster:
centralize:
handler: Centralize_Not_Supported
formula:
handler: Formula_Specific_Impl #Formula_Embedded_L2_Float32 #Formula_Specific_Impl
libs:
sysCpuLib: no_so
sysGpuLib: no_so
userCpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libcpu_lopq_algorithm.so
userGpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libgpu_lopq_algorithm.so
model:
handler: Model_Specific_Impl_XQ #Model_Not_Supported #Model_Specific_Impl_XQ
expandSearchRatio: 50
useCluster: true #此配置只支持LOPQ算法优化，其它算法不配置
name: algorithm_lopq_model_cluster
order: asc
params:
LOPQ_PARAM_M: 32
LOPQ_PARAM_V: 100
LOPQ_PARAM_D: 128
LOPQ_PARAM_Ks: 256
LOPQ_PARAM_sample_ratio: 100 #in 1%
modelPath: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/lopq_model_d128_v100_m32_ks256_from_100_w
useDefaultModel: false
#lopq
algorithm_lopq_model:
centralize:
handler: Centralize_Not_Supported
formula:
handler: Formula_Specific_Impl #Formula_Embedded_L2_Float32 #Formula_Specific_Impl
libs:
sysCpuLib: no_so
sysGpuLib: no_so
userCpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libcpu_lopq_algorithm.so
userGpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libgpu_lopq_algorithm.so
model:
handler: Model_Specific_Impl_XQ #Model_Not_Supported #Model_Specific_Impl_XQ
expandSearchRatio: 50
name: algorithm_lopq_model
order: asc
params:
LOPQ_PARAM_M: 32
LOPQ_PARAM_V: 100
LOPQ_PARAM_D: 128
LOPQ_PARAM_Ks: 256
LOPQ_PARAM_sample_ratio: 100 #in 1%
modelPath: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/lopq_model_d128_v100_m32_ks256_from_100_w
useDefaultModel: false
#gpu pq model
algorithm_gpu_pq_model:
centralize:
handler: Centralize_Not_Supported
formula:
handler: Formula_Specific_Impl #Formula_Embedded_L2_Float32 #Formula_Specific_Impl
libs:
sysCpuLib: no_so
sysGpuLib: no_so
userCpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libcpu_pq_algorithm.so
userGpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libgpu_pq_algorithm.so
model:
handler: Model_Specific_Impl_XQ
expandSearchRatio: 50
name: algorithm_gpu_pq_model
order: asc
params:
paramBits: 8
paramM: 32
paramDim: 256
modelPath: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/pq_global.model
useDefaultModel: false
#cpu pq model
algorithm_cpu_pq_model:
centralize:
handler: Centralize_Not_Supported
formula:
handler: Formula_Specific_Impl #Formula_Embedded_L2_Float32 #Formula_Specific_Impl
libs:
sysCpuLib: no_so
sysGpuLib: no_so
userCpuLib: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/libcpu_pq_algorithm.so
userGpuLib: no_so
model:
handler: Model_Specific_Impl_XQ
expandSearchRatio: 50
name: algorithm_cpu_pq_model
order: asc
params:
paramBits: 8
paramM: 32
paramDim: 256
modelPath: /opt/huawei/Bigdata/mppdb/core/lib/libsimsearch/pq_global.model
useDefaultModel: true
#
#searchlet 配置
#
searchletConfig:
#
##检索临时数据目录,内部使用,用于存储结构化数据
folderName: ./simsearch/data
#
##训练编码平台使用，训练编码所需要的向量个数，向量个数小于配置值不启动训练编码
model:
trainThreshold: '1000000'
#
##特征向量组合配置，配置大小会影响数据存储时间和查询时间，
##建议最小配置值：dataSetSize：10000， segmentSize：1000
##dataSetSize：一个dataset内存放向量个数
##segmentSize：一个segment内存放向量个数
##性能测试建议配置 segmentSize 10000000，dataSetSize 20000000
##内存空间需要调整需要加大
dataSet:
segmentSize: '1000000'
dataSetSize: '2000000'
#
##storageType：存储介质类型：配置值GPU_MEM，CPU_MEM，SSD，HDD，其它配置值非法
##GPU_MEM - GPU显存 CPU_MEM - CPU内存 SSD- SSD文件存储 HDD- HDD硬盘文件存储, 其中SSD存储类型未实现。
##注意：1、存储类型配置可以选择配置，codec，modelID是预制属性，代表短特征和模型ID，名字不能修改。
##2、存储类型配置值必须是结构化数据的子集。
##3、如果没有配置存储介质，短特征默认存储在GPU，模型ID默认存储在HDD，其他属性默认存储介质类型CPU_MEM。
##4、如果配置了GPU算法，没有配置GPU资源，配置非法。
##5、如果配置了GPU存储介质，GPU设备必须存在
##6、如果配置没有GPU设备，GPU资源配置值必须是-1，同时不能配置GPU算法。
#storageType: #GPU_MEM CPU_MEM SSD HDD
#codec: CPU_MEM
#modelID: HDD
查看更多：华为GaussDB 200 基于GaussDB 200的图像特征检索
