赛题名称：传送带异物检测及物料跑偏检测挑战赛 赛题任务：将皮带上是否有异物检测出来，检测皮带上物料是否跑偏 赛题类型：计算机视觉、目标检测
比赛链接：https://challenge.xfyun.cn/topic/info?type=conveyor-belt
答辩视频：https://www.bilibili.com/video/BV1nb4y1T7kr
赛事背景
在工业场景中，对传送带上的异物检测以及传送带物料偏移检测是保证产品质量以及生产安全的一个重要的环节。但通常面临着异物种类繁多、异物样本不规则、异物目标小、部分异物种类样本少的问题。本赛题就是针对此类场景设置，在限定样本数量的情况下进行传送带安全检测，即对传送带异物以及传送带物料是否存在偏移进行检测识别，是一个极具挑战性的小目标检测任务。
赛事任务
本次赛事针对钢铁生产企业物料传送皮带图片，参赛者需要完成如下要求：
将皮带上是否有异物检测出来，并标记异物类别和位置。 检测皮带上物料是否跑偏，给出检测结果
输入/输出:
输入：一张图片，jpg格式 输出：检测产品的异物类型，异物位置，物料跑偏检测结果。
评审规则
本次竞赛使用的数据集是工业场景下传送带运送物料抓拍图像，其中包含缺陷类型3类(金属件、杂物、物料跑偏)。数据集划分为训练集（金属件：105张，杂物：150张，物料跑偏：50张，正常样本：100张，合计405张图片）、验证集（金属件：50张，杂物：52张，物料跑偏：30张，正常样本：50张，共计182张）和测试集。
提供训练集/验证集/测试集格式说明如下，检测框标注信息以CSV格式提供，CSV文件内容说明如下：
如上图：
index表示文件索引，若索引相同：则表示同一张图片上有多个目标框； filename即文件名； label表示异物物体分类标签，其中1代表金属件，2代表杂物(杂物类型多样，比如有饮料瓶、砖头、石块、棉絮布料等，一般来说除金属件外的异物都可归为杂物),3代表存在物料偏差； xmin，ymin，xmax，ymax分别代表检测框左上角和右下角坐标； height，width，channel分别表示图像的长、宽、通道数。
皮带物料是否偏移标签，以TXT文件提供，其中0表示正常，3表示物料存在偏移
评估指标
对于class1金属件异物数据和class2杂物异物数据，参赛者在测试集上给出的检测的结果和测试集标注结果进行精准检测，采用mAP（IoU=0.5）作为评价指标，得到score1。
对所有图片进行二分类，判断是否属于class3物料偏移（不属于记为0），采用accuracy作为评价指标，得到score2。
最终的评价指标为score = (score1+score2)/2
第一名
我们团队在解决赛题任务时，采用了一系列的算法和方法。首先，我们对赛题任务进行了深入的理解和分析，明确了两个任务的目标：异物检测和物料偏移检测。
异物检测
针对异物检测任务，我们注意到数据中存在异物种类繁多、样本不规则、目标小、样本少的问题。为了解决这些挑战，我们设计了一个检测模型。通过优化特征提取网络的结构，使网络具有更好的特征提取能力和检测能力。其次，在训练阶段，我们引入了一些数据增强方法模拟不同光照条件和场景差异，提升模型的鲁棒性和泛化能力。此外，我们还采用了多尺度测试方法进行后处理，进一步提升了模型的性能和定位精度。
物料偏移
针对物料偏移检测任务，我们设计了一个分类模型。根据提供的标签信息，我们训练了一个多分类模型，通过对网络进行微调和优化，提升了分类的准确性和性能。同时，我们还引入了更强的通用模型，利用其强大的特征提取能力，在赛道上取得了不错的效果。
在解题过程中，我们还进行了大量的数据探索性分析，发现了数据中的不均衡现象和目标特点，针对这些问题进行了相应的调整和优化。我们还尝试了一些消融实验，验证了我们的方法的有效性和可行性。
第二名
这个方案主要是针对工业场景中的传送带安全检测问题，包括异物检测和物料偏移检测。在数据集规模较小的情况下，我们采用了两个任务的组合，即分类任务和小目标检测任务。
分类任务
对于分类任务，我们发现数据集中的样本数量比较均衡，所以不需要进行样本均衡处理。我们选择了一些常用的模型结构，并进行了数据增强（包括色彩饱和度、随机亮度对比度、Cutout、H-Flip、Random Reset Prop等）。最后，我们使用了模型融合的方法，将不同backbone的结果进行blending，得到最终的分类结果。
检测任务
对于小目标检测任务，我们对数据进行了分析，发现目标大多呈长条状，所以我们选择了Cascade R-CNN作为模型结构，并对Anchor进行了优化，针对长条目标引入了小Anchor。在Backbone方面，我们选择了一些transformer类别的模型，如Detectors i101和CBNet，并进行了特征融合，如使用CPNet和Recursive RPN等。最后，我们进行了一些消融实验，包括backbone的消融和训练增强的TTA，得到了最好的成绩。
在落地推理方面，我们采用了PTQ量化的方法，通过对模型进行量化，减小了参数量，并且在一定程度上保持了精度。
第三名
我们团队的方案主要关注于数据处理和特征提取方面。在数据处理方面，我们使用了开源的二次开发标注工具对传送带的三个区域进行了标注，包括左侧传料区、中心传料区和右侧传料区。 这样可以将物料从背景中分割出来，为后续的检测和分类任务提供清晰的输入。
在特征提取方面，我们采用了一个级联的网络结构。首先，我们使用分割将传送带的物料从背景中分割出来。然后，我们对分割结果进行修正，使用中心传料区的中心线来拟合出一条直线方程，然后根据直线方程对左右两侧的分割区域进行修复，以减少分割过程中的噪声。
在分类任务中，我们将左侧传料区和右侧传料区作为输入，通过一个图像编码器提取局部特征。同时，我们还引入了全局特征，将全局特征和局部特征一起输入到一个SE ResNet网络中，得到最后的分类结果。
在优化方面，我们计划在下一阶段尝试更强大的检测模型，如Deno或CodeDeter，以提高检测的准确性。另外，我们还计划改进局部特征的计算方法，将直线方程引入到特征计算中，以减少噪声的影响。
