轨迹恢复在轨迹数据挖掘中起到重要的作用，传统方法无法恢复道路上所有车辆的轨迹，因为它们基于部分轨迹数据。本文带来清华大学团队在国际顶级数据挖掘会议KDD 2022上发表的论文：《Spatio-Temporal Vehicle Trajectory Recovery on Road Network Based on Traffic Camera Video Data》
一．背景
二．方法介绍
1.总体框架
图1 模型总体框架
2.车辆重新识别
车辆特征表示。对交通摄像机捕获的原始视频数据进行采样和裁剪，以形成单个车辆图像的集合。我们使用两个分别预训练和微调的ResNet-50模型从图像中提取256维车辆外观特征和256维车辆牌照特征。
车辆聚类。多模式相似性聚类算法将外观特征fa和车牌特征fp以及动态嵌入fd（其初始化与外观特征相同）作为输入，并由迭代框架中的反馈模块更新。对于两个记录𝑖和𝑗，论文将它们的相似性定义为其特征的余弦相似性的加权和。具体来说聚类算法有两个层面，如图2所示。首先，我们分别通过外观特征和车牌特征搜索每个车辆记录在所有车辆记录中的𝑘个最近邻，并将收集记录作为KNN记录集。对于第二个层面，算法逐个查看记录，并决定是将它们添加到现有集群，还是基于多模式相似性构建新集群。具体而言，对于每个当前记录，算法计算其与包含其KNN记录的候选聚类的多模态相似性。如果最大相似度大于预定义阈值，则将记录添加到具有最大相似度的聚类；否则，将生成仅包含此记录的新群集。
图2 车辆聚类流程图
3.时空车辆轨迹恢复
在现实世界的交通系统中，并非所有十字路口都安装了交通摄像头，也不是每次车辆经过摄像头时都能捕捉到。因此，仅使用车辆的记录不足以完全确定其轨迹。为了解决这个问题，论文使用时空车辆轨迹恢复模块来恢复连续记录之间的最可能轨迹。给定起点rs，开始时间ts，终点re和结束时间te，论文将连接两点的轨迹表示为：p = {s1⋯sn}。定义Δt = te - ts，给定上述信息的轨迹后验概率可分解为两部分：
对于第一部分，论文假设从一个路段到另一个路段的过渡与起点rs无关，并且满足给定终点rs的马尔可夫性。对于第二部分，论文量化te分为24个时隙，长度为1小时，并按时隙计算每条道路上的平均行驶速度。论文还采用了矩阵分解方法来解决数据稀疏性问题。
为寻找最优的p*使上述等式最大化，论文使用贪婪搜索算法，从rs，向外扩展，最多维护一组𝑘最佳轨迹直到re到达。
4.车辆重新识别和轨迹恢复的合作
图3 迭代流程
论文将时空信息结合到反馈模块中，检测噪声并恢复丢失的记录，以细化和补充聚类结果，其工作原理如图4所示。
图4 用于检测噪音和恢复缺失记录的反馈模块
三．实验结果
1.实验设置
本文提出的模型所对比的方法是一个再识别模型（BNN）和两个具有代表性的高性能模型（VeTrac、MMVC）。数据集采用D4M数据集（全量数据集）与D1M数据集（采样数据集）。
2.整体表现
表1 在聚类输出方面的性能比较
表2 在轨迹恢复方面的性能比较
3.参数分析
相似性阈值。论文将迭代次数固定为3，并将聚类相似性阈值从0.6更改为0.95。结果如图5所示。精度和扩展性随着相似性阈值单调增加，召回率按预期单调下降，F1值先上升然后下降。因此，相似性阈值有助于指导模型在精度和召回率之间的权衡，从而获得更好的F1值。
图5 相似性阈值的影响
图6 迭代次数的影响
四．总结
本文提出了一个新型系统，可以根据广泛部署的交通摄像机的视频数据恢复车辆轨迹。论文系统的核心是一个迭代框架，可以将车辆的重新识别和轨迹恢复任务进行优化。具体而言，车辆的重新识别任务可根据车辆的视觉特征和动态时空约束特征在交点上提供基本轨迹点。轨迹恢复任务采用了一种概率方法来模拟轨迹恢复的时空依赖性和车辆错过问题，并为车辆重新识别任务提供了时空信息。论文进行了广泛的实验来评估框架的有效性，结果表明，所提出的模型的性能优于最新方法。重要的是，论文还将系统部署在Sensetime的实际应用中。该系统可以为车辆重新识别和交叉级车辆轨迹恢复提供准确的结果，这使许多重要的应用受益，包括交通信号控制和拥塞分析等。
