DSE精选文章
Limit Order Book Event Stream Prediction with Diffusion Model
文章介绍
模型框架
1. 整体框架
本文提出的LOBDIF模型由正向扩散与反向去噪两大过程构成:正向扩散过程为时间—事件样本逐步添加噪声,反向去噪过程则通过逐步消噪还原原始样本。针对LOB事件流预测中时间与事件类型的复杂关联问题,模型还引入了时间—事件编码器以精准捕捉二者的特征表示,并设计专用去噪网络,充分利用该表示实现高效的反向去噪。图1为LOBDIF的总体框架图。
图1. LOBDIF总体框架
2. 正向扩散过程
对于每个LOB事件,首先将离散的事件类型通过线性投影转化为连续表示,再对时间和事件类型两个维度独立且同步地添加步高斯噪声得到,构建马尔可夫链。
该正向扩散过程类似于图像扩散模型,但关键区别在于,图像扩散模型是在像素维度添加高斯噪声,而本方法则直接对采样点的事件时间与事件类型施加高斯噪声。
3. 反向去噪过程
反向去噪过程的核心是从纯高斯噪声 出发,结合历史上下文,逐步恢复原始事件,与经典扩散模型的关键区别是引入了历史事件的上下文依赖。
(1)时间—事件编码
对于时间表示,本文采用位置编码方法将时间编码为连续向量表征。对于事件类型,首先将其编码为独热向量,再通过线性变换得到维的连续表示,以此提升特征表达能力。通过该方式,时间与事件类型被统一表示为具有相同维度的连续向量。
对于每个事件,将时间编码和事件嵌入逐个元素相加,得到事件—时间嵌入。整个事件序列的嵌入表示为,为事件序列的长度,为嵌入维度。此外,我们分别维护时间嵌入序列与事件嵌入序列。这两类嵌入分别用于捕获时间与事件维度的差异化特征,使模型能够自适应地融合并利用这些表示以提升性能。在初始事件嵌入与时间编码层之后,将、和分别输入三个自注意力模块。
(2)降噪网络
本文设计了一个去噪网络用于捕捉时间和事件之间的相互依赖关系,从而更好地学习时间—事件联合分布。具体而言,该网络在每一步去噪过程中同时执行时间注意力与事件注意力,以捕捉二者间的细粒度关联。去噪过程的每个步骤共享相同的结构,以上一步预测结果、去噪步骤和上一步历史上下文表示为条件实现去噪。
首先,使用正弦位置嵌入对进行编码。然后,基于给定条件与当前去噪步长,模型同时计算时间注意力和事件注意力,分别聚焦于时间输入与事件类型输入,生成对应的上下文向量。引入历史上下文,能够刻画事件流中时间—事件关系的动态特性,为下一事件的预测提供有效约束;而引入去噪步长则可显式建模扩散过程的动态演化。这两种信息共同使模型能够根据时间—事件依赖关系与扩散过程的变化动态调整注意力权重,从而有效捕捉时序事件序列的复杂结构。
实验结果
(1)实验设置
表1. 数据集信息

文章采用来自3类资产的6个真实数据集,覆盖美股与A股市场。每个数据集按照80%、10%、10%的比例划分为训练集、验证集和测试集。表1为数据集信息。
(2)性能测试
表2. 性能比较

(3)效率测试
本文还比较了各数据集完成测试所需的平均时间。实验结果如图2所示,可以看出,LOBDIF在效率上显著优于其他对比方法,在三个数据集上的单步平均预测时间分别仅为1.5 ms、1.9 ms和1.4 ms。这种效率水平使LOBDIF成为限制订单中事件流预测的实用选择。作者将这一优势归功于跳步采样机制,它显著提高了扩散模型的效率。在其他模型中,SAHP的运行速度仅次于LOBDIF;而基于LSTM的模型(包括CT-LSTM和PCT-LSTM)效率相对较低。这类模型高度依赖LSTM 结构,它以顺序链结构运行,需要前一步的输出来计算下一步,因此存在固有的执行延迟。

图2. 平均运行时间比较
(4)消融实验
表3. 不使用时间和事件编码的LOBDIF的性能

① 时间事件编码器的影响:实验结果如表3所示,移除时间编码/事件编码后,模型性能均下降,时间编码的影响更显著,证明对不规则时间序列的编码是LOB建模的关键。
表4. 去噪网络性能比较

② 去噪网络的影响:实验结果如表4所示,将专用去噪网络替换为MLP和GRU后,模型的MAE和Acc.均显著下降。这主要是由于本文设计的去噪网络利用时间注意力和事件注意力来有效地捕捉时间和事件特征之间的相互依赖关系。相比之下,虽然MLP和GRU可以提取事件或时间特征,但仅适用于规则采样时间序列。
③ 跳步抽样的优势:实验结果如图3所示,在保持扩散步数固定的条件下,随着去噪步数的减少,模型的预测速度显著提高。然而,这种去噪步数的减少对预测精度几乎没有影响,这表明该模型即使在去噪过程中使用较少的步数也可以保持性能。

图3. 平均运行时间比较
(5)超参数分析
图4. 不同超参数下模型的性能分析
① 扩散步数K:随着 K 增大,模型精度整体提升,但收益会逐渐减弱,同时训练计算成本明显增加。
② 训练轮数Epoch:模型性能会随着训练轮数增加而提升,因为模型能够更好地学习数据中的基本模式。但当epoch超过一定范围后,边际收益逐渐变小。
③ 编码维度:编码维度增加通常有助于提升表达能力,但维度超过64后,性能增益不明显。
(6)去噪过程可视化分析
为了更直观地展示扩散模型如何逐步恢复真实事件分布的过程,文章对去噪过程进行了可视化,可视化结果如图5所示。初始阶段,时间—事件分布表现为高斯噪声。随着去噪迭代的推进,事件类型与事件时间分布逐步收敛。在最后一步,时间—事件分布与地面真实分布非常接近,表明LOBDIF模型有效地学习了复杂的时间-事件依赖关系。此外,随着时间和事件类型分布逐渐与真实分布一致,去噪质量在迭代过程中持续提升。这表明时间域和事件域之间的相互依赖关系在去噪过程中得到了有效的捕捉,这也印证了模型性能的显著提升。
图5. 时间—事件分布可视化
结语
作者简介
期刊简介











