1维卷积实现高效变量间关系建模，解决多对一时间序列预测问题

今天给大家介绍一篇针对多变量预测单变量场景的时间序列预测优化工作。本文的核心是构建了一种基于卷积的轻量级变量间关系学习模块，提升变量间关系学习效率和缓解过拟合问题，提升多变量预测单变量的效果。

论文标题：CrossLinear: Plug-and-Play Cross-Correlation Embedding for Time Series Forecasting with Exogenous Variables

下载地址：​​https://arxiv.org/pdf/2505.23116v1​​

1.研究背景

时间序列预测有多种问题类型。单变量时间序列预测指的是输入一个序列历史值，预测这个序列的未来值；多变量时间序列预测指的是输入多个序列的历史值，预测这些序列的未来值。而还有一种类型的任务是多对一的，即输入多个序列，预测其中某个序列的值。这种情况下，待预测序列叫做内部变量，其他序列称为外部变量。

这篇文章则是针对多对一的情况提出的优化方法。多对一的预测，核心是建模内部变量和外部变量之间的关系。现有的多变量关系建模方法，例如CrossFormer等基于Transformer的多变量关系建模方法，由于其模型结构复杂，会造成计算复杂度高，过拟合等问题。

为了解决上述问题，本文提出了一种简单的多变量关系建模方法，引入一个一维卷积学习变量间关系，取得了多对一预测场景下的效果提升。

2.建模方法

本文提出的方法模型结构比较简单，核心包括变量关系表征提取、patch和位置表征输入、预测head、归一化等模块。整体结构如下图所示。

对于输入的多变量序列，分别使用ReVIN进行归一化。在关系表征提取模块，将内部变量和多个外部变量拼接成一个N*T的矩阵，N是变量数量，T是时间步数量。在这个矩阵上使用一维卷积，在时间维度上滑动，通过这个简单的模块实现相同时间窗、不同变量之间的关系建模。一维卷积输出维度为1，对应融合多变量关系后生成了一个新序列。

为了缓解过拟合问题，文中将经过多变量关系表征提取模块生成的序列，与原始的内部变量序列进行加权求和，权重是一个可学习的参数，让模型可以控制使用多变量关系建模模块输出的程度。

这个模块过后，使用patch编码和位置编码对输入进行表征。上面的加权求和生成的新序列，使用PatchTST中的patch embedding构建方法生成表征，同时使用position embedding和patch embedding进行加权求和，权重和上面类似也使用一个可学习的参数：

上述建模方法，也可以很容易扩展到多对多的多元时间序列问题中，通过将1维卷积的输出从1调整到多个channel，即可实现针对每个内部变量的多变量关系提取序列。

3.实验效果

下表是整体的实验效果，可以看到本文提出的方法在多个数据集不同时间窗口的预测上都取得了效果提升。

同时，本文的模型参数量和计算复杂度低，拟合精度超过其他SOTA模型。

本文转载自​​​​圆圆的算法笔记​​​​，作者：Fareise