ICML'25 | 兼容不同数据源周期性差异的时间序列基础模型

今天给大家介绍一篇ICML 2025的时间序列预测工作，提出了一个轻量级、兼容不同类型数据的周期性差异的时间序列基础模型，在Zero-shot learning、Full-shot learning等场景中都取得了显著效果提升。

论文标题：LightGTS: A Lightweight General Time Series Forecasting Model

下载地址：​​https://arxiv.org/pdf/2506.06005​​

1.研究背景

时间序列基础模型希望构建类似LLM的时序领域通用模型，在大量多样性的数据集上预训练，训练好的模型在下游进行应用。

现有的时间序列基础模型往往存在2个问题。第一个是结构复杂，参数量大，在下游的应用中存在资源瓶颈。第二个是也是本文要主要解决问题是，时序基础模型需要在多样化的数据上训练，然而不同时间序列数据的周期性不同，现有的统一建模方法会忽略这种数据差异，影响了拟合效果。

为了解决上述问题，本文提出了一种能兼容不同数据周期性的时间序列基础模型，不仅提升了模型在多种数据上的兼容能力，也显著降低了模型的参数量。下图是不同时序基础模型的MSE和参数量对比，本文提出的模型MSE低切参数量也很小。

2.建模方法

本文的核心思路是，针对不同周期性的时间序列，使用不同长度的窗口进行patch生成，从而使得每个patch内都包含一个完整周期的信息。下图对比了不同Embedding的方法，相比单点Embedding和Patch Embedding，本文的方法能够保证单个patch的周期性信息是完整的。

整体的模型结构如下图所示，核心包括3个模块：周期Token生成、自适应Patch映射、Transformer结构。下面展开介绍这3个模块的实现方法。

周期Token生成相比一般的Patch Embedding生成方法，核心是让每个patch能保留当前数据的一个完整周期。对于每个输入样本，根据该样本的采样率，或者使用傅里叶变换等工具，获取该样本的周期长度，使用这个长度进行不同样本个性化的Patch划分。

自适应Patch映射的核心是为了适配不同Patch长度的映射。由于周期Token生成的引入，不同样本的patch长度不一样，采用统一的MLP映射成统一维度，会导致不同patch大小的样本不兼容。文中的解决方法是，让模型自动学习一个插值矩阵，并以某一个patch长度作为基准，让模型自动学习一个能够最小化误差的插值矩阵。公式如下，其中A是插值矩阵，theta是基准patch的MLP参数，第一项为当前样本patch长度和基准patch长度的比例的平方根。

在模型结构上，基本沿用了Transformer Encoder-Decoder的结构，Encoder对历史序列编码，Decoder基于Encoder的表征解码。一个核心差异在于，Decoder部分的输入使用Encoder最后一个时刻的表征。Encoder最后一个时刻的表征汇聚了所有历史信息，并且历史信息对于预测未来帮助很大，因此直接将这个表征平铺到Decoder每个时刻的输入中。同时，考虑到预测窗口越长，历史信息的影响越弱，因此引入了一个根据位置衰减的权重，逐步减少Encoder最后一个表征对预测的影响。

3.实验效果

下表是在zero-shot、full-shot等场景的实验效果对比，本文提出的时序基础模型取得了显著的效果提升。

文中也对比了不同Embedding处理方法的case预测结果，本文提出的多周期patch划分方法，让每个patch保留完整周期信息，因此更加准确的实现了周期性的预测。

本文转载自​​​​​​​圆圆的算法笔记​​​​​​​，作者：Fareise