FinCast：首个金融时间序列预测的十亿参数级基础模型，预测误差降低20%

金融时间序列预测对经济稳定、投资决策和风险管理至关重要，能够有效配置资本、减少市场冲击风险。预测面临挑战包括金融时间序列非平稳，受经济变化、投资者行为、政策干预等影响，导致分布随时间变化。

本文提出FinCast，首个专为金融时间序列预测设计的基础模型，基于大规模金融数据集训练。FinCast展现出强大的零样本性能，能够捕捉多样化模式，无需领域特定微调。

结果显示，FinCast在零样本和监督金融预测基准上均优于现有方法，平均减少预测误差20%和23%。适应多样化和非平稳市场，展示出良好的领域和时间分辨率适应性。

摘要

金融时间序列预测对经济稳定、政策制定和可持续投资至关重要，但面临模式变化的挑战。模式变化主要来源于：时间非平稳性、跨领域多样性和不同时间分辨率。现有深度学习方法常出现过拟合，且需大量领域特定的微调。本文提出FinCast，首个专为金融时间序列预测设计的基础模型，基于大规模金融数据集训练。FinCast展现出强大的零样本性能，能够捕捉多样化模式，无需领域特定微调。实证和定性评估表明，FinCast超越现有最先进方法，具有良好的泛化能力。

简介

金融时间序列预测对经济稳定、投资决策和风险管理至关重要，能够有效配置资本、减少市场冲击风险。预测面临挑战包括金融时间序列非平稳，受经济变化、投资者行为、政策干预等影响，导致分布随时间变化。不同金融领域（如股票、商品、货币）具有独特模式，预测模型需适应多样化的经济机制和市场结构。时间分辨率差异（如高频数据与低频数据）使得模型难以跨领域和分辨率泛化。现有模型在真实条件下表现不佳，通常依赖于监督学习，假设模式稳定，导致过拟合，难以适应新的分布或领域。

本文提出FinCast，金融时间序列预测的基础模型，采用解码器-only transformer，训练于200亿时间点，涵盖多种金融领域和时间分辨率。采用三大设计：

1) Point-Quantile损失（PQ-loss），优化点预测与量化概率估计，增强对时间变化的鲁棒性；

2) 令牌级稀疏专家混合机制（MoE），提高模型容量并实现领域专门化；

3) 可学习频率嵌入，编码不同时间分辨率的特征，改善周期性和季节性模式的捕捉。

FinCast在零样本和监督金融预测基准上均优于现有方法，平均减少预测误差20%和23%。适应多样化和非平稳市场，展示出良好的领域和时间分辨率适应性。

相关工作

传统金融时间序列预测依赖统计模型（如ARIMA、GARCH），难以捕捉非线性动态和突变。深度学习引入递归神经网络（RNN）和长短期记忆（LSTM）架构，适合短中期依赖，但长程相关性和梯度消失问题仍然存在。图模型通过将股票视为节点、依赖关系为边，增强了模型的可解释性和关系推理能力。

Transformer架构在时间序列预测中表现良好，但计算成本高，需适应金融数据的非平稳性。新兴的扩散模型结合扩散过程与变分自编码器（VAE），有效建模不确定性和复杂时间分布。大规模模型（如GPT-4、Claude等）展示了跨领域强泛化能力，激发了针对时间序列的基础模型（如TimesFM、TimesMoe等）的发展。

FinCast是首个专为金融时间序列预测设计的十亿参数基础模型，旨在解决金融数据的波动性、噪声和模式变化问题。

方法

问题建模

定义金融时间序列 

 ，每个 x_l 为时间 l 的观测值。

目标是学习映射 

，使得未来值

FinCast 模型支持任意的上下文长度 L 和预测范围 H ，无需改变架构。采用通道独立机制处理可变特征维度 c，对每个坐标序列应用相同映射。

模型架构

FinCast是一种用于金融时间序列预测的解码器-only Transformer架构，包含三大技术贡献：稀疏专家机制、可学习频率嵌入和点-分位损失。

主要组件：

• 输入标记化块：对时间序列进行实例归一化，使用残差MLP映射为潜在表示，并注入频率嵌入以编码时间分辨率和周期性。
• 解码器MOE主干：通过因果掩蔽处理潜在标记，采用动态选择专家的稀疏Mixture of Experts机制。
• 输出块：最终隐藏状态通过残差MLP映射到预测输出，并进行反归一化，使用点-分位损失优化准确性和概率估计。

输入标记化块

输入序列 𝑋 被分割为非重叠的补丁，进行实例归一化以确保尺度不变性，归一化仅对未被掩蔽的元素应用。实例归一化的优点包括去除尺度偏差、增强对不同金融工具的鲁棒性、保持序列相对形状的无损可逆性。

输入残差块为带有跳跃连接的多层感知机（MLP），最终输入通过线性投影获得。

频率嵌入机制支持不同时间分辨率的泛化，通过离散频率索引检索可学习的嵌入向量，增强模型对时间分辨率的适应性和预测准确性。

解码器MOE主干RMSNorm：对输入序列进行计算，使用可学习的缩放参数𝛾，省略均值减法，仅依赖ℓ2范数，适用于大规模预训练。

因果自注意力：确保自回归一致性，防止未来信息泄露，支持可变长度输入和灵活预测。通过线性变换将归一化的隐藏状态投影为Q、K、V，形状为R𝐵 × 𝐻 × 𝑁 × 𝑑𝑞。查询向量进行逐维重加权，使用学习参数𝛼进行元素乘法。应用掩码以强制自回归行为，计算注意力logits。通过加权组合值向量，使用投影矩阵𝑊𝑜将多个头的输出合并回模型维度。

稀疏专家混合（MoE）层：解码器块通过稀疏专家混合（MoE）层增强表示能力，保持计算效率。每个token通过学习的门控机制路由到最合适的k个专家，实现动态专业化。MoE设计使专家能够捕捉金融时间序列中的不同模式，如波动性突发、季节性变化和趋势转变。每个token的门控logits通过线性变换计算，路由过程是稀疏的，仅保留top-k分数。专家输出通过加权组合聚合，最终token输出结合了MoE层的结果。MoE层通过专家专业化提高了模型的鲁棒性和表达能力，减少了共享表示中的干扰。

输出块

解码器的最终隐藏状态通过残差输出块生成预测，映射到输出空间。使用两层MLP和残差连接增强输出能力，保持稳定梯度。输出序列重塑为

进行逆归一化，使用输入标记阶段的统计数据恢复原始数据尺度。逆归一化确保预测准确且可与原始输入直接比较，关键于金融领域的规模和语义一致性。

点分位数损失

本文提出了一种集成量化损失的辅助目标，以减轻预测崩溃并增强分布鲁棒性，确保多步预测的准确性、稳健性和趋势一致性。总损失为四个组件的加权和，包括量化损失、Huber点损失、趋势一致性损失和辅助专家正则化。

量化损失通过鼓励模型表示分布不对称性和捕捉预测不确定性，减轻了仅使用均方误差（MSE）损失的模型的预测崩溃。

Huber点损失结合了均方误差和平均绝对误差的优点，适用于高噪声环境。

趋势一致性损失通过鼓励保留时间趋势和方向变化，适用于金融预测。

辅助专家正则化损失促进专家的平衡使用，防止专家崩溃并鼓励专业化。

通过将点预测与基于量化的不确定性估计对齐，模型能够捕捉中心趋势和尾部风险。

模型训练和推理

预训练数据集：构建了一个包含200亿时间点的综合预训练数据集，涵盖金融（如加密货币、外汇、期货、股票、宏观经济指标）和非金融领域，包含240万条时间序列。数据通过公开接口获取，并经过严格的数据清洗流程。

训练细节：FinCast是一个具有10亿参数的稀疏Mixture-of-Experts（MoE）变换器，采用4个专家和top-k=2路由。训练使用可变序列长度，最大上下文长度为1024，训练步骤为147,152，每步处理约520万时间点。优化使用AdamW，学习率为0.0002，批量大小为8192，分布式训练在8个NVIDIA H200 GPU上进行。学习率调度包括线性预热、稳定阶段和余弦衰减。

推理过程：FinCast在推理时采用自回归解码模式，逐步生成预测。通过逐段预测，输出结果逐步附加到输入中，直到达到所需的预测范围。最终输出包括点预测，覆盖完整的预测时间范围。FinCast在8GB消费级GPU上高效推理，能够在全精度下运行。

实验

FinCast在两个基准上进行评估：零样本方法和监督方法，全面评估性能。零样本性能评估使用包含3,632个时间序列和4.38百万个时间点的基准数据集，反映金融预测的核心挑战。

与Google的TimesFM、Amazon的Chronos-T5和TimesMOE等通用时间序列模型进行比较。在监督预测设置中，采用标准化基准进行公平比较，报告基于FinCast的结果（未微调和微调版本）。与SOTA监督模型（如PCIE、PatchTST、D-Va、Autoformer和Informer）进行评估。

零样本方法对比

评估模型使用了一个包含3,632个金融时间序列的基准数据集，总计超过438万时间点，涵盖加密货币、外汇、股票和期货等多个领域，时间分辨率从分钟到每周不等。基准数据集与预训练数据集无重叠，确保严格的零样本设置，避免信息泄露影响结果。考虑了三个预测时间范围（10、30、60），输入序列长度统一为128，以保持公平比较。

FinCast模型在所有预测时间范围内均优于现有最先进方法，平均减少20% MSE和10% MAE，在36个数据集中分别排名第一的次数为23和25。基准数据集的规模和多样性降低了过拟合的可能性，强劲表现反映了模型对金融时间序列的动态和结构模式的真实建模能力。

有监督学习方法对比

使用PCIE基准的US_71和US_14L两个金融时间序列数据集，分别包含71只和14只高流动性美国股票的历史日价格。US_71数据集时间范围为2016年1月4日至2023年12月29日，US_14L为2005年1月4日至2023年12月29日。数据集按7:1:2比例划分为训练、验证和测试集，确保公平评估，且不包含预训练数据。

评估模型的零样本和微调版本，微调在训练集上进行，采用简单策略：训练1个epoch，仅更新输出块和最后10%的稀疏MoE层。

零样本版本在MSE和MAE上分别减少23%和16%，微调后进一步减少26%和19%，超越所有现有的监督模型，显示出模型的强大泛化能力。

消融分析

稀疏专家混合模型（MoE）：用密集变体替换稀疏MoE导致性能下降9.32%，强调稀疏路由在促进泛化和专业化中的重要性。

点-分位损失（PQ-loss）：使用标准MSE损失替代PQ-loss导致性能下降7.62%，PQ-loss在非平稳条件下更具鲁棒性，能捕捉分布知识和不确定性。

频率嵌入：去除频率嵌入导致4.38%的性能下降，频率嵌入作为重要的归纳偏置，帮助模型明确时间分辨率，增强泛化能力。

推理速度分析

高效推理是金融领域模型部署的关键，尤其在高频交易和实时市场分析中。FinCast在推理速度和预测性能之间取得良好平衡，推理速度比其他模型快5倍，同时准确性更高。实验在消费级NVIDIA RTX 4060 GPU上进行，反映了实际生产环境的计算资源限制。

FinCast的推理效率源于两大设计选择：

1) 采用稀疏的专家混合模型（MoE），仅激活部分专家以降低推理成本；

2) 使用块状标记化减少序列长度，降低自回归解码的计算负担。

定性结果

零样本数据集中的FinCast模型在多种金融领域和时间分辨率下表现出强大的模式敏感性和趋势意识，能够适应复杂的模式变化。许多最先进的模型在面对非平稳分布时无法有效泛化，部分模型因仅使用均方误差（MSE）优化而输出平坦预测，另一些则因容量有限而无法捕捉底层模式。

监督学习模型在面对分布不确定性时倾向于回归均值，导致输出平坦预测，无法有效应对复杂的市场变化。监督模型依赖有限的历史数据，假设未来分布与训练时相似，这在实际金融市场中往往不成立，导致其效果不如简单统计方法。

总结和未来工作

FinCast是首个针对金融时间序列预测的基础模型，解决非平稳性、多领域多样性和多时间分辨率问题，无需特定任务微调。在零样本设置下，FinCast的均方误差（MSE）平均比现有最先进方法低20%。定性分析显示，FinCast避免了常见的失败模式，生成趋势感知、高保真预测。未来计划在更大、更具多样性的高质量数据集上进行预训练。

本文转载自​​灵度智能​​，作者：灵度智能