CMTF：用于金融市场预测的跨模态时间融合框架

准确的金融市场预测需要多样化的数据源，包括历史价格趋势、宏观经济指标和金融新闻。现有方法通常独立处理这些数据，未能有效建模其交互。

本文提出了跨模态时间融合（CMTF）框架，集成异构金融数据以提高预测准确性。实验表明，CMTF在预测上优于多种基线模型，提升了精度、召回率和F1分数。

摘要

准确的金融市场预测需要多样化的数据源，包括历史价格趋势、宏观经济指标和金融新闻。现有方法通常独立处理这些数据，未能有效建模其交互。本文提出了跨模态时间融合（CMTF）框架，集成异构金融数据以提高预测准确性。CMTF使用注意力机制动态加权不同模态的贡献，并采用专门的Tensor解释模块进行特征提取。引入成熟的自我训练方案以加速模型迭代，适用于行业应用。在实际金融数据集上，CMTF在股票价格预测方面优于基线模型，提供可扩展的跨模态集成解决方案。

简介

金融市场预测面临挑战，主要目标是准确预测资产价格以获取利润。有效市场假说（EMH）认为市场效率限制了超额收益的产生，但存在市场非效率的实证证据。传统预测模型依赖历史时间序列数据，深度学习和自然语言处理（NLP）技术的进步使得复杂市场动态和非结构化文本数据的整合成为可能。现有方法面临三大挑战：

1) 异构数据整合不足

2) 预测可解释性差

3) 训练模式不灵活

本文提出CMTF框架，旨在：

1) 整合多模态数据

2) 确保预测可解释性

3) 自动化训练方案以快速迭代和超参数调优

CMTF框架的主要贡献在于：

1) 提出多模态Tensor表示，系统对齐异构信号

2) 设计稀疏Tensor解释框架，确保可解释和可操作的预测

3) 在FTSE 100指数股票上进行实验，CMTF在预测上优于多种基线模型，提升了精度、召回率和F1分数。

相关工作

多模态

多模态学习在金融预测中融合结构化和非结构化数据的进展。时间融合transformer在处理低频财报时存在固定时间对齐的问题。跨模态transformer对齐日常X数据与历史价格趋势，但忽略了模态频率不匹配。动量transformer结合技术指标与注意力机制，捕捉动量驱动的市场状态，但缺乏同步不同粒度数据的机制。尽管预测性能良好，这些模型在结果解释性上存在不足，限制了其在实际金融决策中的应用。

金融时间序列预测

现代金融时间序列预测越来越多地采用混合架构，Informer是针对时间序列预测优化的变种，降低了推理成本。针对高频交易数据，设计了基于强化学习的框架，使用波动性敏感奖励。不同模型拓扑的效率被探讨，图形拓扑将股票视为节点，传统多时间序列模型则将每只股票视为独立时间序列。Autoformer利用自相关分解市场趋势和季节效应，但仅限于单模态输入，无法适应突发市场变化。大多数模型直接使用预处理数据，未解决多模态非结构化数据处理的复杂性。

可解释性

工业应用中，金融预测模型的可解释性至关重要，需提供可操作的决策洞察。现有的后期解释工具（如注意力图和显著性方法）缺乏经济基础。新的深度学习架构如Temporal Routing Adaptor通过动态路由学习交易模式，但解释性有限。Domain-Adaptive Neural Attention Network通过跨模态注意力对齐新闻情绪与价格变动，但降低了对特定模态的归因解释。深度强化学习框架通过历史回报模式生成注意力热图，识别动量行为，但未能区分因果显著因素与统计相关性。

预备知识

符号

CMTF模型的关键符号：时间步𝑡和时间步集合𝑇。𝑑为融合后的输入特征数量，𝑁为预测的目标股票数量。输入Tensor 𝑋 ∈ R𝑇 × 𝐷包含所有时间的编码特征。模型预测下一个时间步(𝑡 + 1)的𝑁只股票的收盘价𝑃ˆ𝑡 +1。𝑍 ℎ、𝑍 𝑚、𝑍 𝑛、𝑍 𝑟分别表示历史数据、宏观指数、新闻和财报的结构化Tensor。

任务定义

本文针对金融市场预测的分类任务，目标是预测股票价格的涨跌方向。在每个时间步𝑡，定义二分类标签表示价格变动的真实方向。采用简单的二分类方法，利用收盘价的变化来判断价格是上涨（1）还是下跌（0）。分类模型旨在最小化预测方向与真实方向之间的二元交叉熵损失。

方法

CMTF框架包含四个组件：Tensor表示、Tensor编码、Tensor解释和基于transformer的预测模型。

Tensor表示

本文使用结构化数据和非结构化文本数据，重点处理文本数据。针对新闻数据，采用CatBoost提取分类Tensor 𝑍𝑛，结合文本信号和市场技术指标。CatBoost的损失函数包括L2正则化和编码稳定器，优化模型参数𝜃。

针对财务报告数据，使用大型语言模型（LLM）生成五维评分向量𝑅，并映射到结构化特征空间，形成Tensor 𝑍𝑟。

最终获得四种Tensor：历史数据𝑍ℎ、宏观指标𝑍𝑚、新闻数据𝑍𝑛和财务报告𝑍𝑟，为后续编码做准备。

Tensor编码

事件驱动模型中的影响通常会持续较长时间，因此采用加权移动平均（WMA）来建模影响的衰减。WMA为近期观察赋予更高权重，以反映事件随时间的影响减弱。

𝑏表示固定窗口大小，𝑎表示观察时间的延迟。

计算WMA后，应用时间融合（TF）到所有Tensor。

最终特征集通过连接多个Tensor形成。

Tensor解释

提出了一种可解释的特征选择框架，用于解码金融Tensor中的跨模态交互，结合了时间稀疏性和稳定性分析。

相关性引导预选择：通过均值绝对相关性阈值消除多重共线性特征。

时间特征扩展：构建滞后特征以捕捉市场延迟反应，采用一阶时间卷积。

多任务组稀疏性：通过凸时间组LASSO目标，选择最相关特征，鼓励特征层面的稀疏性。

稳定性选择：通过多数投票保留在时间折叠中具有持久预测能力的特征。

事件驱动预测模型

事件驱动预测模型包含transformer和预测器，快速更新超参数，使用过滤特征X。

transformer结构：

• 编码器包括多头注意力（MHA）、前馈层（FFN）、位置编码（PE）和层归一化。
• 输入H_l结合原始特征嵌入和位置编码。
• 计算查询Q、键K和值V矩阵，使用softmax归一化注意力分数。

输出预测：从最后时间步的隐藏状态x_T生成预测P_t+1。

优化器：使用Optuna框架，采用异步逐步减半算法，快速更新超参数。

预测器：

• 树结构Parzen估计器（TPE）：建模超参数x与目标函数y的概率。

• 协方差矩阵适应进化策略（CMA-ES）：基于最佳候选的加权和更新均值M。

CMTF的实证分析

本文分析CMTF的实证效果，旨在回答三个研究问题：

• CMTF在金融市场预测中的有效性如何？
• CMTF各个模块的有效性如何？
• Tensor解释模块的敏感性对性能的影响如何？

数据集

数据覆盖1360天（2019年2月4日-2024年5月22日），包括结构化金融数据和来自五家FTSE 100上市公司的非结构化文本数据（壳牌、联合利华、英美烟草、BP、帝亚吉欧）。选择美国和英国的宏观指数以代表全球和目标市场的宏观经济。数据按时间顺序分为训练集（804天）、验证集（268天）和测试集（268天）。最终Tensor结构保留市场波动（价格）、宏观指数（债券/GDP/CPI）和公司披露（新闻/报告）之间的跨模态交互。

配置

评分维度：风险、市场条件、监管、ESG和创新，评分范围1到9，数据来自Llama3。

基线模型：ARIMA自动选择参数，LSTM使用50个单元和ReLU激活，训练200轮；SVR使用线性核，为每个目标变量训练单独模型并计算平均结果。

与基线比较

我们的框架与多种预测模型进行基准测试，涵盖从可解释的线性统计模型到神经网络架构的广泛方法。

不用模型：

• 零变动预测：明日收盘价等于今日收盘价，明日方向与今日方向相同。

经典统计模型：

• 线性回归：通过最小化平方残差拟合线性关系。
• ARIMA：结合自回归、差分和移动平均，捕捉非平稳时间序列的依赖性、趋势和季节性。

机器学习方法：

• 随机森林：通过多个去相关决策树的预测聚合，减少过拟合。
• 支持向量回归（SVR）：将输入映射到高维空间，优化边际敏感损失函数。

深度学习架构：

• LSTM：通过门控机制建模长期序列依赖，减轻梯度消失问题。
• Encoder-only transformer：利用自注意力机制编码时间序列的位置信息和时间关系。

评估指标

用精确度、召回率和F1分数评估模型性能，数值越高表示性能越好。

定义分类指标：TP（真正例）为正确预测价格上涨，TN（真负例）为正确预测价格下跌，FP（假正例）为错误预测价格上涨，FN（假负例）为错误预测价格下跌。

专注于分类指标，避免使用回归任务中的误差指标，因为零变化模型通常会返回较低的RMSE和MAPE。

RQ1：性能比较

CMTF框架在分类任务中表现优异，召回率达到84.88%，F1-score为0.64，超越所有基线模型。随机森林的F1-score为0.60，召回率71.10%，虽然有效，但低于CMTF。CMTF的优势在于有效整合异构数据源，利用Tensor分解捕捉跨模态依赖，提升预测准确性。

RQ2：消融分析

进行了CMTF框架的消融研究，分析了Tensor Interpretation模块（I）、新闻数据（N）和财务报告（R）的影响。

在禁用Tensor Interpretation（-I）且包含新闻和财务报告（+N, +R）时，分类的召回率最高为80.09%，F1-score最佳为0.61。

文本模态对预测市场走势方向至关重要，可能因其能捕捉情绪和基本面变化。

RQ3：模块灵敏度

进行消融研究，比较不同基线方法在有无Tensor Interpreting (+I)情况下的表现。Precision在各模型中保持稳定，表明Tensor Interpreting不影响类别可分性。Recall显著提升，尤其在Transformer和LSTM模型中，表明+I有助于识别更多相关模式。结果确认Tensor Interpretation提升分类性能，特别是对依赖特征变换的模型（如SVR、LSTM、Transformer）。

讨论

缺乏公开的标准化多模态和跨模态金融预测数据集，限制了研究的广泛适用性。现有研究未能有效整合非结构化数据（如文本）到预测模型中。数据隐私问题导致一些多样化数据集无法公开，影响了可重复性和基准测试。

未来工作可探讨财报与新闻之间的情感关联，分析其单独贡献以提高CMTF框架的可解释性。简单模型（如SVR）表现良好，提示非结构化数据在次日价格预测中的相关性较低，需进行任务特定模型选择。探索简单模型为何优于复杂模型的情况，有助于理解多模态方法的局限性和最佳应用场景。

总结

本文引入跨模态时间融合（CMTF）框架，基于Transformer的深度学习模型，用于金融市场预测。CMTF有效捕捉历史价格趋势、宏观指数和文本金融数据之间的交互。实际金融数据集表明，CMTF在分类任务上优于所有基线模型。探索模型可解释性，分析不同模态数据的重要性，并适应市场动态变化。CMTF不仅是金融市场预测模型，还是处理多模态数据的强大框架。

本文转载自​​​​灵度智能​​​​，作者：灵度智能