
从模式到预测:嘈杂金融市场中基于形状的方向预测框架
深度学习在股市预测中面临挑战,因市场波动性大且信号噪声比低。本文提出一种两阶段框架用于金融时间序列的模式基础方向预测。结合SIMPC(基于DTW的无监督聚类方法)和JISC-Net(基于形状的分类器)。SIMPC发现多变量模式,适应动态窗口、幅度缩放和时间扭曲。JISC-Net利用部分输入序列进行可解释预测。
在四种金融资产上的实证评估显示,该方法在方向准确性和交易表现上显著优于竞争基线。该框架通过聚焦于与经验提取模式结构对齐的局部子序列,增强了可解释性和实际应用价值。
摘要
本文提出一种两阶段框架,结合无监督模式提取与可解释预测。
- 第一阶段:SIMPC对多变量时间序列进行分段和聚类,提取对幅度缩放和时间扭曲不变的重复模式。
- 第二阶段:JISC-Net使用提取模式的初始部分作为输入,预测后续短期方向性运动。
在比特币和三只S&P 500股票的实验中,该方法在12个指标-数据集组合中排名前两名,优于基线模型。与传统深度学习模型不同,该方法提供透明决策,揭示驱动预测结果的模式结构。
简介
深度学习在股市预测中面临挑战,因市场波动性大且信号噪声比低。预测方法主要可以分为两类:内部时间序列模型(仅使用历史价格和技术指标)和混合模型(结合外部信号)。本研究专注于价格数据,遵循有效市场假说,适用于多种股票和市场。
价格模型面临三大挑战:
- 金融时间序列噪声大,长期信号弱,难以识别有意义的模式。
- 重复模式在不同尺度和持续时间上变化,称为幅度缩放和时间扭曲。
- 深度神经网络能建模复杂市场动态,但可解释性差。
本文呢提出一种两阶段框架,从噪声多变量金融时间序列中提取可解释模式。
- 第一阶段:Selective Invariant Multivariate Pattern Clustering (SIMPC) 模块,使用动态时间规整(DTW)对多变量子序列进行分段和聚类,识别幅度缩放和时间扭曲不变的模式。
- 第二阶段:Joint-variable Invariant Shapelet-Classification Network (JISC-Net),结合DTW与多长度输入的扩张因果卷积神经网络(Mdc-CNN),学习对时间扭曲鲁棒的表示。
JISC-Net通过两阶段过滤过程识别和过滤有意义的模式实例,排除噪声或非模式段。在四种金融资产上的实证评估显示,该方法在方向准确性和交易表现上显著优于竞争基线。该框架通过聚焦于与经验提取模式结构对齐的局部子序列,增强了可解释性和实际应用价值。
相关工作
时间序列预测模型
多变量时间序列预测在建模复杂的时间和变量依赖性方面取得了显著进展。FEDformer、PatchTST和TimesNet等模型在标准基准上有效,但在噪声金融时间序列上表现不佳,易过拟合。针对金融领域的挑战,提出了股票特定架构,如SFM网络、StockMixer、MASTER和SAMBA,尽管有效,但仍缺乏透明性。
时间序列中的模式聚类
开发了无监督和弱监督方法识别重复的时间结构,如DTCC引入对比学习,但未解决金融时间序列的特定挑战。SISC算法有效识别潜在模式,但仅限于单变量输入,可能包含噪声段。提出的SIMPC扩展了SISC,支持多变量输入,使用领域信息原型初始化聚类,并过滤低信息子序列。
基于形状的分类
形状方法通过识别区分性子序列提供可解释的时间序列分类。ShapeNet将方法推广到多变量序列,结合扩张因果卷积和三元组损失。提出的JISC-Net通过DTW三元组损失增强对金融数据常见时间扭曲的鲁棒性,保持变量间的联合时间依赖性。
问题建模
目标:在噪声多变量时间序列中识别和检测具有幅度缩放和时间扭曲特征的重复模式,采用无监督方式预测未来的方向性运动(上涨或下跌)。
方法分为两个阶段:模式提取和分类。
模式提取阶段:使用SIMPC对时间序列X进行分段,生成P个模式簇C,每个簇包含多个时间上连续的子序列。每个子序列s_{p,j}是X的一个连续片段,长度在[L_min, L_max]之间,且子序列的起始时间在所有簇中唯一。最终阶段进行簇合并,得到精炼的模式集P'。
分类阶段:JISC-Net通过提取的模式集C,将输入子序列s𝑝,𝑗映射到模式类型的概率分布。仅使用子序列的初始𝛾部分进行分类,剩余部分可在模式检测后推断。训练时使用K-S检验进行标签级过滤,排除统计上不显著的子序列。推理时采用基于置信度的阈值(top-𝑥%)过滤模糊或非模式实例。JISC-Net能够可靠地识别和拒绝不对应有意义模式的输入。
SIMPC: 模式提取
SIMPC算法:通过将多变量时间序列分段为可变长度候选项并仅聚类最具信息量的部分,改进了SISC算法,解决了其局限性。扩展了动态时间规整(DTW)到多变量输入,捕捉变量间依赖性,增强了行为的可解释性。通过使用传统图表模式原型进行中心初始化,结合领域知识,提升聚类效果。剔除低信息段和稀疏聚类,以减少噪声。
预处理:使用Nadaraya-Watson核回归平滑多变量输入,降低短期波动。
领域适应:提取符合传统图表规则的多变量时间序列段,作为初始中心集。识别基于价格的模式一致性区间,收集市场变量,使用Min-Max缩放进行归一化,线性插值至统一长度𝐿。通过DTW Barycenter Averaging (DBA)计算每个图表模式类的代表性原型,保持结构特征并对齐序列。
改进的K-means++初始化:固定𝑚个原型,随机选择剩余的𝑃−𝑚个质心,基于DTW距离更新概率。
迭代聚类生成与质心更新:提取候选段并与质心比较,选择最小DTW距离的质心。如果最小距离 𝑑 ★ ≤ DTW 阈值 𝛿,段落分配给 𝐶 ★,时间索引按固定步长前进。完成一次遍历后,至少有 𝜅 个成员的簇使用 DBA 重新压缩,小簇被丢弃,得到的重心经过 Min-Max 归一化后作为更新的质心。若簇数低于 𝑃,重复 K-means++ 初始化,使用更新的质心作为固定种子,排除已分配的起始索引 𝑠。完成 𝐼 次聚类迭代后,合并任意质心 ( 𝐶 𝑖 , 𝐶 𝑗 ),使得 𝑑 DTW ( 𝐶 𝑖 , 𝐶 𝑗 ) ≤ 𝛿,最终质心集为 C = { 𝐶 1 , . . . , 𝐶𝑃 ′ },其中 𝑃 ′ ≤ 𝑃。
伪代码:算法 1 为 SIMPC 的伪代码,输出模式集 C,作为后续形状基分类器的显式标签,实现 JISC-Net 的模式检测转为完全监督学习任务。
JISC-Net:模式检测
JISC-Net是对ShapeNet的扩展,旨在发现多变量时间序列中的形状特征(shapelets),以提高分类的可解释性,特别适用于金融领域。ShapeNet通过滑动窗口和因果CNN嵌入候选形状特征,并通过端到端训练选择最具类信息的形状特征,适应时间变化和幅度缩放。
JISC-Net的创新点:
- 将整个D维观测视为单个token,保留跨变量交互。
- 用DTW距离替代ShapeNet中的欧几里得距离,提高对时间扭曲的鲁棒性。
这些改进使JISC-Net能够捕捉更丰富的变量间动态,同时对异构时间尺度保持韧性。
Mdc-CNN编码器与基于DTW的三重损失。输入为模式标记的子序列。通过线性插值和列归一化处理子序列,形成固定长度的输入。采用多尺度滑动窗口对子序列进行切片,使用DTW-based K-means进行聚类,增加训练实例。从聚类中选择锚点、正样本和负样本,进行编码并计算距离。损失函数通过惩罚锚-正距离和增强锚-负分离来优化编码器,使用DTW提高时间不变性。
Shapelet发现
形状发现:利用训练好的编码器发现具有区分性的形状,采用K-means聚类将嵌入的段落分为g个簇,选择距离簇中心最近的段落作为候选形状,确保每个簇的纯度超过阈值P',并通过效用分数U_c对候选形状进行排名。
SVM分类器:使用候选形状训练支持向量机(SVM),计算每个候选形状与所有相同长度段落的最小DTW距离,生成特征向量并训练线性SVM,输出模式概率分布。
预测准确性提升:在训练阶段使用K-S检验识别非区分性模式标签,推断阶段保留高置信度的测试子序列,初始部分作为分类器输入,检测模式匹配以进行方向性预测。
实验
设计实验以解决四个研究问题:多变量输入、基线比较、基于信心的过滤和可解释性。
实验设置
评估框架在两个金融领域:加密货币(BTC/USD)和股票(S&P 500)。
数据:股票数据集包含三只高市值股票:AAPL(科技)、BRK.B(金融)、XOM(能源)。数据集划分:训练集(BTC/USD: 2014/01/01–2021/12/31;股票: 2008/01/01–2018/12/31),验证集(BTC/USD: 2022/01/01–2023/01/31;股票: 2019/01/01–2021/07/30),测试集(BTC/USD: 2024/02/01–2025/05/13;股票: 2021/08/01–2025/05/13)。所有模型使用相同输入特征进行训练和评估。
超参数设置:模式长度约20天,提取8个模式,使用6个原型,DTW阈值2.3,最小聚类大小40。JISC-Net使用每个子序列的前80%进行分类,线性插值至长度100。多尺度形状提取滑动比率为{0.2, 0.4, 0.6},形状数量设为10。
RQ1:输入变量的影响
研究不同输入变量组合对SIMPC算法提取模式的结构和可分离性的影响,包括:仅收盘价(C)、收盘价和成交量(CV)、收盘价、成交量和RSI(CVR)。依赖DTW累积欧几里得距离,聚类阈值𝛿根据输入维度进行缩放:1D为𝛿 = 2.3/3,2D为𝛿 = 2.3/2,3D为𝛿 = 2.3。
提取的子序列数量相近:C: 658, CV: 657, CVR: 642,平均每个聚类约80个子序列。聚类质量因输入维度而异,较大的平均DTW距离表示模式中心的多样性,较大的最小距离表示更好的聚类分离。C配置中,部分中心对的距离低于阈值𝛿,显示潜在结构重叠;添加成交量和RSI提高了模式中心的独特性。CVR配置在合并前显示出最丰富和分离良好的中心,强调多变量输入在捕捉金融时间序列结构变化中的重要性。
RQ2:基线对比
评估指标:使用F1-score、Win-Loss Ratio、Average Return和Total Return with fees四个指标,F1用于处理类别不平衡,WLR衡量正确与错误交易的比例,AR表示每笔交易的预期盈利,TRwf则考虑交易费用后的累计收益。
交易协议:每4天开仓一次,基于预测的4天走势,交易时收取0.1%手续费,确保所有模型的交易频率一致。
基线比较:与三类基线模型进行比较,包括随机策略、Qlib平台的定量投资方法(如LightGBM、ADARNN等)和近期的时间序列方法(如DLinear、Autoformer等)。
结果:Ours-T@100在12个指标-资产组合中,8个指标表现最佳,3个指标排名第二,主要指标为F1、WLR、AR。在盈利能力(AR)方面,Ours-T@100在三项资产上记录最高平均回报,第四项资产排名第二。调整费用后的总回报(TRwf)保持正值且最大,显示出实际经济价值。模型与基线执行相同数量的交易,性能提升源于信号质量优越,而非交易频率降低。框架推迟预测,直到可靠检测到重复模式,避免高噪声段,提升预测信心。通过专注于高置信度的时间步,框架在嘈杂的金融环境中实现显著的统计和经济改进。
RQ3:JISC-Net中的两级过滤
JISC-Net的两阶段过滤过程基于SVM模式分类器的输出。
第一阶段:使用K-S检验对每个模式标签进行过滤,p值小于0.05的标签被保留。表3显示,XOM标签中只有标签7未通过K-S检验,被重新分类为非模式。K-S过滤后,BTC/USD去除13.90%测试子序列,AAPL去除41.47%,BRK.B去除8.74%,XOM去除5.60%,对应低可分离性的模式标签。
第二阶段:通过最大类概率进行全局阈值筛选,仅保留前𝑥 %的预测结果,以提高推断效果。表2比较了不同阈值(T@100, T@80, T@60, T@20)的表现,发现适度的阈值(如T@80)在收益和风险之间取得良好平衡。在XOM上,T@80的平均回报(AR)为0.889,调整后总回报(TRwf)为1.219,交易数量为177,显示出低置信度预测的过滤能提升盈利性。更激进的过滤(如T@20)虽然AR最高(1.567),但由于交易稀少(29),导致盈利性显著下降(0.396)。
定性影响混淆结构:图4展示了两阶段过滤对分类一致性的影响,混淆矩阵经过K-S过滤后,噪声标签(-1)被有效减少,分类结果更为准确。应用T@30阈值后,混淆矩阵趋向对角线,表明大多数噪声序列被自信拒绝,进一步降低了模式模糊性。
RQ4:基于模式的预测分析
通过对XOM资产的案例研究,分析JISC-Net模型的成功和失败交易,重点关注输入序列、预测模式和实际价格轨迹。成功案例中,模型准确预测了价格走势,输入序列与预测模式高度一致,实际市场表现与预测相符。失败案例中,模型预测与实际市场走势偏离,可能因过拟合早期输入,建议引入概率预测以捕捉未来价格的不确定性。第三种失败案例显示输入序列与预测模式明显不符,可能是动态时间规整(DTW)方法的局限性,建议通过形状感知惩罚和局部特征一致性检查来改进DTW。JISC-Net结合SIMPC提供了可解释性,支持用户在交易前验证模式匹配的合理性,增强人机协作决策。
总结
本文提出一种两阶段框架用于金融时间序列的模式基础方向预测。结合SIMPC(基于DTW的无监督聚类方法)和JISC-Net(基于形状的分类器)。SIMPC发现多变量模式,适应动态窗口、幅度缩放和时间扭曲。JISC-Net利用部分输入序列进行可解释预测。在四个资产类别的实验中,该方法在方向准确性和交易表现上优于定量投资模型和深度学习方法。提高可解释性以支持人机协作决策。未来工作将探索概率预测和形状感知对齐,以增强鲁棒性和泛化能力。
本文转载自灵度智能
