回复
多模态故障诊断！基于1D-GRU+2D-MTF-ResNet-CBAM的分类模型
1.模型简介与创新点介绍
1.1 模型简介
将时频图像和一维时序信号相结合，并使用CBAM注意力机制优化的ResNet和GRU多模态特征融合模型，来进行故障信号分类，能够有效地结合时频图像空间特征和一维信号时间序列特征，能够充分利用多模态特征的优势。
1.2 创新点介绍
创新一：多模态融合
本模型将时频图像和一维时序信号进行多模态融合，充分利用这两类数据的互补性。时频图像通过马尔可夫转移场MTF，将信号的频率和时间特征可视化。而一维时序信号则保留了原始时间依赖信息，适合使用递归神经网络（RNN）或GRU进行处理。通过融合这两种特征：
- 时频图像捕捉了信号中的高频、低频变化趋势，有助于识别频域中的故障特征。
- 一维时序信号保留了信号的时间依赖特性，能够反映出故障在时间上的动态演化。
这种双通道的数据融合使得模型能够同时利用时间、频率和图像特征，从而大幅提升了故障分类的准确性。
创新二：基于CBAM注意力机制优化的ResNet
CBAM（Convolutional Block Attention Module）是一种用于卷积神经网络（CNN）的注意力机制，旨在提高模型的表示能力。CBAM通过结合通道注意力（Channel Attention）和空间注意力（Spatial Attention）来增强特征表示，从而提升模型性能。
将 CBAM 模块插入到 ResNet 的每个残差块之后，以平衡计算量与性能提升：
（1）增强的特征表示
通道注意力与空间注意力的结合：CBAM 提供了通道注意力和空间注意力两个模块。这两个模块分别从特征图的通道维度和空间维度增强特征表示。通过在 ResNet 的基本单元中插入 CBAM，网络可以更好地捕捉不同特征的重要性，从而在更深的层次上进行有效的信息提取和聚合。
（2）细粒度的特征选择
细粒度特征聚焦：CBAM 通过为特征图的每一个通道和每一个空间位置分配权重，能够细粒度地选择和强调重要特征。这种机制允许 ResNet 更加智能地忽略无关的背景信息，专注于故障分类的关键特征。
（3）与残差连接的无缝集成
与残差结构的兼容性：CBAM 可以无缝地集成到 ResNet 的残差块中。由于 CBAM 的设计简单且高效，它可以直接插入到 ResNet 的每个残差块中，而不会显著增加计算复杂度。这种集成方式使得 ResNet 保持其原有的优势（如梯度流动性和训练稳定性）的同时，获得了更强的特征表达能力。
（4）提升网络性能
性能提升：在 ResNet 中加入 CBAM 后，通常能观察到在图像分类、目标检测等任务上的准确率提升。通过对特征图的动态调整，CBAM 能够帮助网络更好地适应数据的分布特性和任务需求。
（5）计算效率与灵活性
- 计算效率：CBAM 设计简单，计算开销小，适合在不显著增加网络复杂度的情况下，提升模型性能。
- 灵活性：CBAM 可以灵活地应用于 ResNet 的不同变体（如 ResNet-18、ResNet-34、ResNet-50 等），并且能够根据具体任务的需求进行调整和优化。
将 CBAM 与 ResNet（Residual Network） 结合，是一种提升 ResNet 表达能力的有效方法。这种组合在保持网络深度和宽度的同时，通过引入注意力机制来增强特征表示能力。
创新三：基于一维信号序列堆叠的时序特征提取
在处理一维时序信号时，我们对一维信号序列数据进行了堆叠，采用了GRU（门控循环单元）来提取时序特征。这一创新设计加快了GRU的计算效率，在处理一维时序信号时，能够更加有效地提取出故障发生时的关键特征，显著提高了信号分类的精度。
创新四：特征融合优势
模型中的多模态融合部分，通过ResNet-CBAM提取时频图像特征和GRU处理一维信号特征后，我们采用特征拼接融合的方式，将两种特征结合。相比于仅使用单一模式特征的传统模型，融合后的特征在分类任务中的表现更加优越，主要优势体现在：
- 时频图像和时序信号各自提供了不同视角的特征信息，前者提供频率域特征，后者保留了时间依赖特性，两者的结合能更加全面地反映信号的故障特征。
- 通过特征融合，模型在捕捉不同模式下的故障特征时更加鲁棒，尤其在复杂的故障信号环境下，融合的特征能够更好地应对噪声干扰和信号变化。
这种特征融合策略使得我们的模型在多种故障模式下，依然能够保持高效准确的分类性能，提升了模型在实际应用中的鲁棒性和泛化能力。
2.轴承故障数据的预处理
2.1 导入数据
参考之前的文章，进行故障10分类的预处理，凯斯西储大学轴承数据10分类数据集：
train_set、val_set、test_set 均为按照7：2：1划分训练集、验证集、测试集，最后保存数据
上图是数据的读取形式以及预处理思路
2.2 数据预处理，时频图像变换
我们提供了马尔可夫转换场 MTF 、递归图 RP 、格拉姆矩阵GAF、连续小波变换CWT、短时傅里叶变换STFT五种时频图像变换方法，可灵活替换多模态特征中的时频图像类型！
本文采用马尔可夫转换场 MTF来作为时频图像变换的处理方法，生成的时频图像如下所示：
3.创新模型效果展示
（1）模型训练可视化
（2）模型评估
50个epoch，准确率98%，用1D-GRU+2D-MTF-ResNet-CBAM网络分类效果显著，模型能够充分提取轴承故障信号的空间和时序特征，收敛速度快，性能优越，精度高，效果明显!
（3）混淆矩阵
其他可视化图：
（1）原始数据 t-SNE特征可视化
（2）模型训练后的 t-SNE特征可视化：
赞
收藏
回复
相关推荐
