振动序列与GAF图像融合自编码器

1. 核心工作总结

本周主要工作集中在 多模态神经网络 的构建与优化上。通过引入了 格拉姆角场 (Gramian Angular Field, GAF) ，实现了“一维时间序列”与“二维图像特征”的联合建模。此外，设计并完成了简易的消融实验。

2. 技术路线与方法

2.1 多模态融合架构

构建了一个多模态自编码器，旨在同时捕捉信号的时间依赖性和空间结构特征。

• 模态 A (Sequence): 原始一维振动信号，经过归一化处理。

• 模态 B (Image): 通过 GAF 变换将时间序列转化为二维图像。

模型结构设计 (Model Architecture):

1. 双路编码器 (Dual Encoders):

   • Cnn1dEncoder: 深度一维卷积网络，提取序列时序特征。

   • Cnn2dEncoder: 二维卷积网络，提取 GAF 图像的空间特征。

2. 特征融合 (Fusion): 将两路 Latent Vector 进行高维映射与融合。

3. 联合解码与重构: 模型同时输出重构的序列和重构的图像，损失函数综合考量两者误差。

3. 消融实验设计

设计了控制变量的消融实验。

实验设置:

• 实验组 (Multi-Modal): 完整的序列+GAF多模态模型。

• 对照组 (Seq-Only): 剔除图像分支，仅保留序列处理分支的模型（保持相同的层数和参数量级）。

• 评估方法:

  1. 使用完全相同的数据集划分进行训练。

  2. 在未见过的测试集 (Test Shots) 上进行推理。

  3. 对比指标：序列重构的 MSE Loss。

4. 结果展示与分析

带GAF的融合模型在序列数据重构上略差于单序列，单序列模型在反向传播时仅需要考虑序列本身重构mse，确实也不意外。不过带gaf的模型在训练过程中不容易过拟合。本次消融实验确实不够完备，需要引入”负样本“，具体查看模型的诊断性能。

5. 后续计划

• 扩展检测数据: 采用更多的训练与测试数据。

• 融合策略探索: 尝试不同的特征融合方式（如 Attention 机制）以进一步提升效果。

• 数据采集： 实现CFET数据采集振动

---

本文章使用limfx的vscode插件快速发布