FISHER模型：多模态工业信号统一建模的新突破

近期，来自清华大学、上海交通大学、北京华控智加科技有限公司和华北电力大学的研究者联合发布了首个多模态工业信号基座模型FISHER，采用搭积木的方法对异质工业信号进行统一建模。目前技术报告和权重均已开源，欢迎使用！

论文链接：https://arxiv.org/abs/2507.16696

GitHub 仓库：https://github.com/jianganbai/FISHER

研究背景

近年来，随着工业设备中传感器的广泛应用，如何高效分析这些具有异质性的工业信号成为一大挑战。本文将此总结为M5问题：多模态、多采样率、多尺度、多任务和少故障。

现有方法大多局限于小范围的工业信号分析，未能充分利用大数据训练的潜力以及不同模态间的互补性。此外，每个子问题都需要单独开发和部署模型，增加了实际应用的复杂度。

研究动机

尽管工业信号表面差异大，但其内在特征和语义信息却存在诸多相似之处。基于此，我们认为可以使用单一模型对异质工业信号进行统一建模。通过scaling，模型可以逐渐学会这些相似性，从而发挥强大的表征能力。

FISHER 模型介绍

FISHER模型是首个面向多模态工业信号的基座模型，以子带为建模单元，通过堆积木的方式表征整段信号，可处理任意采样率的工业信号。

子带建模

FISHER采用短时傅里叶变换（STFT）作为信号输入特征，保证不同采样率下时频分辨率相同。对于多采样率问题，FISHER利用信号在不同采样率下的特点进行建模，而非进行重采样。

模型架构

FISHER包括1个ViT Encoder和1个CNN Decoder，采用「老师-学生」自蒸馏预训练。预训练结束后，仅保留学生Encoder用于后续评估。

RMIS 基准介绍

为评估模型性能，我们提出了RMIS基准，包含5个异常检测数据集和13个故障诊断数据集，涵盖4个模态。

实验结果

在RMIS基准上，FISHER的3个版本分别较基线提升了至少3.91%、4.34%和5.03%，展现出强大的泛化能力。

Scaling 效果

上图对比了各个模型的RMIS得分随模型大小变化的曲线。可以看到FISHER的曲线远高于基线系统，说明其预训练模式更优越，scaling更有效。