清华大学团队突破AVSS瓶颈：6M参数模型实现高效语音分离

【导读】清华大学团队新推Dolphin模型，颠覆传统认知：仅需6M参数，通过创新视觉编码与热扩散注意力机制，实现单次推理精准分离语音，速度提升超6倍，多项基准测试中独占鳌头，为智能助听器、手机等设备带来高清语音分离新纪元。

视听语音分离（Audio-Visual Speech Separation, AVSS）技术旨在模拟人类「鸡尾酒会效应」，即利用视觉线索（如口型变化）从嘈杂背景中精准提取目标语音。此技术在智能助听器、移动通信等领域应用广泛，却长期面临性能与效率难以兼顾的困境。

针对此难题，清华大学计算机系胡晓林副教授团队推出高效AVSS模型Dolphin，通过离散视觉编码与物理启发热扩散机制，大幅减计算复杂度同时刷新性能记录。

Dolphin不仅是首个参数量压缩至6M级别且保持高质量与高性能的AVSS模型，更在GPU推理速度上实现相对现有顶尖模型6倍以上的飞跃。

论文地址：https://arxiv.org/pdf/2509.23610

论文主页：https://cslikai.cn/Dolphin/

代码地址：https://github.com/JusperLee/Dolphin

主流AVSS方法面临三大挑战：

• 视觉编码器「路径依赖」问题。现有方法依赖大型预训练编码器，导致计算量大；轻量化替代方案则易丢失语义信息。
• 迭代推理高延迟。轻量化模型通过多轮迭代提升性能，但显著增加推理时间和延迟。
• 特征建模局限性。传统模型难以兼顾全局语境与局部细节，处理复杂声学环境时易出错。

图1. Dolphin模型整体架构

针对上述问题，Dolphin提出完整解决方案，核心架构包含三大创新：

DP-LipCoder：双路径离散视觉编码器

设计基于矢量量化的双路径架构（如图2所示），结合重建路径与语义路径，确保轻量化同时获取高质量视觉语义。

图2. DP-LipCoder网络结构

GLA模块：全局-局部协同建模

采用单轮编码器-解码器架构，设计高效GLA模块（如图3所示），确保单次前向传播完成高质量分离。

图3. GLA模块结构示意图

直接特征回归机制

采用直接映射策略回归目标语音表征，提升信号还原度，在SI-SNRi指标上带来额外提升。

实验结果与性能突破

在LRS2、LRS3和VoxCeleb2数据集上，Dolphin展现卓越分离质量与性能：

• 分离质量领先：LRS2数据集上，Dolphin的SI-SNRi达16.8 dB，优于IIANet（16.0 dB）和AV-Mossformer2（15.1 dB）。
• 极高模型性能：总参数量仅6.22M，比IIANet减少50%以上；处理1秒音频仅需33.24毫秒，比IIANet快4倍以上。
• 高鲁棒性与优越听感：在复杂场景下表现鲁棒，主观听感测试中得分3.86，远超对比模型的2.24分。

总结

大模型技术推动AVSS发展，但对端上设备不友好。Dolphin打破固有思维，证明轻量化模型可超越大模型。通过创新表征与热扩散机制，为未来资源受限场景部署高精度语音分离提供新路径。