突破细粒度识别：北大团队引领多模态大模型创新

目前，多模态大模型在复杂多模态任务上表现出色，但在细粒度视觉识别方面明显滞后于其依赖的视觉编码器（如CLIP）。

针对此，北京大学彭宇新教授团队在细粒度多模态大模型领域进行了深入研究，最新研究相关论文已被ICLR 2026接收，并已开源。

我们所处的真实世界具有细粒度的特性，对象通常包含丰富的类别层次。以飞机为例，“飞机”作为粗粒度大类，可细分为“波音707”、“波音717”、“波音727”等上百种细粒度子类。据统计，民用飞机数据库收录全球固定翼飞机种类超过500种，且这一数据仍在增长。实现对任意类别视觉对象的细粒度识别，在现实生产和生活中具有重要的研究和应用价值。

图1.细粒度视觉识别大模型（Fine-R1）总览

细粒度视觉识别大模型旨在利用多模态大模型蕴含的丰富细粒度子类知识及生成式类别名称解码范式，突破传统识别方法的局限，实现开放域中任意类别视觉对象的细粒度识别。

然而，多模态大模型的细粒度视觉识别能力依赖大量训练数据，但细粒度标注数据收集难度大、成本高，无法满足大模型训练所需的标注数据规模。此外，大模型在有限子类别的数据上训练后，难以泛化到训练集外的子类别，无法识别开放域中的细粒度子类。

针对上述问题，北京大学彭宇新教授团队提出了思维链推理增强的细粒度视觉识别大模型Fine-R1，通过思维链监督微调与三元组增强策略优化，提升了大模型运用训练集已有细粒度子类知识推理未见子类别的能力。在仅需每类4张训练图像的情况下，Fine-R1对训练集内外子类别的识别准确率均超越了OpenAI的CLIP、谷歌DeepMind的SigLIP等判别式模型。

两阶段方案

图2.细粒度视觉识别大模型（Fine-R1）框架图

如图2所示，Fine-R1构建过程包含两个主要步骤：

1. 思维链监督微调：模拟人类思考过程，通过结构化思维链的监督微调，为多模态大模型快速构建推理能力。

2. 三元组增强策略优化：在强化微调过程中，选取正样本（同一子类别）和负样本（不同子类别），通过引入正样本的思考轨迹，提升大模型对类内差异的鲁棒性；通过最大化输入图像与负样本的预测分布差异，提升大模型对类间差异的辨识性。

阶段I：思维链监督微调。首先，基于Qwen2.5-VL-32B为少量细粒度视觉识别数据构建结构化思维链，将推理过程拆解为视觉分析、候选子类别生成、对比分析以及最终预测四个步骤。然后，利用思维链数据对基础模型进行监督微调，促进模型利用训练集已有子类别知识，为输入图像生成候选子类别，再通过对比分析从中锁定最终的预测结果。

阶段II：三元组增强策略优化。在思维链监督微调后，针对细粒度视觉识别“类内差异大、类间差异小”的问题，进一步优化模型的推理路径。为每张输入图像匹配一张来自同一子类别的正样本图像及一张外观上高度相似但属于不同子类别的负样本图像，构成三元组，实现类内增强与类间增强。

实验结果

表1展示了在6个权威细粒度图像分类数据集上的封闭式识别（多选题）结果。在每类仅需4张训练图像的情况下，Fine-R1对训练集内外子类别的识别准确率均超越了主流模型。

表2展示了开放式识别（问答题）结果。同样地，在每类仅需4张训练图像的情况下，Fine-R1对训练集内外子类别的识别准确率超越了主流的通用多模态大模型与推理大模型。

图3展示了正负样本对可视化结果。为探究Fine-R1提升的原因，提出了三个假设。实验分析表明，Fine-R1主要通过提升“模型运用细粒度子类别知识的能力”提高了识别准确率。

图4展示了Fine-R1的案例。通过逐步推理准确识别细粒度子类别。