当前位置：首页 > 科技资讯 > 正文

InfLLM-V2：革新长文本处理的稀疏注意力框架

InfLLM-V2是一款先进的稀疏注意力模型，专为高效处理长文本序列而设计。它仅需少量长文本数据就能完成训练，同时保持与传统稠密模型相近的性能表现。通过动态切换短文本与长文本处理模式，该框架显著提升了长上下文任务的效率与质量。实现从短到长低成本的无缝切换，在预填充和解码双阶段均进行加速，从而充分释放长上下文的真正生产力。

高效处理长序列已成为大模型应用中的关键挑战。

传统稠密注意力机制在序列长度增加时，计算开销呈指数级增长，这直接限制了产品的可用性和成本控制。

为解决这一难题，清华大学、OpenBMB 和哈尔滨工业大学联合提出了 InfLLM-V2：一种无需额外参数、训练高效的原生稀疏注意力框架。

InfLLM 在短文本场景下保持原有的高效率，在长文本场景下则切换到稀疏模式，带来端到端的显著速度提升。

该方法仅使用 5B 的长文本词元即可完成稀疏注意力的训练（相比之下，DeepSeek-V3.2-Exp 训练了近 1T 词元的数据才实现相同能力）。

具体而言，InfLLM-V2 相比稠密注意力机制可实现最高 4 倍的速度提升，在长文本理解任务上保持 98.1% 的稠密模型性能，在深思考任务上保持 99.7% 的稠密模型性能。

InfLLM 具备三大核心优势

1. 低成本训练：仅需 5B 长文本数据即可完成稀疏注意力能力的训练，训练成本极低，适配周期短。

2. 短到长无缝切换、效率双优：零新增参数，短序列使用稠密注意力，长序列自动切换为稀疏注意力，完全契合「短序列预训练-长序列后训练」的主流范式，训练稳定、收敛迅速。

3. 高效算子实现：针对稀疏注意力中「相关上下文选择」（块选择）的时间瓶颈进行系统优化，提出硬件友好的高效实现，显著降低 HBM I/O 与计算开销，充分发挥稀疏注意力的全部潜能。

InfLLM-V2：革新长文本处理的稀疏注意力框架 稀疏注意力 长文本处理 训练效率 模型加速 第1张

论文链接：https://www.arxiv.org/pdf/2509.24663

模型链接：https://huggingface.co/openbmb/MiniCPM4.1-8B

InfLLM-V2 如何实现既「强」又「快」

在标准 Transformer 的自注意力机制中，每个查询词元 (Q[t]) 需要与所有历史词元 (K[:t]) 计算相似度并参与注意力计算。

在长上下文（通常涉及数十万词元）场景下，这会导致难以承受的时延和成本。实际上，长序列中绝大多数远距离注意力计算并非同等重要，注意力矩阵呈现出显著的「稀疏性」（多数注意力得分接近零）。

如果能够仅对「少量相关上下文」进行计算，就能大幅降低模型注意力计算的开销。

稀疏注意力将「每个查询词元都与所有键值交互」的稠密范式，转变为「每个查询词元只与一个选定子集交互」的稀疏范式。

InfLLM-V2：革新长文本处理的稀疏注意力框架 稀疏注意力 长文本处理 训练效率 模型加速 第2张

核心包括两个步骤：

块选择，将上下文拆分为键值块，并为每个查询确定需要参与注意力计算的键值子集；

稀疏注意力计算，仅在被选中的子集上进行注意力计算。

可训练的稀疏注意力在模型训练过程中即引入稀疏机制，能够系统性地提升模型在长文本场景下的效率与质量。

然而，现有代表性方法主要为 DeepSeek 提出的 NSA 架构。

NSA 虽然采用了成熟的块稀疏结构并配套专用 CUDA 内核，但其架构与主流的「短序列预训练—长序列微调」范式存在明显错配：引入三套独立的 KV 缓存与三种注意力分支，在「长序列微调」中会导致模型收敛不稳定，并且对短序列场景增加了大量额外开销。

InfLLM-V2：革新长文本处理的稀疏注意力框架 稀疏注意力 长文本处理 训练效率 模型加速 第3张

针对上述痛点，InfLLM-V2 提出「零额外参数、长短无缝切换」 的可训练稀疏路径，在不改变原有注意力参数的前提下，完成从稠密到稀疏的平滑切换。

无缝短长切换：仅用一套共享键值缓存（零额外参数），将 NSA 的多分支合并为单一分支；与稠密注意力在参数与计算方式上完全对齐，按序列长度动态切换稠密/稀疏模式，训练更稳定。

长短序列效率双优：短文本直接使用稠密注意力机制，零额外开销与性能回退；长文本采用统一的稀疏范式，实现 prefill 与 decode 全链路加速。

硬件友好的块选择：基于 MLP 的块压缩操作修改为无参数池化操作；压缩注意力（图中 Compressed Attention）修改为仅生成选择分数，计算 Top-K；配合 GQA 组内共享 Top-K，实现了更优的计算 Kernel 融合，避免块选择成为稀疏注意力的效率瓶颈。

在以上技术的支持下，InfLLM-V2 仅需使用 5B 词元即可高效完成稀疏注意力模型的训练！

与 DeepSeek Sparse Attention 对比

值得注意的是，在 9 月 29 日，DeepSeek-V3.2-Exp 中提出了 NSA 的升级版 —— DeepSeek Sparse Attention（DSA）。

DSA 摒弃了 NSA 中三套独立 KV 缓存与三种注意力分支的设计，并在后训练阶段引入稀疏注意力算法。

实验结论

研究人员基于 MiniCPM4 的基座模型，在长文本理解与深思考任务上对比了不同稀疏注意力算法的效果。

长文本理解任务

在长文本理解任务 RULER、LongBench 与 LongPPL 评测中，InfLLM-V2 实现了与稠密注意力模型完全可比的性能，展现了其优越性。其他稀疏注意力方法在一定程度上会导致模型性能下降。

NSA 方法新增了大量参数，在少量的长文本训练后，模型难以捕捉长上下文中的前后语义关联。

InfLLM-V2：革新长文本处理的稀疏注意力框架 稀疏注意力 长文本处理 训练效率 模型加速 第4张 InfLLM-V2：革新长文本处理的稀疏注意力框架 稀疏注意力 长文本处理 训练效率 模型加速 第5张

深思考任务

在数学、代码深思考任务中，InfLLM-V2 能够实现与稠密注意力可比的性能，而 NSA 方法却对模型效果有较大的损害。

随着越来越多任务要求模型进行更深入的推理与分析，「如何高效加速模型的思考过程」已成为当下重要研究方向。InfLLM-V2 充分展现了稀疏注意力在深思考场景下的潜力。

InfLLM-V2：革新长文本处理的稀疏注意力框架 稀疏注意力 长文本处理 训练效率 模型加速 第6张

效率评测

研究人员在 A100 与 4090 两款芯片上对 InfLLM-V2 进行了推理效率评测。

结果表明，InfLLM‑V2 相对稠密注意力可获得显著加速，在 128K 长文本中，InfLLM-V2 可实现 4-9 倍的算子加速比。

分解分析与消融实验表明，高效块选择设计是关键加速来源。

端到端评测中，InfLLM‑V2 在 prefill 与 decode 阶段分别实现约 2.1× 与 2.3× 的加速。

InfLLM-V2：革新长文本处理的稀疏注意力框架 稀疏注意力 长文本处理 训练效率 模型加速 第7张

算子速度测评

InfLLM-V2：革新长文本处理的稀疏注意力框架 稀疏注意力 长文本处理 训练效率 模型加速 第8张

端到端速度测评

首个开源原生稀疏注意力模型 MiniCPM4/MiniCPM4.1

在今年 6 月，OpenBMB 联合清华大学提出了 InfLLM-V2 架构，并基于该架构共同发布了首个开源的原生稀疏注意力模型 MiniCPM4，并在 9 月初开源了混合思考版本 MiniCPM4.1。

MiniCPM4.1 在众多深思考任务上取得综合平均分同尺寸模型第一的成绩。

MiniCPM4.1 充分利用稀疏注意力、投机采样等高效算法，在 LiveCodeBench、AIME 等代码、数学推理的测试中，推理速度比 Qwen3-8B 等同尺寸开源模型快 3 倍以上。

InfLLM-V2：革新长文本处理的稀疏注意力框架 稀疏注意力 长文本处理 训练效率 模型加速 第9张

研究人员表示，将持续优化 InfLLM-V2 的训练算子与推理算子，将其集成至 SGLang 等主流推理框架中。

同时，为了促进稀疏注意力机制的研究，也将陆续开源论文中使用到的基座模型（Base 模型）与长文本训练数据。

参考资料：

https://www.arxiv.org/pdf/2509.24663

阿里云服务器免费vps高防服务器
本文由主机测评网于2026-01-06发表在主机测评网_免费VPS_免费云服务器_免费独立服务器，如有疑问，请联系我们。
本文链接：https://www.vpshk.cn/20260115382.html

相关文章