当前位置:首页 > 科技资讯 > 正文

DeepSeek-V3.2-Exp模型发布:稀疏Attention机制助力高效推理

9月29日,备受瞩目的DeepSeek-V3.2-Exp模型正式发布,并已在Huggingface与魔搭开源。目前,官方App、网页端、小程序均已同步更新,同时API价格实现了大幅度下调。

据官方介绍,DeepSeek-V3.2-Exp模型是一个实验性版本,旨在探索新一代架构。它基于V3.1-Terminus,引入了创新的DeepSeek Sparse Attention(DSA)机制,针对长文本的训练和推理效率进行了优化和验证。

DSA机制实现了细粒度稀疏注意力,几乎不影响模型输出效果的同时,大幅提升了长文本训练和推理效率。这一突破性的进展为DeepSeek模型的性能提升奠定了坚实基础。

据“华为计算”微信公众号消息,昇腾已迅速基于vLLM/SGLang等推理框架完成适配部署,实现了对DeepSeek-V3.2-Exp的0day支持,并向开发者开源了所有推理代码和算子实现。

在研发新模型的过程中,DeepSeek团队设计和实现了众多新的GPU算子。他们使用高级语言TileLang进行快速原型开发,以支持更深入的探索。最终,以TileLang作为精度基线,逐步使用底层语言实现更高效版本。此次开源的主要算子包含TileLang与CUDA两种版本,建议社区在研究性实验时使用基于TileLang的版本。

DeepSeek-V3.2-Exp模型发布:稀疏Attention机制助力高效推理 DeepSeek-V3.2-Exp 稀疏Attention 开源 API降价 第1张

得益于新模型服务成本的大幅降低,官方API价格也相应下调。在新的价格政策下,开发者调用DeepSeek API的成本将降低50%以上。

DeepSeek于8月21日正式发布DeepSeek-V3.1,本次升级包括混合推理架构、更高的思考效率以及更强的Agent能力。而9月22日更新的DeepSeek-V3.1-Terminus版本则针对用户反馈进行了改进,包括语言一致性和Agent能力的优化。

为了严谨评估稀疏注意力机制的影响,官方将DeepSeek-V3.2-Exp的训练设置与V3.1-Terminus进行了严格对齐。在各领域公开评测集上,DeepSeek-V3.2-Exp的表现与V3.1-Terminus基本持平。