大模型的语言偏好：中文思考背后的秘密

就在不久之前，DeepSeek 推出了两款新模型：DeepSeek-V3.2 和 DeepSeek-V3.2-Speciale，它们在推理能力上取得了显著提升。DeepSeek-V3.2 可以与 GPT-5 正面交锋，而 Speciale 则在结合长思考和定理证明方面，表现堪比 Gemini-3.0-Pro。有读者评论称：“这个模型应该叫 V4，而不是 V3.2。”

海外研究者也急于尝试 DeepSeek 的新版本，赞叹其推理速度显著提升的同时，也遇到了一个令人困惑的现象：即使使用英文提问，DeepSeek 在思考过程中仍会切换到“神秘的东方文字”。

这一发现让海外友人感到困惑：明明没有用中文提问，为什么模型还会使用中文思考？难道用中文推理更好更快？

评论区对此有两种不同的看法，但多数评论认为：“汉字的信息密度更高。”

亚马逊的研究者也支持这一观点：

这一结论符合我们的日常认知：表达相同文本含义时，中文所需的字符量明显更少。如果大模型的理解与语义压缩相关，那么中文在压缩方面相比广泛使用英文更为高效。这或许也是“中文更省 token”说法的由来。

具有多语言能力的大模型如果只采用英语思考模式，会导致一些效率问题。不仅中文，采用其他非英语的语言进行推理确实能够有更好的表现。

一篇来自微软的论文《EfficientXLang: Towards Improving Token Efficiency Through Cross-Lingual Reasoning》发现，使用非英语语言进行推理不仅减少了 Token 消耗，还能保持准确性。即使将推理轨迹翻译回英语，这种优势依然存在。这表明这种变化源于推理行为的实质性转变，而非仅仅是表层的语言效应。

论文标题：EfficientXLang: Towards Improving Token Efficiency Through Cross-Lingual Reasoning

论文链接：[点击这里查看](https://www.arxiv.org/abs/2507.00246)

在论文中，作者评估了三个最先进的开源推理模型：DeepSeek R1、Qwen 2.5 (32B) 和 Qwen 3 (235B-A22B)。问题以英语呈现，但模型被明确指示以七种目标语言中的一种执行其推理步骤：中文 (zh)、俄语 (ru)、西班牙语 (es)、印地语 (hi)、阿拉伯语 (ar)、韩语 (ko) 和土耳其语 (tr)。最终答案必须以英语提供，以确保评估的一致性。

在所有评估的模型和数据集上，与英语相比，使用非英语语言进行推理始终能实现 20-40% 的显著令牌降低，而且通常不影响准确性。DeepSeek R1 的 token 减少量从 14.1%（俄语）到 29.9%（西班牙语）不等，而 Qwen 3 则表现出更显著的节省，韩语的减少量高达 73%。这些效率提升直接转化为推理成本降低、延迟更低和计算资源需求降低。

从实验结果来看，中文确实相比英文能够节省推理 token 成本，但并不是最具有效率的语言。

另一个研究论文同样支持这一观点。来自马里兰大学和微软的研究论文《One ruler to measure them all: Benchmarking multilingual long-context language models》提出了包含 26 种语言的多语言基准 OneRuler，用于评估大型语言模型（LLM）在长达 128K 令牌的长上下文理解能力。

论文标题：One ruler to measure them all: Benchmarking multilingual long-context language models

论文链接：[点击这里查看](https://www.arxiv.org/abs/2503.01996v3)

研究者们通过两个步骤构建了 OneRuler：首先为每个任务编写英语指令，然后与母语使用者合作将其翻译成另外 25 种语言。

针对开放权重和闭源语言模型的实验表明，随着上下文长度从 8K 增加到 128K token，低资源语言与高资源语言之间的性能差距日益扩大。令人惊讶的是，英语并不是长上下文任务中表现最好的语言（在 26 种语言中排名第 6），而波兰语位居榜首。在指令和上下文语言不一致的跨语言场景中，根据指令语言的不同，性能波动幅度可达 20%。

图 4：在长上下文任务（64K 和 128K）中，按语言资源组分类的各模型和语言的 NIAH 性能表现。Gemini 1.5 Flash 展现了最佳的长上下文性能，而出人意料的是，英语和中文并未进入排名前五的语言之列。

既然中英文都不是具有最佳大模型性能的语言，那么大模型选择思考语言的方式并不是完全以效率为先。

所以评论区的第二种观点：“训练数据中包含更多中文内容”，似乎更加合理。