Thinking Machines Lab 破解AI随机性难题：批次不变内核技术引领模型稳定性革命

当使用人工智能审查同一份合同时，系统两次生成的风险评估报告可能存在差异；向智能客服咨询完全相同的问题，获得的答复也可能不一致。

这种输出结果的随机性，已成为人工智能行业长期面临的核心技术挑战。

由OpenAI前首席技术官Mira Murati创立的Thinking Machines Lab（简称TML），正聚焦于这一痛点展开深入研究，其最新技术进展有望为提升AI系统的可靠性提供关键解决方案。

Thinking Machines Lab：产品未面世即获巨额资本青睐

2025年2月，在离开OpenAI四个月后，Mira Murati正式创立了Thinking Machines Lab。

令人瞩目的是，这家公司在成立仅七个月、尚未发布任何产品的情况下，便成功完成了高达20亿美元的种子轮融资，公司估值飙升至120亿美元。

本轮融资由硅谷顶级风投机构a16z领投，英伟达、AMD、思科等科技巨头也参与了投资。

TML目前拥有约30名成员，其中三分之二的核心员工来自OpenAI，这包括了OpenAI联合创始人John Schulman、前研究副总裁Barret Zoph，他们都是ChatGPT背后关键技术的奠基者。

值得一提的是，AI安全专家Andrew Tulloch拒绝了扎克伯格高达15亿美元的召回邀请，转而选择加入TML团队。

Murati创立TML的核心理念，与她任职OpenAI期间的深度观察一脉相承。

在推动ChatGPT向公众开放的过程中，她深刻意识到，人工智能的能力越强大，解决其输出可靠性的问题就越发紧迫。

Murati在一次公开访谈中指出，当前AI系统的输出结果仍存在显著的不可控性。

TML的核心使命并非单纯追求更庞大的模型，而是致力于弥合AI现有能力与人类实际应用需求之间的鸿沟。

AI随机性的根源探析：批次处理策略导致的计算偏差

9月11日，TML在其研究博客“Connectionism”上发表了首篇重磅文章，首次明确了导致AI输出随机性的根本成因。

过去，业界部分观点将AI对同一问题给出不同答案的现象归咎于“随机种子”的设置差异。然而，TML的研究揭示，其核心根源在于“批次处理”这一底层技术细节。

更为关键的发现是，服务器端并行计算策略的动态调整，才是最终导致输出结果不确定性的根本原因。

简而言之，当服务器同时处理海量用户的AI请求时，会将不同任务打包成规模不等的“数据批次”进行并行计算。

批次的大小、输入序列的长度以及键值（KV）缓存的状态等因素，会动态影响GPU计算内核的调度策略，从而改变实际的计算执行顺序。

此外，计算机在进行浮点数运算时，类似(a+b)+c与a+(b+c)这种结合顺序的不同，也可能产生微小的数值误差。

这些细微的差异在深度神经网络的前向传播过程中会被逐层放大，如同滚雪球效应，最终导致模型对相同的输入产生截然不同的输出结果。

TML的破局之道：“批次不变内核”确保输出确定性

为攻克这一长期顽疾，TML团队提出了名为“批次不变内核”的创新性技术方案。

该方案的核心原则是：无论系统处理的数据批次大小如何变化、如何进行分组，AI模型中关键的计算组件都必须遵循完全一致的执行路径，确保输出结果的比特级一致性。

团队特别针对现代大语言模型中至关重要的三个计算模块——RMSNorm、矩阵乘法与注意力机制，设计了专用的优化算法，旨在确保任何负载条件下计算流程的绝对稳定。

为确保方案的有效性，团队使用参数量高达2350亿的Qwen3-235B-A22B-Instruct-2507模型进行了 rigorous 测试。

在传统系统中，同一问题重复测试1000次可能产生多达80种不同的答案变体。然而，在应用了batch-invariant方案后，只要输入文本完全一致，模型每次都能生成完全相同的输出，这在大语言模型的发展历程中实现了零的突破。

在初期测试中，新方案曾导致模型推理速度下降约50%。但经过一系列深度优化，目前的性能损耗已控制在可接受的实用范围内。

这项技术突破对于高风险行业具有至关重要的现实价值。

在医疗诊断领域，若AI辅助系统对同一患者的CT影像给出前后矛盾的分析，将严重干扰医生的临床决策，甚至危及患者安全；

在金融风控场景中，AI模型对同一笔贷款申请的信用评估若出现波动，不仅可能导致风险误判，更可能触及监管合规的底线。

TML研发的这项新技术，犹如为高敏感性行业的AI应用加装了一把“确定性之锁”，极大地提升了其可靠性与可信度。

行业应用新范式：让AI决策过程告别“黑箱”玄学

Murati及其团队当前的研究方向，与大多数追逐模型规模扩张的AI公司形成了鲜明对比。

当其他企业致力于让AI生成更丰富内容时，TML却逆向而行，专注于如何使AI的行为表现更加稳定、可预测，并致力于让公众能够理解其内部的“思维”过程。

这一研究方向深深植根于Murati在OpenAI的实践经验。作为深度参与前沿AI开发的领导者，她既深刻理解大模型的巨大潜力，也清醒认知技术失控可能带来的风险。

团队将研究博客命名为“Connectionism”（联结主义）别具深意，这一术语源于上世纪80年代，旨在探索神经网络与生物大脑运作机理的相似性。

Murati希望通过这些回归基础的研究，彻底厘清AI的运作“底细”，打破其被视为神秘“黑匣子”的认知，推动技术走向透明与可信。

目前，TML尚未公布具体的产品商业化路线图，但其技术在金融与医疗等高合规要求领域已引发了广泛而浓厚的兴趣。

赋予机器思维以可预测性，虽然并非直接拓展AI的能力边界，但对于确保人工智能技术安全、负责任地融入社会经济生活至关重要。

正如Murati所言，产业界需要的并非不可控的AI输出，而是稳定、可靠、值得信赖的智能决策。