Thinking Machines Lab揭秘：消除LLM推理中的非确定性

ThinkingMachines Lab终于揭开了神秘面纱！

就在最近，联合创始人、前OpenAI副总裁Lilian Weng透露了重要信息：

Thinking Machines的首代旗舰产品名为「Connection Machine」（联结机）。

据悉，Thinking Machines新开设了研究博客专栏「Connectionism」（联结主义），并发表了首篇博文「Defeating Nondeterminism in LLM Inference」（击败LLM推理中的非确定性）。

Thinking Machines在博文中介绍：

我们相信科学因分享而更美好。

Connectionism专栏将伴随我们的研究进程：从内核数值计算到提示工程。在这里，我们分享工作进展，并与研究社区保持频繁而开放的交流。

此外，还补充道，「Connectionism」这一名称可追溯至早期的AI时代——在1980年代，该术语指代专门研究神经网络及其与生物大脑相似性的子领域。

Lilian Weng还爆出了更多猛料，专栏之所以叫这个名称，是因为第一代旗舰模型就叫Connection Machine。不仅限于这篇博客文章，未来还有更多精彩内容即将发布！

难道Thinking Machines即将发布新模型了吗？

在期待新的LLM之前，让我们先看看Thinking Machines到底有哪些独门绝技，以及他们关注的研究领域。

传送门：https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/

据博文的主要作者Horace He介绍，这次博文主要探讨了一个重要话题——

LLM推理中的可复现浮点数（Reproducible floating point numerics in LLM inference）。

LLM推理中的非确定性难题

可复现性是科学进步的基石。然而，从大语言模型中获得可复现的结果却异常困难。

例如，你可能会观察到，多次向ChatGPT提出相同的问题会得到不同的回答。

这本身并不奇怪，因为从语言模型获得结果涉及「采样」：

将语言模型的输出转换为概率分布，概率性地选择一个token。

更令人惊讶的是，即使我们将temperature降至0（从而使采样在理论上是确定性的），LLM API在实践中仍然不是确定性的。