Transformer之父厌倦自身创造成果，警示AI研究陷入僵化危机

近日，VentureBeat发布的一篇文章在Hacker News社区中引发了热烈讨论。

作为革命性论文《Attention is all you need》的合著者，现任Sakana AI首席技术官的Llion Jones在最近的TED AI大会上公开表示，他已经对Transformer架构感到极度厌倦。

究竟是何种原因，促使这位Transformer的奠基人发出如此感慨？

在旧金山举办的TED AI大会上，Llion Jones指出：尽管AI领域正迎来史无前例的投资与人才涌入，但整个行业却僵化在单一架构方法上，这很可能使研究人员错失下一个重大突破。

他谈到：“虽然（该领域）从未获得过如此多的关注、资源、资金和人才，但这在某种程度上导致了我们研究视野的狭隘化。”他认为，根源在于投资者的回报需求以及研究人员在过度拥挤领域中力争上游的“巨大压力”。

当然，这一观点并非全新。但考虑到Llion Jones的身份，它依然令人震惊且更具分量。

如前所述，Jones是论文《Attention is all you need》的作者之一。不仅如此，正是他将这个后来改变世界的AI架构命名为“Transformer”。

请注意，该论文所有作者均为共同第一作者，姓名按随机顺序排列

如今，这篇发表于2017年的论文引用量已突破20万次，无疑是本世纪最具影响力的计算机科学论文之一（甚至可能没有之一）。

现在，作为总部位于东京的Sakana AI的CTO兼联合创始人，Jones却正在远离自己的创造。他表示：“我在今年初做出个人决定，将大幅减少在Transformer上投入的时间。目前，我正明确地探索并寻找下一个重大突破。”

资源增长，创新为何萎缩？

在Llion Jones的演讲中，AI领域面临着一个显著悖论：资源愈发丰富，但创造力却呈现下滑趋势。

他说，研究者们不断担忧自己的研究被从事相似想法的竞争对手“抢先”，学者们也倾向于选择安全、易于发表的项目，而非高风险、具潜在变革性的课题。

实际上，近期的报道中已出现两个突出案例。

其一是有四篇不同论文几乎同时提出了与谢赛宁表征自编码器（RAE）类似的思想；其二是智谱的Glyph与深度求索的DeepSeek-OCR撞车，均研究了以视觉方式token化文本的方法。

针对这种现象，Llion Jones进一步解释：“如果你现在从事标准的AI研究，你必须假设大约有三到四个其他团队在做非常相似甚至完全相同的工作。不幸的是，这种压力损害了科学，因为人们匆忙发表论文，从而扼杀了创造力。”

他从AI自身引出一个类比，即“探索与利用”的权衡：当一个系统过度“利用”而“探索”不足时，它会陷入平庸的局部最优解，同时错过更优的替代方案。他认为：“我们几乎可以肯定，AI行业目前正处于这种状态。”

这背后的含义引人深思。Jones回忆起Transformer出现前的时期，当时研究人员无休止地调整循环神经网络（RNN，此前的主导架构）以获取微小的增量收益。

当Transformer问世后，所有这些工作突然显得无关紧要。他提出问题：“你认为，如果那些研究人员知道像Transformer这样的突破即将到来，他们还会花费多少时间试图改进循环神经网络？”

他担心该领域正在重蹈覆辙。“我担心我们当前只专注于一种架构，不断对其进行排列组合和尝试，而真正的突破可能近在咫尺。”

《Attention is all you need》诞生于自由环境，而非压力驱动

为强调观点，Jones描述了Transformer诞生的条件，这与当今环境形成鲜明对比。他说，这个项目是“非常有机、自下而上”的，源于“午餐时的交谈或办公室白板上的随意涂鸦”。

Jones回忆道：“关键在于，我们最初并没有成熟的想法，但我们有自由真正花时间去钻研它……更重要的是，我们没有来自管理层的任何压力——没有要求必须做特定项目，或必须发表多少篇论文以提升指标。”

Jones暗示，这种自由在今天已普遍缺失。

即便是高薪聘请的研究人员，也可能感到无权冒险。他问道：“你认为当他们开始新职位时，他们是感到有权尝试自己疯狂、更具投机性的想法，还是感到巨大压力必须证明自身价值，并再次摘取那些唾手可得的成果？”

不知Meta的研究者对此有何看法。

研究自由胜过百万美元年薪？

Jones提出一个解决方案：调高“探索旋钮”，并公开分享研究成果，即使这会带来竞争代价。他承认自己立场的讽刺性。“听到Transformer的作者之一站在舞台上告诉你他已受够Transformer，这可能听起来有些争议……但这在某种程度上是合理的，对吧？除了其他七位作者，我研究Transformer的时间比任何人都长。”

Jones表示，在Sakana AI，他正试图重现Transformer出现前的环境，进行受自然启发的研究，并将追逐论文发表或与对手直接竞争的压力降至最低。他向研究人员提供了工程师Brian Cheung的格言：“你只应从事那些如果你不做就不会出现的研究。”

一个例子是Sakana的“连续思维机器”，它将类脑同步机制整合到神经网络中。

提出该想法的一名员工告诉Jones，如果在以前的雇主或学术职位上，他会面临质疑和压力，被认为浪费时间。在Sakana，Jones给了他一周期限探索。该项目最终大获成功，被AI顶级会议NeurIPS接收为Spotlight论文。

Jones甚至表示，在招聘方面，自由胜过薪酬。“这是吸引人才的非常、非常好的方式。”他谈到这种探索性环境时说。“想一想，有才华、聪明、有抱负的人，自然会寻找这样的环境。”

此前The Information报道称，Sakana AI将以25亿美元估值筹集1亿美元，这可能为其研究理念提供更多资金支持。

Transformer的成功，可能正阻碍AI的下一次突破

不仅如此，Llion Jones还暗示Transformer可能已成为自身成功的牺牲品。他说：“当前技术如此强大和灵活的事实，阻止了我们寻找更好的（技术）。不难理解，如果当前技术更差，将会有更多人寻找更好的替代品。”

他谨慎澄清，并非贬低正在进行的Transformer研究。“在现有技术上仍有大量重要工作要做，并将在未来几年带来巨大价值。我只是说，鉴于我们目前拥有的人才和资源，我们完全有能力做得更多。”

他最终传达的信息是合作而非竞争。Jones总结道：“坦率地说，从我的视角看，这不是一场竞赛。我们都有相同目标。我们都希望看到技术进步，以便所有人受益。因此，如果我们能共同调高探索旋钮，然后公开分享发现，我们就能更快实现目标。”

这一观点也是网友们关注和讨论的核心，在Hacker News上，许多人分享了自己的见解。

AI探索问题的高风险

这番言论发表于AI发展的关键节点。

越来越多证据表明：单纯构建更大的Transformer模型可能正接近收益递减的瓶颈。顶尖研究者已开始公开讨论当前范式是否存在根本局限性，一些人认为，要让AI系统持续进步并变得更强大，需要的是架构创新，而不仅仅是规模。

Jones的警告表明，要找到这些创新，可能需要颠覆现有的激励机制，即便这些机制推动了AI的近期的繁荣。每年数百亿美元流入AI研发，实验室间的激烈竞争导致保密文化加剧和论文发表周期缩短。他所描述的那种探索性研究环境似乎正渐行渐远。

然而，他的内部人士视角具有非凡分量。作为帮助创造当今主导技术的人，Jones既了解实现突破性创新所需的条件，也了解行业放弃这种创新方法的风险。他决定告别成就其声誉的Transformer架构，这为他的信息增添了可信度——否则，这些话可能只是标新立异。

当然，我们无法确定AI领域的巨头们是否会响应这一呼吁。

但Jones尖锐提醒人们注意风险所在：下一个Transformer规模的突破可能近在咫尺，正由那些拥有探索自由的研究人员追寻。它可能被束之高阁、无人探索；而与此同时，成千上万的研究人员竞相发表对某个架构的增量改进。

用Jones的话来说，这位Transformer架构的创造者之一已经“受够了它”。

Hacker News上的犀利评论

毕竟，他研究Transformer的时间比几乎任何人都长。他自然知道何时该翻篇了。

参考链接

https://venturebeat.com/ai/sakana-ais-cto-says-hes-absolutely-sick-of-transformers-the-tech-that-powers

https://arxiv.org/pdf/1706.03762

https://scholar.google.com/citations?user=_3_P5VwAAAAJ&hl=en

https://www.theinformation.com/articles/openais-japanese-rival-sakana-talks-raise-capital-2-5-billion-valuation

https://tedai-sanfrancisco.ted.com/speakers/2025/llion-jones/