Transformer创始人呼吁AI研究超越内卷，重拾探索好奇心

Transformer之父「叛逃」？8年前掀起AI革命的男人，如今嫌「自己孩子」太吵太卷！当资本狂飙、论文堆积如山，他却高喊：是时候放弃Transformer，重新找回好奇心了。

Transformer的联合创始人之一Llion Jones近日公开表达了对当前AI研究生态的失望，称其厌倦了由自己参与开创的架构所引发的过度竞争。

回顾八年前那篇奠定「注意力机制」核心地位的里程碑论文《Attention Is All You Need》，

其作者Llion Jones在旧金山TEDAI大会上公然「转向」：

AI研究领域正变得越来越狭隘，而他个人计划降低对Transformer的关注度。

巨量资金与顶尖人才的涌入反而将研究圈逼入了狭窄的赛道，众人只顾着比拼参数规模、争夺论文首发，无人敢于尝试全新的基础架构。

资源过剩，创意枯竭？

这形成了一种资本与论文绩效指标驱动的奇特现象。

Jones的观点十分明确：在获得史无前例的关注度、资金和人力投入之后，研究视野反而被「收缩」了。

原因何在？

一方面投资者紧盯着回报率，另一方面研究人员生怕被他人「抢发成果」，每个人都在拥挤的领域里竭力证明自己的存在。

最终结果如何？

制造大量纸面成果，进行边际式创新，以及千篇一律的论文标题。

他引用了理论中的经典概念：「探索与利用」的平衡。

如今的行业仿佛将「利用」的旋钮拧到了极致：不断对同一架构进行修补、包装、扩大规模，再佐以「我们再次实现了SOTA」的宣传。

然而，真正具有颠覆性的新路径，却无人敢于涉足，也无暇探索。

Jones在会议上表示：未来每个人都会失去工作，但这或许是一件好事

历史镜鉴：RNN时代的「精雕细琢」

Jones提醒众人回顾Transformer诞生之前的岁月！

那时研究界正对RNN进行着无限细微的改进，仿佛在徒手打磨一块石头。

一旦Transformer横空出世，之前所有的打磨努力瞬间显得如同「为马车安装碳纤维尾翼」！

极其精致，却完全偏离了方向，甚至变得毫无价值，如今还有谁在讨论RNN？

因此Jones担忧我们是否正在重蹈覆辙：围绕一个八年前的架构不断索取，直至枯竭！

持续为马车装配各种华美附件，却不愿转头看看路口是否停靠着更先进的飞行器。

Transformer的「成长」秘诀

非绩效驱动，乃自由孕育！

这即是Transformer创始人给出的核心答案。

最令人深思的一段来自Jones的回忆：

当年他在谷歌研发Transformer时，是「午餐闲聊+白板涂鸦」式的自下而上过程。

既无人硬性规定论文发表数量，也无人拽着耳朵要求达成某个特定指标。

先有毫无拘束的自由，而后灵感自然涌现，这话听起来简单，但在当今环境下却成了稀有之物。

反观现在：即便年薪高达七位数，许多人也不敢轻易「冒险尝试」。

新入职的第一天，谁不是先想着稳住绩效表现？

于是低风险、易发表、见效快的研究方向，自然被提到了最高优先级。

想象力？创造力？

暂且靠后等待吧。

Sakana AI的「反内卷」实践

Llion Jones决意将探索的旋钮重新调大。

Jones后来前往日本共同创立了Sakana AI。

作为东京创业公司Sakana AI的首席技术官，Jones表示他试图在实验室内重现Transformer诞生之前的「氛围配方」：

减少KPI，激发好奇心；减少跟风，增加自然启发。

他还向团队推崇一句研究格言：

You should only do the research that wouldn"t happen if you weren"t doing it.

你只应该做那些如果不是你来做就不会发生的研究。

——来自工程师Brian Cheung

在这种环境下诞生成果的一个例证是Sakana的「连续思维机器」，它在神经网络中引入了类似大脑的同步处理机制。

一位提出该想法的员工告诉Jones，若是在之前的雇主或学术机构，他会面临质疑并被劝阻不要浪费时间。

在Sakana，Jones给予了他一周时间去自由探索。

该项目取得了足够进展，甚至在NeurIPS等大型AI会议上获得了展示席位。

Jones甚至强调，在人才招聘中，自由探索的环境比高薪更具吸引力。

谈及这种探索性氛围时他说：「这是吸引顶尖人才的一种非常非常有效的方式。试想，有才华、聪明且富有野心的人，自然会追寻这样的环境。」

此举证明——科研自由有时比高额薪酬更能吸引人才。

聪明人对自由的渴望，往往超越对金钱的单纯追求。

「并非决裂，而是反思」：勿将其视为反对者

或许最具讽刺意味的是，Transformer可能成为了自身成功的牺牲品。

当前技术如此强大且灵活……这反而阻碍了我们寻找更优技术的动力。如果现有技术更差一些，或许会有更多人积极寻求更好的方案，这合乎逻辑。

Jones并非意图将Transformer彻底抛弃。

他明确表示：现有技术之上仍有大量重要工作可做，未来数年它将继续创造价值。

只是以行业当前的人才与资源密集度，我们完全「负担得起」进行更多的探索性研究。

Transformer的强大效能，正消磨着我们追寻「更优」技术的冲动。

倘若现有技术稍显不足，人们反而会更积极地四处寻觅下一个突破。

从「军备竞赛」转向「开源共享」

在演讲尾声，Jones以开放姿态总结：这并非一场「非赢即输」的竞争，而是一次集体解谜之旅。

如果大家能共同将探索的旋钮调大一些，并乐于公开分享有趣的发现，那么通往下一个「Transformer级」突破的道路，可能比想象中更近。

AI领域的掌舵者们（无论是OpenAI、谷歌还是其他巨头）是否会响应这一呼吁尚未可知。

但Jones提出了一个尖锐的提醒：下一次达到Transformer级别的突破或许近在咫尺。

毕竟，他在Transformer领域深耕的时间比绝大多数人都要长久。

他理应知道何时该转向新的方向。

Transformer八位联合开创者今何在

Transformer架构奠定了当今的AI时代基石，几乎所有基础模型都以其为蓝本构建。

「按词元输出，一个接一个」的简单模式在庞大算力支撑下，演变为新时代的AI魔法。

Transformer催生了ChatGPT、Gemini、Claude等诸多前沿产品。

更重要的是，它引领人类真正迈入了生成式AI的新纪元。

人类与生成式AI的命运交汇点始于2017年6月12日周一下午17点57分。

Transformer的影响力仍在持续发酵！

截至今日，这篇开创性论文的引用次数已突破18万次！

令人不禁好奇，除了Jones，其他几位作者现今身处何方？

曾携手打造谷歌最强Transformer的「开创者们」如今也已各奔前程。

· Ashish Vaswani

Essential AI联合创始人兼CEO

曾表示希望将EssentialAI打造成「西方的DeepSeek」（源自2025年6月17日采访）。

· Noam Shazeer

已回归谷歌；担任Gemini技术共同负责人

· Niki Parmar

Anthropic技术团队成员。

此前与Vaswani共同创办EssentialAI，更早时为Adept联合创始人

2024年底至2025年初已加入Anthropic。

EssentialAI的联合创始人之一。

· Jakob Uszkoreit

Inceptive Nucleics联合创始人兼CEO

2025年登台TED AI SanFrancisco分享「AI如何绕开传统科学」的新思路；持续推动「生物软件」方向。

· Llion Jones

SakanaAI联合创始人兼CTO

外媒报道SakanaAI正洽谈新一轮融资，目标估值约25亿美元。

采访中直言「已对Transformer感到厌倦」，转而主打「演化式模型合并」等新架构路径。

媒体采访介绍其在东京推进“自然启发”的集体智能路线。

· Aidan N.Gomez

Cohere联合创始人兼CEO

表示Cohere计划很快启动IPO（源自2025年10月21日多家媒体现场采访）。

公司估值已升至约70亿美元。

经营数据：年化收入达1亿美元、专注于企业私有部署与代理平台North。

· Lukasz Kaiser

OpenAI研究员

2025年10月在OpenAI Forum发表「从Transformer到Reasoners」的主题演讲。

· Illia Polosukhin

NEAR Protocol联合创始人

主张User-OwnedAI，推进「用户所有的AI」与隐私保护AI原生应用。

在NVIDIA GTC 2025分享「机密、可验证AI计算」。

八年前一篇看似普通的论文，却彻底改写了人类的生成式AI进程。

这份曾被低估的研究，已然开启了AI的宏大时代。

它的传奇，远未落幕。

参考资料：

https://venturebeat.com/ai/sakana-ais-cto-says-hes-absolutely-sick-of-transformers-the-tech-that-powers