Transformer之父呼吁：放下KPI，重拾好奇心

Transformer之父「叛逃」？8年前掀起AI革命的男人，如今嫌「自己孩子」太吵太卷！当资本狂飙、论文堆积如山，他却高喊：是时候放弃Transformer，重新找回好奇心了。

Transformer「亲爹」跑路啦，说是烦透了「自己生的娃」！

还记得那篇8年前把「注意力机制」按在王座上的论文《Attention Is All You Need》吗？

共同作者Llion Jones最近在旧金山的TEDAI大会上当众「叛逃」：

AI研究正越做越窄，而他本人，准备把对Transformer的爱好调成「低电量模式」。

海量资金与人才反而让研究圈挤进死胡同，大家只顾卷参数、抢发论文，没人敢探索新架构。

钱越多，点子越少？

这是一种资本与论文KPI的奇妙化学反应。

Jones的主张很直白：前所未有的关注、资金和人才涌入之后，研究反而被「收窄」了。

为啥？

一边是投资人盯着回报，另一边是研究者担心被别人「抢先发」，人人都在拥挤赛道里拼命刷存在感。

结果呢？

赶工纸面成绩，挤牙膏式创新，和千人一面的论文标题。

他还搬出了课本里的老朋友：「探索vs.利用」。

现在的行业像把「利用」旋钮拧到11档：不停对同一架构打补丁、换皮肤、加大模型，再加点「我们又SOTA了」的调味包。

可真正的新路子，没人敢走，也没空走。

Jones在会议上说：未来每个人都会失去工作，这是一件好事

一段历史复盘：RNN年代的「徒手抛光」

Jones提醒大家想想Transformer出现前的日子！

当时研究圈正对RNN做无尽小改小优，就像给一块石头抛光一样。

一旦Transformer登场，前面那堆抛光操作立刻变得像「给马车装了碳纤维尾翼」！

很精致，但很不对路，甚至变得完全无用，现在还有谁再谈论RNN？

于是Jones担心我们是否又在重演历史：盯着一个8年前架构一直薅羊毛，薅到秃！

不停给马车打造各种好看的设备，却不知道拐弯看看路口是不是有飞船停靠。

Transformer是怎么「长大」的？

不是KPI，是自由！

这就是Transformer之父给出的答案。

最扎心的一段来自Jones的回忆：

那会儿他在谷歌做Transformer，是「午饭唠嗑+白板乱画」式的自下而上的。

既没人规定必须发几篇论文，也没人拉着耳朵对着某个指标冲线。

先有自由，后有灵感，这话听上去朴素，但如今反而成了稀缺品。

Sakana AI的「反内卷」实验

Llion Jones打算把探索旋钮拧回去。

Jones后来去日本创建了Sakana AI。

身为东京创业公司Sakana AI的CTO，Jones说他打算在实验室里复刻Transformer诞生前的「空气配方」：

少KPI，多好奇；少跟风，多自然启发。

“不是分手，是冷静期”：别把他当反对派

也许最具讽刺意味的是，Transformer可能是自身成功的受害者。