Transformer 之父“叛逃”：我已经受够了 Transformer！警告：AI研究变得越来越窄，我们需要找到新的架构 原创

编辑 | 听雨

出品 | 51CTO技术栈（微信号：blog51cto）

“我真的已经受够了 Transformer。”——这句话来自 Transformer 的共同作者、Sakana AI 联合创始人 Llion Jones。

在旧金山 TED AI 大会上，这位被誉为“生成式 AI 时代奠基人”的研究者，突然“开炮”——不仅公开批评了整个 AI 行业的研究方向，还宣布自己已经“离开 Transformer”，开始寻找下一次重大突破。

要知道，Transformer 正是 ChatGPT、Claude、Gemini、Llama 等几乎所有主流大模型的核心技术。而如今，它的发明人之一却亲口说：“我不干了。”

图片

“AI 研究正在变得越来越窄”

Llion Jones 是 2017 年那篇改变 AI 历史的论文《Attention Is All You Need》的作者之一，也是“Transformer”这个词的命名者。

Image

这篇论文被引用超过 10 万次，堪称计算机科学领域的“圣经级”成果。

但在 TED AI 的演讲上，Jones 却直言：

“尽管现在 AI 领域投入了前所未有的资金与人才，研究却变得越来越狭窄。”

他认为，这种局面不是偶然，而是被资本和竞争压力挤压出来的结果——投资人要求回报，研究员害怕“被抄”，于是大家都选择安全、可发表的项目，而不是去探索真正未知的方向。

结果呢？“AI 研究陷入了‘剥洋葱’式的自我复制。大家都在围着同一个框架打转——换个超参、堆点数据、再发一篇论文。”

“我们可能又在错过下一个突破”

Jones 提出了一个形象的比喻——AI 算法有个经典的平衡：“探索 vs 利用”（exploration vs exploitation）。

图片

如果一个系统只是一味利用已有成果，而不去探索新方向，它就会陷入“局部最优”，错过真正更好的解法。

“AI 领域现在就是这样。”Jones 说。“我们太沉迷于 Transformer 的成功，以至于忘了往外看。也许下一个革命性架构，就在不远处。”

Transformer 诞生于“没有 KPI 的自由”

Jones 回忆起当年在Google发明 Transformer 的经历时，语气明显柔和了。

“那是一个非常自由、非常自然的过程——我们没有明确的项目要求，也没有指标压力。只是午饭时聊出来的点子，随手在白板上写写画画。”

没有 OKR、没有 deadline，也没有资本的紧逼。

正是这种“无压力的研究环境”，让 Transformer 这场技术革命得以诞生。

而如今的 AI 公司，Jones 说，哪怕给研究员上百万年薪，也无法给他们真正的自由。

“他们一上班就感到必须‘证明自己’，于是继续追逐低风险、能发论文的方向。”

Sakana AI：离开 Transformer 的实验室

作为 Sakana AI 的 CTO，Jones 现在正尝试“重建”那种原始的自由：以自然启发为灵感的研究方向，极少的成果压力，也不强迫研究者为了论文或竞争对手而忙碌。他引用工程师 Brian Cheung 的一句话作为研究准则：

“你应该只去做那些，如果不是你，这个世界上就不会有人去做的研究。”

这家总部位于东京的 AI 实验室正在研究一种名为 “连续思考机”（Continuous Thought Machine） 的新架构——灵感来自神经同步的自然现象，它将大脑式的同步机制引入神经网络中。

图片

一位提出这个想法的员工告诉 Jones，在他以前的公司或学术机构，类似的想法会被认为“浪费时间”。但在 Sakana，Jones 给了他一周自由探索的时间——结果，这个项目最终成功入选顶级 AI 学术会议 NeurIPS 的展示。

Jones 甚至提出，自由比高薪更能吸引人才。

“这是吸引人才的极好方式，”他这样评价这种“探索型”研究环境，“想一想，那些聪明、有野心、真正热爱探索的人，自然会主动寻找这样的地方。”

“这不是竞争，而是探索”

最后，Jones 呼吁整个行业：“我们不是在竞争，而是在共同探索。如果大家都能多一点分享、多一点冒险，我们也许能更快走向下一个重大突破。”

业界越来越多证据表明，单纯扩大 Transformer 模型规模 已接近极限。许多顶级研究者开始讨论：或许新的架构创新，而非参数堆叠，才是迈向更强 AI 的关键。

但他也警告，这一突破可能永远不会出现——除非我们打破现有的激励机制：金钱、竞赛、论文、排名……这些正让研究者远离真正的探索。

作为 Transformer 的共同创造者，Jones 对这一局限的洞察极具分量。他选择“告别自己的发明”，也让他的观点更具说服力。

“也许下一个 Transformer 级的突破，就在拐角处。但也可能被忽视——因为我们都忙着改良一个我已经‘厌倦’的架构。”

毕竟，他是少数真正了解 Transformer 从诞生到极限的人之一。如果连他都觉得该向前走——那也许真是时候了。

Transformer 八位作者的去向

2017 年那篇改变 AI 进程的论文《Attention Is All You Need》，有 8 位作者。八年后，他们已各自踏上完全不同的航线——

Ashish Vaswani 创立了 Essential AI；Noam Shazeer 离开Google创办 Character.AI，又重回 Gemini 项目；Aidan Gomez 在 Cohere 带领团队探索企业级 LLM；Jakob Uszkoreit 转向生物科技 AI，创办 Inceptive；Llion Jones 离开Transformer阵营，创立 Sakana AI 研究“后 Transformer 时代”；Łukasz Kaiser 加入 OpenAI 继续推动推理模型发展；Illia Polosukhin 则投身 区块链领域，打造 NEAR Protocol；而 Niki Parmar 仍保持低调，鲜少公开露面。

从科研到创业、从语言模型到生物智能，他们几乎代表了 AI 行业的所有分支方向。这一幕像极了 Transformer 自身的命运：从单一架构出发，衍生出无数变体与未来。

当年那群年轻研究者改变了人工智能的轨迹；如今，他们又在各自的探索中，追寻下一个“Attention is all you need”时刻。

参考链接：https://venturebeat.com/ai/sakana-ais-cto-says-hes-absolutely-sick-of-transformers-the-tech-that-powers

本文转载自​​51CTO技术栈​​，作者：听雨