分手信-在线观看-美国2010电影,战争片片-瓜子影视

Transformer之父「叛逃」？8年前掀起AI革命的男人，如今嫌「自己孩子」太吵太卷！当资本狂飙、论文堆积如山，他却高喊：是时候放弃Transformer，重新找回好奇心了。

Transformer「亲爹」跑路啦，说是烦透了「自己生的娃」！

还记得那篇8年前把「注意力机制」按在王座上的论文《Attention Is All You Need》吗？

共同作者Llion Jones最近在旧金山的TEDAI大会上当众「叛逃」：

AI研究正越做越窄，而他本人，准备把对Transformer的爱好调成「低电量模式」。

海量资金与人才反而让研究圈挤进死胡同，大家只顾卷参数、抢发论文，没人敢探索新架构。

钱越多，点子越少？

这是一种资本与论文KPI的奇妙化学反应。

Jones的主张很直白：前所未有的关注、资金和人才涌入之后，研究反而被「收窄」了。

为啥？

一边是投资人盯着回报，另一边是研究者担心被别人「抢先发」，人人都在拥挤赛道里拼命刷存在感。

结果呢？

赶工纸面成绩，挤牙膏式创新，和千人一面的论文标题。

他还搬出了课本里的老朋友：「探索vs.利用」。

现在的行业像把「利用」旋钮拧到档：不停对同一架构打补丁、换皮肤、加大模型，再加点「我们又SOTA了」的调味包。

可真正的新路子，没人敢走，也没空走。

Jones在会议上说：未来每个人都会失去工作，这是一件好事

一段历史复盘：RNN年代的「徒手抛光」

Jones提醒大家想想Transformer出现前的日子！

当时研究圈正对RNN做无尽小改小优，就像给一块石头抛光一样。

一旦Transformer登场，前面那堆抛光操作立刻变得像「给马车装了碳纤维尾翼」！

很精致，但很不对路，甚至变得完全无用，现在还有谁再谈论RNN？

于是Jones担心我们是否又在重演历史：盯着一个8年前架构一直薅羊毛，薅到秃！

不停给马车打造各种好看的设备，却不知道拐弯看看路口是不是有飞船停靠。

Transformer是怎么「长大」的？

不是KPI，是自由！

这就是Transformer之父给出的答案。

最扎心的一段来自Jones的回忆：

那会儿他在谷歌做Transformer，是「午饭唠嗑+白板乱画」式的自下而上的。

既没人规定必须发几篇论文，也没人拉着耳朵对着某个指标冲线。

先有自由，后有灵感，这话听上去朴素，但如今反而成了稀缺品。

再看现在：就算年薪上七位数，许多人也未必敢「瞎折腾」。

新岗位第一天，谁不想先稳住绩效？

于是低风险、可发表、见效快，自然优先级飙升。

想象力？创造力？

先等一等吧。

Sakana AI的「反内卷」实验

Llion Jones打算把探索旋钮拧回去。

Jones后来去日本创建了Sakana AI。

身为东京创业公司Sakana AI的CTO，Jones说他打算在实验室里复刻Transformer诞生前的「空气配方」：

少KPI，多好奇；少跟风，多自然启发。

他还给团队安利了一句研究格言：

You should only do the research that wouldn't happen if you weren't doing it.

你只应该做那些如果不是你来做就不会发生的研究。。

——来自工程师Brian Cheung

在这种环境诞生成果的一个例子是Sakana的「连续思维机器」，它在神经网络中融入了类似大脑的同步机制。

一位提出该想法的员工告诉Jones，在以前的雇主或学术岗位上，他会面临怀疑并受到不要浪费时间的压力。

在Sakana，Jones给了他一周时间去探索。

该项目取得了足够的成功，甚至在大型AI会议NeurIPS上获得了展示机会。

Jones甚至表示，在招聘中，自由胜过报酬。

他谈到这种探索性环境时说：「这是吸引人才的一个非常非常好的方式。想想看，有才华、聪明、有野心的人，自然会去寻找这种环境。」

这波操作证明——自由比高薪更能抢人。

聪明人对自由的敏感度，往往高于对钱的感知。

「不是分手，是冷静期」：别把他当反对派

也许最具讽刺意味的是，Transformer可能是自身成功的受害者。

当前技术如此强大且灵活……这阻止了我们去寻找更好的技术，如果当前技术更糟糕，会有更多人去寻找更好的，这很有道理。

Jones并不是要把Transformer一脚踢下船。

他强调：现有技术上还有大量重要工作，未来几年也会继续创造价值。

只是以现在行业的人才与资源密度，我们完全「买得起」更多的探索。

Transformer的强大，正在阻挡我们寻找「更好」的冲动。

如果现有技术差一点，大家反而更会到处找下一个惊喜。

把「军备竞赛」改成「开箱分享」

收尾时，Jones把姿态放得很开：这不是「你死我活」的竞技场，是集体解谜。

如果大家能一起把探索旋钮拧大一点，把有意思的发现公开分享，那条通往下一次「Transformer级」突破的路，可能近得超乎想象。

AI掌权者（是OpenAI、还是谷歌、还是其他？）是否会听从这一呼吁尚未可知。

但Jones提出了一个尖锐的提醒：下一次达到Transformer级别的突破可能就在拐角处。

毕竟，他在Transformer领域工作的时间比几乎所有人都要久。

他会知道何时该转向新方向。

Transformer八子

Transformer可以奠定了如今的AI时代，几乎所有基础模型都是以此为地基。

「Token by token，一个词接一个词」的简单输出模式在算力的加成下成为了新时代的AI魔法。

Transformer催生了ChatGPT、Gemini、Claude等诸多前沿产品。

更重要的是，它让人类真正跨入了生成式AI时代。

人类和生成式AI的命运从年6月日周一下午点分开始交汇。

Transformer的影响依然还在继续！

到今天为止，这篇论文的被引次数已经到了万+次！

让人不禁好奇，除了Jones外，其他几位作者都身在何处？

曾经联手打造出谷歌最强Transformer的「亲爹们」如今也已分道扬镳。

· Ashish Vaswani

Essential AI联合创始人&CEO

称希望把EssentialAI做成“西方的DeepSeek”（采访）。

· Noam Shazeer

已回归Google；Gemini技术共同负责人

· Niki Parmar

Anthropic技术人员。

此前与Vaswani共同创办EssentialAI，早期为Adept联合创始人

年底/年初已加入Anthropic。

EssentialAI的联合创始人之一。

· Jakob Uszkoreit

Inceptive Nucleics联合创始人&CEO

年登台TED AI SanFrancisco分享「AI如何绕开传统科学」的新思路；持续推进「生物软件」方向。

· Llion Jones

SakanaAI联合创始人&CTO

外媒称SakanaAI正洽谈新一轮融资，目标估值约亿美元。

采访中直言「已经受够了Transformer」，转而主打「演化式模型合并」等新架构路线。

媒体采访介绍其在东京推进“自然启发”的集体智能路线。

· Aidan N.Gomez

Cohere联合创始人&CEO

表示Cohere计划很快启动IPO（多家媒体现场采访）。

公司估值升至约亿美元。

经营数据：年化收入达1亿美元、发力企业私有部署与代理平台North。

· Lukasz Kaiser

OpenAI研究员

年月在OpenAI Forum发表「从Transformer到Reasoners」的主题演讲。

· Illia Polosukhin

NEAR Protocol联合创始人

主张User-OwnedAI，推进「用户所有的AI」与隐私保护AI-原生产品。

在NVIDIA GTC 分享「机密、可验证AI计算」。

8年前一篇不起眼的论文，却彻底开启了人类的生成式AI时代。

这个被忽视的小论文，彻底开启了AI的大时代。

它的故事还远远没有结束。

参考资料：

https://venturebeat.com/ai/sakana-ais-cto-says-hes-absolutely-sick-of-transformers-the-tech-that-powers

本文来自微信公众号“新智元”，作者：新智元，编辑：定慧，氪经授权发布。