当前位置:首页 > 科技资讯 > 正文

Yann LeCun确认离职Meta,全力投身世界模型研发

Meta公司战略风向突变,AI先驱Yann LeCun公开承认即将离职!

据多家权威媒体报道,Meta首席AI科学家、负责「基础AI研究」(FAIR)的Yann LeCun,预计很快将离开公司。

这位65岁的AI界泰斗,在Meta这家全球科技巨头中担任核心智囊,曾享有近乎无限的资源支持。

Meta一向投入巨大。它以天价薪酬从竞争对手处挖角顶尖AI人才。

早在7月,扎克伯格甚至宣称「超级智能已近在眼前」。

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第1张

那么,LeCun为何选择离开Meta?仅仅是因为公司内部的人事动荡吗?背后是否另有隐情?

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第2张

扎克伯格战略转向,LeCun是否失宠?

今年夏季,年仅28岁的Alexandr Wang被任命为Meta首席AI官,这位年轻的大语言模型热衷者一跃成为LeCun的上级。

此外,Meta今年还任命了另一位相对年轻的首席科学家赵晟佳(Shengjia Zhao),其职位同样高于LeCun。

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第3张

在官方公告中,Meta高度赞扬了赵晟佳在模型扩展(scaling)方面带来的「突破」。而LeCun恰恰对单纯扩展模型规模失去了信心。

他甚至曾告诫博士生:「不要只研究大语言模型(LLM)」。

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第4张

如果你好奇为何LeCun和Zhao都被称为首席科学家,那是因为Meta的AI部门组织结构独特,分为多个相对独立的团队。

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第5张

不断有媒体消息称,Meta计划对其AI组织架构进行大刀阔斧的改革。

上个月,Meta超级AI实验室裁员数百人,包括十年老将田渊栋。据称,此举旨在理顺混乱的管理局面。

这已是Meta近半年内第四次调整AI业务了。

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第6张

而那支曾由LeCun领导、风光无限的FAIR团队,如今已不复往日辉煌。据现任与前员工透露,该部门经历了裁员、预算削减,内部影响力也大幅削弱。

曾几何时,FAIR是Meta内部思想自由碰撞的「象牙塔」,研究人员可以探索各种AI未来路径,甚至进行一些「未必成功」的实验,完全无需考虑产品化压力。

而现在,Meta新组建的AI研究部门招募了大量高薪新人,由Wang主导,目标明确:追求速度、注重落地、快速产品化。

在AI领域,他领先了整整40年

LeCun始终走在时代最前沿——

早在「机器学习」还未被主流学界广泛接受时,他就已投身这一领域。

他曾在多伦多的Geoffrey Hinton实验室工作,那时Hinton尚未成为AI界的传奇人物。

之后,他的职业生涯大部分时间在新泽西州的贝尔实验室度过,这家机构以诞生无数创新发明而闻名。

1947年,贝尔实验室发明了晶体管

「最让我兴奋的,就是与比我更聪明的人共事,因为这能极大拓展你的能力边界。」LeCun在2023年的一次杂志采访中说道。

在贝尔实验室,LeCun参与了手写识别技术的开发,该技术后来被广泛应用于银行支票自动读取。他还投身于一个项目,致力于将纸质文档数字化并通过互联网传播。

LeCun曾表示,自己自幼对物理充满兴趣,在贝尔实验室期间也主要与物理学家合作,阅读了大量物理教材。

我学到了许多表面上与AI或计算机科学无关的知识(我本科攻读电气工程,接受的计算机科学正规训练其实有限)。

2003年,LeCun开始在纽约大学教授计算机科学,后来成为该校数据科学中心的创始主任。

2013年,扎克伯格亲自邀请他加入Facebook(当时尚未更名为Meta),组建全新的AI实验室。

他领导这个团队四年,于2018年卸任,转任公司首席AI科学家,以「个人研究员」身份继续探索技术前沿。

2018年,他与Geoffrey Hinton和Yoshua Bengio共同荣获图灵奖——计算机科学领域的最高荣誉,以表彰三人在神经网络领域的奠基性贡献。

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第7张

自那以后,LeCun逐渐转变为「象征性人物」。他并未参与Meta首个开源大语言模型Llama的研发,也早已不再介入这类项目的日常运作。

据与其共事的人士透露,LeCun目前主要专注于自己的研究项目,并频繁出席各类技术会议,发表对AI技术的见解。

面对媒体报道,Yann LeCun仅指出了文章中的「细微错误」,并未否认即将离职的消息。

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第8张

他深知自己在包括Meta在内的整个硅谷技术圈内,时常受到冷落。上个月在MIT的一次研讨会上,65岁的LeCun直言不讳:

这些年,我在硅谷、包括Meta的许多角落都不太受欢迎,因为我始终在强调,3到5年内,世界模型将成为主流AI架构,届时无人会再青睐当前这种LLM。

但他坚信自己对AI未来的判断。他的老朋友Léon Bottou曾告诉媒体,LeCun「倔强得可爱」——他会倾听他人意见,但更坚守自己的信念。

如今,LeCun在Meta似乎「忍无可忍」,终于决定离职。

实际上,他早已多次暗示答案。

在通往通用人工智能的道路上,LeCun近来因对大语言模型的尖锐批评而广为人知。

他认为,无论科技巨头如何扩大模型规模,我们目前所理解的大语言模型都已触及「能力天花板」,是一条「歧路、干扰,一条死胡同」。

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第9张

他投身AI研究已40载,对AI的预测屡屡应验。如今,他认为大多数人都走错了方向。

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第10张

他为现代AI奠定了诸多基石。而现在他坚信,领域内的大多数人都被大语言模型的「海妖之歌」引入了误区。

这为他的离职提供了更多可能的解释。

LeCun离开Meta,或将全力聚焦世界模型

此前有报道称,他正在与业内同行商讨创办公司、寻求投资,组建专注于世界模型的团队。

所谓「世界模型」,类似于小动物或婴儿那样,通过视觉等感知数据主动学习世界运行规律;而LLM仅是依赖海量文本进行预测的模型。

LeCun本人也从不回避解释为何他认为「世界模型」才是AI的终极答案。

Meta的Llama、OpenAI的GPT、谷歌的Bard等模型,都依赖于海量数据训练。LeCun估算,如果让人去阅读训练这些模型所需的所有文本,大概需要10万年。

但人类学习的主要方式,并非阅读文本。

我们从与世界的互动中获取的信息远多于文本。LeCun估计,一个普通四岁儿童接触过的数据量,是目前最大LLM的50倍。

大部分人类知识,其实并非通过语言获得。

所以这些系统永远不可能达到人类水平的智能——除非你彻底革新它们的架构。

而他自己,早已准备好了替代方案。他称之为「目标驱动的AI」(objective-driven AI)。

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第11张

目标驱动的AI系统的构建核心,是完成人类设定的特定目标。

与仅依赖纯文本数据驱动不同,它们通过传感器和视频数据训练来认知物理世界。

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第12张

由此构建的「世界模型」能模拟行动带来的后果,所有潜在变化都会实时更新至系统记忆。

他为何对世界模型如此着迷?

在年初的「巴黎AI峰会」上,Yann LeCun明确指出,他是可穿戴设备的坚定拥护者。

他认为,未来,我们需要像与人交流一样与可穿戴设备互动,而大语言模型根本不像人类那样理解世界。

对于大语言模型,我们甚至无法复制猫或老鼠的智能,更不用说狗了。

这些动物能完成令人惊叹的行为,它们理解物理世界。任何一只家猫都能规划出极其复杂的行动,因为它们拥有关于世界的因果模型

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第13张

为了阐明这一点,LeCun设计了一个思想实验:「想象一个立方体悬浮在你面前的空中。好,现在让这个立方体绕着垂直轴旋转90度。它会是什么样子?」

他认为任何人类都能轻松完成,而大语言模型却无能为力:

「对人来说,在脑海中构建一个旋转立方体的心理模型,非常容易。」

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第14张

当然,大语言模型可以毫不费力地创作一首关于悬浮旋转立方体的诗歌,但它无法真正帮助你与这个立方体进行物理互动。

LeCun断言,这是因为文本数据与通过感知非文本世界所获得的数据之间存在本质差异。

他指出,尽管大语言模型训练所用的文本量需要一个人花45万年才能读完,但一个四岁孩子在醒着的16000小时里,通过眼睛观察、用手触摸,已经处理了高达1.4x10^14字节的关于世界的感知数据——

他认为这比大语言模型处理的数据还要庞大。

顺便一提,这些只是LeCun在演讲中给出的估算,他在其他场合也提供过不同数字。但这些数字的核心观点是:大语言模型存在固有局限,而LeCun相信世界模型能够突破这些局限。

他将如何构建世界模型?

在Meta期间,LeCun其实已开始研究世界模型——他还录制了一个介绍视频,开头就让你想象一个旋转的立方体。

在AI行动峰会的演讲中,他理想中的模型包含一个对「当前世界状态的估计」,以某种抽象形式呈现与当前情境相关的一切。它不再是按顺序预测token,而是「预测在你采取一系列行动后,世界将达到的最终状态」。

他表示,世界模型将使未来的计算机科学家能够构建出「可以规划行动——可能是分层级的——以实现某个目标的系统,以及能够进行复杂推理的系统。」

Yann LeCun确认离职Meta,全力投身世界模型研发 LeCun  Meta离职 世界模型 AI未来方向 第15张

LeCun还坚称,这类系统将拥有更强大的安全特性,因为控制它们的方式是内置的,而不是像现在这样,面对一个神秘莫测、只会输出文本的黑箱,只能通过微调来勉强修正。

LeCun所说的经典AI——例如搜索引擎中使用的软件——所有问题都可以归结为优化问题。

他提出,他的世界模型将审视当前的世界状态,并通过寻找高效解决方案,来寻求与某个不同状态的兼容性。

LeCun在演讲中解释道:「你需要一个能量函数来衡量不兼容性,给定一个x,找到一个对于该x能量较低的y」。

如果说,我们从LeCun的公开言论中拼凑出的「真相」显得粗糙、模糊,甚至可能有误,那也完全正常。

LeCun似乎正在构想一个「登月计划」——

他希望推动AI领域迎来又一次类似ChatGPT那样的、能力爆发式突破。

但这可能需要耗费数年——甚至永远无法实现——更不用说数十亿美元的投资,才可能看到任何真正了不起的成果。

参考资料:

https://gizmodo.com/yann-lecun-world-models-2000685265

https://www.linkedin.com/feed/update/urn:li:activity:7395602392169488384/

https://www.wsj.com/tech/ai/yann-lecun-ai-meta-0058b13c?mod=e2tw