当前位置:首页 > 科技资讯 > 正文

大模型“不会”成高光,展现高智商诚实

如今,“不会”竟成为了大模型的闪耀时刻。

尽管在国际数学奥林匹克(IMO)第6题中得零分,但OpenAI的金牌模型却展示了“高智商的诚实”。

正如OpenAI研究员Noam Brown在最新访谈中透露:

当IMO推理模型在缺乏有效证据时表示“我不确定”,这将大大减少隐藏错误的可能性。

大模型“不会”成高光,展现高智商诚实 大模型 IMO 高智商诚实 自我意识 第1张

在AI摘得IMO金牌后,OpenAI金牌小分队成员Alex WeiSheryl HsuNoam Brown参与了红杉资本组织的一场对话,揭示了模型攻克精英数学难题的底层突破。

有网友总结了个精简版:

与过去那些“看似完美,实则错误”的幻觉式答案不同,这一代大模型开始学会“承认自己不会”。

这标志着模型正从胡编乱造的幻觉式回答,转向更加可靠且具有“自我意识”的全新阶段。

大模型“不会”成高光,展现高智商诚实 大模型 IMO 高智商诚实 自我意识 第2张

三位成员在这场对话中,还分享了更多关于冲刺IMO的有趣细节。

IMO金牌模型能承认自己不知道

尽管数学家与计算机科学家一致认可IMO金牌模型的价值。

但他们经常抱怨,当模型遇到知识盲区时,它总会输出一个令人信服但错误的答案。

他们不得不花费大量精力逐行验算,才能识别那些幻觉陷阱。

大模型“不会”成高光,展现高智商诚实 大模型 IMO 高智商诚实 自我意识 第3张

IMO第6题让大模型全军覆没,当然,OpenAI也对其进行了大量计算。

有一个由2025×2025个单位正方形组成的网格。Matilda希望在网格上放置一些矩形图块,这些图块的大小不同,但每个图块的每一条边都位于网格线上,并且每个单位正方形最多被一个图块覆盖。

网格的每一行和每一列都恰好有一个未被任何瓷砖覆盖的单位正方形,求出Matilda需要放置的最少瓷砖数量。

大模型“不会”成高光,展现高智商诚实 大模型 IMO 高智商诚实 自我意识 第4张

虽然投入海量算力最终仅得到一句“我无法回答”令人有些失望,但Alex Wei表示:

能看到模型避免产生幻觉是很好的。

Noam Brown也对模型的这一转变表示赞赏,“如果它不知道,它就会承认它不知道。”

这代表模型开始具备“自我意识”。

这种“自我意识”有助于模型在面对困难问题时,承认自己的局限性,而不是生成一个看似合理实则错误的解决方案。

有趣的是,在Alex Wei 2024年刚加入OpenAI一周时,Noam Brown就曾问过他,团队何时能获得IMO金牌。

当时Alex Wei认为2025年不太可能实现。

但令人惊叹的是,这个三人团队仅用了两个月,就完成了他们一直追求的目标——IMO金牌。

Noam Brown还表示:

OpenAI有一个很棒的地方,就是研究人员有很大的自主权去做他们认为有影响力的研究。

大模型“不会”成高光,展现高智商诚实 大模型 IMO 高智商诚实 自我意识 第5张

Alex Wei,本硕均就读于哈佛大学,随后在加州大学伯克利分校获得计算机科学博士学位。

大模型“不会”成高光,展现高智商诚实 大模型 IMO 高智商诚实 自我意识 第6张

Sheryl Hsu,毕业于斯坦福大学计算机科学专业,是斯坦福AI实验室中IRIS实验室的研究员,于2025年3月加入OpenAI。

大模型“不会”成高光,展现高智商诚实 大模型 IMO 高智商诚实 自我意识 第7张

Noam Brown,本科就读于美国罗格斯新泽西州立大学新布朗斯维克分校,随后在卡内基·梅隆大学获硕士和博士学位。他曾任职于DeepMind和Meta,于2023年6月加入OpenAI。