BabyVision评测集揭示：大模型视觉能力远逊3岁儿童，语言推理掩盖短板

尽管大模型在语言推理方面表现惊艳，但其视觉处理能力却令人堪忧。最近，红杉中国xbench携手UniPatAI团队发布了一项全新的多模态理解评测集BabyVision，旨在精准评估大模型的核心视觉能力，结果令人大跌眼镜。

1月12日，红杉中国xbench与UniPatAI团队联合对外发布了这一评测集。UniPatAI发布的技术论文显示，在首轮测试中，当前绝大多数顶尖多模态大模型的视觉任务表现显著低于3岁儿童水平，仅有一款模型勉强超过3岁基线，其余均不及格。

这种体感上的巨大反差其实不难理解：日常中模型强大的语言推理能力，往往掩盖了其视觉信息处理能力的不足。通常情况下，大模型在面对图像问题时，会先用文字描述问题，然后依靠语言推理来理解并解决视觉问题。然而，这并不是真正的视觉能力，而是一种基于文字的推理。一旦失去语言能力的加持，视觉处理的短板便暴露无遗。

01

残酷结果：几乎所有模型不如3岁小孩

基于这一背景，UniPatAI团队为BabyVision-Mini设计了20道视觉中心任务，严格控制语言依赖，所有题目答案均需完全依靠视觉信息得出。同时，团队还组织了3岁、6岁、10岁、12岁四个年龄段的儿童作为对照组进行测试。

结果显示，大多数顶尖模型的得分集中在明显低于3岁儿童平均水平的区间。唯一表现较好的Gemini3-Pro-Preview模型也仅能勉强超过3岁基线，但与6岁儿童相比仍存在约20个百分点的差距。

比如在BabyVision-Mini中一道“垃圾分类”连线题，要求将“塑料杯”“废报纸”“苹果核”分别通过路径连线到对应颜色的垃圾桶，正确答案为A-蓝、B-黄、C-绿。三岁儿童仅凭本能就能从起点沿线追踪至终点，轻松完成作答，而最强的Gemini3-Pro-Preview虽写下大段"逐段追踪"的推理过程，最终仍给出A-绿、B-黄、C-蓝的错误答案。

随后团队又将测试扩展到包含388道题目的全量BabyVision-Full评测，此时人类对照组的16位本科以上背景参与者，准确率已经高达94.1%。而大模型方面，在Mini测试中表现最佳的闭源模型Gemini3-Pro-Preview，此时准确率也仅为49.7%。开源模型中最强的Qwen3VL-235B-Thinking，则整体不足22.2%，而其他开源模型得分集中在12%-19%区间。

02

视觉能力的全方位不足：四大挑战暴露缺陷

UniPat AI的技术论文特别指出，这不仅仅是大模型某一方面的不足，而是视觉能力的四大类别——精细辨别、视觉追踪、空间感知以及视觉模式识别上的全方位缺失，说明大模型基础视觉能力存在系统性缺陷。

团队统计出了模型主要面临的四大典型挑战：第一类挑战来自“非语言细节”的缺失。人类在处理拼图补全等任务时，能凭几何直觉直接感知边界对齐、微小凸起等像素级差异；而模型一旦将下图四个选项的形状描述为“像钩子、有两个腿”等语言概括，细微的视觉差异就被抹平，选项在token空间里变得“几乎一样”。

Gemini3-Pro-Preview这道题里选择了D，而非B。

第二类挑战体现在轨迹追踪任务中，如上文的“垃圾分类”问题。人类是锁定一条线，并一路追到终点。而模型则会将翻译成“左/右/上/下”的离散步骤，难以保持连续性。因此，一旦遇到交叉点，就容易产生路径分叉，导致从“跟随一条线”退化为“猜测终点”。

第三类挑战是空间想象能力缺失。在三维方块计数、视角投影、遮挡结构判断等任务中，人类会在脑海中保持三维结构的形状，并变换视角进行判断，这是空间想象能力的体现。而模型依靠语言推理，但文字描述并非真实，最终导致漏掉隐藏块，搞错投影关系。

Gemini3-Pro-Preview把方块按高度用数字进行标记，但错误将右侧竖列后排为4的积木忽略，最终计为前排平台的2，因此得到了错误答案C。

最后一大挑战则是图形规律归纳难题。此类题目要求从少量视觉示例中找规则。人类做的是关系映射，确定变化，而模型则会关注图像的颜色、形状等属性，将“结构规则”误读成“外观统计”，导致迁移时幻觉规则。

阿里的Qwen3-VL-PLUS在将图形拆解成8等分后，成功判断出棕色部分应该在顶部，然而却将C选项“看花眼”。

对此，研究团队认为，造成大模型普遍超低评分的核心原因在于，测试集中有许多题目具有"unspeakable"（不可言说）的特性——即无法在不损失信息的情况下被完整语言化。如此一来，人类只需要简单通过指一指、圈一圈、沿线路径追踪等直觉式方式解题，但模型必须将视觉信息压缩为token进行语言化处理，这一过程中，大量关键细节会丢失，最终导致推理失误。

然而这也不是没有办法。研究团队通过让视觉推理“落地到视觉操作”上，Sora2一笔一划，最终成功绘制了左上角鳄鱼的连线图像。

美中不足的是，Sora2也仅画对了鳄鱼这一条线，而其他模型则是一条线也没有成功。但或许未来通过让模型进行绘画、临摹等方式进行推理，可以恢复大模型的文字推理所缺失的能力。因此该团队写道，“很难想象一个视觉能力低于3岁儿童的机器人，能够可靠地在真实物理世界里帮助人类”。团队认为，为了推动多模态智能的发展，未来的模型必须从根本上重建视觉能力，而非依赖语言推理。