视觉拼图后训练：解锁多模态大模型视觉理解新潜力

在大数据与人工智能的浪潮中，后训练阶段成为提升模型推理与通用能力的关键。然而，现有方法大多以文本为中心，忽略了视觉信息的潜力。我们提出重新审视视觉自监督学习，设计以视觉为中心的后训练任务，以加强多模态大模型对视觉信息的细粒度理解。

南洋理工大学MMLab的最新研究《Visual Jigsaw Post-Training Improves MLLMs》提出一种新的后训练方法——Visual Jigsaw，通过强化学习算法GRPO优化模型对视觉信息的排序与重建。

Visual Jigsaw 方法概述

Visual Jigsaw是一种通用的视觉信息排序重建任务。它将视觉数据划分为子元素，模型需重构这些信息并预测正确顺序。通过强化学习算法，模型能在不依赖额外标注的情况下，增强自身的视觉感知与理解能力。该任务在图片、视频和3D三种模态下均有效。

设计了分级奖励机制：完全正确预测奖励为1；部分正确则按比例奖励并乘折扣系数；无效排列则奖励为0。

针对不同视觉模态，设计了具体的Visual Jigsaw任务：

Image Jigsaw：图片被划分为相同大小的子图，模型需恢复其正确顺序。

Video Jigsaw：视频被分割为等长片段，模型需重建时间顺序。

3D Jigsaw：从RGB-D图像中采样深度点，模型需恢复深度次序。