NVARC小模型夺冠：高效合成数据与创新微调技术

英伟达小模型再创佳绩。

在ARC-AGI 2的最新竞赛中，4B小模型NVARC以27.64%的公开榜单成绩，超越GPT-5 Pro的18.3%，勇夺榜首。

更令人瞩目的是，NVARC的每任务成本仅为20美分，仅为GPT-5 Pro单任务成本（超过7美元）的1/36。

据官方分析，NVARC此次夺冠的亮点在于其采用了零预训练深度学习方法，避免了依赖大规模通用数据集进行前期预训练，从而有效规避了预训练模型的领域偏见和数据依赖问题。

ARC-AGI 2的测试难度更高，要求测试模型能够高效地获取超出其训练数据的新技能，而NVARC正是这样一个能够应对这种挑战的模型。

成绩公布后，NVARC团队的Jean-Francois Puget和Ivan Sorokin接受了官方访谈，深入剖析了技术细节。

让我们一探究竟，“性价比之王”是如何炼成的？

不依赖参数堆积

英伟达的策略是将复杂推理移至离线的合成数据管道，以训练能在评估时快速运行的较小模型。

简而言之，就是通过大规模合成高质量数据对现有模型进行优化，并将昂贵的计算工作转移到离线进行。

考虑到Kaggle比赛对计算资源的严格限制，团队意识到无法直接使用需要大量算力的大型LMM进行复杂的推理和代码生成。

因此，他们决定在离线环境中完成最耗资的计算工作。例如，利用GPT-OSS-120B大规模制作高质量的合成谜题。

团队从H-ARC、BARC数据集中收集现有ARC谜题数据，将简单谜题混合，生成更复杂的新谜题。

为了确保数据质量，他们将复杂的推理管线拆分为多个阶段，每个阶段都可独立验证。

最终，他们构建了一个包含320万+增强样本的合成数据集，每个样本最多有7对输入/输出。

值得一提的是，哈萨比斯强调了Scaling Law的重要性，那么合成数据的Scaling又怎能被忽视呢（doge）？

言归正传，NVARC的核心推理模块基于改进版的ARChitects方法，采用小参数模型Qwen3-4B，通过对话式模板简化谜题理解。

阿里云服务器免费服务器免费vps