Prime Intellect发布INTELL3CT-3：强化学习新标杆

【导读】Prime Intellect公司推出的INTELLECT-3模型，在多项基准测试中展现出卓越性能，旨在将尖端训练技术普及至更广泛的社区，推动大规模RL研究的发展。

Prime Intellect近期正式宣告了INTELLECT-3的发布。

这款模型具备106B参数，采用混合专家（Mixture-of-Experts）架构，基于Prime Intellect的强化学习（RL）技术栈进行训练。

在数学、代码、科学及推理等领域的基准测试中，它取得了同规模模型中的最佳成绩，甚至超越了某些规模更大的前沿模型。

Prime Intellect已将其完整的训练流程——包括模型权重、训练框架、数据集、RL环境和评估系统——全部开源，以推动更多关于大规模强化学习的开放研究。

使用的训练软件和基础设施与即将在Prime Intellect平台向公众开放的版本完全一致。

这意味着未来任何个人或公司都将拥有对最先进模型进行后训练的能力。

卓越表现，多项基准测试领先

作为拥有106B参数的混合专家（MoE）模型，INTELLECT-3基于GLM 4.5 Air进行了监督微调（SFT）和强化学习训练。

它在数学、代码、科学及推理类基准测试中均取得了同量级中的最佳表现。

高效训练框架

在训练过程中，Prime Intellect采用了以下核心组件：

• PRIME-RL：自研的分布式RL框架，支持监督微调和大规模MoE模型的强化学习。
• Verifiers与Environments Hub：统一的环境接口与生态，用于各类智能体式RL环境与评测。
• Prime Sandboxes：高吞吐、安全的代码执行系统，用于智能体代码类环境。
• 算力编排：在64个互联节点上的512张NVIDIA H200 GPU完成调度与管理。

INTELLECT-3全程采用PRIME-RL进行端到端训练。

该框架与Verifiers环境深度整合，支持从数据生成、监督微调、强化学习到评估的整个后训练体系。

通过与Environments Hub的紧密连接，训练系统可顺畅访问不断扩展的环境与评测任务集合。

PRIME-RL最显著的特点是全分布式（async-only）。

研究团队在上一代INTELLECT-2时便已经确认：

RL的未来必定是分布式的，即始终处于轻微off-policy的状态。

因为分布式是避免速度瓶颈、真正扩大训练规模的最佳方式。

过去六个月，研究团队进行了大量关于性能、稳定性和大规模效率的消融实验，而INTELLECT-3正是这些努力的结晶。

Prime Intellect也将在即将上线的Lab平台提供托管式PRIME-RL，访问者无需处理复杂基础设施即可进行大规模RL训练。

先进训练环境

INTELLECT-3的训练环境由Verifiers库构建，并托管于Environments Hub，这是Prime Intellect面向社区的RL环境与评测中心。

Verifiers是当前领先的开源工具，用于为模型构建RL环境与评测任务。

它提供模块化、可扩展的组件，使复杂环境逻辑也能以简洁方式描述，同时保持极高性能与吞吐。

所有环境和评测均已公开在Environments Hub。

算力调度

• 资源准备：使用Ansible进行基础设施即代码管理、自动发现硬件，并进行InfiniBand预检以隔离慢节点或故障节点。
• 调度：通过Slurm + cgroup v2确保任务干净退出，避免占用GPU显存的残留进程。
• 存储：采用Lustre提供高吞吐训练I/O，使用NVMe NFS作为快速元数据与便捷SSH存储。
• 可观测性：通过DCGM + Prometheus监控，能在问题扩大前快速发现并下线不稳定节点。

训练方案