AI编程智能体：从零构建项目的现实挑战

尽管AI编程展示出巨大潜力，但程序员们时常抱怨AI难以理解人类指令，且难以解决复杂问题，甚至有人建议每次生成的代码不要超过5行。

近期，诸多AI工具宣称能迅速构建完整代码项目，引发疑问：AI编程智能体真能从头开始构建软件项目吗？一支多校联合研究团队对此进行了探索。

上海交通大学、上海创智学院、加州大学默塞德分校和北京理工大学（按论文作者顺序）联合发布了ProjDevBench——首个通过OJ细粒度反馈评估AI编程智能体端到端项目开发能力的基准测试。该测试要求智能体仅凭自然语言需求文档，从零开始构建完整、可运行的软件仓库。

当任务从“补全现有代码”变为“从零构建”时，性能出现显著下滑。

结果发人深省：所有智能体总体提交AC率仅27.38%。

研究结论摘要：

• 六种主流编程智能体（Cursor、GitHub Copilot、Claude Code等）的总体提交AC率仅为27.38%，在从零构建任务中性能大幅下滑。
• OJ提供的细粒度诊断反馈（编译错误（CE）、运行时错误（RE）、超时（TLE）、内存超限（MLE）、答案错误（WA）等）是评估端到端开发能力的关键，远优于传统的pass/fail二元判定。
• 交互轮次与性能呈强负相关（-0.734），智能体在遇到困难时陷入低效试错循环，而非通过反思实现突破。

为何需要端到端项目开发基准

现有基准测试如HumanEval、MBPP聚焦于函数级代码生成，SWE-bench关注issue修复，但真实软件工程需要的远不止这些。当开发者使用Cursor或GitHub Copilot进行“vibe coding”时，他们期望智能体能够：从零设计系统架构、创建和组织多个源文件、配置依赖和构建系统（如CMakeLists.txt）、最终交付一个可编译运行的完整项目。

这种端到端的项目构建能力此前从未被系统性评估过。ProjDevBench填补了这一空白。

与传统基准的本质区别在于：HumanEval等要求智能体补全代码片段，SWE-bench要求修复现有代码库中的bug，而ProjDevBench要求智能体像真正的软件工程师一样，在没有任何初始代码模板的情况下，自主完成从架构设计到多文件编码的全流程。

双重评估机制：OJ测试 + 代码审查

与以往仅返回pass/fail的测试不同，ProjDevBench采用双轨制评估：

OJ执行评分（80%）：通过在线判题系统进行严格的黑盒测试，提供细粒度诊断信号——编译错误（CE）、运行时错误（RE）、超时（TLE）、内存超限（MLE）、答案错误（WA）等。这些信号支持智能体进行迭代调试，模拟真实开发中“编写代码-遇到报错-修改代码”的循环。

代码审查评分（20%）：结合规则脚本和LLM模拟的代码审查，检测OJ测试无法捕捉的问题：是否违反显式规则（如使用禁止的库）、是否存在作弊解法、是否利用测试套件漏洞而非遵循实际约束。

任务设计与数据来源

研究团队从上海交通大学ACM班的在线判题平台精选了20道高难度编程项目，涵盖算法、数据结构等八大类别。

这些题目经过三阶段筛选：

• 初始收集：从约2,800道候选题目中筛选
• 范围过滤：保留需要多文件实现、模块组织、构建配置的项目级任务，排除纯算法单文件题目，剩余约100道
• 质量过滤：选取规范清晰、测试套件完善、难度非平凡的题目，最终保留20道

两种任务模式：

• Easy模式（有代码库）：提供部分代码，要求补全项目
• Hard模式（无代码库）：仅提供自然语言规范，要求从零构建

实验结果解读

研究团队评估了六种主流编程智能体，搭配前沿模型。整体表现最好的是Codex + GPT-5，综合得分77.85，但所有智能体的总体提交AC率仅为27.38%。