DrafterBench：工程图纸自动化的评估新纪元

首个工程自动化任务评估基准DrafterBench，旨在测试大语言模型在土木工程图纸修改任务中的表现。通过模拟真实工程命令，全面考察模型的结构化数据理解、工具调用、指令跟随和批判性推理能力，研究结果表明当前主流大模型虽有一定能力，但整体水平仍不足以满足工程一线需求。

在AI飞速发展的今天，大语言模型（LLM）已不满足于仅在学术领域「展示才华」。

当GPT-4o在物理奥赛中崭露头角，DeepSeek熟练搭建网站后，LLM必须面对一个更紧迫的问题：

这些标榜「专家级」的大模型，能否真正应用于工地？能否为工程人员减轻负担？在钢筋水泥的图纸世界里，它们是得力助手，还是空谈误事？

答案尚未揭晓，但DrafterBench已迈出评估的第一步。

来自加拿大麦吉尔大学AIS实验室的研究团队与加州大学圣芭芭拉分校（UCSB）合作，共同推出了面向工程自动化任务的大模型评估基准——DrafterBench。

这是首个针对「一线工程图纸修改任务」设计的大规模评测套件，旨在验证和揭示现有LLMs能否胜任土木工程等领域中真实的「工作挑战」。

论文链接：https://arxiv.org/abs/2507.11527

代码链接：https://github.com/Eason-Li-AIS/DrafterBench

数据链接：https://huggingface.co/datasets/Eason666/DrafterBench

为何需要DrafterBench？

工程图纸修改，是土木工程、建筑设计等领域最耗时、最高频的任务之一，也是自动化需求最为迫切的一环。

每天有成千上万的一线工程师、制图员在重复处理「调整梁的位置」、「加粗管道直径」、「增加构件标注」这类琐碎但至关重要的任务。

这类工作往往工作量大、标准高、容错低，但技术门槛不高，对工作者在「任务理解、细节处理、任务链配合」方面的综合执行力要求极高。

于是研究团队提出疑问：

如果大模型能读懂图纸指令，调用工具链，精确修改图元，它就不只是「写PPT的高手」，更是「工程人员的福音」。

DrafterBench如何操作？

DrafterBench以图纸修改为核心任务，在20个真实项目中收集并设计了1920个高质量任务，涵盖12类指令类型，模拟了各种难度、不同风格的真实工程命令。

DrafterBench不仅让模型「按部就班」，而是全面考察以下四大任务能力维度。

结构化数据理解能力：模型是否能从不同风格语句中准确提取出关键细节；

工具调用能力：模型能否组合多个工具形成有效的操作链，并正确调用顺序与参数；

指令跟随能力：面对一条包含多个修改目标的长指令，是否能做到任务不漏项、执行不断链；

批判性推理能力：模型能否识别指令中的信息缺失、不合理内容，并尝试补全模糊的细节、完成修正。

DrafterBench如何评估模型？

在DrafterBench中，模型要以「代码调用工具」的方式完成任务。

这些工具涵盖图元编辑、标注调整、绘图逻辑等，彼此之间还有输入输出依赖，形成一个「工程任务链」。

但工具调用是否正确？是否合理组合？中间步骤是否成功传递？是否使用了冗余或错误命令？

直接看图纸输出无法判断。

因此DrafterBench设计了一整套对偶工具系统(Dual function system)。所有工具都有一份「替身」，不实际修改图纸，但记录调用顺序、参数值、变量状态，并以结构化JSON形式输出，清晰还原模型「行动路径」。

模型表现如何？喜忧参半！

DrafterBench评测了主流SOTA大语言模型，分别为：OpenAI GPT-4o / o1系列、Claude 3.5 Sonnet、Deepseek-V3-685B、Qwen2.5-72B-Instruct、以及LLaMA3-70B-Instruct。

综合来看，这些模型表现都达到一定水准，得分普遍超过65分。

结论与展望

尽管当前的大模型已有一定能力拆解复杂任务结构、调用工程工具，但它们仍难以稳健掌握完整任务链的所有细节，对实际场景的适应能力尚不足以支撑工程一线需求。