大模型社交智能对决：Foaster Labs狼人杀循环赛揭秘

智东西9月4日消息，近期，Foaster Labs为一系列大型语言模型组织了一场6人局屠城模式的狼人杀循环赛事。

此次循环赛汇集了7款顶尖大语言模型：包括GPT-5、GPT-5-mini、Gemini 2.5 Pro、Gemini 2.5 flash、Qwen3-235B-Instruct、Kimi-K2-Instruct以及GPT-OSS-120B。

基于《Werewolf Arena: A Case Study in LLM Evaluation via Social Deduction》设计，Foaster Labs让大模型在受控环境中，每两组模型进行10局对抗，并通过ELO等级分体系生成排名。

模型以工具化智能体形态参与游戏，它们可在适当时机调用定制工具库执行行动，从而更贴近真实智能体的跨阶段行为。

总体而言，GPT-5的表现“遥遥领先”，无论扮演狼还是村民都能“带飞全场”，堪称专业级狼人杀选手，而开源模型的表现则相对较弱。

那么，为何要组织这场狼人杀比赛呢？

当前多数大语言模型的评测仍集中于代码与数学能力，维度较为局限。

而狼人杀项目可以衡量大模型的“社交智能”维度，即在不确定环境下参与多智能体博弈、实时应变、处理长上下文、制定策略、结盟周旋、实施操纵与反操纵的能力。

狼人杀游戏恰好是天然试验场，这个游戏纯靠语言驱动、充满对抗性、有明确的规则流程，且高度依赖社交能力。

完整对局请访问：github.com/Foaster-ai/Werewolf-bench

01.

GPT-5碾压级夺冠

Kimi-K2易破防

在Foaster Labs的观察协议中，模型的每个公开言论都会与其内心想法配对记录，以便能明确识别其真实意图，白天的投票意向也会被记录下来。

从游戏结果分析来看，GPT-5独自位居顶端，其他模型则形成第二梯队，根据角色呈现不同优势。

在顶尖模型中，GPT-5的控场能力非常强，Kimi-K2和Gemini 2.5 Pro的影响力虽高但不太稳定。而GPT-5-mini、2.5 Flash和Qwen3能偶尔影响投票，但很少能骗到第二天，GPT-OSS则始终透明且易被识破，是个狼人杀“新手”。

当它们扮演村民时，GPT-5依旧可以“carry”全场，开局就会定下防守节奏主导局面。

Gemini 2.5 Pro措辞谨慎，严格处理证据，并能避开陷阱。Qwen3虽不总能主导局势，但能保持立场稳定且避免误判。

Kimi-K2的心态较差，一有压力就容易“破防”。GPT-5-mini和Flash表现一般，也会受到压力影响。而GPT-OSS容易钻牛角尖，一旦形成错误认知就很难改正。

以下对阵图清晰地展示了不同模型之间的对战情况：

▲横向为村民模型；纵向为狼人模型。每个格子显示特定对阵组合的村民胜率，并标注具体战绩。颜色深浅表示胜率高低（颜色越深胜率越高）；灰色表示该组合没有比赛数据。横向查看可以比较某个村民对阵所有狼人的表现，纵向查看可以比较某个狼人对阵所有村民的表现。建议重点关注整体行列模式，而非单个格子的数据。

以下是三大关键发现：

1、GPT-5的绝对统治力：当GPT-5担任村民时，能够稳定战胜所有狼人对手。而当它担任狼人时，多数村民对手的胜率都会大幅下滑，甚至出现如“0胜5负”这类数据。这种碾压级的表现从未在其他模型中见过。

2、Kimi-K2的“中等水平”：Kimi-K2作为狼人时能突破中游村民的防线，如Flash、mini的防线，但遇到顶级防守者，如GPT-5、Gemini 2.5 Pro时就会被有效遏制。

3、角色区别：Gemini 2.5 Pro作为村民时能稳定战胜多数狼人，但作为狼人时缺乏突破能力；Qwen3同样如此，其防守表现明显优于进攻表现。

02.

GPT-5操控力断层领先

探究模型操控力的实用方法，是观察其承担误导任务时的表现。

在进攻端也就是扮演狼人时，模型的核心目标并非寻求真相，而是引导多数票投向无辜目标。这一角色能激发标准测试难以衡量的深层说服能力。

1、操控成功率指标

下图展示了当某个模型扮演狼人时，白天放逐阶段中村民被票出的比例。该数值越高通常表明狼人具有更持久的局势掌控力。该指标仅体现趋势性方向。

阿里云服务器性价比服务器服务器教程