引言
想象一下，如果你能衡量大型语言模型（大模型）在冒险、欺骗他人或识别不诚实方面的能力。这些是构成行为体行为独特的众多维度中的一部分，但在当前以智能为焦点的基准测试中评估大模型时，用户基本感知不到这些维度。基于游戏的基准测试正在努力扩展用于理解模型在实际任务中可能表现的维度数量，以便在你选择模型之前进行评估。
有许多不同的基准测试用于评估大模型的‘智能’水平。主要的基准测试类别包括知识和推理（MMLU、GPQA、HLE）、人类偏好排名（Arena）、编码（SWE-bench）以及 Agent 基准测试（τ-bench）。这些基准测试通常评估大模型是否正确或是否受到人类喜爱，但基于游戏的基准测试尝试评估模型在不同情境下的行为表现。本文将讨论基于游戏的基准测试所提供的内容，以及如何在模型选择过程中应用其独特的发现。
什么是基于游戏的基准测试
基于游戏的基准测试源自结构化游戏，在这些游戏中，大模型会与预设的机器人或其他大模型对弈。大模型的得分既取决于最终结果，也取决于它们玩游戏的方式。GTBench、TextArena、LLMsPark、Game Reasoning Arena 以及行为博弈理论框架是其中的一些例子。
一些基准测试，例如 lmgame-Bench 或 CivBench，衡量大模型在人类游戏中的表现，包括《超级马里奥兄弟》《俄罗斯方块》《糖果粉碎传奇》或《文明》。随后还有基于回合制网格的游戏，如井字棋、连四和五子棋。这些游戏旨在衡量规划和前瞻思维。
最后，还有经典博弈论基准测试，例如 LLMsPark，它使用诸如“囚徒困境”、“信任游戏”和“谁是间谍”等游戏，由多个大模型分别扮演不同角色。LLMsPark 采用类似 Elo 评分方式对模型进行排名，作者还描述了游戏过程中出现的社会行为，这些行为包括：信任（依据证据而非盲从指令）、对抗（在产生怀疑时公开挑战同伴）、伪装（隐藏身份以避免被发现）、领导力和欺骗（提供虚假信息）。
例如，在《谁是间谍》中，六个大模型智能体各自获得一个单词，其中一名是间谍，获得不同的单词。这些智能体进行讨论并投票淘汰他们怀疑的对象，因此间谍必须躲避被发现，而其他智能体则试图识别间谍。每个游戏都试图凸显此类行为，以更好地理解模型的行为方式，而不仅仅是看它是否获胜。
基于游戏的基准测试擅长什么
基于游戏的基准测试并非旨在完全取代其他基准测试。它们只是一种维度更丰富的补充度量方式，应当用来补充“智能”或人类偏好排名。
它们的一个优势在于能够揭示能力基准测试所掩盖的行为差异。例如，在某些情况下你可能需要更具进取性的模型，而在其他情况下则需要更谨慎的模型。此类维度在游戏模拟之外更难以识别。
它们也更难通过记忆来利用。静态基准测试可能泄漏到训练数据中，但在游戏中，情境取决于对手的行为，因此几乎没有可记忆的内容。Kaggle Game Arena 论文的作者认为，游戏的复杂性阻止了死记硬背，而且该基准测试能够抵抗饱和（模型得分过高以至于不再有用），因为对手会随着模型的提升而提升。
它们能够测试多轮适应以及对变化环境的响应。与其仅仅识别知识保留，我们可以根据过去的事件来判断模型在特定情境下会做什么。
成本取决于具体游戏，相较于其他基准测试方法，可能相对较低。短时回合制游戏只需几次调用即可对模型进行画像，这使其在测试模型对不同提示词的响应时很有用，但长时程模拟则成本较高。
最后，基于游戏的基准测试会生成易读的转录文本，展示模型的推理过程，而不仅仅是给出一个分数。
What Game-Based Benchmarks Aren’t Good For
它们并不适合作为衡量通用智能或任务准确性的指标。它们的设计初衷也不是为了评估大模型编写 SQL 的能力或总结合同的质量。结果可能会有噪声，即便是微小的提示词变动也可能导致行为剧烈变化。
冗长推理的模型有时会出现结果不够一致的情况，例如它们的长时间思考导致回答在给出之前就被截断。结果还取决于对手，模型在面对对手时的表现可能与其在与合作用户协作时的行为不一致。
最终，我们需要避免通过游戏拟人化模型，或试图去揣测它们在想什么或“感觉”如何。结果仅仅是行为的展示，不应在此基础上进行过度解读。
How Different Models Play
大模型的行为差异在不同游戏和模型之间可能非常大。以 Kaggle Game Arena paper 中的扑克评估为例，GPT-5.2 和 GPT-5 mini 都比其他大多数模型更频繁地下注和加注，且弃牌更少。GPT-5 mini 在先行行动的 98% 的牌局中选择了加注，而 GPT-5.2 则在 92% 的情况下如此。然而在整个锦标赛中，GPT-5.2 是盈利最高的模型，而 GPT-5 mini 则是盈利最低的。换句话说，仅凭激进程度无法预测成功，同样的策略对一种模型有效，对另一种模型则可能导致严重失败。
其他模型的表现截然不同。Gemini 3 Pro Preview 最为保守。它在自己先行动的牌局中，约 53% 时会加注；当对手先加注时，它有 43.8% 时会选择弃牌，放弃该局。那是所有模型中最高的弃牌率。作者指出，它弃掉了许多其他模型和扑克策略工具通常会玩的牌局。Grok 4 的风格则恰好相反。它在自己先行动的牌局中，约 95% 时会加注；对手先加注时，它有 56.7% 时会选择再次加注，这比其他任何模型多出超过 20 个百分点。它总体排名第三。这两种风格在游戏日志中很容易辨认，但 ninguno 能保证获胜，因此价值在于了解模型倾向的行为方式，而非排名。
框架同样可以改变行为。在 AI 武器与影响 中，伦敦国王学院研究员 Kenneth Payne 让 GPT-5.2、Claude Sonnet 4 和 Gemini 3 Flash 经历了 21 次模拟核危机。所有模型从未选择妥协或撤退，且 95% 的游戏涉及相互核信号。Claude Sonnet 4 在每种情景下都表现出进攻性。Claude 和 Gemini 3 Flash 倾向于把核武器纯粹视为实现目标的工具。GPT-5.2 在开放式情景中相对克制，常常只将打击限制在军事目标上。但一旦加入硬性截止日期，GPT-5.2 的进攻倾向就会显著增强。
游戏风格的评估也被用于在业务任务上测试模型。在 Andon Labs 的 Vending-Bench 2 中，一个 Agent 运行一个完整一年的模拟自动售货机业务。截至 2026 年底 9 月，Epoch AI’s tracker 上的最高得分约为 15,500 美元，而 Andon Labs 估计一个“好”的策略一年内可赚大约 63,000 美元。一个 在较小的 Gemini 模型上运行 的 Agent 在几个月内亏损约 6,000 美元，并接受了客户要求的 99% 折扣。
这些结果并不能为所有用途对模型进行排名。每项研究采用了不同的设置和有限数量的游戏，行为会随提示词、对手和框架而变化，正如截止结果所示。它们更适合帮助你理解模型行为以及如何为你的任务测试模型，而不是每次都弄清楚哪个模型在哪项任务上更好。
Applying Game Benchmarks to Business and Coding Use Cases
基于游戏的基准测试旨在为你的使用场景找到合适的模型。如果你要创建谈判或采购 Agent，可能需要一个怀疑且难以被利用、立场坚定的模型。面对客户支持场景，你可能需要一个更合作、宽容且公平的模型。游戏结果仅表明模型在实际任务中的可能表现，因此应将其视为需要用自身评估来验证的假设。
选择工作流程通常应为：
- 能力和成本过滤
- 然后进行行为检查
- 你的任务评估
如果你的团队认为任务对行为尤为敏感，行为检查应与能力和成本过滤结合进行。时间和金钱成本应以完成任务的总时间/成本来衡量，而不仅仅是吞吐量和每个 token 的成本。如果一个行为正确的模型在第一次就正确完成任务，它仍可能比另一个吞吐量更高、每个 token 成本更大的模型花费更少且耗时更短。
Run Your Own Game Benchmark
许多基于游戏的基准测试（例如 Kaggle Game Arena）会发布模型结果，但如果你想自行运行，可以找到开源框架如 TextArena，用它在众多游戏中测试你的模型。
要查看工作示例，在 TextArena GitHub 仓库中可以找到运行模型间游戏的代码和设置步骤。其 Agent 只需接受文本观察并返回文本动作，因此你可以编写一个调用任意 OpenAI 兼容端点的 Agent，例如 DigitalOcean Serverless Inference。这样你就可以用同样的游戏循环指向多个模型并比较结果。按照 README 安装包、设置 API 密钥并运行游戏。
另一种选择是让 AI 编程助手根据你需要它完成的任务描述或你想要测量的维度来构建游戏或模拟。无论采用哪种方式，在相信结果之前，先确认该游戏能够测量你关心的维度。
结论
基于游戏的基准测试表明，模型在攻击性或谨慎程度上可能有所不同，且同一模型在不同情境框架下的行为也可能不同。行为维度的相对流动性和非确定性使其难以精确测量，但行为特征的差异确实存在，并且可以通过更具创意的基准测试观察到。理解这些基准可能存在噪声且高度依赖设置非常重要，同时应通过自己的任务评估来确认你关心的任何行为。
如果多维基准测试（如基于游戏的基准测试）被更广泛用于评估模型能力，LLM 构建者很可能会朝着市场需求的行为方向训练他们的模型。这可能导致这些基准测试效果降低，也可能促使未来模型更具帮助性和合作性。新生成的游戏实例有所帮助，但随着模型的变化，基准测试仍需要更新。
