Helmsman of the Masses? Evaluate the Opinion Leadership of Large Language Models in the Werewolf Game
Tsinghua University(清华大学)
本研究以狼人杀游戏为平台,通过整合警长角色框架并设计可靠性与影响力两项新指标,结合自建WWQA数据集与人类参与者实验,全面评估了不同规模LLMs的意见领导力,发现仅少数模型具备该能力。
2024-08-29 cs.AI cs.CL cs.HC
Cardiverse: Harnessing LLMs for Novel Card Game Prototyping
Rutgers University(罗格斯大学);Ontario Tech University(安大略理工大学);Roblox(Roblox公司)
本文提出Cardiverse框架,利用大语言模型自动生成新颖卡牌游戏变体、一致代码及可扩展游戏AI,加速原型设计并降低开发门槛。
2025-09-09 cs.AI cs.CL cs.MM
Hacc-Man: An Arcade Game for Jailbreaking LLMs
IT University of Copenhagen(哥本哈根信息技术大学);Aalborg University(奥尔堡大学)
本文介绍街机游戏Hacc-Man,通过挑战玩家越狱大语言模型,旨在提高对部署脆弱LLM风险的认识、增强交互自我效能感,并探索创造性问题解决策略。
2024-05-24 cs.AI cs.CL cs.CR
Large Language Models and Video Games: A Preliminary Scoping Review
The Australian National University(澳大利亚国立大学)
针对游戏领域LLM相关研究激增的现状,本文开展初步范围综述,梳理2022至2024年初76篇相关论文,聚焦游戏AI等四大方向,呈现领域早期状态并为后续研究奠基。
2024-03-05 cs.AI cs.HC
Evaluating from Benign to Dynamic Adversarial: A Squid Game for Large Language Models
Shanghai Jiao Tong University, Shanghai, China(上海交通大学);Shanghai AI Laboratory, Shanghai, China(上海人工智能实验室)
本文提出鱿鱼游戏,一个动态对抗性评估环境,用于评估大型语言模型的多方面能力,并揭示静态基准中可能存在的评估范式污染问题。
2026-01-30 cs.AI cs.CL
Meta-Evaluating Local LLMs: Rethinking Performance Metrics for Serious Games
ITI/LARSyS;Técnico Lisboa(里斯本理工学院)
针对严肃游戏中开放式回应评估的主观性挑战,本研究调查了五个本地小型LLM在评估能源社区决策模拟游戏\textit{En-join}玩家回应时的可靠性,通过二元分类指标比较其性能,为AI评估工具的可信度提供见解。
2025-04-13 cs.AI cs.CL cs.HC
How Clued up are LLMs? Evaluating Multi-Step Deductive Reasoning in a Text-Based Game Environment
Georgetown University(乔治城大学);Syntheos, Corp(Syntheos公司);UNU-Merit
本文通过文本多智能体版经典棋盘游戏Clue评估LLM的多步骤演绎推理能力,发现即使在结构化逻辑谜题微调后,推理一致性仍难以维持,且推理精度未显著提升。
2026-03-17 cs.AI cs.CL
LLM-Hanabi: Evaluating Multi-Agent Gameplays with Theory-of-Mind and Rationale Inference in Imperfect Information Collaboration Game
Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China(计算机科学与工程系,香港科技大学,香港特别行政区,中国)
本研究提出新型基准LLM-Hanabi,基于合作博弈Hanabi评估大语言模型的行为逻辑推断与心智理论能力,发现一阶心智理论对协作表现的影响强于高阶推理,为提升多智能体协作能力指明方向。
2025-10-06 cs.AI cs.CL
GAMEBoT: Transparent Assessment of LLM Reasoning in Games
The University of Hong Kong(香港大学);University of Cambridge(剑桥大学);Peking University(北京大学)
本文提出GAMEBoT游戏竞技场,通过将游戏中的复杂推理分解为模块化子问题,并利用CoT提示和基于规则的算法验证LLM的中间推理步骤,实现对17个主流LLM在8款游戏中推理能力的透明评估,有效缓解了数据污染问题。
2025-06-01 cs.CL
GameEval: Evaluating LLMs on Conversational Games
Soochow University(苏州大学);Microsoft Research Asia(微软亚洲研究院)
针对现有大语言模型评估方法需人工介入或存在测试偏差的问题,提出GameEval评估框架,通过目标驱动的合作/对抗类对话游戏及配套指标,可有效区分不同大模型的综合问题解决能力。
2023-08-19 cs.CL
ZeroSumEval: An Extensible Framework For Scaling LLM Evaluation with Inter-Model Competition
Saudi Data & AI Authority (SDAIA)(沙特数据与人工智能局);Meta;Cohere(Cohere公司);Rensselaer Polytechnic Institute(伦斯勒理工学院)
该研究提出ZeroSumEval框架,通过竞争性游戏(如夺旗赛、国际象棋、数学测验)评估LLM的战略推理等多维度能力,提供标准化可扩展架构并结合DSPy优化策略抽象,提升LLM游戏化评估的实用性。
2025-04-17 cs.AI cs.CL
LLM-Driven NPCs: Cross-Platform Dialogue System for Games and Social Platforms
本研究提出一个基于大语言模型的跨平台NPC对话原型系统,支持Unity游戏与Discord社交平台间的对话同步与记忆共享,验证了技术可行性,为情感建模等后续发展奠定基础。
2025-04-14 cs.AI cs.HC
Player-Driven Emergence in LLM-Driven Game Narrative
Microsoft Research(微软研究院)
本研究通过 GPT-4 驱动的文本冒险游戏,发现玩家与大语言模型的交互能产生非预设的叙事涌现节点,且偏好探索的玩家更易促成这种涌现。
2024-06-03 cs.AI cs.CL
Can Large Language Models Serve as Rational Players in Game Theory? A Systematic Analysis
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
该研究以博弈论的理性三要素为评估指标,通过三类经典博弈实验系统分析大语言模型的博弈理性能力,发现即使GPT-4也与人类存在显著差距,提出社会科学博弈实验引入LLM需谨慎。
2023-12-12 cs.AI cs.CL cs.GT
ALYMPICS: LLM Agents Meet Game Theory -- Exploring Strategic Decision-Making with AI Agents
Microsoft Research Asia(微软亚洲研究院)
本文提出Alympics仿真框架,利用LLM智能体研究博弈论问题,并通过水资源分配挑战验证其在战略决策分析中的有效性。
2024-01-16 cs.AI cs.CL cs.GT
Can Large Language Models Capture Video Game Engagement?
Institute of Digital Games, University of Malta Msida, Malta(马耳他大学数字游戏研究所)
本文研究了大语言模型在多模态输入下预测视频游戏参与度的能力,发现尽管LLMs在多个领域表现优异,但其在连续情绪标注上仍无法超越人类注释。
2026-11-03 cs.AI cs.CL cs.CV
AvalonBench: Evaluating LLMs Playing the Game of Avalon
University of California, Berkeley(加州大学伯克利分校);California Institute of Technology(加州理工学院);Rensselaer Polytechnic Institute(伦斯勒理工学院);Shenzhen University(深圳大学)
该研究推出用于评估多智能体大语言模型的阿瓦隆游戏基准AvalonBench,通过实验发现大语言模型智能体在游戏中表现弱于规则基线,为后续更先进大语言模型及智能体框架开发提供测试平台。
2023-11-08 cs.AI cs.CL
Language Model-In-The-Loop: Data Optimal Approach to Learn-To-Recommend Actions in Text Games
Mila - Quebec AI Institute(魁北克人工智能研究所);Ecole Polytechnique de Montreal(蒙特利尔理工学院);University of Montreal(蒙特利尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能讲席)
本文提出在学习文本游戏过程中动态更新LLM(如GPT-2)以推荐动作,减少对人类注释数据的依赖,但迁移性不一致。
2023-11-13 cs.AI cs.CL cs.LG
GameXpert-Bench: How Far Are Coding Agents from Expert Game Development?
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tsinghua University(清华大学);The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Lightspeed Studios, Tencent(腾讯光速工作室)
GameXpert-Bench是覆盖游戏开发全生命周期的基准,含三个赛道,测评显示当前编码智能体在生成可玩游戏基础上表现较好,在缺陷发现等方面仍有不足。
2026-08-25 cs.AI cs.CL
Evaluating and Enhancing LLMs Agent based on Theory of Mind in Guandan: A Multi-Player Cooperative Game under Imperfect Information
The Hong Kong University of Science and Technology(香港科技大学);University of Toronto(多伦多大学)
本文研究LLM智能体在掼蛋这一不完全信息多玩家合作游戏中的协作能力,提出基于心智理论的规划技术并结合外部工具应对复杂动作空间,实验表明LLM虽与强化学习模型存在性能差距,但能理解盟友与对手并提升协作表现。
2024-08-05 cs.AI cs.CL
RPGBENCH: Evaluating Large Language Models as Role-Playing Game Engines
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出首个评估LLM作为文本RPG引擎的基准RPGBench,通过游戏创建与模拟任务及主客观评估方法,发现最先进LLM虽能生成有趣故事但难以维持一致可验证的游戏机制。
2025-02-01 cs.AI cs.CL
Exploring Large Language Models for Word Games:Who is the Spy?
本研究以“谁是卧底”游戏为例,提出基于思维链的无训练调度框架,提升大语言模型在文字游戏中的情境推理与身份伪装等能力,验证了其在结构化游戏社交互动中的潜力。
2025-03-19 cs.AI cs.CL
GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations
Drexel University(德雷塞尔大学);LLNL(劳伦斯利弗莫尔国家实验室);Lehigh University(里海大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);MIT(麻省理工学院);Harvard University(哈佛大学);Boston University(波士顿大学)
本文提出GTBench博弈论评估环境,系统刻画并比较LLMs在10类游戏中的策略推理能力,揭示其在不同信息与概率场景下的行为差异、开源与商业模型差距及代码预训练的作用。
2024-06-10 cs.AI cs.CL cs.LG
Connecting the Dots: Evaluating Abstract Reasoning Capabilities of LLMs Using the New York Times Connections Word Game
Barnard College, Columbia University(哥伦比亚大学巴纳德学院);Stony Brook University(石溪大学)
本文使用438个《纽约时报》Connections游戏评估LLMs的抽象推理能力,发现表现最好的Claude 3.5 Sonnet仅解决18%的游戏且不及人类玩家,并构建知识类型分类法揭示了LLMs在百科知识等非语义推理上的不足。
2024-10-14 cs.AI cs.CL
Collaborative Storytelling and LLM: A Linguistic Analysis of Automatically-Generated Role-Playing Game Sessions
Università degli Studi di Salerno(萨勒诺大学)
本研究通过语言学分析,比较LLM生成的RPG会话与人类对话、人类RPG记录及书籍的词汇和句法特征,发现LLM文本具有独特模式,揭示了训练对其表达方式和叙事能力的影响。
2025-03-26 cs.AI cs.CL
Hidden in Plain Text: Measuring LLM Deception Quality Against Human Baselines Using Social Deduction Games
SPARX Studio, Inc.(77SPARX工作室公司);University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文通过社会推断游戏测量 LLM 欺骗能力,发现 LLM 在欺骗人类时表现更优,但其欺骗质量低于人类。
2026-01-20 cs.AI cs.CL cs.CY
CriticaLLM: Using LLMs as Autonomous Game Master for Tabletop Role-Playing Games
UCLouvain(天主教鲁汶大学)
本研究提出了一款名为CriticaLLM的全自动游戏主持人框架,通过四种不同规模的LLM评估其运行桌面角色扮演游戏的能力,结果显示该框架是运行此类游戏的有前景方案。
2026-10-16 cs.AI
Playing Language Game with LLMs Leads to Jailbreaking
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文基于不匹配泛化提出自然语言游戏和自定义语言游戏两种越狱方法,在多个LLM平台实现高攻击率,并通过实验发现LLMs的安全对齐知识无法跨语言格式泛化,为相关研究开辟新途径。
2024-11-27 cs.AI cs.CL
LLMs Judge Themselves: A Game-Theoretic Framework for Human-Aligned Evaluation
Beijing Institute of Technology(北京理工大学);Southeast Academy of Information Technology(东南信息技术研究院)
本文提出一种基于游戏理论的自动相互评估框架,通过LLM自我评估和同伴评审,结合人类投票行为,探索LLM评估的对齐性。
2026-04-06 cs.AI cs.CL
Orak: A Foundational Benchmark for Training and Evaluating LLM Agents on Diverse Video Games
KRAFTON;Seoul National University(首尔国立大学);NVIDIA;University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Ludo Robotics
Orak通过12种主流视频游戏构建基础基准,系统评估LLM代理在不同游戏场景中的能力,提供统一评估框架和细调数据集,推动多样化游戏代理发展。
2026-04-14 cs.AI
Making New Connections: LLMs as Puzzle Generators for The New York Times' Connections Word Game
New York University(纽约大学);Jester Labs(杰斯特实验室)
本文研究GPT系列大语言模型生成《纽约时报》连线单词谜题的能力,提出基于思维树提示的生成方法,并通过用户研究证明AI能生成多样且富有挑战性和创造性的谜题。
2024-07-15 cs.AI cs.CL
Enhance Reasoning for Large Language Models in the Game Werewolf
Tencent AI Lab(腾讯AI实验室)
本文提出将LLM与外部Thinker模块集成的双系统推理框架,通过数据库知识和强化学习训练,在9人狼人杀游戏中提升演绎推理与发言生成能力,并贡献了最大规模社交推理游戏数据集。
2024-03-29 cs.AI cs.CL
GameUIAgent: An LLM-Powered Framework for Automated Game UI Design with Structured Intermediate Representation
本文提出GameUIAgent框架,通过结构化中间表示将自然语言描述转化为Figma设计,结合神经符号管道实现迭代自校正,发现质量天花板效应和渲染评估保真原则。
2026-03-16 cs.AI
Automated Unity Game Template Generation from GDDs via NLP and Multi-Modal LLMs
UET Taxila(塔希尔大学工程学院)
本文提出一种利用NLP和多模态LLM将游戏设计文档自动转化为Unity游戏模板的框架,通过微调LLaMA-3模型生成C#代码,在编译、遵循度和模块化等指标上优于现有模型,有效填补AI辅助游戏开发的空白。
2025-09-07 cs.AI cs.CL cs.LG
Enforcing Narrative Reliability and Epistemic Pacing in LLM-Driven Detective Games via Structured Knowledge Trees
University of Calgary(卡尔加里大学)
本研究提出结构化知识树与三智能体LLM流水线,在侦探游戏中减少64.78%关键幻觉并完全防止过早披露,确保叙事可靠性与认知节奏。
2026-09-22 cs.AI cs.CL
Can LLMs Understand Social Norms in Autonomous Driving Games?
Columbia University(哥伦比亚大学);Data Science Institute, Columbia University(哥伦比亚大学数据科学学院)
本文通过将基于GPT-4.0的LLM智能体引入马尔可夫博弈,研究其在无信号交叉口和高速公路车队场景中理解并自发演化社会规范的能力,发现LLM智能体能应对动态环境并形成保守驾驶等社会规范。
2024-09-01 cs.AI
ComboBench: Can LLMs Manipulate Physical Devices to Play Virtual Reality Games?
Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学)
该研究提出ComboBench基准,基于四款VR游戏的262个场景评估大语言模型将语义动作转化为VR设备操作序列的能力,发现顶尖模型仍存在程序推理与空间理解短板,少样本示例可有效提升相关性能。
2025-10-28 cs.AI cs.CL cs.HC
Can Large Language Models Master Complex Card Games?
Nankai University(南开大学);Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学);Zhipu AI(智谱AI);Bosch Center for Artificial Intelligence(博世人工智能中心)
本文通过八种卡牌游戏系统评估LLM的微调学习、多游戏共存及通用能力保留情况,证明其可接近强游戏AI,并可用通用指令数据缓解能力下降。
2025-10-21 cs.CL
Solving the Content Gap in Roblox Game Recommendations: LLM-Based Profile Generation and Reranking
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Roblox(罗布乐思公司);Columbia University(哥伦比亚大学);University of California, San Diego(加州大学圣地亚哥分校)
针对Roblox游戏推荐因文本特征稀疏不一致导致的内容差距问题,提出基于LLM的游戏档案生成与重排序方法,生成结构化游戏属性并验证其有效性,提升推荐相关性且已部署至生产环境。
2025-02-01 cs.AI cs.CL cs.IR
Do You Get the Hint? Benchmarking LLMs on the Board Game Concept
CLiPS, University of Antwerp(CLiPS,安特卫普大学)
本文通过棋盘游戏Concept测试LLMs的演绎推理能力,发现人类易解而LLMs表现不佳,尤其在低资源语言中更差。
2026-01-06 cs.CL
ZeroSumEval: Scaling LLM Evaluation with Inter-Model Competition
Meta;Saudi Data & AI Authority(沙特数据与人工智能局);Cohere(Cohere公司);Rensselaer Polytechnic Institute(伦斯勒理工学院)
针对传统LLM评估方法的缺陷,提出基于零和博弈的动态评估协议ZeroSumEval,通过多类型游戏评估多维度AI能力,实验表明其能有效评估模型,且前沿模型在创意类任务中表现不佳。
2025-04-17 cs.AI cs.CL
Game-theoretic LLM: Agent Workflow for Negotiation Games
Rutgers University(罗格斯大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);University of Southern California(南加州大学);University of South Florida(南佛罗里达大学);Harvard University(哈佛大学);Institute of Computing Technology(计算技术研究所)
本文研究LLMs在博弈论决策中的理性局限,提出多种博弈论工作流以指导其推理,显著提升了模型在谈判等任务中识别最优策略、实现近最优分配及抗剥削的鲁棒性,并探讨了智能体采用该工作流的元战略问题。
2024-11-12 cs.AI cs.CL cs.GT
Can LLMs Replace Economic Choice Prediction Labs? The Case of Language-based Persuasion Games
Technion - Israel Institute of Technology(技术离子-以色列理工学院)
本研究探讨LLMs在语言基于说服游戏中能否替代人类进行选择预测,并发现LLMs生成的数据能有效预测人类行为,甚至优于真实人类数据。
2025-11-20 cs.AI cs.CL cs.GT
PANGeA: Procedural Artificial Narrative using Generative AI for Turn-Based Video Games
Southern Methodist University Guildhall(南卫理公会大学Guildhall)
本研究提出PANGeA框架,在游戏设计师准则引导下利用大语言模型生成回合制RPG叙事内容,通过验证系统和定制记忆机制保障叙事一致性,支持多引擎与多类LLM集成,实验验证了其应对自由形式输入时的叙事生成能力。
2024-07-09 cs.AI cs.CL
LLM-Based Agent Society Investigation: Collaboration and Confrontation in Avalon Gameplay
Singapore Management University(新加坡管理大学);Verily Life Sciences(维里生命科学公司);Tencent(腾讯);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出专为Avalon游戏设计的多智能体框架,通过系统提示引导LLM智能体,评估其游戏表现并分析协作与对抗等社会行为,证实了框架创建自适应智能体的有效性及LLM在动态社交中的潜力。
2024-10-13 cs.CL
Fine-Grained and Thematic Evaluation of LLMs in Social Deduction Game
Department of Artificial Intelligence, Chung-Ang University, Seoul, Republic of Korea(人工智能系, Chung-Ang大学,首尔,韩国)
针对社交推理游戏中LLM评估的粗粒度和缺乏结构化错误分析问题,提出六个细粒度指标和主题分析,识别出四大推理失败类型。
2025-10-07 cs.AI cs.CL
Evaluating Large Language Models with Grid-Based Game Competitions: An Extensible LLM Benchmark and Leaderboard
Florida Polytechnic University(佛罗里达理工大学)
本研究提出基于网格游戏的可扩展LLM基准,通过三类游戏、三种提示类型对7款主流LLM开展2310场对弈测试,揭示性能差异,为评估LLM规则理解与战略思维、探索其复杂决策能力提供支撑。
2024-07-11 cs.AI cs.CL cs.LG
GameBench: Evaluating Strategic Reasoning Abilities of LLM Agents
Olin College of Engineering(奥林工程学院);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Oxford(牛津大学);University College London(伦敦大学学院);ShanghaiTech University(上海科技大学);Columbia University(哥伦比亚大学);University of Manchester(曼彻斯特大学)
GameBench是一个跨领域基准,通过9个游戏环境评估LLM智能体的战略推理能力,结果显示GPT-3/GPT-4均未达到人类水平,CoT和RAP框架虽提升分数但仍不及人类。
2024-07-22 cs.AI cs.CL
Framing the Game: How Context Shapes LLM Decision-Making
University of Oxford(牛津大学);University of Cambridge(剑桥大学)
本文提出一个程序化生成多样化情境的评估框架,揭示大语言模型在相同博弈结构下的决策受情境框定显著影响,并呼吁采用动态、情境感知的评估方法。
2025-03-05 cs.AI cs.CL cs.GT
Game Generation via Large Language Models
Southern University of Science and Technology(南方科技大学)
本文提出基于LLM的框架,利用视频游戏描述语言同时生成游戏规则与关卡,扩展了LLM在程序化内容生成领域的应用。
2024-05-30 cs.AI
InterIntent: Investigating Social Intelligence of LLMs via Intention Understanding in an Interactive Game Context
University of Southern California(南加州大学)
该研究提出InterIntent框架,从四个社会智能维度对应四类游戏任务评估大语言模型的意图理解能力,发现其意图选择准确率达88%但推断他人意图弱于人类20%,为LLM社会智能评估提供了新的结构化测试方案。
2024-11-03 cs.AI
Reasoning and Behavioral Equilibria in LLM-Nash Games: From Mindsets to Actions
Department of Electrical;Computer Engineering, New York University, Brooklyn, NY, USA
提出LLM-Nash博弈论框架,通过显式建模基于LLM的推理提示选择过程来刻画有限理性,揭示了推理均衡与经典Nash结果的偏离,为LLM系统的策略交互提供新基础。
2025-07-10 cs.AI cs.GT
Baba is LLM: Reasoning in a Game with Dynamic Rules
LIACS, Leiden University, The Netherlands(LIACS,莱顿大学,荷兰)
本文探索LLMs在动态规则游戏《Baba is You》中的推理能力,通过多种提示和微调评估,发现大模型表现更优,但所有模型对动态规则推理仍困难,揭示了LLMs在复杂问题解决中的局限。
2025-06-23 cs.AI
lmgame-Bench: How Good are LLMs at Playing Games?
UC San Diego(加州大学圣地亚哥分校);MBZUAI(穆桑贝斯人工智能研究院);UC Berkeley(加州大学伯克利分校)
本文提出lmgame-Bench基准,通过统一API和感知记忆支架将平台跳跃、解谜与叙事游戏转化为可靠的LLM评估,并在13个模型上验证其区分度及跨任务迁移能力。
2025-06-03 cs.AI