Exploration Based Language Learning for Text-Based Games
HKUST(香港科技大学);Uber AI(优步人工智能实验室);UC-Davis(加州大学戴维斯分校)
这项工作提出了一种基于探索和模仿学习的代理,能够在玩基于文本的计算机游戏时具有最先进的性能。基于文本的计算机游戏通过自然语言向玩家描述他们的世界,并期望玩家使用文本与游戏交互。这些游戏是有趣的,因为它们可以被视为人工智能的语言理解、解决问题和语言生成的测试平台。此外,它们提供了一个学习环境,在这个环境中,这些技能可以通过与环境的交互而不是使用固定的语料库来获得。使这些游戏对学习代理特别具有挑战性的一个方面是组合的大动作空间。现有的解决基于文本的游戏的方法是有限的游戏,要么是非常简单的,或有一个动作空间限制到一个预定的一组可接受的行动。在这项工作中,我们建议使用的探索方法去探索解决基于文本的游戏。更具体地说,在最初的探索阶段,我们首先提取具有高回报的轨迹,之后我们通过模仿这些轨迹来训练策略以解决游戏。我们的实验表明,这种方法优于现有的解决方案,在解决基于文本的游戏,它是更有效的样本与环境的互动的数量。此外,我们表明,学习的政策可以推广比现有的解决方案看不见的游戏,而不使用任何限制的行动空间。
2020-06-08 cs.AI cs.CL
Interactive Fiction Games: A Colossal Adventure
Microsoft Research(微软研究院);Georgia Institute of Technology(佐治亚理工学院);Microsoft Research Montréal(微软研究院蒙特利尔分院)
人类智能的一个标志是理解和交流语言的能力。交互式小说游戏是完全基于文本的模拟环境,玩家发出文本命令来影响环境的变化和故事的进展。我们认为,如果游戏是一个很好的测试平台,研究基于语言的自主智能体。特别是,IF游戏结合了组合动作空间、语言理解和常识推理的挑战。为了促进基于语言的代理的快速发展,我们介绍杰里科,人工IF游戏的学习环境,并进行了全面的研究,文本代理在一组丰富的游戏,突出的方向,代理可以改善。
2020-02-25 cs.AI cs.CL
EGG: a toolkit for research on Emergence of lanGuage in Games
Facebook AI(Facebook人工智能);Facebook AI Research(Facebook人工智能研究院);LSCP;ICREA
在开发支持语言的交互式人工智能的实际目标以及有关人类语言进化的理论问题的推动下,人们对模拟深层神经代理之间的语言出现重新产生了兴趣,这些代理通过通信来共同解决任务。然而,优化由离散通信通道(例如语言出现的通道)连接的深层架构在技术上具有挑战性。我们介绍EGG,一个工具包,大大简化了紧急语言通信游戏的实现。EGG的模块化设计提供了一组构建块,用户可以将其组合起来创建新游戏,轻松地导航优化和架构空间。我们希望该工具将降低技术壁垒,并鼓励来自不同背景的研究人员在这个令人兴奋的领域进行原创性工作。
2019-10-13 cs.AI cs.CL
Playing the Werewolf game with artificial intelligence for language understanding
The University of Tokyo Hospital(东京大学医院);The University of Tokyo(东京大学)
《狼人》游戏是一款基于自由自然语言交流的社交演绎游戏,玩家为了生存,试图欺骗他人。这个游戏的一个重要特点是,很大一部分对话都是虚假信息,而人工智能(AI)在这种情况下的行为还没有得到广泛的调查。本研究的目的是开发一个能够通过自然语言对话扮演狼人的人工智能智能体。首先,我们收集了15名人类玩家的游戏日志。接下来,我们微调了一个基于transformer的预训练语言模型,以构建一个价值网络,该网络可以预测在游戏的任何给定阶段赢得游戏的后验概率,并给出下一个动作的候选者。然后,我们开发了一个人工智能智能体,它可以与人类交互,并根据其概率从价值网络中选择最佳投票目标。最后,我们通过让智能体与人类玩家一起玩游戏来评估智能体的性能。我们发现,我们的人工智能智能体Deep Wolf在扮演村民或背叛者角色时,可以像普通人类玩家一样有竞争力地扮演狼人,而Deep Wolf在扮演狼人或先知角色时不如人类玩家。这些结果表明,目前的语言模型有能力怀疑别人在说什么,说谎,或检测谎言的对话。
2023-02-21 cs.AI cs.CL
Exploring Large Language Models for Word Games:Who is the Spy?
本研究以“谁是卧底”游戏为例,提出基于思维链的无训练调度框架,提升大语言模型在文字游戏中的情境推理与身份伪装等能力,验证了其在结构化游戏社交互动中的潜力。
2025-03-19 cs.AI cs.CL
GameTraversalBenchmark: Evaluating Planning Abilities Of Large Language Models Through Traversing 2D Game Maps
University of the Witwatersrand(威特沃特斯兰德大学);New York University(纽约大学)
本文提出GameTraversalBenchmark(GTB),通过2D网格游戏地图评估LLMs的规划能力,发现GPT-4-Turbo得分44.97%,推理模型o1得分67.84%,表明该基准仍具挑战性。
2024-10-10 cs.AI cs.CL
A Survey on Large Language Model-Based Social Agents in Game-Theoretic Scenarios
The University of Hong Kong(香港大学);National University of Singapore(新加坡国立大学);Institute for Infocomm Research (I2R), A*STAR(新加坡科技研究局信息通信研究院);Peking University(北京大学);Harbin Institute of Technology(哈尔滨工业大学)
本文系统综述了基于大语言模型的博弈论场景社交智能体研究,从博弈框架、社交智能体和评估协议三方面归纳进展,并分析表现与未来方向。
2025-07-20 cs.AI cs.CL
Playing Language Game with LLMs Leads to Jailbreaking
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文基于不匹配泛化提出自然语言游戏和自定义语言游戏两种越狱方法,在多个LLM平台实现高攻击率,并通过实验发现LLMs的安全对齐知识无法跨语言格式泛化,为相关研究开辟新途径。
2024-11-27 cs.AI cs.CL
Language as Mathematical Structure: Examining Semantic Field Theory Against Language Games
TWT Science & Innovation(TWT科学与创新);NIKI - Digital Engineering(NIKI数字工程)
本文通过对比语义场理论与语言游戏,探讨语言的数学结构与社会建构的互补性,提出新的理论指导AI架构的方向。
2026-01-01 cs.AI cs.CL
Grammar and Gameplay-aligned RL for Game Description Generation with LLMs
Waseda University(早稻田大学)
本文提出RLGDG方法,通过引入语法奖励和概念奖励对LLM进行强化学习微调,采用SFT后接RL的两阶段策略,显著提升了从自然语言生成GDL游戏描述的语法正确性与概念保真度。
2025-06-27 cs.AI cs.CL
Interactive Language Acquisition with One-shot Visual Concept Learning through a Conversational Game
Baidu Research - Institue of Deep Learning(百度研究院 - 深度学习研究所);National Engineering Laboratory for Deep Learning Technology and Applications(深度学习技术及应用国家工程实验室)
构建能够用自然语言与人类交流并向人类学习的智能代理具有重要价值。监督式语言学习主要受限于获取训练数据的统计信息的能力,并且很难适应新的场景或灵活地获取新知识而不进行低效的再训练或灾难性遗忘。我们强调的观点,会话互动作为一个自然的界面,既为语言学习和新的知识获取,并提出了一个联合模仿和强化的方法,通过互动的会话游戏接地语言学习。用这种方法训练的代理能够通过询问有关新对象的问题来主动获取信息,并以一次性方式在随后的对话中使用刚刚学习的知识。通过与其他方法的比较,验证了该方法的有效性。
2018-04-26 cs.AI cs.CL
Evaluating from Benign to Dynamic Adversarial: A Squid Game for Large Language Models
Shanghai Jiao Tong University, Shanghai, China(上海交通大学);Shanghai AI Laboratory, Shanghai, China(上海人工智能实验室)
本文提出鱿鱼游戏,一个动态对抗性评估环境,用于评估大型语言模型的多方面能力,并揭示静态基准中可能存在的评估范式污染问题。
2026-01-30 cs.AI cs.CL
Playing With AI: How Do State-Of-The-Art Large Language Models Perform in the 1977 Text-Based Adventure Game Zork?
University of Twente(特文特大学)
本文评估了当前最先进的大语言模型在1977年文本冒险游戏Zork中的表现,发现其在问题解决和推理能力上存在显著局限。
2026-01-27 cs.AI cs.CL
Interactive Fiction Game Playing as Multi-Paragraph Reading Comprehension with Reinforcement Learning
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
具有真实人类书写的自然语言文本的交互式小说(IF)游戏为语言理解技术提供了一种新的自然评价。与以前的文本游戏主要是合成文本相比,IF游戏对人类书写的文本描述提出了语言理解的挑战,复杂的游戏世界和语言生成的挑战,从限制较少的组合空间的动作命令生成。我们从一个新的角度来看待IF游戏的解决,并将其重新表述为多段落阅读理解(MPRC)任务。我们的方法利用上下文查询注意力机制和结构化预测MPRC有效地产生和评估行动输出,并应用以对象为中心的历史观察检索策略,以减轻部分可观察性的文本观察。在最近的IF基准测试(杰里科)上进行的大量实验表明,与以前的所有方法相比,我们的方法具有明显的优势,可以实现高胜率和低数据要求。我们的源代码可以在https://github.com/XiaoxiaoGuo/rcdqn上找到。
2020-10-05 cs.AI cs.CL
Enhance Reasoning for Large Language Models in the Game Werewolf
Tencent AI Lab(腾讯AI实验室)
本文提出将LLM与外部Thinker模块集成的双系统推理框架,通过数据库知识和强化学习训练,在9人狼人杀游戏中提升演绎推理与发言生成能力,并贡献了最大规模社交推理游戏数据集。
2024-03-29 cs.AI cs.CL
Evaluating Language Models' Evaluations of Games
University of Cambridge(剑桥大学);MIT(麻省理工学院);Princeton University(普林斯顿大学);NYU(纽约大学);Harvard University(哈佛大学);Stanford University(斯坦福大学)
本文研究了语言模型对游戏评估的能力,通过比较现代语言模型和人类及符号计算代理的评估结果,发现推理模型在游戏评估上更接近人类,但随着模型接近博弈最优,其与人类数据的匹配度会减弱,且在评估趣味性时表现出更大的波动。
2026-05-18 cs.AI cs.CL
Saying the Unsaid: Revealing the Hidden Language of Multimodal Systems Through Telephone Games
Shanghai Jiao Tong University(上海交通大学);Renmin University of China(中国人民大学)
针对闭源多模态系统黑盒导致的隐藏语言不透明问题,本文提出基于多轮传话游戏的分析框架,结合Telescope数据集与Reasoning-LLMs,定量探究其概念连接特性,为多模态可解释性研究提供新视角。
2025-11-12 cs.AI cs.CL
Adapting to Teammates in a Cooperative Language Game
Brigham Young University(杨百翰大学)
针对Codenames中固定语言模型难以适配不同队友的问题,提出基于内部专家的回合级集成智能体和统一队伍表现指标,实现无先验知识的在线队友适配。
2024-02-26 cs.AI cs.CL
CoMet: Metaphor-Driven Covert Communication for Multi-Agent Language Games
School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);Engineering Research Center of Intelligent Technology and Educational Application, Ministry of Education(教育部智能技术与教育应用工程研究中心)
CoMet框架通过结合隐喻推理与生成,增强LLM智能体在多智能体语言游戏中的隐蔽通信和语义规避能力,实验验证其显著提升战略性通信效果。
2025-05-23 cs.AI cs.CL
FIREBALL: A Dataset of Dungeons and Dragons Actual-Play with Structured Game State Information
University of Pennsylvania(宾夕法尼亚大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校)
本文提出FIREBALL数据集,收录近25,000个带真实游戏状态的D&D实况会话,证明利用Avrae状态信息可提升LLM的游戏回合生成质量,并展示LLM经微调后能生成可执行的Avrae命令。
2023-05-26 cs.AI cs.CL
Keep CALM and Explore: Language Models for Action Generation in Text-based Games
Princeton University(普林斯顿大学);Microsoft Research(微软研究院)
基于文本的游戏提出了一个独特的挑战,自主智能体操作在自然语言和处理巨大的行动空间。在本文中,我们提出了上下文动作语言模型(CALM)在每个游戏状态生成一个紧凑的一组候选动作。我们的关键见解是训练人类游戏的语言模型,其中人们展示语言先验和对游戏历史条件下有希望的行动的一般游戏感。我们将CALM与强化学习代理相结合,该代理对生成的候选动作进行重新排名,以最大化游戏中的奖励。我们使用杰里科基准评估我们的方法,在训练期间CALM看不到的比赛中。我们的方法获得了69%的相对改善,平均游戏得分比以前的国家的最先进的模型。令人惊讶的是,在这些游戏中,有一半的游戏,CALM是竞争对手或优于其他模型,有机会获得地面真相可接受的行动。代码和数据可在https://github.com/princeton-nlp/calm-textgame上获得。
2020-10-06 cs.CL
In-game Toxic Language Detection: Shared Task and Attention Residuals
School of Computer Science, University of Sydney(悉尼大学计算机科学学院)
本文针对游戏内极短聊天有害语言检测的挑战,基于真实数据建立了共享任务,并提出用于有害语言词元标注(槽位填充)的模型与框架。
2025-04-01 cs.CL
Adversarial Language Games for Advanced Natural Language Intelligence
Institute for Artificial Intelligence, Tsinghua University(清华大学人工智能学院)
我们研究了对抗性语言游戏的问题,在这个游戏中,多个目标相互冲突的智能体通过自然语言交互相互竞争。虽然对抗性语言游戏在人类活动中无处不在,但在自然语言处理中很少有人关注这一领域。在这项工作中,我们提出了一个具有挑战性的对抗性语言游戏,称为对抗性禁忌作为一个例子,其中攻击者和防御者围绕目标词进行竞争。攻击者的任务是诱导防御者说出防御者看不见的目标词,而防御者的任务是在被攻击者诱导之前检测目标词。在对抗性禁忌中,成功的攻击者必须隐藏自己的意图并巧妙地诱导防御者,而竞争性防御者必须谨慎使用自己的言论并推断攻击者的意图。这种语言能力可以促进许多重要的下游NLP任务。为了实例化游戏,我们创建了一个游戏环境和一个比赛平台。对几种基本攻击和防御策略的综合实验和实证研究显示了有希望和有趣的结果。基于对博弈和实验的分析,我们讨论了未来研究的多个有前途的方向。
2020-12-17 cs.CL
Language Model-In-The-Loop: Data Optimal Approach to Learn-To-Recommend Actions in Text Games
Mila - Quebec AI Institute(魁北克人工智能研究所);Ecole Polytechnique de Montreal(蒙特利尔理工学院);University of Montreal(蒙特利尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能讲席)
本文提出在学习文本游戏过程中动态更新LLM(如GPT-2)以推荐动作,减少对人类注释数据的依赖,但迁移性不一致。
2023-11-13 cs.AI cs.CL cs.LG
How Different AI Chatbots Behave? Benchmarking Large Language Models in Behavioral Economics Games
University of Michigan(密歇根大学);MobLab;Stanford University(斯坦福大学)
本文基准测试五个主流LLM聊天机器人在行为经济学博弈中的表现,揭示其共同与独特的行为模式,为关键决策部署提供策略偏好洞察。
2024-12-16 cs.AI cs.CL
GenQuest: An LLM-based Text Adventure Game for Language Learners
Hosei University(立命馆大学);King’s College London(伦敦大学国王学院);Kindai University(_kindai大学);Tokyo Uni. of Science(东京科学大学);University of Sheffield(谢菲尔德大学)
本研究开发了基于LLMs的生成式文字冒险游戏GenQuest,通过定制化互动叙事与语境词汇辅助助力EFL学习,试点研究证实其词汇提升效果良好且用户评价积极。
2025-10-06 cs.AI cs.CL
Steering Language Models with Game-Theoretic Solvers
Google DeepMind(谷歌DeepMind)
该研究提出一个框架,将博弈论均衡求解器应用于LLM对话空间,通过建模玩家、策略和收益,引导模型生成更稳健、收益更高的谈判语言。
2024-12-16 cs.AI cs.CL cs.GT
Functorial Language Games for Question Answering
University of Oxford(牛津大学);Tallinn University of Technology(塔林理工大学)
我们对维特根斯坦的语言游戏进行了分类研究,并将其应用于游戏理论语用学和自然语言处理中的问答。
2021-01-26 cs.CL cs.GT
Inductive Bias and Language Expressivity in Emergent Communication
University of Edinburgh(爱丁堡大学);University of British Columbia(不列颠哥伦比亚大学);University of Cambridge(剑桥大学);DeepMind(深度思维)
指称游戏和重构游戏是研究突现语言最常见的游戏类型。我们研究了语言游戏的类型如何影响涌现语言:i)语言组合性和ii)将涌现语言转移到与其起源不同的任务,我们称之为语言表达性。通过手工制作的符号数据集上的实证实验,我们表明,从不同的游戏中出现的语言具有不同的组合性和进一步不同的表现力。
2020-12-04 cs.CL
Game of Thought: Robust Information Seeking with Large Language Models Using Game Theory
Department of Computer Science, National University of Singapore, 13 Computing Drive, Singapore 117417(新加坡国立大学计算机科学系)
本文提出Game of Thought框架,通过博弈论技术提升大型语言模型在信息检索中的鲁棒性,实验证明其在最坏情况下的性能优于传统方法。
2026-02-02 cs.AI cs.CL cs.GT
Re-conceptualising the Language Game Paradigm in the Framework of Multi-Agent Reinforcement Learning
Vrije Universiteit Brussel(布鲁塞尔自由大学);KU Leuven(鲁汶大学)
在本文中,我们制定的挑战重新概念化的语言游戏实验范式的框架内的多智能体强化学习(MARL)。如果成功的话,未来的语言游戏实验将受益于MARL社区快速和有前途的方法进步,而未来的MARL学习紧急通信实验将受益于语言游戏实验的见解和结果。我们坚信,这种异花授粉有可能在模拟类人语言如何在多智能体系统中出现和进化方面取得重大突破。
2020-04-09 cs.AI cs.CL cs.LG
Large Language Models and Games: A Survey and Roadmap
Institute of Digital Games, University of Malta(马耳他大学数字游戏研究所);Tandon School of Engineering, New York University(纽约大学坦登工程学院)
本文作为大语言模型与游戏交叉领域的首份全面综述与路线图,调研了LLMs在游戏中的各类应用及角色,探讨了未来方向,并梳理了其潜力与局限性,为该领域研究创新奠定基础。
2024-12-09 cs.AI cs.CL cs.HC
Multi-agent KTO: Reinforcing Strategic Interactions of Large Language Model in Language Game
Fudan University(复旦大学);Bytedance Research(字节跳动研究院)
本文提出 MaKTO 框架,让多模型在《狼人杀》语言游戏中通过互动生成偏好数据并用 KTO 优化决策,显著提升胜率并表现出接近人类的隐蔽性。
2025-03-13 cs.AI cs.CL cs.HC
An investigation into language complexity of World-of-Warcraft game-external texts
University of Groningen(格罗宁根大学)
我们提出了一个魔兽世界(WoW)社区文本的语言复杂性分析,我们比较文本从一般语料库的网络英语。结果从几个复杂性类型,包括词汇多样性,密度,可读性和句法复杂性。魔兽世界文本的语言被认为是可比的一般语料库的一些复杂性措施,但更专门的其他措施。我们的研究结果可以用于教育工作者愿意将游戏相关的活动纳入学校课程。
2015-02-07 cs.CL
In-game Toxic Detection: Bi-directional Representations with Attention Residuals
University of Sydney(悉尼大学)
针对游戏内毒性检测中短文本与俚语挑战,提出带注意力残差的双向表示模型BRAR,在槽填充任务上优于基线。
2026-09-29 cs.AI cs.CL cs.LG
Can Large Language Models Play Text Games Well? Current State-of-the-Art and Open Questions
University of Chicago(芝加哥大学);Syracuse University(雪城大学);New Jersey Institute of Technology(新泽西理工学院);Millburn High School(米尔本高中);WeChat AI(微信人工智能);Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
本文率先调查了ChatGPT等大型语言模型玩文字游戏的能力,实验发现其虽优于现有系统,但仍因无法构建世界模型、利用已有知识和推断步骤目标而表现出较低智能水平,由此引出了AI、机器学习与NLP交叉领域的开放性研究问题。
2025-03-28 cs.AI cs.CL cs.LG
Planning, Inference and Pragmatics in Sequential Language Games
Stanford University(斯坦福大学)
我们研究了两个玩家的连续语言游戏,每个玩家都有私人信息,为了实现一个共同的目标而进行交流。在这样的游戏中,一个成功的玩家必须(i)从合作伙伴的信息中推断出合作伙伴的私人信息,(ii)生成最有可能帮助实现目标的信息,以及(iii)务实地推理合作伙伴的策略。我们提出了一个模型,捕捉所有三个特征,并证明他们在捕捉人类行为的一个新的目标为导向的数据集,我们使用众包的重要性。
2018-05-30 cs.CL
Towards Functorial Language-Games
University of Oxford(牛津大学);University of Amsterdam(阿姆斯特丹大学)
在自然语言的范畴组合语义学中,人们研究从语法推导范畴(如Lambek前群)到语义范畴(如实向量空间)的函子。我们通过把语义范畴看作是态射是开放博弈的范畴,在组合上建立了句子的博弈论语义。这就需要对语法范畴进行一些修改,以弥补开放博弈无法形成紧凑的封闭范畴的缺陷。我们用维特根斯坦的语言游戏的简单例子来说明这个理论。
2018-11-08 cs.CL cs.LO
Learning Chess With Language Models and Transformers
Whiting School of Engineering, Johns Hopkins University(约翰斯·霍普金斯大学怀廷工程学院)
通过基于文本的符号表示棋盘游戏及其位置,使NLP应用成为可能。语言模型,可以帮助深入了解各种有趣的问题,如游戏的无监督学习规则,检测玩家的行为模式,玩家归因,并最终学习游戏击败最先进的状态。在这项研究中,我们应用BERT模型,首先对简单的Nim游戏进行分析,以分析其在少样本学习架构中存在噪声时的性能。我们通过三个虚拟玩家,即Nim Guru,Random Player和Q-learner,分析了模型的性能。在第二部分中,我们将游戏学习语言模型应用到国际象棋游戏中,以及一大组具有详尽百科全书开口的特级大师游戏。最后,我们已经证明,该模型实际上学习了国际象棋游戏的规则,并且可以在A类评级水平下与Stockfish进行比赛。
2022-09-24 cs.AI cs.CL cs.GT
Emergent Linguistic Phenomena in Multi-Agent Communication Games
NYU(纽约大学);Robotics at Google(谷歌机器人部门);Facebook AI Research(脸书人工智能研究院)
在这项工作中,我们提出了一个计算框架,在该框架中,配备了通信能力的代理同时玩一系列参考游戏,其中代理使用深度强化学习进行训练。我们证明,该框架反映了在自然语言中观察到的语言现象:i)社区之间的接触的结果是一个功能的组间和组内的连接; ii)语言接触要么收敛到多数协议,或在平衡的情况下,导致新的克里奥尔语的复杂性较低;语言连续体出现,相邻的语言比相距较远的语言更容易相互理解。我们的结论是,语言进化的复杂特性不需要依赖于复杂的进化语言能力,但可以出现从简单的社会交流之间的感知使能代理玩通信游戏。
2020-02-28 cs.AI cs.CL cs.SI
Building a Language-Learning Game for Brazilian Indigenous Languages: A Case of Study
Universidade de São Paulo(圣保罗大学)
本文探讨了构建巴西原住民语言学习游戏的首次尝试,提出了包含游戏化元素的工具设计,并利用Tupian语言的依存树库和词汇数据库自动生成练习,同时强调了与原住民社区合作收集数据的教育导向。
2024-03-21 cs.CL
Large Language Models are Pretty Good Zero-Shot Video Game Bug Detectors
University of Alberta(阿尔伯塔大学)
视频游戏测试需要游戏特定的知识以及对游戏中事件的常识推理。虽然AI驱动的代理可以满足第一个要求,但还不可能自动满足第二个要求。因此,视频游戏测试通常仍然依赖于手动测试,并且需要人类测试人员彻底玩游戏以检测bug。因此,完全自动化游戏测试具有挑战性。在这项研究中,我们探讨了利用大语言模型的zero-shot功能进行视频游戏bug检测的可能性。通过制定一个问题回答任务的错误检测问题,我们表明,大语言模型可以识别出哪些事件是错误的事件从一个游戏的文本描述序列。为此,我们引入了GameBugDescriptions基准数据集,该数据集由167个bug游戏视频和8个游戏中的334个问答对组成。我们在我们的基准数据集上广泛评估了OPT和InstructGPT大语言模型系列中六个模型的性能。我们的研究结果表明,采用语言模型检测视频游戏的错误有前途的结果。在适当的提示技术下,我们可以达到70.66%的准确率,在一些视频游戏中,高达78.94%。我们的代码、评估数据和基准测试可以在https://asgaardlab.github.io/LLMxBugs上找到
2022-10-05 cs.CL cs.SE
Exploring Large Language Models for Communication Games: An Empirical Study on Werewolf
Tsinghua University(清华大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);Zhongguancun Laboratory(中关村实验室)
本研究针对大语言模型参与通信博弈的问题,提出无需微调的冻结参数+检索反思框架,在狼人杀游戏中验证了其有效性,且观察到策略性行为涌现,为相关研究提供了新思路。
2024-05-11 cs.CL
The Go Transformer: Natural Language Modeling for Game Play
PeopleTec Inc.(PeopleTec公司);Auburn University(奥本大学)
这项工作应用自然语言建模,以产生合理的战略行动,在古老的游戏围棋。我们训练生成预训练的Transformer(GPT-2)来模仿智能游戏格式(SGF)中存档的围棋冠军的风格,该格式提供了移动序列的文本描述。经过训练的模型进一步生成有效但以前看不见的Go策略。因为GPT-2保留了标点符号和空格,文本生成器的原始输出为游戏可视化和创意模式提供了输入,例如Sabaki项目的游戏引擎使用自动重放。结果表明,语言建模可以捕捉到冠军围棋比赛的顺序格式和他们的战略形成。与随机游戏板相比,GPT-2微调显示了有效的开局移动序列,有利于角落发挥不太有利的中心和侧面发挥。作为语言建模任务的游戏生成为40多个其他棋盘游戏提供了新颖的方法,其中历史文本注释提供了训练数据(例如,Amazons & Connect 4/6)。
2020-09-07 cs.CL cs.LG
Can Large Language Models Serve as Rational Players in Game Theory? A Systematic Analysis
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
该研究以博弈论的理性三要素为评估指标,通过三类经典博弈实验系统分析大语言模型的博弈理性能力,发现即使GPT-4也与人类存在显著差距,提出社会科学博弈实验引入LLM需谨慎。
2023-12-12 cs.AI cs.CL cs.GT
VideoGameBench: Can Vision-Language Models complete popular video games?
Princeton University(普林斯顿大学)
VideoGameBench通过10款经典游戏测试视觉-语言模型在无辅助信息下的实时游戏完成能力,发现前沿模型受推理延迟限制,仅能完成极少量游戏内容。
2026-05-14 cs.AI cs.CL cs.CV
Pre-trained Language Models as Prior Knowledge for Playing Text-based Games
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
最近,文本世界游戏被提出来使人工智能体能够理解和推理真实世界的场景。这些基于文本的游戏对于人工智能体来说是具有挑战性的,因为它需要在部分可观察的环境中使用自然语言进行理解和交互。智能体通过文本描述来观察环境,这些文本描述甚至对人类玩家都具有足够的挑战性。过去的方法没有给予足够的重视的语言理解能力的建议代理。通常,这些方法从零开始训练,代理在训练期间使用时间损失函数在线学习文本表示和游戏玩法。鉴于RL方法的样本效率低下,学习足够丰富的文本表示以能够在如此复杂的游戏环境设置中使用文本观察来理解和推理是低效的。在本文中,我们提出了一个简单的RL与LM框架,其中我们使用基于transformer的语言模型与深度RL模型,以提高代理的语义理解。我们对我们的框架进行了详细的研究,以证明我们的模型在流行游戏Zork 1上的表现优于所有现有代理,达到了44.7的分数,比最先进的模型高出1.6。总体而言,我们提出的方法优于14个基于文本的游戏中的4个游戏,而在其余游戏中的表现与最先进的模型相当。
2021-12-23 cs.AI cs.CL cs.MA
Playing Codenames with Language Graphs and Word Embeddings
Department of Computer Science(计算机科学系);Duke University(杜克大学)
尽管在人工智能研究中,棋盘游戏和视频游戏已经研究了几十年,但具有挑战性的文字游戏仍然相对未被探索。文字游戏不像国际象棋或扑克这样的游戏那样受限制。相反,文字游戏策略是由玩家对文字相互关系的理解来定义的。文字游戏Codenames提供了一个独特的机会来研究单词之间关系的常识理解,这是一个重要的开放式挑战。我们提出了一种算法,可以从语言图BabelNet或任何几种嵌入方法-word 2 vec,GloVe,fastText或BERT中生成代号线索。我们引入了一个新的评分函数,衡量线索的质量,我们提出了一个加权项称为检测,结合基于字典的单词表示和文档频率,以提高线索的选择。我们开发了BabelNet-Word选择框架(BabelNet-WSF),以提高BabelNet线索质量,并克服以前阻止利用语言图进行代码命名的计算障碍。与人类评估者的广泛实验表明,我们提出的创新产生了最先进的性能,在某些情况下,精度提高了102.8%@2。总体而言,这项工作推进了文字游戏的正式研究和常识语言理解的方法。
2021-05-12 cs.AI cs.CL cs.LG
AMONGAGENTS: Evaluating Large Language Models in the Interactive Text-Based Social Deduction Game
UC Berkeley(加州大学伯克利分校);Tongji University(同济大学)
本文提出了一个基于文本的社交推理游戏环境 AmongAgents,通过模拟 Among Us 的动态机制,评估大型语言模型在复杂社会场景下的理解、推理与决策能力。
2024-07-24 cs.CL
Characterizing Language Use in a Collaborative Situated Game
UC Berkeley(伯克利大学);NYU(纽约大学);Saarland University(萨尔兰大学)
本研究通过收集Portal 2协作模式中的对话数据,分析了复杂情境下玩家语言使用的特征,揭示了空间指称、澄清修复及临时约定等现象,并公开了包含多模态数据的语料库以支持进一步研究。
2025-12-05 cs.CL
Efficacy of Language Model Self-Play in Non-Zero-Sum Games
University of California, Berkeley(加州大学伯克利分校);Computer Science Division(计算机科学部)
本研究针对自博弈技术能否改进合作类语言任务模型的问题,在可调整合作/对抗程度的DoND谈判博弈中,通过多轮过滤行为克隆微调语言模型,证实自博弈可显著提升模型表现且能泛化到人机协作与对抗场景。
2024-12-09 cs.CL
Designing an Automatic Agent for Repeated Language based Persuasion Games
Technion(以色列理工学院)
说服游戏是经济学和人工智能研究的基础,也是重要应用的基础。然而,在此设置上的工作假设使用不包含丰富人类语言的程式化消息进行通信。在本文中,我们考虑了一个重复的发送者(专家)-接收者(决策者)的游戏,发送者完全了解世界的状态,旨在说服接收者接受一个交易发送几个可能的自然语言评论之一。我们设计了一个自动专家,玩这个重复的游戏,旨在实现最大的回报。我们的专家是在蒙特卡罗树搜索(MCTS)算法中实现的,具有深度学习模型,该模型利用行为和语言信号来预测决策者的下一步行动,以及给定游戏状态和候选人评论的专家的未来收益。我们展示了我们的专家在强大的基线上的优势,它对不同决策者的适应性,以及它所选择的评论很好地适应了拟议的交易。
2021-12-31 cs.CL
Co-evolution of language and agents in referential games
University of Amsterdam(阿姆斯特丹大学);Facebook AI Research(脸书人工智能研究院);University of Osnabrück(奥斯纳布吕克大学)
参照游戏为神经代理提供了一个接地的学习环境,这说明语言在功能上是用来交流的。然而,他们没有考虑到第二个被认为是人类语言形成的基本限制:它必须是新的语言学习者可以学习的。Cogswell et al.(2019)通过不断变化的代理人群在参考游戏中引入文化传播,以限制新兴语言的可学习性。然而,由此产生的语言仍然固有地受到代理的底层能力的影响。在这项工作中,我们引入语言传输引擎来模拟人口的代理人的文化和建筑的演变。作为我们的核心贡献,我们的经验表明,最佳的情况是考虑到语言学习者的学习偏见,从而让语言和代理共同发展。当我们允许智能体群体通过架构进化来进化时,我们在所有考虑的指标上都实现了全面的改进,并超过了文化传播所带来的收益。这些结果强调了研究潜在的代理架构的重要性,并铺平了道路,以调查语言和代理的共同进化的语言出现研究。
2021-01-30 cs.CL
Game-Time: Evaluating Temporal Dynamics in Spoken Language Models
Massachusetts Institute of Technology, USA(麻省理工学院);National Taiwan University(台湾国立台湾大学);Academia Sinica(台湾“ Academia Sinica”);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国立清华大学人工智能研究中心卓越研究中心)
本文提出Game-Time基准测试,用于评估口语语言模型在时间动态方面的能力,发现现有模型在时间约束下表现不佳,揭示了时间感知和全双工交互的不足。
2026-05-01 cs.AI cs.CL eess.AS