EigenGame Unloaded: When playing games is better than optimizing
DeepMind(深度思维)
我们建立在最近提出的EigenGame,认为特征分解作为一个竞争性的游戏。如果使用小批量数据计算,EigenGame的更新会有偏差,这会阻碍随机设置中的收敛和更复杂的并行性。在这项工作中,我们提出了一个无偏的随机更新,是渐近等价的EigenGame,享有更大的并行性,允许更大的样本量的数据集上的计算,并在实验中优于EigenGame。我们目前的应用程序,以找到大规模数据集的主成分和执行谱聚类的图形。我们在EigenGame的背景下分析和讨论我们提出的更新,以及从优化到游戏的视角转变。
2022-03-22 cs.AI cs.LG stat.ML
Learning Game-Playing Agents with Generative Code Optimization
stanford(斯坦福大学)
本文提出用大语言模型将游戏策略表示为可自我演化的 Python 代码,通过执行轨迹与自然语言反馈优化智能体,在 Atari 游戏上以更少训练时间和环境交互达到与深度强化学习基线相当的性能。
2025-08-27 cs.AI cs.LG
Playing the Game of Universal Adversarial Perturbations
DeepMind(深度思维);Google Brain(谷歌大脑)
我们研究了学习分类器对普遍对抗扰动的鲁棒性问题。虽然之前的工作通过鲁棒优化,对抗训练或输入转换来解决这个问题,但我们将其称为两人零和游戏。在这个新的公式中,两个玩家同时玩同一个游戏,其中一个玩家选择一个分类器,使分类损失最小化,而另一个玩家创建一个对抗性扰动,当应用于训练集中的每个样本时,增加相同的损失。通过观察,执行分类(分别创建对抗样本)是对其他玩家的最佳反应,我们提出了一种新的扩展博弈论算法,即虚构的游戏,训练鲁棒分类器的域。最后,我们经验性地展示了我们的方法在两种防御场景中的鲁棒性和多功能性,其中在几个图像分类数据集-CIFAR 10,CIFAR 100和ImageNet上执行通用攻击。
2018-09-25 cs.CV cs.LG stat.ML
Playing by the Book: An Interactive Game Approach for Action Graph Extraction from Text
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);NAIST(奈良先端科学技术大学院大学);RIKEN-AIP(理化学研究所AIP中心)
理解程序性文本需要在叙事展开时跟踪实体、动作和效果。我们专注于从材料科学论文中提取动作图的挑战性现实问题,其中语言是高度专业化的,数据注释是昂贵和稀缺的。我们提出了一种新的方法,Text2Quest,程序文本被解释为一个互动游戏的指令。学习代理通过在基于文本的模拟实验室环境中正确执行过程来完成游戏。与静态文本相比,该框架可以补充现有方法,并实现更丰富的学习形式。我们讨论了这种方法的潜在局限性和优点,并发布了一个原型概念验证,希望能鼓励这一方向的研究。
2019-04-06 cs.CL cs.LG stat.ML
Inductive general game playing
University of Oxford(牛津大学);Imperial College London(帝国理工学院)
通用博弈(GGP)是一个评估智能体在各种任务中的通用智能的框架。在GGP竞赛中,一个智能体被赋予一个它从未见过的游戏规则(描述为一个逻辑程序)。任务是让智能体玩游戏,从而生成游戏轨迹。GGP比赛的获胜者是在所有比赛中获得最佳总分的代理。在本文中,我们颠倒了这个任务:学习者被赋予游戏轨迹,任务是学习可能产生轨迹的规则。这个问题是归纳一般博弈(IGGP)的核心。我们介绍了一种技术,自动生成IGGP任务的GGP游戏。我们介绍了一个IGGP数据集,其中包含50个不同的游戏,如数独,推箱子,和游戏机的痕迹。我们认为IGGP是现有的归纳逻辑程序设计(ILP)方法的难点。为了支持这一说法,我们评估现有的ILP系统在我们的数据集。我们的实证结果表明,大多数游戏不能正确地学习现有的系统。性能最好的系统只能完美地解决40%的任务。我们的研究结果表明,IGGP提出了许多挑战,现有的方法。此外,由于我们可以从GGP游戏中自动生成IGGP任务,因此我们的数据集将随着GGP竞赛的不断增加而不断增长,因为每年都会有新的游戏加入。因此,我们认为IGGP问题和数据集将是有价值的激励和评估未来的研究。
2019-06-23 cs.AI cs.LG
AlphaViT: A flexible game-playing AI for multiple games and variable board sizes
Komatsu University(komatsu大学)
AlphaViT通过融合Vision Transformers开发出灵活的游戏AI,能适应多种游戏和可变棋盘大小,优于传统算法并接近AlphaZero性能。
2025-08-03 cs.AI cs.LG
Towards Playing Full MOBA Games with Deep Reinforcement Learning
Tencent AI Lab(腾讯人工智能实验室);Tencent TiMi L1 Studio(腾讯天美L1工作室)
MOBA游戏,例如,《王者荣耀》、《英雄联盟》、《Dota 2》等游戏对人工智能系统提出了多智能体、巨大的状态-动作空间、复杂的动作控制等巨大挑战,开发MOBA游戏的人工智能也因此备受关注。然而,现有的工作在处理由代理组合的爆炸引起的原始游戏复杂性方面存在不足,即,阵容,当扩大英雄池的情况下,OpenAI的Dota AI限制发挥只有17个英雄池.因此,没有限制的完整MOBA游戏远远不是任何现有AI系统所能掌握的。在本文中,我们提出了一种MOBA AI学习范式,该范式在方法论上可以通过深度强化学习玩完整的MOBA游戏。具体来说,我们开发了一个新的和现有的学习技术相结合,包括课程自我发挥学习,政策蒸馏,政策外的适应,多头价值估计,和蒙特卡罗树搜索,在训练和发挥了大量的英雄,同时巧妙地解决了可扩展性问题。在流行的MOBA游戏《王者荣耀》上进行测试,我们展示了如何构建能够击败顶级电竞选手的超人人工智能智能体。MOBA人工智能智能体在文献中的首次大规模性能测试证明了我们的AI的优越性。
2020-12-31 cs.AI cs.LG
Playing Board Games with the Predict Results of Beam Search Algorithm
Amsterdam(阿姆斯特丹)
本文提出用于完全信息双人确定性游戏的PROBS算法,利用更简单的束搜索替代蒙特卡洛树搜索进行决策,实验证明其在棋盘游戏中胜率显著提升,且在搜索规模远小于游戏回合数时依然有效。
2024-04-23 cs.AI cs.LG
Investigating Human Priors for Playing Video Games
University of California, Berkeley(加州大学伯克利分校)
是什么让人类如此擅长解决看似复杂的视频游戏?与计算机不同,人类带来了大量关于世界的先验知识,从而能够做出有效的决策。本文研究了人类先验知识在解决视频游戏中的作用。给定一个样本游戏,我们进行了一系列的消融研究,以量化人类表现的各种先验的重要性。我们通过修改视频游戏环境来系统地掩盖不同类型的视觉信息,这些信息可以被人类用作先验知识。我们发现,去除一些先验知识会导致人类玩家解决游戏的速度急剧下降,例如从2分钟到20分钟以上。此外,我们的研究结果表明,一般的先验知识,如对象的重要性和视觉一致性,是有效的游戏至关重要。视频和游戏操作可在https://rach0012.github.io/humanRL_website/上获得
2018-07-25 cs.AI cs.LG
Playing Markov Games Without Observing Payoffs
Department of Electrical Engineering, University of Tel Aviv, Tel Aviv, Israel(电信工程系,特拉维夫大学,特拉维夫,以色列)
本文提出了一种在不观察收益情况下,通过在线学习与对手竞争的马尔可夫游戏方法,扩展了对称性概念并实现了多项式时间复杂度的算法。
2026-01-28 cs.GT cs.LG
On Move Pattern Trends in a Large Go Games Corpus
Charles University(查理大学);SUSE Labs(SUSE实验室);Novell(Novell公司)
我们处理了一个大型语料库的棋盘游戏的围棋比赛记录,并提出了一种方法来提取摘要信息的发挥移动。然后,我们应用几个基本的数据挖掘方法的摘要信息,以确定最有区别的功能内的摘要信息,并讨论他们的对应关系与传统的围棋知识。我们显示统计上显着的映射功能的球员属性,如发挥实力或非正式感知的“打球风格”(如领土性或侵略性),描述这些属性的准确分类,并提出应用程序,包括播种实际工作的互联网玩家的行列,帮助围棋研究和调整围棋比赛程序,或贡献去理论讨论的范围内的“打球风格”。
2012-09-24 cs.AI cs.LG
Playing SNES in the Retro Learning Environment
Technion, Israel Institute of Technology(以色列理工学院)
掌握一个视频游戏需要技巧,战术和战略。虽然这些属性可以由人类玩家自然地获得,但将它们教授给计算机程序是一项更具挑战性的任务。近年来,在强化学习领域进行了广泛的研究,并引入了许多算法,旨在学习如何执行人类任务,如玩视频游戏。因此,Arcade学习环境(ALE)(Bellemare等人,2013)已经成为一个常用的基准测试环境,允许算法在各种Atari 2600游戏上进行训练。在许多游戏中,最先进的算法都胜过人类。本文介绍了一种新的学习环境,复古学习环境- RLE,它可以运行在超级任天堂娱乐系统(SNES),世嘉创世纪和其他几个游戏机的游戏。该环境是可扩展的,允许更多的视频游戏和控制台轻松添加到环境中,同时保持与ALE相同的界面。此外,RLE与Python和Torch兼容。SNES游戏由于其更高的复杂性和多功能性,对当前的算法构成了重大挑战。
2017-02-07 cs.AI cs.LG
Computer-Generated Music for Tabletop Role-Playing Games
University of California, Santa Cruz(加州大学圣克鲁兹分校);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究院)
在本文中,我们提出了中阴作曲家,一个系统,以产生背景音乐的桌面角色扮演游戏。Bardo Composer使用语音识别系统将玩家语音翻译成文本,文本根据情感的模型进行分类。然后,Bardo Composer使用随机双目标束搜索,这是我们在本文中介绍的随机束搜索的变体,具有神经模型来生成传达所需情感的音乐作品。我们对116名参与者进行了用户研究,以评估人们是否能够正确识别系统生成的作品中传达的情感。在我们的研究中,我们使用了为《野性的呼唤》(Call of the Wild)制作的作品,这是一个在YouTube上可以找到的龙与地下城战役。我们的研究结果表明,人类受试者可以正确地识别所生成的音乐作品的情感,准确地说,他们能够识别由人类写的作品的情感。
2020-08-16 cs.LG cs.SD eess.AS
A Behavior Analysis-Based Game Bot Detection Approach Considering Various Play Styles
Sungkyunkwan University(成均馆大学);ETRI(韩国电子通信研究院)
提出了一种基于游戏行为分析的MMORPG游戏机器人检测方法。由于MMORPG是大型游戏,用户可以以各种方式玩。游戏行为的这种多样性使得很难根据游戏行为检测游戏机器人。为了解决这个问题,该方法观察用户的游戏行为,并根据他们的行为相似性将他们分组。然后,它为每个玩家组开发了一个本地机器人检测模型。由于局部优化模型可以更准确地检测每个玩家组中的游戏机器人,因此这些模型的组合带来了整体改进。为了减少服务中的游戏服务器的工作负载的实际目的,以低分辨率及时收集游戏数据。行为特征的选择和开发,以准确地检测游戏机器人与低分辨率的数据,考虑到共同的方面MMORPG玩。通过对一个游戏的真实数据进行实验,结果表明,所提出的局部模型方法可以得到更准确的结果。
2015-09-08 cs.AI cs.LG
Playing Text-Adventure Games with Graph-Based Deep Reinforcement Learning
School of Interactive Computing(交互式计算学院);Georgia Institute of Technology(佐治亚理工学院)
基于文本的冒险游戏提供了一个在组合动作空间(如自然语言)的背景下探索强化学习的平台。我们提出了一个深度强化学习架构,将游戏状态表示为在探索过程中学习的知识图谱。此图用于修剪动作空间,从而实现更有效的探索。采取哪种行动的问题可以简化为一个问答任务,这是一种迁移学习的形式,可以预先训练我们架构的某些部分。在使用TextWorld框架的实验中,我们表明,我们提出的技术可以比基线替代品更快地学习控制策略。我们还在https://github.com/rajammanabrolu/KG-DQN上开源了我们的代码。
2019-03-25 cs.AI cs.CL cs.LG
Learning Explainable Representations of Complex Game-playing Strategies
North Carolina State University(北卡罗来纳州立大学);Indian Institute of Technology Bombay(印度理工学院孟买分校);Tata Research Development and Design Centre(塔塔研究开发与设计中心);Northeastern University(东北大学)
本文提出一种类似人类认知的策略,将强化学习代理的游戏策略综合为可执行程序,以学习可解释的表示,并在国际象棋和网格环境中验证其有效性。
2026-10-07 cs.AI cs.LG
Playing FPS Games with Deep Reinforcement Learning
School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
深度强化学习的进步使自主智能体在Atari游戏中表现出色,往往优于人类,只使用原始像素来做出决定。然而,这些游戏中的大多数都发生在智能体完全可观察的2D环境中。在本文中,我们提出了第一个架构,以解决第一人称射击游戏中的3D环境,涉及部分可观察的状态。通常,深度强化学习方法仅利用视觉输入进行训练。我们提出了一种方法来增强这些模型,以利用游戏特征信息,如敌人或项目的存在,在训练阶段。我们的模型经过训练,可以同时学习这些特征以及最小化Q学习目标,这可以显着提高我们代理的训练速度和性能。我们的架构也是模块化的,允许不同的模型在游戏的不同阶段进行独立训练。我们表明,所提出的架构大大优于内置的人工智能智能体的游戏,以及人类在死亡竞赛的情况下。
2018-01-29 cs.AI cs.LG
Improving Bidding and Playing Strategies in the Trick-Taking game Wizard using Deep Q-Networks
Nexocraft GmbH(Nexocraft有限责任公司);TU Dortmund University(多特蒙德工业大学)
在这项工作中,一个单独的投标和播放阶段的诡计采取游戏向导建模的两个交错的部分可观察马尔可夫决策过程(POMDP)。深度Q网络(DQN)用于增强自我改进的代理,这些代理能够应对高度非平稳环境的挑战。为了相互比较算法,监控出价和技巧计数之间的准确性,这与实际奖励密切相关,并提供了明确定义的性能上限和下限。经过训练的DQN代理在自我游戏中实现了66%到87%的准确率,留下了随机基线和基于规则的启发式。进行的分析还揭示了一个很强的信息不对称的球员在投标的立场。为了克服非信息博弈的马尔可夫性缺失,实现了一种长短期记忆(LSTM)网络,将历史信息集成到决策过程中。此外,通过对环境的状态进行采样来进行前向树搜索,从而将游戏变成完美的信息设置。令我们惊讶的是,这两种方法都没有超过基本DQN代理的性能。
2022-05-27 cs.LG
Best Agent Identification for General Game Playing
College of Science and Engineering, Flinders University, Adelaide, South Australia, Australia(科学与工程学院,弗林德斯大学,阿德莱德,澳大利亚,南澳大利亚州);Information and Communication Technologies, Electronics, and Applied Mathematics Institute, UCLouvain, Louvain-la-Neuve, Belgium(信息与通信技术、电子学和应用数学研究所,UCLouvain,洛林-拉-纽夫,比利时);Department of Advanced Computing Sciences, Maastricht University, Maastricht, the Netherlands(高级计算科学系,马斯特里赫特大学,马斯特里赫特,荷兰)
本文提出一种高效通用方法,通过多臂老虎机中的最佳臂识别问题,确定多任务领域中表现最佳的算法。在GVGAI和Ludii框架上验证,相比传统方法,显著降低简单遗憾和错误概率。
2026-04-20 cs.AI cs.DS cs.IT
Playing hard exploration games by watching YouTube
DeepMind(深度思维)
深度强化学习方法传统上难以处理环境奖励特别稀疏的任务。在这些领域引导探索的一种成功方法是模仿人类演示者提供的轨迹。然而,这些演示通常是在人工条件下收集的,即可以访问代理的确切环境设置以及演示者的动作和奖励轨迹。在这里,我们提出了一个两阶段的方法,克服了这些限制,依靠嘈杂的,不对齐的镜头,而无需访问这些数据。首先,我们学习使用在时间和模态(即视觉和声音)上构建的自监督目标将来自多个源的未对齐视频映射到一个共同的表示。其次,我们在这个表示中嵌入一个YouTube视频,以构建一个奖励函数,鼓励代理模仿人类游戏。这种一次性模仿的方法使我们的智能体在臭名昭著的硬探索游戏Montezuma's Revenge,Pitfall上令人信服地超过人类水平的表现!和私家侦探第一次,即使代理没有任何环境奖励。
2018-11-30 cs.AI cs.CV cs.LG
Playing Go without Game Tree Search Using Convolutional Neural Networks
Stanford University(斯坦福大学)
围棋在东亚国家有着悠久的历史,但计算机围棋领域直到最近几年才赶上人类。虽然围棋的规则很简单,但游戏的策略和组合学非常复杂。即使在过去的几年里,依靠神经网络来评估董事会位置的新程序仍然比专业人士每秒能探索出多出许多数量级的董事会位置。我们试图通过创建一个卷积神经策略网络来模仿人类在游戏中的直觉,该网络在没有任何树搜索的情况下,应该以或高于大多数人类的水平玩游戏。我们介绍了三种结构和训练方法,旨在创建一个强大的围棋选手:非矩形卷积,这将更好地学习棋盘上的形状,监督学习,在53,000场专业比赛的数据集上进行训练,以及强化学习,在不同版本的网络之间进行比赛的训练。我们的网络已经超越了仅仅使用监督学习的中级业余爱好者的技能水平。非矩形卷积和强化学习的进一步训练和实现可能会进一步提高这种技能水平。
2019-07-02 cs.AI cs.LG
Word Play for Playing Othello (Reverses)
PeopleTec, Inc.(PeopleTec公司)
像OpenAI的生成式预训练Transformers(GPT-2/3)这样的语言模型捕捉了在各种领域(如语言翻译器)和最近的游戏(国际象棋,围棋和跳棋)中生成文本所需的长期相关性。本研究同时使用大(GPT-3)和小(GPT-2)语言模型来探索奥赛罗(或反转)游戏的复杂策略。给定快速逆转命运的游戏规则,语言模型不仅表示基于先前游戏移动的下一移动的候选预测器,而且还避免了游戏中的稀疏奖励。语言模型自动捕获或模拟冠军级策略。经过微调的GPT-2模型生成的奥赛罗游戏完成度为13-71%,而更大的GPT-3模型则达到了41%。像以前的国际象棋和围棋一样,这些语言模型提供了一种新的方法来生成合理的游戏档案,特别是在人类无法探索的更大样本中比较开局。这些模型的主要贡献放大了(两倍)之前的玩家档案记录(从1977年到2022年的45年内120,000场人类游戏),从而为研究界提供了更多样化和原创的策略,用于使用其他强化学习技术进行采样。
2022-07-18 cs.LG
Playing Games in the Dark: An approach for cross-modality transfer in reinforcement learning
INESC-ID(INESC-ID(葡萄牙国家系统与计算机工程研究所));Instituto Superior Técnico, University of Lisbon(里斯本大学高等理工学院);Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们探索使用的潜在表示从多个输入感官模态(如图像或声音),允许代理学习和利用政策的不同子集的输入模态。我们提出了一个三阶段的体系结构,允许一个强化学习代理在一个给定的感官模态训练,执行其任务的不同的感官模态,例如,学习视觉策略的图像输入,然后执行这样的政策时,只有声音输入可用。我们表明,广义的政策实现更好的开箱即用的性能相比,不同的基线。此外,我们在不同的OpenAI健身房和视频游戏环境中证明了这一点,即使使用不同的多模态生成模型和强化学习算法。
2019-11-28 cs.AI cs.LG
Deep Apprenticeship Learning for Playing Games
University of Oxford(牛津大学)
在过去的十年中,深度学习在机器学习任务中取得了巨大的成功,其中输入数据用不同级别的抽象表示。在最近使用深度神经网络的强化学习研究的推动下,我们探索了基于专家行为设计学习模型的可行性,用于复杂的多维任务,其中奖励功能不可用。在前人对强化学习中监督学习技术研究的基础上,提出了一种新的学徒学习方法。我们的方法被应用到Atari游戏的视频帧,以教一个人工代理玩这些游戏。尽管所报道的结果与强化学习中最先进的结果不具有可比性,但我们证明了这种方法有可能在未来实现强大的性能,值得进一步研究。
2022-05-16 cs.AI cs.CV cs.LG
Playing Flappy Bird via Asynchronous Advantage Actor Critic Algorithm
拥有极高人气的Flappy Bird,经过了很多算法的训练。其中一些研究是从游戏的原始像素值和一些特定属性中训练的。在这项研究中,该模型使用了以前从未见过的原始游戏图像进行训练。经过训练的模型已经学习了什么时候做出什么决定。作为模型的输入,返回每个步骤结束时的奖励或惩罚,并完成训练。Flappy Bird游戏使用强化学习算法Deep Q-Network和Asynchronous Advantage Actor Critic(A3 C)算法进行训练。
2019-07-06 cs.LG cs.NE
Self-playing Adversarial Language Game Enhances LLM Reasoning
Tencent AI Lab(腾讯AI实验室);Tencent Robotics X Lab(腾讯Robotics X实验室)
本文提出通过自对弈对抗性语言游戏(SPAG)增强大语言模型推理能力,实验表明该方法能显著提升多种推理基准性能。
2025-01-24 cs.CL cs.LG