Let's Play Mahjong!
University of Technology Sydney(悉尼科技大学);Shaanxi Normal University(陕西师范大学)
麻将是一种非常受欢迎的基于瓷砖的游戏,通常由四名玩家玩。每个玩家从13张牌的手牌开始,依次,玩家抽牌和弃牌(即,改变)瓷砖,直到他们完成一个合法的手使用第14瓷砖。在本文中,我们对麻将游戏进行了数学和人工智能研究,并试图回答两个基本问题:14张牌的手牌有多糟糕?我应该丢掉哪块瓷砖我们定义并验证了不足的概念,并提出了一个最佳的政策,以放弃一个瓷砖,以增加的机会,完成合法的手在$k$瓷砖变化为每个$k\geq 1$。
2019-03-08 cs.AI
Adapting Rules of Official International Mahjong for Online Players
School of Computer Science Peking University Beijing, China(计算机学院 清华大学 北京 中国)
本文通过AI分析提出调整官方国际麻将规则,以补偿先发优势并优化子目标计分,使游戏更适应在线玩家需求。
2026-01-13 cs.AI
RLCard: A Toolkit for Reinforcement Learning in Card Games
Texas A&M University(得克萨斯农工大学);Simon Fraser University(西蒙弗雷泽大学)
RLCard是一个开源工具包,用于纸牌游戏中的强化学习研究。它支持各种纸牌环境,界面简单易用,包括21点、乐杜克扑克、德州扑克、UNO、斗地主和麻将。RLCard的目标是在强化学习和不完全信息博弈之间架起一座桥梁,推动强化学习在多智能体、大状态和动作空间、稀疏奖励等领域的研究。在本文中,我们提供了一个概述的关键组成部分,在RLCard的设计原则的讨论,接口的简要介绍,和环境的综合评价。代码和文档可在https://github.com/datamllab/rlcard上获得
2020-02-14 cs.AI
DanZero: Mastering GuanDan Game with Reinforcement Learning
卡牌游戏AI一直是人工智能研究的热点。近年来,麻将、斗地主、德州扑克等复杂的纸牌游戏已经被解决,相应的AI程序也达到了人类专家的水平。在本文中,我们致力于开发一个更复杂的纸牌游戏,关丹,其规则类似于斗地主,但更复杂的人工智能程序。具体而言,其状态空间和动作空间大、单集时长长、关单人数不确定等特点给人工智能程序的开发带来了巨大的挑战。为了解决这些问题,我们提出了第一个AI程序DanZero的官丹使用强化学习技术。具体来说,我们利用分布式框架来训练我们的AI系统。在Actor过程中,我们精心设计了状态特征,Agent通过自我游戏生成样本。在学习过程中,采用深度蒙特卡罗方法对模型进行更新。在使用160个CPU和1个GPU训练了30天后,我们得到了DanZero机器人。我们将其与8个基于启发式规则的基线AI程序进行了比较,结果显示了DanZero的出色性能。我们还与人类玩家一起测试DanZero,并展示其人类水平的性能。
2022-10-31 cs.AI cs.LG
Action valuation of on- and off-ball soccer players based on multi-agent deep reinforcement learning
Nagoya University(名古屋大学);RIKEN(理化学研究所);Japan Science and Technology Agency(日本科学技术振兴机构)
本文提出基于多智能体深度强化学习的统一框架,在连续状态空间中评估足球有球与无球球员的行动价值,并通过与传统指标和专家评分的对比验证了其有效性。
2023-12-01 cs.AI cs.LG
Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
The University of Tokyo, Japan(东京大学);RIKEN Center for Advanced Intelligence Project, Japan(日本RIKEN高级智能项目中心)
本文重新审视了带有反向Kullback-Leibler正则化和熵正则化的策略优化方法,在双人零和设置中从理论和经验角度分析其组合,提供了新的收敛保证并通过合成游戏的数值实验验证了理论结果,并基于正则化策略优化推导出一种实用的模型无关强化学习算法,通过在五个棋盘游戏中进行的全面实验验证了算法的训练效率。
2026-05-21 cs.AI cs.LG
Estimating player completion rate in mobile puzzle games using reinforcement learning
IT University of Copenhagen(哥本哈根信息技术大学);Tactile Games(Tactile Games公司)
本研究探讨了利用强化学习智能体在移动端益智游戏《Lily's Garden》中的表现来估计玩家关卡完成率的可行性,发现智能体表现最佳的约5%运行次数的完成步数是最强预测因子,尽管智能体绝对表现不及人类,但其行为差异与人类高度相关,可用于估计和建模玩家指标。
2023-06-26 cs.AI cs.LG
A Fast Algorithm for Computing the Deficiency Number of a Mahjong Hand
Shaanxi Normal University(陕西师范大学);University of Technology Sydney(悉尼科技大学)
麻将是一种基于瓷砖的多人游戏,在亚洲广泛流行,在全球也越来越受欢迎。面对面或在线,每个玩家从13张牌开始,玩家依次抽牌和弃牌,直到他们完成一个获胜的手牌。麻将中的一个重要概念是亏数(也称为亏数)。日本麻将中的shanten数),它估计需要多少张牌才能将手牌变成获胜手牌。亏数在重大决策任务中起着至关重要的作用,例如选择要丢弃的瓦片。提出了一种计算麻将牌不足数的快速算法。与基线算法相比,新算法通常快100倍,更重要的是,尊重代理关于可用瓷砖的知识。该算法可以作为基于规则和基于机器学习的麻将AI的所有麻将变体的基本程序。
2021-08-15 cs.AI cs.DM cs.MA
Deep Reinforcement Learning Xiangqi Player with Monte Carlo Tree Search
Columbia University(哥伦比亚大学)
本文提出一种结合神经网络与蒙特卡洛树搜索的深度强化学习系统,用于中国象棋的自我对弈与自我改进,克服高分支因子和不对称棋子动态等挑战,推进AI在文化策略游戏中的应用。
2025-06-18 cs.AI cs.LG
Enhancing Two-Player Performance Through Single-Player Knowledge Transfer: An Empirical Study on Atari 2600 Games
University of Calgary(卡尔加里大学)
本文提出将同一游戏单玩家版本的知识迁移到双玩家强化学习训练中,并在十个Atari 2600环境中验证该方法可提升训练效率和性能。
2024-10-22 cs.AI cs.LG
Deep Reinforcement Learning in Ice Hockey for Context-Aware Player Evaluation
Simon Fraser University(西蒙弗雷泽大学)
已经提出了各种机器学习模型来评估职业运动员的表现。然而,他们只有有限的能力来模拟玩家的表现如何取决于游戏环境。本文提出了一种捕获游戏上下文的新方法:我们应用深度强化学习(DRL)从国家曲棍球联盟(NHL)的3M逐场比赛事件中学习动作值Q函数。神经网络表示使用基于占有的LSTM集成了连续上下文信号和游戏历史。学习的Q函数用于评估玩家在不同游戏情境下的行为。为了评估玩家的整体表现,我们引入了一个新的游戏影响指标(GIM),聚合玩家的行动的价值。实证评估表明,GIM是一致的,在整个赛季,并与标准的成功措施和未来的工资高度相关。
2018-07-16 cs.AI cs.LG stat.ML
Strategic Dialogue Management via Deep Reinforcement Learning
Heriot-Watt University(赫瑞-瓦特大学)
具有战略技能的智能代理,可以在与其他自然或人工代理的交互过程中进行谈判,仍然不发达。本文描述了一个成功的应用深度强化学习(DRL)训练智能代理的战略会话技能,在情景对话设置。以前的研究已经使用监督学习和传统的强化学习技术,后者使用表格表示或学习线性函数逼近的策略代理的行为建模。在这项研究中,我们应用DRL与一个高维的状态空间的战略棋盘游戏的卡坦岛的定居者-在那里,玩家可以提供资源,以换取他人,他们也可以回答由其他玩家提供。我们的实验结果表明,基于DRL的学习策略显著优于几个基线,包括随机,基于规则和基于监督的行为。基于DRL的策略与3个自动播放器(“机器人”)相比具有53%的胜率,而在此设置中在对话语料库上训练的受监督播放器与相同的3个机器人相比仅实现了27%。这一结果支持了DRL是一个有前途的框架,用于训练对话系统和具有谈判能力的战略代理的主张。
2015-11-25 cs.AI cs.LG
Distributed Deep Reinforcement Learning: A Survey and A Multi-Player Multi-Agent Learning Toolbox
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tsinghua University(清华大学)
本文综述分布式深度强化学习方法与关键组件,并开发发布一个多玩家多智能体分布式深度强化学习工具箱,在Wargame环境中验证其可用性,同时展望挑战与未来趋势。
2022-12-01 cs.AI cs.LG cs.MA
Application of Self-Play Reinforcement Learning to a Four-Player Game of Imperfect Information
University of Warwick(华威大学)
我们介绍了一个新的虚拟环境,模拟被称为“大2”的纸牌游戏。这是一个不完全信息的四人游戏,具有相对复杂的动作空间(允许从13张牌的初始开始手牌玩1,2,3,4或5张牌组合)。因此,它对许多当前的强化学习方法提出了挑战。然后,我们使用最近提出的“近端策略优化“算法来训练一个深度神经网络来玩游戏,纯粹通过自我游戏来学习,并发现它能够在相对较短的训练时间后达到优于业余人类玩家的水平,而无需搜索未来游戏状态树。
2018-08-30 cs.AI cs.LG stat.ML
Toward negotiable reinforcement learning: shifting priorities in Pareto optimal sequential decision-making
Machine Intelligence Research Institute(机器智能研究所);UC Berkeley, Center for Human Compatible AI(加州大学伯克利分校人类兼容人工智能中心)
现有的多目标强化学习(MORL)算法不考虑具有不同信念的玩家产生的目标。具体地说,考虑两个具有不同信念和效用函数的参与者,他们可以合作建造一台代表他们采取行动的机器。需要一个表示来表示机器的策略将在多大程度上优先考虑每个玩家的利益。假设球员已经达到了他们的情况的共同知识,本文推导出一个递归,任何帕累托最优策略必须满足。从递归中可以得到两个定性的观察结果:机器必须(1)使用每个参与者自己的信念来评估一个行动对该参与者的效用函数有多好,以及(2)随着时间的推移,它分配给每个参与者的预期效用的相对优先级,与参与者的信念预测机器输入的程度成正比。观察结果(2)代表了与朴素的线性效用聚合(如海萨尼的效用定理和现有的MORL算法)的实质性分歧,这里表明,代表不同信念的参与者进行帕累托最优顺序决策是不够的。
2017-05-13 cs.AI cs.GT cs.LG
Final Adaptation Reinforcement Learning for N-Player Games
TH Köln, University of Applied Sciences(科隆应用技术大学)
本文介绍了基于n元组的强化学习(RL)算法的游戏。我们提出了TD,SARSA和Q学习的新算法,这些算法可以在具有任意数量玩家的各种游戏中无缝工作。这是通过采取以玩家为中心的观点来实现的,其中每个玩家将他/她的奖励传播回前一轮。我们在所有这些算法中添加了一个名为最终适应RL(FARL)的新元素。我们的主要贡献是,FARL是在各种游戏中以玩家为中心的观点取得成功的至关重要的因素。我们报告了七个棋盘游戏的结果,其中包括1,2和3名球员,包括奥赛罗,ConnectFour和Hex。在大多数情况下,发现FARL是重要的学习一个近乎完美的播放策略。所有算法都可以在GitHub上的GBG框架中找到。
2021-11-29 cs.AI cs.LG cs.MA
Mirror Mode in Fire Emblem: Beating Players at their own Game with Imitation and Reinforcement Learning
LIACS, Leiden University(莱顿大学 LIACS)
本研究通过模仿与强化学习实现镜像模式,使敌方AI模仿玩家策略以提升玩家体验。
2025-12-10 cs.AI cs.GT cs.LG
A Deep Reinforcement Learning Approach for Finding Non-Exploitable Strategies in Two-Player Atari Games
Princeton University(普林斯顿大学)
本文提出了新的端到端深度强化学习算法,用于学习两人零和马尔可夫博弈。不同于以往的努力,训练代理击败一组固定的对手,我们的目标是找到纳什均衡政策,甚至从剥削的敌对对手。我们提出了(a)Nash-DQN算法,该算法将单个DQN的深度学习技术集成到求解表格马尔可夫博弈的经典Nash Q-学习算法中;(b)Nash-DQN-Exploiter算法,该算法额外采用一个Exploiter来指导主Agent的探索。我们进行实验评估表格的例子,以及各种两个球员雅达利游戏。我们的实证结果表明,(i)通过许多现有方法(包括神经虚拟自玩和策略空间响应Oracle)发现的策略可能容易被敌对对手利用;(ii)我们算法的输出策略对利用具有鲁棒性,因此优于现有方法。
2023-03-07 cs.AI cs.GT cs.LG
A Unified Approach to Reinforcement Learning, Quantal Response Equilibria, and Two-Player Zero-Sum Games
Carnegie Mellon University(卡内基梅隆大学);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);Johns Hopkins University(约翰斯·霍普金斯大学);DeepMind(深度思维);Meta AI;Columbia University(哥伦比亚大学)
本文提出磁性镜像下降算法,统一解决双人零和博弈中的均衡求解与强化学习问题,首次实现一阶反馈下扩展式博弈分位数响应均衡的线性收敛,并在表格设置中达到与CFR相当的性能。
2023-04-11 cs.AI cs.GT cs.LG
StarCraft II: A New Challenge for Reinforcement Learning
DeepMind;Blizzard(暴雪娱乐)
介绍了一个基于《星际争霸II》游戏的强化学习环境SC2 LE(StarCraft II Learning Environment)。这一领域对强化学习提出了新的巨大挑战,代表了比大多数先前工作中考虑的更困难的一类问题。这是一个多主体问题,多个玩家相互作用;由于部分观察到的地图,信息不完善;它有一个大的动作空间,涉及数百个单元的选择和控制;它有一个大的状态空间,必须只从原始输入特征平面观察;它延迟了信用分配,需要数千步的长期策略。我们描述了星际争霸II领域的观察,动作和奖励规范,并提供了一个开源的基于Python的接口与游戏引擎进行通信。除了主要的游戏地图,我们还提供了一套迷你游戏,专注于星际争霸II游戏的不同元素。对于主要的游戏地图,我们还提供了来自人类专家玩家的游戏重播数据的附带数据集。我们给出了从这些数据训练的神经网络的初始基线结果,以预测游戏结果和玩家行为。最后,我们给出了应用于星际争霸II领域的规范深度强化学习代理的初始基线结果。在迷你游戏中,这些智能体学习如何达到与新手玩家相当的游戏水平。然而,当在主要游戏上训练时,这些代理无法取得重大进展。因此,SC2 LE为探索深度强化学习算法和架构提供了一个新的和具有挑战性的环境。
2017-08-16 cs.AI cs.LG
Optimizing Fantasy Sports Team Selection with Deep Reinforcement Learning
Dream11
本文针对梦幻板球组队优化问题,将队伍创建建模为序贯决策过程,利用历史球员数据训练强化学习算法预测表现并优化阵容,实验证明RL方法优于传统选秀策略。
2024-12-26 cs.AI cs.LG
DIAMBRA Arena: a New Reinforcement Learning Platform for Research and Experimentation
DIAMBRA
强化学习的最新进展已经导致能够在非常复杂的环境中获得高于人类水平的性能的有效方法。然而,一旦解决,这些环境变得不那么有价值,需要不同或更复杂的情况下的新挑战来支持研究进展。这项工作展示了DIAMBRA Arena,这是一个用于强化学习研究和实验的新平台,它具有一系列高质量的环境,暴露了完全符合OpenAI Gym标准的Python API。它们是具有离散动作和观察的情景任务,由原始像素和额外的数值组成,所有这些都支持单人和双人模式,允许进行标准的强化学习、竞争性多智能体、人类智能体竞争、自我游戏、人在环训练和模仿学习。通过成功训练具有近端策略优化的多个深度强化学习代理,以获得类似人类的行为,证明了软件功能。结果证实了DIAMBRA Arena作为强化学习研究工具的实用性,提供了旨在研究该领域一些最具挑战性的主题的环境。
2022-10-19 cs.AI cs.LG
Closed Drafting as a Case Study for First-Principle Interpretability, Memory, and Generalizability in Deep Reinforcement Learning
University of Waterloo(滑铁卢大学);Harvard University(哈佛大学)
本文以封闭轮抽游戏“寿司去派对”为案例,提出第一性原理方法,通过决策规则拟合、跨牌组泛化基准及可计算记忆度量,系统研究DQN智能体的可解释性、泛化能力与记忆学习能力,并达到最先进性能。
2023-11-17 cs.AI cs.LG
Using reinforcement learning to design an AI assistantfor a satisfying co-op experience
NC State University(北卡罗来纳州立大学)
在这个项目中,我们设计了一个智能助理球员的单人游戏太空侵略者,旨在提供一个令人满意的合作经验。代理行为的设计使用强化学习技术和评估的基础上的几个标准。我们验证了一个假设,即人工智能驱动的计算机播放器可以提供令人满意的合作体验。
2021-05-07 cs.AI
Modeling Others using Oneself in Multi-Agent Reinforcement Learning
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院)
我们考虑多智能体强化学习设置不完美的信息,其中每个代理都试图最大化自己的效用。奖励函数取决于两个智能体的隐藏状态(或目标),因此智能体必须从观察到的行为中推断出其他参与者的隐藏目标,以便解决任务。我们提出了一种新的学习方法,在这些领域:自学习建模(SOM),其中一个代理使用自己的政策来预测其他代理的行动,并更新其信念的隐藏状态在一个在线的方式。我们在三个不同的任务上评估了这种方法,并表明在合作和对抗环境中,代理能够使用对其他参与者隐藏状态的估计来学习更好的策略。
2018-03-23 cs.AI cs.LG
Player co-modelling in a strategy board game: discovering how to play fast
在本文中,我们用一个2人策略棋盘游戏进行实验,其中使用强化学习和神经网络来进化游戏模型。与完全自主的游戏相比,这些模型的发展是为了加快基于人类参与的自动游戏开发,其复杂程度和密度各不相同。实验结果表明,在赢得比赛的能力和快速完成比赛的能力之间存在着明确而可衡量的联系,同时也证明了人类参与的最低水平,超过这个水平就不会真正发生学习。
2006-11-30 cs.AI cs.LG
A Reinforcement Learning Badminton Environment for Simulating Player Tactics (Student Abstract)
National Yang Ming Chiao Tung University(国立阳明交通大学)
最近用于精确分析体育运动的技术刺激了各种方法来提高球员的表现和球迷的参与度。然而,现有的方法只能评估离线性能,因为在实时比赛中进行测试需要详尽的成本,并且无法复制。为了在安全和可重复的模拟器中进行测试,我们专注于回合制运动,并通过模拟不同视角的集会并设计状态,动作和训练程序来引入羽毛球环境。这不仅有利于教练和球员通过模拟过去的比赛进行战术研究,也有利于研究人员快速评估他们的新算法。
2022-11-22 cs.LG
DeepCrawl: Deep Reinforcement Learning for Turn-based Strategy Games
Università degli Studi di Firenze(佛罗伦萨大学);University of Cambridge(剑桥大学)
在本文中,我们介绍了DeepCrawl,这是一个适用于iOS和Android的完全可玩的Roguelike原型,其中所有代理都由使用深度强化学习(DRL)训练的策略网络控制。我们的目标是了解DRL的最新进展是否可以用于为视频游戏中的非玩家角色开发令人信服的行为模型。我们首先分析了这样一个AI系统应该满足的要求,以便在视频游戏开发中实际应用,并确定了DeepCrawl原型中使用的DRL模型的元素。DeepCrawl的成功和局限性通过在最终游戏上进行的一系列可玩性测试来记录。我们相信,我们提出的技术为视频游戏中非玩家角色的行为发展提供了创新的新途径,因为它们提供了克服关键问题的潜力,
2020-12-03 cs.AI cs.LG
DanZero+: Dominating the GuanDan Game through Reinforcement Learning
针对掼蛋复杂规则与巨大状态动作空间,本文提出基于DMC和分布式训练的DanZero,并结合预训练模型改进策略强化学习,使AI性能超越启发式基线。
2023-12-05 cs.AI
UBCL: A Reinforcement Learning Framework for Controllable and Diverse Player Behaviors
Boğaziçi University(博雅奇大学);Turkish Aerospace(土耳其航空航天)
本文提出了一种基于PPO的多智能体强化学习框架,通过可控的行为空间实现多样化玩家行为,适用于自动化测试和游戏平衡。
2026-09-11 cs.LG
Level the Level: Balancing Game Levels for Asymmetric Player Archetypes With Reinforcement Learning
Mannheim Technical University(曼海姆技术大学)
本研究将游戏平衡视为过程化内容生成问题,通过强化学习方法为非对称玩家原型生成平衡的基于瓦片的游戏关卡,并验证其在四种原型上的平衡效果及随差异增加的挑战。
2025-03-31 cs.LG
Provably Efficient Multi-Task Reinforcement Learning with Model Transfer
University of Arizona(亚利桑那大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
本文研究了多任务强化学习(RL)在表格式情景马尔可夫决策过程(MDP)中的应用。我们制定了一个异构的多玩家强化学习问题,其中一组玩家同时面临类似的,但不一定相同的MDP,通过玩家间的信息共享,以提高他们的集体表现的目标。我们设计和分析了一个算法的基础上的模型转移的想法,并提供了间隙相关和间隙无关的上限和下限,表征问题的内在复杂性。
2022-01-16 cs.LG
Mastering Complex Control in MOBA Games with Deep Reinforcement Learning
Tencent AI Lab(腾讯人工智能实验室);Tencent Timi Studio(腾讯天美工作室)
研究多人在线对战竞技场(MOBA)1v 1游戏中复杂动作控制的强化学习问题。这个问题涉及比传统的1v 1游戏(如围棋和Atari系列)复杂得多的状态和动作空间,这使得搜索任何具有人类水平性能的策略变得非常困难。在本文中,我们提出了一个深度强化学习框架,从系统和算法的角度来解决这个问题。我们的系统是低耦合和高可扩展性,这使得在大规模的有效探索。我们的算法包括几个新的策略,包括控制依赖解耦,动作掩码,目标注意力,和双剪辑PPO,我们提出的演员-评论家网络可以有效地在我们的系统中训练。在MOBA游戏《王者荣耀》上测试,我们的人工智能智能体腾讯Solo可以在全1v 1游戏中击败顶尖的人类职业选手。
2020-12-15 cs.AI cs.LG
Beating the World's Best at Super Smash Bros. with Deep Reinforcement Learning
MIT(麻省理工学院);NYU(纽约大学)
最近,玩游戏的人工智能的能力出现了爆炸式增长。从Atari游戏到运动控制再到棋盘游戏,许多类RL任务现在都可以通过基于深度学习的相当通用的算法来解决,这些算法可以通过对特定领域的最少知识来学习经验。在这项工作中,我们将调查这些方法的性能超级粉碎兄弟混战(SSBM),一个流行的控制台格斗游戏。SSBM环境具有复杂的动力学和部分可观测性,使其对人类和机器都具有挑战性。多玩家方面带来了额外的挑战,因为RL的绝大多数最新进展都集中在单智能体环境中。尽管如此,我们将证明训练与人类专业人员竞争甚至超越人类专业人员的代理是可能的,这是多玩家视频游戏设置的新结果。
2017-05-08 cs.AI cs.LG
Beyond Winning and Losing: Modeling Human Motivations and Behaviors Using Inverse Reinforcement Learning
近年来,强化学习(RL)方法已被应用于建模游戏,并取得了巨大的成功,在各种环境中实现了超人的表现,如雅达利,围棋和扑克。然而,这些研究大多集中在赢得游戏,在很大程度上忽略了丰富而复杂的人类动机,这是理解不同球员的不同行为所必需的。在本文中,我们提出了一种新的方法,称为多动机行为建模(MMBM),考虑到多方面的人类动机和模型的底层价值结构的球员使用逆RL。我们的方法不需要访问系统的动态,使得它可行的大型多人在线游戏等复杂的交互式环境建模。MMBM在魔兽世界阿凡达历史数据集上进行了测试,该数据集记录了超过70,000名用户在三年内的游戏体验。我们的模型揭示了不同玩家群体的价值结构存在显著差异。利用动机建模的结果,我们还预测和解释了他们的不同的游戏行为,并提供了一个定量评估的游戏环境的重新设计如何影响玩家的行为。
2018-07-05 cs.AI cs.LG stat.ML
FAST-Q: Fast-track Exploration with Adversarially Balanced State Representations for Counterfactual Action Estimation in Offline Reinforcement Learning
Games24x7 India(Games24x7印度)
FAST-Q利用梯度反转学习构建平衡状态表示,支持离线反事实探索与多目标Q值分解,解决了离线强化学习中分布外动作Q值高估问题,显著提升了推荐效果并降低成本。
2025-04-30 cs.AI cs.LG
Modelling Stock-market Investors as Reinforcement Learning Agents [Correction]
University of Sheffield(谢菲尔德大学)
在不确定和风险环境中的决策是一个突出的研究领域。标准的经济理论无法完全解释人类行为,而一个潜在的有前途的替代方案可能是强化学习(RL)理论。我们分析了从金融市场在线游戏中提取的46名玩家的数据,并测试了强化学习(Q-Learning)是否可以使用基于金融建模的风险度量来捕获这些玩家的行为。此外,我们测试了一个早期的假设,即玩家是“天真的”(短视的)。我们的研究结果表明,一个简单的强化学习模型,只考虑任务的销售部分,捕捉决策过程的一个子集的球员,但这是不足以得出任何结论的人口。我们还发现,当使用一个完整的RL模型对一个近视的版本,只有即时奖励是由球员的价值,有没有一个显着的改善拟合的球员。这表明,如果使用强化学习方法,玩家会很天真地这样做
2016-09-20 cs.CE cs.LG
Decision Making in Monopoly using a Hybrid Deep Reinforcement Learning Approach
Purdue University(普渡大学);University of Southern California(南加州大学)
学习在动态和复杂的环境中适应并做出实时明智的决策是一个具有挑战性的问题。大富翁是一种流行的战略棋盘游戏,要求玩家在游戏过程中做出多个决定。垄断中的决策涉及许多现实世界的因素,如战略,运气和对手的政策建模。在本文中,我们提出了新的表示的状态和动作空间的完整版本的垄断,并定义了一个改进的奖励函数。使用这些,我们证明了我们的深度强化学习代理可以学习垄断对不同的固定政策代理的获胜策略。在大富翁中,玩家可以采取多个行动,即使不是轮到他们掷骰子。这些动作中的一些动作比其他动作发生得更频繁,从而导致对学习代理的性能产生不利影响的偏斜分布。为了解决行动的非均匀分布,我们提出了一种混合方法,将深度强化学习(用于频繁但复杂的决策)与固定策略方法(用于不频繁但简单的决策)相结合。实验结果表明,我们的混合代理比标准的深度强化学习代理在与固定策略代理的比赛中获胜的次数高出30%。
2022-04-06 cs.AI cs.LG
RAMBO-RL: Robust Adversarial Model-Based Offline Reinforcement Learning
Oxford Robotics Institute(牛津机器人研究所);University of Oxford(牛津大学)
离线强化学习(RL)的目标是在没有进一步环境交互的情况下从记录的数据中找到性能策略。基于模型的算法,从数据集学习环境模型,并在该模型内执行保守的策略优化,已经成为解决这个问题的一种有前途的方法。在这项工作中,我们提出了鲁棒的基于模型的离线RL(RAMBO),这是一种基于模型的离线RL的新方法。我们制定的问题作为一个两个球员零和游戏对抗的环境模型。该模型经过训练,以最小化价值函数,同时仍然准确地预测数据集中的转换,迫使策略在数据集未覆盖的区域保守地采取行动。为了近似地解决两个玩家的游戏,我们在优化策略和对抗性地优化模型之间交替。我们解决的问题配方是理论上的基础,导致在一个可能近似正确(PAC)的性能保证和悲观的价值函数的下限在真实的环境中的价值函数。我们在广泛研究的离线RL基准测试中评估了我们的方法,并证明它优于现有的最先进的基线。
2022-10-11 cs.AI cs.LG
Evaluating Soccer Player: from Live Camera to Deep Reinforcement Learning
MINES Paristech, PSL - Research University(巴黎国立高等矿业学院,巴黎文理研究大学);SportsDynamics(运动动力学公司);ENS Paris-Saclay(巴黎萨克雷高等师范学院)
科学地评价足球运动员是一个具有挑战性的机器学习问题。不幸的是,大多数现有的答案都有非常不透明的算法训练过程;相关数据几乎不可访问,几乎不可能生成。在本文中,我们将介绍一个由两部分组成的解决方案:一个开源的玩家跟踪模型和一种新的方法,该方法仅基于深度强化学习来评估这些玩家,而无需人工数据训练或指导。我们的跟踪模型是在我们即将发布的数据集上以监督方式进行训练的,我们的评估模型仅依赖于虚拟足球比赛的模拟。结合这两种架构,可以直接从现场摄像机评估足球运动员,而无需大数据集的限制。我们将我们的新方法称为预期折扣目标(EDG),因为它代表了球队在特定状态下可以得分或失球的数量。这种方法比现有的基于真实世界数据的方法更有意义,并且可以很容易地扩展到其他运动。
2021-01-13 cs.GT cs.LG
Creating Pro-Level AI for a Real-Time Fighting Game Using Deep Reinforcement Learning
NCSOFT(NCsoft公司)
强化学习与深度神经网络相结合,最近在许多类型的游戏中表现出色。它在固定游戏环境和回合制双人棋盘游戏中的表现超过了人类水平。然而,据我们所知,目前的研究尚未产生在现代复杂格斗游戏中超越人类水平的结果。这是由于实时的【形】格斗游戏固有的困难,包括:巨大的动作空间,动作依赖性和不完美的信息。我们克服了这些挑战,并为商业游戏《Blade & Soul》制作了1v1战斗人工智能智能体。经过训练的特工们与五名职业玩家进行了比赛,获胜率达到了62%。本文提出了一种实用的强化学习方法,包括一个新的自我发挥的课程和数据跳过技术。通过课程,三种不同风格的代理人创建的奖励塑造,并训练对彼此。此外,本文还提出了数据跳过技术,可以提高数据效率,方便在广阔的空间探索。由于我们的方法可以普遍适用于所有的两个玩家的竞争性游戏与广阔的行动空间,我们预计其应用到游戏开发,包括关卡设计和自动平衡。
2020-01-31 cs.AI cs.LG
Personalized Dynamic Difficulty Adjustment -- Imitation Learning Meets Reinforcement Learning
Faculty of EECS Leibniz University Hannover Hannover, Germany
针对电子游戏难度与玩家技能不匹配影响体验的问题,提出结合模仿学习与强化学习的双智能体框架,用于格斗游戏场景下的个性化动态难度调整。
2024-08-13 cs.AI
Fly, Fail, Fix: Iterative Game Repair with Reinforcement Learning and Large Multimodal Models
本文提出将强化学习智能体作为游戏测试者、大型多模态模型作为设计者的迭代框架,通过分析行为轨迹自动修订游戏配置,实现AI辅助游戏设计的实用化。
2025-07-16 cs.AI cs.LG
Deep Reinforcement Learning for FlipIt Security Game
Boston University(波士顿大学);Center for Brains, Minds and Machines, MIT(麻省理工学院脑、心智与机器中心);CMSA, Harvard University(哈佛大学数学与应用中心)
强化学习在国际象棋、西洋双陆棋和围棋等游戏中取得了很大的成功。然而,在大多数这些游戏中,智能体在任何时候都对环境有充分的了解。在本文中,我们描述了一个深度学习模型,在该模型中,智能体成功地适应不同类别的对手,并在部分可观察性下的游戏中使用强化学习学习最佳对策。我们将我们的模型应用于FlipIt,这是一个两个玩家的安全游戏,其中两个玩家,攻击者和防御者,争夺一个共享资源的所有权,并且在移动时只接收游戏当前状态的信息。我们的模型是一个结合了Q学习的深度神经网络,并经过训练以最大化防御者对资源的所有权时间。尽管有噪声信息,我们的模型成功地学习了一个具有成本效益的反策略,优于对手的策略,并显示了在博弈论场景中使用深度强化学习的优势。我们还将FlipIt扩展到一个更大的动作间隔游戏,引入了一个新的低成本移动,并将该模型推广到$n$玩家FlipIt。
2022-04-02 cs.AI cs.GT cs.LG
Reinforcement Learning for ConnectX
IIT Bombay(印度理工学院孟买分校)
ConnectX是一款双人游戏,推广了流行的游戏Connect 4。目标是让X个硬币穿过M x N棋盘的一行、一列或对角线。第一个这样做的玩家赢得比赛。参数(M,N,X)允许在每个游戏中改变,使得ConnectX成为一个新颖且具有挑战性的问题。在本文中,我们提出了我们的工作的实施和修改的各种强化学习算法发挥ConnectX。
2022-10-15 cs.AI
Skilled Experience Catalogue: A Skill-Balancing Mechanism for Non-Player Characters using Reinforcement Learning
National University of Ireland, Galway(爱尔兰国立高威大学)
在本文中,我们介绍了一种用于对抗性非玩家角色(NPC)的技能平衡机制,称为技能经验目录(SEC)。该机制的目的是实时地近似匹配NPC的技能水平与对手。我们测试的第一人称射击(FPS)游戏的背景下的技术。具体来说,该技术根据NPC当前对对手的表现来调整强化学习NPC对武器的熟练程度。首先,通过一系列训练游戏,以存储的学习策略的形式建立经验目录。一旦NPC已经被充分训练,目录就充当具有以存储的学习策略的形式的增量知识里程碑的经验的时间轴。如果NPC表现不佳,它可以跳到学习时间轴的稍后阶段,以配备更明智的决策。同样,如果它的表现明显优于对手,它将跳到更早的阶段。NPC继续使用强化学习进行实时学习,但根据需要,通过加载最适合当前情况的里程碑来调整其策略。
2018-06-20 cs.AI
Untangling Braids with Multi-agent Q-Learning
Department of Mathematical Sciences University of Essex(埃塞克斯大学数学科学系);Department of Computer Science University of Liverpool(利物浦大学计算机科学系)
我们使用强化学习来解决解开辫子的问题。我们用2股和3股的辫子做实验。两个竞争的球员学习纠结和解开辫子。我们将编织解开问题与OpenAI Gym环境连接起来,这是一种广泛使用的将代理连接到强化学习问题的方法。结果提供了证据,我们对系统训练得越多,解开辫子的球员就越能解开辫子。同时,我们的缠结播放器产生了缠结的辫子的好例子。
2021-09-29 cs.AI cs.LG math.GT
ReLExS: Reinforcement Learning Explanations for Stackelberg No-Regret Learners
ETH Zurich(苏黎世联邦理工学院)
本文研究了双人 Stackelberg 博弈中跟随者受无悔约束时的均衡问题,证明了在无悔约束及特定跟随者策略下玩家仍能达到 Stackelberg 均衡,并给出了效用差的严格上界及常和博弈下总效用的有界性保证。
2024-08-26 cs.GT cs.LG
From Game-theoretic Multi-agent Log Linear Learning to Reinforcement Learning
University of Oxford(牛津大学);University of Toronto(多伦多大学)
本文的主要重点是增强两种类型的博弈论学习算法:对数线性学习和强化学习。对数线性学习的标准分析需要一个高度结构化的环境,即从实现的角度对游戏进行强有力的假设。在本文中,我们介绍了对数线性学习的一个变体,它提供了渐近保证,同时放松了结构假设,包括同步更新和玩家可用信息的限制。另一方面,无模型强化学习即使在对参与者关于环境和其他参与者策略的知识的较弱假设下也能够执行。我们提出了一种强化算法,使用双聚合方案,以加深玩家对环境的洞察力和恒定的学习步长,从而实现更高的收敛速度。数值实验验证了算法的鲁棒性和性能。
2018-09-18 cs.LG cs.MA
StarCraft II Build Order Optimization using Deep Reinforcement Learning and Monte-Carlo Tree Search
Missouri University of Science and Technology(密苏里科技大学)
《星际争霸2》的实时战略游戏已经被谷歌的DeepMind视为强化学习的挑战。本研究探讨了使用基于蒙特卡罗树搜索算法的智能体来优化星际争霸II中的构建顺序,并讨论了如何通过将其与深度强化学习神经网络相结合来进一步提高其性能。使用蒙特卡罗树搜索完成的实验结果仅使用非常有限的时间和计算资源就达到了与新手玩家相似的分数,这为通过将其与深度强化学习的使用相结合来实现与人类专家相当的分数铺平了道路。
2020-06-12 cs.AI cs.LG
Risk-Averse Bayes-Adaptive Reinforcement Learning
University of Oxford(牛津大学)
在这项工作中,我们解决风险规避贝叶斯自适应强化学习。我们提出的问题,优化的条件风险价值(CVaR)的贝叶斯自适应马尔可夫决策过程(MDP)的总收益。我们发现,在这种情况下,政策优化CVaR是风险厌恶的参数的不确定性,由于先验分布在MDP,和内部的不确定性,由于固有的随机性的MDP。我们将问题转化为一个两人随机博弈,并提出了一个基于蒙特卡罗树搜索和贝叶斯优化的近似算法。我们的实验表明,我们的方法显着优于基线方法解决这个问题。
2021-10-26 cs.AI cs.LG
Ranked Reward: Enabling Self-Play Reinforcement Learning for Combinatorial Optimization
InstaDeep(InstaDeep公司)
当与结合了深度神经网络和树搜索的强化学习算法一起使用时,双人游戏中的对抗性自我游戏产生了令人印象深刻的结果。像AlphaZero和Expert Iteration这样的算法学习tabula-rasa,在飞行中产生高度信息化的训练数据。然而,自玩训练策略并不直接适用于单人游戏。最近,几个实际上重要的组合优化问题,如旅行商问题和装箱问题,已被重新表述为强化学习问题,增加了重要性,使自我发挥的好处超越两个玩家的游戏。我们提出了排名奖励(R2)算法,它通过对单个代理在多个游戏中获得的奖励进行排名来创建相对性能指标。将R2算法应用于二维和三维装箱问题的实例表明,它优于一般的蒙特卡罗树搜索,启发式算法和整数规划求解器。我们还提出了一个分析的排名奖励机制,特别是不同的难度和不同的排名阈值的问题实例的影响。
2018-12-06 cs.AI cs.LG stat.ML
Learning to Play Two-Player Perfect-Information Games without Knowledge
LAMSADE, Université Paris-Dauphine, PSL, CNRS, France(巴黎第七大学LAMSADE研究所,巴黎-dauphine大学,PSL,CNRS,法国);CRIL, Univ. Artois and CNRS, F-62300 Lens, France(CRIL研究所,阿维尼昂大学,CNRS,法国);Normandie University, UNICAEN, CNRS, GREYC, 14 000 Caen, France(诺曼底大学,UNICAEN,CNRS,GREYC,法国)
本文提出树自举推广、无界深度极小极大修改、强化启发式和新动作选择分布等技术,通过无知识自对弈强化学习训练 Hex 程序,在 11 和 13 路棋盘上超越 Mohex 3HNN。
2025-05-07 cs.AI
Reinforcement Learning In Two Player Zero Sum Simultaneous Action Games
两个玩家零和同时动作游戏在视频游戏、金融市场、战争、商业竞争和许多其他设置中很常见。我们首先介绍了强化学习的基本概念,在两个玩家零和同时行动游戏,并讨论了这种类型的游戏所带来的独特挑战。然后,我们介绍了两个新的代理,试图通过使用联合行动深度Q网络(DQN)来处理这些挑战。第一个代理,称为最佳反应策略(BRAT),使用模仿学习建立对手策略的显式模型,然后使用该模型找到最佳反应以利用对手的策略。第二个代理,元纳什DQN,建立一个隐式模型,其对手的政策,以产生一个上下文变量,用作Q值计算的一部分。一个明确的极小极大的Q值是用来找到行动接近纳什均衡。我们发现经验,这两个代理收敛到纳什均衡在一个简单的矩阵游戏的自我发挥设置,同时也表现良好的游戏具有较大的状态和动作空间。这些新的算法进行评估香草RL算法,以及最新的最先进的多代理和两个代理算法。这项工作结合了传统的强化学习,博弈论和元学习的思想。
2021-10-10 cs.GT cs.LG