Off-Policy Deep Reinforcement Learning by Bootstrapping the Covariate Shift
Google Brain(谷歌大脑)
在本文中,我们重新审视了由Hallak等人(2017)开创的强化学习(COP-TD)的政策外校正方法。在这种方法下,在线更新的价值函数被重新加权,以避免发散问题典型的离策略学习。而Hallak等人的解是吸引人的,它不能容易地转移到非线性函数逼近。首先,它需要一个投影到概率单纯形上的步骤;其次,即使描述离策略学习算法的预期行为的算子是收敛的,但它并不知道是一个收缩映射,因此在实践中可能更不稳定。我们通过在COP-TD中引入折扣因子来解决这两个问题。我们分析了贴现COP-TD的行为,发现它从理论上表现得更好。我们还提出了一种替代的软归一化惩罚,可以最大限度地减少在线和避免需要一个明确的投影步骤。我们补充我们的分析与实证评估的两种技术在关闭政策设置的游戏乒乓从雅达利域,我们发现折扣COP-TD在实践中表现得更好,比软正常化处罚。最后,我们在Atari域的5个游戏中对折扣COP-TD进行了更广泛的评估,在那里我们找到了我们方法的性能增益。
2019-01-27 cs.LG stat.ML
Evolutionary Policy Optimization
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文针对强化学习中探索-利用权衡问题,提出集成神经进化与策略梯度的混合算法EPO,在Atari基准上验证其策略质量和样本效率优于标准PG与EC方法。
2025-04-17 cs.LG cs.NE
On Robust Reinforcement Learning with Lipschitz-Bounded Policy Networks
Australian Centre for Robotics(澳大利亚机器人中心);School of Aerospace, Mechanical and Mechatronic Engineering(航空航天、机械与机电工程学院);The University of Sydney(悉尼大学)
本文研究深度强化学习中Lipschitz有界策略网络的鲁棒性,发现谱归一化过于保守,而Sandwich层能在不牺牲干净性能的前提下提升对扰动和对抗攻击的鲁棒性。
2025-02-06 cs.LG cs.SY eess.SY
PoPS: Policy Pruning and Shrinking for Deep Reinforcement Learning
Ben-Gurion University of the Negev(本-古里安大学)
针对深度强化学习中DNN剪枝后性能下降的问题,提出基于迁移学习的迭代式策略剪枝收缩算法PoPS,在多基准环境中验证了其在保持高性能的同时压缩模型的效果,并开源了相关工具。
2020-01-14 cs.AI cs.LG
Does DQN really learn? Exploring adversarial training schemes in Pong
Brown University(布朗大学)
在这项工作中,我们研究了两个自我发挥的训练计划,Chainer和池,并显示他们导致提高代理性能的Atari乒乓相比,标准的DQN代理-训练对内置的Atari对手。为了衡量代理性能,我们定义了一个鲁棒性度量,该度量捕获了学习击败代理学习策略的策略的难度。通过玩自己的过去版本,Chainer和Pool能够针对其政策中的弱点并提高其对攻击的抵抗力。使用这些方法训练的代理在我们的鲁棒性指标上得分很高,可以轻松击败标准的DQN代理。最后,我们使用线性探测来阐明不同的代理开发玩游戏的内部结构。我们发现,与标准DQN代理相比,使用Chainer或Pool训练代理可以获得更丰富的网络激活,具有更大的预测能力来估计关键的游戏状态特征。
2022-03-20 cs.LG
Learning Policies from Self-Play with Policy Gradients and MCTS Value Estimates
Maastricht University(马斯特里赫特大学)
近年来,最先进的博弈代理通常涉及在自我博弈过程中训练的策略,其中蒙特卡罗树搜索(MCTS)算法和训练的策略迭代地相互改进。最强的结果已经获得时,政策的训练,以模仿MCTS的搜索行为,最大限度地减少交叉熵损失。由于多边贸易体制在设计上包含了探索的成分,以这种方式训练的政策也可能表现出类似的探索程度。在本文中,我们感兴趣的是学习政策的项目与未来的目标,包括提取可解释的策略,而不是国家的最先进的游戏性能。对于这些目标,我们认为,这种程度的探索是不可取的,我们提出了一个新的目标函数的培训政策,不是探索性的。我们推导出一个策略梯度表达式最大化这个目标函数,这可以估计使用MCTS值估计,而不是MCTS访问计数。我们经验性地评估各种属性的政策,在各种棋盘游戏。
2019-05-14 cs.AI cs.LG stat.ML
Counterfactual Explainer Framework for Deep Reinforcement Learning Models Using Policy Distillation
The University of Warwick(华威大学);Warwick Manufacturing Group (WMG)(华威制造集团(WMG))
针对深度强化学习在安全关键系统中缺乏可解释性验证的问题,提出基于策略蒸馏的反事实解释框架,经自动驾驶和Atari Pong实验验证可生成合理有意义的黑盒决策解释并开源代码。
2023-10-07 cs.LG
Policy Smoothing for Provably Robust Reinforcement Learning
University of Maryland - College Park(马里兰大学帕克分校);Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(威特沃特斯兰德大学)
深度神经网络(DNN)的可证明对抗鲁棒性的研究主要集中在静态监督学习任务,如图像分类。然而,DNN已被广泛用于现实世界的自适应任务,如强化学习(RL),使这些系统容易受到对抗攻击。以前的工作在RL的可证明的鲁棒性,试图证明受害者政策的行为在每个时间步对非自适应对手使用的方法开发的静态设置。但在现实世界中,RL对手可以通过观察状态、动作等来推断受害者代理使用的防御策略,从先前的时间步骤中,并适应自己在未来的步骤中产生更强的攻击。我们提出了一个有效的程序,专门设计来抵御自适应RL对手,可以直接证明总奖励,而不需要在每个时间步的政策是强大的。我们的主要理论贡献是证明了Neyman-Pearson引理的自适应版本-基于平滑的证书的关键引理-其中特定时间的对抗性扰动可以是当前和以前的观察和状态以及以前的动作的随机函数。基于这一结果,我们提出了策略平滑,其中代理在每个时间步将高斯噪声添加到其观察中,然后将其传递给策略函数。我们的鲁棒性证书保证通过策略平滑获得的最终总奖励保持在一定阈值以上,即使中间时间步的动作可能会在攻击下发生变化。我们在Cartpole,Pong,Freeway和Mountain Car等各种环境下的实验表明,我们的方法可以在实践中产生有意义的鲁棒性保证。
2022-05-28 cs.LG
MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning
UvA-Bosch Deltalab(阿姆斯特丹大学-博世三角洲实验室);University of Amsterdam(阿姆斯特丹大学);Philips Lab(飞利浦实验室);Delft University of Technology(代尔夫特理工大学)
本文介绍了用于深度强化学习的MDP同态网络。MDP同态网络是在MDP的联合状态-动作空间中的对称性下等变的神经网络。目前的深度强化学习方法通常不利用关于这种结构的知识。通过使用等方差约束将这些先验知识构建到策略和价值网络中,我们可以减小解空间的大小。我们特别关注群结构对称性(可逆变换)。此外,我们介绍了一种简单的方法,用于构造等变网络层的数值,所以系统设计者不需要解决的约束,通常是这样做的手。我们构造MDP同态MLP和CNN,它们在一组反射或旋转下是等变的。我们表明,这样的网络收敛速度比非结构化的基线CartPole,网格世界和乒乓球。
2021-01-20 cs.LG stat.ML
PolicyEvolve: Evolving Programmatic Policies by LLMs for multi-player games via Population-Based Training
School of Computer Science(计算机科学学院);School of Information and Software Engineering(信息与软件工程学院)
PolicyEvolve利用LLMs通过基于种群的训练框架,为多玩家游戏自动生成可解释的程序化策略,减少人工代码依赖和环境交互,实现高性能对抗策略。
2025-09-07 cs.AI cs.LG
Playing Atari Ball Games with Hierarchical Reinforcement Learning
Florida State University(佛罗里达州立大学)
人类特别擅长从几个例子中进行推理和推断。当面临新任务时,人类会利用以前学到的知识和技能,并迅速将它们与新任务结合起来。除了通过实验学习,人类还通过指导和榜样学习来学习社会文化。通过这种方式,在许多任务中,与当前大多数人工智能算法相比,人类可以更快地学习。在本文中,我们测试了通过社会学习加速机器学习的想法。我们认为,在解决现实世界中的问题,特别是当任务是由人类设计的,和/或为人类,通常有指示,从用户手册和/或人类专家,提供指导方针,如何更好地完成任务。我们认为,这些指令在设计一个可以以人类方式学习的强化学习系统方面具有巨大的价值,我们通过玩Atari游戏网球和乒乓来测试这个想法。我们的实验表明,指令提供了关键信息的任务,可用于分解的学习任务到子系统和构建选项的时间扩展的规划,并大大加快学习过程。
2019-09-27 cs.AI
Efficient Competitive Self-Play Policy Optimization
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
自我游戏的强化学习最近取得了许多成功。自我发挥,其中代理与自己竞争,通常用于生成训练数据,用于迭代策略改进。在以前的工作中,启发式规则的目的是为当前的学习者选择一个对手。典型的规则包括选择最新代理、最佳代理或随机历史代理。然而,这些规则在实践中可能是低效的,有时甚至在最简单的矩阵游戏中也不能保证收敛。在本文中,我们提出了一个新的算法框架竞争自我发挥强化学习在两个球员零和游戏。我们认识到这样一个事实,即纳什均衡与随机支付函数的鞍点重合,这促使我们借用经典鞍点优化文献的思想。我们的方法同时训练多个代理,并智能地将对方视为对手,基于来自基于扰动的鞍优化方法的简单对抗规则。我们从理论上证明了我们的算法收敛到一个近似的平衡点,在凹凸游戏的标准假设下的高概率。除了理论,我们进一步展示了我们的方法的经验优势,依赖于矩阵游戏,网格世界足球,五子棋,模拟机器人相扑,神经网络政策函数逼近上述服从选择算法的基线方法。
2020-09-13 cs.AI cs.GT cs.LG
Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games
CyberAgent, Inc.(赛博艾坚特公司)
政策外评估(OPE)是使用从不同政策获得的历史数据来评估新政策的问题。在最近的OPE背景下,大多数研究都集中在单人情况下,而不是多人情况下。在这项研究中,我们提出了OPE估计构造的双重鲁棒和双重强化学习估计在两个球员零和马尔可夫游戏。所提出的估计器预测了可利用性,该可利用性通常用作确定策略配置文件(即,一组策略)是两个玩家零和博弈中的纳什均衡。我们证明了所提出的估计的可利用性估计误差界。然后,我们提出的方法来找到最佳的候选人的政策配置文件,选择的政策配置文件,最大限度地减少估计利用从一个给定的政策配置文件类。我们证明了我们的方法选择的政策配置文件的遗憾界。最后,我们通过实验证明了所提出的估计器的有效性和性能。
2020-12-24 cs.GT cs.LG econ.EM
Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games
The University of Tokyo, Japan(东京大学);RIKEN Center for Advanced Intelligence Project, Japan(日本RIKEN高级智能项目中心)
本文重新审视了带有反向Kullback-Leibler正则化和熵正则化的策略优化方法,在双人零和设置中从理论和经验角度分析其组合,提供了新的收敛保证并通过合成游戏的数值实验验证了理论结果,并基于正则化策略优化推导出一种实用的模型无关强化学习算法,通过在五个棋盘游戏中进行的全面实验验证了算法的训练效率。
2026-05-21 cs.AI cs.LG
Improving Fictitious Play Reinforcement Learning with Expanding Models
Nanjing University(南京大学);Polixir(玻色量子(注:Polixir常见译名为玻色量子,若为其他译法可调整,此处按常见科技公司译名处理))
具有强化学习的虚拟游戏是零和游戏的通用和有效的框架。然而,使用当前的深度神经网络模型,虚拟游戏的实现面临着至关重要的挑战。神经网络模型训练采用梯度下降的方法来更新所有的连接权值,因此在训练后很容易忘记旧的对手来击败新的对手。现有的方法通常维护一个历史政策模型池,以避免遗忘。然而,学习在随机游戏中击败游泳池,即,在策略模型上的广泛分布或者消耗样本,或者不足以利用具有有限样本量的所有模型。在本文中,我们提出了一个学习过程与神经虚拟发挥,以减轻上述问题。我们训练单个模型作为我们的策略模型,该模型由子模型和选择器组成。每次面对一个新的对手,模型通过添加一个新的子模型来扩展,其中仅更新新的子模型而不是整个模型。同时,选择器也被更新,以在状态级将新的子模型与先前的子模型混合,使得模型被维护为行为策略,而不是广泛分布在策略模型上。在网格世界寻宝游戏Kuhn poker和Mini-RTS环境下的实验表明,该方法有效地解决了遗忘问题,提高了神经网络虚拟博弈的学习效率和鲁棒性.
2019-11-28 cs.AI cs.LG stat.ML
Provably Efficient Fictitious Play Policy Optimization for Zero-Sum Markov Games with Structured Transitions
University of Chicago(芝加哥大学);Meta Platforms, Inc.(元平台公司);University of Michigan(密歇根大学);Northwestern University(西北大学);Yale University(耶鲁大学)
虽然在固定环境中的单智能体策略优化最近在强化学习社区引起了很多研究关注,但当有多个智能体在潜在竞争环境中玩耍时,理论上知之甚少。我们采取措施,提出和分析新的虚拟播放策略优化算法的零和马尔可夫游戏结构化,但未知的过渡。我们考虑两类转移结构:因子独立转移和单控制器转移。对于这两种情况下,我们证明了紧$\widetilde{\mathcal{O}}(\sqrt{K})$遗憾界后,$K$情节在两个代理竞争的游戏场景。每个代理人的遗憾是衡量对一个潜在的敌对对手谁可以选择一个最好的政策后,在事后观察整个政策序列。我们的算法结合了上置信界(UCB)型乐观和虚构的发挥范围内的同时在非平稳环境中的政策优化。当两个玩家都采用所提出的算法时,他们的总体最优性差距是$\widetilde{\mathcal{O}}(\sqrt{K})$。
2022-07-25 cs.AI cs.GT cs.LG
Mastering Strategy Card Game (Legends of Code and Magic) via End-to-End Policy and Optimistic Smooth Fictitious Play
ByteDance(字节跳动)
深度强化学习结合Fictionary Play在许多基准测试游戏上显示出令人印象深刻的结果,然而,其中大多数都是单阶段的。相比之下,现实世界的决策问题可能由多个阶段组成,其中观察空间和行动空间在各个阶段之间可能完全不同。我们研究了一个两阶段的策略纸牌游戏Legends of Code and Magic,并提出了一个端到端的策略来解决多阶段游戏中出现的困难。我们还提出了一个乐观光滑虚拟博弈算法来寻找两人博弈的纳什均衡。我们的方法赢得了COG2022比赛的双重冠军。大量的研究验证并显示了我们方法的先进性。
2023-03-07 cs.AI cs.GT cs.LG
Learning to Play No-Press Diplomacy with Best Response Policy Iteration
DeepMind
深度强化学习(RL)的最新进展已经在许多2人零和游戏中取得了相当大的进展,例如围棋,扑克和星际争霸。这种游戏的纯粹对抗性质允许RL方法在概念上简单且有原则的应用。然而,现实世界的设置是多代理,代理交互是共同利益和竞争方面的复杂混合物。我们认为外交,一个7人的棋盘游戏,旨在强调困境造成的许多代理的相互作用。它还具有较大的组合动作空间和同时移动,这对RL算法来说是一个挑战。我们提出了一个简单而有效的近似最佳反应算子,旨在处理大型组合动作空间和同时移动。我们还介绍了一个家庭的政策迭代方法,近似虚构的发挥。通过这些方法,我们成功地将强化学习应用于外交:我们证明了我们的代理令人信服地优于以前的最先进技术,博弈论均衡分析表明,新的过程产生了一致的改进。
2022-01-04 cs.AI cs.GT cs.LG
Policy Gradient Methods Find the Nash Equilibrium in N-player General-sum Linear-quadratic Games
University of Oxford(牛津大学)
考虑有限时间内具有随机动态的一般和N-局中人线性二次对策,证明了自然策略梯度法对Nash均衡的整体收敛.为了证明该方法的收敛性,我们要求系统中存在一定量的噪声。我们给出了一个条件,基本上是一个下界的噪声的模型参数的协方差,以保证收敛。我们用数值实验来说明我们的结果,表明即使在政策梯度法可能不会收敛于确定性设置的情况下,噪声的加入导致收敛。
2022-08-15 cs.GT cs.LG math.OC
Targeted Search Control in AlphaZero for Effective Policy Improvement
University of Alberta(阿尔伯塔大学)
AlphaZero是一个自我发挥的强化学习算法,通过策略迭代实现国际象棋,将棋和围棋的超人发挥。为了成为一个有效的策略改进算子,AlphaZero的搜索需要对其搜索树中出现的状态进行准确的值估计。AlphaZero从游戏的初始状态开始训练自玩比赛,并且只对前几步的动作进行采样,限制了它对游戏树更深处状态的探索。我们介绍了Go-Exploit,这是AlphaZero的一种新的搜索控制策略。Go-Exploit从感兴趣的状态档案中采样其自我游戏轨迹的开始状态。从不同的起始状态开始自我游戏轨迹使Go-Exploit能够更有效地探索游戏树,并学习更好地概括的价值函数。产生较短的自我发挥轨迹允许去开拓训练更独立的价值目标,提高价值训练。最后,Go-Exploit固有的探索性减少了探索性行动的需要,使其能够在更具剥削性的政策下进行训练。在Connect Four和9 x9 Go的比赛中,我们表明Go-Exploit比标准AlphaZero具有更高的样本效率,从而在对抗参考对手和正面比赛中表现更好。我们还比较了Go-Exploit和KataGo,这是AlphaZero的一个更有效的重新实现,并证明了Go-Exploit具有更有效的搜索控制策略。此外,当KataGo的其他创新被纳入时,Go-Exploit的样本效率得到了提高。
2023-02-28 cs.AI cs.LG
Scalable Multi-Task Learning through Spiking Neural Networks with Adaptive Task-Switching Policy for Intelligent Autonomous Agents
eBRAIN Lab, New York University (NYU) Abu Dhabi(eBRAIN实验室,纽约大学(NYU)阿布扎比分校)
本文提出SwitchMT方法,通过自适应任务切换策略和深度脉冲Q网络实现高效的多任务学习,提升自主代理在多个Atari游戏中表现。
2026-04-17 cs.AI cs.LG cs.NE
EMAgnet: Parameter-Space EMA Regularization for Policy Gradient Self-Play in Large Games
Riot Games(拳头游戏);University of California, Irvine(加州大学尔湾分校);New York University(纽约大学)
提出EMAgnet,通过指数移动平均(EMA)对策略参数进行自适应正则化,替代均匀分布正则化,在两人零和博弈中降低可剥削性。
2026-06-24 cs.AI cs.GT cs.LG
The RL Perceptron: Generalisation Dynamics of Policy Learning in High Dimensions
Gatsby Computational Neuroscience Unit(Gatsby计算神经科学单元);UCL(大学学院);Imperial College London(伦敦帝国理工学院);International School of Advanced Studies (SISSA)(国际先进研究学校(SISSA));Trieste, Italy(意大利特里斯特);Sainsbury Wellcome Centre(萨金斯堡韦尔科中心);CIFAR Azrieli Global Scholar(CIFAR阿兹里埃利全球学者);CIFAR
该研究提出可解的高维强化学习模型,推导其动力学闭式方程与最优学习调度方案,揭示多种学习特性,并通过游戏实验验证速度-精度权衡,推动高维RL理论与实践的衔接。
2024-12-20 cond-mat.dis-nn cs.LG
Single-Agent Optimization Through Policy Iteration Using Monte-Carlo Tree Search
University of Alberta(阿尔伯塔大学)
蒙特卡罗树搜索(MCTS)和深度强化学习的结合是两人完全信息博弈中的最新技术。在本文中,我们描述了一种搜索算法,使用MCTS的一个变体,我们增强了1)一种新的动作值规范化机制的游戏与潜在的无限奖励(这是在许多优化问题的情况下),2)定义一个虚拟的损失函数,使有效的搜索并行化,和3)的政策网络,训练的几代人的自我发挥,以指导搜索。我们衡量我们的方法在“SameGame”-一个流行的单人游戏测试域的有效性。我们的实验结果表明,我们的方法优于基线算法在几个电路板尺寸。此外,它与最先进的搜索算法在公共位置集上具有竞争力。
2020-05-22 cs.AI cs.LG
Low-complexity modular policies: learning to play Pac-Man and a new framework beyond MDPs
在本文中,我们提出了一种学习玩吃豆人的方法。我们定义了一组高级观察和动作模块。动作在时间上被延长,并且多个动作模块可以同时生效。代理的决策被表示为基于规则的策略。对于学习,我们应用交叉熵方法,最近的全局优化算法。学习的策略比手工制定的策略得分更高,接近人类玩家的平均得分。我们认为,学习是成功的,主要是因为(i)政策空间包括个人行动的组合,因此它是足够丰富的,(ii)搜索是偏向于低复杂度的政策和低复杂度的解决方案,可以很快找到,如果它们存在。基于这些原则,我们制定了一个新的理论框架,可以在附录中找到作为支持材料。
2006-10-30 cs.AI cs.LG
A Policy-Gradient Approach to Solving Imperfect-Information Games with Best-Iterate Convergence
本文首次证明策略梯度方法在两人零和不完美信息扩展式博弈中可实现最佳迭代收敛到正则化纳什均衡,为策略梯度在博弈论中的应用奠定理论基础。
2025-07-09 cs.AI cs.GT cs.LG
Mastering the Game of Go with Self-play Experience Replay
NetEase AI Lab(网易人工智能实验室)
QZero通过自我对战和非策略经验回放,首次展示了无模型强化学习在掌握围棋中的高效性与可行性。
2026-01-06 cs.AI cs.LG
Self-Play Reinforcement Learning under Imperfect Information in Big 2
University of Pennsylvania(宾夕法尼亚大学)
本文提出一个自我对弈强化学习框架,在四人不完全信息纸牌游戏Big 2中比较策略梯度和值近似方法,发现PPO优于其他方法,并证明中等熵正则化和当前策略自我对弈的有效性。
2026-06-28 cs.AI cs.LG
Enabling Energy-Efficient Simultaneous Multi-Task Reinforcement Learning through Spiking Neural Networks with Active Dendrites for Bio-inspired Generalist Agents
eBRAIN Lab New York University (NYU) Abu Dhabi(eBRAIN实验室 新 York大学(NYU)阿布扎赫德)
研究针对多任务强化学习的挑战,提出MTSpark方法,利用带主动树突的脉冲神经网络,结合增强深度脉冲Q网络、决斗结构和特定任务上下文信号,实现节能同步多任务强化学习,在游戏中性能和效率提升,能耗降低。
2026-07-15 cs.AI cs.LG cs.NE
An Approach to Partial Observability in Games: Learning to Both Act and Observe
Naval Center for Applied Research in A.I.(海军应用人工智能中心);U.S. Naval Research Laboratory(美国海军研究实验室);Oberlin College(欧柏林学院)
强化学习(RL)在学习玩整个环境可见的游戏方面是成功的。然而,强化学习方法在像星际争霸II这样的复杂游戏和整个环境不可见的现实世界环境中受到挑战。在这些视觉信息更有限的更复杂的游戏中,智能体必须选择看哪里以及如何最佳地使用他们有限的视觉信息,以便在游戏中取得成功。我们验证了一个相对简单的模型,代理可以学习在有限的视觉带宽的情况下看哪里。我们开发了一种方法,用于在Atari游戏中掩蔽部分环境,以迫使RL代理学习在哪里看以及如何玩游戏,以便研究RL代理学习在哪里看。此外,我们开发了一个神经网络的架构和方法,让代理选择在哪里看,采取什么行动,在乒乓球比赛。此外,我们分析了代理学习的策略,以更好地理解RL代理如何学习玩游戏。
2021-08-11 cs.AI cs.CV cs.GT
Policy-Gradient Algorithms Have No Guarantees of Convergence in Linear Quadratic Games
University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
我们通过反例表明,策略梯度算法没有保证,甚至局部收敛到纳什均衡在连续的行动和状态空间多智能体设置。要做到这一点,我们分析梯度发挥N-玩家一般和线性二次游戏,一个经典的游戏设置,最近出现的多智能体学习领域的基准。在这种博弈中,状态空间和行动空间是连续的,全局纳什均衡可以通过求解耦合的Ricatti方程来找到。此外,LQ博弈中的梯度博弈等价于多智能体策略梯度。我们首先表明,这些游戏是令人惊讶的不是凸的游戏。尽管如此,我们仍然能够证明梯度动力学的唯一临界点是全局纳什均衡。然后,我们给出了充分条件下,策略梯度将避免纳什均衡,并产生大量的一般和线性二次博弈,满足这些条件。在这样的博弈中,我们凭经验观察到参与者收敛到极限环,对于极限环,时间平均值不符合纳什均衡。这种游戏的存在表明,在经典的强化学习设置中解决强化学习问题的最流行的方法之一在多智能体设置中没有局部收敛保证。此外,我们可以很容易地生成这些反例,这表明这种情况不仅仅是边缘情况,实际上是很常见的。
2019-12-16 cs.LG stat.ML
Offline Reinforcement Learning for Mobility Robustness Optimization
Ericsson Research(爱立信研究)
本研究探索使用离线强化学习方法(Decision Transformers和Conservative Q-Learning)学习最优小区个体偏移调整以优化移动鲁棒性,在3500 MHz New Radio网络中比传统规则方法提升达7%,并支持多目标函数训练。
2025-06-28 cs.AI cs.NI cs.PF
Jointly Pre-training with Supervised, Autoencoder, and Value Losses for Deep Reinforcement Learning
Washington State University(华盛顿州立大学)
深度强化学习(DRL)算法被认为是数据低效的。一个原因是DRL代理学习功能和策略表。将先验知识集成到DRL算法中是提高学习效率的一种方法,因为它有助于构建有用的表示。在这项工作中,我们考虑将人类知识,以加速异步优势演员-评论家(A3 C)算法通过预训练少量的非专家的人类示范。我们利用监督自动编码器框架,并提出了一种新的预训练策略,该策略联合训练加权监督分类损失,无监督重建损失和预期返回损失。与以监督或无监督方式独立训练相比,所得到的预训练模型学习到更多有用的特征。我们的预训练方法大大提高了A3 C代理在Atari游戏Pong和MsPacman中的学习性能,在更少的游戏交互次数下超过了最先进算法的性能。我们的方法是轻量级的,易于实现在一个单一的机器。为了重现性,我们的代码可在github.com/gabrieledcjr/DeepRL/tree/A3C-ALA2019上获得
2019-04-03 cs.LG stat.ML
Affordance Learning from Play for Sample-Efficient Policy Learning
University of Freiburg(弗莱堡大学)
在以人为中心的环境中运行的机器人应该有能力理解物体的功能:每个物体可以做什么,这种交互可能发生在哪里,以及如何使用物体来实现目标。为此,我们提出了一种新的方法,从人类遥控游戏数据中提取一个自我监督的视觉启示模型,并利用它来实现有效的策略学习和运动规划。我们将基于模型的规划与无模型的深度强化学习(RL)相结合,以学习有利于人们喜欢的相同对象区域的策略,同时需要最少的机器人与环境的交互。我们评估我们的算法,视觉负担指导的政策优化(VAPO),与不同的模拟操作任务和现实世界的机器人整理实验,以证明我们的负担指导政策的有效性。我们发现,我们的政策训练比基线快4倍,更好地推广到新的对象,因为我们的视觉启示模型可以预测他们的启示区域。
2022-03-01 cs.AI cs.CV cs.LG
Policy Iteration for Two-Player General-Sum Stochastic Stackelberg Games
本文提出了一种新的策略迭代算法,保证领导者策略的单调改进,并引入帕累托最优作为SSE的扩展最优性,证明在领导者短视时算法收敛到帕累托前沿。
2026-03-16 cs.GT cs.LG cs.MA
Knowledge Transfer in Deep Reinforcement Learning via an RL-Specific GAN-Based Correspondence Function
Institute of Information Theory and Automation, Czech Academy of Sciences(捷克科学院信息理论与自动化研究所);Czech University of Life Sciences(捷克生命科学大学)
本文提出一种针对强化学习改进的循环生成对抗网络,通过模型损失和Q损失实现任务间知识迁移,在Pong游戏上达到100%迁移或减少30%训练时间,优于标准GAN方法。
2024-11-11 cs.AI cs.LG
Provable Fictitious Play for General Mean-Field Games
Princeton University(普林斯顿大学);Northwestern University(西北大学);Cornell University(康奈尔大学)
我们提出了一个平稳平均场博弈的强化学习算法,目标是学习一对平均场状态和平稳策略,构成纳什均衡。将平均场状态和策略看作两个局中人,提出了一种虚拟博弈算法,分别通过梯度下降和近端策略优化交替更新平均场状态和策略.我们的算法与以前的文献形成鲜明对比,以前的文献解决了由迭代平均场状态引起的每个单智能体强化学习问题。此外,我们证明了我们的虚拟播放算法收敛到纳什均衡在一个次线性的速度。据我们所知,这似乎是第一个可证明收敛的单循环强化学习算法的平均场游戏的基础上迭代更新的平均场状态和政策。
2020-10-08 cs.GT cs.LG
A Game Theoretic Framework for Model Based Reinforcement Learning
Google Brain(谷歌大脑);University of Washington(华盛顿大学)
基于模型的强化学习(MBRL)由于其潜在的样本效率和合并非策略数据的能力而最近获得了极大的兴趣。然而,使用丰富的函数逼近器设计稳定和高效的MBRL算法仍然具有挑战性。为了帮助暴露MBRL的实际挑战,并从抽象的角度简化算法设计,我们开发了一个新的框架,将MBRL转换为一个游戏:(1)策略参与者,试图在学习模型下最大化奖励;(2)模型参与者,试图拟合策略参与者收集的真实数据。对于算法开发,我们构建了一个Stackelberg游戏之间的两个球员,并表明它可以解决近似的双层优化。这就产生了两个自然家庭的算法MBRL的基础上,球员被选为领导者在Stackelberg游戏。它们一起封装、统一和概括了许多以前的MBRL算法。此外,我们的框架是一致的,并提供了一个明确的基础,从以前的作品在实践中是重要的。最后,通过实验,我们验证了我们提出的算法是高度采样效率,匹配无模型策略梯度的渐近性能,并优雅地扩展到高维任务,如灵巧手操作。其他详细信息和代码可以从项目页面https://sites.google.com/view/mbrl-game获得
2021-03-11 cs.AI cs.LG cs.RO
A quantum-classical reinforcement learning model to play Atari games
Technische Universität Wien(维也纳技术大学);Freie Universität Berlin(柏林自由大学)
针对近期量子强化学习技术难以处理高维复杂问题的空白,提出结合参数化量子电路与经典编码、后处理层的混合模型,可完成雅达利游戏任务,性能与经典参照模型相当,为量子学习模型落地现实强化学习场景提供支撑。
2024-12-11 cs.AI cs.LG quant-ph
Learning Goal Embeddings via Self-Play for Hierarchical Reinforcement Learning
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院)
在分层强化学习中,一个主要的挑战是确定适当的低级策略。我们提出了一个无监督学习方案,该方案基于Sukhbaatar et al.(2018)的非对称自我游戏,可以自动学习环境中子目标的良好表示以及可以执行它们的低级策略。然后,高级策略可以通过生成一系列连续的子目标向量来指导较低的策略。我们使用Mazebase和Mujoco环境评估我们的模型,包括具有挑战性的AntGather任务。子目标嵌入的可视化揭示了环境中任务的逻辑分解。量化,我们的方法获得了令人信服的性能增益超过非层次的方法。
2018-11-22 cs.LG stat.ML
Imitating Opponent to Win: Adversarial Policy Imitation Learning in Two-player Competitive Games
Singapore Management University(新加坡管理大学);University of Oregon(俄勒冈大学)
最近对深度强化学习(RL)漏洞的研究表明,对手代理采用的对抗策略可以影响目标RL代理(受害者代理)在多代理环境中表现不佳。在现有的研究中,对抗性政策是直接训练的基础上与受害者代理的互动经验。这种方法有一个关键的缺点:从历史互动中获得的知识可能无法正确地推广到受害者代理的未探索的政策区域,这使得经过训练的对抗性政策的有效性大大降低。在这项工作中,我们设计了一个新的有效的对抗策略学习算法,克服了这一缺点。我们的新算法的核心思想是创建一个新的模仿者来模仿受害者代理的策略,而对抗策略不仅基于与受害者代理的交互,而且还基于模仿者的反馈来预测受害者的意图。通过这样做,我们可以利用模仿学习的能力,仅基于受害者的样本轨迹就可以很好地捕捉受害者策略的潜在特征。我们的受害者模仿学习模型不同于以前的模型,因为环境的动态由对手的策略驱动,并且在对抗策略训练过程中会不断变化。当对手的策略稳定时,我们给出了一个可证明的界来保证一个理想的模仿策略。我们通过让模仿者成为受害者的更强版本,进一步加强了我们的对抗性策略学习。最后,我们使用四个竞争激烈的MuJoCo游戏环境的广泛实验表明,我们提出的对抗性策略学习算法优于最先进的算法。
2022-10-30 cs.LG
Offline Reinforcement Learning for Human-Guided Human-Machine Interaction with Private Information
Northwestern University(西北大学);George Washington University(乔治华盛顿大学);Yale University(耶鲁大学);University of Miami(迈阿密大学)
受训练聊天机器人以提高客户满意度等人机交互的启发,我们研究了涉及私人信息的人引导的人机交互。我们将这种交互建模为两个玩家的回合制游戏,其中一个玩家(Alice,人类)引导另一个玩家(Bob,机器)朝着共同的目标前进。具体来说,我们在这个游戏中专注于离线强化学习(RL),目标是为Alice和Bob找到一个策略对,基于先验收集的离线数据集最大化他们的预期总回报。离线设置带来了两个挑战:(i)我们无法收集Bob的私人信息,导致使用标准RL方法时出现混淆偏差,以及(ii)用于收集数据的行为策略与我们想要学习的策略之间的分布不匹配。为了解决混杂偏差,我们将Bob之前的行为视为Alice当前决策的工具变量,以便调整未测量的混杂。我们开发了一个新的识别结果,并使用它提出了一个新的关闭政策评估(OPE)的方法来评估政策对在这个两个玩家回合制游戏。为了解决分布不匹配的问题,我们利用悲观主义的思想,并使用我们的OPE方法来开发一个离线学习算法,为Alice和Bob找到一个理想的策略对。最后,我们证明了在温和的假设下,如部分覆盖的离线数据,通过我们的方法获得的政策对收敛到最优的一个令人满意的速度。
2022-12-23 cs.LG stat.ME stat.ML
Multiple Policy Value Monte Carlo Tree Search
National Chiao Tung University(国立交通大学);Pervasive Artificial Intelligence Research (PAIR) Labs(普适人工智能研究(PAIR)实验室)
许多最强大的游戏程序使用蒙特卡罗树搜索(MCTS)和深度神经网络(DNN)的组合,其中DNN用作策略或值评估器。给定有限的预算,例如在线游戏或在AlphaZero(AZ)训练的自我游戏阶段,需要在准确的状态估计和更多的MCTS模拟之间达到平衡,这两者对于强大的游戏代理都是至关重要的。通常,较大的DNN在泛化和准确评估方面更好,而较小的DNN成本更低,因此可以在相同的预算下产生更多的MCTS模拟和更大的搜索树。本文提出了一种新的策略值MCTS(MPV-MCTS)方法,它将不同规模的多策略值神经网络(PV-NN)结合起来,以保留每个网络的优点,其中使用了两个PV-NN f_S和f_L。我们通过对NoGo博弈的实验表明,组合的f_S和f_L MPV-MCTS优于具有策略值MCTS的单个PV-NN,称为PV-MCTS。此外,MPV-MCTS在AZ训练方面也优于PV-MCTS。
2019-05-31 cs.AI
Competitive Policy Optimization
ETH Zürich(苏黎世联邦理工学院);California Institute of Technology(加州理工学院)
在竞争马尔可夫决策过程中,策略优化的一个核心挑战是设计具有理想收敛性和稳定性的有效优化方法。为了解决这个问题,我们提出了竞争政策优化(CoPO),一种新的策略梯度的方法,利用竞争游戏的博弈论性质,以获得政策更新。受竞争梯度优化方法的启发,我们得到了一个双线性近似的游戏目标。相比之下,现成的策略梯度方法仅利用线性近似,因此不捕获参与者之间的交互。我们以两种方式实例化CoPO:(i)竞争性策略梯度,以及(ii)信任区域竞争性策略优化。我们从理论上研究了这些方法,并在一组全面的,但具有挑战性的,竞争性的游戏上实证研究了它们的行为。我们观察到,他们提供了稳定的优化,收敛到复杂的战略,以及更高的分数时,发挥对基线策略梯度方法。
2020-06-18 cs.GT cs.LG cs.MA
Proximal Deterministic Policy Gradient
University of Padova(帕多瓦大学);University of Pennsylvania(宾夕法尼亚大学)
本文介绍了两种简单的技术,以改善离政策强化学习(RL)算法。首先,我们制定了一个随机的近点迭代的政策外RL。目标网络充当优化变量的角色,价值网络计算邻近算子。其次,我们利用两个价值函数通常采用的国家的最先进的政策外的算法,以提供一个改进的行动价值估计,通过引导有限的增加计算资源。此外,我们证明了显着的性能改善,在标准的连续控制RL基准的最先进的算法。
2020-08-03 cs.LG stat.ML
Fictitious Cross-Play: Learning Global Nash Equilibrium in Mixed Cooperative-Competitive Games
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院)
针对混合合作竞争博弈中自博弈难收敛到全局纳什均衡、PSRO扩展性差的问题,提出兼具两者优势的虚拟交叉博弈算法FXP,在矩阵博弈、网格世界和足球博弈中均取得更优效果。
2023-10-05 cs.AI cs.LG cs.MA
Model-free Reinforcement Learning for Stochastic Stackelberg Security Games
本文考虑了两个局中人的序列随机Stackelberg对策,其中一个局中人是领导者,另一个局中人是跟随者。跟随者可以访问系统的状态,而领导者则不能。假设参与者按照各自的最佳利益行事,追随者的策略是对领导者的策略做出最佳反应。在这种情况下,领导者的优势是承诺一个政策,使自己的回报最大化的知识,追随者将发挥其政策的最佳反应。因此,两个参与者都收敛到一对策略,形成了博弈的斯塔克伯格均衡。最近,[1]提出了一种序列分解算法来计算这类博弈的Stackelberg均衡,它允许在线性时间内计算马尔可夫均衡策略,而不是像以前那样,在双指数时间内计算。在本文中,我们的想法扩展到一个MDP的动态是不知道的球员,提出了一个RL算法的基础上预期Sarsa学习Stackelberg均衡策略,通过模拟模型的MDP。我们使用粒子滤波器来估计一个共同的代理计算的最优策略的基础上,这是共同的两个球员的信念更新。我们提出了一个安全游戏的例子来说明我们的算法学习的政策。通过模拟MDP的模型。我们使用粒子滤波器来估计一个共同的代理计算的最优策略的基础上,这是共同的两个球员的信念更新。我们提出了一个安全游戏的例子来说明我们的算法学习的政策。
2020-05-24 cs.LG cs.MA math.OC
Policy Invariance under Reward Transformations for General-Sum Stochastic Games
Carleton University(卡尔顿大学);Royal Military College of Canada(加拿大皇家军事学院)
我们扩展了潜在的成形方法从马尔可夫决策过程的多人一般和随机游戏。我们证明了纳什均衡在一个随机游戏保持不变后,潜在的塑造应用于环境。策略不变性的性质提供了一种可能的方法来加快收敛时,学习玩随机游戏。
2014-01-16 cs.GT cs.LG
Distributed Learning in Multi-Armed Bandit with Multiple Players
University of California, Davis(加州大学戴维斯分校)
我们制定和研究一个分散的多臂强盗(MAB)问题。有M个分布式参与者竞争N个独立的武器。每一只手臂,在演奏时,都提供了身份证。根据具有未知参数的分布进行奖励。在每一次,每个玩家选择一只手臂玩,不与其他玩家交换观察或任何信息。选择相同手臂的玩家发生碰撞,根据碰撞模型,要么没有人获得奖励,要么碰撞的玩家以任意方式分享奖励。我们发现,分散的MAB的最小系统遗憾随着时间的增长,在相同的对数顺序在集中式的对手,球员集体作为一个单一的实体,通过交换意见和共同决策。一个分散的政策,以实现这一最优秩序,同时确保公平的参与者之间,而不假设任何预先协议或参与者之间的信息交换。基于M个最优武器的时分公平共享(TDFS),构造了该策略,并在一般报酬模型下证明了其序最优性。此外,TDFS策略的基本结构可以与任何订单最优的单人策略一起使用,以实现分散设置中的订单最优性。我们还建立了一个下界的系统遗憾的增长率的一般类的分散政策,建议的政策属于。该问题在认知无线电网络、多信道通信系统、多智能体系统、网络搜索和广告以及社交网络中有潜在的应用。
2010-06-07 cs.LG math.OC math.PR
Optimistic Policy Gradient in Multi-Player Markov Games with a Single Controller: Convergence Beyond the Minty Property
Meta AI;University of California Irvine(加州大学欧文分校);Archimedes research unit(阿基米德研究单元);Massachusetts Institute of Technology(麻省理工学院);Strategy Robot, Inc.(战略机器人公司);Strategic Machine, Inc.(战略机器公司);Optimized Markets, Inc.(优化市场公司);Carnegie Mellon University(卡内基梅隆大学)
本文提出新框架,证明在均衡坍缩假设下,单控制器多玩家马尔可夫博弈的乐观策略梯度方法以O(1/ε²)迭代收敛到平稳ε-NE,并引入推广的Minty性质绕过复杂性障碍。
2023-12-21 cs.GT cs.LG
Global Policy-Space Response Oracles for Two-Player Zero-Sum Games
Department of Electronic Engineering, Tsinghua University, Beijing, China(清华大学电子工程系,北京,中国);Qiyuan Lab, Beijing, China(启元实验室,北京,中国)
提出Global PSRO框架,通过直接最小化种群可利用性(PE)来引导策略种群扩展,以更少的策略迭代逼近纳什均衡。
2026-05-27 cs.AI
GAE Falls Short in Imperfect-Information Self-Play Reinforcement Learning
MIT(麻省理工学院)
本文研究了不完全信息博弈中自博弈强化学习中GAE估计器的方差问题,提出Q-boosting和VRPO算法以减少方差并提升性能。
2026-11-10 cs.GT cs.LG
Role Play: Learning Adaptive Role-Specific Strategies in Multi-Agent Interactions
Academy for Engineering and Technology, Fudan University(复旦大学工程技术学院);School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);Ji Hua Laboratory(季华实验室)
针对多智能体强化学习的零样本协调问题,受社会价值取向启发提出Role Play框架,通过角色嵌入与角色预测器实现角色自适应策略学习,理论证明可达近似最优,在多种游戏中优于强基线。
2024-11-02 cs.AI cs.LG cs.MA
Reproducing AlphaZero on Tablut: Self-Play RL for an Asymmetric Board Game
本文研究了AlphaZero算法在非对称棋盘游戏Tablut中的适应性,通过分离的策略和价值头及稳定技术提升性能。
2026-04-07 cs.LG