Random Projection in Neural Episodic Control
Kanazawa University(金泽大学)
端到端的深度强化学习使智能体能够在几乎不需要人工预处理的情况下进行学习。然而,由于学习方法通常使用非线性函数逼近,因此仍然难以稳定有效地学习。为了提高样本效率而提出的神经情节控制(NEC)能够通过使用非参数方法估计动作值来稳定地学习。在本文中,我们提出了一个架构,将随机投影到NEC的训练更稳定。此外,我们通过Atari的五款游戏验证了我们的架构的有效性。其主要思想是通过用随机投影代替神经网络来减少必须学习的参数的数量,以便在保持学习端到端的同时降低维度。
2019-04-14 cs.AI cs.LG stat.ML
Rewarding Episodic Visitation Discrepancy for Exploration in Reinforcement Learning
The Hong Kong Polytechnic University(香港理工大学);Eastern Institute for Advanced Study(东方高等研究院)
在具有高维观测和稀疏奖励的复杂环境中,探索对于深度强化学习至关重要。为了解决这个问题,最近的方法提出了利用内在奖励来改善探索,例如基于新颖性的探索和基于预测的探索。然而,许多内在奖励模块需要复杂的结构和表示学习,导致过高的计算复杂性和不稳定的性能。在本文中,我们提出了奖励情节访问离散(REVD),计算效率和量化的探索方法。更具体地说,REVD通过评估事件之间基于雷尼分歧的访问差异来提供内在奖励。为了进行有效的发散估计,k-最近邻估计器与随机初始化的状态编码器一起使用。最后,REVD在Atari游戏和PyBullet机器人环境中进行了测试。大量的实验表明,REVD能显著提高强化学习算法的样本效率,性能优于基准测试方法。
2022-11-10 cs.AI cs.LG
Sample-Efficient Deep Reinforcement Learning via Episodic Backward Update
KAIST(韩国科学技术院)
我们提出了Episodic Backward Update(EBU)-一种具有直接值传播的新型深度强化学习算法。与传统的使用均匀随机抽样的经验重放相比,我们的代理人对整个事件进行采样,并将状态的值连续传播到其先前的状态。我们的计算效率的递归算法允许稀疏和延迟的奖励直接传播通过采样集的所有过渡。我们从理论上证明了EBU方法的收敛性,并通过实验证明了它在确定性和随机环境中的性能。特别是在Atari 2600域的49个游戏中,EBU分别仅使用5%和10%的样本就实现了与DQN相同的平均和中值人类归一化性能。
2019-11-12 cs.LG stat.ML
Sample-Efficient Reinforcement Learning with Maximum Entropy Mellowmax Episodic Control
Imperial College London(帝国理工学院)
深度网络使强化学习能够扩展到更复杂和更具挑战性的领域,但这些方法通常需要大量的训练数据。另一种方法是使用样本有效的情景控制方法:神经启发算法,其使用非/半参数模型,基于存储和检索先前经历的过渡来预测值。进一步提高这些方法的样本效率的一种方式是使用更有原则的探索策略。因此,在这项工作中,我们提出了最大熵mellowmax情节控制(MEMEC),根据玻尔兹曼政策与状态相关的温度采样行动。我们证明了MEMEC在经典的强化学习环境和Atari游戏中优于其他基于不确定性和softmax的探索方法,实现了更快速的学习和更高的最终奖励。
2019-11-21 cs.LG cs.NE stat.ML
Sequence Modeling of Temporal Credit Assignment for Episodic Reinforcement Learning
UIUC(伊利诺伊大学厄巴纳-香槟分校);UT Austin(德克萨斯大学奥斯汀分校)
深度强化学习算法的最新进展在解决许多具有挑战性的现实问题方面显示出巨大的潜力和成功,包括围棋游戏和机器人应用。通常,这些算法需要精心设计的奖励函数来指导每个时间步的训练。然而,在现实世界中,设计这样的奖励函数并不简单,并且唯一可用的信号通常是在轨迹的末端获得的,也称为情节奖励或返回。在这项工作中,我们引入了一个新的算法的时间信用分配,学习分解的情节返回到每个时间步的轨迹使用深神经网络。利用该学习的奖励信号,可以显著提高情景强化学习的学习效率。特别是,我们发现,表达语言模型,如Transformer可以用于学习的重要性和依赖性的状态的轨迹,从而提供高质量和可解释的学习奖励信号。我们已经进行了广泛的实验,一组MuJoCo连续机车控制任务,只有情节的回报,并证明了我们的算法的有效性。
2019-05-31 cs.LG stat.ML
Counting to Explore and Generalize in Text-based Games
Microsoft Research(微软研究院)
我们提出了一个经常性的RL代理与情节探索机制,有助于发现良好的政策,在基于文本的游戏环境。我们在一组不同难度的基于文本的游戏中显示出了有希望的结果,其目标是收集位于房间链末端的硬币。与以前的基于文本的RL方法相比,我们观察到我们的代理学习策略,这些策略可以推广到更难的看不见的游戏。
2019-03-07 cs.CL cs.LG
Memory-Efficient Episodic Control Reinforcement Learning with Dynamic Online k-means
Imperial College London(帝国理工学院)
最近,已经开发了神经启发的情景控制(EC)方法来克服标准深度强化学习方法的数据低效。使用非/半参数模型来估计价值函数,它们可以快速学习,从类似的过去状态中检索缓存的值。在现实场景中,由于资源有限和数据嘈杂,在记忆中保持有意义的表征对于加速学习和避免灾难性遗忘至关重要。不幸的是,EC方法具有较大的空间和时间复杂度。我们调查不同的解决方案,这些问题的优先级和排名存储状态的基础上,以及在线聚类技术。我们还提出了一种新的动态在线k-means算法,既计算效率高,又在较小的内存大小下产生更好的性能;我们在经典的强化学习环境和Atari游戏中验证了这种方法。
2019-11-21 cs.LG cs.NE stat.ML
The Cell Must Go On: Agar.io for Continual Reinforcement Learning
AgarCL是一个基于Agar.io游戏的持续强化学习研究平台,用于评估不同算法在复杂动态环境中的表现和挑战。
2026-08-11 cs.AI cs.LG
Off-Beat Multi-Agent Reinforcement Learning
Nanyang Technological University(南洋理工大学);Tianjin University(天津大学);Netease, Inc.(网易公司)
我们研究了无模型多智能体强化学习(MARL)在环境中的异常行为是普遍的,即,所有动作都具有预先设置的执行持续时间。在执行期间,环境变化受动作执行的影响,但不与动作执行同步。这样的设置在许多现实问题中是普遍存在的。然而,大多数MARL方法假设动作在推理后立即执行,这通常是不现实的,并且可能导致具有非节拍动作的多智能体协调的灾难性失败。为了填补这一空白,我们开发了一个算法框架的MARL与非拍的行动。然后,我们针对无模型MARL算法提出了一种新型的情景记忆LeGEM。LeGEM通过利用主体的个体经验建立主体的情景记忆。它通过解决具有挑战性的时间信用分配问题提出了通过我们的新的奖励再分配方案,减轻非马尔可夫奖励的问题,从而提高多智能体学习。我们评估LeGEM在各种多智能体场景中的非常规行动,包括Stag-Hunter游戏,采石场游戏,Affiliate游戏和星际争霸II微观管理任务。实验结果表明,LeGEM显著提高了多智能体的协调能力,取得了领先的性能,提高了样本效率。
2022-06-19 cs.AI cs.LG cs.MA
Reinforcement Learning for Mean Field Game
Purdue University(普渡大学)
随机博弈为多个主体之间的交互提供了一个框架,并使无数的应用成为可能。在这些游戏中,代理同时决定行动,每个代理的状态移动到下一个状态,每个代理都获得奖励。然而,在这个游戏中找到一个均衡(如果存在)往往是困难的,当代理人的数量变得很大。本文的重点是寻找一个平均场均衡(MFE)的行动耦合随机博弈设置在一个情节的框架。假设其他代理人的影响可以通过行动平均值的经验分布来假设。所有的代理知道的行动分布,并采用低近视的最佳反应动力学选择最佳的遗忘策略。本文提出了一种基于后验抽样的平均场博弈强化学习方法,每个智能体从先前的转换中抽取一个转换概率。我们表明,政策和行动的分布收敛到最佳的遗忘策略和限制分布,分别构成一个MFE。
2019-10-08 cs.AI cs.LG stat.ML
Episodic Reinforcement Learning with Expanded State-reward Space
Xiamen University(厦门大学)
本文提出一种扩展状态-奖励空间的片段控制强化学习框架,通过将检索历史状态与蒙特卡洛回报分别融入输入状态和即时奖励,提升样本效率并缓解 Q 值高估,在 Box2d 和 Mujoco 任务上验证了其优越性。
2024-01-19 cs.AI cs.LG
Bootstrapped Q-learning with Context Relevant Observation Pruning to Generalize in Text-based Games
IBM Research AI(IBM研究人工智能部门(IBM Research AI))
我们发现,用于解决基于文本的游戏(TBG)的强化学习(RL)方法通常无法推广看不见的游戏,特别是在小数据的情况下。为了解决这个问题,我们提出了上下文相关的情景状态截断(CREST),用于在观察文本中删除不相关的标记,以提高泛化能力。我们的方法首先使用Q学习训练基本模型,这通常会过度拟合训练游戏。基本模型的动作标记分布用于执行观察修剪,以移除不相关的标记。然后,第二自举模型在修剪的观察文本上重新训练。我们的自举代理在解决看不见的TextWorld游戏方面表现出改进的泛化能力,与以前的最先进方法相比,尽管需要较少的训练集,但使用的训练游戏减少了10 - 20倍。
2020-09-24 cs.CL cs.LG stat.ML
Online Learning in Unknown Markov Games
Massachusetts Institute of Technology(麻省理工学院);Princeton University(普林斯顿大学)
我们研究了未知马尔可夫博弈中的在线学习,这是一个在对手的行为不可观察的情景多智能体强化学习中出现的问题。我们表明,在这种具有挑战性的设置,实现次线性后悔对最佳对策事后诸葛亮是统计上很难。然后,我们考虑一个较弱的概念的遗憾与\emph{minimax value}的游戏,并提出了一个算法,实现了次线性$\tilde{\mathcal{O}}(K^{2/3})$遗憾后,$K$事件。这是未知马尔可夫博弈中在线学习的第一个次线性后悔界(据我们所知)。重要的是,我们的后悔界限与对手行动空间的大小无关。因此,即使对手的行为是完全可观察的,我们的遗憾界限也会改善现有的分析(例如,(Xie例如,2020年))的对手数量的指数因子。
2021-02-06 cs.LG stat.ML
On the Convergence of Monte Carlo UCB for Random-Length Episodic MDPs
SFSC of AI and DL, NYU Shanghai(纽约大学上海人工智能与深度学习科学与技术中心);New York University(纽约大学);New York University Shanghai(纽约大学上海分校);New York University Abu Dhabi(纽约大学阿布扎比分校)
本文研究随机长度回合制 MDP 中 MC-UCB 的 Q 函数收敛性,证明其对包含随机与确定性 MDP 的一大类环境及所有有限视界 MDP 几乎必然收敛到最优 Q 函数。
2025-03-17 cs.AI cs.LG
Gap-Dependent Bounds for Two-Player Markov Games
Yale University(耶鲁大学);Princeton University(普林斯顿大学);Northwestern University(西北大学);University of Washington(华盛顿大学)
Q学习作为强化学习领域最流行的方法之一,受到越来越多的关注。最近,有更多的理论工作的遗憾界的算法,属于Q-学习类在不同的设置。分析了2-玩家回合制随机马尔可夫博弈(2-TBSG)中Nash Q-学习算法的累积后悔问题,并给出了情景列表中第一个间隙依赖的对数上界.这个界限只在对数项上与理论下限相匹配。此外,我们将结论推广到无限时域的折扣博弈,并提出了一个类似的缺口依赖对数遗憾界。此外,在线性MDP假设下,我们得到了2-TBSG的另一个对数遗憾,在集中和独立的设置。
2021-07-01 cs.LG stat.ML
A Self-Play Posterior Sampling Algorithm for Zero-Sum Markov Games
The Hong Kong University of Science and Technology(香港科技大学);Peking University(北京大学);University of Virginia(弗吉尼亚大学);Google Research(谷歌研究院)
现有的研究证明有效的算法马尔可夫游戏(MG)几乎完全建立在“乐观面对不确定性”(OFU)的原则。这项工作的重点是后验采样的不同方法,这是庆祝在许多土匪和强化学习设置,但仍然是欠开发的MG。具体地说,对于情节两人零和MG,一种新的后验抽样算法的一般函数近似。理论分析表明,后验抽样算法对于低解耦系数的问题具有$\sqrt{T}$ -后悔界,这是一种新的MG复杂性度量,其中$T$表示事件的数量.当专门为线性MG,所获得的遗憾界匹配的国家的最先进的结果。据我们所知,这是第一个可证明有效的后验抽样算法的MG与频率后悔保证,这丰富了工具箱MG和促进广泛的适用性后验抽样。
2022-10-04 cs.AI cs.GT cs.LG
Model-Free Deep Reinforcement Learning in Software-Defined Networks
University of the Western Cape(西开普大学)
本文比较了两种用于软件定义网络中网络安全的深度强化学习方法。实现了深度Q网络的神经元情节控制,并与双深度Q网络进行了比较。这两个算法的实现类似于一个零和游戏的格式。一个双尾T-检验分析是在两个游戏的结果,包含了防御者获胜所需的回合数。另一个比较是对代理人在各自游戏中的游戏得分进行的。分析是为了确定哪种算法在游戏性能方面是最好的,以及它们之间是否存在显着差异,证明其中一种算法是否比另一种算法更受欢迎。结果发现,两种方法之间没有显著的统计学差异。
2022-09-03 cs.AI cs.NI
Interactive Inverse Reinforcement Learning for Cooperative Games
University of Oslo(奥斯陆大学);University of Neuchatel(纳沙泰尔大学);Chalmers University of Technology(查尔姆斯理工大学)
我们研究的问题,设计自主智能体,可以学习有效地与潜在的次优合作伙伴,而没有访问的联合奖励功能。这个问题被建模为一个合作的情节两代理马尔可夫决策过程。我们假设控制只有第一个的两个代理在Stackelberg制定的游戏,其中第二个代理的行为,以最大限度地提高预期效用的第一个代理的政策。第一个智能体应该如何行动,以尽快学习联合奖励函数,使联合策略尽可能接近最优?我们分析如何在这种交互式的两个代理的情况下,可以获得有关奖励函数的知识。我们表明,当学习代理的政策有显着的影响的过渡函数,奖励功能可以有效地学习。
2022-06-13 cs.GT cs.LG
Quantum Agents for Algorithmic Discovery
Quantum Signals(量子信号);IRIF-CNRS, Univ Paris-Cité(IRIF-CNRS、巴黎大学);Quantum Signals, Paris, France(量子信号、法国巴黎)
本文提出用基于奖励的强化学习训练的量子智能体,自主重新发现量子傅里叶变换、Grover搜索等关键量子算法与协议,展示量子智能在算法自动发现中的潜力。
2025-10-09 cs.AI cs.LG quant-ph
The Coordination Gap: Multi-Agent Alternation Metrics for Temporal Fairness in Repeated Games
Department of Applied Informatics, University of Macedonia, Egnatia 156, Thessaloniki 54636, Greece(马其顿大学应用信息学院,Egnatia 156,希腊塞萨洛尼基 54636)
本文提出Perfect Alternation作为参考协调模式,设计了六种交替度量指标,揭示传统度量在时间结构敏感性上的不足,表明高总体收益可能伴随差的协调性。
2026-07-27 cs.GT cs.LG cs.MA
Fast deep reinforcement learning using online adjustments from the past
DeepMind(深度思维)
我们提出了短暂值调整(EVA):一种允许深度强化学习代理快速适应重放缓冲区中的经验的方法。EVA移动由神经网络预测的值,其中价值函数的估计是通过对来自当前状态附近的重放缓冲器的经验元组进行规划而找到的。EVA结合了许多最近的想法,将情景记忆结构结合到强化学习代理中:基于槽的存储,基于内容的检索和基于记忆的规划。我们表明,EVA是一个演示任务和雅达利游戏的性能。
2018-10-18 cs.AI cs.LG
Near-Optimal Reinforcement Learning with Self-Play
Salesforce Research(Salesforce研究院);Princeton University(普林斯顿大学);MIT(麻省理工学院)
研究了二人零和博弈中强化学习的最优算法设计问题。我们专注于自我发挥算法,学习最优策略,通过发挥自己没有任何直接的监督。在具有$S$状态、$A$最大参与者行动和$B$最小参与者行动的表格式情景马尔可夫博弈中,当仅突出对$(S,A,B)$的依赖性时,找到近似纳什均衡的最佳现有算法需要$\tilde{\mathcal{O}}(S^2AB)$博弈步骤。相比之下,现有的最佳下限尺度为$Ω(S(A+B))$,并且与上限有显著的差距。本文关闭这一差距的第一次:我们提出了一个乐观的\emph{Nash Q-learning}算法的样本复杂度$\tilde{\mathcal{O}}(SAB)$的变体,和一个新的\emph{Nash V-learning}算法的样本复杂度$\tilde{\mathcal{O}}(S(A+B))$。后一个结果匹配的信息理论的下限,在所有的问题相关的参数,除了一个多项式因子的长度,每个情节。此外,我们提出了一个计算硬度的结果,学习最佳对策对一个固定的对手在马尔可夫游戏-学习目标不同,从寻找纳什均衡。
2020-07-14 cs.AI cs.LG stat.ML
Faster Last-iterate Convergence of Policy Optimization in Zero-Sum Markov Games
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Meta AI Research(Meta人工智能研究院)
多智能体强化学习(MARL)--多个智能体学习在共享的动态环境中进行交互--渗透到广泛的关键应用中。虽然在理解单智能体强化学习中策略优化方法的全局收敛性方面取得了实质性进展,但在MARL环境中设计和分析有效的策略优化算法提出了重大挑战,不幸的是,现有理论仍然高度不足。在本文中,我们专注于竞争性多智能体RL的最基本的设置,即两个玩家零和马尔可夫游戏,并研究在无限时域折扣设置和有限时域情节设置的均衡发现算法。我们提出了一个单循环的策略优化方法与对称更新从两个代理,其中的政策是通过熵正则化的乐观乘性权重更新(OMWU)的方法更新和更新的值在一个较慢的时间尺度。我们表明,在全信息表格设置中,所提出的方法实现了有限时间的最后一个线性收敛到正则化问题的量子响应平衡,这转化为一个次线性最后一个收敛到纳什均衡通过控制正则化量。我们的收敛结果提高了最知名的迭代复杂性,并导致更好地理解竞争性马尔可夫博弈中的策略优化。
2022-10-04 cs.AI cs.GT cs.LG
Independent Policy Gradient Methods for Competitive Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院)
我们获得了全局,非渐近收敛保证独立学习算法在竞争强化学习设置与两个代理(即,零和随机博弈)。我们考虑一个情节设置,在每一集中,每个玩家独立地选择一个策略,只观察自己的行为和奖励,以及状态。我们表明,如果两个球员运行策略梯度方法串联,他们的政策将收敛到最小-最大均衡的游戏,只要他们的学习率遵循两个时标规则(这是必要的)。据我们所知,这构成了第一个有限样本收敛的结果,独立的策略梯度方法在竞争性强化学习,以前的工作主要集中在集中,协调程序的平衡计算。
2021-01-11 cs.LG
AlphaSeq: Sequence Discovery with Deep Reinforcement Learning
The Chinese University of Hong Kong(香港中文大学)
序列在许多应用和系统中起着重要的作用。发现具有所需性质的序列长期以来一直是一个有趣的智力追求。本文提出了一种新的范式AlphaSeq,使用深度强化学习(DRL)技术通过算法发现期望的序列。AlphaSeq将序列发现问题视为情节符号填充游戏,其中玩家在游戏的情节中顺序地在序列集合的空位中填充符号。每一集都以一个完全填充的序列集结束,根据序列集的可取性给出奖励。AlphaSeq将游戏建模为马尔可夫决策过程(MDP),并采用AlphaGo的DRL框架来解决MDP。随着AlphaSeq从新手开始,通过许多游戏情节学习成为专家玩家,发现的序列逐渐改进。与传统的通过数学工具构建序列相比,AlphaSeq特别适用于数学分析难以解决的复杂目标问题。我们在两个应用中展示了AlphaSeq的搜索能力:1)AlphaSeq成功地重新发现了一组理想的互补码,可以在多载波CDMA系统中零强制所有潜在的干扰。2)AlphaSeq发现了新的序列,其信号干扰比是脉冲压缩雷达系统中失配滤波器估计器的三倍-以著名的勒让德序列为基准。
2019-08-08 cs.LG
Pareto Actor-Critic for Equilibrium Selection in Multi-Agent Reinforcement Learning
University of Edinburgh(爱丁堡大学)
针对多智能体强化学习易收敛到帕累托次优均衡的问题,提出Pareto-AC算法,利用无冲突博弈性质选择帕累托最优均衡,在多种博弈中优于七种现有算法,并扩展出可扩展的PACDCG。
2023-10-14 cs.LG cs.MA
Model Selection for Average Reward RL with Application to Utility Maximization in Repeated Games
University of Alberta(阿尔伯塔大学);Amii(Amii研究院)
针对平均奖励强化学习,提出在线模型选择算法MRBEAR,其额外代价随模型类数量线性增长,并应用于重复博弈中最大化学习者效用,遗憾界依赖于对手复杂度且对记忆限制的指数依赖不可避免。
2024-11-09 cs.GT cs.LG stat.ML
Terminal Prediction as an Auxiliary Task for Deep Reinforcement Learning
Borealis AI(Borealis人工智能研究院)
近年来,深度强化学习取得了巨大的成功,但仍然存在一些挑战,例如收敛到局部最优策略和样本效率低下。在本文中,我们提出了一种新的自监督辅助任务,即,终端预测(TP),估计时间接近终端状态的情节任务。直觉是帮助表示学习,让代理预测它是如何接近终端状态,同时学习其控制策略。虽然TP可以与多种算法集成,但本文重点介绍异步优势Actor-Critic(A3 C),并展示A3 C-TP的优点。我们广泛的评估包括:一套雅达利游戏,双足步行者域,以及最近提出的多代理Pommerman游戏的迷你版本。我们在Atari游戏和双足步行者域上的结果表明,A3 C-TP在大多数测试域中优于标准A3 C,在其他域中具有类似的性能。在Pommerman中,我们提出的方法在学习效率和收敛到更好的策略来对抗不同的对手方面都提供了显着的改进。
2019-07-24 cs.LG cs.MA stat.ML
SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire
Vector Institute(矢量研究所);Donders Institute for Brain, Cognition, and Behaviour(唐德斯脑、认知与行为研究所);Radboud University(拉德堡德大学)
SpireBench是首个提供完整《杀戮尖塔》游戏的长程战略基准,测试20个LLM发现其表现接近普通人类但远逊于专家,可定位智能体长程战略推理的失败原因。
2026-10-12 cs.AI cs.CL cs.LG
Networked Communication for Decentralised Agents in Mean-Field Games
Department of Computer Science(计算机科学系);University of Oxford(牛津大学)
本文提出一种网络通信机制,用于改进均场博弈中去中心化代理的训练效率,同时增强鲁棒性。
2025-12-22 cs.AI cs.LG cs.MA
Improving Sample Efficiency of Model-Free Algorithms for Zero-Sum Markov Games
The University of Florida(佛罗里达大学);UC Santa Barbara(加州大学圣巴巴拉分校);The Pennsylvania State University(宾夕法尼亚州立大学);The Ohio State University(俄亥俄州立大学)
本文提出一种无模型基于阶段的Q-learning算法,通过乐观-悲观参考值函数设计扩展方差缩减技术,首次使零和马尔可夫博弈的无模型算法达到与基于模型算法相同的最优样本复杂度。
2024-06-05 cs.AI cs.GT cs.LG
Adversarial Deep Reinforcement Learning for Cyber Security in Software Defined Networks
University of the Western Cape(西开普大学)
本文在SDN安全场景中比较DDQN与N2D,并通过白盒因果状态操纵攻击检验对抗训练对攻防智能体鲁棒性的影响。
2023-08-11 cs.AI cs.CR
Provably Efficient Generalized Lagrangian Policy Optimization for Safe Multi-Agent Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学);Meta;Yale University(耶鲁大学);Northwestern University(西北大学);University of Southern California(南加州大学)
本文针对带约束马尔可夫博弈中的在线安全多智能体强化学习问题,提出基于广义拉格朗日函数的上置信算法,首次实现遗憾与约束违反的次线性保证。
2023-05-31 cs.AI cs.LG cs.SY
Language-Driven Coordination and Learning in Multi-Agent Simulation Environments
本文提出 LLM-MARL 框架,将大语言模型集成到多智能体强化学习中,通过 Coordinator、Communicator 和 Memory 模块动态生成子目标、促进通信并支持情景回忆,显著提升了多游戏环境中的胜率、协调与泛化能力。
2025-11-03 cs.AI cs.LG cs.MA
Implicit Strategic Optimization: Rethinking Long-Horizon Decision-Making in Adversarial Poker Environments
Gradient
本文提出隐式策略优化(ISO)框架,通过预测战略环境和结合战略奖励模型与乐观学习规则,提升对抗性扑克环境中的长 horizon 决策性能。
2026-02-08 cs.AI cs.CL cs.LG
Never Give Up: Learning Directed Exploration Strategies
DeepMind(深度思维)
我们提出了一个强化学习代理,通过学习一系列有向探索策略来解决硬探索游戏。我们构建了一个基于情景记忆的内在奖励,使用k-最近邻居在代理的最近经验训练定向探索政策,从而鼓励代理反复访问其环境中的所有状态。自监督逆动力学模型用于训练最近邻查找的嵌入,使新颖信号偏向代理可以控制的方向。我们采用通用价值函数逼近器(UVFA)的框架,同时学习许多有向勘探政策与同一神经网络,不同的权衡之间的勘探和开采。通过使用相同的神经网络的不同程度的勘探/开采,转让证明从主要的探索性政策产生有效的剥削政策。所提出的方法可以与现代分布式RL代理一起运行,这些代理从在单独的环境实例上并行运行的许多参与者收集大量经验。我们的方法使基础代理在Atari-57套件中的所有硬探索中的性能加倍,同时在其余游戏中保持非常高的分数,获得1344.0%的人类标准化分数中位数。值得注意的是,该方法是第一个在陷阱游戏中实现非零奖励(平均得分为8,400)的算法!而无需使用演示或手工制作的功能。
2020-02-14 cs.LG stat.ML
Disturbing Reinforcement Learning Agents with Corrupted Rewards
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
强化学习(RL)算法最近在解决复杂游戏(如Atari或Starcraft)方面取得了成功,并在现实世界的应用中产生了巨大的影响,如网络安全或自动驾驶。在缺点方面,最近的工作已经表明RL算法的性能如何在奖励函数的软变化的影响下下降。然而,很少有工作已经做了如何敏感这些干扰取决于攻击的侵略性和学习探索策略。在本文中,我们建议填补这一空白,在文献中分析不同的攻击策略的奖励扰动的基础上的影响,并研究在学习器中的效果取决于其探索策略。为了解释所有的行为,我们选择了一个子类的MDP:情节,随机目标唯一的奖励MDP,特别是,一个可理解的网格域作为基准。在这个领域中,我们证明了平滑地制作对抗性奖励能够误导学习者,并且使用低探索概率值,学习到的策略对腐败奖励更鲁棒。最后,在所提出的学习场景中,出现了一个违反直觉的结果:在每个学习片段中攻击是成本最低的攻击策略。
2021-02-12 cs.AI cs.LG
Reinforcement Learning Algorithm Selection
Microsoft Research Maluuba(微软研究院 Maluuba);Orange Labs(Orange 实验室)
本文形式化了强化学习背景下的在线算法选择问题。设置如下所示:给定一个情节任务和有限数量的非策略RL算法,元算法必须决定在下一个情节期间哪个RL算法处于控制中,以便最大化预期回报。本文提出了一种新的元算法,称为时代随机强盗算法选择(ESBAS)。它的原理是在每个时期冻结策略更新,并留下一个重新启动的随机强盗负责算法选择。在一定的假设条件下,充分的理论分析表明,考虑到结构抽样预算的限制,它的近最优性。ESBAS首先在对话任务上进行经验评估,在大多数配置中,它表现出优于每个单独的算法。然后ESBAS适应真正的在线设置,算法在每次转换后更新其策略,我们称之为SSBAS。SSBAS的水果收集任务,它被证明是适应步长参数更有效地比经典的双曲衰减,并在雅达利游戏,它提高了性能的大幅提高。
2017-11-14 cs.AI cs.LG math.OC
Differentially Private Reinforcement Learning with Self-Play
UC Santa Barbara(加州大学圣巴巴拉分校)
该研究将联合与本地差分隐私定义扩展到两人零和马尔可夫博弈,提出基于乐观纳什值迭代的高效隐私强化学习算法,其遗憾界覆盖单智能体最优结果且无隐私时退化为多智能体最优水平,填补了多智能体轨迹级隐私研究空白。
2024-04-11 cs.AI cs.CR cs.LG
Rethinking the Discount Factor in Reinforcement Learning: A Decision Theoretic Approach
University of Toronto(多伦多大学);Vector Institute(Vector研究所)
传统上,强化学习(RL)代理的任务是最大化马尔可夫决策过程(MDP)的价值函数,无论是在连续设置中,使用固定的折扣因子$γ< 1$,还是在情节设置中,使用$γ= 1$。虽然这已被证明对具有明确定义的目标的特定任务有效(例如,游戏),但从未确定固定折扣适用于通用目的(例如,作为人类偏好的模型)。本文用一组七个公理刻画了序贯决策的合理性,并得到了一种推广传统固定折扣的折扣形式。特别是,我们的框架承认一个国家行动依赖的“折扣”的因素,不限于小于1,只要有最终的长期折扣。虽然这扩大了可能的偏好结构在连续设置的范围,我们发现,存在一个独特的“优化MDP”与固定的$γ< 1$,其最佳的价值函数匹配的最优政策的真正效用,我们量化的次优政策的价值和效用之间的差异。我们的工作可以被视为为Martha White的RL任务形式主义(2017年)和其他最近偏离传统RL的方法提供了规范性的理由,并且与RL,逆RL和基于偏好的RL中的任务规范有关。
2019-02-08 cs.AI cs.LG
CODEX: A Cluster-Based Method for Explainable Reinforcement Learning
Assured Information Security, Inc.(安信信息安全公司);Georgia Tech Research Institute(佐治亚理工学院研究院);Air Force Research Laboratory(美国空军研究实验室)
针对强化学习智能体动作难以解释、难以获得用户信任的问题,本文提出CODEX方法,用语义聚类总结状态-动作空间中的智能体行为,并在MiniGrid和StarCraft II中验证其可保留时间、实体及关键事件信息。
2023-12-07 cs.LG
Rapid Task-Solving in Novel Environments
DeepMind
我们提出了在新环境中快速解决任务的挑战(RTS),其中代理必须在一个不熟悉的环境中尽可能快地解决一系列任务。一个有效的RTS智能体必须在探索不熟悉的环境和解决当前任务之间取得平衡,同时建立一个新环境的模型,以便在面临后续任务时进行规划。虽然现代深度RL代理孤立地展示了其中的一些能力,但没有一个适合完整的RTS挑战。为了实现RTS的进展,我们引入了两个挑战领域:(1)称为内存和规划游戏的最小RTS挑战和(2)One-Shot StreetLearn Navigation,它从真实世界的数据中引入了规模和复杂性。我们证明了最先进的深度RL代理在这两个领域的RTS中失败,并且这种失败是由于无法计划收集的知识。我们开发了情节规划网络(EPNs),并表明具有EPNs的深度RL代理在RTS方面表现出色,表现优于最近的基线2-3倍,并学习在单集内导航StreetLearn地图。我们表明,EPN学习执行一个价值迭代式的规划算法,他们推广到超出他们的训练经验的情况。算法,并将其推广到超出其培训经验的情况。
2021-04-19 cs.AI cs.LG cs.NE
Reflexion: Language Agents with Verbal Reinforcement Learning
Northeastern University(东北大学);Massachusetts Institute of Technology(麻省理工学院);Princeton University(普林斯顿大学)
Reflexion框架通过语言反馈而非权重更新强化语言智能体,利用口头反思和情节记忆提升决策,在HumanEval上达到91%准确率,超越GPT-4的80%。
2023-10-10 cs.AI cs.CL cs.LG
Actions Speak What You Want: Provably Sample-Efficient Reinforcement Learning of the Quantal Stackelberg Equilibrium from Strategic Feedbacks
Yale University(耶鲁大学);Princeton University(普林斯顿大学)
研究在回合制马尔可夫博弈中学习 Quantal Stackelberg Equilibrium 的强化学习问题,提出基于最大似然估计和无模型/基于模型 RL 的样本高效算法,并证明其次线性遗憾上界及计算高效性。
2023-07-26 cs.AI cs.LG math.ST
Stochastic Principal-Agent Problems: Efficient Computation and Learning
University of Oxford(牛津大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);University of Warwick(华威大学)
本文提出随机委托-代理模型,针对通用问题难解的特点,在事后可观测条件下基于可诱导值集提出高效近似算法,并设计了未知转移概率下的强化学习算法,实现次线性遗憾保证。
2024-09-12 cs.GT cs.LG cs.MA
Memory Gym: Towards Endless Tasks to Benchmark Memory Capabilities of Agents
TU Dortmund University(多特蒙德工业大学);Rhine-Waal University of Applied Sciences(莱茵瓦尔应用科学大学);Universiteit Leiden(莱顿大学)
Memory Gym提出无尽任务环境套件,基准测试智能体记忆能力,并引入集成Transformer-XL与PPO的基线,发现GRU在无尽任务中显著优于TrXL。
2025-01-21 cs.LG
V-Learning -- A Simple, Efficient, Decentralized Algorithm for Multiagent RL
Princeton University(普林斯顿大学);MIT(麻省理工学院)
多智能体强化学习(MARL)的一个主要挑战是多智能体的诅咒,其中联合动作空间的大小与智能体的数量呈指数级增长。这仍然是一个瓶颈,设计有效的MARL算法,即使在一个基本的情况下,许多国家和行动。本文解决了这一挑战的情景马尔可夫博弈模型。我们设计了一类新的完全分散的算法-V-学习,它可证明学习纳什均衡(在两个玩家零和设置),相关均衡和粗相关均衡(在多人一般和设置)在一些样本,只有规模与$\max_{i\in[m]} A_i$,其中$A_i$是行动的数量为$i^{\rm th}$球员。这与关节动作空间的大小($\prod_{i=1}^m A_i$)形成鲜明对比。V-学习(其基本形式)是一类新的单智能体RL算法,它将任何具有适当后悔保证的对抗性强盗算法转换为RL算法。与经典的Q-学习算法类似,它对价值函数执行增量更新。与Q学习不同,它只保持V值的估计而不是Q值。这一关键区别允许V-learning通过简单地让所有代理独立运行V-learning来实现MARL设置中声称的保证。
2021-10-27 cs.AI cs.GT cs.LG
Provably Efficient Model-free RL in Leader-Follower MDP with Linear Function Approximation
The Ohio State University(俄亥俄州立大学)
我们考虑一个多代理的情节MDP设置代理(领导者)采取行动,在每一步的情节,其次是另一个代理(追随者)。状态演化和奖励依赖于领导者和跟随者的联合行动对。这种类型的交互可以在诸如智能电网、机制设计、安全和政策制定等许多领域中找到应用。我们感兴趣的是如何学习政策的球员与可证明的性能保证下的强盗反馈设置。我们专注于领导者和追随者都是{ \em非近视}的设置,即,他们都寻求在整个事件上最大化他们的回报,并考虑线性MDP,其可以对连续状态空间建模,这在许多RL应用中非常常见。我们提出了一个{ \em无模型} RL算法,并表明,$\tilde{\mathcal{O}}(\sqrt{d^3H^3T})$遗憾界可以实现的领导者和追随者,其中$d$是特征映射的维度,$H$是情节的长度,和$T$是下的总步骤数的强盗反馈信息设置。因此,我们的结果甚至在状态数变为无穷大时也成立。该算法依赖于LSVI-UCB算法的{ \em novel}适应。具体来说,我们将标准的贪婪策略(作为最佳对策)替换为领导者和追随者的软最大策略。这是建立价值函数的统一浓度界限的关键。据我们所知,这是第一次线性遗憾界保证的马尔可夫游戏与非近视的追随者与函数逼近。
2022-12-15 cs.GT cs.LG cs.MA
Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Northwestern Polytechnical University(西北工业大学);Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd(中国电信人工智能研究院(TeleAI))
本文基于信息导向采样原理提出MAIDS、Reg-MAIDS和Compressed-MAIDS三种多智能体强化学习算法,在双人零和及多人一般和马尔可夫博弈中实现样本高效的均衡学习。
2024-04-30 cs.IT cs.LG cs.MA
On the Convergence and Stability of Upside-Down Reinforcement Learning, Goal-Conditioned Supervised Learning, and Online Decision Transformers
Dalle Molle Institute for Artificial Intelligence (IDSIA) - USI/SUPSI(达摩信息技术研究所(IDSIA)- USI/SUPSI);Center of Excellence for Generative AI, King Abdullah University of Science and Technology(生成人工智能卓越中心,国王阿卜杜勒阿齐兹大学科学与技术学院);NNAISENSE
本文严格分析了倒序强化学习、目标条件监督学习及在线决策Transformer的收敛性与稳定性,在广泛范式下奠定理论基础,证明转移核在确定性核小邻域内可实现近最优行为,并给出明确估计。
2025-11-11 cs.AI cs.LG cs.NE