Approximating Energy Market Clearing and Bidding With Model-Based Reinforcement Learning
University of Oldenburg（奥尔登堡大学）
本文提出用学习到的OPF近似模型替代显式最优潮流计算，结合显式市场规则加速多智能体强化学习在能量市场仿真中的训练，在性能略降的情况下将训练时间减少约一个数量级。
2023-11-01 cs.AI cs.LG cs.SY
Approximating Gradients for Differentiable Quality Diversity in Reinforcement Learning
University of Southern California（南加州大学）；New York University（纽约大学）
考虑一下训练具有强大能力的代理人的问题。一种方法是生成代理策略的多样化集合。训练可以被视为一个质量多样性（QD）优化问题，在这里我们搜索一组在量化行为方面不同的性能策略。最近的工作表明，可微质量多样性（DQD）算法大大加快QD优化时，精确的梯度。然而，代理策略通常假设环境是不可区分的。为了将DQD算法应用于训练代理策略，我们必须近似性能和行为的梯度。我们提出了当前最先进的DQD算法的两个变体，它们通过强化学习（RL）中常见的近似方法计算梯度。我们评估我们的方法对四个模拟运动任务。一种变体在结合QD和RL方面实现了与当前最先进的结果相当的结果，而另一种变体在两个运动任务中执行重复。这些结果深入了解了当前DQD算法在必须近似梯度的领域中的局限性。源代码可在https://github.com/icaros-usc/dqd-rl上获得
2022-04-15 cs.AI cs.LG cs.NE
Approximating a deep reinforcement learning docking agent using linear model trees
Norwegian University of Science and Technology（挪威科技大学）；TrønderEnergi（特伦德拉格能源公司）
深度强化学习在机器人领域取得了许多显著的成果。然而，深度神经网络（DNN）是不直观的，这使得人们很难理解它们的预测，并由于经济，安全和保证的原因，极大地限制了它们在现实世界中的应用潜力。为了解决这个问题，已经提出了许多可解释的人工智能方法，例如SHAP和LIME，但这些方法要么成本太高，无法用于实时机器人应用，要么只能提供本地解释。在本文中，主要的贡献是使用线性模型树（LMT）近似DNN策略，最初通过近端策略优化（PPO）训练，为自主水面车辆进行对接操作的五个控制输入。所提出的方法的两个主要优点是：a）LMT是透明的，这使得可以直接将输出（在我们的情况下，控制动作）与输入特征的特定值相关联，b）LMT在计算上是高效的，并且可以实时提供信息。在我们的模拟中，不透明的DNN策略控制车辆，LMT并行运行，以特征属性的形式提供解释。我们的研究结果表明，LMT可以成为自主船舶数字保证框架中的一个有用组成部分。
2022-03-01 cs.LG cs.RO
Adaptive Bases for Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑了使用函数逼近的强化学习问题，其中逼近基可以在与环境交互时动态地改变。这种方法的动机是最大化价值函数对所面临问题的适应性。三个错误被认为是：近似平方误差，贝尔曼残差，投影贝尔曼残差。提出了行动者-批评者框架下的算法，并证明其收敛。这种自适应的基础上的优势，在模拟中证明。
2010-05-02 cs.AI cs.LG
Partner Approximating Learners (PAL): Simulation-Accelerated Learning with Explicit Partner Modeling in Multi-Agent Domains
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Institute of Control Systems (IRS)（控制系统研究所 (IRS)）
混合的合作-竞争控制场景，如人机交互与交互伙伴的个人目标是非常具有挑战性的强化学习代理。为了有助于直观的人机协作，我们专注于连续状态和控制域中的问题，其中没有明确的通信被认为是和代理不知道别人的目标或控制律，但只感觉到他们的控制输入回顾。我们提出的框架结合了一个学习的合作伙伴模型的基础上，在线数据与强化学习代理，在模拟环境中训练，包括合作伙伴模型。因此，我们克服了独立学习器的缺点，此外，还受益于强化学习所需的真实世界数据量的减少，这在人机环境中至关重要。我们最后分析了一个例子，证明了我们提出的框架的优点，它学习速度快，由于模拟环境和适应不断变化的合作伙伴，由于合作伙伴近似。
2020-03-02 cs.AI cs.LG cs.MA
Connections between Relational Event Model and Inverse Reinforcement Learning for Characterizing Group Interaction Sequences
University of Texas at Austin（得克萨斯大学奥斯汀分校）
在本文中，我们探讨了以前未识别的连接关系事件模型（REM）从网络科学领域和反向强化学习（IRL）从机器学习领域的能力，以表征序列的有向社会互动事件组设置。REM是一种传统的方法来解决这样的问题，而IRL的应用是一个很大程度上unbeaten path.We开始检查REM和IRL的数学组件，并找到两种方法之间的直接类比，以及IRL方法的独特之处。我们展示了特殊的实用程序IRL在表征群体的社会互动与实证实验，在其中，我们使用IRL推断个人的行为偏好的基础上，从一组虚拟现实游戏玩家互动和合作，以实现一个共同的目标的定向通信事件的序列。我们的比较和实验为社会行为分析引入了新的视角，并有助于激发社会网络分析和机器学习之间联系的新研究机会。
2020-10-19 cs.LG cs.SI
Q* Approximation Schemes for Batch Reinforcement Learning: A Theoretical Comparison
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们证明了两个算法的性能保证近似$Q^\star$在批量强化学习。与经典的迭代法相比，如拟合Q迭代-其性能损失引起对水平的二次依赖-这些方法估计（某些形式的）贝尔曼误差并享受线性水平误差传播，这是第一次为仅依赖于批量数据和输出稳定策略的算法建立的属性。其中一个算法使用了一个新的和明确的重要性加权校正，以克服臭名昭著的“双采样”困难贝尔曼误差估计，并不使用任何平方损失。我们的分析揭示了它的显着特点和潜在的优势相比，经典的算法。
2020-08-24 cs.AI cs.LG stat.ML
Baconian: A Unified Open-source Framework for Model-Based Reinforcement Learning
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）
基于模型的强化学习（MBRL）是强化学习（RL）算法中的一种，它通过对系统动态特性进行建模和逼近，提高了采样效率。它已被广泛应用于机器人技术，自动驾驶等研究，尽管它的普及，仍然缺乏一些复杂的和可重用的开源框架，以促进MBRL的研究和实验。为了填补这一空白，我们开发了一个灵活的和模块化的框架，Baconian，它允许研究人员通过自定义或构建我们提供的模块和算法来轻松实现MBRL测试平台。我们的框架可以使用户从零开始重新实现流行的MBRL算法，从而大大节省了用户的MBRL实验的努力。
2021-03-16 cs.AI cs.LG stat.ML
Characterizing Attacks on Deep Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；NVIDIA（英伟达）；ASU（亚利桑那州立大学）；Alibaba（阿里巴巴）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；JD AI Research（京东人工智能研究院）；Xi’an Jiao Tong University（西安交通大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
最近的研究表明，深度强化学习（DRL）模型容易受到对抗攻击的攻击，这种攻击通过向观察值添加小扰动来攻击DRL模型。然而，有些攻击假设受害者模型完全可用，有些攻击需要大量的计算，这使得它们在现实世界的应用中不太可行。在这项工作中，我们通过研究其他方面的攻击DRL使用现实和有效的攻击DRL的脆弱性作了进一步的探索。首先，当我们无法访问DRL模型参数时，我们适应并提出有效的黑盒攻击。其次，为了解决现有攻击的高计算需求，我们引入了高效的在线顺序攻击，利用连续步骤的时间一致性。第三，我们探讨了攻击者扰乱DRL设置中其他方面的可能性，例如环境动态。最后，考虑到攻击者如何在物理世界中注入扰动的不完美性，我们设计了一种用于生成要打印的鲁棒物理扰动的方法。在各种条件下，对真实世界的机器人进行了攻击评估。我们在Atari游戏，机器人和自动驾驶等模拟以及现实世界的机器人技术中进行了广泛的实验，以比较所提出的攻击与基线方法的有效性。据我们所知，我们是第一个将对DRL系统的对抗攻击应用于物理机器人的公司。
2022-02-16 cs.AI cs.CR cs.LG
Approximating Euclidean by Imprecise Markov Decision Processes
Aalborg University（奥尔堡大学）
欧几里德马尔可夫决策过程是一个强大的工具，建模控制问题的不确定性下连续域。有限状态不精确，马尔可夫决策过程可以用来近似这些无限模型的行为。在本文中，我们解决两个问题：第一，我们调查什么样的近似保证时，欧几里德过程近似的有限状态近似引起的连续状态空间越来越精细的分区。我们表明，在有限的时间范围内的成本函数的近似变得任意精确。其次，我们使用不精确的马尔可夫决策过程近似作为工具来分析和验证成本函数和策略得到的强化学习。我们发现，一方面，我们的新的理论结果验证了以前提出的强化学习方法的基本设计选择。另一方面，不精确的马尔可夫决策过程近似揭示了学习成本函数中的一些不准确性。
2020-06-26 cs.AI
MARLeME: A Multi-Agent Reinforcement Learning Model Extraction Library
University of Cambridge（剑桥大学）
多智能体强化学习（MARL）包含了一类功能强大的方法，已被应用于广泛的领域。进一步增强这些方法的有效方法是开发可以扩展其可解释性和可解释性的库和工具。在这项工作中，我们介绍MARLeME：一个MARL模型提取库，旨在提高MARL系统的可解释性，通过近似它们与符号模型。符号模型提供了高度的可解释性、定义良好的属性和可验证的行为。因此，它们可以用于检查和更好地理解底层MARL系统和相应的MARL代理，以及替换所有/一些特别安全和安全关键的代理。
2020-04-16 cs.AI cs.LG stat.ML
DROGO: Default Representation Objective via Graph Optimization in Reinforcement Learning
Department of Computing Science, University of Alberta（阿尔伯塔大学计算机科学系）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔人工智能研究所）；Canada CIFAR AI Chair（加拿大 CIFAR 人工智能主席）
DROGO通过图优化在强化学习中直接近似默认表示的主特征向量，用于奖励塑造和多种应用。
2026-01-30 cs.LG
Inverse Reinforcement Learning with Switching Rewards and History Dependency for Characterizing Animal Behaviors
Georgia Institute of Technology, Atlanta, GA, USA（佐治亚理工学院）；Emory University, Atlanta, GA, USA（埃默里大学）
提出SWIRL框架，通过结合时变和历史依赖的奖励函数，将长行为序列建模为短期决策过程间的转换，有效捕捉动物基于历史的复杂长期决策行为。
2025-07-15 cs.AI cs.LG
Information-Theoretic Confidence Bounds for Reinforcement Learning
Stanford University（斯坦福大学）
我们将信息理论的概念整合到乐观算法和汤普森采样的设计和分析中。通过信息理论的数量和置信区间之间的连接，我们得到的结果，每一个时期的代理性能与其有关的环境的信息增益，从而明确表征的探索开发权衡。由此产生的累积遗憾界取决于代理人的不确定性的环境和量化的先验信息的价值。我们展示了这种方法在几种环境中的适用性，包括线性土匪，表格MDPs和因子MDPs。这些例子证明了一个通用的信息理论方法的设计和分析的强化学习算法的潜力。
2019-11-21 cs.AI cs.LG stat.ML
Characterizing Speed Performance of Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）；DEVCOM Army Research Lab（DEVCOM陆军研究实验室）
本文从加速视角提出MARL算法分类法，并在同构多核CPU平台上系统分析了MADDPG、ToM2C和NeurComm三种基准算法的性能瓶颈，论证了将延迟有界吞吐量作为关键性能指标的必要性。
2023-09-13 cs.AI cs.LG cs.MA
Characterizing Replay Retention Under Dynamics Shift in Model-Based Reinforcement Learning
Brown University（布朗大学）
本研究刻画了基于模型的强化学习中动力学变化下回放保留的权衡，提出变化幅度和年龄-陈旧度AUC两个量，并验证了回放策略选择依赖于变化幅度与动力学演化方式。
2026-09-17 cs.LG cs.RO
Optimal Dynamic Regret by Transformers for Non-Stationary Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN AIP（日本科学技术厅AIP）
本研究证明Transformer在非平稳强化学习中可实现近乎最优的动态遗憾界，并实验验证其能匹配或超越现有专家算法。
2025-10-23 cs.LG stat.ML
Near-Minimax-Optimal Distributional Reinforcement Learning with a Generative Model
Google DeepMind（谷歌DeepMind）；FAIR, Meta（Meta FAIR）
本研究提出一种基于生成式模型的分布强化学习新算法，证明其近似回报分布时达近极小极大最优，解决了开放问题，还提出新的分布贝尔曼方程并通过实验对比给出实用结论。
2024-11-04 cs.LG stat.ML
Conjugated Discrete Distributions for Distributional Reinforcement Learning
Department of Mathematics, Linnæus University（林奈大学数学系）
在这项工作中，我们继续建立在有限马尔可夫过程的强化学习的最新进展。在以前的现有算法中，无论是单演员还是分布式算法，一种常见的方法是剪辑奖励或在Q函数上应用变换方法来处理实际贴现收益中的各种幅度。我们从理论上表明，最成功的方法之一可能不会产生最优的政策，如果我们有一个非确定性的过程。作为一种解决方案，我们认为分布式强化学习有助于完全纠正这种情况。通过引入一个共轭分布算子，我们可以处理一个大类的变换，保证理论收敛的实际回报。我们提出了一个近似的单演员算法的基础上，该运营商的训练代理直接使用适当的分配度量的Cramér距离不变的奖励。为了评估其性能在随机设置，我们训练代理商在一套55雅达利2600游戏使用粘性行动，并获得国家的最先进的性能相比，其他知名的算法在多巴胺框架。
2021-12-14 cs.AI cs.LG stat.ML
Adapting the Function Approximation Architecture in Online Reinforcement Learning
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维）
强化学习（RL）系统的性能取决于用于近似价值函数的计算架构。深度学习方法提供了优化技术和架构，用于从嘈杂的高维观测中近似非线性函数。然而，流行的优化技术并不是为严格的增量在线更新而设计的。标准架构也不是为先验未知结构的观测而设计的：例如，光传感器随机分散在空间中。本文提出了一种在线RL预测算法与自适应架构，有效地发现有用的非线性功能。该算法是在一个空间域与高维，随机观测进行评估。该算法优于非自适应基线架构，并接近给定边信道信息的架构的性能。这些结果是一个可扩展的RL算法更一般的问题，其中的观察结构是不可用的一步。
2021-06-17 cs.AI cs.LG
Approximating meta-heuristics with homotopic recurrent neural networks
Cortexica Vision Systems Ltd.（Cortexica视觉系统有限公司）；Imperial College London（伦敦帝国理工学院）
许多组合优化问题构成非多项式（NP）硬优化问题，即，它们不能在多项式时间内解决。一个这样的问题是找到图上两个节点之间的最短路径。元启发式算法，如$A^{*}$与混合整数规划（MIP）的方法，经常采用这些问题。我们的工作表明，使用深度递归神经网络来近似由元启发式算法生成的解决方案是可能的。我们比较了基于强化学习（RL）和循环神经网络（RNN）的不同方法，以衡量各自的近似质量。我们在一个有超过300个节点的图上展示了递归神经网络解决方案的可行性，并认为序列到序列网络而不是其他递归网络提高了近似质量。此外，我们认为同伦延续-增加了达到极值的机会-进一步提高了由香草RNN生成的估计。
2017-09-07 cs.DM cs.LG stat.ML
Free energy-based reinforcement learning using a quantum processor
QBit（1QBit）；The University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙菲莎大学）
最近的理论和实验结果表明，在具有挑战性的采样任务中使用当前和不久的将来的量子硬件的可能性。在本文中，我们介绍了基于自由能的强化学习（FERL）作为量子硬件的应用。我们提出了一种方法来处理量子退火机的测量量子位自旋配置近似量子玻尔兹曼机（QBM）的自由能。然后，我们应用这种方法来执行强化学习的网格世界的问题，使用D-Wave 2000 Q量子退火。实验结果表明，我们的技术是一种很有前途的方法，利用量子采样的权力在强化学习任务。
2017-05-29 cs.AI cs.LG cs.NE
Adversarial Reinforcement Learning for Observer Design in Autonomous Systems under Cyber Attacks
The Ohio State University（俄亥俄州立大学）
复杂的自主控制系统会受到传感器故障、网络攻击、传感器噪声、通信信道故障等的影响，这些都会在测量中引入误差。损坏的信息，如果用于决策，可能会导致性能下降。我们开发了一个框架，用于使用对抗性深度强化学习来设计对信息通道中的对抗性错误具有鲁棒性的观察者策略。我们进一步通过仿真研究表明，学习的观察策略表现得非常好，当对手的注入错误在某种意义上是有界的。我们在我们的研究中使用神经网络作为函数逼近器，并理解任何其他合适的函数逼近类都可以在我们的框架内使用。
2018-09-15 cs.CR cs.LG math.OC
Quantile Constrained Reinforcement Learning: A Reinforcement Learning Framework Constraining Outage Probability
KAIST（韩国科学技术院）
约束强化学习（Reinforcement Learning，RL）是强化学习的一个分支，其目标是在满足给定约束的前提下，找到一个最大化期望累积收益的最优策略。以往的约束强化学习算法大多将期望累积和成本作为约束条件。然而，具有该约束的优化不能保证累积和成本超过给定阈值的中断事件的目标概率。本文提出了一个框架，名为分位数约束RL（QCRL），限制的分位数的分布的累积和成本，这是一个必要和充分条件，以满足中断约束。这是第一个工作，解决的问题，适用于分位数的策略梯度定理，并提供了近似梯度的分位数的理论结果。在此基础上，利用拉格朗日乘子技术，构造了一种分位数约束策略优化算法（QCPO）。我们使用分布强化学习与大偏差原则（LDP）估计分位数和尾部概率的累积和成本的实施QCPO。所实现的算法在训练期后满足中断概率约束。
2022-11-28 cs.AI cs.LG
Characterizing optimal hierarchical policy inference on graphs via non-equilibrium thermodynamics
Computational and Biological Learning Lab, University of Cambridge（计算与生物学习实验室，剑桥大学）
本文提出一种基于图的非平衡热力学方法，用于构建和推断最优分层策略，解决状态空间在不同空间分辨率下的层次结构构建问题。
2017-12-29 cs.AI cs.SY eess.SY
Shallow Updates for Deep Reinforcement Learning
The Technion - Israel Institute of Technology（以色列理工学院）；UC Berkeley（加州大学伯克利分校）
深度强化学习（DRL）方法，如深度Q网络（DQN），已经在各种具有挑战性的高维领域取得了最先进的成果。这一成功主要归功于深度神经网络学习丰富的域表示以近似价值函数或策略的能力。另一方面，具有线性表示的批量强化学习方法更稳定，并且需要更少的超参数调整。然而，大量的特征工程是必要的，以达到良好的效果。在这项工作中，我们提出了一种混合方法-最小二乘深度Q网络（LS-DQN），它将DRL算法学习的丰富特征表示与线性最小二乘方法的稳定性相结合。我们通过定期重新训练DRL网络的最后一个隐藏层来实现这一点，并进行批量最小二乘更新。我们方法的关键是最小二乘更新的贝叶斯正则化项，这可以防止对最近数据的过度拟合。我们在五款Atari游戏上测试了LS-DQN，并展示了比vanilla DQN和Double-DQN显著的改进。我们还研究了我们的方法的优越性能的原因。有趣的是，我们发现性能的提高可以归因于LS方法在优化最后一层时使用的大批量。
2017-11-02 cs.AI cs.LG stat.ML
Deep Reinforcement Learning in Parameterized Action Space
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文首次将深度强化学习成功扩展到参数化动作空间MDP，通过在模拟RoboCup足球中学习离散动作类型与连续参数的联合策略，使智能体进球可靠性超过2012年RoboCup冠军。
2024-05-03 cs.AI cs.LG cs.MA
A Deep Reinforcement Learning Architecture for Multi-stage Optimal Control
Johns Hopkins University（约翰斯·霍普金斯大学）
用于高维、分层控制任务的深度强化学习通常需要使用复杂的神经网络作为函数逼近器，这可能导致训练过程中的效率低下、不稳定甚至发散。在这里，我们介绍了堆栈式深度Q学习（SDQL），这是一种灵活的模块化深度强化学习架构，可以以稳定有效的方式找到由多个线性阶段组成的控制任务的最优控制策略。SDQL利用线性阶段结构，通过沿着标记整个任务的阶段进度的轴堆叠的深度Q子网络的集合来近似Q函数。通过将学习到的状态值从后面的阶段反向传播到前面的阶段，所有子网络共同适应以最大化整个任务的总回报，尽管每个子网络负责学习其自己的阶段的最优控制策略。这种模块化的架构在环境和策略建模方面提供了相当大的灵活性，因为它允许为每个阶段选择不同的状态空间，动作空间，奖励结构和Q网络。此外，SDQL的后向阶段式训练过程可以为训练过程提供额外的透明度，稳定性和灵活性，从而促进模型微调和超参数搜索。我们证明了SDQL能够学习具有高维状态空间，异构动作空间（离散和连续），多尺度，稀疏和延迟奖励特征的问题的竞争策略。
2019-11-25 cs.AI cs.LG stat.ML
State Action Separable Reinforcement Learning
Imperial College London（帝国理工学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Yale University（耶鲁大学）
近年来，基于强化学习（RL）的方法在解决一系列决策和控制问题方面取得了巨大的成功。对于传统的RL公式，马尔可夫决策过程（MDP）和状态-动作-价值函数是问题建模和策略评估的基础。然而，仍然存在一些具有挑战性的问题。在大多数被引用的问题中，状态/动作空间的一致性是导致在精确地近似状态-动作-价值函数时效率低下的重要因素。我们观察到，虽然行动直接定义代理的行为，对于许多问题的下一个状态后，状态转换的问题比采取的行动，在确定这样的状态转换的回报。在这方面，我们提出了一种新的学习范式，状态动作分离的强化学习（sasRL），其中的动作空间是从价值函数学习过程中解耦，以提高效率。然后，一个轻量级的过渡模型学习，以帮助代理确定的动作，触发相关的状态转换。此外，我们的收敛性分析表明，在一定的条件下，sasRL的收敛时间是$O(T^{1/k})$，其中$T$是收敛时间更新的价值函数在基于MDP的配方和$k$是一个加权因子。多个游戏场景的实验表明，sasRL的性能比最先进的基于MDP的RL算法高出高达$75\%$。
2020-06-05 cs.AI cs.LG stat.ML
Online reinforcement learning with sparse rewards through an active inference capsule
Delft University of Technology（代尔夫特理工大学）；MRC Brain Network Dynamics Unit（医学研究委员会脑网络动力学组）；University of Oxford（牛津大学）
智能代理必须在复杂的环境中追求他们的目标，部分信息和有限的计算能力。强化学习方法已经通过创建优化工程奖励函数的代理而取得了巨大的成功，但是这些代理通常难以在稀疏奖励环境中学习，通常需要许多环境交互才能良好地执行，并且通常在计算上非常昂贵。主动推理是一种基于模型的方法，它指导代理探索不确定的状态，同时坚持其目标行为的先验模型。本文介绍了一种主动推理代理，它使预期未来的新自由能最小化。我们的模型是能够解决稀疏回报问题，由于其目标函数，鼓励直接探索不确定的状态，具有非常高的样本效率。此外，我们的模型在计算上非常轻，可以以完全在线的方式操作，同时实现与离线RL方法相当的性能。我们通过解决山地车问题展示了我们模型的能力，在那里我们展示了其优越的探索特性和对观测噪声的鲁棒性，这实际上提高了性能。我们还介绍了一种新的方法近似先验模型的奖励函数，简化了复杂的目标的表达，并提高了性能比以前的主动推理方法。
2021-06-04 cs.AI cs.LG stat.ML
Distributional reinforcement learning with linear function approximation
Google Brain（谷歌大脑（Google Brain））
尽管有许多算法的进步，我们对实际的分布式强化学习方法的理论理解仍然有限。一个例外是Rowland等人（2018）在Cramér距离方面对C51算法的分析，但他们的结果仅适用于表格设置，忽略了C51使用softmax来生成归一化分布。在本文中，我们适应Cramér距离来处理任意向量。从它，我们得到一个新的分布式算法，这是完全基于Cramér的，可以结合到线性函数近似，在政策评估的背景下，正式保证。在允许模型的预测是任何真实的向量，我们失去了方法背后的概率解释，但在其他方面保持了分布式方法的吸引力。据我们所知，我们是第一个证明的收敛性的分布式算法结合函数逼近。也许令人惊讶的是，我们的研究结果提供的证据表明，Cramér为基础的分布方法可能比直接近似的价值函数。
2019-02-08 cs.LG stat.ML
Polynomial-Time Approximability of Constrained Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究针对一般约束马尔可夫决策过程，设计了多项式时间（0，ε）-加性双准则近似算法，首次证明机会约束等四类设置的多项式时间可近似性，且近似保证在P≠NP时最优。
2025-02-11 cs.AI cs.DS cs.LG
Boosting Offline Reinforcement Learning with Residual Generative Modeling
Tencent AI Lab（腾讯人工智能实验室）；The Pennsylvania State University（宾夕法尼亚州立大学）
离线强化学习（RL）试图在没有在线探索的情况下利用记录的离线经验来学习接近最优的策略。当前离线RL研究包括：1）生成建模，即，使用固定数据近似策略;以及2）学习状态-动作价值函数。虽然大多数研究集中在状态-动作函数部分，通过减少由训练数据的分布偏移引起的价值函数近似的自举误差，但生成建模中的误差传播的影响被忽略了。本文对创成式建模中的误差进行了分析。我们提出了AQL（动作条件Q学习），一个剩余生成模型，以减少离线RL的策略近似误差。我们表明，我们的方法可以在不同的基准数据集中学习更准确的策略近似。此外，我们提出的离线RL方法可以学习更多的竞争力人工智能智能体在复杂的控制任务下的多人在线战斗竞技场（MOBA）游戏王者荣耀。
2021-06-22 cs.AI cs.LG
Approximating Human Preferences Using a Multi-Judge Learned System
BAISH | UBA | Apart Research（BAISH | UBA | Apart研究）；University of São Paulo（圣保罗大学）；Apart Research（Apart研究）；Dovetail Research | Apart Research（Dovetail研究 | Apart研究）
本文提出一种通过学习聚合多个基于评估标准的评判器输出来建模多样化角色偏好的框架，包含基于角色的偏好标签合成方法及GAM和MLP两种聚合器实现，有效推进了RLHF奖励模型和模型路由系统等应用。
2025-10-29 cs.AI cs.CL cs.LG
Disentangling Epistemic and Aleatoric Uncertainty in Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）；Stanford University（斯坦福大学）；Stanford Intelligent Systems Laboratory（斯坦福智能系统实验室）
表征预测奖励的任意性和认知不确定性有助于构建可靠的强化学习（RL）系统。随机不确定性是由不可约的环境随机性导致的，它导致了固有的风险状态和行为。认知的不确定性是由于在学习过程中积累的有限信息而导致的。表征任意性和认知不确定性可以用于加速训练环境中的学习，提高对类似测试环境的泛化，并在异常测试环境中标记不熟悉的行为。在这项工作中，我们介绍了一个框架，在RL解开任意和认知的不确定性。(1)我们首先定义了四个desiderata捕获任意和认知不确定性估计在RL在训练和测试时的期望行为。(2)然后，我们提出了四个受监督学习启发的RL模型（即蒙特卡洛辍学，集成，深度内核学习模型和证据网络），以实例化任意和认知的不确定性。最后，（3）提出了一种实用的评估方法，用于评估无模型强化学习中基于分布外环境检测和扰动环境推广的不确定性估计。我们提出了理论和实验证据来验证，仔细装备无模型RL代理监督学习不确定性方法可以满足我们的需求。
2022-06-03 cs.LG
Constraint-Conditioned Policy Optimization for Versatile Safe Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；Google DeepMind（谷歌DeepMind）
本文提出CCPO框架，通过VVE和CVI模块实现无需重训练即可适应不同安全约束阈值的通用安全强化学习策略，在安全性和任务性能上优于基线方法。
2024-04-29 cs.AI cs.LG
Characterizing the Gap Between Actor-Critic and Policy Gradient
University of Alberta（阿尔伯塔大学）；Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
演员-评论家（AC）方法在强化学习中无处不在。虽然可以理解AC方法与策略梯度（PG）密切相关，但它们之间的精确联系以前没有得到充分的表征。在本文中，我们解释了AC和PG方法之间的差距，确定准确的调整AC目标/梯度，恢复真正的策略梯度的累积奖励目标（PG）。此外，通过将AC方法视为演员和评论家之间的两个玩家Stackelberg游戏，我们证明了Stackelberg策略梯度可以作为我们更一般分析的特殊情况来恢复。基于这些结果，我们开发了实用的算法，残余演员评论家和Stackelberg演员评论家，估计AC和PG之间的校正，并使用这些来修改标准的AC算法。在常用的表格环境和连续环境下的实验表明，所提出的校正方法可以提高现有AC方法的样本效率和最终性能。
2021-06-13 cs.AI cs.LG
Deep Reinforcement Learning for Cyber System Defense under Dynamic Adversarial Uncertainties
Pacific Northwest National Laboratory（太平洋西北国家实验室）
自主网络系统防御策略和行动建议在现实世界中的发展是具有挑战性的，包括表征系统状态的不确定性和攻防动态。我们提出了一个数据驱动的深度强化学习（DRL）框架，以学习主动的、上下文感知的防御对策，这些对策动态地适应不断变化的对抗行为，同时最大限度地减少网络系统操作的损失。一个动态防御优化问题，制定了多种保护姿态对不同类型的对手具有不同的技能和持久性水平。开发了一个自定义的仿真环境，并设计了实验，系统地评估四个无模型DRL算法对现实的，多阶段的攻击序列的性能。我们的研究结果表明DRL算法在多阶段攻击配置文件和系统不确定性下的主动网络防御的有效性。
2023-02-03 cs.AI cs.LG cs.MA
Self-Play Reinforcement Learning under Imperfect Information in Big 2
University of Pennsylvania（宾夕法尼亚大学）
本文提出一个自我对弈强化学习框架，在四人不完全信息纸牌游戏Big 2中比较策略梯度和值近似方法，发现PPO优于其他方法，并证明中等熵正则化和当前策略自我对弈的有效性。
2026-06-28 cs.AI cs.LG
A Method for Evaluating Hyperparameter Sensitivity in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Amii（Amii（阿尔伯塔机器学习研究所））
本文提出一种经验方法，用于量化强化学习算法在给定环境集合下对超参数调优的敏感性，并通过评估 PPO 归一化变体揭示部分性能提升可能源于更强的调参依赖。
2025-02-04 cs.AI cs.LG
Functional Connectome: Approximating Brain Networks with Artificial Neural Networks
University College London（伦敦大学学院）
我们的目的是探索深度学习的能力，以近似生物神经回路的功能-功能连接体。使用深度神经网络，我们使用从综合构建的神经回路以及从经验支持的边界向量单元-位置单元网络中提取的发射率观察值进行监督学习。使用一系列标准和任务量化训练网络的性能。我们的研究结果表明，深度神经网络能够以高精度捕获合成生物网络执行的计算，并且具有高度的数据效率和对生物可塑性的鲁棒性。我们表明，经过训练的深度神经网络能够在新的环境中执行zero-shot概括，并允许执行大量任务，例如高精度地解码动物在空间中的位置。我们的研究揭示了系统神经科学中一个新颖而有前途的方向，并且可以扩展到许多下游应用，例如目标导向的强化学习。
2022-11-23 cs.LG cs.NE q-bio.NC
Towards Characterizing Divergence in Deep Q-Learning
OpenAI；UC Berkeley（加州大学伯克利分校）；The Nueva School（新学院）
深度Q学习（DQL）是一种用于控制的时间差分算法，它采用了三种技术，统称为强化学习中的“致命三元组”：自举、离策略学习和函数逼近。先前的工作已经证明，这些一起可以导致Q-学习算法的发散，但发散发生的条件还没有得到很好的理解。在这篇文章中，我们给出了一个简单的分析的基础上的线性近似的Q值更新，我们相信这提供了深入了解下的致命三位一体的分歧。我们分析的中心点是考虑深度Q更新的前导阶近似何时是或不是超范数的收缩。基于这种分析，我们开发了一种算法，该算法允许稳定的深度Q学习用于连续控制，而无需任何常规使用的技巧（例如目标网络，自适应梯度优化器或使用多个Q函数）。我们证明了我们的算法在OpenAI Gym的标准MuJoCo基准测试中的性能高于或接近最先进的水平。
2019-03-21 cs.AI cs.LG
Characterizing higher-order representations through generative diffusion models explains human decoded neurofeedback performance
Department of Cognitive Sciences, University of California Irvine（加州大学尔湾分校认知科学系）；Department of Logic & Philosophy of Science, University of California Irvine（加州大学尔湾分校逻辑与科学哲学系）；Center for the Neurobiology of Learning & Memory, University of California Irvine（加州大学尔湾分校学习与记忆神经生物学中心）；Center for Theoretical Behavioral Sciences, University of California Irvine（加州大学尔湾分校理论行为科学中心）；Department of Experimental Psychology, University College London（伦敦大学学院实验心理学系）；Program in Brain, Mind, & Consciousness, Canadian Institute for Advanced Research（加拿大高级研究研究院大脑、心灵与意识项目）
本文通过生成扩散模型研究高阶表示，揭示人类神经反馈任务中不确定性估计对行为学习的影响，展示模型在捕捉人类表现方面的优越性。
2026-04-14 cs.AI cs.LG q-bio.NC
Feature Selection Using Reinforcement Learning
University of Virginia（弗吉尼亚大学）
随着数据汇集成本的降低，可用于表征感兴趣的特定预测器的变量或特征的空间继续呈指数增长。因此，识别最具特征的特征，使方差最小化，而不损害我们模型的偏差，对于成功训练机器学习模型至关重要。此外，识别这些特征对于可解释性、预测准确性和最佳计算成本至关重要。虽然统计方法，如子集选择，收缩，降维已被应用在选择最佳的一组功能，在文献中的一些其他方法接近特征选择任务作为一个搜索问题，其中每个状态在搜索空间是一个可能的特征子集。在本文中，我们解决了使用强化学习特征选择问题。将状态空间表示为马尔可夫决策过程（MDP），使用时间差分（TD）算法选择最佳特征子集。使用鲁棒且低成本的分类器算法评估每个状态，该算法可以处理数据集中的任何非线性。
2021-01-23 cs.LG stat.ML
Hyperbolic Deep Reinforcement Learning
King’s College London（伦敦国王学院）；Twitter（推特）
我们提出了一类新的深度强化学习（RL）算法，该算法在双曲空间中对潜在表示进行建模。顺序决策需要对当前行为的未来可能后果进行推理。因此，捕捉一个给定的任务的关键演变特征之间的关系，有利于恢复有效的政策。为此，双曲几何为深度RL模型提供了一个自然的基础，以精确编码这种固有的分层信息。然而，应用来自双曲深度学习文献的现有方法会导致致命的优化不稳定性，这是由于RL梯度估计器的非平稳性和方差特征。因此，我们设计了一种新的通用方法，可以抵消这种优化挑战，并使用深度双曲表示实现稳定的端到端学习。我们通过将其应用于Procgen和Atari 100K基准测试中流行的策略和非策略RL算法来实证验证我们的框架，从而获得近乎普遍的性能和泛化优势。考虑到它的自然适应性，我们希望未来的RL研究将双曲表示作为标准工具。
2022-10-04 cs.AI cs.LG
WFA-IRL: Inverse Reinforcement Learning of Autonomous Behaviors Encoded as Weighted Finite Automata
University of California San Diego（加州大学圣地亚哥分校）
本文提出了一种从演示中学习逻辑任务规范和代价函数的方法。在自治系统中，手工构造规范对于复杂的目标和约束是具有挑战性的。相反，我们考虑演示任务执行，其逻辑结构和过渡成本需要推断的自主智能体。我们采用谱学习方法来提取加权有限自动机（WFA），近似未知的任务逻辑。此后，我们定义了一个产品之间的WFA高层次的任务指导和标记的马尔可夫决策过程的低层次的控制。逆强化学习（IRL）问题被认为是学习的成本函数通过反向传播代理和专家之间的行为通过规划算法的损失。我们提出的模型，称为WFA-IRL，是能够概括的执行推断任务规范在一套MiniGrid环境。
2022-09-19 cs.LG cs.LO
A Cramér Distance perspective on Quantile Regression based Distributional Reinforcement Learning
Amadeus SAS（艾玛迪斯SAS）
分布式强化学习（DRL）扩展了基于值的方法，通过近似未来收益的完整分布而不是仅平均值，提供更丰富的信号，从而提高性能。基于分位数回归（QR）的方法（如QR-DQN）通过最小化1-瓦瑟斯坦距离将任意分布投影到阶梯分布的参数子集中。然而，由于梯度中的偏差，分位数回归损失被用于训练，从而保证相同的最小值并享受无偏梯度。对分位数的非交叉约束已经被证明可以提高QR-DQN对于基于不确定性的探索策略的性能。这项工作的贡献是在固定的分位数水平的设置，是双重的。首先，我们证明了Cramér距离产生一个投影，与1-Wasserstein的一致，并且在非交叉约束下，平方Cramér和分位数回归损失产生共线梯度，揭示了DRL这些重要元素之间的连接。其次，我们提出了一个低复杂度的算法来计算Cramér距离。
2022-02-22 cs.LG stat.ML
Hybrid Reward Architecture for Reinforcement Learning
Microsoft Maluuba（微软 Maluuba）；McGill University（麦吉尔大学）
强化学习（RL）的主要挑战之一是泛化。在典型的深度RL方法中，这是通过使用深度网络用低维表示来近似最佳价值函数来实现的。虽然这种方法在许多领域都很有效，但在最佳价值函数不能轻易简化为低维表示的领域中，学习可能非常缓慢且不稳定。本文通过提出一种称为混合奖励架构（HRA）的新方法，为解决这些具有挑战性的领域做出了贡献。HRA将分解的奖励函数作为输入，并为每个分量奖励函数学习单独的价值函数。因为每个分量通常仅依赖于所有特征的子集，所以对应的价值函数可以更容易地通过低维表示来近似，从而实现更有效的学习。我们演示了HRA的玩具问题和雅达利游戏吃豆人女士，HRA实现了高于人类的性能。
2017-11-28 cs.LG
Pseudo Random Number Generation: a Reinforcement Learning approach
University of Siena（锡耶纳大学）；University of Chieti-Pescara（基耶蒂-佩斯卡拉大学）
伪随机数生成器（PRNG）是产生用于生成统计上不相关的数的长序列的算法，即伪随机数（PRN）。这些数字广泛应用于中级密码学和软件应用程序中。测试套件被用来评估PRNG的质量，通过检查生成的序列的统计特性。机器学习技术通常用于破坏这些生成器，例如使用神经网络逼近某个生成器或某个序列。但是使用机器学习来生成PRN生成器怎么样呢？本文提出了一种强化学习（RL）方法，通过学习策略来解决N维导航问题，从头开始生成PRNG。在这个上下文中，N是生成的序列的周期长度，并且使用在该周期上运行的适当测试套件的平均值来迭代地改进策略。这项工作的目的是证明所提出的方法的可行性，比较它与经典的方法，并奠定了基础的研究路径，结合RL和PRNG。
2019-12-15 cs.AI cs.CR cs.LG
Characterizing the Action-Generalization Gap in Deep Q-Learning
Brown University（布朗大学）；Amazon Web Services（亚马逊云科技）
我们研究了深度Q学习在离散动作空间中的动作泛化能力。泛化对于有效的强化学习（RL）至关重要，因为它允许代理使用从过去经验中学到的知识来执行新任务。但是，虽然函数近似为深度RL代理提供了一种自然的方法来概括状态输入，但相同的概括机制并不适用于离散动作输出。然而，令人惊讶的是，我们的实验表明，使用这种类型的函数近似器的深度Q网络（DQN）仍然能够实现适度的动作泛化。我们的主要贡献是两方面的：第一，我们提出了一种使用动作相似性的专家知识来评估动作泛化的方法，并从经验上证实了动作泛化会导致更快的学习;第二，我们描述了不同领域中的动作泛化差距（DQN和专家之间的学习性能差异）。我们发现，DQN确实可以概括在几个简单的领域的行动，但它的能力，这样做的行动空间变得越来越大。
2022-05-11 cs.AI cs.LG
Dynamic Observation Policies in Observation Cost-Sensitive Reinforcement Learning
National Research Council of Canada（加拿大国家研究委员会）；Dalhousie University（达尔豪斯大学）；University of Waterloo（滑铁卢大学）；University of Ottawa（渥太华大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
本文提出深度动态多步无观测智能体（DMSOA），在观测成本敏感的强化学习场景中，通过动态跳过不必要的测量，以更少的决策步骤和测量学习更优策略，并在OpenAI gym和Atari Pong环境中验证了其有效性。
2024-04-18 cs.AI cs.LG
Policy-regularized Offline Multi-objective Reinforcement Learning
Sun Yat-sen University（中山大学）
本文将离线策略正则化方法扩展至多目标强化学习，提出过滤偏好不一致示范和高表达能力正则化两种方案，并集成偏好条件标量化更新与正则化权重自适应，利用单网络高效学习多偏好策略。
2024-01-04 cs.AI cs.LG
Safe Reinforcement Learning with Linear Function Approximation
University of British Columbia（不列颠哥伦比亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
近年来，强化学习的安全性变得越来越重要。然而，现有的解决方案要么不能严格避免选择不安全的行动，这可能会导致灾难性的结果，在安全关键的系统，或无法提供遗憾的保证设置安全约束需要学习。在本文中，我们解决这两个问题，首先建模安全作为一个未知的线性成本函数的状态和行动，必须始终低于一定的阈值。然后，我们提出的算法，称为SLUCB-QVI和RSLUCB-QVI，情节马尔可夫决策过程（MDPs）与线性函数逼近。我们表明，SLUCB-QVI和RSLUCB-QVI，而与\emph{no safety violation}，实现了$\tilde{\mathcal{O}}\left(κ\sqrt{d^3H^3T}\right)$遗憾，几乎匹配的国家的最先进的不安全的算法，其中$H$是每个情节的持续时间，$d$是特征映射的维度，$κ$是一个常数表征的安全约束，和$T$是动作播放的总数。我们进一步提出了数值模拟，证实了我们的理论研究结果。
2021-06-11 cs.LG stat.ML
ROAD: Adaptive Data Mixing for Offline-to-Online Reinforcement Learning via Bi-Level Optimization
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
本文提出ROAD框架，通过双层优化解决离线数据与在线策略间分布偏移问题，提升稳定性和性能。
2026-05-14 cs.AI cs.LG
