SAR: Generalization of Physiological Agility and Dexterity via Synergistic Action Representation
Meta AI
该研究受肌肉协同启发提出SAR，将简单任务中学到的协同动作表示用于高维肌肉骨骼、机器人及人形控制，显著提升学习效率、成功率与零样本泛化能力。
2023-07-14 cs.LG cs.RO
Exploiting Embodied Simulation to Detect Novel Object Classes Through Interaction
在本文中，我们提出了一种新的方法，一个天真的代理检测新的对象，它遇到的互动。我们在给定已知对象类型的堆叠任务上训练强化学习策略，然后观察代理尝试基于相同训练策略堆叠各种其他对象的结果。通过从卷积神经网络中提取嵌入向量，我们可以确定给定对象与已知对象类型的相似性，并确定给定对象是否可能与已知类型足够不相似，以被视为新的对象类别。我们在使用两种不同策略收集的两个数据集上展示了这种方法的结果，并演示了代理需要从其环境中提取哪些信息来做出这些新颖性判断。
2022-04-17 cs.AI cs.CV cs.LG
Exploiting Estimation Bias in Clipped Double Q-Learning for Continous Control Reinforcement Learning Tasks
University of Padova（帕多瓦大学）；Human-Inspired Technology Research Center（仿人技术研究中心）
本文提出一种偏差利用（BE）机制，在Actor-Critic方法的深度双Q学习中动态选择最有利的估计偏差，以解决连续控制强化学习中的次优策略问题，且不增加计算复杂度。
2024-10-11 cs.AI cs.LG
Hierarchical Reinforcement Learning for Concurrent Discovery of Compound and Composable Policies
Istituto Italiano di Tecnologia（意大利技术研究院）；Università di Genova（热那亚大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
处理复杂任务的昂贵的强化学习（RL）的一个常见策略是将它们分解为一系列子任务，这些子任务通常更容易学习，并且可用于新问题。然而，当机器人学习这些子任务的策略时，常见的方法单独对待每个策略学习过程。因此，在通过策略组合处理复杂任务的学习过程之前，需要学习所有这些单独的（可组合的）策略。此外，这种单个策略的组合通常是顺序执行的，这不适合需要并发执行子任务的任务。在本文中，我们提出了一组组合高斯政策对应于这些子任务使用一组激活向量，从而在一个复杂的高斯政策，这是一个函数的手段和协方差矩阵的组合政策。此外，我们提出了一种算法，用于学习复合和组合政策在同一个学习过程中，利用从复合政策产生的政策外的数据。该算法建立在最大熵RL方法的基础上，有利于学习过程中的探索。实验结果表明，收集的经验与复合政策允许不仅要解决复杂的任务，但也获得有用的组合策略，成功地执行在其相应的子任务。
2019-08-01 cs.AI cs.LG cs.RO
Symmetry-Aware Steering of Equivariant Diffusion Policies: Benefits and Limits
Yonsei University（延世大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出了一种具有对称性的扩散策略引导框架，通过利用对称性提升样本效率和策略性能，同时揭示了严格等变的实践边界。
2026-10-30 cs.LG cs.RO
MULTIPOLAR: Multi-Source Policy Aggregation for Transfer Reinforcement Learning between Diverse Environmental Dynamics
OMRON SINIC X（欧姆龙SINIC X）；Technical University of Munich（慕尼黑工业大学）
迁移强化学习（RL）旨在通过利用在相关任务上训练的其他源代理的知识来提高代理的学习效率。然而，在无法进入源环境的情况下，在不同的环境动态之间转移知识仍然具有挑战性。在这项工作中，我们探索了一个新的挑战，在转移强化学习，只有一组源政策收集下不同的未知动态是有效地学习目标任务。为了解决这个问题，所提出的方法，多源策略聚集拒绝（MULTIPOLAR），包括两个关键技术。我们学习自适应地聚合源策略提供的操作，以最大化目标任务性能。同时，我们学习了一个辅助网络，该网络预测聚合动作周围的残差，即使在一些源策略表现不佳的情况下，也能确保目标策略的表达能力。我们通过在六个模拟环境中进行广泛的实验评估，从经典的控制问题到具有挑战性的机器人模拟，在连续和离散的动作空间下，证明了多极的有效性。演示视频和代码可以在项目网页上找到：https://omron-sinicx.github.io/multipolar/。
2020-12-10 cs.LG stat.ML
STACHE: Local Black-Box Explanations for Reinforcement Learning Policies
STACHE提出一种用于生成强化学习策略局部黑盒解释的框架，通过鲁棒区域和最小反事实分析，揭示策略行为的演变过程。
2025-12-10 cs.AI cs.LG
Adversarial Exploitation of Policy Imitation
Kansas State University（堪萨斯州立大学）
本文研究了针对深度强化学习（DRL）策略中安全性的机密性方面的一类攻击。最近的研究已经建立了监督机器学习模型的脆弱性（例如，分类器）到模型窃取攻击。这种攻击利用攻击者迭代查询模型的标签的松散限制的能力，从而允许伪造可用于训练原始模型的副本的标记数据集。在这项工作中，我们证明了利用模仿学习技术在DRL代理上发起模型窃取攻击的可行性。此外，我们开发了概念验证攻击，利用这种技术对DRL策略的完整性进行黑盒攻击。我们还提出了一个潜在的解决方案的概念，缓解技术的讨论。
2019-06-03 cs.AI cs.CR cs.LG
Job Dispatching Policies for Queueing Systems with Unknown Service Rates
Carnegie Mellon University（卡内基梅隆大学）；University of Texas - Austin（德克萨斯大学奥斯汀分校）
在多服务器排队系统中，没有一个中央队列来存放所有的输入作业，作业调度策略用于将输入作业分配到其中一个服务器的队列中。经典的作业调度策略，如加入最短队列和最短期望延迟假设服务器的服务率和队列长度是已知的调度。在这项工作中，我们解决的问题，没有知识的服务率和队列长度的调度，调度员只能通过观察工作离开噪声估计的服务率。这个问题提出了一种新的探索剥削之间的权衡发送作业到所有的服务器，以估计其服务率，并利用目前已知的最快的服务器，以最大限度地减少预期的等待延迟。我们提出了一个基于土匪的勘探政策，学习服务率从观察到的工作离职。不同于标准的多臂强盗问题，只有一个出一个有限的行动是最佳的，这里的最优策略需要确定的最佳比例传入的工作发送到每个服务器。我们提出了一个遗憾的分析和模拟，以证明所提出的基于土匪的勘探政策的有效性。
2021-06-10 cs.LG cs.SY eess.SY
Exploration Conscious Reinforcement Learning Revisited
Technion（以色列理工学院）
探索-利用权衡出现在强化学习中，当人们无法判断一个策略是否是最优的时候。然后，需要不断探索新的行动，而不是利用过去的经验。在实践中，通常通过使用固定的探索机制（例如$ε$贪婪探索）或通过添加高斯噪声来解决折衷，同时仍然尝试学习最优策略。在这项工作中，我们采取了不同的方法和研究探索意识的标准，导致最佳的政策方面的探索机制。正如我们所建立的，解决这些标准相当于解决一个代理马尔可夫决策过程。我们继续和探索意识的最优策略的属性进行分析，并描述了两个一般的方法来解决这样的标准。在这些方法的基础上，我们对现有的表格和深度强化学习算法进行了简单的修改，并在经验上证明了相对于非探索意识的同行，无论是离散还是连续的动作空间，都具有更好的性能。
2019-05-13 cs.LG stat.ML
Threshold Structure of Optimal Policies in Restart POMDPs
Inria（法国国家信息与自动化研究所）；University of Liverpool（利物浦大学）；University of Birmingham（伯明翰大学）
本文研究一般Borel状态空间上的Restart POMDP，通过充分统计量表示将其简化为完全可观察MDP，证明最优策略在不同成本准则下具有阈值结构，还分析了状态空间偏序时最优阈值的变化规律及平均成本准则下的相关结果。
2026-08-12 cs.LG math.OC math.PR
Critic-Driven Voronoi-Quantization for Distilling Deep RL Policies to Explainable Models
Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出Critic-Driven Voronoi State Partitioning方法，通过梯度下降优化简单模型，将黑盒策略划分为区域，利用原始策略的批评价值网络迭代生成子策略，验证了该方法在多个基准上的有效性。
2026-05-14 cs.AI cs.LG
Learning to Factor Policies and Action-Value Functions: Factored Action Space Representations for Deep Reinforcement learning
Indian Institute of Technology, Madras（印度马德拉斯理工学院）
深度强化学习（DRL）方法在越来越多的高维视觉决策领域中表现良好。在所有这样的视觉决策问题中，那些具有离散动作空间的视觉决策问题往往在所述动作空间中具有潜在的组成结构。这样的动作空间通常包含诸如向左、向上以及对角向上和向左（这是前两个动作的组合）的动作。在这些领域中的控制策略的表示传统上被建模，而不利用动作空间中的这种固有的组成结构。我们提出了一种新的学习范式，因子化动作空间表示（FAR），其中我们将使用深度强化学习算法学习的控制策略分解为独立的分量，类似于将向量分解为一些正交基向量。控制策略表示的这种架构修改允许代理同时了解多个操作，而只执行其中一个。我们证明了FAR在Atari 2600中的两个DRL算法上有相当大的改进：FARA 3C在14个任务中的9个任务中优于A3 C（异步优势演员评论），FARAQL在13个任务中的9个任务中优于AQL（异步n步Q学习）。
2017-05-20 cs.AI cs.LG
Exploiting Contextual Structure to Generate Useful Auxiliary Tasks
Brown University（布朗大学）
本文提出多任务强化学习框架，利用时序逻辑抽象、大语言模型对象嵌入、反事实推理与离策略学习自动生成并同步学习辅助任务，在不增加环境交互的情况下提升经验复用与探索效用。
2024-04-04 cs.AI cs.LG cs.RO
Exploiting Action Impact Regularity and Exogenous State Variables for Offline Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出动作影响规律性（AIR）假设，将状态分为内生与外生部分，并基于拟合Q迭代设计算法，在模拟和真实环境中验证其优于现有离线强化学习方法。
2023-05-03 cs.LG
Distributional Method for Risk Averse Reinforcement Learning
University of Toronto（多伦多大学）
我们介绍了一个分布式的方法学习风险厌恶马尔可夫决策过程中的最优策略有限的状态动作空间，潜在成本和平稳动态。我们假设连续观察的状态，行动和成本，并使用动态风险措施构建嵌套Kusuoka型条件风险映射的政策的性能进行评估。对于这样的性能标准，随机策略可能优于确定性策略，因此，候选策略位于d维单纯形中，其中d是动作空间的基数。现有的风险规避强化学习方法很少涉及随机策略，对当前设置的幼稚扩展遭受维数灾难。通过利用嵌入在相应的动态规划原理中的某些结构，我们提出了一种分布式学习方法来寻求最优策略。价值函数的条件分布被转换成特定类型的函数，该函数的选择考虑到风险规避优化的容易性。我们使用深度神经网络来近似所述函数，说明所提出的方法避免了在探索阶段的维数灾难，并探索该方法的性能与随机选取的广泛的模型参数。
2023-02-27 cs.AI cs.LG
Exploiting Semantic Epsilon Greedy Exploration Strategy in Multi-Agent Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）
多智能体强化学习（MARL）可以对许多现实世界的应用进行建模。然而，许多MARL方法依赖于贪婪的探索，这可能会阻碍在困难的情况下访问有利的状态。在本文中，我们提出了一种新的方法QMIX（SEG）处理MARL。它利用价值函数分解方法QMIX训练每Agent策略和一种新的语义外延贪婪（SEG）探索策略。SEG是对传统的贪婪搜索策略的简单扩展，但实验表明它可以大大提高MARL的性能。我们首先将动作聚类成具有相似效果的动作组，然后在一个双层的贪婪探索层次结构中使用这些组进行动作选择。我们认为，SEG有利于语义探索，探索在空间组的行动，这比原子行动具有更丰富的语义意义。实验表明，QMIX（SEG）大大优于QMIX，并导致强大的性能竞争力与当前国家的最先进的MARL方法在星际争霸多智能体挑战赛（SMAC）的基准。
2022-01-27 cs.AI cs.LG cs.MA
The Importance of Non-Markovianity in Maximum State Entropy Exploration
Politecnico di Milano（米兰理工大学）；Università di Bologna（博洛尼亚大学）；ETH Zurich（苏黎世联邦理工学院）
在最大状态熵探索框架中，智能体与无奖励环境进行交互，以学习使其诱导的预期状态访问的熵最大化的策略。Hazan等人（2019）指出，马尔可夫随机策略类对于最大状态熵目标是足够的，在这种情况下，利用非马尔可夫性通常被认为是毫无意义的。在本文中，我们认为，在有限样本制度的最大状态熵的探索，而不是至关重要的非马尔可夫。特别是，我们重新设计的目标，在一个单一的审判诱导状态访问的预期熵。然后，我们证明了这类非马尔可夫确定性政策是足够的引入的目标，而马尔可夫政策遭受非零遗憾一般。然而，我们证明了寻找最优非马尔可夫策略的问题是NP-困难的。尽管这个负面的结果，我们讨论的途径来解决这个问题，在一个易于处理的方式，以及如何非马尔可夫探索可以有利于样本效率的在线强化学习在未来的工作。
2022-07-08 cs.LG
Two-Stage Neural Contextual Bandits for Personalised News Recommendation
Australian National University（澳大利亚国立大学）；Data61, CSIRO（联邦科学与工业研究组织Data61）；Deakin University（迪肯大学）；Microsoft Research Asia（微软亚洲研究院）
我们考虑的问题，个性化的新闻推荐，每个用户消费的顺序方式的新闻。现有的个性化新闻推荐方法注重挖掘用户兴趣，忽略了用户对推荐的探索性，导致了反馈循环的偏差，长期影响了推荐质量。我们建立在上下文强盗推荐策略，自然解决开发探索权衡。主要的挑战是探索大规模项目空间和利用不确定性的深度表示的计算效率。我们提出了一个两阶段的分层主题新闻深度上下文强盗框架，有效地学习用户的偏好时，有很多的新闻项目。我们使用深度学习表示用户和新闻，并将神经置信上限（UCB）策略推广到广义加性UCB和双线性UCB。在大规模新闻推荐数据集上的实验结果表明，我们提出的策略是有效的，优于基线强盗政策。
2022-06-26 cs.IR cs.LG
Modelling the Dynamic Joint Policy of Teammates with Attention Multi-agent DDPG
Peking University（北京大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
在协作多智能体系统中建模和利用队友的策略一直是强化学习（RL）社区的兴趣所在，也是一个巨大的挑战。有趣的是，如果代理知道队友的政策，它可以相应地调整自己的政策，以达到适当的合作，而挑战是，代理的政策不断变化，因为他们正在学习的同时，这就很难准确地建模动态的队友政策。在本文中，我们提出了\emph{ATTention Multi-Agent Deep Deterministic Policy Gradient}（ATT-MADDPG），以解决这一挑战。ATT-MADDPG扩展了DDPG，一个单代理的演员-评论家RL方法，有两个特殊的设计。首先，为了对队友的策略进行建模，Agent应该访问队友的观察和动作。ATT-MADDPG采用集中的评论家来收集这些信息。其次，为了有效地利用收集到的信息对队友的策略进行建模，ATT-MADDPG通过注意力机制增强了集中式批评。该注意力机制引入了一种特殊的结构来显式地对队友的动态联合策略进行建模，保证了收集到的信息能够得到有效的处理。我们评估ATT-MADDPG的基准任务和现实世界的数据包路由任务。实验结果表明，该方法不仅在性能上大大优于基于RL和基于规则的方法，而且在可扩展性和鲁棒性方面也取得了更好的效果。
2018-11-13 cs.AI cs.LG cs.MA
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所（AAII））；University of Technology Sydney（悉尼科技大学）；Visualisation Institute（可视化研究所）
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题，提出一种非整体式探索的新方法，在不修改离线策略的前提下协调其利用优势与在线策略的探索优势，性能优于PEX方法。
2024-10-31 cs.LG
Quantum policy gradient algorithms
University of Innsbruck（因斯布鲁克大学）；QuSoft（量子软件研究中心）；University of Amsterdam（阿姆斯特丹大学）；Leiden University（莱顿大学）
针对大状态与动作空间下强化学习量子算法适用性有限的问题，设计了利用环境量子交互训练前沿策略的量子算法，仅当策略满足正则性条件时可实现样本复杂度的二次加速，且参数化量子电路衍生的策略符合该条件，凸显全量子强化学习框架的价值。
2022-12-19 cs.AI cs.LG quant-ph
Stable Inverse Reinforcement Learning: Policies from Control Lyapunov Landscapes
Technical University of Munich（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）
针对传统逆强化学习计算量大、缺收敛保证的问题，提出将代价函数推断重构为从演示数据学习控制李雅普诺夫函数的稳定认证IRL方法，结合闭式策略与平方和凸优化实现高效求解，经理论与仿真、真实数据验证有效。
2024-05-14 cs.LG cs.SY eess.SY
Exploiting Expertise of Non-Expert and Diverse Agents in Social Bandit Learning: A Free Energy Approach
Cognitive Systems Lab., School of Electrical and Computer Engineering, College of Engineering, University of Tehran（认知系统实验室，电气与计算机工程学院，工程学院，塔里班大学）
本文提出了一种基于自由能的社会老虎机学习算法，通过评估其他代理的专长水平来提升学习效果，同时在各种场景中保持对数遗憾。
2026-03-12 cs.AI cs.LG stat.ML
Diagnosing and exploiting the computational demands of videos games for deep reinforcement learning
Carney Institute for Brain Science, Brown University（布朗大学卡尼脑科学研究所）
本文提出 LCD 工具，用于分别量化电子游戏任务的感知与强化学习需求，并据此重构 Procgen 挑战分类、指导 dRL 算法开发。
2023-09-22 cs.AI cs.CV cs.LG
QPILOTS: Efficient Test-Time Q-Steering for Flow Policies
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；LG Electronics（LG电子）
提出QPILOTS方法，在推理时通过投影去噪中间状态到最终动作估计并计算评论家梯度来引导流匹配和扩散策略，无需修改原策略，在离线到在线RL基准上达到90%平均成功率。
2026-06-16 cs.AI cs.LG cs.RO
SymLight: Exploring Interpretable and Deployable Symbolic Policies for Traffic Signal Control
Centre for Data Science and Artificial Intelligence（数据科学与人工智能中心）；School of Engineering and Computer Science（工程与计算机科学学院）
SymLight提出基于蒙特卡洛树搜索的符号化优先级函数搜索框架，通过简洁表示和概率结构展开策略，在保持优异性能的同时生成可解释且可部署的交通信号控制策略。
2025-11-08 cs.AI cs.LG
Efficient Solution and Learning of Robust Factored MDPs
本文提出了一种基于因式分解状态空间的鲁棒马尔可夫决策过程求解与学习方法，通过将非凸优化问题转化为线性规划问题，提高了样本效率和策略性能保证。
2025-11-20 cs.AI cs.LG
AdaMemento: Adaptive Memory-Assisted Policy Optimization for Reinforcement Learning
Peking University（北京大学）；Tsinghua University（清华大学）
针对稀疏奖励强化学习问题，提出AdaMemento框架，通过记忆反思模块利用正负经验、细粒度内在动机引导探索以及集成学习自适应协调利用与探索，显著提升性能。
2026-05-27 cs.LG
Autonomous learning of multiple, context-dependent tasks
Istituto di Scienze e Tecnologie della Cognizione (ISTC), Consiglio Nazionale delle Ricerce (CNR)（国家研究委员会认知科学与技术研究所）；Institute of Informatics, Federal University of Rio Grande do Sul (UFRGS)（南里奥格兰德联邦大学信息学研究所）
当面对使用强化学习系统自主学习多个任务的问题时，研究人员通常专注于每个任务只有一个参数化策略就足以解决它们的解决方案。然而，在呈现不同上下文的复杂环境中，相同的任务可能需要一组不同的技能来解决。这些情况提出了两个挑战：（a）识别需要不同策略的不同上下文;（b）快速学习策略以在新发现的上下文中完成相同的任务。如果在开放式学习框架中面对这两个挑战，智能体必须自主地发现它在给定环境中可能实现的目标，并学习完成这些目标的运动技能，那么这两个挑战就更加困难。我们提出了一种新的开放式学习机器人体系结构，C-GRAIL，以综合的方式解决了这两个挑战。特别是，该架构能够检测新的相关的比赛，并忽略不相关的，对一个给定的目标的预期性能的下降的基础上。此外，该架构可以通过利用从已经获得的策略导入知识的迁移学习来快速学习新上下文的策略。该架构进行了测试，在一个模拟的机器人环境中，涉及一个机器人，自主学习，以达到相关的目标对象中存在的多个障碍物产生几个不同的障碍。所提出的架构优于其他模型不使用所提出的自主上下文发现和迁移学习机制。
2020-11-27 cs.LG cs.RO
Stability-certified reinforcement learning: A control-theoretic perspective
Department of Industrial Engineering and Operations Research, University of California, Berkeley（工业工程与运营管理系，加州大学伯克利分校）；Department of Industrial Engineering and Operations Research, and the Tsinghua-Berkeley Shenzhen Institute, University of California, Berkeley（工业工程与运营管理系，以及清华-伯克利深圳研究院，加州大学伯克利分校）
本文从控制论角度研究强化学习策略与非线性动力系统连接时的稳定性认证问题，提出了一种基于半定规划可行性的方法，通过调节策略的输入输出梯度来获得鲁棒稳定性保证，并通过实验验证了该方法在多飞行编队和电力系统频率调节任务中的有效性。
2018-10-26 cs.LG cs.SY eess.SY
Semantic-Aware Remote Estimation of Multiple Markov Sources Under Constraints
Department of Computer and Information Science, Linköping University（Linköping大学计算机与信息科学系）
针对有损速率受限信道下多马尔可夫信源远程估计问题，结合信息语义构建CMDP模型，推导最优策略结构，提出交点搜索、RL及低复杂度DPP算法，以更少传输实现最优性能。
2025-05-21 cs.IT cs.LG cs.NI
PolicyEvolve: Evolving Programmatic Policies by LLMs for multi-player games via Population-Based Training
School of Computer Science（计算机科学学院）；School of Information and Software Engineering（信息与软件工程学院）
PolicyEvolve利用LLMs通过基于种群的训练框架，为多玩家游戏自动生成可解释的程序化策略，减少人工代码依赖和环境交互，实现高性能对抗策略。
2025-09-07 cs.AI cs.LG
On the Use of Non-Stationary Policies for Stationary Infinite-Horizon Markov Decision Processes
Inria（法国国家信息与自动化研究所）
我们考虑无限时域平稳$γ$折扣马尔可夫决策过程，它是已知的，存在一个平稳的最优策略。使用在每次迭代时具有一些误差$ε$的值和策略迭代，众所周知，可以计算$\frac{2γ}{(1-γ)^2}ε$最优的固定策略。在认为这种保证是紧的，我们开发的变化值和政策迭代计算非平稳的政策，可以达到$\frac{2γ}{1-γ}ε$ -最优的，这构成了一个显着的改善通常情况下，当$γ$接近1。令人惊讶的是，这表明“计算近最优非平稳策略”的问题比“计算近最优平稳策略”的问题简单得多。
2012-11-29 cs.AI cs.LG
Look Beneath the Surface: Exploiting Fundamental Symmetry for Sample-Efficient Offline RL
Beijing Jiaotong University（北京交通大学）；Tsinghua University（清华大学）；Beijing Key Laboratory of Traffic Data Analysis and Mining（北京交通数据分析与挖掘重点实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出利用系统动力学的时间反演对称性，构建TDM模型和TSRL算法，在仅用1%原始样本的小型数据集上显著提升离线强化学习的数据效率和泛化性能。
2023-11-13 cs.AI cs.LG
Regularizing Action Policies for Smooth Control with Reinforcement Learning
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
使用深度强化学习（RL）训练的控制器的实际效用的一个关键问题是RL策略学习的动作明显缺乏平滑性。这种趋势通常以控制信号振荡的形式出现，并可能导致控制不良、高功耗和不适当的系统损耗。我们引入了动作策略平滑性调节（CAPS），一种有效而直观的动作策略正则化，它提供了一致的改进，在神经网络控制器的学习状态到动作映射的平滑性，反映在消除控制信号中的高频分量。在真实系统上进行测试，四旋翼无人机上控制器平滑度的改进导致功耗降低近80%，同时持续训练飞行控制器。项目网址：http://ai.bu.edu/caps
2021-05-26 cs.LG cs.RO cs.SY
Enhancing Aerial Combat Tactics through Hierarchical Multi-Agent Reinforcement Learning
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA), USI-SUPSI（瑞士智能系统研究所（IDSIA）及USI-SUPSI）；Armasuisse Science + Technology（Armasuisse科学与技术）
针对异构多机空战仿真，本文提出双层分层MARL框架，低层课程学习训练单机控制策略、高层训练指挥官宏观决策，实证验证了其优势。
2025-05-13 cs.AI cs.LG cs.MA
Scalable Joint Learning of Wireless Multiple-Access Policies and their Signaling
Nokia Bell Labs（诺基亚贝尔实验室）；National Institute of Applied Sciences（国立应用科学学院）
在本文中，我们应用一个多智能体强化学习（MARL）框架，允许基站（BS）和用户设备（UE）共同学习的信道接入策略和它的信令在无线多址接入场景。在该框架中，BS和UE是需要协作以便递送数据的强化学习（RL）代理。与无竞争和基于竞争的基线的比较表明，我们的框架实现了优越的性能，即使在高流量的情况下，同时保持低碰撞率的有效吞吐量。所提出的方法的可扩展性进行了研究，因为它是一个主要的问题，在MARL和本文提供的第一个结果，以解决这个问题。
2022-06-08 cs.AI cs.IT cs.LG
Off-Policy Evaluation for Ranking Policies under Deterministic Logging Policies
Keio University（keio大学）；Sony Group Corporation（sony集团）；Yale University（yale大学）；Hanuku-kaso, Co., Ltd.（hanuku-kaso公司）
本文提出Click-based Inverse Propensity Score估计器，利用用户点击行为的内在随机性，在确定性日志策略下实现低偏差的离策略评估。
2026-03-23 cs.LG
Discovering and Exploiting Sparse Rewards in a Learned Behavior Space
SoftBank Robotics Europe（软银机器人欧洲公司）；Sorbonne Université（索邦大学）
本文提出 STAX 算法，通过交替学习低维行为空间、探索多样策略并利用 emitters 优化稀疏奖励，在三个环境中以更少先验信息达到与基线相当的性能。
2023-09-26 cs.AI cs.LG cs.NE
Information Capacity Regret Bounds for Bandits with Mediator Feedback
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）
研究中介反馈bandit问题，引入策略集容量作为复杂度度量，采用EXP4算法在对抗和随机设定下给出新遗憾界，并证明匹配下界及全信息变体的遗憾界。
2024-02-15 cs.LG stat.ML
Sample-efficient Iterative Lower Bound Optimization of Deep Reactive Policies for Planning in Continuous MDPs
Singapore Management University（新加坡管理大学）；University of Toronto（多伦多大学）
深度学习的最新进展通过将参数策略编码为深度神经网络并在基于端到端模型的梯度下降框架中利用自动微分，为连续MDP规划优化了深度反应策略（DRP）。这种方法已被证明对优化非线性连续MDP中的DRP是有效的，但它需要大量的采样轨迹来有效学习，并且可能会受到解决方案质量的高方差的影响。在这项工作中，我们重新审视了整体基于模型的DRP目标，而是采取最小化最大化的角度来迭代优化DRP w.r.t.局部紧下界目标这种将DRP学习作为迭代下限优化（ILBO）的新公式特别有吸引力，因为（i）每个步骤在结构上比整体目标更容易优化，（ii）它保证了在某些理论条件下单调改进的目标，以及（iii）它在迭代之间重用样本，从而降低了样本复杂度。实证评估证实，ILBO是显着更高的采样效率比国家的最先进的DRP计划，并始终产生更好的解决方案质量与较低的方差。我们还证明了ILBO可以很好地推广到新的问题实例（即，不同的初始状态）而不需要再训练。
2022-03-23 cs.AI cs.LG
Exploiting Policy Idling for Dexterous Manipulation
Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）；MIT（麻省理工学院）
本文提出Pause-Induced Perturbations（PIP）方法，通过在检测到的策略怠速状态施加扰动来改善探索，无需额外训练即可提升灵巧操作策略的测试性能与迭代改进效果，并在真实插入任务中使成功率提高15-35%。
2025-08-21 cs.LG cs.RO
Accelerating trajectory optimization with Sobolev-trained diffusion policies
Inria - Département d’Informatique de l’École normale supérieure, PSL Research University（法国国家科学研究中心-巴黎高等师范学院计算机系，PSL研究大学）；Courant Institute, New York University（纽约大学Courant研究所）
针对梯度型轨迹优化求解器，提出利用Sobolev学习训练扩散策略以提供初始猜测，通过利用轨迹和反馈增益的一阶损失避免复合误差，实现求解时间减少2至20倍。
2026-05-28 cs.LG cs.RO
Balancing Immediate Revenue and Future Off-Policy Evaluation in Coupon Allocation
Recruit. Co., Ltd.（瑞克鲁特公司）；Tokyo Institute of Technology（东京工业大学）
针对优惠券分配中即时收益与未来OPE数据收集的冲突，本文提出融合模型化收益策略与随机探索策略的可调混合框架，并将最优混合比建模为多目标优化问题。
2024-09-08 cs.AI cs.LG
Design from Policies: Conservative Test-Time Adaptation for Offline Policy Optimization
Westlake University（西湖大学）；Zhejiang University（浙江大学）
本文提出 DROP 方法，将离线强化学习解耦为非迭代双层范式，在训练中做价值估计、在测试中做策略提取，并通过 MBO 分数模型、行为嵌入和保守正则化实现安全且自适应的离线策略优化。
2023-10-28 cs.LG
Exploiting Layerwise Convexity of Rectifier Networks with Sign Constrained Weights
The University of Western Australia（西澳大学）；Murdoch University（默多克大学）
通过对权值引入符号约束，提出了符号约束整流器网络（SCRN），其训练可以通过著名的优化最小化（MM）算法有效地解决。我们证明了建议的两个隐藏层SCRN，其中表现出负的权重在第二隐藏层和负的权重在输出层，能够分离任何两个（或更多）不相交的模式集。此外，建议的两个隐藏层SCRN可以分解成几个集群的每一类的模式，使每个集群是凸可分离的所有模式从其他类。这提供了一种学习模式结构和分析不同类型模式之间的判别因素的方法。
2017-11-14 cs.AI cs.LG
