MAHALO: Unifying Offline Reinforcement Learning and Imitation Learning from Observations
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
本文提出MAHALO，一种基于悲观性能下界和对抗训练的通用离线PLfO方法，统一处理离线IL、ILfO和RL，并在多类任务上优于或匹配专门算法。
2023-08-06 cs.LG
Unifying PAC and Regret: Uniform PAC Bounds for Episodic Reinforcement Learning
Carnegie-Mellon University（卡内基梅隆大学）；DeepMind；Stanford University（斯坦福大学）
强化学习（RL）算法的统计性能界限对于医疗保健等高风险应用至关重要。本文介绍了一种新的框架，从理论上衡量这种算法的性能称为均匀PAC，这是一个加强经典的可能近似正确（PAC）框架。与PAC框架相比，统一版本可用于获得高概率后悔保证，从而在文献中缺失的两个设置之间形成桥梁。我们证明了新的框架的好处，有限状态的情节MDP与一个新的算法，即统一的PAC，同时实现最佳的遗憾和PAC的保证，除了一个因素的地平线。
2018-01-02 cs.AI cs.LG stat.ML
Robust General Utility for Reinforcement Learning
针对通用效用强化学习的部署效用误指定问题，提出极小极大学习框架及两种收敛随机算法，经LLM安全对齐等实验验证了其有效性。
2026-08-05 cs.LG
A Unifying View of Optimism in Episodic Reinforcement Learning
Universitat Pompeu Fabra（庞培法布拉大学）；Barcelona Graduate School of Economics（巴塞罗那经济学研究生院）；Imperial College London（帝国理工学院）
面对不确定性时的乐观原则是许多理论上成功的强化学习算法的基础。在本文中，我们提供了一个通用的框架，设计，分析和实现这样的算法在情节强化学习问题。这个框架是建立在拉格朗日对偶，并证明了每一个模型乐观算法，构造一个乐观的MDP有一个等价的表示作为一个值乐观的动态规划算法。通常，人们认为这两类算法是不同的，模型乐观算法受益于更清晰的概率分析，而值乐观算法更容易实现，因此更实用。在本文中开发的框架，我们表明，它是可以得到最好的两个世界，通过提供一类算法，具有计算效率的动态编程实现，也是一个简单的概率分析。除了能够在表格设置中捕获许多现有的算法之外，我们的框架还可以在可实现的函数近似下解决大规模问题，其中它可以对最近提出的一些方法进行简单的基于模型的分析。
2020-07-03 cs.LG stat.ML
Unifying Value Alignment and Assignment in Cross-Domain Offline Reinforcement Learning with Heterogeneous Datasets
City University of Hong Kong；Tencent；Institute of Artificial Intelligence (TeleAI), China Telecom；Institute of Automation, Chinese Academy of Sciences. Corresponding Author
针对异构跨域离线强化学习中价值误分配问题，提出V2A方法，通过时间一致模态表示学习和模态感知优势学习统一动力学对齐、价值对齐与价值分配，显著提升策略性能。
2026-05-24 cs.LG
Graph Reinforcement Learning for Combinatorial Optimization: A Survey and Unifying Perspective
University of Oxford（牛津大学）；Oxford Robotics Institute（牛津机器人研究所）；University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
本文综述了图强化学习在组合优化中的应用，提出统一视角，聚焦于非典型图问题，强调强化学习作为高效解决方案的潜力。
2024-08-20 cs.AI cs.LG
UCB-driven Utility Function Search for Multi-objective Reinforcement Learning
Trinity College Dublin（都柏林三一学院）；Huawei Ireland Research Centre（华为爱尔兰研究中心）
针对多目标强化学习中线性效用函数的权重选择问题，提出基于UCB的权重搜索方法，以最大化帕累托前沿超体积，在Mujoco基准上优于多种基线。
2025-06-16 cs.LG
How to Learn from Risk: Explicit Risk-Utility Reinforcement Learning for Efficient and Safe Driving Strategies
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
自动驾驶有可能彻底改变移动性，因此是一个活跃的研究领域。在实践中，自动驾驶车辆的行为必须是可接受的，即，高效、安全和可解释。虽然普通的强化学习（RL）发现了性能良好的行为策略，但它们通常是不安全和不可解释的。安全性是通过安全强化学习方法引入的，但它们仍然大多无法解释，因为学习的行为是针对安全性和性能进行联合优化的，而不是单独建模。可解释的机器学习很少应用于RL。本文提出了SafeDQN，它允许使自动驾驶汽车的行为安全和可解释，同时仍然有效。SafeDQN在预期风险和操作效用之间提供了一个可理解的语义权衡，同时在算法上是透明的。我们表明，SafeDQN发现可解释的和安全的驾驶政策的各种情况下，并展示了如何国家的最先进的显着性技术可以帮助评估风险和效用。
2022-08-02 cs.LG
AIR: Unifying Individual and Collective Exploration in Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出基于身份识别的自适应探索方法 AIR，通过身份分类器与动作选择器的对抗机制，在合作多智能体强化学习中统一并促进个体与集体探索，提升训练效率与任务表现。
2024-12-30 cs.AI cs.LG cs.MA
Unifying Cardiovascular Modelling with Deep Reinforcement Learning for Uncertainty Aware Control of Sepsis Treatment
University of Pittsburgh（匹兹堡大学）；University of Pittsburgh School of Medicine（匹兹堡大学医学院）；Carnegie Mellon University（卡内基梅隆大学）；McGowan Institute for Regenerative Medicine（麦高恩再生医学研究所）
脓毒症是对感染或严重组织损伤的潜在威胁生命的炎症反应。它具有高度可变的临床过程，需要持续监测患者的状态，以指导静脉输液和血管加压药的管理以及其他干预措施。尽管经过几十年的研究，专家们仍然对最佳治疗方法存在争议。在这里，我们首次将分布式深度强化学习与机械生理模型相结合，以找到个性化的脓毒症治疗策略。我们的方法通过利用已知的心血管生理学来处理部分可观测性，引入了一种新的生理学驱动的递归自动编码器，并量化了其自身结果的不确定性。此外，我们引入了一个框架，不确定性意识的决策支持与人类在循环中。我们表明，我们的方法学习生理上可解释的，强大的政策，与临床知识是一致的。此外，我们的方法一致地识别导致死亡的高风险状态，这可能从更频繁的血管加压药给药中受益，为未来的研究提供有价值的指导
2021-06-12 cs.AI cs.LG q-bio.QM
AIRL-S: Unifying Reinforcement Learning and Search-Based Test-Time Scaling via Adversarial Inverse Reinforcement Learning
Rutgers University（新泽西州立大学）；Nanyang Technological University（南洋理工大学）；University of Connecticut（康涅狄格大学）；Fudan University（复旦大学）；NVIDIA Research（NVIDIA研究）；Red Hat AI Innovation（红帽AI创新）；MIT-IBM Watson AI Lab（MIT-IBM沃森AI实验室）；Massachusetts Institute of Technology（麻省理工学院）
本文提出AIRL-S，通过强化学习与搜索技术的统一，利用奖励函数直接学习动态PRM，提升推理链扩展和跨任务泛化能力，实验显示性能提升9%并优于基线PRM。
2026-08-27 cs.AI cs.LG
Reinforcement Learning for Exponential Utility: Algorithms and Convergence in Discounted MDPs
Computer Science and Automation, Indian Institute of Science, Bengaluru（印度科学研究院计算机科学与自动化部门，班加罗尔）；Computer Science and Engineering, Indian Institute of Technology Madras, Chennai（印度理工学院马德拉斯分校计算机科学与工程系，钦奈）；Tata Consultancy Services Limited, Hyderabad（海得拉巴市塔塔咨询公司）
本文研究了在折扣马尔可夫决策过程中的指数效用优化强化学习问题，提出两种无模型算法，并证明了其收敛性，为指数效用目标下的价值型强化学习提供了理论基础。
2026-05-08 cs.LG
Multi-step Reinforcement Learning: A Unifying Algorithm
University of Alberta（阿尔伯塔大学）
统一看似不同的算法思想以产生性能更好的算法一直是强化学习的长期目标。作为一个主要的例子，TD（$λ$）通过使用资格迹和迹衰减参数$λ$，巧妙地将一步TD预测与蒙特卡罗方法统一起来。目前，有多种算法可用于执行TD控制，包括Sarsa、$Q$学习和预期Sarsa。这些方法通常在单步情况下进行研究，但它们可以扩展到多个时间步长以实现更好的性能。这些算法中的每一个似乎都是不同的，没有一个在所有问题上都优于其他算法。在本文中，我们研究了一个新的多步动作值算法称为$Q(σ)$，统一和推广这些现有的算法，同时将它们作为特殊情况。引入了一个新的参数$σ$，以允许在其备份期间的每一步由算法执行的采样程度连续变化，其中Sarsa存在于一个极端（全采样），而预期Sarsa存在于另一个极端（纯期望）。$Q(σ)$通常适用于策略学习和离策略学习，但在这项工作中，我们专注于策略情况下的实验。我们的研究结果表明，一个中间值的$σ$，这导致在现有的算法的混合物，表现优于任何极端。混合物也可以动态变化，这可以导致更好的性能。
2018-06-11 cs.AI cs.LG
Performance Dynamics and Termination Errors in Reinforcement Learning: A Unifying Perspective
University of California, San Diego（加州大学圣地亚哥分校）；Victoria University（维多利亚大学）
在强化学习中，需要在某个时刻决定是否值得继续学习过程或终止学习过程。在许多此类情况下，通常存在随机元素来控制奖励的发生，正奖励的顺序发生与负奖励随机交错。对于大多数实际的学习者来说，如果积极奖励的数量总是超过消极奖励的数量，那么学习就被认为是有用的。通常需要终止学习的一种情况是，当消极奖励的数量超过积极奖励的数量时。然而，虽然这似乎是合理的，过早终止的错误，即终止与学习失败的结论一起制定，尽管积极的奖励最终远远超过消极的，可以是显著的。在本文中，使用组合分析，我们研究错误地终止强化学习活动，破坏了最优策略的有效性的错误概率，我们表明，由此产生的错误可以是相当高的。虽然我们在数学上证明，这种错误永远无法消除，我们提出了一些实用的机制，可以有效地减少这种错误。进行了模拟实验，其结果与我们的理论研究结果非常一致。
2019-02-11 cs.AI cs.LG stat.ML
Finite-Time Analysis of Discounted Exponential-Utility Reinforcement Learning
本研究针对带折扣的指数效用强化学习，为两种无模型不动点算法建立了异步马尔可夫采样下的有限时间收敛速率，采用无参数步长，提供了首个有限时间保证。
2026-08-04 cs.LG
A Temporal Difference Reinforcement Learning Theory of Emotion: unifying emotion, cognition and adaptive behavior
TU Delft（代尔夫特理工大学）
情绪与动机和行为的适应性密切相关，许多动物物种在其行为中表现出情绪的证据。因此，情绪必须与帮助生存的强大机制有关，而且情绪必须是进化的连续现象。情绪是如何以及为什么在自然界中进化的，事件是如何得到情感评价的，情绪如何与认知复杂性相关，以及它们如何影响行为和学习？在这篇文章中，我认为所有的情绪都是奖励处理的表现，特别是时间差异（TD）错误评估。强化学习（Reinforcement Learning，RL）是一种通过探索和反馈来学习面向目标任务的强大计算模型。有证据表明，类RL过程存在于许多动物物种中。强化学习中反馈处理的关键是TD错误的概念，即与先前预期的情况相比，评估情况变得更好或更糟（或者，新证据导致的效用或福祉的估计增益或损失）。我提出了一个TDRL情绪理论，并讨论了它对我们理解人类，动物和机器情绪的影响，并提出了心理学，神经生物学和计算证据支持。
2018-07-24 cs.AI cs.LG stat.ML
Unifying Value Iteration, Advantage Learning, and Dynamic Policy Programming
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）
近似值迭代等近似动态规划算法已经成功应用于许多复杂的强化学习任务，更好的近似动态规划算法有望进一步扩展强化学习对各种任务的适用性。在本文中，我们提出了一个新的，强大的动态规划算法，统一的价值迭代，优势学习和动态政策规划。我们称之为广义值迭代（GVI）及其近似版本，近似GVI（AGVI）。我们显示AGVI的性能保证，其中包括现有算法的性能保证，作为特殊情况。我们讨论了现有算法的理论弱点，并解释AGVI的优势。在一个简单的环境中的数值实验支持理论的论点，并建议AGVI是一个有前途的替代以前的算法。
2017-10-30 cs.LG stat.ML
Deep Reinforcement Learning for Ranking Utility Tuning in the Ad Recommender System at Pinterest
Pinterest Inc.（Pinterest公司）；Carnegie Mellon University（卡内基梅隆大学）
针对广告推荐系统排序效用手动调优的次优问题，提出深度强化学习个性化效用调优框架DRL-PUT，在线A/B实验显示其点击率、长点击率较基线分别提升9.7%、7.7%。
2025-09-05 cs.LG
Monte-Carlo utility estimates for Bayesian reinforcement learning
本文介绍了一套蒙特卡罗贝叶斯强化学习的算法。首先，利用蒙特卡罗方法对贝叶斯最优价值函数的上界进行估计，构造一个乐观策略。其次，介绍了基于梯度的近似上下界算法。最后，我们介绍了一类新的梯度算法贝叶斯贝尔曼误差最小化。我们从理论上证明了梯度方法是合理的。实验上，我们证明了上限方法的优越性，在获得的奖励。然而，我们也表明，贝叶斯贝尔曼误差方法是一个密切的第二，尽管其显着的计算简单。
2013-03-11 cs.LG stat.ML
Robust Bayesian reinforcement learning through tight lower bounds
EPFL（洛桑联邦理工学院）
在贝叶斯序贯决策方法中，（主观）效用的精确计算是困难的。这扩展到大多数感兴趣的特殊情况，例如强化学习问题。虽然这个问题的效用边界是已知的，但到目前为止，没有一个是特别紧的。在本文中，我们将展示如何有效地计算一个下界，这对应于一个接近最优的无记忆政策的决策问题，这是一般不同的贝叶斯最优的政策和政策，这是最佳的预期MDP下的当前信念的效用。然后，我们将展示如何将这些应用于贝叶斯强化学习设置中获得强大的探索策略。
2011-11-11 cs.LG stat.ML
A Unifying Framework for Action-Conditional Self-Predictive Reinforcement Learning
Google Deepmind（谷歌DeepMind）
本文通过 ODE 框架分析了动作条件自预测目标（BYOL-AC），揭示了其与固定策略方法的联系，并基于模型与无模型视角统一了三种目标，证明了 BYOL-AC 在多种设置下表现更优。
2024-06-04 cs.AI cs.LG
Deep Multi-Objective Reinforcement Learning for Utility-Based Infrastructural Maintenance Optimization
Eindhoven University of Technology（埃因霍温理工大学）；City of Amsterdam（阿姆斯特丹市）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Delft University of Technology（代尔夫特理工大学）
本文提出 MO-DCMAC 多目标强化学习方法，可在非线性效用下直接权衡坍塌概率与成本，并在多种基础设施维护场景中优于传统启发式规则策略。
2025-01-08 cs.AI cs.LG
Risk-Averse Reinforcement Learning with Itakura-Saito Loss
Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究院）；Natixis Foundation（纳蒂克斯基金会）；Artificial Intelligence Research Institute（人工智能研究 institutes）
针对风险规避强化学习，提出基于Itakura-Saito散度的损失函数，用于学习值函数，在理论和实验中优于现有替代方案。
2025-05-26 cs.LG
Uni-O4: Unifying Online and Offline Deep Reinforcement Learning with Multi-Step On-Policy Optimization
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；Shanghai AI Lab（上海人工智能实验室）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本研究提出Uni-o4，通过统一在线策略目标实现离线和在线强化学习的无缝融合，利用集成策略和离线策略评估实现安全多步改进，在模拟和真实机器人任务中达到最先进性能。
2024-03-17 cs.LG cs.RO
Inverse Reinforcement Learning using Revealed Preferences and Passive Stochastic Optimization
本专著从显示偏好理论和朗之万动力学随机梯度算法出发，提出识别并重建智能体效用函数的逆强化学习方法，并应用于认知雷达与序贯检测器识别。
2025-07-06 cs.LG eess.SP
A Tutorial Introduction to Reinforcement Learning
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
本文是一篇强化学习教程导论，以随机逼近为核心主题，系统综述了马尔可夫奖励与决策过程及$Q$-学习等主流算法。
2023-04-03 cs.LG cs.SY eess.SY
Concave Utility Reinforcement Learning with Zero-Constraint Violations
Purdue University（普渡大学）
针对带凸约束的表格无限时域凹效用强化学习，提出基于模型的算法，通过求解更紧优化问题实现零约束违反，并获得高概率遗憾界。
2023-11-17 cs.AI cs.LG
PEARL: Structural Privacy-Utility Control in Human-Centric CPS via Personalized Early-Exit Deep Reinforcement Learning
University of California, Irvine（加利福尼亚大学欧文分校）
PEARL通过边缘双路径早退深度Q网络，利用互信息训练效用与隐私置信标签，在推理时选择最浅退出分支，实现结构隐私控制，平均降低25.67%推理准确率，效用成本仅10-16%。
2026-09-14 cs.CR cs.HC cs.LG
One Framework to Rule Them All: Unifying RL-Based and RL-Free Methods in RLHF
Independent Researcher 2em Personal Webpage
本文提出GRO框架，从神经结构化老虎机预测视角统一RLHF中的RL与无RL方法，并证明标准RLHF目标与其等价，为大型推理模型优化提供新思路。
2025-03-26 cs.CV cs.LG
Monte Carlo Tree Search Algorithms for Risk-Aware and Multi-Objective Reinforcement Learning
University of Galway（戈尔韦大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；City of Amsterdam（阿姆斯特丹市）
在许多风险感知和多目标强化学习设置中，用户的效用来自策略的单次执行。在这种情况下，基于平均未来回报率的决策是不合适的。例如，在医疗环境中，患者可能只有一次机会治疗他们的疾病。仅仅使用预期的未来回报（强化学习中称为价值）来做决策，无法解释一个决策可能产生的负面或正面结果的潜在范围。因此，我们应该使用不同的分布在预期的未来收益表示的关键信息，代理人需要在决策时，考虑未来和应计收益。本文提出了两种新的蒙特卡罗树搜索算法。首先，我们提出了一个蒙特卡罗树搜索算法，可以计算政策的非线性效用函数（NLU-MCTS），通过优化的效用不同的可能的回报，可达到从个人的政策执行，从而在风险意识和多目标设置良好的政策。其次，我们提出了一个分布式的蒙特卡罗树搜索算法（DMCTS），它扩展了NLU-MCTS。DMCTS计算收益效用的近似后验分布，并在规划过程中利用汤普森抽样来计算风险意识和多目标设置中的策略。这两种算法在多目标强化学习中的预期效用都优于最先进的算法。
2022-12-06 cs.AI cs.LG
Distributionally Robust Inverse Reinforcement Learning for Identifying Multi-Agent Coordinated Sensing
Cornell University（康奈尔大学）
本文提出一种极小极大分布鲁棒逆强化学习算法，通过在Wasserstein模糊集上最小化最坏预测误差来重构多智能体感知系统的效用函数，并证明了其与半无限优化的等价性且在认知雷达网络实验中验证了有效性。
2024-09-22 cs.LG cs.MA eess.SP
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
逆强化学习（IRL）处理从代理的动作估计代理的效用函数。在本文中，我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL（I-IRL）。决策者应该如何选择其响应，以确保其战略的一个不良重建的对手执行IRL估计代理的战略？本文包括四个结果：第一，我们提出了一个对抗IRL算法，估计代理的策略，同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应，充分掩盖其真实策略。第三，我们给出了一个样本的复杂性结果，我们的主要I-IRL的结果时，代理人有噪声估计的对手指定的效用函数。最后，我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
Unifying Stable Optimization and Reference Regularization in RLHF
Sydney AI Centre, The University of Sydney（悉尼人工智能中心、悉尼大学）；CSIRO, Data61（澳大利亚联邦科学与工业研究组织、Data61）；University of New South Wales（新南威尔士大学）
本文提出了一种统一正则化方法，通过平衡防止奖励黑客和稳定策略更新，提升RLHF的对齐性能和稳定性。
2026-02-12 cs.LG
The Utility of Sparse Representations for Control in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
我们研究了强化学习中的稀疏表示控制。虽然这些表示广泛用于计算机视觉，但它们在强化学习中的流行仅限于稀疏编码，其中提取新数据的表示可能是计算密集型的。在这里，我们开始证明，学习控制策略增量与代表从一个标准的神经网络在经典的控制域失败，而学习与代表从一个神经网络，具有稀疏性的属性是有效的。我们提供的证据表明，这是因为稀疏表示提供了局部性，因此避免了灾难性干扰，特别是保持一致，稳定的值自举。然后我们讨论如何学习这种稀疏表示。我们探讨的想法分布正则化，其中隐藏节点的激活被鼓励匹配一个特定的分布，导致在整个时间的稀疏激活。我们确定了一种简单但有效的方法来获得稀疏表示，而不是由以前提出的策略，使其更实用的进一步调查稀疏表示强化学习。
2018-11-15 cs.AI cs.LG stat.ML
Concave Utility Reinforcement Learning: the Mean-Field Game Viewpoint
Google Research, Brain Team（谷歌研究院大脑团队）；DeepMind Paris（巴黎深度思维）；Univ. Lille, CNRS, Inria, Centrale Lille, UMR 9189 CRIStAL（里尔大学、法国国家科学研究中心、法国国家信息与自动化研究所、里尔中央理工学院、CRISTAL联合研究单位）
凹效用强化学习（CURL）将RL从代理策略诱导的占用度量中的线性效用扩展到凹效用。这不仅包括RL，还包括模仿学习和探索等。然而，这种更一般的范式使经典的贝尔曼方程失效，并要求新的算法。平均场博弈（Mean-field Games，MFG）是多主体RL的连续近似。他们认为，一个连续分布的相同的代理商，匿名的对称利益的极限情况下，并减少了问题的研究一个单一的代表性代理与整个人口的互动。我们的核心贡献在于表明，卷曲是一个子类的MFG。我们认为这对两个社区的沟通很重要。它还允许阐明这两个领域的方面：我们之间的等价性在CURL和单调性在相关的MFG，在CURL和纳什均衡在MFG之间的最优性条件，或Fictionary播放（FP）这一类的MFG是简单的弗兰克-沃尔夫，带来的第一个收敛速度离散时间FP的MFG。我们还通过实验证明，使用最近推出的解决MFG的算法，我们可以更有效地解决卷曲问题。
2022-02-16 cs.LG cs.MA
Towards Better Fairness-Utility Trade-off: A Comprehensive Measurement-Based Reinforcement Learning Framework
East China Normal University（华东师范大学）；Tianjin University（天津大学）；Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
本文提出基于强化学习的CFU框架，通过综合测量多种公平性指标与效用，在6个任务和3个模型上平均提升37.5%，在不牺牲效用的情况下全面改善分类器公平性。
2023-07-21 cs.CY cs.LG cs.SE
Behavior-Adaptive Q-Learning: A Unifying Framework for Offline-to-Online RL
Department of Computer Science（计算机科学系）；Florida State University（佛罗里达州立大学）
本文提出行为自适应Q学习（BAQ），通过离线数据构建隐式行为模型并在在线微调中提供行为一致性约束，随在线经验积累逐步放宽约束，从而稳定离线到在线强化学习的过渡并提升最终性能。
2025-11-05 cs.LG
Trajectory Modeling via Random Utility Inverse Reinforcement Learning
Federal University of Ceará（塞阿拉联邦大学）
本文提出基于随机效用理论的逆强化学习方法，通过扩展状态和确定性最优策略假设对驾驶员轨迹建模，并证明最大熵逆强化学习为其特例，最后用巴西真实轨迹数据验证了贝叶斯推断。
2023-01-11 cs.AI cs.LG stat.ML
Unifying Count-Based Exploration and Intrinsic Motivation
Google DeepMind（谷歌DeepMind）
我们认为代理人的不确定性，其环境和问题的概括这种不确定性的意见。具体来说，我们专注于非表格强化学习中的探索问题。从内在动机文献中汲取灵感，我们使用密度模型来测量不确定性，并提出了一种新的算法，用于从任意密度模型导出伪计数。这种技术使我们能够将基于计数的探索算法推广到非表格的情况。我们将我们的想法应用于Atari 2600游戏，从原始像素提供合理的伪计数。我们将这些伪计数转换为内在奖励，并在一些硬游戏中获得显着改善的探索，包括臭名昭著的困难蒙特祖玛的复仇。
2016-11-07 cs.AI cs.LG stat.ML
Towards Safe Reinforcement Learning with a Safety Editor Policy
Horizon Robotics（地平线机器人）
我们考虑安全的强化学习（RL）问题，最大限度地利用极低的约束违反率。假设没有先验知识或预先训练的环境安全模型给定的任务，代理必须学习，通过探索，哪些状态和动作是安全的。在这方面的研究中，一种流行的方法是将无模型RL算法与拉格朗日方法相结合，以动态地调整约束奖励相对于效用奖励的权重。它依赖于一个单一的政策来处理效用和约束奖励之间的冲突，这往往是具有挑战性的。我们提出了SEditor，一个两个政策的方法，学习安全编辑器的政策，将潜在的不安全的行动提出的效用最大化的政策到安全的。安全编辑器被训练为最大化约束奖励，同时最小化在编辑动作之前和之后的效用状态动作值的铰链损失。SEditor扩展了现有的安全层设计，假设简化的安全模型，一般的安全RL场景中，安全模型在理论上可以是任意复杂的。作为一种一阶方法，它易于实现，推理和训练效率都很高。在12个安全健身房任务和2个安全赛车任务中，SEditor获得了比基线更高的整体安全加权效用（SWU）得分，并展示了出色的效用性能，即使在障碍密集的环境中，约束违反率也低至每2k时间步一次。在某些任务中，这种低违规率比具有类似效用性能的无约束RL方法低200倍。代码可在https://github.com/hnyu/seditor上获得。
2022-10-10 cs.AI cs.LG cs.RO
Spectral Bellman Method: Unifying Representation and Exploration in RL
Technion（以色列理工学院）；Google DeepMind（谷歌DeepMind）；Nvidia Research（英伟达研究院）；Google Research（谷歌研究院）
谱贝尔曼方法通过统一表示学习与探索，在强化学习中提出了一种基于贝尔曼误差的新框架，提升长周期任务性能。
2026-02-01 cs.LG
Advantage Shaping as Surrogate Reward Maximization: Unifying Pass@K Policy Gradients
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文通过揭示优势塑造技术与直接策略梯度方法的本质关联，提出基于替代奖励的统一优化框架，为Pass@K目标下的强化学习策略梯度优化提供新视角。
2026-03-21 cs.AI cs.LG
Offline Goal-Conditioned Reinforcement Learning with Projective Quasimetric Planning
Ubisoft la Forge；University of Angers（昂热大学）；Inria（法国国家科学研究中心）
本文提出ProQ框架，通过学习非对称距离和结合拉格朗日检测器，实现目标条件强化学习中子目标生成与长期目标达成的稳健控制。
2026-01-30 cs.LG
Spatial Influence-aware Reinforcement Learning for Intelligent Transportation System
Columbia University（哥伦比亚大学）
智能交通系统（ITS）被认为是智慧城市的关键，其目的是改善交通流量，提高城市居民的生活质量，减少拥堵，提高通勤效率。然而，在可以部署这样的系统之前，需要解决几个挑战，例如，用于马尔可夫决策过程（MDP）和单代理强化学习（RL）算法的传统解决方案具有较差的可扩展性，并且多代理系统具有较差的通信和协调。在本文中，我们探讨了潜在的互信息共享，或换句话说，基于空间影响的通信，以优化交通灯控制策略。首先，我们对交通系统进行数学分析。我们的结论是，交通系统不存在静态纳什均衡，从而强化学习算法提供了合适的解决方案。其次，我们描述了如何建立一个多智能体的深度确定性策略梯度（DDPG）系统的空间影响和社会群体的效用。然后，我们利用网格拓扑结构的道路网络，实证证明了新系统的可扩展性。我们展示了三种类型的定向通信，以显示社会影响力的方向对整个网络效用和个人效用的影响。最后，我们定义了“自私指数”，并分析了它对群体总效用的影响。
2019-12-14 cs.AI cs.LG cs.MA
Exploratory Utility Maximization Problem with Tsallis Entropy
Southern University of Science and Technology（南方科技大学）
本文在强化学习框架下研究了完备市场中具有常相对风险厌恶的效用最大化问题，通过引入 Tsallis 熵正则化项促进探索，发现并解决了部分因过度探索导致的不适定问题，给出了半闭式解并验证了算法优势。
2025-02-03 cs.LG q-fin.MF
On the Global Optimality of Policy Gradient Methods in General Utility Reinforcement Learning
Singapore University of Technology and Design（新加坡科技设计大学）；University of Maryland-College Park（马里兰大学-College Park分校）；University of Central Florida（佛罗里达中央大学）
本文为一般效用强化学习中的策略梯度方法建立了全局最优性保证，覆盖表格和大规模设置，并提出了基于函数逼近的样本复杂度改进。
2025-10-23 cs.AI cs.LG
Deep Reinforcement Learning-Assisted Federated Learning for Robust Short-term Utility Demand Forecasting in Electricity Wholesale Markets
Department of Engineering, Brock University（布鲁克大学工程系）
针对电力批发市场中发电厂无法直接获取公用事业公司数据、联邦学习训练STLF模型易因缺陷性能下降的问题，提出DRL辅助的DearFSAC方法，结合LSTM、自编码器实现鲁棒准确的短期负荷预测，经真实数据验证性能优于其他方法。
2023-07-25 cs.DC cs.LG
Utility-inspired Reward Transformations Improve Reinforcement Learning Training of Language Models
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）；London School of Economics（伦敦政治经济学院）
针对LLM强化学习训练中线性奖励聚合的缺陷，提出基于Inada条件的效用启发奖励变换，增强低值敏感性、降低高值敏感性，使模型更 helpful 且更少 harmful。
2025-02-25 cs.AI cs.CL cs.LG
Optimal Market Making by Reinforcement Learning
Almafintech S.A.（Almafintech 公司）；Universidad Torcuato Di Tella（托尔夸托·迪特拉大学）；UCEMA（阿根廷企业管理大学）；Qontigo, a Deutsche Boerse company（Qontigo，德意志交易所集团旗下公司）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
我们应用强化学习算法来解决经典的定量金融市场决策问题，在该问题中，代理人通过在最大化效用函数的同时放置买入和卖出订单来为市场提供流动性。最优代理人必须在其库存的价格风险和通过捕捉买卖价差获得的利润之间找到一个微妙的平衡。我们设计了一个环境与奖励函数，决定了一个顺序关系的政策相当于原来的效用函数。当将我们的代理与最佳解决方案和基准对称代理进行比较时，我们发现Deep Q-学习算法能够恢复最佳代理。
2021-04-08 cs.LG q-fin.ST
SkillScaffold: Scaffolding Agentic Reinforcement Learning with Policy-Adaptive Skill Credit Assignment and Selective Injection
Zhejiang University（浙江大学）；Kuaishou Technology（快手科技）；University of the Chinese Academy of Sciences（中国科学院大学）；Zhejiang University of Science and Technology（浙江科技学院）
SkillScaffold是一种策略自适应训练支撑，通过低成本技能效用估计与选择性技能注入解决现有技能型智能体强化学习的缺陷，在多基准任务上优于相关基线，且验证了效用选择与弃权的重要性。
2026-10-14 cs.CL cs.LG
Reinforcement and Imitation Learning via Interactive No-Regret Learning
Carnegie Mellon University（卡内基梅隆大学）
最近的工作表明，问题-特别是模仿学习和结构化预测-其中学习者的预测影响其测试的输入分布，可以通过交互式方法自然解决，并使用无遗憾在线学习进行分析。然而，这些模仿学习的方法既不需要也不受益于关于行动成本的信息。我们在两个方向上扩展现有的结果：首先，我们开发了一种利用成本信息的交互式模仿学习方法;其次，我们扩展了该技术以解决强化学习。研究结果为在线近似策略迭代的成功提供了理论支持。我们的方法提出了一个广泛的新的算法家族，并提供了一个统一的观点，现有的技术模仿和强化学习。
2014-06-23 cs.LG stat.ML
Calibrated Partial Resets: Preventing Policy Collapse in Continual Reinforcement Learning
研究连续强化学习中神经网络训练问题，提出校准部分重置（CPR）优化器，定期拉低效用神经元至初始化，拉动强度依效用缩放。该方法避免策略崩溃，在多基准测试中表现优，揭示可塑性与峰值性能权衡，为连续学习提供新方向。
2026-07-29 cs.AI cs.LG cs.RO
Intelligent problem-solving as integrated hierarchical reinforcement learning
Universität Hamburg（汉堡大学）；University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
根据认知心理学和相关学科，生物制剂中复杂问题解决行为的发展取决于分层认知机制。分层强化学习是一种很有前途的计算方法，它最终可能会在人工智能体和机器人中产生类似的问题解决行为。然而，迄今为止，许多人类和非人类动物解决问题的能力显然优于人工系统。在这里，我们提出了步骤，整合生物启发的层次机制，使先进的解决问题的技能，人工代理。因此，我们首先回顾了认知心理学的文献，以强调成分抽象和预测处理的重要性。然后，我们将所获得的见解与当代分层强化学习方法。有趣的是，我们的研究结果表明，所有已确定的认知机制已被单独实施在孤立的计算架构，提出了一个问题，为什么没有一个统一的架构，将它们整合起来。作为我们的最后贡献，我们解决这个问题，提供一个综合的角度来看，发展这样一个统一的架构的计算挑战。我们希望我们的研究结果能够指导更复杂的认知启发分层机器学习架构的开发。
2022-08-18 cs.AI cs.LG cs.RO
Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
奖励分解是多智能体强化学习集中训练分散执行（CTDE）范式中的一个关键问题。为了充分利用全局信息，利用所有代理的状态和相关环境将Q值分解为单个信用，我们提出了一个通用的基于元学习的混合网络与Meta策略梯度~（MNMPG）框架来提取全局层次结构以进行精细的奖励分解。通过效用网络，从“练习更新”前后的情节奖励差异推导出用于学习全局层次结构的激励信号。我们的方法是一般适用于CTDE方法使用单调混合网络。在星际争霸II微管理基准测试上的实验表明，我们的方法只需要一个简单的效用网络，就能够在5个超硬场景中的4个场景上超过当前最先进的MARL算法。当与基于角色的效用网络相结合时，可以进一步实现更好的性能。
2021-02-24 cs.AI cs.LG cs.MA
