Scalable and Robust LLM Unlearning by Correcting Responses with Retrieved Exclusions
KAIST AI（韩国科学技术院人工智能研究所）；Yonsei University（延世大学）
针对大语言模型敏感信息泄露问题，提出带检索排除项的修正式遗忘框架CURE，通过轻量修正器和检索增强实现无需额外训练的可扩展鲁棒遗忘，有效降低泄露并保持效用。
2025-09-30 cs.AI
InterSketch: An Interleaved Reasoning Model with Self-correcting Visual Sketch and Stepwise Reward
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；Shandong Normal University（山东师范大学）
针对视觉-语言模型在长程视觉推理中文本中心范式局限性的问题，提出InterSketch模型，通过自校正和逐步奖励机制增强交错视觉-文本思维链能力，在视觉推理基准上超越Gemini-3-Pro等专有模型。
2026-05-26 cs.AI cs.CV
Leveraging class abstraction for commonsense reinforcement learning via residual policy gradient methods
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
使强化学习（RL）代理能够利用知识库，同时从经验中学习，有望在知识密集型领域推进RL。然而，事实证明，很难利用不是针对环境手动定制的知识。我们建议使用开源知识图谱中的子类关系来抽象特定对象。我们开发了一个剩余的策略梯度方法，能够在类层次结构中的不同抽象级别的知识集成。我们的方法提高了样本效率，并推广到常识游戏中看不见的对象，但我们也研究了故障模式，如过度的噪声提取类知识或环境中的小类结构。
2022-05-01 cs.AI cs.LG
Using Contrastive Samples for Identifying and Leveraging Possible Causal Relationships in Reinforcement Learning
TCS Research（塔塔咨询服务公司研究院）；IIT Bombay（印度理工学院孟买分校）
强化学习的一个重大挑战是量化行动和长期奖励之间的复杂关系。这些影响可能会在一长串状态-动作对中显现出来，这使得它们很难精确定位。在本文中，我们提出了一种方法来链接过渡状态的显着偏差异常大的变化，在随后的奖励。这种转换被标记为可能的因果效应，并且相应的状态-动作对被添加到单独的重放缓冲器。此外，我们包括对应于从类似状态但具有不同动作的转换的\textit{contrastive}样本。在训练过程中包括这种对比经验回放（CER）显示在2D导航任务上优于基于标准值的方法。我们相信CER可以用于广泛的学习任务，包括任何非策略强化学习算法。
2022-10-28 cs.AI cs.LG
Leveraging Human Guidance for Deep Reinforcement Learning Tasks
University of Texas at Austin（德克萨斯大学奥斯汀分校）
强化学习智能体可以通过与环境交互来学习解决顺序决策任务。人类如何解决这些任务的知识可以使用模仿学习来整合，其中代理学习模仿人类演示的决策。然而，人类的指导并不局限于演示。其他类型的指导可能更适合某些任务，需要更少的人力。这项调查提供了一个高层次的概述五个最近的学习框架，主要依赖于人类的指导，而不是传统的，一步一步的行动示范。我们回顾了每个框架的动机，假设和实施。然后，我们讨论了未来可能的研究方向。
2019-09-21 cs.AI cs.LG
Leveraging Reinforcement Learning for evaluating Robustness of KNN Search Algorithms
TU Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
在给定的数据集中为给定的查询点找到K-最近邻居的问题已经研究了好几年。在非常高维的空间中，K-最近邻搜索（KNNS）在计算高维距离的复杂性方面受到影响。由于维数灾难的问题，可靠地依靠各种近似最近邻搜索方法的结果变得相当繁琐。在本文中，我们调查了一些新的K-最近邻搜索方法，从计算的角度来解决搜索问题，近似结果的准确性和利用并行加速计算。我们试图推导出一个给定的KNNS方法的真阳性和假点之间的关系。最后，为了评估KNNS方法对对抗点的鲁棒性，我们提出了一个通用的基于强化学习的框架。
2021-02-10 cs.AI cs.LG
Discovering highly efficient low-weight quantum error-correcting codes with reinforcement learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, Berkeley（加州大学伯克利分校）；Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）
提出基于强化学习的稳定子码降重量方法，发现实际参数区间内显著优于现有结果的低重量qLDPC码，并将重量6码的物理量子比特开销降低1至2个数量级。
2025-02-20 cs.AI cs.IT cs.LG
Leveraging weights signals -- Predicting and improving generalizability in reinforcement learning
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Vrije Universiteit Medical Center Amsterdam（阿姆斯特丹自由大学医学中心）
本文提出通过分析神经网络内部权重信号，改进PPO算法以提升强化学习代理的泛化能力。
2025-11-25 cs.AI cs.LG
How to Sense the World: Leveraging Hierarchy in Multimodal Perception for Robust Reinforcement Learning Agents
INESC-ID（里斯本高等理工学院信息技术与系统研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
这项工作解决了感知世界的问题：如何学习强化学习代理环境的多模态表示，允许在不完整的感知条件下执行任务。为了解决这个问题，我们主张在设计的表示模型的层次结构，并与一个新的多模态表示模型，MUSE。所提出的模型学习分层表示：低层次的模态特定的表示，从原始观测数据编码，和一个高层次的多模态表示，编码联合模态信息，以允许强大的状态估计。我们采用MUSE作为深度强化学习代理的感官表征模型，在Atari游戏中提供多模态观察。我们对不同设计的强化学习代理进行了比较研究，表明MUSE允许代理在不完整的感知经验下以最小的性能损失执行任务。最后，我们评估了MUSE在文献标准的多模态场景中的性能，这些场景具有更高的数量和更复杂的模态，表明它在单模态和跨模态生成中优于最先进的多模态变分自编码器。
2022-01-31 cs.AI cs.LG
Self-correcting Reward Shaping via Language Models for Reinforcement Learning Agents in Games
Electronic Arts (EA)（美国艺电公司（EA））；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出一种基于语言模型的自动化奖励权重迭代微调方法，通过闭环自校正机制使游戏强化学习智能体在赛车任务中性能显著提升，达到与人类专家手动设计相当的水平。
2025-06-30 cs.AI
Leveraging Knowledge Distillation for Efficient Deep Reinforcement Learning in Resource-Constrained Environments
The Hong Kong Polytechnic University（香港理工大学）
本文通过知识蒸馏优化多种深度强化学习算法，建立评估基准，以降低计算资源需求、提升学习与决策速度，推动资源受限环境下高效智能决策系统的发展。
2023-10-16 cs.AI cs.LG
Explore-Go: Leveraging Exploration for Generalisation in Deep Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
针对强化学习智能体对新场景的泛化难题，本文解释了探索助力泛化的直觉，提出扩大起始状态分布的Explore-Go方法，可适配多数主流强化学习算法，实验验证其在说明性环境和Procgen基准上能提升泛化性能。
2024-09-18 cs.AI cs.LG
Bidirectional Soft Actor-Critic: Leveraging Forward and Reverse KL Divergence for Efficient Reinforcement Learning
Tsinghua University（清华大学）
本文针对SAC中反向KL散度导致策略投影难以处理的问题，提出双向SAC算法，先利用前向KL散度获得显式高斯策略投影进行初始化，再优化反向KL散度精炼策略，在连续控制任务中实现奖励最高提升30%并改善样本效率。
2025-06-02 cs.AI cs.LG
Computationally Efficient Reinforcement Learning: Targeted Exploration leveraging Simple Rules
Empa（瑞士联邦材料科学与技术研究所）；EPFL（洛桑联邦理工学院）
提出修改连续actor-critic框架以利用专家简单规则避开次优区域，显著加速RL智能体收敛且无计算开销。
2023-09-12 cs.AI cs.LG
UMBRELLA: Uncertainty-Aware Model-Based Offline Reinforcement Learning Leveraging Planning
TU Dortmund University（多特蒙德工业大学）
离线强化学习（RL）提供了一个从离线数据中学习决策的框架，因此构成了自动驾驶等现实世界应用的一种有前途的方法。自动驾驶汽车（SDV）学习一种策略，这种策略甚至可能优于次优数据集中的行为。特别是在自动驾驶等安全关键型应用中，可解释性和可移植性是成功的关键。这促使使用基于模型的离线RL方法，该方法利用规划。然而，目前的最先进的方法往往忽略了任意的不确定性所产生的多智能体系统的随机行为的影响。本文提出了一种基于不确定性感知模型的离线强化学习杠杆规划（UMBRELLA）方法，该方法以一种可解释的基于学习的方式联合解决了SDV的预测、规划和控制问题。经过训练的动作条件随机动力学模型捕捉交通场景的不同未来演变。该分析为我们的方法在挑战自动驾驶模拟和基于真实世界公共数据集方面的有效性提供了经验证据。
2022-06-28 cs.AI cs.LG cs.RO
Leveraging human knowledge in tabular reinforcement learning: A study of human subjects
Weizmann Institute of Science（魏茨曼科学研究所）；Bar-Ilan University（巴伊兰大学）；Washington State University（华盛顿州立大学）
强化学习（RL）在解决复杂的现实问题方面非常有效。然而，将人类知识注入RL代理可能需要人类设计师的大量努力和专业知识。到目前为止，人的因素一般不考虑在开发和评估可能的RL方法。在这篇文章中，我们着手研究如何注入人类知识的不同方法，在实践中，不同层次的知识和技能的人类设计师。我们进行了第一次经验评估的几种方法，包括一个新提出的方法命名为SASS，这是基于代理的状态-动作空间的相似性的概念。通过这项由51名人类参与者组成的人类研究，我们对在RL中发挥关键作用的人为因素有了新的认识。我们发现，经典的奖励塑造技术似乎是最自然的方法，大多数设计师，专家和非专家，以加快RL。然而，我们进一步发现，我们提出的方法SASS可以有效地和高效地结合奖励塑造，并提供了一个有益的替代方案，只使用一个单一的加速方法与最小的人类设计师的努力开销。
2018-05-15 cs.AI cs.LG
Leveraging Analytic Gradients in Provably Safe Reinforcement Learning
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出首个有效安全防护方法，用于解析梯度强化学习，通过改进映射和梯度公式，结合先进算法和可微仿真，验证了安全防护对性能无影响。
2026-05-07 cs.AI cs.LG cs.RO
Leveraging Factored Action Spaces for Efficient Offline Reinforcement Learning in Healthcare
University of Michigan（密歇根大学）；Michigan Medicine（密歇根医学中心）；Harvard University（哈佛大学）
针对医疗等离线RL场景组合动作空间数据有限、罕见子动作组合推断难的问题，提出因子化动作空间诱导的线性Q函数分解法，兼具理论保证与样本效率，可提升策略性能与未探索区域推断准确性。
2023-05-02 cs.AI cs.LG
Leveraging Reinforcement Learning Techniques for Effective Policy Adoption and Validation
University of California, San Diego（加州大学圣地亚哥分校）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
不同形式的奖励和惩罚无处不在，并出现在各种各样的决策场景中。通过观察足够数量的重复试验的结果，人们将逐渐了解特定政策或战略的价值和有用性。然而，在特定的环境中，不同的试验结果会受到偶然性的影响和变化。在学习一个给定的政策的有用性，显着的成本涉及系统地进行顺序试验，因此，在大多数学习事件，人们希望保持成本范围内采用学习停止规则。在本文中，我们研究了部署不同的停止策略在给定的学习环境中，从高度严格的关键任务操作高度宽容的非关键任务操作，并重点放在前者与航空安全的特殊应用。在政策评估中，确定了两个连续的学习阶段，我们使用概率模型来描述结果的变化，并获得了关键性能指标的封闭式表达式。决策规则映射的试验观察政策选择也制定。最后进行了仿真实验，验证了理论分析的正确性.
2019-06-21 cs.AI cs.LG
Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism
UC Santa Barbara（加州大学圣巴巴拉分校）；Princeton（普林斯顿大学）
离线强化学习试图利用离线/历史数据来优化顺序决策策略，在最近的研究中获得了巨大的优势。由于适当的函数逼近器可以帮助减轻现代强化学习问题中的样本复杂性负担的优势，现有的努力通常会强制使用强大的函数表示模型（例如，神经网络）来学习最佳策略。然而，精确理解函数表示的统计极限仍然是难以捉摸的，即使这样的表示是线性的。为了实现这一目标，我们研究了线性模型表示的离线强化学习的统计限制。为了得到紧的离线学习界，我们设计了方差感知的悲观值迭代（VAPVI），它采用时间非齐次的情节线性马尔可夫决策过程（MDP）的价值函数的条件方差信息. VAPVI利用价值函数的估计方差，在最小二乘悲观值迭代中对Bellman残差进行重新加权，并在最知名的现有结果上提供改进的离线学习边界（而Bellman残差通过设计进行了同等加权）。更重要的是，我们的学习边界表示的系统数量，这提供了自然的实例依赖的特征，以前的结果是缺乏。我们希望我们的结果能更清楚地描绘出当提供线性表示时离线学习应该是什么样子。
2022-03-11 cs.AI cs.LG stat.ML
Leveraging Approximate Symbolic Models for Reinforcement Learning via Skill Diversity
Arizona State University（亚利桑那州立大学）
创建能够接受和利用人类特定任务知识的强化学习（RL）代理一直被认为是开发解决长期问题的可扩展方法的可能策略。虽然以前的作品已经研究了使用符号模型和RL方法的可能性，但他们倾向于假设高级动作模型在低级可执行，并且流畅性可以专门描述所有理想的MDP状态。然而，现实世界任务的符号模型往往是不完整的。为此，我们引入近似符号模型引导的强化学习，其中我们将形式化符号模型和底层MDP之间的关系，这将使我们能够表征符号模型的不完整性。我们将使用这些模型来提取用于分解任务的高级地标。在低层次上，我们为每个可能的任务子目标学习一组不同的策略，然后将它们缝合在一起。我们评估我们的系统通过测试三个不同的基准域，并显示如何即使不完整的符号模型信息，我们的方法是能够发现的任务结构，并有效地引导RL代理的目标。
2022-06-17 cs.AI
Dynamic Co-Optimization Compiler: Leveraging Multi-Agent Reinforcement Learning for Enhanced DNN Accelerator Performance
University of Southern California（南加州大学）
该研究提出新型动态协同优化编译器DCOC，通过含三个专用演员-评论家智能体的自适应MARL框架实现软硬件协同优化，缩减搜索空间，在多种DNN模型上吞吐量最高提升37.95%、优化时间最多缩短42.2%，优于现有前沿框架。
2025-02-21 cs.AI cs.AR cs.LG
SDRL: Interpretable and Data-efficient Deep Reinforcement Learning Leveraging Symbolic Planning
Auburn University（奥本大学）；NVIDIA Corporation（英伟达公司）；Maana Inc.（Maana公司）
深度强化学习（DRL）通过直接从高维感官输入中学习而获得了巨大的成功，但因缺乏可解释性而臭名昭著。子任务的可解释性在分层决策中至关重要，因为它增加了黑盒式DRL方法的透明度，并帮助RL从业者更好地理解系统的高层行为。在本文中，我们将符号规划引入DRL，并提出了一个符号深度强化学习（SDRL）框架，可以处理高维感官输入和符号规划。该框架采用规划器-控制器-元控制器结构，分别负责子任务调度、数据驱动子任务学习和子任务评估。这三个组成部分相互交叉，并最终收敛到最佳的符号计划以及学习的子任务，将长期规划能力与符号知识和直接来自高维感官输入的端到端强化学习的优势结合在一起。实验结果验证了子任务的可解释性，同时与最先进的方法相比，提高了数据效率。
2019-02-28 cs.AI
Leveraging Constraint Violation Signals For Action-Constrained Reinforcement Learning
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）
本文提出利用约束违反信号构造可行动作目标分布并训练 normalizing flows，将其集成到深度 RL 中，显著减少约束违反并保持更优控制性能。
2025-02-08 cs.AI cs.LG
Leveraging Reinforcement Learning in Red Teaming for Advanced Ransomware Attack Simulations
Deloitte & Touche LLP（德勤华永会计师事务所（特殊普通合伙））；National Security Institute, Virginia Tech（弗吉尼亚理工大学国家安全研究所）
本文提出利用强化学习在模拟网络环境中训练智能体以模拟勒索软件攻击，快速学习攻击策略并简化人工渗透测试，实验证明其能有效发现高价值目标攻击路径并规避蜜标文件，为防御团队提供安全洞察。
2024-06-25 cs.AI cs.CR cs.LG
ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for Mobile Manipulation
Stanford University（斯坦福大学）；Nvidia（英伟达公司）；Robotics at Google（谷歌机器人部门）
许多强化学习（RL）方法使用联合控制信号（位置、速度、扭矩）作为连续控制任务的动作空间。我们建议将动作空间提升到一个更高的水平，以运动生成器（运动规划器和轨迹执行器的组合）的子目标的形式。我们认为，通过提升动作空间和利用基于采样的运动规划器，我们可以有效地使用RL来解决复杂的，长时间的任务，这些任务在原始动作空间中无法用现有的RL方法解决。我们提出了ReLMoGen -一个框架，它结合了学习的策略来预测子目标和运动生成器来计划和执行达到这些子目标所需的运动。为了验证我们的方法，我们将ReLMoGen应用于两种类型的任务：1）交互式导航任务，需要与环境交互才能到达目的地的导航问题，以及2）移动操作任务，需要移动机器人底座的操作任务。这些问题是具有挑战性的，因为它们通常是长期的，难以在培训期间探索，并包括导航和交互的交替阶段。我们的方法是基准上的一组不同的七个机器人任务在照片般逼真的仿真环境。在所有设置中，ReLMoGen都优于最先进的强化学习和分层强化学习基线。ReLMoGen在测试时还显示出在不同运动发生器之间的出色可转移性，这表明它具有转移到真正机器人上的巨大潜力。
2021-03-26 cs.AI cs.CV cs.LG
The Provable Benefits of Unsupervised Data Sharing for Offline Reinforcement Learning
Tsinghua University（清华大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
自我监督方法通过利用数据本身来减少对昂贵注释的需求，对于推进深度学习至关重要。然而，如何以原则性的方式进行自监督离线强化学习（RL）的问题仍然不清楚。在本文中，我们解决这个问题，通过研究在半监督设置中的线性马尔可夫决策过程（MDP）中利用无奖励数据的理论优势。此外，我们提出了一种新的，可证明的数据共享算法（PDS），利用这种免费的数据离线RL。PDS在从标记数据中学习的奖励函数上使用额外的惩罚来防止高估，确保算法的保守性。我们在各种离线RL任务上的结果表明，PDS显着提高了离线RL算法的性能与无奖励数据。总的来说，我们的工作提供了一种很有前途的方法来利用离线RL中未标记数据的好处，同时保持理论保证。我们相信我们的研究结果将有助于开发更强大的自我监督RL方法。
2023-02-27 cs.AI cs.LG
Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization
Microsoft（微软）
针对RLHF等方法的过度优化问题，提出仅修改DPO对数链接函数的χPO算法，通过卡方散度正则化缓解过度优化，获单策略集中度样本复杂度保证，成首个可证明鲁棒的实用通用离线对齐算法。
2025-02-18 cs.AI cs.CL cs.LG
From Individual Learning to Market Equilibrium: Correcting Structural and Parametric Biases in RL Simulations of Economic Models
Department of Economics, Nagoya University（名古屋大学经济学系）；Institute of Neural Information Processing, Ulm University（乌尔姆大学神经信息处理研究所）
针对单智能体RL模拟经济模型时产生的操纵性结构偏差与贴现成本参数偏差，提出校准的平均场RL框架，使策略收敛至竞争均衡。
2026-11-04 cs.AI econ.GN q-fin.EC
Leveraging Demonstrations for Deep Reinforcement Learning on Robotics Problems with Sparse Rewards
Deepmind（深度思维）
我们提出了一个通用的和无模型的方法，强化学习（RL）在真正的机器人稀疏奖励。我们建立在深度确定性策略梯度（DDPG）算法使用演示。演示和实际交互都用于填充重放缓冲区，演示和转换之间的采样率通过优先级重放机制自动调整。通常，需要精心设计的成形奖励，以使智能体能够有效地探索高维控制问题，如机器人。依赖于本地求解器的基于模型的加速方法也需要它们，例如iLQG（例如，引导策略搜索和归一化优势函数）。这些演示取代了对精心设计的奖励的需求，并减少了经典RL方法在这些领域遇到的探索问题。演示是由一个机器人动觉力控制的人类演示收集。四个模拟插入任务的结果表明，DDPG从演示DDPG的表现，并不需要工程奖励。最后，我们展示了一个真正的机器人任务，包括插入一个剪辑（灵活的对象）到一个刚性的对象上的方法。
2018-10-08 cs.AI
Meta-Reinforcement Learning via Exploratory Task Clustering
University of Virginia（弗吉尼亚大学）
Meta-强化学习（meta-RL）旨在通过利用先前任务的知识来快速解决新任务。然而，以往的研究往往假设一个单一的模式均匀的任务分布，忽略了可能的结构异质性任务之间。利用这种结构可以更好地促进相关任务之间的知识共享，从而提高样本效率。在本文中，我们通过聚类来探索任务之间的结构化异构性，以改善元RL。我们开发了一个专门的探索性政策，发现任务结构，通过分而治之。所识别的聚类的知识有助于缩小任务特定信息的搜索空间，从而导致更样本有效的策略自适应。在各种MuJoCo任务上的实验表明，该方法可以在奖励和状态动态中有效地解开集群结构，证明了对一组最先进的基线的强大优势。
2023-02-15 cs.AI cs.LG cs.RO
Leveraging Knowledge and Reinforcement Learning for Enhanced Reliability of Language Models
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
针对语言模型可靠性被忽视的问题，提出知识引导的语言模型集成方法，用强化学习整合ConceptNet与Wikipedia的知识图谱嵌入，在9个GLUE数据集上可靠性与准确率均超现有最优水平。
2023-08-25 cs.AI cs.CL cs.IR
Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics
University of Toronto（多伦多大学）；Tsinghua University（清华大学）
本文提出残差奖励模型（RRM），将环境真实奖励拆分为先验奖励与学习奖励之和，可提升机器人领域基于偏好的强化学习的样本效率，在仿真与物理机器人实验中均优于基准方法。
2026-08-28 cs.AI cs.LG cs.RO
Leveraging Sub-Optimal Data for Human-in-the-Loop Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
本文提出次优数据预训练方法SDP，通过用环境最小奖励伪标记低质量数据来预训练奖励模型，从而减少人在回路强化学习对人类交互的需求，并在多种模拟机器人任务上显著提升性能。
2025-04-07 cs.AI cs.LG cs.RO
Leveraging human Domain Knowledge to model an empirical Reward function for a Reinforcement Learning problem
Persistent Systems Ltd.（持久系统公司）
传统的强化学习（RL）问题依赖于一个详尽的仿真环境，该环境对问题的真实物理进行建模，并通过观察该环境来训练RL代理。在本文中，我们提出了一种新的方法来创建一个环境，通过建模的奖励功能的基础上提取的经验规则，从人类领域的知识系统的研究。利用这个经验奖励函数，我们将建立一个环境和训练代理。我们将首先创建一个环境，模拟通过恒温器设置机舱温度的效果。这通常在RL问题中通过创建具有详细热力学研究的系统的详尽模型来完成。相反，我们提出了一个经验的方法来模拟奖励功能的基础上人类领域的知识。我们将记录一些我们通常在设置恒温器温度时使用的经验法则，并尝试将其建模为我们的奖励函数。将经验人类领域规则建模为RL的奖励函数是本文的独特之处。这是一个连续的行动空间问题，使用深度确定性策略梯度（DDPG）方法，我们将解决最大化的奖励函数。我们将创建一个策略网络，该网络在给定外部温度和湿度的情况下预测最佳温度设定值。
2019-09-16 cs.AI cs.LG cs.SY
TransfQMix: Transformers for Leveraging the Graph Structure of Multi-Agent Reinforcement Learning Problems
协调是多智能体强化学习（MARL）中最困难的方面之一。一个原因是，代理通常选择他们的行动彼此独立。为了看到从独立的政策的组合出现的协调策略，最近的研究集中在使用一个集中的功能（CF），学习每个代理的贡献，团队奖励。然而，环境呈现给代理和CF的结构通常被忽视。我们已经观察到，用于描述协调问题的特征可以表示为潜在图结构的顶点特征。在这里，我们提出了TransfQMix，一种新的方法，使用Transformers来利用这种潜在的结构，并学习更好的协调策略。我们的Transformer代理对可观察实体的状态执行图形推理。我们的Transformer Q-mixer从一个更大的图中学习单调混合函数，该图包括代理的内部和外部状态。TransfQMix被设计为完全可转移的，这意味着相同的参数可以用于控制和训练更大或更小的代理团队。这使得部署有前途的方法，以节省培训时间，并在MARL中获得一般政策，如迁移学习，zero-shot迁移，和课程学习。我们报告TransfQMix在Spread和StarCraft II环境中的表现。在这两种情况下，它都优于最先进的Q-Learning模型，并且在解决其他方法无法解决的问题方面表现出了有效性。
2023-01-13 cs.AI cs.LG cs.MA
LaMOuR: Leveraging Language Models for Out-of-Distribution Recovery in Reinforcement Learning
Seoul National University（首尔大学）
LaMOuR利用语言模型生成密集奖励代码，引导智能体从分布外状态恢复，无需不确定性估计，在多种运动任务及复杂环境中显著提升恢复效率。
2025-03-28 cs.AI cs.RO
Is Feedback All You Need? Leveraging Natural Language Feedback in Goal-Conditioned Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Heriot-Watt University（赫瑞-瓦特大学）
本文扩展 BabyAI 自动生成自然语言反馈，并改造 Decision Transformer 利用该信号，证明其可替代或补充回报与目标描述，提升目标条件 RL 智能体的泛化能力。
2023-12-07 cs.AI cs.CL
Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models
研究在大规模视觉-语言-动作模型中，通过将离线监督纳入强化学习，结合离线与在线训练优点，提升训练效率。经实验验证，该混合方法在保持强大分布外能力的同时，所需训练预算减半，实现效率与性能双赢。
2026-07-23 cs.AI cs.CV cs.LG
Internalizing Outcome Supervision into Process Supervision: A New Paradigm for Reinforcement Learning for Reasoning
Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
提出一种监督内化方法，使模型在仅结果监督下自动提取过程级学习信号，实现细粒度策略优化。
2026-05-23 cs.AI cs.CL cs.LG
IA2: Leveraging Instance-Aware Index Advisor with Reinforcement Learning for Diverse Workloads
University of Cambridge（剑桥大学）
提出基于深度强化学习的实例感知索引顾问 IA2，通过 TD3-TD-SWAR 模型与自适应动作掩码高效选择索引，在 TPC-H 上显著降低运行时并优于现有方法。
2024-04-10 cs.AI cs.DB
Leveraging Sequentiality in Reinforcement Learning from a Single Demonstration
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
本文提出利用顺序性偏置，通过单次演示学习目标条件策略，并设计DCIL-II算法解决连续目标兼容性问题，以高样本效率完成人形机器人行走、站立及Cassie快速奔跑等复杂任务。
2023-04-17 cs.AI cs.RO
Leveraging Event Streams with Deep Reinforcement Learning for End-to-End UAV Tracking
IMT Atlantique（IMT大西洋理工大学）；Polytechnic School of Tunisia (EPT)（突尼斯理工学院（EPT））
本文提出一种基于事件相机和端到端深度强化学习的无人机主动跟踪方法，直接将事件流映射为控制动作，并通过域随机化仿真训练，在快速目标与变化光照等挑战场景中验证了其有效性和泛化能力。
2024-10-03 cs.AI cs.NE cs.RO
Leveraging Offline Data in Online Reinforcement Learning
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
针对兼具离线数据与在线交互的FineTuneRL设定，研究线性结构MDP下的最优在线样本量，提出可证明最优的FTPedel算法，证实结合离线与在线模式的性能优势并厘清两类学习的形式差异。
2023-07-20 cs.AI cs.LG stat.ML
Leveraging Deep Reinforcement Learning for Metacognitive Interventions across Intelligent Tutoring Systems
North Carolina State University（北卡罗来纳州立大学）
本文通过两项课堂实验比较静态分类干预与DRL自适应元认知干预，发现DRL能缩小学生元认知差距，并促进其在后续无干预辅导系统中的迁移学习。
2023-04-17 cs.AI cs.CY cs.HC
Sample-Efficient Reinforcement Learning with Temporal Logic Objectives: Leveraging the Task Specification to Guide Exploration
Washington University in St. Louis（圣路易斯华盛顿大学）
本文针对LTL任务下未知MDP的样本效率问题，提出一种任务驱动探索的加速强化学习算法，显著提升学习速度，并通过理论与实验验证其优势随任务复杂度和MDP规模增大而增强。
2024-10-16 cs.AI cs.RO
Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization
University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
现实世界的任务往往是高度结构化的。分层强化学习（HRL）作为一种在强化学习（RL）中利用给定任务的分层结构的方法引起了研究兴趣。然而，识别增强RL性能的分层策略结构并不是一项微不足道的任务。在本文中，我们提出了一种HRL方法，该方法使用互信息最大化来学习分层策略的潜在变量。我们的方法可以被解释为一种学习状态-动作空间的离散和潜在表示的方法。为了学习对应于优势函数模式的期权策略，我们引入了加权重要性采样。在我们的HRL方法中，门控策略学习选择基于选项价值函数的选项策略，并且这些选项策略基于确定性策略梯度方法被优化。这个框架是通过利用标准RL中的整体策略和HRL中的分层策略之间的类比，通过使用确定性选项策略而得出的。实验结果表明，我们的HRL方法可以学习的选项的多样性，它可以提高RL在连续控制任务的性能。
2019-03-07 cs.AI cs.LG stat.ML
Leveraging LLMs for reward function design in reinforcement learning control tasks
LEARN-Opt通过自主设计奖励函数，无需人工干预或环境代码，提升强化学习任务的效率和泛化能力。
2025-11-24 cs.AI cs.LG cs.RO
Multiplicative Controller Fusion: Leveraging Algorithmic Priors for Sample-efficient Reinforcement Learning and Safe Sim-To-Real Transfer
Australian Centre for Robotic Vision at Queensland University of Technology (QUT)（昆士兰科技大学澳大利亚机器人视觉中心）
对于机器人中的许多问题，基于学习的方法通常优于手工编码的算法解决方案。然而，在真实的机器人硬件上学习长时间任务可能是棘手的，并且将学习的策略从模拟转移到现实仍然具有极大的挑战性。我们提出了一种新颖的无模型强化学习方法，可以在训练和部署期间利用现有的次优解决方案作为算法先验。在训练过程中，我们的门控融合方法使先验知识能够指导探索的初始阶段，提高样本效率，并能够从稀疏的长视野奖励信号中学习。重要的是，由于先验的影响是逐渐退火的，因此该策略可以学习改进次优先验的性能。在部署过程中，策略的不确定性提供了一个可靠的策略，通过在不确定的状态下返回到先前的控制器，将模拟训练的策略转移到现实世界中。我们展示了我们的乘法控制器融合方法在机器人导航任务上的有效性，并展示了从模拟到现实世界的安全转移，而无需任何微调。该项目的代码可在https://sites.google.com/view/mcf-nav/home上公开获取
2020-07-27 cs.AI cs.RO
Maximum Entropy Model Correction in Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Amazon（亚马逊）
本文提出最大熵模型校正（MoCo）方法及MoCoVI、MoCoDyna算法，通过校正近似模型的下一状态分布，在利用近似模型加速收敛的同时仍保证收敛到正确价值函数。
2023-11-29 cs.AI cs.LG cs.SY
Leveraging Optimal Transport for Enhanced Offline Reinforcement Learning in Surgical Robotic Environments
Institute for Intelligent Systems Research and Innovation (IISRI)（智能系统研究与创新研究所）；Deakin University（迪肯大学）
本文提出最优传输奖励（OTR）标注算法，利用少量专家演示为离线轨迹分配奖励，无需人工设计，并在手术机器人仿真平台SurRoL上验证其有效性，以加速离线强化学习部署。
2023-10-13 cs.AI cs.RO stat.ML
SLMFix: Leveraging Small Language Models for Domain Specific Language Error Fixing with Reinforcement Learning
SLMFix通过强化学习微调小型语言模型，有效修复LLMs生成代码的语法错误，提升领域特定语言代码质量，优于传统微调方法。
2026-09-28 cs.AI cs.PL cs.SE
ReCorD: Reasoning and Correcting Diffusion for HOI Generation
Natl. Taiwan Univ.（台湾大学）；Natl. Yang Ming Chiao Tung Univ.（阳明交通大学）
提出免训练方法ReCorD，结合Latent Diffusion Models与Visual Language Models，通过交互感知推理与交互纠正模块优化姿态与物体放置，在三个基准上显著提升人机交互图像生成的准确性与保真度。
2024-07-25 cs.AI cs.CV cs.MM
Reinforcement Learning for Sequence Design Leveraging Protein Language Models
McGill University（麦吉尔大学）；Araya Inc.（Araya公司）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；BRAC University（BRAC大学）；Bangladesh University of Engineering and Technology（孟加拉工程技术大学）；Dreamfold（Dreamfold公司）；CIFAR AI Chair（加拿大高级研究所人工智能主席项目）；University of Calgary（卡尔加里大学）
针对药物发现中的蛋白质序列设计问题，提出利用蛋白质语言模型（PLMs）作为奖励函数，通过强化学习训练突变策略，并采用周期性微调的较小代理模型以降低计算成本，实验证明该方法在生物合理性和多样性上表现优异且开源。
2024-11-16 cs.AI cs.LG q-bio.BM
