Iterative Model-Based Reinforcement Learning Using Simulations in the Differentiable Neural Computer
FiveAI（FiveAI公司）；The University of Edinburgh（爱丁堡大学）
我们提出了一个终身学习的体系结构，神经计算机代理（NCA），其中强化学习代理与由微分神经计算机（DNC）学习的环境预测模型配对。代理和DNC模型迭代地结合训练。代理在由DNC模型生成的模拟中改进其策略，并将策略推出到实时环境，收集环境的新部分或任务中的经验以供进一步学习。在两个合成环境中的实验表明，DNC模型可以不断学习像素单独模拟新的任务，因为他们遇到的代理，而代理可以成功地训练，以解决任务完全使用近端策略优化在模拟。
2019-06-17 cs.LG stat.ML
MORPH: Design Co-optimization with Reinforcement Learning via a Differentiable Hardware Model Proxy
Columbia University（哥伦比亚大学）
本文提出 MORPH 方法，利用始终可微的硬件模型代理和强化学习，协同优化硬件参数与长时域控制策略，并在二维到达和三维多指操作任务中验证。
2023-09-29 cs.AI cs.LG cs.RO
Joint Differentiable Optimization and Verification for Certified Reinforcement Learning
Northwestern University（西北大学）；UC Berkeley（加州大学伯克利分校）；University of Liverpool（利物浦大学）；Yale University（耶鲁大学）
在用于安全关键控制系统的基于模型的强化学习中，重要的是正式证明系统属性（例如，安全性、稳定性）。然而，由于现有的方法通常应用形式化验证\emph{after}，控制器已经被学习，有时很难获得任何证书，即使在学习和验证之间的多次迭代之后。为了应对这一挑战，我们提出了一个框架，通过制定和解决一个新的双层优化问题，这是可区分的梯度从价值函数和证书，联合进行强化学习和形式化验证。各种例子上的实验表明，我们的框架显着的优势，基于模型的随机值梯度（SVG）的方法和无模型的近端策略优化（PPO）的方法在寻找可行的控制器，障碍功能和李雅普诺夫函数，确保系统的安全性和稳定性。
2023-03-21 cs.LG cs.SY eess.SY
Optimization Methods for Interpretable Differentiable Decision Trees in Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；University of Toronto（多伦多大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
决策树因其易用性和可解释性而在机器学习中无处不在。然而，这些模型通常不用于强化学习，因为它们不能通过随机梯度下降在线更新。我们克服了这一限制，允许在整个树，提高样本的复杂性，提供可解释的政策提取梯度更新。首先，我们包括政策梯度学习的需要，通过检查梯度下降的性质可微决策树的理论动机。其次，我们证明了我们的方法在所有领域都等同于或优于神经网络，并且可以在线学习离散的决策树，其平均奖励比批量训练的决策树高出7倍。第三，我们进行了一项用户研究，以量化决策树，规则列表和神经网络的可解释性与统计上显着的结果（$p < 0.001$）。
2020-06-25 cs.LG stat.ML
Average-Reward Reinforcement Learning with Trust Region Methods
Tsinghua University（清华大学）；University College London（伦敦大学学院）；Sun Yat-sen University（中山大学）
大多数强化学习算法都对折扣准则进行了优化，这有利于加快收敛速度和减小估计的方差。虽然贴现准则适用于某些任务，如财务相关的问题，许多工程问题对待未来的回报平等，更喜欢一个长期的平均标准。本文研究了长期平均准则下的强化学习问题。首先，我们发展了一个统一的信赖域理论与折扣和平均标准，并推导出一个新的性能界的信赖域内的扰动分析（PA）理论。其次，我们提出了一个实用的算法平均策略优化（APO），它改善了价值估计的一种新的技术，称为平均值约束。最后，在连续控制环境MuJoCo中进行了实验。在大多数任务中，APO的性能优于折扣PPO，这证明了我们的方法的有效性。我们的工作提供了一个统一的框架信任区域的方法，包括折扣和平均标准，这可能会补充框架的强化学习超出折扣的目标。
2021-11-01 cs.AI cs.LG
Labeled TrustSet Guided: Batch Active Learning with Reinforcement Learning
Prime Video, Amazon（亚马逊Prime视频）；Nvidia（英伟达）
本文提出BRAL-T框架，结合TrustSet和强化学习，解决批量主动学习中样本选择的不确定性与多样性平衡问题，提升模型性能和数据效率。
2026-04-14 cs.LG
Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems
Charles River Analytics（查尔斯河分析公司）
我们考虑的问题，提供用户的深度强化学习（RL）为基础的系统，更好地了解他们的输出时，可以信任。我们提供了一个可解释的人工智能（XAI）框架，它提供了三重解释：在当前游戏状态下系统泛化和性能的图形描述，代理在语义相似的环境中的表现如何，以及图形信息意味着什么的叙述性解释。我们为XAI框架创建了一个用户界面，并通过人类用户实验评估了其有效性。结果表明，与没有解释的AI系统相比，用户对解释的AI系统的信任和接受度在统计上显著增加。
2021-06-07 cs.AI cs.LG
Fast Adaptation with Meta-Reinforcement Learning for Trust Modelling in Human-Robot Interaction
Uppsala University（乌普萨拉大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
在社会辅助机器人中，一个重要的研究领域是适应技术的发展及其对人机交互的影响。我们提出了一个基于元学习的策略梯度方法，用于解决人与机器人交互中的适应问题，并研究其作为信任建模机制的作用。通过在混合现实中与机器人建立一个逃生室场景，我们测试了我们的假设，即双向信任可以受到不同的适应算法的影响。我们发现，我们提出的模型增加了机器人的感知可信度，并影响了获得人类信任的动态。此外，参与者评价说，机器人认为他们更值得信赖的互动过程中与元学习为基础的适应相比，以前研究的统计适应模型。
2019-08-12 cs.HC cs.LG cs.RO
Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation
University of Toronto（多伦多大学）；New York University（纽约大学）；Vector Institute（向量研究所）
在这项工作中，我们建议使用最近提出的Kronecker因子近似曲率将信赖域优化应用于深度强化学习。我们扩展了自然策略梯度的框架，并建议使用Kronecker因子近似曲率（K-FAC）与信任区域优化演员和评论家，因此我们称我们的方法演员批评使用Kronecker因子信任区域（ACKTR）。据我们所知，这是第一个可扩展的信任区域自然梯度方法的演员批评的方法。它也是一种直接从原始像素输入学习连续控制中的非平凡任务以及离散控制策略的方法。我们在Atari游戏中的离散域以及MuJoCo环境中的连续域中测试了我们的方法。与以前的最先进的政策行动者-批评者方法相比，我们能够实现更高的回报和平均样本效率的2至3倍的改进。代码可在https://github.com/openai/baselines上获得
2017-08-18 cs.LG
Evaluating Reinforcement Learning Safety and Trustworthiness in Cyber-Physical Systems
University of Notre Dame（圣母大学）
针对CPS中RL组件安全案例构建困难的问题，本文提出SAFE-RL框架，采用设计科学方法支持基于RL的CPS开发、验证与安全部署，并在sUAS的三个RL应用中验证其有效性。
2025-03-12 cs.LG cs.SE
Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
学习有效和可解释的策略一直是强化学习（RL）中具有挑战性的任务，特别是在具有复杂场景的视觉RL环境中。虽然神经网络已经实现了具有竞争力的性能，但由此产生的策略通常是过度参数化的黑匣子，难以有效地解释和部署。最近的符号RL框架表明，高级特定于领域的编程逻辑可以被设计为处理策略学习和符号规划。然而，这些方法依赖于编码原语，几乎没有特征学习，当应用于高维视觉场景时，它们可能会遇到可扩展性问题，并且当图像具有复杂的对象交互时表现不佳。为了解决这些挑战，我们提出了\textit{Differentiable Symbolic Expression Search}（DiffSES），一种新的符号学习方法，发现离散的符号策略，使用部分可微优化。通过使用对象级抽象而不是原始像素级输入，DiffSES能够利用符号表达式的简单性和可扩展性优势，同时还结合了神经网络的优势，用于特征学习和优化。我们的实验表明，DiffSES能够生成比最先进的符号RL方法更简单，更可扩展的符号策略，减少了符号先验知识的数量。
2022-12-30 cs.AI cs.LG
Approximating Gradients for Differentiable Quality Diversity in Reinforcement Learning
University of Southern California（南加州大学）；New York University（纽约大学）
考虑一下训练具有强大能力的代理人的问题。一种方法是生成代理策略的多样化集合。训练可以被视为一个质量多样性（QD）优化问题，在这里我们搜索一组在量化行为方面不同的性能策略。最近的工作表明，可微质量多样性（DQD）算法大大加快QD优化时，精确的梯度。然而，代理策略通常假设环境是不可区分的。为了将DQD算法应用于训练代理策略，我们必须近似性能和行为的梯度。我们提出了当前最先进的DQD算法的两个变体，它们通过强化学习（RL）中常见的近似方法计算梯度。我们评估我们的方法对四个模拟运动任务。一种变体在结合QD和RL方面实现了与当前最先进的结果相当的结果，而另一种变体在两个运动任务中执行重复。这些结果深入了解了当前DQD算法在必须近似梯度的领域中的局限性。源代码可在https://github.com/icaros-usc/dqd-rl上获得
2022-04-15 cs.AI cs.LG cs.NE
Differentiable Quantum Architecture Search in Asynchronous Quantum Reinforcement Learning
Wells Fargo（富国银行）
本文提出DiffQAS-QRL方法，通过可微量子架构搜索自动设计量子电路参数与结构，并结合异步强化学习实现并行训练，在多环境中达到与手工设计电路相当的性能，降低了对量子专业知识的需求。
2024-07-25 cs.AI cs.DC cs.LG
Optimizing Differentiable Relaxations of Coreference Evaluation Metrics
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
共指评价指标很难直接优化，因为它们是不可微函数，不容易分解成基本决策。因此，大多数方法优化的目标只是间接相关的最终目标，导致次优性能。相反，我们提出了一种可微的放松，适合于基于梯度的优化，从而绕过了对交叉熵的强化学习或启发式修改的需要。我们表明，通过修改竞争性神经共指系统的训练目标，我们获得了很大的性能增益。这表明我们的方法可以被视为使用强化学习或计算成本更高的模仿学习的可行替代方案。
2017-06-22 cs.AI cs.CL cs.LG
Soft MPCritic: Value-Based Reinforcement Learning for Non-Differentiable Predictive Control
软MPCritic结合了强化学习与模型预测控制，通过价值空间学习和基于样本的规划实现高效控制，保留了规划 horizon 的有效性。
2026-10-14 cs.LG cs.SY eess.SY
Supported Trust Region Optimization for Offline Reinforcement Learning
Tsinghua University（清华大学）；Dalian University of Technology（大连理工大学）
针对离线强化学习的分布外问题，提出支撑信任区域优化（STR），在行为策略支撑内约束策略，保证策略改进，并在 MuJoCo 和 AntMaze 上取得最优性能。
2023-11-15 cs.AI cs.LG
Explainable Reinforcement Learning-based Home Energy Management Systems using Differentiable Decision Trees
IDLab；Ghent university（根特大学）；imec
本文提出一种基于可微决策树的强化学习方法，用于家庭能源管理，兼具可扩展性和可解释性，性能与标准RL相当，成本节省优于基线约20%。
2024-03-18 cs.LG cs.SY eess.SY
Differentiable Physics Models for Real-world Offline Model-based Reinforcement Learning
Technical University of Darmstadt（达姆施塔特工业大学）
基于基于模型的强化学习（MBRL）的一个局限性是利用学习模型中的错误。黑箱模型能够以高保真度拟合复杂的动力学，但其行为在数据分布之外是不确定的。基于物理的模型由于其信息结构的普遍有效性而更善于外推，但由于存在未建模的现象而不适合现实世界。在这项工作中，我们通过实验证明，对于离线基于模型的强化学习设置，如果机械结构已知，与高容量函数逼近器相比，基于物理的模型可能是有益的。基于物理的模型可以使用离线MBRL仅使用4分钟的采样数据来学习在物理操纵器上执行杯中球（BiC）任务。我们发现，黑盒模型始终为BiC产生不可行的政策，因为所有预测的轨迹都偏离到物理上不可能的状态，尽管可以访问比基于物理的模型更多的数据。此外，我们还将基于端到端自动微分的完整多体系统物理参数辨识方法推广到非完整系统。视频：https://sites.google.com/view/ball-in-a-cup-in-4-minutes/
2020-11-03 cs.LG cs.RO
Stabilizing Reinforcement Learning in Differentiable Multiphysics Simulation
Carnegie Mellon University（卡内基梅隆大学）
本文提出SAPO算法与Rewarped仿真平台，利用可微仿真的一阶解析梯度稳定强化学习，有效处理刚体和可变形体交互任务，超越现有基线。
2025-02-27 cs.AI cs.CV cs.LG
Differentiable Architecture Search for Reinforcement Learning
Google Research（谷歌研究院）
在本文中，我们调查的基本问题：在何种程度上是基于梯度的神经结构搜索（NAS）技术适用于RL？使用原始的DARTS作为一个方便的基线，我们发现，在非策略和策略RL算法的离散和连续动作空间环境中，与手动架构设计相比，离散架构可以实现高达250%的性能，仅需3倍的计算时间。此外，通过大量的消融研究，我们系统地验证了DARTS不仅在其超网阶段正确地增加了操作的权重，而且还逐渐提高了产生的离散单元的效率，比随机搜索高出30倍，这表明DARTS是改进RL架构的有效工具。
2022-11-15 cs.AI cs.CV cs.LG
Reciprocal Co-Training (RCT): Coupling Gradient-Based and Non-Differentiable Models via Reinforcement Learning
Department of Computer and Information Science, Fordham University（福特汉姆大学计算机与信息科学系）；Department of Neurology, Mass General Brigham（麻省总医院神经科）
本文提出互惠协同训练框架，通过强化学习耦合大语言模型与随机森林分类器，实现双向适应，提升医疗数据集上两种模型的性能。
2026-06-23 cs.CL cs.LG
DiffTORI: Differentiable Trajectory Optimization for Deep Reinforcement and Imitation Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
针对以往基于模型的强化学习的目标不匹配问题，提出将可微轨迹优化作为策略表示的DiffTORI方法，实现端到端学习，在多类机器人操作任务上性能优于现有最优方法。
2025-06-13 cs.AI cs.LG cs.RO
Trust-Region Method with Deep Reinforcement Learning in Analog Design Space Exploration
National Tsing Hua University（台湾清华大学）；MediaTek Inc.（联发科）
本文介绍了模拟设计空间搜索的新观点。为了最小化上市时间，这种努力比现有技术中定义的全局优化更好地被视为约束满足问题。我们将基于模型的代理，对比无模型学习，实现信任区域的战略。因此，简单的前馈网络可以用监督学习来训练，其中收敛相对微不足道。实验结果表明，数量级的改善搜索迭代。此外，适应PVT条件的前所未有的考虑。在台积电5/6 nm工艺的电路上，我们的方法实现了超越人类设计师的性能。此外，该框架已在工业环境中生产。
2021-12-02 cs.AI cs.LG
Do You Trust the Process?: Modeling Institutional Trust for Community Adoption of Reinforcement Learning Policies
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出信任感知的强化学习算法，在人道主义资源分配中建模制度信任，发现纳入信任可提升政策效果，并探讨配额制度以平衡公平与组织目标。
2025-10-24 cs.CY cs.LG cs.SI
TROLL: Trust Regions improve Reinforcement Learning for Large Language Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Microsoft Research（微软研究院）
TROLL通过引入基于信任区域的离散可微投影，改进了大型语言模型的强化学习训练，提升了训练速度、稳定性和最终成功率。
2026-02-23 cs.LG stat.ML
Parametric PDE Control with Deep Reinforcement Learning and Differentiable L0-Sparse Polynomial Policies
University of Twente（特文特大学）；Imperial College London（帝国理工学院）
针对参数化偏微分方程控制中深度强化学习策略参数过多、鲁棒性差、缺乏可解释性的问题，提出结合字典学习与可微L₀正则化的稀疏策略，在两类PDE任务上性能更优、可解释且能泛化到未知参数。
2024-10-09 cs.LG
Distributionally Safe Reinforcement Learning under Model Uncertainty: A Single-Level Approach by Differentiable Convex Programming
Mississippi State University（密西西比州立大学）
针对Wasserstein分布偏移下的安全强化学习双层优化难题，提出基于对偶转换与可微凸规划的单层端到端框架，显著提升一阶和二阶系统的安全保证。
2023-10-03 cs.LG cs.RO cs.SY
Trust-based Consensus in Multi-Agent Reinforcement Learning Systems
University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
本文研究多智能体强化学习中不可靠智能体对达成共识的影响，提出了一种去中心化信任机制RLTC，使智能体能独立选择通信邻居，有效应对不可靠智能体并提高共识成功率。
2024-05-30 cs.AI cs.LG cs.MA
BandPO: Bridging Trust Regions and Ratio Clipping via Probability-Aware Bounds for LLM Reinforcement Learning
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
BandPO通过概率感知边界解决大语言模型强化学习中的探索瓶颈，提升性能并缓解熵崩溃问题。
2026-03-05 cs.AI cs.LG
Inverse reinforcement learning for autonomous navigation via differentiable semantic mapping and planning
University of California San Diego（加州大学圣地亚哥分校）
本文重点研究了利用距离和语义类别观测值进行自主导航的逆强化学习。我们的目标是推断一个成本函数，解释演示的行为，而只依赖于专家的意见和状态控制轨迹。我们开发了一个映射编码器，从观察序列中推断语义类别概率，以及一个成本编码器，定义为语义特征上的深度神经网络。由于专家成本是不能直接观察到的，模型参数只能通过区分证明的控制和从成本估计计算的控制策略之间的误差来优化。我们提出了一个新的专家行为模型，使错误最小化，通过运动规划算法，使用封闭形式的次梯度计算只在一个子集的有希望的状态。我们的方法允许将学到的行为推广到具有语义类别的新空间配置的新环境。我们分析了我们的模型中的不同组成部分的minigrid环境。我们还证明了我们的方法学习遵循交通规则的自动驾驶CARLA模拟器依赖于建筑物，人行道和道路车道的语义观察。
2021-01-01 cs.LG cs.RO
Know your Trajectory -- Trustworthy Reinforcement Learning deployment through Importance-Based Trajectory Analysis
Clifford F（未知）；Devika Jay（未知）；Abhishek Sarkar（未知）；Satheesh K Perepu（未知）；Santhosh G S（未知）；Kaushik Dey（未知）；Balaraman Ravindran（未知）
本文提出基于重要性的轨迹分析框架，通过评估轨迹级状态重要性，提升强化学习部署的可信度和可解释性。
2025-12-07 cs.LG
TreeQN and ATreeC: Differentiable Tree-Structured Models for Deep Reinforcement Learning
University of Oxford（牛津大学）
将深度无模型强化学习无模型强化学习与在线规划相结合是建立在深度强化学习成功基础上的一种有前途的方法。事实证明，在先验已知过渡模型的环境中，使用前瞻树的在线规划是成功的。然而，在需要从数据中学习过渡模型的复杂环境中，学习模型的缺陷限制了它们在规划中的实用性。为了解决这些挑战，我们提出了TreeQN，这是一种可微分的递归树结构模型，可以作为深度RL中任何具有离散动作的价值函数网络的替代品。TreeQN通过在学习的抽象状态空间中递归地应用转换模型来动态地构建树，然后使用树备份来聚合预测的奖励和状态值以估计Q值。我们还提出了ATreeC，这是一个演员-评论家变体，它用softmax层增强了TreeQN，形成了一个随机策略网络。这两种方法都是端到端训练的，因此学习的模型在树中的实际使用中得到了优化。我们发现，TreeQN和ATreeC在推箱子任务上的表现优于n步DQN和A2 C，以及在多个Atari游戏上的n步DQN和价值预测网络（Oh et al. 2017）。此外，我们提出了消融研究，证明了不同的辅助损失对学习过渡模型的影响。
2018-03-08 cs.AI cs.LG cs.NE
Rethinking Ratio-Based Trust Regions for Policy Optimization in Multi-Agent Reinforcement Learning
Northeastern University（东北大学）；STR；University of California, Irvine（加州大学尔湾分校）
本文提出MARS方法，通过乘法对称几何屏障替代传统比率信任区域机制，提升多智能体策略优化性能。
2026-05-09 cs.LG
Interpretable reinforcement learning for heat pump control through asymmetric differentiable decision trees
IDLab Ghent University（根特大学IDLab）；imec；Daikin Europe NV（大金欧洲有限公司）
本文针对深度强化学习在家庭能源管理中的黑箱问题，提出一种非对称软微分决策树构建方法，通过按需扩展节点提升可解释性和性能，实现热泵控制的透明高效决策。
2025-06-02 cs.LG cs.SY eess.SY
SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering
Shanghai Jiao Tong University（上海交通大学）；University of California San Diego（加州大学圣地亚哥分校）；University of California Irvine（加州大学欧文分校）；National University of Singapore（新加坡国立大学）；Qing Yuan Research Institute（清源研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
提出SAM-RL系统，利用可微物理仿真与渲染对比真实图像自动更新模型并生成策略，允许机器人选择信息丰富的视角监控任务，在真实世界三项操作任务中验证了其有效性。
2023-05-23 cs.AI cs.CV cs.LG
Trustworthy and Explainable Deep Reinforcement Learning for Safe and Energy-Efficient Process Control: A Use Case in Industrial Compressed Air Systems
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）；Institute for Energy Efficiency in Production EEP, University of Stuttgart（生产能效研究所，斯图加特大学）；Institute of Industrial Manufacturing and Management IFF, University of Stuttgart（工业制造与管理研究所，斯图加特大学）
本文提出一种可信且可解释的深度强化学习方法，用于工业压缩空气系统的安全节能控制，通过多级可解释性流程实现策略的透明验证。
2025-12-20 cs.AI cs.LG cs.SY
Trust, Don't Trust, or Flip: Robust Preference-Based Reinforcement Learning with Multi-Expert Feedback
K. N. Toosi University of Technology（K. N. Toosi大学）；Amirkabir University of Technology（阿美尔卡比尔技术大学）；The University of Tokyo（东京大学）
TriTrust-PBRL通过多专家反馈联合学习奖励模型和信任参数，实现对抗性偏好下的鲁棒偏好强化学习。
2026-10-09 cs.AI cs.LG
Reinforcement Learning for SAR View Angle Inversion with Differentiable SAR Renderer
Fudan University（复旦大学）
本研究提出一种嵌入可微SAR渲染器（DSR）的交互式深度强化学习框架，通过利用图像序列和语义差异构建状态空间并设计多种奖励机制，有效解决了SAR图像视角反演中的数据稀缺与背景干扰问题，在跨域任务中表现优异。
2024-01-02 cs.LG eess.SP
TRC: Trust Region Conditional Value at Risk for Safe Reinforcement Learning
本文提出TRC方法，在信任域内对CVaR上界进行可微近似并迭代求解策略梯度子问题，实现安全强化学习，在多种机器人导航任务中性能提升1.93倍且约束全部满足。
2023-12-01 cs.LG cs.RO
Diffusion Policies creating a Trust Region for Offline Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对扩散Q学习训练推理慢、加速易降性能的问题，提出含扩散策略与单步策略的DTQL双策略方法，通过扩散信任域损失关联二者，在多数D4RL基准任务上性能更优且训练推理效率更高。
2024-10-31 cs.AI cs.LG
The Evidence Ladder for Reinforcement Learning in Healthcare: From Retrospective Policies to Trusted Interventions
本文提出用证据阶梯框架评估医疗保健中的强化学习，强调从回顾性策略到可信干预需逐级验证，并指出历史数据上的高分不等于临床改善，应将其视为社会技术系统中的干预而非单纯优化器。
2026-09-22 cs.LG
Natural Language Specification of Reinforcement Learning Policies through Differentiable Decision Trees
Georgia Institute of Technology（佐治亚理工学院）
本文提出一种人机协作框架，通过自然语言规范生成词汇决策树以热启动强化学习策略，在避免额外探索成本的同时实现了>80%的翻译准确率并匹配了基线性能。
2023-05-20 cs.AI cs.CL cs.LG
Trust Region Masking for Long-Horizon LLM Reinforcement Learning
针对LLM强化学习中因实现差异导致的off-policy误差随序列长度二次增长的问题，提出信任区域掩码（TRM）方法，通过掩码违反信任区域的整个序列，实现首个非平凡的长程单调改进保证。
2026-06-29 cs.AI cs.IT cs.LG
Three Pathways to Neurosymbolic Reinforcement Learning with Interpretable Model and Policy Networks
National Renewable Energy Lab（国家可再生能源实验室）
本文提出三种途径在强化学习中实现可微且可解释的模型与策略，揭示逻辑与学习的权衡及开放问题。
2024-02-07 cs.AI cs.LG
Differentiable Quantum Architecture Search for Quantum Reinforcement Learning
Ludwig Maximilians University（路德维希-马克西米利安大学）；Siemens AG（西门子股份公司）
本文首次将可微分量子架构搜索（DQAS）应用于量子强化学习，在车杆和冰湖环境中验证其能自动高效设计电路并显著优于人工设计电路。
2023-09-20 cs.LG quant-ph
Policy Gradient Method For Robust Reinforcement Learning
University at Buffalo（布法罗大学）
针对模型失配下的鲁棒强化学习问题，提出了第一种具有全局最优性保证和复杂性分析的策略梯度方法。鲁棒强化学习是学习一种对模拟器和真实环境之间的模型失配具有鲁棒性的策略。我们首先开发的强大的政策（子）梯度，这是适用于任何可微参数的政策类。我们证明了所提出的鲁棒策略梯度方法在直接策略参数化下渐近收敛于全局最优解。我们进一步开发了一个平滑的鲁棒策略梯度方法，并表明，要实现$ε$ -全局最优，复杂性是$\mathcal O(ε^{-3})$。然后，我们将我们的方法扩展到一般的无模型设置，并设计了可微参数的政策类和价值函数的鲁棒的演员-评论家方法。我们进一步刻画了它的渐近收敛性和样本复杂性。最后，我们提供了仿真结果来证明我们的方法的鲁棒性。
2022-05-15 cs.LG
Low Variance Trust Region Optimization with Independent Actors and Sequential Updates in Cooperative Multi-agent Reinforcement Learning
Human Machine Interaction Laboratory（人机交互实验室）
针对合作多智能体强化学习中顺序更新导致优势函数方差指数级增长的问题，提出裁剪目标控制优势波动上限，实现亚线性收敛到ε-纳什均衡，并在三个基准测试中优于基线方法。
2026-06-25 cs.LG cs.MA
An Invitation to Deep Reinforcement Learning
University of Tübingen, Tübingen AI Center（图宾根大学，图宾根人工智能中心）
本文以监督学习为基础，通过将强化学习视为其泛化形式，面向具备基础知识的读者系统介绍深度强化学习，使其能够理解PPO等前沿算法。
2025-05-09 cs.AI cs.LG
Constrained Meta-Reinforcement Learning for Adaptable Safety Guarantee with Differentiable Convex Programming
Mississippi State University（密西西比州立大学）
针对非平稳环境下带约束场景的AI安全与适配性难题，提出结合可微凸规划的逐次凸约束策略更新方法，实现带约束元学习的端到端微分，保障智能体快速适配新任务的同时满足安全约束。
2023-12-15 cs.AI cs.LG
FedDRL: A Trustworthy Federated Learning Model Fusion Method Based on Staged Reinforcement Learning
China University of Petroleum (East China)（中国石油大学（华东））；Digital Research Institute, ENN Group（新奥集团数字研究院）；Nanyang Technological University（南洋理工大学）
针对联邦学习中固定权重融合及恶意模型导致全局模型性能下降的问题，提出基于两阶段强化学习的FedDRL方法，先过滤恶意模型再自适应调整权重，实验证明其在保持精度的同时可靠性更高。
2024-03-19 cs.AI cs.LG
Efficient Off-Policy Safe Reinforcement Learning Using Trust Region Conditional Value at Risk
Seoul National University（首尔大学）
本文提出离策略TRC方法，通过新颖替代函数和自适应信赖域约束缓解分布偏移，在CVaR约束下实现样本高效的安全强化学习，并在仿真和真实机器人任务中快速满足安全约束且获得高回报。
2023-12-01 cs.AI cs.LG
Trust Region-Based Safe Distributional Reinforcement Learning for Multiple Constraints
Seoul National University（首尔大学）；Chung-Ang University（中央大学）
提出基于信任区域的安全分布强化学习算法SDAC，通过梯度集成和TD(λ)目标分布处理多约束与风险规避，实验显示在满足约束和减少违规方面显著优于基线。
2023-12-24 cs.AI cs.LG
Differentiable Model Predictive Control on the GPU
Toyota Research Institute（丰田研究院）
本文提出GPU加速的可微分MPC求解器，利用序列二次规划与三对角预条件PCG实现并行化，显著加速训练，并成功应用于极限驾驶中的稳健漂移任务。
2025-10-07 cs.LG cs.SY eess.SY
OptiGradTrust: Byzantine-Robust Federated Learning with Multi-Feature Gradient Analysis and Reinforcement Learning-Based Trust Weighting
School of Electrical and Computer Engineering, University of Tehran, Tehran, Iran（电气与计算机工程学院，德黑兰大学，德黑兰，伊朗）
OptiGradTrust通过多特征梯度分析和强化学习信任加权，提升联邦学习在拜占庭攻击和数据异质性下的鲁棒性和准确性。
2025-07-31 cs.AI cs.LG
