Distributionally Robust Offline Reinforcement Learning with Linear Function Approximation
Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）；Stanford University（斯坦福大学）；Sun Yat-sen University（中山大学）；New York University（纽约大学）
在阻碍强化学习（RL）应用于现实世界问题的原因中，有两个因素是关键的：有限的数据和测试环境（部署策略的真实环境）与训练环境（例如，模拟器）。本文试图解决这些问题，同时与分布式鲁棒离线RL，在那里我们学习一个分布式鲁棒的政策，使用从源环境中获得的历史数据，通过优化对最坏情况下的扰动。特别是，我们超越表格设置，并考虑线性函数逼近。更具体地说，我们考虑两种设置，一种是数据集被充分探索，另一种是数据集具有足够的最优策略覆盖范围。我们提出了两个算法--一个用于两个设置中的每一个--分别实现误差界$\tilde{O}(d^{1/2}/N^{1/2})$和$\tilde{O}(d^{3/2}/N^{1/2})$，其中$d$是线性函数近似中的维度，$N$是数据集中的轨迹数。据我们所知，他们提供了第一个非渐近结果的样本复杂性在这种情况下。不同的实验进行证明我们的理论研究结果，显示我们的算法对非鲁棒性的优越性。
2023-01-27 cs.AI cs.LG stat.ML
Distributionally Adaptive Meta Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对元强化学习在测试时任务分布偏移下失效的问题，提出训练一组具备不同鲁棒性水平的元策略并自适应选择，以实现快速适应、降低遗憾值。
2023-07-10 cs.AI cs.LG
Imagine Beyond! Distributionally Robust Auto-Encoding for State Space Coverage in Online Reinforcement Learning
Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、信息科学研究所）
针对在线视觉强化学习中自编码器潜在空间状态覆盖不足的问题，提出结合$β$-VAE与分布鲁棒优化的DRAG方法，通过对抗性神经加权器施加分布偏移，显著提升了困难探索环境中的状态覆盖与下游控制性能。
2025-11-04 cs.AI cs.LG
Distributionally Robust Reinforcement Learning
Criteo AI Lab（科韬人工智能实验室）
现实世界的应用程序需要RL算法安全地运行。在学习过程中，很可能代理执行次优操作，这可能导致系统的不安全/不良状态。在高维状态/动作空间中，由于低性能动作的数量增加，探索特别脆弱。在这项工作中，我们认为风险厌恶的探索近似RL设置。为了保证学习过程中的安全性，我们提出了分布式鲁棒策略迭代方案，提供了状态值的下界保证。我们的方法引入了一个动态的风险水平，以防止不良的决策，但保留收敛到最优的政策。我们的制定结果在一个有效的算法，占一个简单的重新加权的政策行动在标准的政策迭代计划。我们将我们的方法扩展到连续的状态/动作空间，并提出了一个实用的算法，分布鲁棒的软演员评论家，实现了不同的探索策略：它在短期内采取保守的行动，并在长期内乐观地探索。我们提供了有前途的连续控制任务的实验结果。
2019-06-14 cs.LG stat.ML
Minimax Optimal and Computationally Efficient Algorithms for Distributionally Robust Offline Reinforcement Learning
Duke University（杜克大学）
针对分布鲁棒离线强化学习，提出在线性参数化设定下实现函数逼近的极小极大最优与计算高效算法，并开创实例依赖的次优性分析，揭示了鲁棒离线RL中函数逼近的独特性与难度。
2025-03-03 cs.AI cs.LG stat.ML
Distributionally Robust Constrained Reinforcement Learning under Strong Duality
Tsinghua University（清华大学）；California Institute of Technology（加州理工学院）
针对分布鲁棒约束强化学习缺乏端到端收敛保证算法的问题，提出基于强对偶的首个可证明高效的求解框架，揭示了该问题的固有结构并通过赛车基准实验验证有效性。
2024-06-22 cs.LG
Group Distributionally Robust Optimization-Driven Reinforcement Learning for LLM Reasoning
Tencent AI Lab in Bellevue WA USA（腾讯AI实验室（西雅图华盛顿州））
本文提出多对手组分布鲁棒优化框架，通过动态调整训练分布提升大语言模型推理性能，实现训练后精度提升10.6%和10.1%。
2026-01-27 cs.AI cs.CL cs.LG
Group Distributionally Robust Reinforcement Learning with Hierarchical Latent Variables
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
多任务强化学习（RL）在实践中的一个关键挑战是缺乏任务指标。鲁棒强化学习已被应用于处理任务模糊性，但可能会导致过于保守的政策。为了平衡最坏情况下（鲁棒性）和平均性能，我们提出了组分布鲁棒马尔可夫决策过程（GDR-MDP），一个灵活的分层MDP配方，通过潜在的混合模型编码任务组。GDR-MDP确定的最优策略，最大化的期望回报下的最坏可能的合格的信念在任务组内的模糊集。我们严格地表明，GDR-MDP的层次结构，提高了分布的鲁棒性，通过增加正则化的最坏的可能的结果。然后，我们为基于值和基于策略的RL方法开发了GDR-MDP的深度RL算法。在Box 2D控制任务、MuJoCo基准测试和Google足球平台上进行的大量实验表明，我们的算法在信念不确定性下的鲁棒性方面优于经典的鲁棒训练算法。演示可在我们的项目页面（\url{https://sites.google.com/view/gdr-rl/home}）上获得。
2022-10-21 cs.LG
Perturbation-mitigated USV Navigation with Distributionally Robust Reinforcement Learning
本文提出DRIQN，通过结合分布鲁棒优化与隐式分位数网络，提升USV在复杂环境下的导航鲁棒性与效率。
2025-11-08 cs.AI cs.RO
Distributionally Robust Multi-Agent Reinforcement Learning for Dynamic Chute Mapping
Amazon Robotics（亚马逊机器人公司）；Duke University（杜克大学）
针对亚马逊仓库包裹导入率动态不确定导致的再循环问题，提出结合分组 DRO 与上下文老虎机最坏分布预测的 DRMARL 框架，实现鲁棒滑槽映射并平均降低 80% 再循环。
2025-03-12 cs.LG cs.RO
Wasserstein Distributionally Robust Regret Optimization for Reinforcement Learning from Human Feedback
Department of Statistics and Operations Research, University of North Carolina（统计与运筹学系，北卡罗来纳大学）；Imperial Business School, Imperial College London（帝国理工学院伦敦商学院）；Department of Management Science and Engineering, Stanford University（管理科学与工程系，斯坦福大学）
本文提出Wasserstein分布鲁棒遗憾优化（DRRO）用于强化学习从人类反馈，通过简单分配模型研究提示问题，展示在ℓ1-地面成本Wasserstein模糊集下，内最坏遗憾有精确解，最优策略具有水填充结构，从而实现高效政策梯度算法。
2026-08-11 cs.CL cs.LG math.OC
Distributionally Robust Multi-Task Reinforcement Learning via Adaptive Task Sampling
Computer Sciences Department（计算机科学系）；University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
本文提出DRATS算法，通过自适应优先采样未被解决的任务，提升多任务强化学习的数据效率和最差任务性能。
2026-05-14 cs.LG
Improved Sample Complexity Bounds for Distributionally Robust Reinforcement Learning
Texas A&M University（德克萨斯农工大学）
本文研究分布式鲁棒强化学习问题，提出鲁棒分阶段价值学习（RPVL）算法，在四种散度下的不确定集中学习最坏模型的最优策略，实现了优于现有结果 $|\mathcal{S}|$ 倍的样本复杂度，并首次给出Wasserstein不确定集的样本复杂度结果。
2023-05-20 cs.AI cs.LG stat.ML
Purpose in the Machine: Do Traffic Simulators Produce Distributionally Equivalent Outcomes for Reinforcement Learning Applications?
本研究探究交通模拟器CityFlow和SUMO是否为强化学习应用产生分布等价结果，通过控制实验发现二者在RL相关指标上不具有分布等价性，强调理解模拟器间差异的必要性。
2023-11-14 cs.CE cs.LG
Sample-Efficient Distributionally Robust Multi-Agent Reinforcement Learning via Online Interaction
University of Central Florida（中佛罗里达大学）
本文提出MORNAVI算法，通过在线交互实现样本高效的分布鲁棒多智能体强化学习，提供首个可证明的保证，有效解决环境不确定性问题。
2026-03-01 cs.LG cs.MA
ORVIT: Near-Optimal Online Distributionally Robust Reinforcement Learning
Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Computer Science（计算机科学系）；University of Central Florida（中央佛罗里达大学）
针对训练部署分布失配问题，提出近最优在线分布鲁棒RL算法ORVIT，无需生成/离线数据，在f-散度模糊集下实现次线性regret并被证明近最优，实验提升最坏性能且符合理论保证。
2025-11-11 cs.LG
Distributionally Robust Off-Dynamics Reinforcement Learning: Provable Efficiency with Linear Function Approximation
Duke University（杜克大学）
本文首次研究带线性函数逼近的在线分布鲁棒MDP用于跨动力学强化学习，通过总变差距离设计d-矩形不确定性集消除非线性误差传播，提出DR-LSVI-UCB算法并证明其多项式次优性界与状态动作空间大小无关。
2024-02-23 cs.LG
Sample Complexity of Distributionally Robust Average-Reward Reinforcement Learning
本文提出两种算法，实现了分布鲁棒平均奖励强化学习的近最优样本复杂度，通过锚定状态稳定转移核并保证收敛性。
2026-02-01 cs.LG math.OC stat.ML
Distributionally Robust Model-Based Offline Reinforcement Learning with Near-Optimal Sample Complexity
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种基于模型的分布鲁棒离线强化学习算法，结合悲观原则与数据驱动惩罚，在表格RMDP上实现近最优样本复杂度，并证明其紧致性。
2023-12-28 cs.LG stat.ML
Upper and Lower Bounds for Distributionally Robust Off-Dynamics Reinforcement Learning
Duke University（杜克大学）
本文研究离线动力学强化学习的环境扰动问题，提出 We-DRIVE-U 算法，在分布鲁棒 MDP 框架下实现近似最优的平均次优性界，并通过稀有切换设计显著降低策略切换和预言机调用复杂度。
2024-09-30 cs.AI cs.LG stat.ML
Distributionally Robust Token Optimization in RLHF
Department of System Engineering（系统工程系）；Boston University（波士顿大学）；Department of Math & Statistics（数学与统计学系）
本文提出DRTO方法，结合RLHF与DRO，通过构建f-散度模糊集增强策略优化中的困难响应段，提升多步骤推理任务在分布变化下的一致性。
2026-05-11 cs.AI cs.LG
Interactive Distributionally Robust Multi-Agent Learning with General Function Approximation
针对多智能体强化学习中的模型误设问题，提出RoMEX-φ框架，结合均衡探索与对偶拟合学习，利用鲁棒MADC刻画复杂度，实现次线性鲁棒遗憾，并在实验中展现更强的鲁棒性。
2026-09-29 cs.AI cs.LG
Distributionally Safe Reinforcement Learning under Model Uncertainty: A Single-Level Approach by Differentiable Convex Programming
Mississippi State University（密西西比州立大学）
针对Wasserstein分布偏移下的安全强化学习双层优化难题，提出基于对偶转换与可微凸规划的单层端到端框架，显著提升一阶和二阶系统的安全保证。
2023-10-03 cs.LG cs.RO cs.SY
Distributional Robustness and Regularization in Reinforcement Learning
Technion（以色列理工学院）
分布鲁棒优化（DRO）已经证明了分类和回归中鲁棒性和正则化之间的等价性，从而提供了正则化在统计学习中推广良好的分析原因。虽然DRO的扩展到顺序决策克服了$\textit{external uncertainty}$通过强大的马尔可夫决策过程（MDP）设置，由此产生的公式是很难解决的，特别是在大的域。另一方面，由于随机性，强化学习中现有的正则化方法仅解决$\textit{internal uncertainty}$。我们的研究旨在通过建立鲁棒MDP和正则化之间的对偶关系来促进鲁棒强化学习。我们引入Wasserstein分布鲁棒MDPs，并证明他们持有样本的性能保证。然后，我们引入了经验值函数的一个新的正则化子，并证明了它是Wasserstein分布鲁棒值函数的下界。我们将结果推广到大状态空间的线性值函数近似。我们的方法提供了一种替代配方的鲁棒性，保证有限样本的性能。此外，它建议使用正则化作为在强化学习方法中处理$\textit{external uncertainty}$的实用工具。
2020-07-14 cs.LG math.OC stat.ML
Sample Complexity of Distributionally Robust Off-Dynamics Reinforcement Learning with Online Interaction
Duke University（杜克大学）
本文研究在线交互受限的离动态鲁棒强化学习，提出上确界访问比刻画探索难度，并设计首个计算高效且遗憾次线性的算法，同时证明其最优性并通过实验验证。
2025-11-07 cs.AI cs.LG cs.RO
Near-Optimal Sample Complexities of Divergence-based S-rectangular Distributionally Robust Reinforcement Learning
HKUST（香港理工大学）；University of Southern California（南加州大学）
本文研究了基于分歧的S-矩形分布鲁棒强化学习的经验价值迭代算法，推导出近优样本复杂性界，并通过实验验证了算法在鲁棒库存控制中的高效性。
2026-04-28 cs.LG stat.ML
Quantile Geometry Regularization for Distributional Reinforcement Learning
Information Hub, AI Thrust（信息中心，人工智能方向）
本文提出RQIQN方法，通过分位数估计视角改进分布性强化学习，解决分位数估计退化问题，提升风险敏感导航和Atari游戏性能。
2026-05-05 cs.AI cs.LG
DROMO: Distributionally Robust Offline Model-based Policy Optimization
Affiliated High School of South China Normal University（华南师范大学附属中学）
研究了基于模型控制的离线强化学习问题，其目标是从经验回放中学习一个动力学模型，并在学习的模型下获得一个面向悲观的智能体.当前基于模型的约束包括显式不确定性惩罚和隐式保守正则化，其将分布外状态-动作对的Q值向下推，而分布内状态-动作对的Q值向上推。虽然前者所依赖的不确定性估计可以对复杂动态进行松散校准，但后者的性能略好。为了扩展正则化的基本思想而不进行不确定性量化，我们提出了分布式鲁棒离线基于模型的策略优化（DROMO），它利用分布式鲁棒优化中的思想来惩罚超出标准经验分布外Q值最小化的更广泛的分布外状态-动作对。我们从理论上表明，我们的方法优化了地面实况政策评估的下限，它可以被纳入任何现有的策略梯度算法。我们还分析了DROMO的线性和非线性实例化的理论性质。
2021-09-15 cs.AI cs.LG
Distributionally Robust Average-Reward Reinforcement Learning: Finite-Sample Guarantees under Weak Communication
本文研究弱通信平均奖励分布鲁棒强化学习，提出无需先验知识的算法，给出估计鲁棒最优平均奖励和学习的样本复杂度保证，并验证了$n^{-1/2}$收敛速率。
2026-09-29 cs.LG math.OC stat.ML
On the Foundation of Distributionally Robust Reinforcement Learning
Department of Industrial and Systems Engineering, University of Southern California（工业与系统工程系，南加州大学）；Industrial Engineering and Decision Analytics, Hong Kong University of Science and Technology（工业工程与决策分析，香港科技大学）；Management Science and Engineering, Stanford University（管理科学与工程，斯坦福大学）；Stern School of Business, New York University（斯特恩商学院，纽约大学）
针对训练与部署环境变化下的鲁棒策略需求，本文构建含决策者与对手多属性的RMDP框架，研究DPP存在性并给出反例与渐近最优策略，完善DRRL理论基础。
2025-08-24 cs.LG cs.SY eess.SY
Optimistic Distributionally Robust Policy Optimization
University of Washington（华盛顿大学）
信任域策略优化（TRPO）和近端策略优化（PPO）作为广泛使用的基于策略的强化学习（RL）方法，由于将策略表示限制在特定的参数分布类，容易收敛到次优解。为了解决这个问题，我们开发了一个创新的乐观分布鲁棒策略优化（ODRPO）算法，它有效地利用乐观分布鲁棒优化（DRO）方法来解决信任域约束优化问题，而无需参数化的政策。我们的算法改进TRPO和PPO具有更高的样本效率和更好的性能的最终政策，同时获得学习稳定性。此外，它实现了一个全局最优的策略更新，这是不承诺在流行的基于策略的RL算法。跨表域和机器人运动任务的实验证明了我们的方法的有效性。
2020-06-14 cs.LG math.OC stat.ML
Distributionally Robust Reinforcement Learning with Interactive Data Collection: Fundamental Hardness and Near-Optimal Algorithms
Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）；Center for Data Science, Peking University（北京大学数据科学中心）；Department of Computer Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系）
针对强化学习中模拟与现实的差距，提出分布鲁棒强化学习，通过交互式数据收集应对挑战。因支持转移难题，引入消失最小值假设，给出近最优算法，扩展到新公式和博弈，应用于库存控制。
2026-07-14 cs.LG stat.ML
Double Pessimism is Provably Efficient for Distributionally Robust Offline Reinforcement Learning: Generic Algorithm and Robust Partial Coverage
Stanford University（斯坦福大学）；The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）
本文提出适用于分布鲁棒离线强化学习的双重悲观原理及通用算法框架$P^2MPO$，证明其在鲁棒部分覆盖数据下样本高效，还拓展至鲁棒马尔可夫博弈求解鲁棒纳什均衡。
2023-08-22 cs.AI cs.LG math.OC
Distributionally Robust Safety Filter for Learning-Based Control in Active Distribution Systems
Chung-Ang University（中央大学）
针对 DRL 智能体在主动配电系统训练中可能违反运行约束的问题，提出通用 DRSF，将其构建为含机会约束的分布鲁棒优化问题，以最小动作修正实现近优控制与概率安全保证，并在 IEEE 33/123 节点系统中验证。
2023-07-31 cs.AI cs.SY eess.SY
A Distributionally Robust Reinforcement Learning Framework for Constrained Urban EV Dispatch
College of Engineering and Computer Science, VinUniversity, Hanoi, Vietnam（VinUniversity 工程与计算机科学学院，河内，越南）；Center for Environmental Intelligence, VinUniversity, Hanoi, Vietnam（VinUniversity 环境智能中心，河内，越南）
针对城市电动汽车调度中充电站和馈线容量约束及不确定需求，提出基于半马尔可夫决策过程与分布鲁棒软演员-评论家算法，通过图卷积编码器和滚动混合整数线性规划保证可行性，在纽约出租车数据仿真中实现最高净利润且零违规。
2026-06-18 cs.AI
RLTF: Reinforcement Learning from Unit Test Feedback
Tencent（腾讯）
针对代码生成中强化学习探索不足及单元测试信号利用不充分的问题，提出在线RL框架RLTF，利用多粒度单元测试反馈实时优化代码LLM，在APPS和MBPP基准上达到最先进性能。
2023-11-13 cs.AI cs.CL cs.LG
Sample Complexity of Offline Distributionally Robust Linear Markov Decision Processes
Carnegie Mellon University（卡内基梅隆大学）；California Institute of Technology（加州理工学院）
本文研究高维状态-动作空间下离线分布鲁棒线性MDPs的样本复杂度，提出一种基于悲观模型的算法，在最小数据覆盖假设下比现有技术至少降低$\widetilde{O}(d)$的样本复杂度，并通过引入方差估计器进一步改进性能保证。
2024-06-27 cs.LG math.ST stat.TH
Reinforcement Learning for Bandit Neural Machine Translation with Simulated Human Feedback
University of Maryland（马里兰大学）；Microsoft Research, New York（微软研究院纽约分院）
机器翻译是基于人类反馈的强化学习的自然候选问题：用户对候选翻译提供快速、肮脏的评级，以指导系统进行改进。然而，目前的神经机器翻译训练集中在昂贵的人类生成的参考翻译上。我们描述了一种强化学习算法，它可以从模拟的人类反馈中改进神经机器翻译系统。我们的算法结合了优势行动者-批评者算法（Mnih等人，2016）与基于注意力的神经编码器-解码器架构（Luong等人，2015年）。该算法（a）针对具有大动作空间和延迟奖励的问题进行了良好的设计，（b）有效地优化了传统的语料库级别的机器翻译度量，以及（c）对在实际人类行为之后建模的倾斜，高方差，粒度反馈具有鲁棒性。
2017-11-11 cs.AI cs.CL cs.HC
A Finite Sample Complexity Bound for Distributionally Robust Q-learning
Stanford University（斯坦福大学）；The University of Chicago（芝加哥大学）；New York University（纽约大学）
本文针对训练与部署环境不一致的强化学习问题，扩展了分布鲁棒Q学习框架，改进多级蒙特卡洛估计器，并首次给出无模型鲁棒强化学习的有限样本复杂度上界。
2024-07-31 cs.LG stat.ML
Central Limit Theorem for Two-Time-Scale Approximate Distributionally Robust RL
Department of Industrial and Systems Engineering, University of Southern California（工业与系统工程系，南加州大学）
本文提出基于一阶展开的近似分布鲁棒强化学习框架，通过双重时间尺度设计的Mean-Variance随机逼近算法，解决了分布鲁棒强化学习中的鲁棒Bellman运算非线性及计算复杂性问题，并证明了算法的收敛性与中心极限定理。
2026-05-08 cs.LG math.OC
Sample Complexity of Variance-reduced Distributionally Robust Q-learning
Stanford University（斯坦福大学）；New York University（纽约大学）
本文提出分布鲁棒Q学习及其方差缩减版本，用于在分布偏移下学习鲁棒策略，并首次证明其样本复杂度上界与模糊集大小无关，为鲁棒强化学习提供了新的理论保证。
2024-09-04 cs.LG math.OC stat.ML
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Is Feedback All You Need? Leveraging Natural Language Feedback in Goal-Conditioned Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Heriot-Watt University（赫瑞-瓦特大学）
本文扩展 BabyAI 自动生成自然语言反馈，并改造 Decision Transformer 利用该信号，证明其可替代或补充回报与目标描述，提升目标条件 RL 智能体的泛化能力。
2023-12-07 cs.AI cs.CL
Influencing Reinforcement Learning through Natural Language Guidance
University of Kentucky（肯塔基大学）
交互式强化学习代理使用人类反馈或指令来帮助它们在复杂环境中学习。通常，这种反馈以正或负的离散信号的形式出现。虽然信息量很大，但这些信息本身可能很难概括。在这项工作中，我们将探讨如何自然语言的意见，可以用来提供一个更丰富的反馈信号，强化学习代理，通过扩展的政策塑造，一个著名的交互式强化学习技术。通常，策略形成采用人工反馈策略来帮助智能体更多地了解如何实现其目标。在我们的例子中，我们用基于自然语言建议生成的策略替换了这种人工反馈策略。我们的目标是检查生成的自然语言推理是否为深度强化学习代理提供支持，以在任何给定的环境中成功地决定其行动。因此，我们设计了三个网络的模型：第一个是经验驱动，第二个是建议生成器，第三个是建议驱动。当经验驱动的强化学习代理选择其受环境奖励影响的动作时，具有由建议生成器针对任何新状态生成的反馈的建议驱动的神经网络选择其动作以帮助强化学习代理更好地进行策略成形。
2021-04-11 cs.AI cs.LG
Reinforcement Learning from Denoising Feedback
Fudan University（复旦大学）；Ant Group（蚂蚁集团）；Hong Kong University of Science and Technology（香港科技大学）
提出RLDF方法，利用去噪反馈进行策略损失估计，通过优化中间噪声状态到裁剪干净状态并结合加权时间步采样，在扩散语言模型上提升性能和泛化性。
2026-06-05 cs.CL cs.LG
Reinforcement Learning with Feedback-modulated TD-STDP
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
尖峰神经元网络已成功地用于解决简单的强化学习任务，连续的动作集应用基于尖峰时间依赖可塑性（STDP）的学习规则。然而，这些模型中的大多数不能应用于具有离散动作集的强化学习任务，因为它们假设所选择的动作是神经元放电率的确定性函数，这是连续的。在本文中，我们提出了一个新的STDP为基础的学习规则的尖峰神经元网络，其中包含反馈调制。我们表明，基于STDP的学习规则可以用于解决强化学习任务与离散动作集的速度类似于标准的强化学习算法时，适用于CartPole和LunarLander任务。此外，我们证明了代理是无法解决这些任务，如果反馈调制从学习规则中省略。我们的结论是，反馈调制允许更好的信用分配时，只有单位有助于执行的行动和TD错误参与学习。
2020-08-29 cs.AI cs.LG stat.ML
NaRLE: Natural Language Models using Reinforcement Learning with Emotion Feedback
Microsoft（微软）
当前对话系统的研究主要集中在面向任务或开放域环境下的短对话上。在本文中，我们专注于在线改进基于任务的会话助理，主要是那些从事文档类型会话的助理（例如，电子邮件），其内容可能与助理的任务完全相关，也可能不完全相关。我们提出了“NARLE”一个深度强化学习（RL）框架，用于在线改进对话系统的自然语言理解（NLU）组件，而无需为客户数据收集人类标签。所提出的解决方案将用户情感与助理的动作相关联，并使用该情感来使用策略梯度改进NLU模型。对于两个意图分类问题，我们的经验表明，使用强化学习微调预训练的监督学习模型，提高性能高达43%。此外，我们证明了部分和噪声隐式反馈的方法的鲁棒性。
2021-10-05 cs.CL cs.LG
CANDERE-COACH: Reinforcement Learning from Noisy Feedback
University of Alberta（阿尔伯塔大学）；University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
提出CANDERE-COACH算法，通过噪声过滤机制处理非最优教师的在线反馈数据，使RL智能体在40%反馈错误时仍能成功学习。
2024-09-23 cs.AI cs.LG
Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards
研究基于大语言模型的作文评分与反馈生成，提出RLAES框架，通过强化学习联合优化。引入RFE评估框架，提出AGFO和ACR方法。实验表明RFE能捕捉一致性，RLAES-AGFO在评分性能上最佳，保持反馈质量同时避免反馈退化。
2026-07-22 cs.AI cs.CL
RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning
Meta AI (FAIR)（Meta AI（FAIR））
针对代码大语言模型迭代改进代码困难的问题，提出端到端强化学习方法RLEF以利用执行反馈，在竞赛编程任务上使8B和70B参数模型取得新SOTA，样本量减少一个数量级，且模型能多步有效利用自动反馈。
2025-02-18 cs.AI cs.CL
Offline Reinforcement Learning from Human Feedback in Real-World Sequence-to-Sequence Tasks
Google Research（谷歌研究院）；Heidelberg University（海德堡大学）；NEC Laboratories Europe（NEC欧洲实验室）
可以从部署在现实世界中的NLP系统中收集大量的交互日志。如何利用这些丰富的信息？在离线强化学习（RL）设置中使用这样的交互日志是一种有前途的方法。然而，由于NLP任务的性质和生产系统的限制，出现了一系列的挑战。我们对这些挑战进行了简要概述，并讨论了可能的解决方案。
2021-06-09 cs.CL cs.LG
Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection
LG AI Research（LG人工智能研究院）
针对RLHF导致的表面化对齐问题，提出RLRF框架，利用细粒度自我反思机制探索和优化响应，并通过RL算法微调模型，有效提升了LLMs在多项推理任务上的核心能力。
2024-03-21 cs.AI cs.CL
Explore, Exploit or Listen: Combining Human Feedback and Policy Model to Speed up Deep Reinforcement Learning in 3D Worlds
Georgia Institute of Technology（佐治亚理工学院）
我们描述了一种方法，通过扩展深度强化学习来建模人类反馈的置信度和一致性，使用离散人类反馈来增强虚拟三维环境中深度学习代理的性能。这使得深度强化学习算法能够确定最合适的时间来听取人类反馈，利用当前的策略模型或探索代理的环境。管理这三种策略之间的权衡允许DRL代理对不一致或间歇性的人类反馈具有鲁棒性。通过使用合成预言机的实验，我们证明了我们的技术提高了使用Minecraft导航三维环境的深度强化学习的训练速度和整体性能。我们进一步表明，我们的技术是强大的高度innacurate人类反馈，也可以操作时，没有人的反馈。
2021-06-22 cs.AI
Deep Reinforcement Learning with Feedback-based Exploration
Delft University of Technology（代尔夫特理工大学）
深度强化学习使人们能够控制日益复杂和高维的问题。然而，在获得合理的性能之前需要大量的数据，这阻碍了其广泛的应用。我们采用二进制校正反馈作为一种通用和直观的方式，将人类的直觉和领域知识的无模型机器学习。策略中的不确定性和校正反馈直接在动作空间中组合为概率条件探索。因此，可以避免大部分无知的学习过程。我们证明了所提出的方法，预测概率合并的政策（PPMP），结合DDPG。在OpenAI Gym的连续控制问题的实验中，我们在样本效率、最终性能和对错误反馈的鲁棒性方面都有了大幅提高，无论是人为反馈还是合成反馈。此外，我们还展示了超出所展示知识的解决方案。
2019-03-14 cs.AI cs.LG stat.ML
