Dynamic Backtracking in GFlowNets: Enhancing Decision Steps with Reward-Dependent Adjustment Mechanisms
Southwest Jiaotong University（西南交通大学）
针对GFlowNets在复杂采样空间探索易迷失方向、现有改进仅局限于局部搜索的问题，提出基于奖励的动态回溯变体DB-GFN，可纠正不利决策探索替代路径，在生化分子等生成任务上性能优于现有模型与传统强化学习方法，且具集成潜力。
2025-03-20 cs.LG
ASTRO: Teaching Language Models to Reason by Reflecting and Backtracking In-Context
AI at Meta（Meta人工智能）；University of Washington（华盛顿大学）
ASTRO框架利用MCTS生成的搜索轨迹微调Llama 3，并通过强化学习提升推理能力，在多个数学基准上取得显著性能提升。
2025-07-01 cs.AI cs.CL
RLTF: Reinforcement Learning from Unit Test Feedback
Tencent（腾讯）
针对代码生成中强化学习探索不足及单元测试信号利用不充分的问题，提出在线RL框架RLTF，利用多粒度单元测试反馈实时优化代码LLM，在APPS和MBPP基准上达到最先进性能。
2023-11-13 cs.AI cs.CL cs.LG
One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control
MAIS&NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统全国重点实验室&模式识别国家重点实验室）；Meituan（美团）；School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学前沿交叉科学学院）
提出OSOL方法，通过跨步控制缓解多域强化学习中的高阶干扰，利用相邻检查点的令牌足迹排序回弹风险并自适应修正，在Qwen3-30B-A3B上提升5.7%。
2026-09-09 cs.CL cs.LG
Reinforcement Learning for Bandit Neural Machine Translation with Simulated Human Feedback
University of Maryland（马里兰大学）；Microsoft Research, New York（微软研究院纽约分院）
机器翻译是基于人类反馈的强化学习的自然候选问题：用户对候选翻译提供快速、肮脏的评级，以指导系统进行改进。然而，目前的神经机器翻译训练集中在昂贵的人类生成的参考翻译上。我们描述了一种强化学习算法，它可以从模拟的人类反馈中改进神经机器翻译系统。我们的算法结合了优势行动者-批评者算法（Mnih等人，2016）与基于注意力的神经编码器-解码器架构（Luong等人，2015年）。该算法（a）针对具有大动作空间和延迟奖励的问题进行了良好的设计，（b）有效地优化了传统的语料库级别的机器翻译度量，以及（c）对在实际人类行为之后建模的倾斜，高方差，粒度反馈具有鲁棒性。
2017-11-11 cs.AI cs.CL cs.HC
TacticZero: Learning to Prove Theorems from Scratch with Deep Reinforcement Learning
Australian National University（澳大利亚国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61部门）
我们提出了一种使用深度强化学习的交互式定理证明（ITP）的新方法。所提出的框架能够学习证明搜索策略以及端到端方式的策略和参数预测。我们制定ITP的过程作为一个马尔可夫决策过程（MDP），其中每个状态代表一组潜在的衍生路径。这种结构使我们能够引入一种新的回溯机制，使代理有效地丢弃（预测）死端推导和重新启动有前途的替代品。我们在HOL4定理证明器中实现了该框架。实验结果表明，该框架优于现有的自动定理证明器（即，锤子）在HOL4中可用。我们进一步阐述了使用消融研究的框架的关键组成部分的作用。
2021-06-17 cs.AI cs.LG cs.LO
ARES: Alternating Reinforcement Learning and Supervised Fine-Tuning for Enhanced Multi-Modal Chain-of-Thought Reasoning Through Diverse AI Feedback
The Ohio State University（俄亥俄州立大学）
针对大语言模型现有反馈优化方法粒度粗的问题，提出两阶段算法ARES，交替结合句子级AI反馈的强化学习与错误修正的监督微调，提升多模态思维链推理效果与答案准确率。
2024-10-03 cs.AI cs.CL cs.LG
RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
Google DeepMind（谷歌DeepMind）；Google（谷歌）
本文系统对比了 RLAIF 与 RLHF，证明用现成 LLM 生成偏好训练奖励模型可达到与人类反馈相当的性能，并提出绕过奖励模型训练的直接 RLAIF（d-RLAIF）技术，为 RLHF 的可扩展性问题提供解决方案。
2024-09-03 cs.AI cs.CL cs.LG
Parameter Efficient Reinforcement Learning from Human Feedback
Google DeepMind（谷歌DeepMind）；Google（谷歌）
本研究提出将LoRA微调应用于奖励建模与强化学习的PE-RLHF方案，经多数据集基准测试，其性能与传统RLHF相当，却能显著降低训练时间与内存占用，推动大模型对齐技术的普及。
2024-09-12 cs.AI cs.CL cs.LG
Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
针对 RLHF 中奖励模型预测不准的问题，本文提出线性层集成和 LoRA 集成等高效奖励模型集成方法，并通过 Best-of-n 与 PPO 实验验证其能提升输出与人类价值观的对齐性能。
2024-10-22 cs.AI cs.CL cs.LG
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Is Feedback All You Need? Leveraging Natural Language Feedback in Goal-Conditioned Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Heriot-Watt University（赫瑞-瓦特大学）
本文扩展 BabyAI 自动生成自然语言反馈，并改造 Decision Transformer 利用该信号，证明其可替代或补充回报与目标描述，提升目标条件 RL 智能体的泛化能力。
2023-12-07 cs.AI cs.CL
Influencing Reinforcement Learning through Natural Language Guidance
University of Kentucky（肯塔基大学）
交互式强化学习代理使用人类反馈或指令来帮助它们在复杂环境中学习。通常，这种反馈以正或负的离散信号的形式出现。虽然信息量很大，但这些信息本身可能很难概括。在这项工作中，我们将探讨如何自然语言的意见，可以用来提供一个更丰富的反馈信号，强化学习代理，通过扩展的政策塑造，一个著名的交互式强化学习技术。通常，策略形成采用人工反馈策略来帮助智能体更多地了解如何实现其目标。在我们的例子中，我们用基于自然语言建议生成的策略替换了这种人工反馈策略。我们的目标是检查生成的自然语言推理是否为深度强化学习代理提供支持，以在任何给定的环境中成功地决定其行动。因此，我们设计了三个网络的模型：第一个是经验驱动，第二个是建议生成器，第三个是建议驱动。当经验驱动的强化学习代理选择其受环境奖励影响的动作时，具有由建议生成器针对任何新状态生成的反馈的建议驱动的神经网络选择其动作以帮助强化学习代理更好地进行策略成形。
2021-04-11 cs.AI cs.LG
Reinforcement Learning with Feedback-modulated TD-STDP
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
尖峰神经元网络已成功地用于解决简单的强化学习任务，连续的动作集应用基于尖峰时间依赖可塑性（STDP）的学习规则。然而，这些模型中的大多数不能应用于具有离散动作集的强化学习任务，因为它们假设所选择的动作是神经元放电率的确定性函数，这是连续的。在本文中，我们提出了一个新的STDP为基础的学习规则的尖峰神经元网络，其中包含反馈调制。我们表明，基于STDP的学习规则可以用于解决强化学习任务与离散动作集的速度类似于标准的强化学习算法时，适用于CartPole和LunarLander任务。此外，我们证明了代理是无法解决这些任务，如果反馈调制从学习规则中省略。我们的结论是，反馈调制允许更好的信用分配时，只有单位有助于执行的行动和TD错误参与学习。
2020-08-29 cs.AI cs.LG stat.ML
Reinforcement Learning from Denoising Feedback
Fudan University（复旦大学）；Ant Group（蚂蚁集团）；Hong Kong University of Science and Technology（香港科技大学）
提出RLDF方法，利用去噪反馈进行策略损失估计，通过优化中间噪声状态到裁剪干净状态并结合加权时间步采样，在扩散语言模型上提升性能和泛化性。
2026-06-05 cs.CL cs.LG
NaRLE: Natural Language Models using Reinforcement Learning with Emotion Feedback
Microsoft（微软）
当前对话系统的研究主要集中在面向任务或开放域环境下的短对话上。在本文中，我们专注于在线改进基于任务的会话助理，主要是那些从事文档类型会话的助理（例如，电子邮件），其内容可能与助理的任务完全相关，也可能不完全相关。我们提出了“NARLE”一个深度强化学习（RL）框架，用于在线改进对话系统的自然语言理解（NLU）组件，而无需为客户数据收集人类标签。所提出的解决方案将用户情感与助理的动作相关联，并使用该情感来使用策略梯度改进NLU模型。对于两个意图分类问题，我们的经验表明，使用强化学习微调预训练的监督学习模型，提高性能高达43%。此外，我们证明了部分和噪声隐式反馈的方法的鲁棒性。
2021-10-05 cs.CL cs.LG
CANDERE-COACH: Reinforcement Learning from Noisy Feedback
University of Alberta（阿尔伯塔大学）；University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
提出CANDERE-COACH算法，通过噪声过滤机制处理非最优教师的在线反馈数据，使RL智能体在40%反馈错误时仍能成功学习。
2024-09-23 cs.AI cs.LG
Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards
研究基于大语言模型的作文评分与反馈生成，提出RLAES框架，通过强化学习联合优化。引入RFE评估框架，提出AGFO和ACR方法。实验表明RFE能捕捉一致性，RLAES-AGFO在评分性能上最佳，保持反馈质量同时避免反馈退化。
2026-07-22 cs.AI cs.CL
RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning
Meta AI (FAIR)（Meta AI（FAIR））
针对代码大语言模型迭代改进代码困难的问题，提出端到端强化学习方法RLEF以利用执行反馈，在竞赛编程任务上使8B和70B参数模型取得新SOTA，样本量减少一个数量级，且模型能多步有效利用自动反馈。
2025-02-18 cs.AI cs.CL
Explore, Exploit or Listen: Combining Human Feedback and Policy Model to Speed up Deep Reinforcement Learning in 3D Worlds
Georgia Institute of Technology（佐治亚理工学院）
我们描述了一种方法，通过扩展深度强化学习来建模人类反馈的置信度和一致性，使用离散人类反馈来增强虚拟三维环境中深度学习代理的性能。这使得深度强化学习算法能够确定最合适的时间来听取人类反馈，利用当前的策略模型或探索代理的环境。管理这三种策略之间的权衡允许DRL代理对不一致或间歇性的人类反馈具有鲁棒性。通过使用合成预言机的实验，我们证明了我们的技术提高了使用Minecraft导航三维环境的深度强化学习的训练速度和整体性能。我们进一步表明，我们的技术是强大的高度innacurate人类反馈，也可以操作时，没有人的反馈。
2021-06-22 cs.AI
Offline Reinforcement Learning from Human Feedback in Real-World Sequence-to-Sequence Tasks
Google Research（谷歌研究院）；Heidelberg University（海德堡大学）；NEC Laboratories Europe（NEC欧洲实验室）
可以从部署在现实世界中的NLP系统中收集大量的交互日志。如何利用这些丰富的信息？在离线强化学习（RL）设置中使用这样的交互日志是一种有前途的方法。然而，由于NLP任务的性质和生产系统的限制，出现了一系列的挑战。我们对这些挑战进行了简要概述，并讨论了可能的解决方案。
2021-06-09 cs.CL cs.LG
Deep Reinforcement Learning with Feedback-based Exploration
Delft University of Technology（代尔夫特理工大学）
深度强化学习使人们能够控制日益复杂和高维的问题。然而，在获得合理的性能之前需要大量的数据，这阻碍了其广泛的应用。我们采用二进制校正反馈作为一种通用和直观的方式，将人类的直觉和领域知识的无模型机器学习。策略中的不确定性和校正反馈直接在动作空间中组合为概率条件探索。因此，可以避免大部分无知的学习过程。我们证明了所提出的方法，预测概率合并的政策（PPMP），结合DDPG。在OpenAI Gym的连续控制问题的实验中，我们在样本效率、最终性能和对错误反馈的鲁棒性方面都有了大幅提高，无论是人为反馈还是合成反馈。此外，我们还展示了超出所展示知识的解决方案。
2019-03-14 cs.AI cs.LG stat.ML
Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection
LG AI Research（LG人工智能研究院）
针对RLHF导致的表面化对齐问题，提出RLRF框架，利用细粒度自我反思机制探索和优化响应，并通过RL算法微调模型，有效提升了LLMs在多项推理任务上的核心能力。
2024-03-21 cs.AI cs.CL
HRLAIF: Improvements in Helpfulness and Harmlessness in Open-domain Reinforcement Learning From AI Feedback
Tencent PCG（腾讯平台与内容事业群）
针对基础RLAIF在开放域中导致响应满意度下降的问题，提出HRLAIF方法，通过增强AI注释准确性和AI红队测试，提升模型帮助性与无害性，使满意度较RL前提高2.08%。
2024-03-14 cs.AI cs.LG
Learning Variable Ordering Heuristics for Solving Constraint Satisfaction Problems
Shandong University（山东大学）；Singapore Institute of Manufacturing Technology（新加坡制造技术研究院）；Nanyang Technological University（南洋理工大学）；Southwest Jiaotong University（西南交通大学）
回溯搜索算法是求解约束满足问题的常用算法。回溯搜索的效率在很大程度上取决于变量排序算法。目前，最常用的化妆品是基于专业知识手工制作的。在本文中，我们提出了一种基于深度强化学习的方法来自动发现新的变量排序算法，这些算法更适合于给定的CSP实例类。我们表明，直接优化的搜索成本是很难引导，并建议优化的预期成本达到一个叶节点的搜索树。为了捕捉变量和约束之间的复杂关系，设计了一种基于图神经网络的CSP表示方案，可以处理不同大小和约束条件的CSP实例。随机CSP实例上的实验结果表明，学习的策略在最小化搜索树大小方面优于经典的手工算法，并且可以有效地推广到比训练中使用的更大的实例。
2021-12-25 cs.AI cs.LG
Reinforcement Learning with Feedback Graphs
Cornell University（康奈尔大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
我们研究了马尔可夫决策过程中的情景强化学习，当代理每一步都以几个过渡观察的形式接收额外的反馈时。这种额外的观察在一系列任务中通过扩展的传感器或关于环境的先验知识（例如，当某些行为产生类似的结果时）。我们使用状态-动作对的反馈图来正式化这种设置，并表明基于模型的算法可以利用额外的反馈来进行更有效的学习。我们给出了一个遗憾的界限，忽略对数因子和低阶项，仅取决于反馈图的最大非循环子图的大小，与多项式依赖的状态和动作的数量在没有反馈图。最后，我们强调挑战时，利用一个小的支配集的反馈图相比，强盗设置，并提出了一个新的算法，可以使用这样的支配集的知识，更样本有效的学习一个接近最优的政策。
2020-05-07 cs.AI cs.LG stat.ML
Interactively Teaching an Inverse Reinforcement Learner with Limited Feedback
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；INESC-ID（里斯本系统与计算机工程研究所）
本文针对教师无法访问学习器模型且反馈仅限指定起始状态轨迹的场景，提出一种结合主动风险价值、最大因果熵和难度分数比率的教导算法，并在模拟驾驶环境中验证其有效性。
2023-09-16 cs.AI cs.LG
On the Theory of Reinforcement Learning with Once-per-Episode Feedback
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）
我们研究了强化学习（RL）的理论，其中学习者在一集结束时只接收一次二进制反馈。虽然这是一个极端的理论测试案例，但它也可以说比RL实践中的传统要求更能代表现实世界的应用，即学习者在每个时间步都收到反馈。事实上，在强化学习的许多现实应用中，例如自动驾驶汽车和机器人技术，评估学习者的完整轨迹是“好”还是“坏”更容易，但在每一步提供奖励信号更难。为了证明在这种更具挑战性的环境中学习是可能的，我们研究了轨迹标签由未知参数模型生成的情况，并提供了一种统计和计算效率高的算法，实现了次线性遗憾。
2022-08-21 cs.AI cs.LG stat.ML
Governance Challenges in Reinforcement Learning from Human Feedback: Evaluator Rationality and Reinforcement Stability
University of Houston（休斯顿大学）；University of California College of the Law, San Francisco（加州大学旧金山法学院）；Cornell Law School, Cornell University（康奈尔大学法学院）
本研究探讨RLHF中评估者理性对强化稳定性的影响，通过实验发现高理性评估者反馈更一致，并提出预筛选、审计和加权聚合等治理措施以提升AI对齐的公平性与稳健性。
2025-04-17 cs.AI cs.CY
PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training
University of California, Berkeley（加州大学伯克利分校）
将复杂的目标传递给强化学习（RL）代理通常是困难的，涉及到精心设计的奖励函数，这些函数既有足够的信息，又很容易提供。人在回路RL方法允许从业者通过定制的反馈来交互式地教导代理;然而，由于人类反馈非常昂贵，因此这种方法在规模上具有挑战性。在这项工作中，我们的目标是使这个过程更有效的样本和反馈。我们提出了一个离政策，交互式强化学习算法，利用反馈和离策略学习的优势。具体来说，我们学习的奖励模型，积极查询教师的偏好之间的两个剪辑的行为，并用它来训练代理。为了实现离策略学习，当代理的奖励模型改变时，我们重新标记代理的所有过去经验。我们还表明，预训练我们的代理与无监督的探索大大增加了其查询的里程。我们证明，我们的方法是能够学习任务的复杂性比以前考虑的人在循环的方法，包括各种运动和机器人操作技能。我们还表明，我们的方法能够利用实时的人类反馈来有效地防止奖励剥削，并学习难以用标准奖励函数指定的新行为。
2021-06-09 cs.AI cs.LG
Privacy Preserving Reinforcement Learning with One-Sided Feedback
Nanyang Technological University（南洋理工大学）；National University of Singapore（国立新加坡大学）；Cornell SC Johnson College of Business（康奈尔大学SC Johnson商学院）
本文研究了在多维连续状态和动作空间中，代理仅接收状态部分观测并仅在每个时间步获得状态-动作空间子集奖励信息的强化学习问题，提出了一种新的隐私保护强化学习算法POOL，并通过理论分析证明其样本复杂度与非隐私强化学习的下界一致，展示了在保持高学习效率的同时实现强隐私保障的可行性。
2026-05-18 cs.AI cs.LG
Bootstrapping Exploration with Group-Level Natural Language Feedback in Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）
GOLF通过整合群体层面的自然语言反馈，提升强化学习的探索效率和样本效率，实现2.2倍的改进。
2026-03-04 cs.AI cs.CL
Provable Safe Reinforcement Learning with Binary Feedback
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
安全性在强化学习（RL）的许多应用中都是至关重要的，无论是机器人、汽车还是医疗。许多现有的安全RL方法依赖于接收数字安全反馈，但在许多情况下，这种反馈只能采用二进制值;也就是说，给定状态下的动作是安全的还是不安全的。当反馈来自人类专家时，情况尤其如此。因此，我们考虑可证明的安全RL的问题时，给予访问离线oracle提供二进制反馈的安全状态，动作对。我们提供了一种新的Meta算法，SABRE，它可以应用于任何MDP设置访问黑盒PAC RL算法的设置。SABRE应用从主动学习到强化学习的概念，以可证明地控制对安全预言的查询数量。SABRE通过迭代地探索状态空间来找到代理当前不确定安全性的区域。我们的主要理论结果表明，在适当的技术假设下，SABRE在训练过程中从不采取不安全的行动，并保证以高概率返回一个接近最优的安全策略。我们提供了一个讨论，我们的元算法可以应用到各种设置研究的理论和实证框架。
2022-10-26 cs.AI cs.LG stat.ML
Experiential Reinforcement Learning
University of Southern California（南加州大学）；Microsoft（微软公司）；University of Pennsylvania（宾夕法尼亚大学）
经验强化学习通过显式经验-反思-巩固循环提升语言模型在稀疏奖励环境中的学习效率和性能。
2026-02-15 cs.AI cs.LG
Reinforcement Learning via Self-Distillation
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；MIT（麻省理工学院）；Stanford（斯坦福大学）
通过自我蒸馏策略优化（SDPO）提升强化学习在可验证环境中的样本效率和准确性，利用自身反馈改进策略。
2026-02-16 cs.AI cs.LG
Towards Interactive Reinforcement Learning with Intrinsic Feedback
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文针对强化学习与脑机接口领域间未被充分探索的神经活动作为内在反馈的关键关联，提出教程式综述，涵盖其动机、方法、开放问题与基础概念，以推动相关研究的理解与应用。
2023-08-23 cs.AI cs.HC cs.LG
Deploying Offline Reinforcement Learning with Human Feedback
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent AI Lab（腾讯人工智能实验室）
强化学习（RL）在现实世界的应用中已经显示出对决策任务的承诺。一个实用的框架涉及从离线数据集训练参数化策略模型，然后将其部署到在线环境中。然而，这种方法可能存在风险，因为离线训练可能并不完美，导致RL模型的性能较差，可能会采取危险的行动。为了解决这个问题，我们提出了一个替代框架，涉及到一个人监督RL模型，并在在线部署阶段提供额外的反馈。我们正式这个在线部署问题，并开发两种方法。第一种方法使用模型选择和置信上限算法从训练的离线RL模型的候选集合中自适应地选择要部署的模型。第二种方法涉及在监督信号到达时在线部署阶段对模型进行微调。我们证明了这些方法的有效性，机器人运动控制和交通灯控制任务，通过实证验证。
2023-03-13 cs.AI cs.LG
LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs
MIT（麻省理工学院）
针对LLM强化学习中标量奖励浪费文本理据及在线反馈易泄露或导致崩溃的问题，提出LANPO，用语言反馈引导探索、数值奖励驱动优化，并显著提升数学推理性能。
2025-10-18 cs.AI cs.LG
Learning from Environmental Feedback: Credit Assignment across Multiple Timescales for Agentic Reinforcement Learning
针对智能体强化学习的奖励延迟稀疏问题，提出基于环境反馈的跨时间尺度信用分配方法EFCA，在ALFWorld和WebShop上提升了任务成功率与质量。
2026-08-11 cs.CL cs.LG
MulFeRL: Enhancing Reinforcement Learning with Verbal Feedback in a Multi-turn Loop
Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系，北京，中国）；Quancheng Laboratory（千晨实验室）
针对强化学习中标量奖励稀疏且缺乏信息的问题，提出MulFeRL框架，通过多轮语言反馈引导失败样本的再生、进度信用分配和结构化反馈注入，提升模型推理性能。
2026-05-30 cs.AI
SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）；UC Berkeley（加州大学伯克利分校）
基于偏好的强化学习（RL）已经显示出潜在的教学代理执行目标任务，而无需昂贵的，预定义的奖励函数，通过学习奖励与监督者的偏好之间的两个代理行为。然而，基于偏好的学习通常需要大量的人类反馈，这使得这种方法很难应用于各种应用程序。另一方面，这个数据效率问题通常通过在监督学习的上下文中使用未标记的样本或数据增强技术来解决。受这些方法最近取得的成功的启发，我们提出了SURF，这是一种半监督奖励学习框架，它利用大量未标记样本和数据增强。为了利用未标记样本进行奖励学习，我们根据偏好预测器的置信度推断未标记样本的伪标签。为了进一步提高奖励学习的标记效率，我们引入了一种新的数据增强，从原始行为中临时裁剪连续的连续性。我们的实验表明，我们的方法显着提高了反馈效率的最先进的基于偏好的方法在各种运动和机器人操作任务。
2022-03-18 cs.AI cs.LG
Online Preference-based Reinforcement Learning with Self-augmented Feedback from Large Language Model
Institute of Automation, CASIA（中国科学院自动化研究所）；Peng Cheng Laboratory（鹏城实验室）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）
提出RL-SaLLM-F方法，利用LLM生成自增强轨迹与偏好标签，结合双重检查机制，无需特权信息即可在在线PbRL中替代脚本化教师，实现高效反馈获取。
2024-12-22 cs.AI cs.LG
Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback
Anthropic（Anthropic公司）
我们应用偏好建模和基于人类反馈的强化学习（RLHF）来微调语言模型，以充当有用和无害的助手。我们发现这种对齐训练提高了几乎所有NLP评估的性能，并且与Python编码和总结等专业技能的训练完全兼容。我们探索了一种迭代的在线训练模式，其中偏好模型和强化学习策略每周更新一次，使用新鲜的人类反馈数据，有效地改进了我们的数据集和模型。最后，我们研究了RLHF训练的鲁棒性，并确定了RL奖励和策略与其初始化之间KL偏差的平方根之间的大致线性关系。除了我们的主要结果，我们进行周边分析校准，竞争的目标，并使用OOD检测，比较我们的模型与人类作家，并提供样本，从我们的模型使用提示出现在最近的相关工作。
2022-04-12 cs.CL cs.LG
Reinforcement Learning from Multi-level and Episodic Human Feedback
Elmore Family School of Electrical and Computer Engineering, Purdue University（电子与计算机工程学院，普渡大学）
本文提出一种基于多层级和情节级人类反馈的强化学习算法，通过每个情节结束时的评分学习奖励函数和最优策略，可处理非马尔可夫奖励，理论证明具有次线性遗憾，仿真验证了其有效性。
2025-04-25 cs.LG
Text2Grad: Reinforcement Learning from Natural Language Feedback
Text2Grad通过将自然语言反馈转化为跨度级梯度，提升语言模型的细粒度对齐和可解释性。
2026-01-27 cs.AI cs.CL
Coarse-Tuning Models of Code with Reinforcement Learning Feedback
Rice University（莱斯大学）；UT Austin（德克萨斯大学奥斯汀分校）；University of Wisconsin（威斯康星大学）
提出RLCF，用强化学习结合编译器和LLM反馈粗调代码模型，在Java任务上提升编译与执行正确率，达到更大模型性能。
2023-12-23 cs.AI cs.LG cs.PL
Towards Reinforcement Learning from Neural Feedback: Mapping fNIRS Signals to Agent Performance
本文提出通过fNIRS信号预测智能体表现，利用分类器和回归器提升RLHF性能，并验证了跨受试者泛化能力。
2026-02-08 cs.AI cs.LG
SIBRE: Self Improvement Based REwards for Adaptive Feedback in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
我们提出了一种通用的奖励塑造方法，用于提高强化学习（RL）的收敛速度，称为基于自我改进的奖励，或SIBRE。该方法被设计用于与任何现有的RL算法结合使用，并包括奖励改进代理自己的过去的表现。我们证明了SIBRE在与原RL算法相同的条件下按期望收敛。当原始奖励是弱歧视或稀疏时，重塑的奖励有助于区分策略。在几个知名的基准测试环境中使用不同的强化学习算法进行的实验表明，SIBRE更快、更稳定地收敛到最优策略。我们还进行了敏感性分析相对于超参数，与基线RL算法相比。
2020-12-21 cs.AI cs.LG stat.ML
Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch
DoorDash
提出在DoorDash部署的强化学习系统，利用延迟信号自适应调整调度目标权重，通过离线策略学习在噪声和耦合反馈下优化配送质量与批处理效率的权衡。
2026-06-12 cs.AI cs.LG cs.MA
Reinforcement Learning from Human Feedback: Whose Culture, Whose Values, Whose Perspectives?
Ghent University（根特大学）；Radboud University（拉德堡德大学）
本文从社会认识论和多元主义哲学出发，论证RLHF中多元主义的认识论与伦理优势，并提出改进LLM开发的具体行动议程。
2025-01-17 cs.AI cs.CL cs.CY
Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework
Ocean University of China（中国海洋大学）；Bilkent University（比尔肯特大学）；University of Oxford（牛津大学）；Delft University of Technology（代尔夫特理工大学）
交互式强化学习为智能体提供了一种从人类用户提供的评估反馈中学习解决任务的方法。先前的研究表明，人类在训练的早期会给出大量的反馈，但之后就很少了。在这篇文章中，我们研究了代理学习的潜力，从教练的面部表情，通过解释他们作为评价反馈。为此，我们实现了TAMER，这是一个流行的交互式强化学习方法在一个学习基准问题--无限马里奥，并进行了第一次大规模的研究TAMER涉及561名参与者。通过设计的CNN-RNN模型，我们的分析表明，告诉训练者使用面部表情和竞争可以提高使用面部表情估计积极和消极反馈的准确性。此外，我们的模拟实验结果表明，仅仅从基于面部表情的预测反馈中学习是可能的，并且使用强大/有效的预测模型或回归方法，面部反应将显着提高代理的性能。此外，我们的实验支持以前的研究表明，双向反馈和竞争元素的重要性，在培训界面。
2020-01-23 cs.HC cs.LG
Search-Based Testing of Reinforcement Learning
Graz University of Technology（格拉茨工业大学）；Silicon Austria Labs（奥地利硅实验室）；Lamarr Security Research（拉马尔安全研究中心）
深度强化学习（RL）的评估具有内在的挑战性。特别是学习策略的不透明性以及代理和环境的随机性使得测试深度RL代理的行为变得困难。我们提出了一个基于搜索的测试框架，该框架能够实现广泛的新型分析功能，用于评估深度RL代理的安全性和性能。对于安全测试，我们的框架利用搜索算法来搜索解决RL任务的参考轨迹。回溯状态的搜索，称为边界状态，构成安全关键的情况。我们创建安全测试套件，评估如何以及RL代理逃脱安全关键的情况下，这些边界状态附近。为了进行可靠的性能测试，我们通过模糊测试创建了一组不同的跟踪。这些模糊跟踪用于将代理带入各种各样的潜在未知状态，从这些状态将代理的平均性能与模糊跟踪的平均性能进行比较。我们将我们基于搜索的测试方法应用于任天堂超级马里奥兄弟的RL。
2022-05-14 cs.AI cs.LG cs.SE
Multi-objective Reinforcement learning from AI Feedback
提出MORLAIF，将偏好建模按毒性、事实性等原则拆分并通过标量化组合奖励，实验证明其优于标准RLAIF且支持以小模型对齐大模型。
2024-06-12 cs.LG
Towards Off-Policy Reinforcement Learning for Ranking Policies with Human Feedback
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出离线价值排序算法VR，在统一EM框架中同时优化长期奖励和排序指标，无需在线交互即可提升推荐策略的样本效率和准确性。
2024-01-17 cs.AI cs.LG
