Is Feedback All You Need? Leveraging Natural Language Feedback in Goal-Conditioned Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Heriot-Watt University（赫瑞-瓦特大学）
本文扩展 BabyAI 自动生成自然语言反馈，并改造 Decision Transformer 利用该信号，证明其可替代或补充回报与目标描述，提升目标条件 RL 智能体的泛化能力。
2023-12-07 cs.AI cs.CL
Explore, Exploit or Listen: Combining Human Feedback and Policy Model to Speed up Deep Reinforcement Learning in 3D Worlds
Georgia Institute of Technology（佐治亚理工学院）
我们描述了一种方法，通过扩展深度强化学习来建模人类反馈的置信度和一致性，使用离散人类反馈来增强虚拟三维环境中深度学习代理的性能。这使得深度强化学习算法能够确定最合适的时间来听取人类反馈，利用当前的策略模型或探索代理的环境。管理这三种策略之间的权衡允许DRL代理对不一致或间歇性的人类反馈具有鲁棒性。通过使用合成预言机的实验，我们证明了我们的技术提高了使用Minecraft导航三维环境的深度强化学习的训练速度和整体性能。我们进一步表明，我们的技术是强大的高度innacurate人类反馈，也可以操作时，没有人的反馈。
2021-06-22 cs.AI
Actor-Critic Reinforcement Learning with Simultaneous Human Control and Feedback
University of Alberta（阿尔伯塔大学）
本文首次研究了不同的人类用户如何在人机交互过程中同时提供控制和反馈信号。作为这项工作的一部分，我们正式提出了一个通用的交互式学习框架，人类和强化学习代理之间的在线合作。在许多人机交互环境中，复杂半自治系统的自由度与人类控制通道的数量之间存在越来越大的差距。需要简单的人类控制和反馈机制来缩小这一差距，并允许人类和机器在复杂任务上更好地协作。为了更好地通知并发控制和反馈接口的设计，我们提出了实验结果，从人-机器人协作域，其中人类必须同时提供控制和反馈信号，以交互方式训练的演员-评论家强化学习机器人。我们比较了三种实验条件：1）人类提供的控制信号，2）奖励整形反馈信号，3）同时控制和反馈。我们的研究结果表明，受试者提供较少的反馈时，同时提供反馈和控制信号和控制信号的质量并没有显着降低。我们的数据表明，受试者也可能会修改他们提供反馈的时间和方式。通过本研究提供的算法开发和调整，我们预计机器人代理的半自主行动可以通过人类反馈更好地塑造，从而实现无缝协作并提高困难交互领域的性能。
2017-03-15 cs.AI cs.HC cs.RO
Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards
研究基于大语言模型的作文评分与反馈生成，提出RLAES框架，通过强化学习联合优化。引入RFE评估框架，提出AGFO和ACR方法。实验表明RFE能捕捉一致性，RLAES-AGFO在评分性能上最佳，保持反馈质量同时避免反馈退化。
2026-07-22 cs.AI cs.CL
Artificial Generational Intelligence: Cultural Accumulation in Reinforcement Learning
FLAIR, University of Oxford（牛津大学FLAIR）；Google DeepMind（谷歌DeepMind）
本文提出强化学习中的人工代际智能框架，通过平衡社会学习与独立学习，在上下文内和权重内两种代际机制中实现涌现性文化积累，并证明其优于单生命周期训练。
2024-10-28 cs.AI
RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning
Meta AI (FAIR)（Meta AI（FAIR））
针对代码大语言模型迭代改进代码困难的问题，提出端到端强化学习方法RLEF以利用执行反馈，在竞赛编程任务上使8B和70B参数模型取得新SOTA，样本量减少一个数量级，且模型能多步有效利用自动反馈。
2025-02-18 cs.AI cs.CL
Reinforcement Learning from Reflective Feedback (RLRF): Aligning and Improving LLMs via Fine-Grained Self-Reflection
LG AI Research（LG人工智能研究院）
针对RLHF导致的表面化对齐问题，提出RLRF框架，利用细粒度自我反思机制探索和优化响应，并通过RL算法微调模型，有效提升了LLMs在多项推理任务上的核心能力。
2024-03-21 cs.AI cs.CL
Towards Interactive Reinforcement Learning with Intrinsic Feedback
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文针对强化学习与脑机接口领域间未被充分探索的神经活动作为内在反馈的关键关联，提出教程式综述，涵盖其动机、方法、开放问题与基础概念，以推动相关研究的理解与应用。
2023-08-23 cs.AI cs.HC cs.LG
Reinforcement Learning with Feedback-modulated TD-STDP
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
尖峰神经元网络已成功地用于解决简单的强化学习任务，连续的动作集应用基于尖峰时间依赖可塑性（STDP）的学习规则。然而，这些模型中的大多数不能应用于具有离散动作集的强化学习任务，因为它们假设所选择的动作是神经元放电率的确定性函数，这是连续的。在本文中，我们提出了一个新的STDP为基础的学习规则的尖峰神经元网络，其中包含反馈调制。我们表明，基于STDP的学习规则可以用于解决强化学习任务与离散动作集的速度类似于标准的强化学习算法时，适用于CartPole和LunarLander任务。此外，我们证明了代理是无法解决这些任务，如果反馈调制从学习规则中省略。我们的结论是，反馈调制允许更好的信用分配时，只有单位有助于执行的行动和TD错误参与学习。
2020-08-29 cs.AI cs.LG stat.ML
MulFeRL: Enhancing Reinforcement Learning with Verbal Feedback in a Multi-turn Loop
Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系，北京，中国）；Quancheng Laboratory（千晨实验室）
针对强化学习中标量奖励稀疏且缺乏信息的问题，提出MulFeRL框架，通过多轮语言反馈引导失败样本的再生、进度信用分配和结构化反馈注入，提升模型推理性能。
2026-05-30 cs.AI
Simultaneous Control and Human Feedback in the Training of a Robotic Agent with Actor-Critic Reinforcement Learning
University of Alberta（阿尔伯塔大学）
本文提供了一个初步的报告，同时将人类控制和反馈信号的训练强化学习机器人代理的优点和缺点。虽然机器人人机界面在形式和功能上都变得越来越复杂，但控制对用户来说仍然是一个挑战。这导致用户控制方法与可控制的机器人电机数量之间的差距越来越大。解决这一差距的一种方法是将一些自主权转移给机器人。然后，机器人代理的半自主动作可以通过人类反馈来塑造，从而简化用户控制。大多数关于人类智能体塑造的先前工作都将训练与反馈结合起来，或者包括间接控制信号。相比之下，在本文中，我们将探讨如何一个人可以提供并发的反馈信号和实时肌电控制信号训练机器人的演员评论强化学习控制系统。使用物理和模拟的机器人系统，我们比较一个简单的运动任务的训练性能时，奖励是来自环境，奖励是由人类提供的，以及这两种方法的组合。我们的研究结果表明，一些好处，可以获得与包括人类产生的反馈。
2016-06-22 cs.AI cs.HC cs.RO
RLTF: Reinforcement Learning from Unit Test Feedback
Tencent（腾讯）
针对代码生成中强化学习探索不足及单元测试信号利用不充分的问题，提出在线RL框架RLTF，利用多粒度单元测试反馈实时优化代码LLM，在APPS和MBPP基准上达到最先进性能。
2023-11-13 cs.AI cs.CL cs.LG
Navigating Noisy Feedback: Enhancing Reinforcement Learning with Error-Prone Language Models
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute USA（美国本田研究所）
本文针对语言模型反馈中的排序错误问题，提出将反馈作为势能塑形函数的方法，在显著错误下仍能提升强化学习的收敛速度与策略回报。
2024-10-22 cs.AI
Bootstrapping Exploration with Group-Level Natural Language Feedback in Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）
GOLF通过整合群体层面的自然语言反馈，提升强化学习的探索效率和样本效率，实现2.2倍的改进。
2026-03-04 cs.AI cs.CL
Quantifying the Effect of Feedback Frequency in Interactive Reinforcement Learning for Robotic Tasks
Robotics and Interactive Systems – UPSSITECH, University Paul Sabatier（机器人与交互系统——UPSSITECH，保罗·萨巴蒂埃大学）
研究探讨了反馈频率对机器人任务中交互强化学习效率的影响，通过不同复杂度的机械臂逆运动学学习实验，发现反馈频率需随任务熟练度动态调整，无单一最优频率。
2023-03-15 cs.AI cs.HC cs.LG
Themis: An explainable AI-enabled framework for Reinforcement Learning with Human Feedback
School of Computer Science, University College Dublin（都柏林大学计算机科学学院）
提出Themis框架，结合可解释AI与人类反馈，用于训练奖励模型，支持200+环境，提供云平台实现大规模实验。
2026-06-24 cs.AI cs.HC
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Deep Reinforcement Learning with Feedback-based Exploration
Delft University of Technology（代尔夫特理工大学）
深度强化学习使人们能够控制日益复杂和高维的问题。然而，在获得合理的性能之前需要大量的数据，这阻碍了其广泛的应用。我们采用二进制校正反馈作为一种通用和直观的方式，将人类的直觉和领域知识的无模型机器学习。策略中的不确定性和校正反馈直接在动作空间中组合为概率条件探索。因此，可以避免大部分无知的学习过程。我们证明了所提出的方法，预测概率合并的政策（PPMP），结合DDPG。在OpenAI Gym的连续控制问题的实验中，我们在样本效率、最终性能和对错误反馈的鲁棒性方面都有了大幅提高，无论是人为反馈还是合成反馈。此外，我们还展示了超出所展示知识的解决方案。
2019-03-14 cs.AI cs.LG stat.ML
Generating Constructive Feedback on Stories via Reinforcement Learning
Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究中心）
该研究针对LLM生成反馈泛化、缺乏可操作性的问题，提出基于GRPO强化学习的方法，在三个故事语料库评估中优于Gemini等模型，证实可操作建议是反馈建设性的核心驱动。
2026-09-07 cs.CL
Reinforcement Learning from Implicit Neural Feedback for Human-Aligned Robot Control
本文提出利用隐式神经反馈的强化学习框架，通过脑电图信号实现人对齐的机器人控制，实验表明其在复杂任务中表现与人工设计奖励相当。
2025-11-18 cs.AI cs.RO
Reinforcement Learning with Feedback Graphs
Cornell University（康奈尔大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
我们研究了马尔可夫决策过程中的情景强化学习，当代理每一步都以几个过渡观察的形式接收额外的反馈时。这种额外的观察在一系列任务中通过扩展的传感器或关于环境的先验知识（例如，当某些行为产生类似的结果时）。我们使用状态-动作对的反馈图来正式化这种设置，并表明基于模型的算法可以利用额外的反馈来进行更有效的学习。我们给出了一个遗憾的界限，忽略对数因子和低阶项，仅取决于反馈图的最大非循环子图的大小，与多项式依赖的状态和动作的数量在没有反馈图。最后，我们强调挑战时，利用一个小的支配集的反馈图相比，强盗设置，并提出了一个新的算法，可以使用这样的支配集的知识，更样本有效的学习一个接近最优的政策。
2020-05-07 cs.AI cs.LG stat.ML
Influencing Reinforcement Learning through Natural Language Guidance
University of Kentucky（肯塔基大学）
交互式强化学习代理使用人类反馈或指令来帮助它们在复杂环境中学习。通常，这种反馈以正或负的离散信号的形式出现。虽然信息量很大，但这些信息本身可能很难概括。在这项工作中，我们将探讨如何自然语言的意见，可以用来提供一个更丰富的反馈信号，强化学习代理，通过扩展的政策塑造，一个著名的交互式强化学习技术。通常，策略形成采用人工反馈策略来帮助智能体更多地了解如何实现其目标。在我们的例子中，我们用基于自然语言建议生成的策略替换了这种人工反馈策略。我们的目标是检查生成的自然语言推理是否为深度强化学习代理提供支持，以在任何给定的环境中成功地决定其行动。因此，我们设计了三个网络的模型：第一个是经验驱动，第二个是建议生成器，第三个是建议驱动。当经验驱动的强化学习代理选择其受环境奖励影响的动作时，具有由建议生成器针对任何新状态生成的反馈的建议驱动的神经网络选择其动作以帮助强化学习代理更好地进行策略成形。
2021-04-11 cs.AI cs.LG
On the Theory of Reinforcement Learning with Once-per-Episode Feedback
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）
我们研究了强化学习（RL）的理论，其中学习者在一集结束时只接收一次二进制反馈。虽然这是一个极端的理论测试案例，但它也可以说比RL实践中的传统要求更能代表现实世界的应用，即学习者在每个时间步都收到反馈。事实上，在强化学习的许多现实应用中，例如自动驾驶汽车和机器人技术，评估学习者的完整轨迹是“好”还是“坏”更容易，但在每一步提供奖励信号更难。为了证明在这种更具挑战性的环境中学习是可能的，我们研究了轨迹标签由未知参数模型生成的情况，并提供了一种统计和计算效率高的算法，实现了次线性遗憾。
2022-08-21 cs.AI cs.LG stat.ML
Cross-Cultural Transfer of Commonsense Reasoning in LLMs: Evidence from the Arab World
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文研究大语言模型常识推理的跨文化迁移，通过在13个阿拉伯国家数据集上评估轻量级对齐方法，发现仅用12个文化特定示例即可平均提升10%性能，且非本文化示范可达到或超过本文化对齐效果，证明高效跨文化对齐可行。
2025-09-23 cs.AI cs.CL
STL-Based Synthesis of Feedback Controllers Using Reinforcement Learning
IIT Kanpur（印度理工学院坎普尔分校）
深度强化学习（Deep Reinforcement Learning，DRL）有可能用于为具有未知动态的各种复杂系统合成反馈控制器（agent）。这些系统预计将满足不同的安全性和活性最好使用时序逻辑捕获的属性。在RL中，奖励函数在指定这些代理的期望行为方面起着至关重要的作用。然而，设计的RL代理的奖励函数，以满足复杂的时序逻辑规范的问题在文献中得到了有限的关注。为了解决这个问题，我们提供了一个系统的方法，通过使用信号时序逻辑（STL）的定量语义来实时生成奖励，STL是一种广泛使用的时序逻辑，用于指定网络物理系统的行为。我们提出了一个新的定量语义STL有几个理想的属性，使其适合奖励生成。我们评估我们的STL为基础的强化学习机制在几个复杂的连续控制基准，并比较我们的STL语义与文献中的合成控制器代理的功效。实验结果表明，我们的新语义是最适合通过强化学习合成复杂连续动态系统的反馈控制器。
2022-12-02 cs.AI
Evaluating and Improving Cultural Awareness of Reward Models for LLM Alignment
Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China（计算与智能研究所，哈尔滨工业大学，深圳，中国）；Peng Cheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国）
针对奖励模型文化意识评估缺失问题，提出CARB基准，并设计Think-as-Locals方法利用RLVR提升文化感知奖励建模，实验验证其有效性。
2025-10-24 cs.AI cs.CL
Text2Grad: Reinforcement Learning from Natural Language Feedback
Text2Grad通过将自然语言反馈转化为跨度级梯度，提升语言模型的细粒度对齐和可解释性。
2026-01-27 cs.AI cs.CL
A Scoping Review and Experimental Study on Reinforcement Learning from Human Feedback for Human-Robot Collaboration
DLR Institute for AI Safety and Security（德国航空航天中心人工智能安全与安保研究所）
本研究通过范围综述和VR实验，探讨RLHF在人机协作中的应用，发现用户发起的反馈比系统发起的反馈更能有效捕捉感知安全性，强调反馈时机对AI安全的重要性。
2026-10-08 cs.AI cs.HC cs.RO
ARES: Alternating Reinforcement Learning and Supervised Fine-Tuning for Enhanced Multi-Modal Chain-of-Thought Reasoning Through Diverse AI Feedback
The Ohio State University（俄亥俄州立大学）
针对大语言模型现有反馈优化方法粒度粗的问题，提出两阶段算法ARES，交替结合句子级AI反馈的强化学习与错误修正的监督微调，提升多模态思维链推理效果与答案准确率。
2024-10-03 cs.AI cs.CL cs.LG
HERO: Human-Feedback Efficient Reinforcement Learning for Online Diffusion Model Finetuning
Sony AI（索尼人工智能公司）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；University of Southern California（南加利福尼亚大学）；Stanford University（斯坦福大学）
HERO框架通过在线人类反馈和反馈对齐表示学习及反馈引导图像生成机制，以4倍效率提升扩散模型微调，仅需0.5K反馈即可处理多种任务。
2025-03-13 cs.AI cs.CV cs.HC
RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
Google DeepMind（谷歌DeepMind）；Google（谷歌）
本文系统对比了 RLAIF 与 RLHF，证明用现成 LLM 生成偏好训练奖励模型可达到与人类反馈相当的性能，并提出绕过奖励模型训练的直接 RLAIF（d-RLAIF）技术，为 RLHF 的可扩展性问题提供解决方案。
2024-09-03 cs.AI cs.CL cs.LG
Learning Interpretable Models of Aircraft Handling Behaviour by Reinforcement Learning from Human Feedback
University of Bristol（布里斯托大学）
本文提出利用人类偏好反馈的强化学习学习可解释的奖励树模型，以捕捉飞行员操纵能力并训练智能体，实验证明其性能可与神经网络奖励模型竞争。
2023-05-26 cs.AI
Language and Culture Internalisation for Human-Like Autotelic AI
INRIA Bordeaux – Sud-Ouest（法国国家信息与自动化研究所波尔多-西南分部）；Université de Bordeaux（波尔多大学）；ENSTA Paris（巴黎高等先进技术学院）；Microsoft Research（微软研究院）
构建自主智能体，使其能够在生活中发展开放式技能，是人工智能（AI）的一个基本目标。一种有前途的发展方法建议设计内在动机的代理人，通过产生和追求自己的目标来学习新技能- autotelic代理人。但是，尽管最近取得了进展，现有的算法仍然表现出严重的局限性，在目标多样性，探索，概括或技能组成。这种观点要求将自我目标的主体浸入到丰富的社会文化世界中，这是我们环境的一个非常重要的属性，它塑造了人类的认知，但在现代人工智能中大多被忽略了。受维果茨基开创性工作的启发，我们提出了维果茨基的autotelic代理-代理能够内化他们与他人的互动，并把它们变成认知工具。我们专注于语言，并展示其结构和信息内容如何支持人工智能体中新的认知功能的发展，就像在人类中一样。我们通过在深度强化学习和自然语言处理的交叉点上发现几个新的人工认知功能的例子来证明这种方法的合理性。展望未来，我们强调了Vygotskian Autotelic AI研究未来的机遇和挑战，包括使用语言模型作为支持人工认知发展的文化模型。
2022-11-16 cs.AI cs.CL cs.LG
CANDERE-COACH: Reinforcement Learning from Noisy Feedback
University of Alberta（阿尔伯塔大学）；University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
提出CANDERE-COACH算法，通过噪声过滤机制处理非最优教师的在线反馈数据，使RL智能体在40%反馈错误时仍能成功学习。
2024-09-23 cs.AI cs.LG
Provable Safe Reinforcement Learning with Binary Feedback
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
安全性在强化学习（RL）的许多应用中都是至关重要的，无论是机器人、汽车还是医疗。许多现有的安全RL方法依赖于接收数字安全反馈，但在许多情况下，这种反馈只能采用二进制值;也就是说，给定状态下的动作是安全的还是不安全的。当反馈来自人类专家时，情况尤其如此。因此，我们考虑可证明的安全RL的问题时，给予访问离线oracle提供二进制反馈的安全状态，动作对。我们提供了一种新的Meta算法，SABRE，它可以应用于任何MDP设置访问黑盒PAC RL算法的设置。SABRE应用从主动学习到强化学习的概念，以可证明地控制对安全预言的查询数量。SABRE通过迭代地探索状态空间来找到代理当前不确定安全性的区域。我们的主要理论结果表明，在适当的技术假设下，SABRE在训练过程中从不采取不安全的行动，并保证以高概率返回一个接近最优的安全策略。我们提供了一个讨论，我们的元算法可以应用到各种设置研究的理论和实证框架。
2022-10-26 cs.AI cs.LG stat.ML
Reinforcement Learning from User Feedback
Meta GenAI（Meta 生成式人工智能）
针对现有RLHF依赖专家标注难反映普通用户偏好的问题，提出RLUF框架，利用用户隐式二元反馈训练P[Love]奖励模型并结合多目标优化，实验显示可显著提升正面反馈率，为LLM规模化对齐真实用户偏好提供路径。
2025-05-20 cs.AI
Reinforcement Learning with Backtracking Feedback
Google（谷歌）；Google DeepMind（谷歌DeepMind）；Virginia Tech（弗吉尼亚理工大学）
本文提出RLBF框架，通过强化学习阶段使模型动态纠正生成错误，结合改进的SFT数据生成策略，提升LLM在对抗攻击和内在错误中的安全性。
2026-04-27 cs.AI cs.CL cs.LG
Multi-modal Feedback for Affordance-driven Interactive Reinforcement Learning
Universität Hamburg（汉堡大学）；Universidad Central de Chile（智利中央大学）
交互式强化学习（IRL）通过允许智能体在任务期间与类似于父母的训练器交互来扩展传统的强化学习（RL）。在本文中，我们提出了一个IRL的方法，使用动态的视听输入的声音命令和手势作为反馈。我们的体系结构集成了多模态信息，提供强大的命令，从多个感官线索，以及一个信心值，表明反馈的可信度。整合过程还考虑了两种模态传递不一致信息的情况。此外，我们调制的影响，感官驱动的反馈在IRL任务中使用目标导向的知识，在上下文的启示。我们实现了一个神经网络架构来预测不同对象的执行动作的效果，以避免失败的状态，即，不可能完成任务的状态。在我们的实验设置中，我们探讨了机器人清洁场景中多模态反馈和特定任务启示的相互作用。我们比较了四种不同条件下的代理的学习性能：传统RL，多模态IRL，这两种设置中的每一种都使用上下文启示。我们的实验表明，最好的性能是通过使用视听反馈与affordancemodulated IRL。所获得的结果表明，在IRL任务的多通道的感觉加工与目标导向的知识集成的重要性。
2018-07-26 cs.AI cs.RO
Curiosity-Driven Reinforcement Learning from Human Feedback
Baidu Inc.（百度公司）
本文提出好奇心驱动的RLHF框架CD-RLHF，通过引入新颖状态的内在奖励与稀疏外在奖励相结合，在文本摘要和指令跟随任务中显著提升输出多样性，同时保持与标准RLHF相当的人类偏好对齐质量。
2025-05-31 cs.CL
Aligning Humans and Robots via Reinforcement Learning from Implicit Human Feedback
Department of Artificial Intelligence, Korea University（人工智能系，韩国大学）；Department of Brain and Cognitive Engineering, Korea University（脑科学与认知工程系，韩国大学）
通过隐式人类反馈的强化学习方法，利用脑电图信号提升机器人与人类的对齐能力。
2025-12-11 cs.AI cs.RO
Exploring Natural Language-Based Strategies for Efficient Number Learning in Children through Reinforcement Learning
Univeristy Of Colorado, Boulder（科罗拉多大学博尔德分校）
本文通过强化学习框架研究儿童如何使用十进制积木组成数字，发现明确动作指导的指令更有效，并提出有效的教学课程以加速收敛和提升泛化能力。
2026-04-08 cs.AI cs.CL cs.LG
HRLAIF: Improvements in Helpfulness and Harmlessness in Open-domain Reinforcement Learning From AI Feedback
Tencent PCG（腾讯平台与内容事业群）
针对基础RLAIF在开放域中导致响应满意度下降的问题，提出HRLAIF方法，通过增强AI注释准确性和AI红队测试，提升模型帮助性与无害性，使满意度较RL前提高2.08%。
2024-03-14 cs.AI cs.LG
Deep Reinforcement Learning with Interactive Feedback in a Human-Robot Environment
Universidad Central de Chile（智利中央大学）；Deakin University（迪肯大学）；Universidade de Pernambuco（伯南布哥大学）
机器人每天都在扩大其在家庭环境中的存在，在家庭场景中执行任务的情况更加常见。未来，机器人将越来越多地执行更复杂的任务，因此能够尽快从不同来源获得经验。解决这个问题的一个可行的方法是交互式反馈，其中培训师建议学习者从特定状态采取哪些行动以加快学习过程。此外，深度强化学习最近已被广泛用于机器人技术，以自主学习环境并获得新技能。然而，使用深度强化学习时的一个开放问题是从原始输入图像学习任务所需的时间过长。在这项工作中，我们提出了一个深度的强化学习方法与交互式反馈，学习人类机器人场景中的家庭任务。我们使用模拟机器人手臂比较了三种不同的学习方法，用于组织不同对象的任务;所提出的方法是（i）深度强化学习（DeepRL）;（ii）使用先前训练的人工代理作为顾问的交互式深度强化学习（agent-IDeepRL）;以及（iii）使用人类顾问的交互式深度强化学习（human-IDeepRL）。我们证明，互动的方法提供的学习过程中的优势。所获得的结果表明，学习者代理，使用代理-IDeepRL或人类-IDeepRL，完成给定的任务更早，有更少的错误相比，自主的DeepRL方法。
2020-08-11 cs.AI cs.MA cs.RO
Exploiting Unlabeled Data for Feedback Efficient Human Preference based Reinforcement Learning
Arizona State University（亚利桑那州立大学）
基于偏好的强化学习在利用人类对查询轨迹对的二进制反馈来恢复人类在回路（HiL）的底层奖励模型方面表现出了很大的希望。虽然工程试图更好地利用查询的人，在这项工作中，我们做了两个观察的代理收集的未标记的轨迹，并提出了两个相应的损失函数，确保参与奖励学习过程中的未标记的轨迹，并构造嵌入空间的奖励模型，使它反映了相对于动作距离的状态空间的结构。我们验证了所提出的方法在一个运动域和一个机器人操作任务，并与最先进的基线PEBBLE。我们进一步提出了一个消融的建议损失组件在这两个领域，并发现，不仅每个损失组件的表现优于基线，但两者的协同组合有更好的回报恢复和人类反馈样本效率。
2023-02-17 cs.AI cs.RO
Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
针对 RLHF 中奖励模型预测不准的问题，本文提出线性层集成和 LoRA 集成等高效奖励模型集成方法，并通过 Best-of-n 与 PPO 实验验证其能提升输出与人类价值观的对齐性能。
2024-10-22 cs.AI cs.CL cs.LG
Reinforcement Retrieval Leveraging Fine-grained Feedback for Fact Checking News Claims with Black-Box LLM
Singapore Management University（新加坡管理大学）
提出FFRR方法，通过两级策略从黑盒LLM获取细粒度反馈作为奖励优化检索策略，在新闻声明事实核查任务上显著优于LLM和非LLM基线。
2024-04-26 cs.CL
A Deep Reinforcement Learning Approach for Interactive Search with Sentence-level Feedback
Walmart Global Tech（沃尔玛全球技术）；Emory University（埃默里大学）
针对现有交互式搜索RL方法仅关注项目级反馈、忽略句子级细粒度信息的问题，提出融合BERT模型与经验回放机制的DQrank方法，在三个数据集上性能较此前SOTA RL方法至少提升12%。
2023-10-03 cs.AI cs.HC cs.IR
MENTOR: Guiding Hierarchical Reinforcement Learning with Human Feedback and Dynamic Distance Constraint
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Southeast University-Monash University Joint Graduate School, Southeast University（东南大学-莫纳什大学联合研究生院）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）
针对分层强化学习在稀疏奖励复杂任务中难以确定合适子目标的问题，提出结合人类反馈和动态距离约束的MENTOR框架，通过高层融入人类反馈、低层双策略解耦及动态调整子目标空间，用少量反馈实现任务性能显著提升。
2024-11-27 cs.AI cs.HC cs.LG
Trustworthy Human-AI Collaboration: Reinforcement Learning with Human Feedback and Physics Knowledge for Safe Autonomous Driving
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出PE-RLHF框架，将人类反馈与物理知识协同融入强化学习训练，通过物理增强的人机协作、代理价值函数和最小干预机制，确保策略性能不低于物理策略，在安全、效率和泛化性上达到SOTA。
2024-09-05 cs.AI cs.HC cs.LG
Principled Reinforcement Learning with Human Feedback from Pairwise or $K$-wise Comparisons
UC Berkeley（加州大学伯克利分校）
本文为RLHF建立理论框架，证明线性奖励下MLE收敛但策略训练失败，悲观MLE在覆盖假设下更优，统一RLHF与最大熵IRL并给出首个样本复杂度界。
2024-02-08 cs.AI cs.HC cs.LG
Coarse-Tuning Models of Code with Reinforcement Learning Feedback
Rice University（莱斯大学）；UT Austin（德克萨斯大学奥斯汀分校）；University of Wisconsin（威斯康星大学）
提出RLCF，用强化学习结合编译器和LLM反馈粗调代码模型，在Java任务上提升编译与执行正确率，达到更大模型性能。
2023-12-23 cs.AI cs.LG cs.PL
Enhancing Image Caption Generation Using Reinforcement Learning with Human Feedback
Indian Institute of Information Technology, Sri City（印度信息技术学院斯里城分校）；Shanmugha Arts, Science, Technology & Research Academy（尚穆加艺术、科学、技术与研究院）
本文提出结合监督学习与 RLHF，并利用 Flickr8k 数据集和新型人类反馈损失函数，提升图像描述模型生成符合人类偏好文本的能力。
2024-03-11 cs.AI cs.CV
Improving the Validity of Automatically Generated Feedback via Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Eedi（伊迪科技）
针对智能辅导中LLM生成数学反馈的正确性与教学有效性不足问题，提出数学反馈评估 rubric 及基于RL、DPO的反馈生成框架，显著提升了Llama 2生成反馈的质量。
2024-12-12 cs.CL
Interactively Teaching an Inverse Reinforcement Learner with Limited Feedback
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；INESC-ID（里斯本系统与计算机工程研究所）
本文针对教师无法访问学习器模型且反馈仅限指定起始状态轨迹的场景，提出一种结合主动风险价值、最大因果熵和难度分数比率的教导算法，并在模拟驾驶环境中验证其有效性。
2023-09-16 cs.AI cs.LG
