PAC Reinforcement Learning without Real-World Feedback
University of Michigan（密歇根大学）；Microsoft AI & Research（微软人工智能与研究院）
这项工作研究了强化学习在模拟到真实的设置，其中代理首先在一些模拟器上进行训练，然后部署在现实世界中，目的是降低真实世界的样本复杂性要求。使用一个动态模型称为丰富的观察马尔可夫决策过程（ROMDP），我们制定了一个理论框架，模拟到真实的情况下，在现实世界中的反馈是不可用的。我们建立了真实世界的样本复杂度保证，其小于目前已知的直接（即，不访问模拟器）学习具有反馈的ROMDP。
2019-10-25 cs.LG stat.ML
Reinforcement Learning with Trajectory Feedback
Technion – Israel Institute of Technology（以色列理工学院）；Microsoft Research（微软研究院）；Nvidia Research（英伟达研究院）
强化学习的标准反馈模型要求揭示每个访问状态-动作对的奖励。然而，在实践中，经常无法获得这种频繁的反馈。在这项工作中，我们采取了第一步放宽这一假设，并需要一个较弱形式的反馈，我们称之为\emph{trajectory feedback}。我们不观察每个动作后获得的奖励，而是假设我们只收到一个代表智能体观察到的整个轨迹质量的分数，即在此轨迹上获得的所有奖励的总和。我们将强化学习算法扩展到这种设置，基于未知奖励的最小二乘估计，对于已知和未知的过渡模型情况，并通过分析其遗憾来研究这些算法的性能。对于过渡模型未知的情况下，我们提供了一个混合的乐观汤普森采样方法，结果在一个易于处理的算法。
2021-03-04 cs.LG stat.ML
On the Search for Feedback in Reinforcement Learning
Texas A&M University（德州农工大学）
强化学习（RL）在未知非线性动力系统中的问题等价于利用动力系统的模拟/推出来搜索最优反馈律。大多数RL技术搜索复杂的全局非线性反馈参数化，使它们遭受高训练时间和方差。相反，我们主张搜索一个局部反馈表示组成的开环序列，和一个相关的最佳线性反馈法完全由开环确定。我们表明，这种替代方法可以实现高效的训练，获得的答案是可重复的，因此是可靠的，并且由此产生的封闭性能优于全球最先进的RL技术。最后，如果我们重新规划，只要需要，这是可行的，由于快速和可靠的局部解决方案，它允许我们恢复全局最优的反馈法。
2022-03-24 cs.LG stat.ML
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Influencing Reinforcement Learning through Natural Language Guidance
University of Kentucky（肯塔基大学）
交互式强化学习代理使用人类反馈或指令来帮助它们在复杂环境中学习。通常，这种反馈以正或负的离散信号的形式出现。虽然信息量很大，但这些信息本身可能很难概括。在这项工作中，我们将探讨如何自然语言的意见，可以用来提供一个更丰富的反馈信号，强化学习代理，通过扩展的政策塑造，一个著名的交互式强化学习技术。通常，策略形成采用人工反馈策略来帮助智能体更多地了解如何实现其目标。在我们的例子中，我们用基于自然语言建议生成的策略替换了这种人工反馈策略。我们的目标是检查生成的自然语言推理是否为深度强化学习代理提供支持，以在任何给定的环境中成功地决定其行动。因此，我们设计了三个网络的模型：第一个是经验驱动，第二个是建议生成器，第三个是建议驱动。当经验驱动的强化学习代理选择其受环境奖励影响的动作时，具有由建议生成器针对任何新状态生成的反馈的建议驱动的神经网络选择其动作以帮助强化学习代理更好地进行策略成形。
2021-04-11 cs.AI cs.LG
Explore, Exploit or Listen: Combining Human Feedback and Policy Model to Speed up Deep Reinforcement Learning in 3D Worlds
Georgia Institute of Technology（佐治亚理工学院）
我们描述了一种方法，通过扩展深度强化学习来建模人类反馈的置信度和一致性，使用离散人类反馈来增强虚拟三维环境中深度学习代理的性能。这使得深度强化学习算法能够确定最合适的时间来听取人类反馈，利用当前的策略模型或探索代理的环境。管理这三种策略之间的权衡允许DRL代理对不一致或间歇性的人类反馈具有鲁棒性。通过使用合成预言机的实验，我们证明了我们的技术提高了使用Minecraft导航三维环境的深度强化学习的训练速度和整体性能。我们进一步表明，我们的技术是强大的高度innacurate人类反馈，也可以操作时，没有人的反馈。
2021-06-22 cs.AI
Robust Reinforcement Learning from Human Feedback for Large Language Models Fine-Tuning
Department of Statistics, LSE（统计系，伦敦经济学院）；Department of Mathematics, Tsinghua University（数学系，清华大学）；School of Mathematics, University of Birmingham（数学学院，伯明翰大学）；Department of Engineering Science, University of Oxford（工程科学系，牛津大学）
本文提出了一种鲁棒的强化学习算法，用于改进大语言模型微调中从人类反馈学习奖励函数的性能，通过减少方差和改进后悔界，实验证明其在基准数据集上表现优异。
2026-02-10 cs.AI cs.LG stat.ML
CANDERE-COACH: Reinforcement Learning from Noisy Feedback
University of Alberta（阿尔伯塔大学）；University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
提出CANDERE-COACH算法，通过噪声过滤机制处理非最优教师的在线反馈数据，使RL智能体在40%反馈错误时仍能成功学习。
2024-09-23 cs.AI cs.LG
Governance Challenges in Reinforcement Learning from Human Feedback: Evaluator Rationality and Reinforcement Stability
University of Houston（休斯顿大学）；University of California College of the Law, San Francisco（加州大学旧金山法学院）；Cornell Law School, Cornell University（康奈尔大学法学院）
本研究探讨RLHF中评估者理性对强化稳定性的影响，通过实验发现高理性评估者反馈更一致，并提出预筛选、审计和加权聚合等治理措施以提升AI对齐的公平性与稳健性。
2025-04-17 cs.AI cs.CY
Connections between reinforcement learning with feedback,test-time scaling, and diffusion guidance: An anthology
Department of Statistics and Data Science, Chinese University of Hong Kong（统计与数据科学系，香港中文大学）；Department of Statistics and Data Science, the Wharton School, University of Pennsylvania（统计与数据科学系，沃顿商学院，宾夕法尼亚大学）
该研究梳理了人类反馈强化学习、内部反馈强化学习、测试时缩放及扩散引导等训练后技术间的关联与等价性，还提出了无需显式强化学习的对齐与奖励导向扩散模型重采样方法。
2025-09-04 cs.GL cs.LG math.ST
Online Feature Selection for Activity Recognition using Reinforcement Learning with Multiple Feedback
University of Bristol（布里斯托大学）
机器学习和物联网的最新进展吸引了人们对自动活动识别的关注，其中用户佩戴具有传感器的设备，并且他们的输出被映射到预定义的活动集合。然而，很少有研究考虑可穿戴设备功耗和活动识别准确性之间的平衡。当计算负载的一部分发生在可穿戴设备上时，这是特别重要的。在本文中，我们提出了一种新的方法来执行特征选择的设备上的基础上强化学习（RL），找到功耗和准确性之间的最佳平衡。为了加快学习速度，我们扩展了RL算法来处理多个反馈源，并使用它们来调整策略，同时估计反馈精度。我们在SPHERE挑战数据集上评估了我们的系统，这是一个公开的研究数据集。结果表明，我们提出的方法实现了可穿戴功耗和活动识别精度之间的良好权衡。
2019-08-16 cs.LG stat.ML
Reinforcement Learning for Bandit Neural Machine Translation with Simulated Human Feedback
University of Maryland（马里兰大学）；Microsoft Research, New York（微软研究院纽约分院）
机器翻译是基于人类反馈的强化学习的自然候选问题：用户对候选翻译提供快速、肮脏的评级，以指导系统进行改进。然而，目前的神经机器翻译训练集中在昂贵的人类生成的参考翻译上。我们描述了一种强化学习算法，它可以从模拟的人类反馈中改进神经机器翻译系统。我们的算法结合了优势行动者-批评者算法（Mnih等人，2016）与基于注意力的神经编码器-解码器架构（Luong等人，2015年）。该算法（a）针对具有大动作空间和延迟奖励的问题进行了良好的设计，（b）有效地优化了传统的语料库级别的机器翻译度量，以及（c）对在实际人类行为之后建模的倾斜，高方差，粒度反馈具有鲁棒性。
2017-11-11 cs.AI cs.CL cs.HC
HRLAIF: Improvements in Helpfulness and Harmlessness in Open-domain Reinforcement Learning From AI Feedback
Tencent PCG（腾讯平台与内容事业群）
针对基础RLAIF在开放域中导致响应满意度下降的问题，提出HRLAIF方法，通过增强AI注释准确性和AI红队测试，提升模型帮助性与无害性，使满意度较RL前提高2.08%。
2024-03-14 cs.AI cs.LG
Low-Rank Contextual Reinforcement Learning from Heterogeneous Human Feedback
Department of Statistics and Operations Research, University of North Carolina, Chapel Hill（统计与运筹学系，北卡罗来纳大学 Chapel Hill 分校）；Daniels School of Business, Purdue University（商务学院，普渡大学）；Department of Statistics and Operations Research, Department of Genetics, Department of Biostatistics, The University of North Carolina at Chapel Hill（统计与运筹学系，遗传学系，生物统计学系，北卡罗来纳大学 Chapel Hill 分校）
本文提出LoCo-RLHF框架，通过整合上下文信息和低秩结构，有效应对异质人类反馈的挑战，提升个性化强化学习性能。
2026-03-04 cs.LG stat.ML
Recommendations with Negative Feedback via Pairwise Deep Reinforcement Learning
Michigan State University（密歇根州立大学）
推荐系统通过向用户推荐个性化的商品或服务，在缓解信息过载问题方面起着至关重要的作用。绝大多数传统的推荐系统将推荐过程视为一个静态的过程，并遵循固定的策略进行推荐。在本文中，我们提出了一种新的推荐系统的能力，不断提高其策略，在与用户的互动。我们将用户和推荐系统之间的顺序交互建模为马尔可夫决策过程（MDP），并利用强化学习（RL）通过推荐试错项目并从用户的反馈中接收这些项目的强化来自动学习最优策略。用户的反馈可以是积极的和消极的，这两种类型的反馈都有很大的潜力，以提高推荐。然而，负反馈的数量远远大于正反馈，因此同时将它们合并是具有挑战性的，因为正反馈可能被负反馈所掩盖。在本文中，我们开发了一种新的方法，将它们纳入建议的深度推荐系统（DEERS）框架。基于真实电子商务数据的实验结果验证了该框架的有效性。进一步的实验已经进行了理解的重要性，积极和消极的反馈建议。
2018-08-10 cs.IR cs.LG stat.ML
Humans are not Boltzmann Distributions: Challenges and Opportunities for Modelling Human Feedback and Interaction in Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
强化学习（RL）通常假设可以访问指定的奖励函数，而许多实际应用并不提供。相反，最近，更多的工作探索了从与人类的互动中学习该做什么。到目前为止，这些方法中的大多数都将人类建模为（爱管闲事的）理性，特别是提供无偏见的反馈。我们认为这些模型过于简单化，RL研究人员需要开发更真实的人体模型来设计和评估他们的算法。特别是，我们认为，人类模型必须是个人的，上下文，和动态的。本文呼吁不同学科的研究来解决人类如何向AI提供反馈以及我们如何构建更强大的人在回路RL系统的关键问题。
2022-06-27 cs.HC cs.LG stat.ML
Interactively Teaching an Inverse Reinforcement Learner with Limited Feedback
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；INESC-ID（里斯本系统与计算机工程研究所）
本文针对教师无法访问学习器模型且反馈仅限指定起始状态轨迹的场景，提出一种结合主动风险价值、最大因果熵和难度分数比率的教导算法，并在模拟驾驶环境中验证其有效性。
2023-09-16 cs.AI cs.LG
Reinforcement Learning from Human Feedback: A Statistical Perspective
Department of Biostatistics, Yale University（耶鲁大学生物统计学系）；Department of Statistics, London School of Economics and Political Science（伦敦政治经济学院统计学系）；Mitch Daniels School of Business, Purdue University（普渡大学米奇·丹尼尔斯商学院）
本文从统计学角度探讨了基于人类反馈的强化学习，分析了其在大语言模型对齐中的核心方法与挑战，包括奖励模型学习和策略优化，并讨论了相关统计模型和最新研究进展。
2026-04-02 cs.LG stat.ML
Towards Interactive Reinforcement Learning with Intrinsic Feedback
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文针对强化学习与脑机接口领域间未被充分探索的神经活动作为内在反馈的关键关联，提出教程式综述，涵盖其动机、方法、开放问题与基础概念，以推动相关研究的理解与应用。
2023-08-23 cs.AI cs.HC cs.LG
PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training
University of California, Berkeley（加州大学伯克利分校）
将复杂的目标传递给强化学习（RL）代理通常是困难的，涉及到精心设计的奖励函数，这些函数既有足够的信息，又很容易提供。人在回路RL方法允许从业者通过定制的反馈来交互式地教导代理;然而，由于人类反馈非常昂贵，因此这种方法在规模上具有挑战性。在这项工作中，我们的目标是使这个过程更有效的样本和反馈。我们提出了一个离政策，交互式强化学习算法，利用反馈和离策略学习的优势。具体来说，我们学习的奖励模型，积极查询教师的偏好之间的两个剪辑的行为，并用它来训练代理。为了实现离策略学习，当代理的奖励模型改变时，我们重新标记代理的所有过去经验。我们还表明，预训练我们的代理与无监督的探索大大增加了其查询的里程。我们证明，我们的方法是能够学习任务的复杂性比以前考虑的人在循环的方法，包括各种运动和机器人操作技能。我们还表明，我们的方法能够利用实时的人类反馈来有效地防止奖励剥削，并学习难以用标准奖励函数指定的新行为。
2021-06-09 cs.AI cs.LG
MulFeRL: Enhancing Reinforcement Learning with Verbal Feedback in a Multi-turn Loop
Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系，北京，中国）；Quancheng Laboratory（千晨实验室）
针对强化学习中标量奖励稀疏且缺乏信息的问题，提出MulFeRL框架，通过多轮语言反馈引导失败样本的再生、进度信用分配和结构化反馈注入，提升模型推理性能。
2026-05-30 cs.AI
Combinatorial Reinforcement Learning with Preference Feedback
Seoul National University, Seoul, Korea（首尔国立大学）
本文针对带MNL偏好反馈的组合强化学习，提出MNL-VQL算法，解决物品价值未知与组合动作空间可处理性问题，并在线性MDP情形下证明其达到近似极小极大最优遗憾。
2025-06-05 cs.LG stat.ML
Reinforcement learning for linear-convex models with jumps via stability analysis of feedback controls
University of California, Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）
我们研究有限时间水平连续时间线性凸强化学习问题的情节设置。在这个问题中，未知的线性跳跃-扩散过程被控制的非光滑凸成本。我们证明了相关的线性凸控制问题允许Lipchitz连续最优反馈控制，并进一步证明了反馈控制的Lipschitz稳定性，即，应用反馈控制的不正确的模型和真正的模型之间的性能差距取决于Lipschitz-连续的扰动在模型系数的大小;证明依赖于相关的向前向后随机微分方程的稳定性分析。然后，我们提出了一种新的最小二乘算法，实现了遗憾的顺序$O(\sqrt{N\ln N})$的线性凸学习问题的跳跃，其中$N$是学习情节的数量，分析利用Lipschitz稳定性的反馈控制和浓度属性的子威布尔随机变量。数值实验验证了算法的收敛性和鲁棒性。
2022-03-02 cs.LG math.OC stat.ML
Privacy Preserving Reinforcement Learning with One-Sided Feedback
Nanyang Technological University（南洋理工大学）；National University of Singapore（国立新加坡大学）；Cornell SC Johnson College of Business（康奈尔大学SC Johnson商学院）
本文研究了在多维连续状态和动作空间中，代理仅接收状态部分观测并仅在每个时间步获得状态-动作空间子集奖励信息的强化学习问题，提出了一种新的隐私保护强化学习算法POOL，并通过理论分析证明其样本复杂度与非隐私强化学习的下界一致，展示了在保持高学习效率的同时实现强隐私保障的可行性。
2026-05-18 cs.AI cs.LG
Reinforcement Learning from Multi-level and Episodic Human Feedback
Elmore Family School of Electrical and Computer Engineering, Purdue University（电子与计算机工程学院，普渡大学）
本文提出一种基于多层级和情节级人类反馈的强化学习算法，通过每个情节结束时的评分学习奖励函数和最优策略，可处理非马尔可夫奖励，理论证明具有次线性遗憾，仿真验证了其有效性。
2025-04-25 cs.LG
Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework
Ocean University of China（中国海洋大学）；Bilkent University（比尔肯特大学）；University of Oxford（牛津大学）；Delft University of Technology（代尔夫特理工大学）
交互式强化学习为智能体提供了一种从人类用户提供的评估反馈中学习解决任务的方法。先前的研究表明，人类在训练的早期会给出大量的反馈，但之后就很少了。在这篇文章中，我们研究了代理学习的潜力，从教练的面部表情，通过解释他们作为评价反馈。为此，我们实现了TAMER，这是一个流行的交互式强化学习方法在一个学习基准问题--无限马里奥，并进行了第一次大规模的研究TAMER涉及561名参与者。通过设计的CNN-RNN模型，我们的分析表明，告诉训练者使用面部表情和竞争可以提高使用面部表情估计积极和消极反馈的准确性。此外，我们的模拟实验结果表明，仅仅从基于面部表情的预测反馈中学习是可能的，并且使用强大/有效的预测模型或回归方法，面部反应将显着提高代理的性能。此外，我们的实验支持以前的研究表明，双向反馈和竞争元素的重要性，在培训界面。
2020-01-23 cs.HC cs.LG
Experiential Reinforcement Learning
University of Southern California（南加州大学）；Microsoft（微软公司）；University of Pennsylvania（宾夕法尼亚大学）
经验强化学习通过显式经验-反思-巩固循环提升语言模型在稀疏奖励环境中的学习效率和性能。
2026-02-15 cs.AI cs.LG
Reinforcement Learning via Self-Distillation
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；MIT（麻省理工学院）；Stanford（斯坦福大学）
通过自我蒸馏策略优化（SDPO）提升强化学习在可验证环境中的样本效率和准确性，利用自身反馈改进策略。
2026-02-16 cs.AI cs.LG
Deploying Offline Reinforcement Learning with Human Feedback
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent AI Lab（腾讯人工智能实验室）
强化学习（RL）在现实世界的应用中已经显示出对决策任务的承诺。一个实用的框架涉及从离线数据集训练参数化策略模型，然后将其部署到在线环境中。然而，这种方法可能存在风险，因为离线训练可能并不完美，导致RL模型的性能较差，可能会采取危险的行动。为了解决这个问题，我们提出了一个替代框架，涉及到一个人监督RL模型，并在在线部署阶段提供额外的反馈。我们正式这个在线部署问题，并开发两种方法。第一种方法使用模型选择和置信上限算法从训练的离线RL模型的候选集合中自适应地选择要部署的模型。第二种方法涉及在监督信号到达时在线部署阶段对模型进行微调。我们证明了这些方法的有效性，机器人运动控制和交通灯控制任务，通过实证验证。
2023-03-13 cs.AI cs.LG
RLTF: Reinforcement Learning from Unit Test Feedback
Tencent（腾讯）
针对代码生成中强化学习探索不足及单元测试信号利用不充分的问题，提出在线RL框架RLTF，利用多粒度单元测试反馈实时优化代码LLM，在APPS和MBPP基准上达到最先进性能。
2023-11-13 cs.AI cs.CL cs.LG
Multi-objective Reinforcement learning from AI Feedback
提出MORLAIF，将偏好建模按毒性、事实性等原则拆分并通过标量化组合奖励，实验证明其优于标准RLAIF且支持以小模型对齐大模型。
2024-06-12 cs.LG
Deep Reinforcement Learning from Policy-Dependent Human Feedback
Stanford University（斯坦福大学）；Brown University（布朗大学）
为了扩大其可访问性并增加其实用性，智能代理必须能够学习由（非专家）人类用户指定的复杂行为。此外，他们需要在合理的时间内学习这些行为，同时有效地利用人类教练能够提供的稀疏反馈。最近的研究表明，人类反馈可以被描述为对代理当前行为的批评，而不是作为要最大化的替代奖励信号，最终在COnvergent Actor-Critic by Humans（COACH）算法中实现，该算法用于根据人类反馈进行直接政策更新。我们的工作建立在COACH的基础上，移动到代理的策略由深度神经网络表示的设置。我们采用了一系列的修改上的原始COACH算法，成功地学习行为从高维观测的关键，同时也满足了获得降低的样本复杂性的约束。我们在Minecraft丰富的3D世界中展示了我们的Deep COACH算法的有效性，该算法使用一个代理，通过在10-15分钟的交互中仅使用实时人类反馈从原始像素映射到动作来学习完成任务。
2019-02-12 cs.LG stat.ML
LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs
MIT（麻省理工学院）
针对LLM强化学习中标量奖励浪费文本理据及在线反馈易泄露或导致崩溃的问题，提出LANPO，用语言反馈引导探索、数值奖励驱动优化，并显著提升数学推理性能。
2025-10-18 cs.AI cs.LG
Navigating Noisy Feedback: Enhancing Reinforcement Learning with Error-Prone Language Models
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute USA（美国本田研究所）
本文针对语言模型反馈中的排序错误问题，提出将反馈作为势能塑形函数的方法，在显著错误下仍能提升强化学习的收敛速度与策略回报。
2024-10-22 cs.AI
Tutoring Reinforcement Learning via Feedback Control
University of Salerno（萨勒诺大学）
我们介绍了一个控制辅导强化学习（CTRL）算法。我们的想法是加强表格学习算法的控制策略与有限的知识的系统模型。通过指导学习过程，可以大大降低学习速率。我们使用的经典问题的稳定倒立摆作为基准，数值说明的优点和缺点的方法。
2020-12-12 cs.LG cs.SY eess.SY
Coarse-Tuning Models of Code with Reinforcement Learning Feedback
Rice University（莱斯大学）；UT Austin（德克萨斯大学奥斯汀分校）；University of Wisconsin（威斯康星大学）
提出RLCF，用强化学习结合编译器和LLM反馈粗调代码模型，在Java任务上提升编译与执行正确率，达到更大模型性能。
2023-12-23 cs.AI cs.LG cs.PL
Reinforcement Learning from Statistical Feedback: the Journey from AB Testing to ANT Testing
Tencent（腾讯）
针对商业目标与模型训练的差距，提出基于统计反馈的强化学习（RLSF），利用 AB 测试获取偏好训练奖励网络，并扩展为 ANT 测试，通过数值实验验证其有效性。
2023-11-24 cs.LG math.ST stat.ME
Dual Active Learning for Reinforcement Learning from Human Feedback
Mitchell E. Daniels, Jr. School of Business, Purdue University（普渡大学米切尔·E·丹尼尔斯 Jr. 商学院）；London School of Economics and Political Science（伦敦政治经济学院）
本文提出一种双重主动奖励学习算法，同时选择对话和教师以高效获取人类反馈，并结合悲观离线强化学习实现LLM对齐，理论证明其方差最优性和次优性收敛速度，实验验证其优于现有方法。
2024-12-31 cs.LG stat.ML
Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch
DoorDash
提出在DoorDash部署的强化学习系统，利用延迟信号自适应调整调度目标权重，通过离线策略学习在噪声和耦合反馈下优化配送质量与批处理效率的权衡。
2026-06-12 cs.AI cs.LG cs.MA
Quantifying the Effect of Feedback Frequency in Interactive Reinforcement Learning for Robotic Tasks
Robotics and Interactive Systems – UPSSITECH, University Paul Sabatier（机器人与交互系统——UPSSITECH，保罗·萨巴蒂埃大学）
研究探讨了反馈频率对机器人任务中交互强化学习效率的影响，通过不同复杂度的机械臂逆运动学学习实验，发现反馈频率需随任务熟练度动态调整，无单一最优频率。
2023-03-15 cs.AI cs.HC cs.LG
SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）；UC Berkeley（加州大学伯克利分校）
基于偏好的强化学习（RL）已经显示出潜在的教学代理执行目标任务，而无需昂贵的，预定义的奖励函数，通过学习奖励与监督者的偏好之间的两个代理行为。然而，基于偏好的学习通常需要大量的人类反馈，这使得这种方法很难应用于各种应用程序。另一方面，这个数据效率问题通常通过在监督学习的上下文中使用未标记的样本或数据增强技术来解决。受这些方法最近取得的成功的启发，我们提出了SURF，这是一种半监督奖励学习框架，它利用大量未标记样本和数据增强。为了利用未标记样本进行奖励学习，我们根据偏好预测器的置信度推断未标记样本的伪标签。为了进一步提高奖励学习的标记效率，我们引入了一种新的数据增强，从原始行为中临时裁剪连续的连续性。我们的实验表明，我们的方法显着提高了反馈效率的最先进的基于偏好的方法在各种运动和机器人操作任务。
2022-03-18 cs.AI cs.LG
Online Preference-based Reinforcement Learning with Self-augmented Feedback from Large Language Model
Institute of Automation, CASIA（中国科学院自动化研究所）；Peng Cheng Laboratory（鹏城实验室）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）
提出RL-SaLLM-F方法，利用LLM生成自增强轨迹与偏好标签，结合双重检查机制，无需特权信息即可在在线PbRL中替代脚本化教师，实现高效反馈获取。
2024-12-22 cs.AI cs.LG
Is Feedback All You Need? Leveraging Natural Language Feedback in Goal-Conditioned Reinforcement Learning
University of Edinburgh（爱丁堡大学）；Heriot-Watt University（赫瑞-瓦特大学）
本文扩展 BabyAI 自动生成自然语言反馈，并改造 Decision Transformer 利用该信号，证明其可替代或补充回报与目标描述，提升目标条件 RL 智能体的泛化能力。
2023-12-07 cs.AI cs.CL
Deep reinforcement learning for feedback control in a collective flashing ratchet
Korea Advanced Institute of Science and Technology（韩国科学技术院）
集体闪烁棘轮传输布朗粒子使用空间周期性的，不对称的，和时间依赖的开关可切换的潜力。通过基于颗粒位置的反馈控制，该系统中颗粒的净电流可以显著增加。已经提出了几个最大化电流的反馈政策，但还没有找到最佳的政策，为一个中等数量的粒子。在这里，我们使用深度强化学习（RL）来寻找最佳策略，结果表明，使用合适的神经网络架构构建的策略优于以前的策略。此外，即使在延迟反馈的情况下，潜在的开关切换延迟，我们证明了深RL提供的政策提供更高的电流比以前的策略。
2021-03-25 cond-mat.stat-mech cs.LG
Online Iterative Reinforcement Learning from Human Feedback with General Preference Model
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Salesforce AI Research（Salesforce AI研究院）
研究一般偏好预言机下的人类反馈强化学习，提出基于反向KL正则化极小极大博弈的框架及样本高效的离线与在线学习算法，实证验证了其有效性。
2024-11-12 cs.LG stat.ML
GAN-Based Interactive Reinforcement Learning from Demonstration and Human Evaluative Feedback
Honda Research Institute Japan Co., Ltd（本田日本研究所）；College of Information Science and Engineering, Ocean University of China（中国海洋大学信息科学与工程学院）
深度强化学习（Deep Reinforcement Learning，DRL）在许多模拟任务中取得了巨大的成功。样本效率低的问题使得传统的DRL方法应用于现实世界的机器人是一个巨大的挑战。生成对抗模仿学习（GAIL）--一种通用的无模型模仿学习方法，允许机器人在大环境中直接从专家轨迹中学习策略。然而，GAIL共享其他模仿学习方法的局限性，他们很少能超过演示的性能。本文针对GAIL的局限性，结合GAIL和交互式强化学习的优点，提出了基于GAN的交互式强化学习（GAIRL）。我们在六个基于物理的控制任务中测试了我们提出的方法，从简单的低维控制任务--推车杆和山地车，到困难的高维任务--倒立双摆、月球着陆器、料斗和半猎豹。我们的研究结果表明，无论是最优还是次优的演示，GAIRL智能体总是可以学习一个更稳定的政策与最佳或接近最优的性能，而GAIL智能体的性能是上界的演示的性能，甚至比它更差。此外，我们的研究结果表明，GAIRL优于GAIL的原因是演示和人类的评价反馈的互补效应。
2021-04-14 cs.AI cs.LG cs.RO
M3HF: Multi-agent Reinforcement Learning from Multi-phase Human Feedback of Mixed Quality
Department of Informatics, King’s College London, London, United Kingdom（伦敦大学国王学院信息学系）；Societal Systems Department, Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学社会系统系）
本文提出M3HF框架，将混合质量的多阶段人类反馈引入多智能体强化学习，结合大语言模型解析反馈和自适应权重更新奖励函数，显著提升多智能体合作性能并扩大人类参与范围。
2025-06-04 cs.AI cs.LG cs.MA
Towards Reinforcement Learning from Neural Feedback: Mapping fNIRS Signals to Agent Performance
本文提出通过fNIRS信号预测智能体表现，利用分类器和回归器提升RLHF性能，并验证了跨受试者泛化能力。
2026-02-08 cs.AI cs.LG
Privacy-Preserving Reinforcement Learning from Human Feedback via Decoupled Reward Modeling
Purdue University（普渡大学）
本文提出一种隐私保护框架，仅在奖励学习中施加差分隐私，通过私有奖励模型生成最终策略。理论分析显示隐私引入额外的误差项，且样本量和隐私水平影响主导项，实验验证了理论预测。
2026-03-23 cs.LG stat.ML
Towards Off-Policy Reinforcement Learning for Ranking Policies with Human Feedback
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出离线价值排序算法VR，在统一EM框架中同时优化长期奖励和排序指标，无需在线交互即可提升推荐策略的样本效率和准确性。
2024-01-17 cs.AI cs.LG
Accelerating Reinforcement Learning of Robotic Manipulations via Feedback from Large Language Models
University of Hamburg（汉堡大学）
针对机器人操作强化学习中样本效率低、奖励设定难的问题，提出Lafite-RL框架，借助大语言模型自然语言反馈提升学习效率与成功率，在RLBench任务上表现优于基线。
2023-11-04 cs.AI cs.LG cs.RO
Reinforcement Learning from Implicit Neural Feedback for Human-Aligned Robot Control
本文提出利用隐式神经反馈的强化学习框架，通过脑电图信号实现人对齐的机器人控制，实验表明其在复杂任务中表现与人工设计奖励相当。
2025-11-18 cs.AI cs.RO
Principled Reinforcement Learning with Human Feedback from Pairwise or $K$-wise Comparisons
UC Berkeley（加州大学伯克利分校）
本文为RLHF建立理论框架，证明线性奖励下MLE收敛但策略训练失败，悲观MLE在覆盖假设下更优，统一RLHF与最大熵IRL并给出首个样本复杂度界。
2024-02-08 cs.AI cs.HC cs.LG
Mapping out the Space of Human Feedback for Reinforcement Learning: A Conceptual Framework
University of Konstanz（康斯坦茨大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出涵盖九个维度的人类反馈分类与七项质量指标，用以统一RLHF中人、界面和模型相关因素，并推导系统设计需求与未来研究方向。
2025-02-20 cs.HC cs.LG
