Mapping Neural Signals to Agent Performance, A Step Towards Reinforcement Learning from Neural Feedback
Department of Computer Science Tufts University（计算机科学系塔夫茨大学）
该研究提出隐式反馈框架NEURO-LOOP，验证了用fNIRS采集的前额叶脑信号映射强化学习智能体性能的可行性，构建相关数据集，为人在环强化学习及神经交互应用提供基础。
2025-06-14 cs.LG
Policy Gradient Primal-Dual Method for Safe Reinforcement Learning from Human Feedback
本文提出两种无需奖励模型拟合的Safe RLHF算法，将安全RLHF建模为无限 horizon 折扣约束马尔可夫决策过程，并保证了全局收敛性。
2026-04-21 cs.LG
A Contractive Feedback Semantics for Reinforcement Learning
The George Washington University（乔治华盛顿大学）
本文通过将单步决策过程视为开放随机组件，并利用收缩反馈环实现无限时域策略评估，建立了强化学习的组合语义，并推导出近似等价、状态抽象和合约规范的理论结果。
2026-05-23 cs.LG
ACE-RLHF: Automated Code Evaluation and Socratic Feedback Generation Tool using Large Language Models and Reinforcement Learning with Human Feedback
Department of Computer Science, Cleveland State University（克利夫兰州立大学计算机科学系）；School of Computing and Information Sciences, Florida International University（佛罗里达国际大学计算与信息科学学院）；Data Science and Learning Division, Argonne National Laboratory（阿贡国家实验室数据科学与学习分部）
本文提出ACE-RLHF工具，通过结合RLHF微调大型语言模型生成苏格拉底式代码反馈，在自动与人工评估中均显著提升了代码修复反馈的准确率。
2025-04-07 cs.LG
Reinforcement Learning from LLM Feedback to Counteract Goal Misgeneralization
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
本文提出利用大语言模型反馈识别强化学习中的目标错误泛化失败场景，并学习奖励模型以重新训练智能体，在迷宫导航任务中显著提升了目标泛化能力。
2024-01-14 cs.LG
A Large Language Model-Driven Reward Design Framework via Dynamic Feedback for Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tencent IEG（腾讯互动娱乐事业群）
本文提出CARD框架，通过编码器与评估器的动态反馈迭代生成和优化强化学习奖励函数，并引入轨迹偏好评估以避免重复训练，在多个基准上以更高令牌效率达到或超越专家设计奖励的性能。
2024-10-18 cs.LG
Multi-turn Reinforcement Learning from Preference Human Feedback
Google（谷歌）
针对现有RLHF在单轮决策层面模拟偏好、难以应对多轮交互长期目标的局限，提出基于多轮对话偏好反馈的新型RL方法，在表格设置中提出镜像下降策略优化算法并证明其收敛于纳什均衡，在教育对话环境中优于RLHF基线，且在明确奖励环境中能恢复与奖励基RL相同性能。
2024-12-02 cs.LG
Strategyproof Reinforcement Learning from Human Feedback
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（ETH人工智能中心）；Department of Computer Science University of Oxford（牛津大学计算机科学系）；Department of Computer Science University of Warwick（Warwick大学计算机科学系）
针对多标注者策略性虚报反馈的RLHF问题，证明现有算法非策略证明且存在根本权衡，提出悲观中位数MLE算法实现近似策略证明并收敛至最优策略。
2025-10-16 cs.LG
Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework
Ocean University of China（中国海洋大学）；Bilkent University（比尔肯特大学）；University of Oxford（牛津大学）；Delft University of Technology（代尔夫特理工大学）
交互式强化学习为智能体提供了一种从人类用户提供的评估反馈中学习解决任务的方法。先前的研究表明，人类在训练的早期会给出大量的反馈，但之后就很少了。在这篇文章中，我们研究了代理学习的潜力，从教练的面部表情，通过解释他们作为评价反馈。为此，我们实现了TAMER，这是一个流行的交互式强化学习方法在一个学习基准问题--无限马里奥，并进行了第一次大规模的研究TAMER涉及561名参与者。通过设计的CNN-RNN模型，我们的分析表明，告诉训练者使用面部表情和竞争可以提高使用面部表情估计积极和消极反馈的准确性。此外，我们的模拟实验结果表明，仅仅从基于面部表情的预测反馈中学习是可能的，并且使用强大/有效的预测模型或回归方法，面部反应将显着提高代理的性能。此外，我们的实验支持以前的研究表明，双向反馈和竞争元素的重要性，在培训界面。
2020-01-23 cs.HC cs.LG
PAC Reinforcement Learning without Real-World Feedback
University of Michigan（密歇根大学）；Microsoft AI & Research（微软人工智能与研究院）
这项工作研究了强化学习在模拟到真实的设置，其中代理首先在一些模拟器上进行训练，然后部署在现实世界中，目的是降低真实世界的样本复杂性要求。使用一个动态模型称为丰富的观察马尔可夫决策过程（ROMDP），我们制定了一个理论框架，模拟到真实的情况下，在现实世界中的反馈是不可用的。我们建立了真实世界的样本复杂度保证，其小于目前已知的直接（即，不访问模拟器）学习具有反馈的ROMDP。
2019-10-25 cs.LG stat.ML
Reinforcement Learning with Segment Reward Feedback under Linear Function Approximation
National University of Singapore（新加坡国立大学）；Microsoft Research Asia（微软亚洲研究院）；NVIDIA Research（英伟达研究院）；Technion（以色列理工学院）；Singapore University of Technology and Design（新加坡科技设计大学）
研究线性函数逼近下分段奖励反馈的强化学习，提出针对二元和求和反馈的算法，发现二元反馈下分段数指数降低遗憾，求和反馈下粒度影响小，等长分段最优。
2026-10-07 cs.LG
The Power of Active Multi-Task Learning in Reinforcement Learning from Human Feedback
Peking University（北京大学）
本文将RLHF形式化为上下文决斗老虎机问题，提出一种通过少量数据估计任务相关性并分配不同样本量的主动多任务学习算法，显著降低了源任务样本复杂度，且目标任务样本复杂度仅与潜在空间维度呈线性关系。
2025-03-05 cs.LG
Reinforcement Learning with Trajectory Feedback
Technion – Israel Institute of Technology（以色列理工学院）；Microsoft Research（微软研究院）；Nvidia Research（英伟达研究院）
强化学习的标准反馈模型要求揭示每个访问状态-动作对的奖励。然而，在实践中，经常无法获得这种频繁的反馈。在这项工作中，我们采取了第一步放宽这一假设，并需要一个较弱形式的反馈，我们称之为\emph{trajectory feedback}。我们不观察每个动作后获得的奖励，而是假设我们只收到一个代表智能体观察到的整个轨迹质量的分数，即在此轨迹上获得的所有奖励的总和。我们将强化学习算法扩展到这种设置，基于未知奖励的最小二乘估计，对于已知和未知的过渡模型情况，并通过分析其遗憾来研究这些算法的性能。对于过渡模型未知的情况下，我们提供了一个混合的乐观汤普森采样方法，结果在一个易于处理的算法。
2021-03-04 cs.LG stat.ML
Multi-trainer Interactive Reinforcement Learning System
University of Southampton（南安普顿大学）
交互式强化学习可以通过人工反馈有效地促进Agent训练。然而，这种方法通常需要人类教师知道代理应该采取的正确行动。换句话说，如果人类老师并不总是可靠的，那么它就不能始终如一地指导智能体完成训练。在本文中，我们提出了一个更有效的交互式强化学习系统，通过引入多个训练器，即多训练器交互式强化学习（MTIRL），它可以聚合从多个非完美的训练器的二进制反馈到一个更可靠的奖励稀疏环境中的代理训练。特别是，我们的教练反馈聚合实验表明，我们的聚合方法具有最好的准确性相比，多数投票，加权投票，贝叶斯方法。最后，我们进行了一个网格世界的实验表明，MTIRL与审查模型训练的政策是更接近最优的政策比没有审查模型。
2022-10-14 cs.LG
On the Search for Feedback in Reinforcement Learning
Texas A&M University（德州农工大学）
强化学习（RL）在未知非线性动力系统中的问题等价于利用动力系统的模拟/推出来搜索最优反馈律。大多数RL技术搜索复杂的全局非线性反馈参数化，使它们遭受高训练时间和方差。相反，我们主张搜索一个局部反馈表示组成的开环序列，和一个相关的最佳线性反馈法完全由开环确定。我们表明，这种替代方法可以实现高效的训练，获得的答案是可重复的，因此是可靠的，并且由此产生的封闭性能优于全球最先进的RL技术。最后，如果我们重新规划，只要需要，这是可行的，由于快速和可靠的局部解决方案，它允许我们恢复全局最优的反馈法。
2022-03-24 cs.LG stat.ML
Expanding the Capabilities of Reinforcement Learning via Text Feedback
Department of XXX, University of YYY, Location, Country（YYY大学XXX系）；School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院）
本文提出通过文本反馈改进强化学习的方法，通过自我蒸馏和反馈建模在推理、数学和写作任务中超越基线性能。
2026-02-11 cs.LG
Reinforcement Learning from Human Feedback
Nathan Lambert（纳瑟恩·拉姆伯特）
本书系统介绍强化学习从人类反馈的核心方法，涵盖指令微调、奖励模型训练及拒绝采样等关键技术，探讨合成数据与评估中的前沿问题。
2026-09-11 cs.LG
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Deep reinforcement learning for feedback control in a collective flashing ratchet
Korea Advanced Institute of Science and Technology（韩国科学技术院）
集体闪烁棘轮传输布朗粒子使用空间周期性的，不对称的，和时间依赖的开关可切换的潜力。通过基于颗粒位置的反馈控制，该系统中颗粒的净电流可以显著增加。已经提出了几个最大化电流的反馈政策，但还没有找到最佳的政策，为一个中等数量的粒子。在这里，我们使用深度强化学习（RL）来寻找最佳策略，结果表明，使用合适的神经网络架构构建的策略优于以前的策略。此外，即使在延迟反馈的情况下，潜在的开关切换延迟，我们证明了深RL提供的政策提供更高的电流比以前的策略。
2021-03-25 cond-mat.stat-mech cs.LG
Reinforcement Learning with Feedback-modulated TD-STDP
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
尖峰神经元网络已成功地用于解决简单的强化学习任务，连续的动作集应用基于尖峰时间依赖可塑性（STDP）的学习规则。然而，这些模型中的大多数不能应用于具有离散动作集的强化学习任务，因为它们假设所选择的动作是神经元放电率的确定性函数，这是连续的。在本文中，我们提出了一个新的STDP为基础的学习规则的尖峰神经元网络，其中包含反馈调制。我们表明，基于STDP的学习规则可以用于解决强化学习任务与离散动作集的速度类似于标准的强化学习算法时，适用于CartPole和LunarLander任务。此外，我们证明了代理是无法解决这些任务，如果反馈调制从学习规则中省略。我们的结论是，反馈调制允许更好的信用分配时，只有单位有助于执行的行动和TD错误参与学习。
2020-08-29 cs.AI cs.LG stat.ML
Mapping out the Space of Human Feedback for Reinforcement Learning: A Conceptual Framework
University of Konstanz（康斯坦茨大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出涵盖九个维度的人类反馈分类与七项质量指标，用以统一RLHF中人、界面和模型相关因素，并推导系统设计需求与未来研究方向。
2025-02-20 cs.HC cs.LG
Influencing Reinforcement Learning through Natural Language Guidance
University of Kentucky（肯塔基大学）
交互式强化学习代理使用人类反馈或指令来帮助它们在复杂环境中学习。通常，这种反馈以正或负的离散信号的形式出现。虽然信息量很大，但这些信息本身可能很难概括。在这项工作中，我们将探讨如何自然语言的意见，可以用来提供一个更丰富的反馈信号，强化学习代理，通过扩展的政策塑造，一个著名的交互式强化学习技术。通常，策略形成采用人工反馈策略来帮助智能体更多地了解如何实现其目标。在我们的例子中，我们用基于自然语言建议生成的策略替换了这种人工反馈策略。我们的目标是检查生成的自然语言推理是否为深度强化学习代理提供支持，以在任何给定的环境中成功地决定其行动。因此，我们设计了三个网络的模型：第一个是经验驱动，第二个是建议生成器，第三个是建议驱动。当经验驱动的强化学习代理选择其受环境奖励影响的动作时，具有由建议生成器针对任何新状态生成的反馈的建议驱动的神经网络选择其动作以帮助强化学习代理更好地进行策略成形。
2021-04-11 cs.AI cs.LG
Reinforcement Learning from Denoising Feedback
Fudan University（复旦大学）；Ant Group（蚂蚁集团）；Hong Kong University of Science and Technology（香港科技大学）
提出RLDF方法，利用去噪反馈进行策略损失估计，通过优化中间噪声状态到裁剪干净状态并结合加权时间步采样，在扩散语言模型上提升性能和泛化性。
2026-06-05 cs.CL cs.LG
NaRLE: Natural Language Models using Reinforcement Learning with Emotion Feedback
Microsoft（微软）
当前对话系统的研究主要集中在面向任务或开放域环境下的短对话上。在本文中，我们专注于在线改进基于任务的会话助理，主要是那些从事文档类型会话的助理（例如，电子邮件），其内容可能与助理的任务完全相关，也可能不完全相关。我们提出了“NARLE”一个深度强化学习（RL）框架，用于在线改进对话系统的自然语言理解（NLU）组件，而无需为客户数据收集人类标签。所提出的解决方案将用户情感与助理的动作相关联，并使用该情感来使用策略梯度改进NLU模型。对于两个意图分类问题，我们的经验表明，使用强化学习微调预训练的监督学习模型，提高性能高达43%。此外，我们证明了部分和噪声隐式反馈的方法的鲁棒性。
2021-10-05 cs.CL cs.LG
Tutoring Reinforcement Learning via Feedback Control
University of Salerno（萨勒诺大学）
我们介绍了一个控制辅导强化学习（CTRL）算法。我们的想法是加强表格学习算法的控制策略与有限的知识的系统模型。通过指导学习过程，可以大大降低学习速率。我们使用的经典问题的稳定倒立摆作为基准，数值说明的优点和缺点的方法。
2020-12-12 cs.LG cs.SY eess.SY
CANDERE-COACH: Reinforcement Learning from Noisy Feedback
University of Alberta（阿尔伯塔大学）；University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
提出CANDERE-COACH算法，通过噪声过滤机制处理非最优教师的在线反馈数据，使RL智能体在40%反馈错误时仍能成功学习。
2024-09-23 cs.AI cs.LG
Connections between reinforcement learning with feedback,test-time scaling, and diffusion guidance: An anthology
Department of Statistics and Data Science, Chinese University of Hong Kong（统计与数据科学系，香港中文大学）；Department of Statistics and Data Science, the Wharton School, University of Pennsylvania（统计与数据科学系，沃顿商学院，宾夕法尼亚大学）
该研究梳理了人类反馈强化学习、内部反馈强化学习、测试时缩放及扩散引导等训练后技术间的关联与等价性，还提出了无需显式强化学习的对齐与奖励导向扩散模型重采样方法。
2025-09-04 cs.GL cs.LG math.ST
Reinforcement Learning from Statistical Feedback: the Journey from AB Testing to ANT Testing
Tencent（腾讯）
针对商业目标与模型训练的差距，提出基于统计反馈的强化学习（RLSF），利用 AB 测试获取偏好训练奖励网络，并扩展为 ANT 测试，通过数值实验验证其有效性。
2023-11-24 cs.LG math.ST stat.ME
Deep Reinforcement Learning with Feedback-based Exploration
Delft University of Technology（代尔夫特理工大学）
深度强化学习使人们能够控制日益复杂和高维的问题。然而，在获得合理的性能之前需要大量的数据，这阻碍了其广泛的应用。我们采用二进制校正反馈作为一种通用和直观的方式，将人类的直觉和领域知识的无模型机器学习。策略中的不确定性和校正反馈直接在动作空间中组合为概率条件探索。因此，可以避免大部分无知的学习过程。我们证明了所提出的方法，预测概率合并的政策（PPMP），结合DDPG。在OpenAI Gym的连续控制问题的实验中，我们在样本效率、最终性能和对错误反馈的鲁棒性方面都有了大幅提高，无论是人为反馈还是合成反馈。此外，我们还展示了超出所展示知识的解决方案。
2019-03-14 cs.AI cs.LG stat.ML
Pixel-wise RL on Diffusion Models: Reinforcement Learning from Rich Feedback
Solofied Ltd.（索洛菲德有限公司）
针对DDPO仅有最终图像奖励导致的稀疏奖励与高样本需求，本文提出PXPO算法，将像素级反馈纳入扩散模型强化学习，以更精细的奖励优化策略。
2024-04-05 cs.CV cs.LG
Reinforcement Learning for Bandit Neural Machine Translation with Simulated Human Feedback
University of Maryland（马里兰大学）；Microsoft Research, New York（微软研究院纽约分院）
机器翻译是基于人类反馈的强化学习的自然候选问题：用户对候选翻译提供快速、肮脏的评级，以指导系统进行改进。然而，目前的神经机器翻译训练集中在昂贵的人类生成的参考翻译上。我们描述了一种强化学习算法，它可以从模拟的人类反馈中改进神经机器翻译系统。我们的算法结合了优势行动者-批评者算法（Mnih等人，2016）与基于注意力的神经编码器-解码器架构（Luong等人，2015年）。该算法（a）针对具有大动作空间和延迟奖励的问题进行了良好的设计，（b）有效地优化了传统的语料库级别的机器翻译度量，以及（c）对在实际人类行为之后建模的倾斜，高方差，粒度反馈具有鲁棒性。
2017-11-11 cs.AI cs.CL cs.HC
Offline Reinforcement Learning from Human Feedback in Real-World Sequence-to-Sequence Tasks
Google Research（谷歌研究院）；Heidelberg University（海德堡大学）；NEC Laboratories Europe（NEC欧洲实验室）
可以从部署在现实世界中的NLP系统中收集大量的交互日志。如何利用这些丰富的信息？在离线强化学习（RL）设置中使用这样的交互日志是一种有前途的方法。然而，由于NLP任务的性质和生产系统的限制，出现了一系列的挑战。我们对这些挑战进行了简要概述，并讨论了可能的解决方案。
2021-06-09 cs.CL cs.LG
Online Feature Selection for Activity Recognition using Reinforcement Learning with Multiple Feedback
University of Bristol（布里斯托大学）
机器学习和物联网的最新进展吸引了人们对自动活动识别的关注，其中用户佩戴具有传感器的设备，并且他们的输出被映射到预定义的活动集合。然而，很少有研究考虑可穿戴设备功耗和活动识别准确性之间的平衡。当计算负载的一部分发生在可穿戴设备上时，这是特别重要的。在本文中，我们提出了一种新的方法来执行特征选择的设备上的基础上强化学习（RL），找到功耗和准确性之间的最佳平衡。为了加快学习速度，我们扩展了RL算法来处理多个反馈源，并使用它们来调整策略，同时估计反馈精度。我们在SPHERE挑战数据集上评估了我们的系统，这是一个公开的研究数据集。结果表明，我们提出的方法实现了可穿戴功耗和活动识别精度之间的良好权衡。
2019-08-16 cs.LG stat.ML
Reinforcement Learning with Feedback Graphs
Cornell University（康奈尔大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
我们研究了马尔可夫决策过程中的情景强化学习，当代理每一步都以几个过渡观察的形式接收额外的反馈时。这种额外的观察在一系列任务中通过扩展的传感器或关于环境的先验知识（例如，当某些行为产生类似的结果时）。我们使用状态-动作对的反馈图来正式化这种设置，并表明基于模型的算法可以利用额外的反馈来进行更有效的学习。我们给出了一个遗憾的界限，忽略对数因子和低阶项，仅取决于反馈图的最大非循环子图的大小，与多项式依赖的状态和动作的数量在没有反馈图。最后，我们强调挑战时，利用一个小的支配集的反馈图相比，强盗设置，并提出了一个新的算法，可以使用这样的支配集的知识，更样本有效的学习一个接近最优的政策。
2020-05-07 cs.AI cs.LG stat.ML
HRLAIF: Improvements in Helpfulness and Harmlessness in Open-domain Reinforcement Learning From AI Feedback
Tencent PCG（腾讯平台与内容事业群）
针对基础RLAIF在开放域中导致响应满意度下降的问题，提出HRLAIF方法，通过增强AI注释准确性和AI红队测试，提升模型帮助性与无害性，使满意度较RL前提高2.08%。
2024-03-14 cs.AI cs.LG
On the Theory of Reinforcement Learning with Once-per-Episode Feedback
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）
我们研究了强化学习（RL）的理论，其中学习者在一集结束时只接收一次二进制反馈。虽然这是一个极端的理论测试案例，但它也可以说比RL实践中的传统要求更能代表现实世界的应用，即学习者在每个时间步都收到反馈。事实上，在强化学习的许多现实应用中，例如自动驾驶汽车和机器人技术，评估学习者的完整轨迹是“好”还是“坏”更容易，但在每一步提供奖励信号更难。为了证明在这种更具挑战性的环境中学习是可能的，我们研究了轨迹标签由未知参数模型生成的情况，并提供了一种统计和计算效率高的算法，实现了次线性遗憾。
2022-08-21 cs.AI cs.LG stat.ML
Reinforcement Learning Based Goodput Maximization with Quantized Feedback in URLLC
KTH Royal Institute of Technology（瑞典皇家理工学院）；Hitachi Energy（日立能源）
本文提出基于强化学习的量化反馈方案，结合Rician-K因子估计，在URLLC动态信道条件下最大化有效吞吐量，提升系统性能。
2025-01-19 cs.IT cs.LG eess.SP
Low-Rank Contextual Reinforcement Learning from Heterogeneous Human Feedback
Department of Statistics and Operations Research, University of North Carolina, Chapel Hill（统计与运筹学系，北卡罗来纳大学 Chapel Hill 分校）；Daniels School of Business, Purdue University（商务学院，普渡大学）；Department of Statistics and Operations Research, Department of Genetics, Department of Biostatistics, The University of North Carolina at Chapel Hill（统计与运筹学系，遗传学系，生物统计学系，北卡罗来纳大学 Chapel Hill 分校）
本文提出LoCo-RLHF框架，通过整合上下文信息和低秩结构，有效应对异质人类反馈的挑战，提升个性化强化学习性能。
2026-03-04 cs.LG stat.ML
Recommendations with Negative Feedback via Pairwise Deep Reinforcement Learning
Michigan State University（密歇根州立大学）
推荐系统通过向用户推荐个性化的商品或服务，在缓解信息过载问题方面起着至关重要的作用。绝大多数传统的推荐系统将推荐过程视为一个静态的过程，并遵循固定的策略进行推荐。在本文中，我们提出了一种新的推荐系统的能力，不断提高其策略，在与用户的互动。我们将用户和推荐系统之间的顺序交互建模为马尔可夫决策过程（MDP），并利用强化学习（RL）通过推荐试错项目并从用户的反馈中接收这些项目的强化来自动学习最优策略。用户的反馈可以是积极的和消极的，这两种类型的反馈都有很大的潜力，以提高推荐。然而，负反馈的数量远远大于正反馈，因此同时将它们合并是具有挑战性的，因为正反馈可能被负反馈所掩盖。在本文中，我们开发了一种新的方法，将它们纳入建议的深度推荐系统（DEERS）框架。基于真实电子商务数据的实验结果验证了该框架的有效性。进一步的实验已经进行了理解的重要性，积极和消极的反馈建议。
2018-08-10 cs.IR cs.LG stat.ML
Humans are not Boltzmann Distributions: Challenges and Opportunities for Modelling Human Feedback and Interaction in Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
强化学习（RL）通常假设可以访问指定的奖励函数，而许多实际应用并不提供。相反，最近，更多的工作探索了从与人类的互动中学习该做什么。到目前为止，这些方法中的大多数都将人类建模为（爱管闲事的）理性，特别是提供无偏见的反馈。我们认为这些模型过于简单化，RL研究人员需要开发更真实的人体模型来设计和评估他们的算法。特别是，我们认为，人类模型必须是个人的，上下文，和动态的。本文呼吁不同学科的研究来解决人类如何向AI提供反馈以及我们如何构建更强大的人在回路RL系统的关键问题。
2022-06-27 cs.HC cs.LG stat.ML
Interactively Teaching an Inverse Reinforcement Learner with Limited Feedback
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；INESC-ID（里斯本系统与计算机工程研究所）
本文针对教师无法访问学习器模型且反馈仅限指定起始状态轨迹的场景，提出一种结合主动风险价值、最大因果熵和难度分数比率的教导算法，并在模拟驾驶环境中验证其有效性。
2023-09-16 cs.AI cs.LG
DQN-TAMER: Human-in-the-Loop Reinforcement Learning with Intractable Feedback
The University of Tokyo（东京大学）；Preferred Networks, Inc.（Preferred Networks 公司）
探索问题一直是强化学习（RL）面临的最大挑战之一，也是RL在机器人领域应用的一大障碍。即使使用最先进的强化学习算法，构建一个学习良好的智能体也往往需要太多的试验，主要是因为很难将其行为与遥远的未来的奖励相匹配。对此的一个补救措施是训练一个代理，该代理具有来自人类观察者的实时反馈，该观察者立即对某些行为给予奖励。这项研究解决了一系列的挑战，引入这样一个人在环RL计划。这项工作的第一个贡献是我们用精确建模的人类观察者进行的实验：二进制，延迟，随机性，不可持续性和自然反应。我们还提出了一种名为DQN-TAMER的RL方法，它有效地利用了人类反馈和远程奖励。我们发现DQN-TAMER代理在迷宫和出租车模拟环境中的表现优于其基线。此外，我们展示了一个真实世界的人在环RL应用程序，其中相机自动识别用户的面部表情作为对代理的反馈，而代理探索迷宫。
2018-10-28 cs.HC cs.LG
Provable Safe Reinforcement Learning with Binary Feedback
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
安全性在强化学习（RL）的许多应用中都是至关重要的，无论是机器人、汽车还是医疗。许多现有的安全RL方法依赖于接收数字安全反馈，但在许多情况下，这种反馈只能采用二进制值;也就是说，给定状态下的动作是安全的还是不安全的。当反馈来自人类专家时，情况尤其如此。因此，我们考虑可证明的安全RL的问题时，给予访问离线oracle提供二进制反馈的安全状态，动作对。我们提供了一种新的Meta算法，SABRE，它可以应用于任何MDP设置访问黑盒PAC RL算法的设置。SABRE应用从主动学习到强化学习的概念，以可证明地控制对安全预言的查询数量。SABRE通过迭代地探索状态空间来找到代理当前不确定安全性的区域。我们的主要理论结果表明，在适当的技术假设下，SABRE在训练过程中从不采取不安全的行动，并保证以高概率返回一个接近最优的安全策略。我们提供了一个讨论，我们的元算法可以应用到各种设置研究的理论和实证框架。
2022-10-26 cs.AI cs.LG stat.ML
Reinforcement Learning from Human Feedback: A Statistical Perspective
Department of Biostatistics, Yale University（耶鲁大学生物统计学系）；Department of Statistics, London School of Economics and Political Science（伦敦政治经济学院统计学系）；Mitch Daniels School of Business, Purdue University（普渡大学米奇·丹尼尔斯商学院）
本文从统计学角度探讨了基于人类反馈的强化学习，分析了其在大语言模型对齐中的核心方法与挑战，包括奖励模型学习和策略优化，并讨论了相关统计模型和最新研究进展。
2026-04-02 cs.LG stat.ML
Computing the Feedback Capacity of Finite State Channels using Reinforcement Learning
Ben-Gurion University of the Negev（本古里安大学）
在本文中，我们提出了一种新的方法来计算反馈容量的通道与记忆使用强化学习（RL）。在强化学习中，人们试图最大化在顺序决策环境中收集的累积奖励。这是通过收集底层环境的样本并使用它们来学习最佳决策规则来完成的。这种方法的主要优点是它的计算效率，即使在高维问题。因此，RL可以用来估计数字的单线有限状态信道（FSC）的反馈容量与大字母的大小。RL算法的结果揭示了最优决策规则的属性，在我们的情况下，是信道的最优输入分布。这些见解可以通过求解相应的下限和上限转换为解析的单字母容量表达式。我们证明了这种方法的效率，通过解析求解的反馈容量的著名的伊辛信道与三进制字母表。我们还提供了一个简单的编码方案，实现了反馈能力。
2020-01-27 cs.IT cs.LG math.IT
Boosting Feedback Efficiency of Interactive Reinforcement Learning by Adaptive Learning from Scores
University of Bristol（布里斯托大学）；Beijing Institute of Technology（北京理工大学）；Baidu Research（百度研究院）
本文提出用人类评分替代成对偏好作为交互式强化学习反馈，并设计自适应学习方案应对评分不稳定问题，在机器人运动与操作任务中以更少反馈高效学习近最优策略。
2023-08-06 cs.LG cs.RO
Enhancing Rating-Based Reinforcement Learning to Effectively Leverage Feedback from Large Vision-Language Models
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
针对强化学习奖励函数设计依赖人力、反馈获取成本高的问题，提出增强型基于评分的RL方法ERL-VLM，通过查询VLM获取轨迹绝对评分并解决数据不平衡等问题，性能优于现有方法，助力高效自主的奖励学习。
2025-06-15 cs.LG cs.RO
Towards Interactive Reinforcement Learning with Intrinsic Feedback
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文针对强化学习与脑机接口领域间未被充分探索的神经活动作为内在反馈的关键关联，提出教程式综述，涵盖其动机、方法、开放问题与基础概念，以推动相关研究的理解与应用。
2023-08-23 cs.AI cs.HC cs.LG
PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training
University of California, Berkeley（加州大学伯克利分校）
将复杂的目标传递给强化学习（RL）代理通常是困难的，涉及到精心设计的奖励函数，这些函数既有足够的信息，又很容易提供。人在回路RL方法允许从业者通过定制的反馈来交互式地教导代理;然而，由于人类反馈非常昂贵，因此这种方法在规模上具有挑战性。在这项工作中，我们的目标是使这个过程更有效的样本和反馈。我们提出了一个离政策，交互式强化学习算法，利用反馈和离策略学习的优势。具体来说，我们学习的奖励模型，积极查询教师的偏好之间的两个剪辑的行为，并用它来训练代理。为了实现离策略学习，当代理的奖励模型改变时，我们重新标记代理的所有过去经验。我们还表明，预训练我们的代理与无监督的探索大大增加了其查询的里程。我们证明，我们的方法是能够学习任务的复杂性比以前考虑的人在循环的方法，包括各种运动和机器人操作技能。我们还表明，我们的方法能够利用实时的人类反馈来有效地防止奖励剥削，并学习难以用标准奖励函数指定的新行为。
2021-06-09 cs.AI cs.LG
Combinatorial Reinforcement Learning with Preference Feedback
Seoul National University, Seoul, Korea（首尔国立大学）
本文针对带MNL偏好反馈的组合强化学习，提出MNL-VQL算法，解决物品价值未知与组合动作空间可处理性问题，并在线性MDP情形下证明其达到近似极小极大最优遗憾。
2025-06-05 cs.LG stat.ML
Reinforcement learning for linear-convex models with jumps via stability analysis of feedback controls
University of California, Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）
我们研究有限时间水平连续时间线性凸强化学习问题的情节设置。在这个问题中，未知的线性跳跃-扩散过程被控制的非光滑凸成本。我们证明了相关的线性凸控制问题允许Lipchitz连续最优反馈控制，并进一步证明了反馈控制的Lipschitz稳定性，即，应用反馈控制的不正确的模型和真正的模型之间的性能差距取决于Lipschitz-连续的扰动在模型系数的大小;证明依赖于相关的向前向后随机微分方程的稳定性分析。然后，我们提出了一种新的最小二乘算法，实现了遗憾的顺序$O(\sqrt{N\ln N})$的线性凸学习问题的跳跃，其中$N$是学习情节的数量，分析利用Lipschitz稳定性的反馈控制和浓度属性的子威布尔随机变量。数值实验验证了算法的收敛性和鲁棒性。
2022-03-02 cs.LG math.OC stat.ML
Privacy Preserving Reinforcement Learning with One-Sided Feedback
Nanyang Technological University（南洋理工大学）；National University of Singapore（国立新加坡大学）；Cornell SC Johnson College of Business（康奈尔大学SC Johnson商学院）
本文研究了在多维连续状态和动作空间中，代理仅接收状态部分观测并仅在每个时间步获得状态-动作空间子集奖励信息的强化学习问题，提出了一种新的隐私保护强化学习算法POOL，并通过理论分析证明其样本复杂度与非隐私强化学习的下界一致，展示了在保持高学习效率的同时实现强隐私保障的可行性。
2026-05-18 cs.AI cs.LG
Experiential Reinforcement Learning
University of Southern California（南加州大学）；Microsoft（微软公司）；University of Pennsylvania（宾夕法尼亚大学）
经验强化学习通过显式经验-反思-巩固循环提升语言模型在稀疏奖励环境中的学习效率和性能。
2026-02-15 cs.AI cs.LG
Reinforcement Learning via Self-Distillation
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；MIT（麻省理工学院）；Stanford（斯坦福大学）
通过自我蒸馏策略优化（SDPO）提升强化学习在可验证环境中的样本效率和准确性，利用自身反馈改进策略。
2026-02-16 cs.AI cs.LG
