Control-Tutored Reinforcement Learning
University of Naples Federico II（那不勒斯费德里科二世大学）；University College Dublin（都柏林大学学院）
我们介绍了一个控制辅导强化学习（CTRL）算法。我们的想法是，以提高表格学习算法，以改善探索的状态空间，并大大减少学习时间，利用一些有限的知识，植物编码成一个辅导模型为基础的控制策略。我们说明了我们的新方法的好处和它的有效性，通过使用的问题，控制一个或多个代理放牧和包含在一个目标区域内的一组目标自由漫游代理在飞机上。
2019-12-12 cs.LG cs.MA cs.SY
MC-CPO: Mastery-Conditioned Constrained Policy Optimization for Pedagogically Safe Intelligent Tutoring Systems
School of Computing Sciences（计算科学学院）；Computer Engineering, University of Southern Mississippi, Hattiesburg, MS 39406, USA（计算机工程，密西西比大学，哈特斯伯格，MS 39406，USA）
本文提出 MC-CPO 框架，通过结构化约束解决教学安全问题，提升学习者知识掌握率，实验证明其在两个平台上的效果显著。
2026-06-08 cs.AI cs.CY cs.LG
Accelerating Reinforcement Learning Algorithms Convergence using Pre-trained Large Language Models as Tutors With Advice Reusing
本研究探索预训练大语言模型作为导师在师生架构中指导强化学习，通过重用建议加速收敛，实验表明该方法显著提升收敛速度且保持性能，但重用建议可能降低稳定性。
2025-09-10 cs.AI cs.LG
Observer-Feedback-Feedforward Controller Structures in Reinforcement Learning
Uppsala University（乌普萨拉大学）
针对部分可观测非线性系统，本文提出由循环观测器网络与反馈/前馈控制器网络组成的结构化强化学习控制器，可降低复杂度、加快训练并提升扰动抑制。
2023-04-20 cs.LG cs.SY eess.SY
Ontology-driven Reinforcement Learning for Personalized Student Support
Rowan University（罗文大学）
本文提出一个结合本体、数据收集与多智能体强化学习的通用模块化框架，可适配严肃游戏或智能导学系统等虚拟教育软件，为每位学生提供个性化支持。
2024-09-05 cs.CY cs.LG cs.MA
The intrinsic motivation of reinforcement and imitation learning for sequential tasks
ETIS Lab（ETIS实验室）；Idiap Research Institute（Idiap研究所）；Universidade da Coruna（拉科鲁尼亚大学）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
本文提出一种基于经验进展的内在动机统一框架，使学习智能体在多任务序列学习中主动选择探索或模仿、任务分解及最佳导师请求示范，从而实现更快、更鲁棒的自动课程学习。
2024-12-29 cs.AI cs.HC cs.LG
Reinforcement learning for linear-convex models with jumps via stability analysis of feedback controls
University of California, Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）
我们研究有限时间水平连续时间线性凸强化学习问题的情节设置。在这个问题中，未知的线性跳跃-扩散过程被控制的非光滑凸成本。我们证明了相关的线性凸控制问题允许Lipchitz连续最优反馈控制，并进一步证明了反馈控制的Lipschitz稳定性，即，应用反馈控制的不正确的模型和真正的模型之间的性能差距取决于Lipschitz-连续的扰动在模型系数的大小;证明依赖于相关的向前向后随机微分方程的稳定性分析。然后，我们提出了一种新的最小二乘算法，实现了遗憾的顺序$O(\sqrt{N\ln N})$的线性凸学习问题的跳跃，其中$N$是学习情节的数量，分析利用Lipschitz稳定性的反馈控制和浓度属性的子威布尔随机变量。数值实验验证了算法的收敛性和鲁棒性。
2022-03-02 cs.LG math.OC stat.ML
Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework
Ocean University of China（中国海洋大学）；Bilkent University（比尔肯特大学）；University of Oxford（牛津大学）；Delft University of Technology（代尔夫特理工大学）
交互式强化学习为智能体提供了一种从人类用户提供的评估反馈中学习解决任务的方法。先前的研究表明，人类在训练的早期会给出大量的反馈，但之后就很少了。在这篇文章中，我们研究了代理学习的潜力，从教练的面部表情，通过解释他们作为评价反馈。为此，我们实现了TAMER，这是一个流行的交互式强化学习方法在一个学习基准问题--无限马里奥，并进行了第一次大规模的研究TAMER涉及561名参与者。通过设计的CNN-RNN模型，我们的分析表明，告诉训练者使用面部表情和竞争可以提高使用面部表情估计积极和消极反馈的准确性。此外，我们的模拟实验结果表明，仅仅从基于面部表情的预测反馈中学习是可能的，并且使用强大/有效的预测模型或回归方法，面部反应将显着提高代理的性能。此外，我们的实验支持以前的研究表明，双向反馈和竞争元素的重要性，在培训界面。
2020-01-23 cs.HC cs.LG
Reinforcement Learning from Multi-level and Episodic Human Feedback
Elmore Family School of Electrical and Computer Engineering, Purdue University（电子与计算机工程学院，普渡大学）
本文提出一种基于多层级和情节级人类反馈的强化学习算法，通过每个情节结束时的评分学习奖励函数和最优策略，可处理非马尔可夫奖励，理论证明具有次线性遗憾，仿真验证了其有效性。
2025-04-25 cs.LG
Learning how to learn: an adaptive dialogue agent for incrementally learning visually grounded word meanings
Interaction Lab（交互实验室）；Heriot-Watt University（赫瑞瓦特大学）
我们提出了一种优化的多模态对话代理，用于从人类导师交互式学习视觉接地词义，在真实的人-人辅导数据上进行训练。在终身交互学习期间，使用强化学习（RL）训练的智能体必须能够处理与人类用户的自然对话，并实现良好的学习性能（准确性），同时最大限度地减少学习过程中的人工努力。我们训练和评估这个系统的互动与模拟人类导师，这是建立在BURCHAK语料库-一个人与人的对话数据集的视觉学习任务。结果表明：1）学习的策略可以与模拟用户进行一致的交互，以实现任务的目标（即学习对象的视觉属性，例如颜色和形状）; 2）它在分类器准确性和辅导成本之间找到了比手工制作的基于规则的策略（包括具有动态策略的策略）更好的权衡。
2017-09-29 cs.AI cs.CL cs.LG
Reinforcement Learning with Feedback-modulated TD-STDP
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
尖峰神经元网络已成功地用于解决简单的强化学习任务，连续的动作集应用基于尖峰时间依赖可塑性（STDP）的学习规则。然而，这些模型中的大多数不能应用于具有离散动作集的强化学习任务，因为它们假设所选择的动作是神经元放电率的确定性函数，这是连续的。在本文中，我们提出了一个新的STDP为基础的学习规则的尖峰神经元网络，其中包含反馈调制。我们表明，基于STDP的学习规则可以用于解决强化学习任务与离散动作集的速度类似于标准的强化学习算法时，适用于CartPole和LunarLander任务。此外，我们证明了代理是无法解决这些任务，如果反馈调制从学习规则中省略。我们的结论是，反馈调制允许更好的信用分配时，只有单位有助于执行的行动和TD错误参与学习。
2020-08-29 cs.AI cs.LG stat.ML
PAC Reinforcement Learning without Real-World Feedback
University of Michigan（密歇根大学）；Microsoft AI & Research（微软人工智能与研究院）
这项工作研究了强化学习在模拟到真实的设置，其中代理首先在一些模拟器上进行训练，然后部署在现实世界中，目的是降低真实世界的样本复杂性要求。使用一个动态模型称为丰富的观察马尔可夫决策过程（ROMDP），我们制定了一个理论框架，模拟到真实的情况下，在现实世界中的反馈是不可用的。我们建立了真实世界的样本复杂度保证，其小于目前已知的直接（即，不访问模拟器）学习具有反馈的ROMDP。
2019-10-25 cs.LG stat.ML
Connections between reinforcement learning with feedback,test-time scaling, and diffusion guidance: An anthology
Department of Statistics and Data Science, Chinese University of Hong Kong（统计与数据科学系，香港中文大学）；Department of Statistics and Data Science, the Wharton School, University of Pennsylvania（统计与数据科学系，沃顿商学院，宾夕法尼亚大学）
该研究梳理了人类反馈强化学习、内部反馈强化学习、测试时缩放及扩散引导等训练后技术间的关联与等价性，还提出了无需显式强化学习的对齐与奖励导向扩散模型重采样方法。
2025-09-04 cs.GL cs.LG math.ST
Reinforcement Learning with Trajectory Feedback
Technion – Israel Institute of Technology（以色列理工学院）；Microsoft Research（微软研究院）；Nvidia Research（英伟达研究院）
强化学习的标准反馈模型要求揭示每个访问状态-动作对的奖励。然而，在实践中，经常无法获得这种频繁的反馈。在这项工作中，我们采取了第一步放宽这一假设，并需要一个较弱形式的反馈，我们称之为\emph{trajectory feedback}。我们不观察每个动作后获得的奖励，而是假设我们只收到一个代表智能体观察到的整个轨迹质量的分数，即在此轨迹上获得的所有奖励的总和。我们将强化学习算法扩展到这种设置，基于未知奖励的最小二乘估计，对于已知和未知的过渡模型情况，并通过分析其遗憾来研究这些算法的性能。对于过渡模型未知的情况下，我们提供了一个混合的乐观汤普森采样方法，结果在一个易于处理的算法。
2021-03-04 cs.LG stat.ML
Multi-objective Reinforcement learning from AI Feedback
提出MORLAIF，将偏好建模按毒性、事实性等原则拆分并通过标量化组合奖励，实验证明其优于标准RLAIF且支持以小模型对齐大模型。
2024-06-12 cs.LG
Reinforcement Learning from Statistical Feedback: the Journey from AB Testing to ANT Testing
Tencent（腾讯）
针对商业目标与模型训练的差距，提出基于统计反馈的强化学习（RLSF），利用 AB 测试获取偏好训练奖励网络，并扩展为 ANT 测试，通过数值实验验证其有效性。
2023-11-24 cs.LG math.ST stat.ME
On the Search for Feedback in Reinforcement Learning
Texas A&M University（德州农工大学）
强化学习（RL）在未知非线性动力系统中的问题等价于利用动力系统的模拟/推出来搜索最优反馈律。大多数RL技术搜索复杂的全局非线性反馈参数化，使它们遭受高训练时间和方差。相反，我们主张搜索一个局部反馈表示组成的开环序列，和一个相关的最佳线性反馈法完全由开环确定。我们表明，这种替代方法可以实现高效的训练，获得的答案是可重复的，因此是可靠的，并且由此产生的封闭性能优于全球最先进的RL技术。最后，如果我们重新规划，只要需要，这是可行的，由于快速和可靠的局部解决方案，它允许我们恢复全局最优的反馈法。
2022-03-24 cs.LG stat.ML
Reinforcement Learning for Bandit Neural Machine Translation with Simulated Human Feedback
University of Maryland（马里兰大学）；Microsoft Research, New York（微软研究院纽约分院）
机器翻译是基于人类反馈的强化学习的自然候选问题：用户对候选翻译提供快速、肮脏的评级，以指导系统进行改进。然而，目前的神经机器翻译训练集中在昂贵的人类生成的参考翻译上。我们描述了一种强化学习算法，它可以从模拟的人类反馈中改进神经机器翻译系统。我们的算法结合了优势行动者-批评者算法（Mnih等人，2016）与基于注意力的神经编码器-解码器架构（Luong等人，2015年）。该算法（a）针对具有大动作空间和延迟奖励的问题进行了良好的设计，（b）有效地优化了传统的语料库级别的机器翻译度量，以及（c）对在实际人类行为之后建模的倾斜，高方差，粒度反馈具有鲁棒性。
2017-11-11 cs.AI cs.CL cs.HC
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Deep reinforcement learning for feedback control in a collective flashing ratchet
Korea Advanced Institute of Science and Technology（韩国科学技术院）
集体闪烁棘轮传输布朗粒子使用空间周期性的，不对称的，和时间依赖的开关可切换的潜力。通过基于颗粒位置的反馈控制，该系统中颗粒的净电流可以显著增加。已经提出了几个最大化电流的反馈政策，但还没有找到最佳的政策，为一个中等数量的粒子。在这里，我们使用深度强化学习（RL）来寻找最佳策略，结果表明，使用合适的神经网络架构构建的策略优于以前的策略。此外，即使在延迟反馈的情况下，潜在的开关切换延迟，我们证明了深RL提供的政策提供更高的电流比以前的策略。
2021-03-25 cond-mat.stat-mech cs.LG
Deep Reinforcement Learning with Feedback-based Exploration
Delft University of Technology（代尔夫特理工大学）
深度强化学习使人们能够控制日益复杂和高维的问题。然而，在获得合理的性能之前需要大量的数据，这阻碍了其广泛的应用。我们采用二进制校正反馈作为一种通用和直观的方式，将人类的直觉和领域知识的无模型机器学习。策略中的不确定性和校正反馈直接在动作空间中组合为概率条件探索。因此，可以避免大部分无知的学习过程。我们证明了所提出的方法，预测概率合并的政策（PPMP），结合DDPG。在OpenAI Gym的连续控制问题的实验中，我们在样本效率、最终性能和对错误反馈的鲁棒性方面都有了大幅提高，无论是人为反馈还是合成反馈。此外，我们还展示了超出所展示知识的解决方案。
2019-03-14 cs.AI cs.LG stat.ML
Reinforcement Learning Based Goodput Maximization with Quantized Feedback in URLLC
KTH Royal Institute of Technology（瑞典皇家理工学院）；Hitachi Energy（日立能源）
本文提出基于强化学习的量化反馈方案，结合Rician-K因子估计，在URLLC动态信道条件下最大化有效吞吐量，提升系统性能。
2025-01-19 cs.IT cs.LG eess.SP
Mapping out the Space of Human Feedback for Reinforcement Learning: A Conceptual Framework
University of Konstanz（康斯坦茨大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出涵盖九个维度的人类反馈分类与七项质量指标，用以统一RLHF中人、界面和模型相关因素，并推导系统设计需求与未来研究方向。
2025-02-20 cs.HC cs.LG
Influencing Reinforcement Learning through Natural Language Guidance
University of Kentucky（肯塔基大学）
交互式强化学习代理使用人类反馈或指令来帮助它们在复杂环境中学习。通常，这种反馈以正或负的离散信号的形式出现。虽然信息量很大，但这些信息本身可能很难概括。在这项工作中，我们将探讨如何自然语言的意见，可以用来提供一个更丰富的反馈信号，强化学习代理，通过扩展的政策塑造，一个著名的交互式强化学习技术。通常，策略形成采用人工反馈策略来帮助智能体更多地了解如何实现其目标。在我们的例子中，我们用基于自然语言建议生成的策略替换了这种人工反馈策略。我们的目标是检查生成的自然语言推理是否为深度强化学习代理提供支持，以在任何给定的环境中成功地决定其行动。因此，我们设计了三个网络的模型：第一个是经验驱动，第二个是建议生成器，第三个是建议驱动。当经验驱动的强化学习代理选择其受环境奖励影响的动作时，具有由建议生成器针对任何新状态生成的反馈的建议驱动的神经网络选择其动作以帮助强化学习代理更好地进行策略成形。
2021-04-11 cs.AI cs.LG
Reinforcement Learning with Feedback Graphs
Cornell University（康奈尔大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
我们研究了马尔可夫决策过程中的情景强化学习，当代理每一步都以几个过渡观察的形式接收额外的反馈时。这种额外的观察在一系列任务中通过扩展的传感器或关于环境的先验知识（例如，当某些行为产生类似的结果时）。我们使用状态-动作对的反馈图来正式化这种设置，并表明基于模型的算法可以利用额外的反馈来进行更有效的学习。我们给出了一个遗憾的界限，忽略对数因子和低阶项，仅取决于反馈图的最大非循环子图的大小，与多项式依赖的状态和动作的数量在没有反馈图。最后，我们强调挑战时，利用一个小的支配集的反馈图相比，强盗设置，并提出了一个新的算法，可以使用这样的支配集的知识，更样本有效的学习一个接近最优的政策。
2020-05-07 cs.AI cs.LG stat.ML
On the Theory of Reinforcement Learning with Once-per-Episode Feedback
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）
我们研究了强化学习（RL）的理论，其中学习者在一集结束时只接收一次二进制反馈。虽然这是一个极端的理论测试案例，但它也可以说比RL实践中的传统要求更能代表现实世界的应用，即学习者在每个时间步都收到反馈。事实上，在强化学习的许多现实应用中，例如自动驾驶汽车和机器人技术，评估学习者的完整轨迹是“好”还是“坏”更容易，但在每一步提供奖励信号更难。为了证明在这种更具挑战性的环境中学习是可能的，我们研究了轨迹标签由未知参数模型生成的情况，并提供了一种统计和计算效率高的算法，实现了次线性遗憾。
2022-08-21 cs.AI cs.LG stat.ML
Reinforcement Learning from Denoising Feedback
Fudan University（复旦大学）；Ant Group（蚂蚁集团）；Hong Kong University of Science and Technology（香港科技大学）
提出RLDF方法，利用去噪反馈进行策略损失估计，通过优化中间噪声状态到裁剪干净状态并结合加权时间步采样，在扩散语言模型上提升性能和泛化性。
2026-06-05 cs.CL cs.LG
Reinforcement Learning with Segment Feedback
Stanford University（斯坦福大学）；NVIDIA Research（NVIDIA研究）
本文提出分段反馈强化学习模型填补逐状态-动作与轨迹反馈间的空白，针对二元、求和两种反馈设置设计算法并建立遗憾界，证明分段数对两种反馈下学习性能的影响存在显著差异。
2025-06-17 cs.LG
Recommendations with Negative Feedback via Pairwise Deep Reinforcement Learning
Michigan State University（密歇根州立大学）
推荐系统通过向用户推荐个性化的商品或服务，在缓解信息过载问题方面起着至关重要的作用。绝大多数传统的推荐系统将推荐过程视为一个静态的过程，并遵循固定的策略进行推荐。在本文中，我们提出了一种新的推荐系统的能力，不断提高其策略，在与用户的互动。我们将用户和推荐系统之间的顺序交互建模为马尔可夫决策过程（MDP），并利用强化学习（RL）通过推荐试错项目并从用户的反馈中接收这些项目的强化来自动学习最优策略。用户的反馈可以是积极的和消极的，这两种类型的反馈都有很大的潜力，以提高推荐。然而，负反馈的数量远远大于正反馈，因此同时将它们合并是具有挑战性的，因为正反馈可能被负反馈所掩盖。在本文中，我们开发了一种新的方法，将它们纳入建议的深度推荐系统（DEERS）框架。基于真实电子商务数据的实验结果验证了该框架的有效性。进一步的实验已经进行了理解的重要性，积极和消极的反馈建议。
2018-08-10 cs.IR cs.LG stat.ML
Reinforcement Learning with Feedback from Multiple Humans with Diverse Skills
University of Bristol（布里斯托大学）
在强化学习中，一种很有前途的提高鲁棒性和探索性的方法是收集人类的反馈，并以这种方式结合目标环境的先验知识。然而，要获得足够的高质量反馈往往过于昂贵。为了缓解这个问题，我们的目标是依靠一组具有不同技能水平的多个专家（和非专家）来生成足够的反馈。因此，这种反馈可能不一致且不频繁。在本文中，我们建立在以前的工作-建议，贝叶斯方法试图最大限度地提高从人类反馈中获得的信息-扩展算法，接受来自这个更大的人类群体，培训师的反馈，同时还估计每个培训师的可靠性。我们展示了如何汇总来自多个培训师的反馈，提高总反馈的准确性，并通过两种方式使收集过程变得更轻松。首先，这种方法解决了一些培训师具有对抗性的情况。其次，访问关于每个训练器可靠性的信息提供了第二层鲁棒性，并为管理整个系统的人提供了有价值的信息，以提高系统的整体信任度。它提供了一个可操作的工具，用于改进反馈收集过程或在需要时修改奖励函数设计。我们的经验表明，我们的方法可以准确地学习每个培训师的可靠性正确，并使用它来最大限度地提高从多个培训师的反馈中获得的信息，即使有些来源是敌对的。
2021-11-16 cs.LG
Humans are not Boltzmann Distributions: Challenges and Opportunities for Modelling Human Feedback and Interaction in Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
强化学习（RL）通常假设可以访问指定的奖励函数，而许多实际应用并不提供。相反，最近，更多的工作探索了从与人类的互动中学习该做什么。到目前为止，这些方法中的大多数都将人类建模为（爱管闲事的）理性，特别是提供无偏见的反馈。我们认为这些模型过于简单化，RL研究人员需要开发更真实的人体模型来设计和评估他们的算法。特别是，我们认为，人类模型必须是个人的，上下文，和动态的。本文呼吁不同学科的研究来解决人类如何向AI提供反馈以及我们如何构建更强大的人在回路RL系统的关键问题。
2022-06-27 cs.HC cs.LG stat.ML
NaRLE: Natural Language Models using Reinforcement Learning with Emotion Feedback
Microsoft（微软）
当前对话系统的研究主要集中在面向任务或开放域环境下的短对话上。在本文中，我们专注于在线改进基于任务的会话助理，主要是那些从事文档类型会话的助理（例如，电子邮件），其内容可能与助理的任务完全相关，也可能不完全相关。我们提出了“NARLE”一个深度强化学习（RL）框架，用于在线改进对话系统的自然语言理解（NLU）组件，而无需为客户数据收集人类标签。所提出的解决方案将用户情感与助理的动作相关联，并使用该情感来使用策略梯度改进NLU模型。对于两个意图分类问题，我们的经验表明，使用强化学习微调预训练的监督学习模型，提高性能高达43%。此外，我们证明了部分和噪声隐式反馈的方法的鲁棒性。
2021-10-05 cs.CL cs.LG
A Survey of Reinforcement Learning from Human Feedback
LMU Munich（慕尼黑大学）；MCML Munich（慕尼黑马克斯·普朗克研究所）；DFKI（德国人工智能研究中心）
本文综述了从人类反馈强化学习的基本原理、核心方法及在多个领域中的应用与贡献。
2025-12-28 cs.LG
CANDERE-COACH: Reinforcement Learning from Noisy Feedback
University of Alberta（阿尔伯塔大学）；University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
提出CANDERE-COACH算法，通过噪声过滤机制处理非最优教师的在线反馈数据，使RL智能体在40%反馈错误时仍能成功学习。
2024-09-23 cs.AI cs.LG
Implicit Turn-Wise Policy Optimization for Proactive User-LLM Interaction
Georgia Institute of Technology（佐治亚理工学院）；Meta AI
本文提出隐式回合式策略优化方法，通过隐式过程奖励模型从稀疏结果信号中提取细粒度回合级奖励，提升多轮协作任务的训练稳定性与收敛性。
2026-03-21 cs.LG
Pixel-wise RL on Diffusion Models: Reinforcement Learning from Rich Feedback
Solofied Ltd.（索洛菲德有限公司）
针对DDPO仅有最终图像奖励导致的稀疏奖励与高样本需求，本文提出PXPO算法，将像素级反馈纳入扩散模型强化学习，以更精细的奖励优化策略。
2024-04-05 cs.CV cs.LG
Provable Safe Reinforcement Learning with Binary Feedback
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
安全性在强化学习（RL）的许多应用中都是至关重要的，无论是机器人、汽车还是医疗。许多现有的安全RL方法依赖于接收数字安全反馈，但在许多情况下，这种反馈只能采用二进制值;也就是说，给定状态下的动作是安全的还是不安全的。当反馈来自人类专家时，情况尤其如此。因此，我们考虑可证明的安全RL的问题时，给予访问离线oracle提供二进制反馈的安全状态，动作对。我们提供了一种新的Meta算法，SABRE，它可以应用于任何MDP设置访问黑盒PAC RL算法的设置。SABRE应用从主动学习到强化学习的概念，以可证明地控制对安全预言的查询数量。SABRE通过迭代地探索状态空间来找到代理当前不确定安全性的区域。我们的主要理论结果表明，在适当的技术假设下，SABRE在训练过程中从不采取不安全的行动，并保证以高概率返回一个接近最优的安全策略。我们提供了一个讨论，我们的元算法可以应用到各种设置研究的理论和实证框架。
2022-10-26 cs.AI cs.LG stat.ML
Computing the Feedback Capacity of Finite State Channels using Reinforcement Learning
Ben-Gurion University of the Negev（本古里安大学）
在本文中，我们提出了一种新的方法来计算反馈容量的通道与记忆使用强化学习（RL）。在强化学习中，人们试图最大化在顺序决策环境中收集的累积奖励。这是通过收集底层环境的样本并使用它们来学习最佳决策规则来完成的。这种方法的主要优点是它的计算效率，即使在高维问题。因此，RL可以用来估计数字的单线有限状态信道（FSC）的反馈容量与大字母的大小。RL算法的结果揭示了最优决策规则的属性，在我们的情况下，是信道的最优输入分布。这些见解可以通过求解相应的下限和上限转换为解析的单字母容量表达式。我们证明了这种方法的效率，通过解析求解的反馈容量的著名的伊辛信道与三进制字母表。我们还提供了一个简单的编码方案，实现了反馈能力。
2020-01-27 cs.IT cs.LG math.IT
Towards Interactive Reinforcement Learning with Intrinsic Feedback
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文针对强化学习与脑机接口领域间未被充分探索的神经活动作为内在反馈的关键关联，提出教程式综述，涵盖其动机、方法、开放问题与基础概念，以推动相关研究的理解与应用。
2023-08-23 cs.AI cs.HC cs.LG
Provably Efficient Iterated CVaR Reinforcement Learning with Function Approximation and Human Feedback
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出融合人类反馈的迭代CVaR风险敏感强化学习框架，在线性与一般函数逼近下实现逐步安全保证，并给出样本高效算法及其最优性理论证明。
2023-12-04 cs.LG
Mapping Neural Signals to Agent Performance, A Step Towards Reinforcement Learning from Neural Feedback
Department of Computer Science Tufts University（计算机科学系塔夫茨大学）
该研究提出隐式反馈框架NEURO-LOOP，验证了用fNIRS采集的前额叶脑信号映射强化学习智能体性能的可行性，构建相关数据集，为人在环强化学习及神经交互应用提供基础。
2025-06-14 cs.LG
Policy Gradient Primal-Dual Method for Safe Reinforcement Learning from Human Feedback
本文提出两种无需奖励模型拟合的Safe RLHF算法，将安全RLHF建模为无限 horizon 折扣约束马尔可夫决策过程，并保证了全局收敛性。
2026-04-21 cs.LG
Offline Reinforcement Learning from Human Feedback in Real-World Sequence-to-Sequence Tasks
Google Research（谷歌研究院）；Heidelberg University（海德堡大学）；NEC Laboratories Europe（NEC欧洲实验室）
可以从部署在现实世界中的NLP系统中收集大量的交互日志。如何利用这些丰富的信息？在离线强化学习（RL）设置中使用这样的交互日志是一种有前途的方法。然而，由于NLP任务的性质和生产系统的限制，出现了一系列的挑战。我们对这些挑战进行了简要概述，并讨论了可能的解决方案。
2021-06-09 cs.CL cs.LG
Online Feature Selection for Activity Recognition using Reinforcement Learning with Multiple Feedback
University of Bristol（布里斯托大学）
机器学习和物联网的最新进展吸引了人们对自动活动识别的关注，其中用户佩戴具有传感器的设备，并且他们的输出被映射到预定义的活动集合。然而，很少有研究考虑可穿戴设备功耗和活动识别准确性之间的平衡。当计算负载的一部分发生在可穿戴设备上时，这是特别重要的。在本文中，我们提出了一种新的方法来执行特征选择的设备上的基础上强化学习（RL），找到功耗和准确性之间的最佳平衡。为了加快学习速度，我们扩展了RL算法来处理多个反馈源，并使用它们来调整策略，同时估计反馈精度。我们在SPHERE挑战数据集上评估了我们的系统，这是一个公开的研究数据集。结果表明，我们提出的方法实现了可穿戴功耗和活动识别精度之间的良好权衡。
2019-08-16 cs.LG stat.ML
HRLAIF: Improvements in Helpfulness and Harmlessness in Open-domain Reinforcement Learning From AI Feedback
Tencent PCG（腾讯平台与内容事业群）
针对基础RLAIF在开放域中导致响应满意度下降的问题，提出HRLAIF方法，通过增强AI注释准确性和AI红队测试，提升模型帮助性与无害性，使满意度较RL前提高2.08%。
2024-03-14 cs.AI cs.LG
RLTF: Reinforcement Learning from Unit Test Feedback
Tencent（腾讯）
针对代码生成中强化学习探索不足及单元测试信号利用不充分的问题，提出在线RL框架RLTF，利用多粒度单元测试反馈实时优化代码LLM，在APPS和MBPP基准上达到最先进性能。
2023-11-13 cs.AI cs.CL cs.LG
Quantifying the Effect of Feedback Frequency in Interactive Reinforcement Learning for Robotic Tasks
Robotics and Interactive Systems – UPSSITECH, University Paul Sabatier（机器人与交互系统——UPSSITECH，保罗·萨巴蒂埃大学）
研究探讨了反馈频率对机器人任务中交互强化学习效率的影响，通过不同复杂度的机械臂逆运动学学习实验，发现反馈频率需随任务熟练度动态调整，无单一最优频率。
2023-03-15 cs.AI cs.HC cs.LG
Low-Rank Contextual Reinforcement Learning from Heterogeneous Human Feedback
Department of Statistics and Operations Research, University of North Carolina, Chapel Hill（统计与运筹学系，北卡罗来纳大学 Chapel Hill 分校）；Daniels School of Business, Purdue University（商务学院，普渡大学）；Department of Statistics and Operations Research, Department of Genetics, Department of Biostatistics, The University of North Carolina at Chapel Hill（统计与运筹学系，遗传学系，生物统计学系，北卡罗来纳大学 Chapel Hill 分校）
本文提出LoCo-RLHF框架，通过整合上下文信息和低秩结构，有效应对异质人类反馈的挑战，提升个性化强化学习性能。
2026-03-04 cs.LG stat.ML
DQN-TAMER: Human-in-the-Loop Reinforcement Learning with Intractable Feedback
The University of Tokyo（东京大学）；Preferred Networks, Inc.（Preferred Networks 公司）
探索问题一直是强化学习（RL）面临的最大挑战之一，也是RL在机器人领域应用的一大障碍。即使使用最先进的强化学习算法，构建一个学习良好的智能体也往往需要太多的试验，主要是因为很难将其行为与遥远的未来的奖励相匹配。对此的一个补救措施是训练一个代理，该代理具有来自人类观察者的实时反馈，该观察者立即对某些行为给予奖励。这项研究解决了一系列的挑战，引入这样一个人在环RL计划。这项工作的第一个贡献是我们用精确建模的人类观察者进行的实验：二进制，延迟，随机性，不可持续性和自然反应。我们还提出了一种名为DQN-TAMER的RL方法，它有效地利用了人类反馈和远程奖励。我们发现DQN-TAMER代理在迷宫和出租车模拟环境中的表现优于其基线。此外，我们展示了一个真实世界的人在环RL应用程序，其中相机自动识别用户的面部表情作为对代理的反馈，而代理探索迷宫。
2018-10-28 cs.HC cs.LG
Coarse-Tuning Models of Code with Reinforcement Learning Feedback
Rice University（莱斯大学）；UT Austin（德克萨斯大学奥斯汀分校）；University of Wisconsin（威斯康星大学）
提出RLCF，用强化学习结合编译器和LLM反馈粗调代码模型，在Java任务上提升编译与执行正确率，达到更大模型性能。
2023-12-23 cs.AI cs.LG cs.PL
SIBRE: Self Improvement Based REwards for Adaptive Feedback in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
我们提出了一种通用的奖励塑造方法，用于提高强化学习（RL）的收敛速度，称为基于自我改进的奖励，或SIBRE。该方法被设计用于与任何现有的RL算法结合使用，并包括奖励改进代理自己的过去的表现。我们证明了SIBRE在与原RL算法相同的条件下按期望收敛。当原始奖励是弱歧视或稀疏时，重塑的奖励有助于区分策略。在几个知名的基准测试环境中使用不同的强化学习算法进行的实验表明，SIBRE更快、更稳定地收敛到最优策略。我们还进行了敏感性分析相对于超参数，与基线RL算法相比。
2020-12-21 cs.AI cs.LG stat.ML
Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch
DoorDash
提出在DoorDash部署的强化学习系统，利用延迟信号自适应调整调度目标权重，通过离线策略学习在噪声和耦合反馈下优化配送质量与批处理效率的权衡。
2026-06-12 cs.AI cs.LG cs.MA
When Your AIs Deceive You: Challenges of Partial Observability in Reinforcement Learning from Human Feedback
University of Amsterdam（阿姆斯特丹大学）；UC Berkeley（加州大学伯克利分校）
研究部分可观测环境下RLHF的失败模式，定义欺骗性膨胀与过度辩护，证明其必然性条件并分析回报函数信息量，提出缓解方向并实验验证，警告盲目应用风险。
2024-11-17 cs.AI cs.LG stat.ML
Bridging Declarative, Procedural, and Conditional Metacognitive Knowledge Gap Using Deep Reinforcement Learning
North Carolina State University（北卡罗来纳州立大学）
提出用DRL在智能辅导系统中实施适应性元认知干预，帮助学生掌握后向链接策略的陈述性、程序性与条件性知识，并显著提升跨领域后续学习表现和决策自主性。
2023-04-23 cs.AI cs.CY cs.HC
