Low-Rank Contextual Reinforcement Learning from Heterogeneous Human Feedback
Department of Statistics and Operations Research, University of North Carolina, Chapel Hill（统计与运筹学系，北卡罗来纳大学 Chapel Hill 分校）；Daniels School of Business, Purdue University（商务学院，普渡大学）；Department of Statistics and Operations Research, Department of Genetics, Department of Biostatistics, The University of North Carolina at Chapel Hill（统计与运筹学系，遗传学系，生物统计学系，北卡罗来纳大学 Chapel Hill 分校）
本文提出LoCo-RLHF框架，通过整合上下文信息和低秩结构，有效应对异质人类反馈的挑战，提升个性化强化学习性能。
2026-03-04 cs.LG stat.ML
Dual Active Learning for Reinforcement Learning from Human Feedback
Mitchell E. Daniels, Jr. School of Business, Purdue University（普渡大学米切尔·E·丹尼尔斯 Jr. 商学院）；London School of Economics and Political Science（伦敦政治经济学院）
本文提出一种双重主动奖励学习算法，同时选择对话和教师以高效获取人类反馈，并结合悲观离线强化学习实现LLM对齐，理论证明其方差最优性和次优性收敛速度，实验验证其优于现有方法。
2024-12-31 cs.LG stat.ML
When Your AIs Deceive You: Challenges of Partial Observability in Reinforcement Learning from Human Feedback
University of Amsterdam（阿姆斯特丹大学）；UC Berkeley（加州大学伯克利分校）
研究部分可观测环境下RLHF的失败模式，定义欺骗性膨胀与过度辩护，证明其必然性条件并分析回报函数信息量，提出缓解方向并实验验证，警告盲目应用风险。
2024-11-17 cs.AI cs.LG stat.ML
Generative Grading: Near Human-level Accuracy for Automated Feedback on Richly Structured Problems
Stanford University（斯坦福大学）
大规模获得高质量教育的机会受到限制，因为在计算机编程，图形和简短回答问题等结构化领域的开放式作业中难以提供学生反馈。这个问题已经被证明是非常困难的：对于人类来说，它需要大量的手工工作，而对于计算机来说，直到最近，实现任何接近人类水平的精度都是无法实现的。在本文中，我们提出了生成评分：一种新的计算方法，提供反馈的规模，能够准确地分级学生的工作，并提供细致入微的，可解释的反馈。我们的方法使用生成描述学生的认知，写概率程序，合成数以百万计的标记的例子解决方案的问题，然后我们学习推断反馈，真正的学生解决方案的基础上，这种认知模型。我们将我们的方法应用于三种设置。在基于块的编码中，我们在以前的最佳反馈结果基础上实现了50%的改进，实现了超人的准确性。在另外两个广泛不同的领域-图形任务和简短的文本答案-我们实现了比以前的技术水平分别约4倍和1.5倍的重大改进，接近人类的准确性。在一个真实的教室里，我们进行了一个实验，我们使用我们的系统来增强人类评分员，在将评分时间减半的同时，提高了一倍的评分准确性。
2021-03-23 cs.CY cs.LG stat.ML
Mapping out the Space of Human Feedback for Reinforcement Learning: A Conceptual Framework
University of Konstanz（康斯坦茨大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出涵盖九个维度的人类反馈分类与七项质量指标，用以统一RLHF中人、界面和模型相关因素，并推导系统设计需求与未来研究方向。
2025-02-20 cs.HC cs.LG
Reinforcement Learning from Multi-level and Episodic Human Feedback
Elmore Family School of Electrical and Computer Engineering, Purdue University（电子与计算机工程学院，普渡大学）
本文提出一种基于多层级和情节级人类反馈的强化学习算法，通过每个情节结束时的评分学习奖励函数和最优策略，可处理非马尔可夫奖励，理论证明具有次线性遗憾，仿真验证了其有效性。
2025-04-25 cs.LG
Learning Behaviors with Uncertain Human Feedback
Nanyang Technological University（南洋理工大学）；Dartmouth College（达特茅斯学院）
人工反馈被广泛用于训练智能体。然而，以前的作品很少考虑人类提供反馈时的不确定性，特别是在最佳行动对训练者来说并不明显的情况下。例如，次优行为的奖励可以是随机的，有时会超过最优行为的奖励，这在游戏或现实世界中很常见。培训师可能会对次优行动提供正反馈，对最优行动提供负反馈，甚至在某些混乱的情况下不提供反馈。现有的作品，利用期望最大化（EM）算法和治疗的反馈模型作为隐藏参数，不考虑学习环境和人类反馈的不确定性。为了解决这一挑战，我们引入了一个新的反馈模型，考虑了人类反馈的不确定性。然而，这在EM算法中引起棘手的演算。为此，我们提出了一种新的近似EM算法，其中我们近似的期望步骤与梯度下降方法。实验结果表明，在两个合成场景和两个现实世界的情况下，人类参与者的优越性能，我们所提出的方法。
2020-06-07 cs.AI cs.LG
Counterfactual Learning from Human Proofreading Feedback for Semantic Parsing
Heidelberg University（海德堡大学）
在用于问答的语义解析中，收集黄金解析甚至黄金答案作为监督信号通常代价太高。我们建议将模型输出转换为一组人类可理解的语句，允许非专家用户充当校对员，为解析器提供错误标记作为学习信号。由于模型输出是由历史系统建议的，因此我们在反事实或非政策的学习设置中操作。我们引入新的估计，可以有效地利用给定的反馈，避免已知的退化反事实学习，同时仍然适用于神经语义解析的随机梯度优化。此外，我们讨论了我们的反馈收集方法可以无缝集成到部署的虚拟个人助理，嵌入语义解析器。我们的工作是第一个表明，语义解析器可以显着提高从记录的人类反馈数据的反事实学习。
2018-11-29 cs.CL cs.LG stat.ML
A Unified Linear Programming Framework for Offline Reward Learning from Human Demonstrations and Feedback
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种用于离线奖励学习的统一线性规划框架，无需在线探索即可从预收集轨迹和人类反馈中推断奖励函数，具有可证明的样本效率和最优性保证，性能优于传统最大似然估计方法。
2024-10-14 cs.AI cs.LG stat.ML
RLHF-Blender: A Configurable Interactive Interface for Learning from Diverse Human Feedback
University of Konstanz（康斯坦茨大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出可配置交互式界面 RLHF-Blender，通过模块化实验框架支持系统研究演示、排序、比较和自然语言指令等多种人类反馈对奖励学习的影响，弥补了标准化工具不足的问题。
2023-08-08 cs.HC cs.LG
Policy Gradient Primal-Dual Method for Safe Reinforcement Learning from Human Feedback
本文提出两种无需奖励模型拟合的Safe RLHF算法，将安全RLHF建模为无限 horizon 折扣约束马尔可夫决策过程，并保证了全局收敛性。
2026-04-21 cs.LG
Preference is More Than Comparisons: Rethinking Dueling Bandits with Augmented Human Feedback
针对决斗式多臂老虎机在人类反馈稀疏时效率低、现有依赖参数化奖励模型易错误设定的问题，提出基于反馈增强的无模型改进框架，引入增强置信界整合反馈并分析权衡，原型算法在多IPE基准上表现优异。
2025-11-12 cs.LG
Convergence of a Human-in-the-Loop Policy-Gradient Algorithm With Eligibility Trace Under Reward, Policy, and Advantage Feedback
Brown University（布朗大学）
流畅的人-智能体通信对于人在回路强化学习的未来至关重要。一个智能体必须对来自其人类教练的反馈做出适当的反应，甚至在他们有重要的合作经验之前。因此，重要的是，学习代理很好地响应人类培训师可能提供的各种反馈方案。本文分析了CONVergent Actor-Critic by Humans（COACH）算法在三种不同反馈方式下的性能，即策略反馈、奖励反馈和优势反馈。对于这三种反馈类型，我们发现COACH可以表现得次优。我们提出了一个变种的教练，情节教练（电子教练），我们证明收敛的所有三种类型。我们将我们的COACH变体与其他两种并行学习算法进行比较：Q学习和TAMER。
2021-09-15 cs.AI cs.DS cs.HC
Reinforcement Learning with Feedback from Multiple Humans with Diverse Skills
University of Bristol（布里斯托大学）
在强化学习中，一种很有前途的提高鲁棒性和探索性的方法是收集人类的反馈，并以这种方式结合目标环境的先验知识。然而，要获得足够的高质量反馈往往过于昂贵。为了缓解这个问题，我们的目标是依靠一组具有不同技能水平的多个专家（和非专家）来生成足够的反馈。因此，这种反馈可能不一致且不频繁。在本文中，我们建立在以前的工作-建议，贝叶斯方法试图最大限度地提高从人类反馈中获得的信息-扩展算法，接受来自这个更大的人类群体，培训师的反馈，同时还估计每个培训师的可靠性。我们展示了如何汇总来自多个培训师的反馈，提高总反馈的准确性，并通过两种方式使收集过程变得更轻松。首先，这种方法解决了一些培训师具有对抗性的情况。其次，访问关于每个训练器可靠性的信息提供了第二层鲁棒性，并为管理整个系统的人提供了有价值的信息，以提高系统的整体信任度。它提供了一个可操作的工具，用于改进反馈收集过程或在需要时修改奖励函数设计。我们的经验表明，我们的方法可以准确地学习每个培训师的可靠性正确，并使用它来最大限度地提高从多个培训师的反馈中获得的信息，即使有些来源是敌对的。
2021-11-16 cs.LG
The Effect of Modeling Human Rationality Level on Learning Rewards from Multiple Feedback Types
University of California, Berkeley（加州大学伯克利分校）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of Utah（犹他大学）
当从人类行为中推断奖励函数时（无论是演示、比较、物理校正还是紧急停止），将人类建模为做出噪音理性选择是有用的，“理性系数”可以捕捉我们期望在人类行为中看到多少噪音或熵。先前的工作通常将合理性水平设置为恒定值，而不管人类反馈的类型或质量如何。然而，在许多设置中，给出一种类型的反馈（例如，演示）可能比不同类型的反馈（例如，回答比较查询）困难得多。因此，我们希望看到更多或更少的噪音，这取决于人类反馈的类型。在这项工作中，我们主张在实际数据中为每种反馈类型建立合理性系数，而不是假设一个默认值，对奖励学习有显着的积极影响。我们在模拟实验和用户研究中使用真实的人类反馈来测试这一点。我们发现，高估人类的理性会对奖励学习的准确性和后悔产生可怕的影响。我们还发现，将合理性系数拟合到人类数据可以实现更好的奖励学习，即使人类由于系统偏差而显著偏离噪声理性选择模型。此外，我们发现，合理性水平会影响每种反馈类型的信息量：令人惊讶的是，演示并不总是最具信息性的-当人类的行为非常次优时，比较实际上变得更有信息性，即使合理性水平对两者都是相同的。最终，我们的研究结果强调了关注假设的人类理性水平的重要性和优势，特别是当代理积极地从多种类型的人类反馈中学习时。
2023-03-09 cs.AI cs.LG
Zero-Shot LLMs in Human-in-the-Loop RL: Replacing Human Feedback for Reward Shaping
Queensland University of Technology（昆士兰理工大学）
针对强化学习中人在环方法引入人类反馈偏见的问题，提出混合框架 LLM-HFBF，利用零样本 LLMs 识别并纠正人类反馈偏见以进行奖励塑形，显著提升了性能并减少对有偏见反馈的依赖。
2025-09-18 cs.AI cs.LG
GFlowNets with Human Feedback
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Zhejiang University（浙江大学）；Tianjin University（天津大学）
提出GFlowHF框架，利用人类反馈拟合奖励函数，学习与评分成比例的策略，提升AI模型探索能力，优于RLHF。
2023-05-11 cs.AI cs.LG
Enhancing Financial Fraud Detection with Human-in-the-Loop Feedback and Feedback Propagation
Vesta Corporation（维斯塔公司）
本文研究人在回路反馈对金融欺诈检测的影响，提出反馈传播方法扩展反馈，提升模型准确性，尤其对图技术效果显著，并增强鲁棒性与可解释性。
2024-11-07 cs.AI cs.CE cs.LG
Understanding Impact of Human Feedback via Influence Functions
KAIST（韩国科学技术院）；Columbia University（哥伦比亚大学）
针对RLHF中人类反馈噪声大、易偏差导致奖励信号错位的问题，提出一种计算高效的影响函数近似方法，可应用于大语言模型奖励模型与大规模偏好数据集，实现标注偏差检测与标注策略优化，提升反馈可解释性与RLHF可扩展监督能力。
2025-09-01 cs.AI cs.HC cs.LG
Pref-GUIDE: Continual Policy Learning from Real-Time Human Feedback via Preference-Based Learning
Duke University（杜克大学）
Pref-GUIDE将实时标量人类反馈转化为偏好数据，通过窗口比较和群体投票聚合奖励模型，提升在线强化学习持续训练的性能，超越标量反馈基线甚至专家奖励。
2025-10-06 cs.AI cs.LG
Safe Deep RL in 3D Environments using Human Feedback
DeepMind；OpenAI
工程师在培训和部署期间应避免不安全行为。这通常需要模拟器和不安全行为的程序规范。不幸的是，模拟器并不总是可用的，并且对于许多现实世界的任务来说，程序化地指定约束可能是困难的或不可能的。最近引入的技术ReQueST旨在通过从安全的人类轨迹中学习环境的神经模拟器来解决这个问题，然后使用学习的模拟器从人类反馈中有效地学习奖励模型。然而，目前还不清楚这种方法在复杂的3D环境中是否可行，并从真实的人类中获得反馈-是否可以实现足够的基于像素的神经模拟器质量，以及人类数据要求是否在数量和质量方面都是可行的。在本文中，我们回答这个问题是肯定的，使用ReQueST训练代理执行3D第一人称对象收集任务，完全使用来自人类承包商的数据。我们表明，由此产生的代理表现出一个数量级减少不安全的行为相比，标准的强化学习。
2022-01-21 cs.LG
A Survey of Reinforcement Learning from Human Feedback
LMU Munich（慕尼黑大学）；MCML Munich（慕尼黑马克斯·普朗克研究所）；DFKI（德国人工智能研究中心）
本文综述了从人类反馈强化学习的基本原理、核心方法及在多个领域中的应用与贡献。
2025-12-28 cs.LG
Learning a Ranking from Human Feedback in Log-Concave Random Utility Models
Politecnico di Milano（米兰理工大学）
本研究针对对数凹随机效用模型，提出从人类全排序或仅赢家反馈中恢复物品排序的方法，建立样本复杂度下界并开发匹配算法，揭示仅赢家反馈的固有难度。
2026-10-07 cs.LG
Provably Efficient Iterated CVaR Reinforcement Learning with Function Approximation and Human Feedback
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出融合人类反馈的迭代CVaR风险敏感强化学习框架，在线性与一般函数逼近下实现逐步安全保证，并给出样本高效算法及其最优性理论证明。
2023-12-04 cs.LG
TimeHF: Billion-Scale Time Series Models Guided by Human Feedback
Beijing Jiaotong University（北京交通大学）；College of Engineering, UC Berkeley（加州大学伯克利分校工程学院）；University of Hong Kong（香港大学）
针对时间序列模型可扩展性与零样本性能差的挑战，提出结合人类反馈的60亿参数大型时间序列模型流水线TimeHF，通过patch卷积嵌入和时间序列策略优化提升预测精度，在京东供应链中实现33.21%的精度提升。
2025-01-27 cs.LG
Adaptive Querying for Reward Learning from Human Feedback
本文提出了一种基于适应性反馈选择的方法，通过优化查询状态和反馈格式，提高机器人从人类反馈中学习的效率和效果。
2026-01-15 cs.AI cs.LG cs.RO
Continually Improving Extractive QA via Human Feedback
Cornell University（康奈尔大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究设计部署迭代方法，通过人类用户反馈持续改进抽取式QA系统，经数千次用户交互实验验证，该方法在不同数据模式下均有效，且在领域适配方面潜力显著。
2023-11-03 cs.AI cs.CL cs.LG
Aligning Text-to-Image Models using Human Feedback
Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）
深度生成模型在文本到图像的合成中显示出令人印象深刻的结果。然而，当前的文本到图像模型通常生成与文本提示不充分对齐的图像。我们提出了一种微调方法，用于调整这样的模型，使用人类的反馈，包括三个阶段。首先，我们从一组不同的文本提示中收集评估模型输出对齐的人类反馈。然后，我们使用人类标记的图像-文本数据集来训练预测人类反馈的奖励函数。最后，通过最大化奖励加权似然来微调文本到图像模型，以改善图文对齐。我们的方法比预先训练的模型更准确地生成具有指定颜色，计数和背景的对象。我们还分析了几种设计选择，并发现仔细调查，这样的设计选择是很重要的，在平衡的保真度的权衡。我们的研究结果证明了从人类反馈中学习的潜力，以显着改善文本到图像的模型。
2023-02-23 cs.AI cs.CV cs.LG
Nonverbal Robot Feedback for Human Teachers
University of California, Berkeley（加州大学伯克利分校）
机器人可以从人类的演示中学习偏好，但它们的成功取决于这些演示的信息量。不幸的是，提供信息是非常具有挑战性的，因为在教学过程中，人们通常无法透明地了解机器人已经知道或已经学到了什么。相比之下，人类学生自然会提供丰富的非语言反馈，以揭示他们的理解和参与程度。在这项工作中，我们研究了机器人如何能够同样地提供具有最小破坏性的反馈，但却为人类教师提供了一个更好的机器人学习者的心理模型，从而使他们能够更有效地教学。我们的想法是，在任何时候，机器人都可以指出它认为正确的下一步行动是什么，从而揭示它对人类偏好的当前估计。我们分析了这种反馈是多么有用，无论是在理论上和两个用户的研究-一个与虚拟角色，测试反馈本身，一个与PR 2机器人，使用凝视作为反馈机制。我们发现，反馈可以是有用的，提高教学质量和教师的机器人的能力的理解。
2019-11-06 cs.HC cs.LG cs.RO
Accelerating Reinforcement Learning Agent with EEG-based Implicit Human Feedback
Georgia Institute of Technology（佐治亚理工学院）
为强化学习（RL）代理提供人工反馈可以显着改善学习的各个方面。然而，先前的方法需要人类观察者明确地给出输入（例如，按钮，语音界面），在RL代理的学习过程中增加了人类的负担。此外，有时难以或不可能获得明确的人类建议（反馈），例如，在这项工作中，我们研究通过错误相关电位（ErrP）形式的EEG捕获人类的内在反应作为隐式（和自然）反馈，为人类提供一种自然和直接的方法来改善RL Agent学习。因此，可以通过隐式反馈将人类智能与RL算法相结合，以加速RL Agent的学习。我们开发了三个相当复杂的2D离散导航游戏，实验评估所提出的工作的整体性能。我们的工作的主要贡献如下，（i）我们提出并实验验证了ErrPs的零样本学习，其中ErrPs可以为一个游戏学习，并转移到其他看不见的游戏，（ii）我们提出了一种新的RL框架，用于通过ErrPs与RL代理集成隐式人类反馈，提高标签效率和对人类错误的鲁棒性，以及（iii）与以前的工作相比，我们将ErrPs的应用扩展到相当复杂的环境中，并通过真实的用户实验证明了我们的方法对加速学习的重要性。
2020-10-14 cs.LG cs.NE eess.SP
Breadcrumbs to the Goal: Goal-Conditioned Exploration from Human-in-the-Loop Feedback
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；University of Washington（华盛顿大学）
本研究提出HuGE技术，利用非专业用户零散、异步、带噪声的低质量人在回路反馈引导强化学习探索，分离反馈引导与自监督策略学习，无需手工设计奖励，可在仿真及真实机器人上完成多阶段导航操作任务。
2023-07-20 cs.AI cs.LG cs.RO
Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel；Inspired Cognition
本文综述人类反馈用于改进自然语言生成的研究，提出反馈形式化与分类体系，梳理反馈格式、目标、训练或解码用法、数据集及收集问题，并介绍利用LLM判断的AI反馈。
2023-06-01 cs.AI cs.CL cs.LG
ACE-RLHF: Automated Code Evaluation and Socratic Feedback Generation Tool using Large Language Models and Reinforcement Learning with Human Feedback
Department of Computer Science, Cleveland State University（克利夫兰州立大学计算机科学系）；School of Computing and Information Sciences, Florida International University（佛罗里达国际大学计算与信息科学学院）；Data Science and Learning Division, Argonne National Laboratory（阿贡国家实验室数据科学与学习分部）
本文提出ACE-RLHF工具，通过结合RLHF微调大型语言模型生成苏格拉底式代码反馈，在自动与人工评估中均显著提升了代码修复反馈的准确率。
2025-04-07 cs.LG
Putting Humans in the Natural Language Processing Loop: A Survey
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
我们如何设计能够从人类反馈中学习的自然语言处理（NLP）系统？越来越多的人在回路（HITL）NLP框架的研究机构不断整合人类反馈以改进模型本身。HITL NLP研究是新兴的，但五花八门-解决各种NLP问题，从不同的人那里收集不同的反馈，并应用不同的方法从收集的反馈中学习。我们对机器学习（ML）和人机交互（HCI）社区的HITL NLP工作进行了调查，突出了其短暂但鼓舞人心的历史，并彻底总结了最近的框架，重点是他们的任务，目标，人类交互和反馈学习方法。最后，我们讨论了在NLP开发循环中整合人类反馈的未来方向。
2021-03-06 cs.AI cs.CL cs.HC
Reinforcement Learning for Bandit Neural Machine Translation with Simulated Human Feedback
University of Maryland（马里兰大学）；Microsoft Research, New York（微软研究院纽约分院）
机器翻译是基于人类反馈的强化学习的自然候选问题：用户对候选翻译提供快速、肮脏的评级，以指导系统进行改进。然而，目前的神经机器翻译训练集中在昂贵的人类生成的参考翻译上。我们描述了一种强化学习算法，它可以从模拟的人类反馈中改进神经机器翻译系统。我们的算法结合了优势行动者-批评者算法（Mnih等人，2016）与基于注意力的神经编码器-解码器架构（Luong等人，2015年）。该算法（a）针对具有大动作空间和延迟奖励的问题进行了良好的设计，（b）有效地优化了传统的语料库级别的机器翻译度量，以及（c）对在实际人类行为之后建模的倾斜，高方差，粒度反馈具有鲁棒性。
2017-11-11 cs.AI cs.CL cs.HC
Active Human Feedback Collection via Neural Contextual Dueling Bandits
Singapore-MIT Alliance for Research and Technology（新加坡-麻省理工联合研究技术联盟）；Department of Computer Science, National University of Singapore（国立新加坡大学计算机科学系）；The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；CSAIL, MIT, USA（MIT计算机科学与人工智能实验室）
针对非线性潜在奖励下的人类偏好反馈收集问题，提出基于神经上下文对决赌博机的Neural-ADB算法，理论证明其策略次优差距以次线性速率下降，并在实验中验证了有效性。
2025-07-16 cs.LG
DQN-TAMER: Human-in-the-Loop Reinforcement Learning with Intractable Feedback
The University of Tokyo（东京大学）；Preferred Networks, Inc.（Preferred Networks 公司）
探索问题一直是强化学习（RL）面临的最大挑战之一，也是RL在机器人领域应用的一大障碍。即使使用最先进的强化学习算法，构建一个学习良好的智能体也往往需要太多的试验，主要是因为很难将其行为与遥远的未来的奖励相匹配。对此的一个补救措施是训练一个代理，该代理具有来自人类观察者的实时反馈，该观察者立即对某些行为给予奖励。这项研究解决了一系列的挑战，引入这样一个人在环RL计划。这项工作的第一个贡献是我们用精确建模的人类观察者进行的实验：二进制，延迟，随机性，不可持续性和自然反应。我们还提出了一种名为DQN-TAMER的RL方法，它有效地利用了人类反馈和远程奖励。我们发现DQN-TAMER代理在迷宫和出租车模拟环境中的表现优于其基线。此外，我们展示了一个真实世界的人在环RL应用程序，其中相机自动识别用户的面部表情作为对代理的反馈，而代理探索迷宫。
2018-10-28 cs.HC cs.LG
Reinforcing Human Behavior Simulation via Verbal Feedback
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）
本文提出DITTO模型，通过将言语反馈作为强化学习中的首要信号来提升LLM模拟人类行为的能力，并引入SOUL基准测试平台，展示了在多个任务中显著提升性能的成果。
2026-05-19 cs.CL cs.LG
Skill Preferences: Learning to Extract and Execute Robotic Skills from Human Feedback
University of California, Berkeley（加州大学伯克利分校）；Covariant
解决具有挑战性的长期任务的一种有前途的方法是通过将生成模型拟合到大型离线演示数据集来提取行为先验（技能）。然而，这种生成模型继承了基础数据的偏差，并在不完美的演示数据上训练时导致较差和不可用的技能。为了更好地将技能提取与人类意图结合起来，我们提出了技能偏好（SkiP），这是一种学习人类偏好模型并使用它从离线数据中提取与人类一致的技能的算法。在提取人类偏好的技能后，SkiP还利用人类反馈来解决RL的下游任务。我们表明，SkiP使模拟厨房机器人能够解决复杂的多步操作任务，并大大优于先前领先的RL算法与人类的喜好，以及领先的技能提取算法没有人类的喜好。
2021-08-11 cs.LG cs.RO
Soliciting Human-in-the-Loop User Feedback for Interactive Machine Learning Reduces User Trust and Impressions of Model Accuracy
University of Florida（佛罗里达大学）
混合主动系统允许用户交互式地提供反馈，以潜在地提高系统性能。人工反馈可以纠正模型错误并更新模型参数，以动态适应不断变化的数据。此外，许多用户希望能够有更高的控制水平，并修复他们所依赖的系统中的感知缺陷。然而，向自治系统提供反馈的能力如何影响用户信任，这在很大程度上是一个尚未探索的研究领域。我们的研究调查了提供反馈的行为如何影响用户对智能系统及其准确性的理解。我们提出了一个对照实验，使用一个模拟的目标检测系统与图像数据，研究交互式反馈收集对用户印象的影响。结果表明，提供人在回路反馈降低了参与者对系统的信任和他们对系统准确性的感知，无论系统准确性是否响应他们的反馈而提高。这些结果强调了在设计智能系统时考虑最终用户反馈对用户信任的影响的重要性。
2020-08-28 cs.AI cs.HC cs.LG
Extragradient Preference Optimization (EGPO): Beyond Last-Iterate Convergence for Nash Learning from Human Feedback
University of Washington（华盛顿大学）
针对非传递性人类偏好，提出外梯度偏好优化（EGPO）算法，实现纳什均衡的快速收敛，并在实验中优于基线方法，用于语言模型对齐。
2025-07-09 cs.LG
HERO: Human-Feedback Efficient Reinforcement Learning for Online Diffusion Model Finetuning
Sony AI（索尼人工智能公司）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；University of Southern California（南加利福尼亚大学）；Stanford University（斯坦福大学）
HERO框架通过在线人类反馈和反馈对齐表示学习及反馈引导图像生成机制，以4倍效率提升扩散模型微调，仅需0.5K反馈即可处理多种任务。
2025-03-13 cs.AI cs.CV cs.HC
Leveraging Human Feedback for Semantically-Relevant Skill Discovery
A 2 I 2 , Deakin University, Geelong, Australia（A2I2，德金大学，澳大利亚格里尔镇）；School of IT, Deakin University, Geelong, Australia（信息学院，德金大学，澳大利亚格里尔镇）
本文提出SRSD方法，通过人类反馈的语义标签提升技能的语义多样性与相关性，实验表明其在导航和运动环境中有效发现相关行为。
2026-04-27 cs.AI cs.LG
Training Language Models with Language Feedback
New York University（纽约大学）；University of the Basque Country（巴斯克大学）；Genentech（基因泰克）；CIFAR LMB（加拿大高等研究院分子生物学实验室）
预训练的语言模型通常不会以符合我们偏好的方式执行任务，例如，生成攻击性文本或事实上不正确的摘要。最近的工作接近上述问题，从一个简单的形式的人类评估学习：对模型生成的任务输出之间的比较。比较反馈传达了有限的信息，人类的喜好，每个人的评价。在这里，我们建议从自然语言反馈中学习，它可以传达更多的信息。我们使用三步学习算法从模型输出的语言反馈中学习。首先，我们根据初始输出和反馈来调整语言模型，以生成许多细化。其次，我们选择与反馈相似度最高的细化。第三，我们微调一个语言模型，以最大限度地提高所选择的细化给定的输入的可能性。在合成实验中，我们首先评估语言模型是否准确地结合反馈以产生改进，发现只有大语言模型（175 B参数）这样做。我们的学习算法仅使用100个人类书面反馈的样本，就将GPT-3模型微调到大致人类水平的总结能力。
2022-11-17 cs.AI cs.CL cs.LG
Trustworthy Human-AI Collaboration: Reinforcement Learning with Human Feedback and Physics Knowledge for Safe Autonomous Driving
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出PE-RLHF框架，将人类反馈与物理知识协同融入强化学习训练，通过物理增强的人机协作、代理价值函数和最小干预机制，确保策略性能不低于物理策略，在安全、效率和泛化性上达到SOTA。
2024-09-05 cs.AI cs.HC cs.LG
RLTHF: Targeted Human Feedback for LLM Alignment
Microsoft（微软公司）；University of California, Los Angeles（加州大学洛杉矶分校）
针对RLHF中人类标注成本高和AI反馈泛化不足的问题，提出人机混合框架RLTHF，利用奖励分布识别错标样本并整合选择性人类修正，仅用6-7%标注成本实现完全人类标注级对齐，且下游任务性能更优。
2025-08-06 cs.AI cs.CL cs.LG
Chain of Hindsight Aligns Language Models with Feedback
UC Berkeley（加州大学伯克利分校）
提出 Chain of Hindsight 技术，将各种反馈转化为句子序列微调语言模型，使其基于反馈生成输出并自我纠错，在摘要和对话基准及人类评估中显著提升对齐人类偏好的效果。
2023-10-18 cs.CL cs.LG
Accelerating Unbiased LLM Evaluation via Synthetic Feedback
Carnegie Mellon University（卡内基梅隆大学）
提出一个统计框架整合人类与合成反馈，在保持无偏胜率计算的同时减少人类标注，实验显示标注减少高达24.8%。
2025-02-25 cs.CL cs.LG
PulseSatellite: A tool using human-AI feedback loops for satellite image analysis in humanitarian contexts
United Nations Global Pulse（联合国全球脉动）；Institute for Data Science, Durham University（杜伦大学数据科学研究所）；UNOSAT（联合国卫星项目）
对自然灾害和冲突的人道主义反应可得到卫星图像分析的协助。在人道主义方面，必须准确和及时地完成非常具体的卫星图像分析任务，以提供业务支持。我们提出了PulseSatellite，一个协作卫星图像分析工具，它利用神经网络模型，可以在飞行中重新训练，并适应特定的人道主义背景和地理。我们提出了两个案例研究，分别在绘制避难所和洪水，说明了PulseSatellite的能力。
2020-01-29 cs.CV cs.HC cs.LG
M3HF: Multi-agent Reinforcement Learning from Multi-phase Human Feedback of Mixed Quality
Department of Informatics, King’s College London, London, United Kingdom（伦敦大学国王学院信息学系）；Societal Systems Department, Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学社会系统系）
本文提出M3HF框架，将混合质量的多阶段人类反馈引入多智能体强化学习，结合大语言模型解析反馈和自适应权重更新奖励函数，显著提升多智能体合作性能并扩大人类参与范围。
2025-06-04 cs.AI cs.LG cs.MA
Combining Learning from Human Feedback and Knowledge Engineering to Solve Hierarchical Tasks in Minecraft
DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）；Columbia University（哥伦比亚大学）；University of Maryland, Baltimore（马里兰大学巴尔的摩分校）
现实世界中感兴趣的任务通常没有人类可读的描述，并且没有预定义的奖励信号，除非它是由人类设计师定义的。相反，数据驱动的算法通常被设计为解决一个特定的，狭义的，具有驱动代理学习的性能指标的任务。在这项工作中，我们提出了在2021年NeurIPS竞赛MineRL BASALT挑战赛中获得第一名并被授予最像人类的智能体的解决方案：在Minecraft中从人类反馈中学习，该挑战赛要求参与者使用人类数据来解决仅由自然语言描述定义的四个任务，而没有奖励功能。我们的方法使用现有的人类示范数据训练模仿学习政策的导航和额外的人类反馈训练图像分类器。这些模块与估计的里程图相结合，成为一个强大的状态机，旨在利用人类的知识在一个自然的层次模式。我们将这种混合智能方法与端到端机器学习和纯工程解决方案进行比较，然后由人类评估人员进行判断。Codebase可在https://github.com/viniciusguigo/kairos_minerl_basalt上获得。
2022-05-11 cs.AI cs.HC cs.LG
Prompt Optimization with Human Feedback
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院）
针对黑盒大模型仅依赖人类偏好反馈的提示优化问题，提出基于决斗式老虎机策略的APOHF算法，在多种任务上以少量反馈高效找到优质提示。
2024-05-27 cs.AI cs.LG
GUIDE: Real-Time Human-Shaped Agents
Duke University（杜克大学）；Army Research Laboratory（陆军研究实验室）
本文提出GUIDE框架，通过将实时人类反馈转化为密集奖励并引入在线模拟反馈模块，在稀疏奖励视觉任务中仅用10分钟人类反馈使成功率较强化学习基线提升最高30%。
2024-10-19 cs.HC cs.LG
Automated Filtering of Human Feedback Data for Aligning Text-to-Image Diffusion Models
KAIST AI（韩国科学技术院人工智能学院）；Chungnam National University（忠南大学）
本文提出自动化数据过滤算法FiFA，通过最大化偏好边际、文本质量和多样性来优化DPO微调，显著提升训练稳定性与性能，仅用不到0.5%数据和1% GPU时长即获17%的人类偏好提升。
2025-04-02 cs.AI cs.LG
