Convergence of a Human-in-the-Loop Policy-Gradient Algorithm With Eligibility Trace Under Reward, Policy, and Advantage Feedback
Brown University（布朗大学）
流畅的人-智能体通信对于人在回路强化学习的未来至关重要。一个智能体必须对来自其人类教练的反馈做出适当的反应，甚至在他们有重要的合作经验之前。因此，重要的是，学习代理很好地响应人类培训师可能提供的各种反馈方案。本文分析了CONVergent Actor-Critic by Humans（COACH）算法在三种不同反馈方式下的性能，即策略反馈、奖励反馈和优势反馈。对于这三种反馈类型，我们发现COACH可以表现得次优。我们提出了一个变种的教练，情节教练（电子教练），我们证明收敛的所有三种类型。我们将我们的COACH变体与其他两种并行学习算法进行比较：Q学习和TAMER。
2021-09-15 cs.AI cs.DS cs.HC
Explore, Exploit or Listen: Combining Human Feedback and Policy Model to Speed up Deep Reinforcement Learning in 3D Worlds
Georgia Institute of Technology（佐治亚理工学院）
我们描述了一种方法，通过扩展深度强化学习来建模人类反馈的置信度和一致性，使用离散人类反馈来增强虚拟三维环境中深度学习代理的性能。这使得深度强化学习算法能够确定最合适的时间来听取人类反馈，利用当前的策略模型或探索代理的环境。管理这三种策略之间的权衡允许DRL代理对不一致或间歇性的人类反馈具有鲁棒性。通过使用合成预言机的实验，我们证明了我们的技术提高了使用Minecraft导航三维环境的深度强化学习的训练速度和整体性能。我们进一步表明，我们的技术是强大的高度innacurate人类反馈，也可以操作时，没有人的反馈。
2021-06-22 cs.AI
Accelerating Reinforcement Learning Agent with EEG-based Implicit Human Feedback
Georgia Institute of Technology（佐治亚理工学院）
为强化学习（RL）代理提供人工反馈可以显着改善学习的各个方面。然而，先前的方法需要人类观察者明确地给出输入（例如，按钮，语音界面），在RL代理的学习过程中增加了人类的负担。此外，有时难以或不可能获得明确的人类建议（反馈），例如，在这项工作中，我们研究通过错误相关电位（ErrP）形式的EEG捕获人类的内在反应作为隐式（和自然）反馈，为人类提供一种自然和直接的方法来改善RL Agent学习。因此，可以通过隐式反馈将人类智能与RL算法相结合，以加速RL Agent的学习。我们开发了三个相当复杂的2D离散导航游戏，实验评估所提出的工作的整体性能。我们的工作的主要贡献如下，（i）我们提出并实验验证了ErrPs的零样本学习，其中ErrPs可以为一个游戏学习，并转移到其他看不见的游戏，（ii）我们提出了一种新的RL框架，用于通过ErrPs与RL代理集成隐式人类反馈，提高标签效率和对人类错误的鲁棒性，以及（iii）与以前的工作相比，我们将ErrPs的应用扩展到相当复杂的环境中，并通过真实的用户实验证明了我们的方法对加速学习的重要性。
2020-10-14 cs.LG cs.NE eess.SP
Breadcrumbs to the Goal: Goal-Conditioned Exploration from Human-in-the-Loop Feedback
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；University of Washington（华盛顿大学）
本研究提出HuGE技术，利用非专业用户零散、异步、带噪声的低质量人在回路反馈引导强化学习探索，分离反馈引导与自监督策略学习，无需手工设计奖励，可在仿真及真实机器人上完成多阶段导航操作任务。
2023-07-20 cs.AI cs.LG cs.RO
When Your AIs Deceive You: Challenges of Partial Observability in Reinforcement Learning from Human Feedback
University of Amsterdam（阿姆斯特丹大学）；UC Berkeley（加州大学伯克利分校）
研究部分可观测环境下RLHF的失败模式，定义欺骗性膨胀与过度辩护，证明其必然性条件并分析回报函数信息量，提出缓解方向并实验验证，警告盲目应用风险。
2024-11-17 cs.AI cs.LG stat.ML
Mapping out the Space of Human Feedback for Reinforcement Learning: A Conceptual Framework
University of Konstanz（康斯坦茨大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出涵盖九个维度的人类反馈分类与七项质量指标，用以统一RLHF中人、界面和模型相关因素，并推导系统设计需求与未来研究方向。
2025-02-20 cs.HC cs.LG
Reinforcement Learning for Bandit Neural Machine Translation with Simulated Human Feedback
University of Maryland（马里兰大学）；Microsoft Research, New York（微软研究院纽约分院）
机器翻译是基于人类反馈的强化学习的自然候选问题：用户对候选翻译提供快速、肮脏的评级，以指导系统进行改进。然而，目前的神经机器翻译训练集中在昂贵的人类生成的参考翻译上。我们描述了一种强化学习算法，它可以从模拟的人类反馈中改进神经机器翻译系统。我们的算法结合了优势行动者-批评者算法（Mnih等人，2016）与基于注意力的神经编码器-解码器架构（Luong等人，2015年）。该算法（a）针对具有大动作空间和延迟奖励的问题进行了良好的设计，（b）有效地优化了传统的语料库级别的机器翻译度量，以及（c）对在实际人类行为之后建模的倾斜，高方差，粒度反馈具有鲁棒性。
2017-11-11 cs.AI cs.CL cs.HC
Actor-Critic Reinforcement Learning with Simultaneous Human Control and Feedback
University of Alberta（阿尔伯塔大学）
本文首次研究了不同的人类用户如何在人机交互过程中同时提供控制和反馈信号。作为这项工作的一部分，我们正式提出了一个通用的交互式学习框架，人类和强化学习代理之间的在线合作。在许多人机交互环境中，复杂半自治系统的自由度与人类控制通道的数量之间存在越来越大的差距。需要简单的人类控制和反馈机制来缩小这一差距，并允许人类和机器在复杂任务上更好地协作。为了更好地通知并发控制和反馈接口的设计，我们提出了实验结果，从人-机器人协作域，其中人类必须同时提供控制和反馈信号，以交互方式训练的演员-评论家强化学习机器人。我们比较了三种实验条件：1）人类提供的控制信号，2）奖励整形反馈信号，3）同时控制和反馈。我们的研究结果表明，受试者提供较少的反馈时，同时提供反馈和控制信号和控制信号的质量并没有显着降低。我们的数据表明，受试者也可能会修改他们提供反馈的时间和方式。通过本研究提供的算法开发和调整，我们预计机器人代理的半自主行动可以通过人类反馈更好地塑造，从而实现无缝协作并提高困难交互领域的性能。
2017-03-15 cs.AI cs.HC cs.RO
Reinforcement Learning from Multi-level and Episodic Human Feedback
Elmore Family School of Electrical and Computer Engineering, Purdue University（电子与计算机工程学院，普渡大学）
本文提出一种基于多层级和情节级人类反馈的强化学习算法，通过每个情节结束时的评分学习奖励函数和最优策略，可处理非马尔可夫奖励，理论证明具有次线性遗憾，仿真验证了其有效性。
2025-04-25 cs.LG
HERO: Human-Feedback Efficient Reinforcement Learning for Online Diffusion Model Finetuning
Sony AI（索尼人工智能公司）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；University of Southern California（南加利福尼亚大学）；Stanford University（斯坦福大学）
HERO框架通过在线人类反馈和反馈对齐表示学习及反馈引导图像生成机制，以4倍效率提升扩散模型微调，仅需0.5K反馈即可处理多种任务。
2025-03-13 cs.AI cs.CV cs.HC
RLHF-Blender: A Configurable Interactive Interface for Learning from Diverse Human Feedback
University of Konstanz（康斯坦茨大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出可配置交互式界面 RLHF-Blender，通过模块化实验框架支持系统研究演示、排序、比较和自然语言指令等多种人类反馈对奖励学习的影响，弥补了标准化工具不足的问题。
2023-08-08 cs.HC cs.LG
Trustworthy Human-AI Collaboration: Reinforcement Learning with Human Feedback and Physics Knowledge for Safe Autonomous Driving
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出PE-RLHF框架，将人类反馈与物理知识协同融入强化学习训练，通过物理增强的人机协作、代理价值函数和最小干预机制，确保策略性能不低于物理策略，在安全、效率和泛化性上达到SOTA。
2024-09-05 cs.AI cs.HC cs.LG
Improving a Neural Semantic Parser by Counterfactual Learning from Human Bandit Feedback
Heidelberg University（海德堡大学）
来自人类强盗反馈的反事实学习描述了一种场景，其中记录用户对历史系统输出质量的反馈并用于改进目标系统。我们展示了如何将这种学习框架应用于神经语义解析。从机器学习的角度来看，关键的挑战在于对估计器进行适当的重新加权，以避免反事实学习中的已知退化，同时仍然适用于随机梯度优化。为了与人类用户进行实验，我们设计了一个易于使用的界面来收集人类对语义解析的反馈。我们的工作是第一个表明，语义解析器可以显着提高从记录的人类反馈数据的反事实学习。
2018-11-30 cs.CL cs.LG stat.ML
A Scoping Review and Experimental Study on Reinforcement Learning from Human Feedback for Human-Robot Collaboration
DLR Institute for AI Safety and Security（德国航空航天中心人工智能安全与安保研究所）
本研究通过范围综述和VR实验，探讨RLHF在人机协作中的应用，发现用户发起的反馈比系统发起的反馈更能有效捕捉感知安全性，强调反馈时机对AI安全的重要性。
2026-10-08 cs.AI cs.HC cs.RO
GDPO: Learning to Directly Align Language Models with Diversity Using GFlowNets
KAIST AI（韩国科学技术院人工智能学院）
本文提出GDPO方法，将多样性寻求的GFlowNet强化学习算法应用于离线偏好对齐，以缓解DPO过拟合奖励信号和生成带偏见次优响应的问题，实验证明其在对话生成和摘要任务中能生成更多样且仍符合人类价值观的响应。
2024-10-19 cs.AI
Humans are not Boltzmann Distributions: Challenges and Opportunities for Modelling Human Feedback and Interaction in Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
强化学习（RL）通常假设可以访问指定的奖励函数，而许多实际应用并不提供。相反，最近，更多的工作探索了从与人类的互动中学习该做什么。到目前为止，这些方法中的大多数都将人类建模为（爱管闲事的）理性，特别是提供无偏见的反馈。我们认为这些模型过于简单化，RL研究人员需要开发更真实的人体模型来设计和评估他们的算法。特别是，我们认为，人类模型必须是个人的，上下文，和动态的。本文呼吁不同学科的研究来解决人类如何向AI提供反馈以及我们如何构建更强大的人在回路RL系统的关键问题。
2022-06-27 cs.HC cs.LG stat.ML
Policy Gradient Primal-Dual Method for Safe Reinforcement Learning from Human Feedback
本文提出两种无需奖励模型拟合的Safe RLHF算法，将安全RLHF建模为无限 horizon 折扣约束马尔可夫决策过程，并保证了全局收敛性。
2026-04-21 cs.LG
Preference is More Than Comparisons: Rethinking Dueling Bandits with Augmented Human Feedback
针对决斗式多臂老虎机在人类反馈稀疏时效率低、现有依赖参数化奖励模型易错误设定的问题，提出基于反馈增强的无模型改进框架，引入增强置信界整合反馈并分析权衡，原型算法在多IPE基准上表现优异。
2025-11-12 cs.LG
Beyond Partner Diversity: An Influence-Based Team Steering Framework for Zero-Shot Human-Machine Teaming
Department of Computer Science（计算机科学系）
本文提出基于影响的团队引导框架IBTS，通过影响塑造激励智能体发现多样化的高绩效团队交互模式，提升团队表现，强调需结合稀疏奖励协调机制与伙伴多样性覆盖。
2026-05-14 cs.AI
Reinforcement Learning with Feedback from Multiple Humans with Diverse Skills
University of Bristol（布里斯托大学）
在强化学习中，一种很有前途的提高鲁棒性和探索性的方法是收集人类的反馈，并以这种方式结合目标环境的先验知识。然而，要获得足够的高质量反馈往往过于昂贵。为了缓解这个问题，我们的目标是依靠一组具有不同技能水平的多个专家（和非专家）来生成足够的反馈。因此，这种反馈可能不一致且不频繁。在本文中，我们建立在以前的工作-建议，贝叶斯方法试图最大限度地提高从人类反馈中获得的信息-扩展算法，接受来自这个更大的人类群体，培训师的反馈，同时还估计每个培训师的可靠性。我们展示了如何汇总来自多个培训师的反馈，提高总反馈的准确性，并通过两种方式使收集过程变得更轻松。首先，这种方法解决了一些培训师具有对抗性的情况。其次，访问关于每个训练器可靠性的信息提供了第二层鲁棒性，并为管理整个系统的人提供了有价值的信息，以提高系统的整体信任度。它提供了一个可操作的工具，用于改进反馈收集过程或在需要时修改奖励函数设计。我们的经验表明，我们的方法可以准确地学习每个培训师的可靠性正确，并使用它来最大限度地提高从多个培训师的反馈中获得的信息，即使有些来源是敌对的。
2021-11-16 cs.LG
SLiC-HF: Sequence Likelihood Calibration with Human Feedback
Google Deepmind（谷歌DeepMind）；Google Research（谷歌研究院）
本研究提出SLiC-HF方法，利用序列似然校准从人类偏好数据中学习，实验证明其显著优于监督微调基线，且比PPO RLHF更简单高效。
2023-05-17 cs.AI cs.CL
Deep Reinforcement Learning from Policy-Dependent Human Feedback
Stanford University（斯坦福大学）；Brown University（布朗大学）
为了扩大其可访问性并增加其实用性，智能代理必须能够学习由（非专家）人类用户指定的复杂行为。此外，他们需要在合理的时间内学习这些行为，同时有效地利用人类教练能够提供的稀疏反馈。最近的研究表明，人类反馈可以被描述为对代理当前行为的批评，而不是作为要最大化的替代奖励信号，最终在COnvergent Actor-Critic by Humans（COACH）算法中实现，该算法用于根据人类反馈进行直接政策更新。我们的工作建立在COACH的基础上，移动到代理的策略由深度神经网络表示的设置。我们采用了一系列的修改上的原始COACH算法，成功地学习行为从高维观测的关键，同时也满足了获得降低的样本复杂性的约束。我们在Minecraft丰富的3D世界中展示了我们的Deep COACH算法的有效性，该算法使用一个代理，通过在10-15分钟的交互中仅使用实时人类反馈从原始像素映射到动作来学习完成任务。
2019-02-12 cs.LG stat.ML
Simultaneous Control and Human Feedback in the Training of a Robotic Agent with Actor-Critic Reinforcement Learning
University of Alberta（阿尔伯塔大学）
本文提供了一个初步的报告，同时将人类控制和反馈信号的训练强化学习机器人代理的优点和缺点。虽然机器人人机界面在形式和功能上都变得越来越复杂，但控制对用户来说仍然是一个挑战。这导致用户控制方法与可控制的机器人电机数量之间的差距越来越大。解决这一差距的一种方法是将一些自主权转移给机器人。然后，机器人代理的半自主动作可以通过人类反馈来塑造，从而简化用户控制。大多数关于人类智能体塑造的先前工作都将训练与反馈结合起来，或者包括间接控制信号。相比之下，在本文中，我们将探讨如何一个人可以提供并发的反馈信号和实时肌电控制信号训练机器人的演员评论强化学习控制系统。使用物理和模拟的机器人系统，我们比较一个简单的运动任务的训练性能时，奖励是来自环境，奖励是由人类提供的，以及这两种方法的组合。我们的研究结果表明，一些好处，可以获得与包括人类产生的反馈。
2016-06-22 cs.AI cs.HC cs.RO
Aligning Humans and Robots via Reinforcement Learning from Implicit Human Feedback
Department of Artificial Intelligence, Korea University（人工智能系，韩国大学）；Department of Brain and Cognitive Engineering, Korea University（脑科学与认知工程系，韩国大学）
通过隐式人类反馈的强化学习方法，利用脑电图信号提升机器人与人类的对齐能力。
2025-12-11 cs.AI cs.RO
Variational Transformer: A Framework Beyond the Trade-off between Accuracy and Diversity for Image Captioning
College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）
准确性和多样性是生成自然和语义正确的字幕的两个基本可度量表现。许多努力已经作出了加强其中一个与另一个衰减由于权衡差距。在这项工作中，我们将表明，从人类注释（留一）的准确性低标准提请不适合机器生成的字幕。为了提高多样性与坚实的准确性性能，我们利用了一种新的变分Transformer框架。通过引入“不可见信息先验”和“自动选择的GMM”，指导编码器学习不同场景中精确的语言信息和对象关系，以保证准确性。通过引入“范围-中位数奖励”基准，我们在基于RL的培训过程中保留了更多具有更高奖励的多元化候选人，以确保多元化。实验表明，我们的方法实现了准确性（CIDEr）和多样性（self-CIDEr）的同时提升，分别达到1.1%和4.8%。此外，与人类注释相比，我们的方法获得了最相似的语义检索性能，R@1（i2 t）为50.3（人类的50.6）。
2022-09-21 cs.CV cs.LG
Enhancing Image Caption Generation Using Reinforcement Learning with Human Feedback
Indian Institute of Information Technology, Sri City（印度信息技术学院斯里城分校）；Shanmugha Arts, Science, Technology & Research Academy（尚穆加艺术、科学、技术与研究院）
本文提出结合监督学习与 RLHF，并利用 Flickr8k 数据集和新型人类反馈损失函数，提升图像描述模型生成符合人类偏好文本的能力。
2024-03-11 cs.AI cs.CV
DQN-TAMER: Human-in-the-Loop Reinforcement Learning with Intractable Feedback
The University of Tokyo（东京大学）；Preferred Networks, Inc.（Preferred Networks 公司）
探索问题一直是强化学习（RL）面临的最大挑战之一，也是RL在机器人领域应用的一大障碍。即使使用最先进的强化学习算法，构建一个学习良好的智能体也往往需要太多的试验，主要是因为很难将其行为与遥远的未来的奖励相匹配。对此的一个补救措施是训练一个代理，该代理具有来自人类观察者的实时反馈，该观察者立即对某些行为给予奖励。这项研究解决了一系列的挑战，引入这样一个人在环RL计划。这项工作的第一个贡献是我们用精确建模的人类观察者进行的实验：二进制，延迟，随机性，不可持续性和自然反应。我们还提出了一种名为DQN-TAMER的RL方法，它有效地利用了人类反馈和远程奖励。我们发现DQN-TAMER代理在迷宫和出租车模拟环境中的表现优于其基线。此外，我们展示了一个真实世界的人在环RL应用程序，其中相机自动识别用户的面部表情作为对代理的反馈，而代理探索迷宫。
2018-10-28 cs.HC cs.LG
Reinforcing Human Behavior Simulation via Verbal Feedback
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）
本文提出DITTO模型，通过将言语反馈作为强化学习中的首要信号来提升LLM模拟人类行为的能力，并引入SOUL基准测试平台，展示了在多个任务中显著提升性能的成果。
2026-05-19 cs.CL cs.LG
Quality-Diversity through AI Feedback
CarperAI；University of Cambridge（剑桥大学）；EleutherAI；Aleph Alpha；University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（矢量研究所）；Stability AI；Maven；Stochastic Labs（随机实验室）
本文提出 QDAIF，利用语言模型提供 AI 反馈并结合进化算法生成、评估和多样化文本，在创意写作中提升高质量搜索空间覆盖，并验证 AI 与人类评价一致。
2023-12-07 cs.AI cs.CL cs.LG
Diversity vs. Recognizability: Human-like generalization in one-shot generative models
Brown University（布朗大学）；Carney Institute for Brain Science（卡尼脑科学研究所）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工与自然智能研究所）；Université de Toulouse（图卢兹大学）
长期以来，对新概念的强大概括一直是人类智能的一个显著特征。然而，深度生成模型的最新进展现在已经导致神经架构能够从单个训练样本合成未知视觉概念的新实例。然而，在这些模型和人类之间进行更精确的比较是不可能的，因为生成模型的现有性能指标（即，FID、IS、可能性）不适用于一次性生成场景。在这里，我们提出了一个新的框架来沿着两个轴评估一次性生成模型：样本可识别性与多样性（即，类内可变性）。使用这个框架，我们对Omniglot手写数据集上的代表性一次性生成模型进行了系统的评估。我们首先展示了GAN类和VAE类模型落在多样性可识别性空间的两端。对关键模型参数的影响进行了广泛的分析，进一步揭示了空间注意和上下文整合对多样性-可识别性权衡的线性贡献。相比之下，解纠缠沿着抛物线传输模型，可以用来最大限度地提高识别率。使用多样性可识别性框架，我们能够识别出与人类数据非常接近的模型和参数。
2022-10-07 cs.AI cs.LG
Learning Behaviors with Uncertain Human Feedback
Nanyang Technological University（南洋理工大学）；Dartmouth College（达特茅斯学院）
人工反馈被广泛用于训练智能体。然而，以前的作品很少考虑人类提供反馈时的不确定性，特别是在最佳行动对训练者来说并不明显的情况下。例如，次优行为的奖励可以是随机的，有时会超过最优行为的奖励，这在游戏或现实世界中很常见。培训师可能会对次优行动提供正反馈，对最优行动提供负反馈，甚至在某些混乱的情况下不提供反馈。现有的作品，利用期望最大化（EM）算法和治疗的反馈模型作为隐藏参数，不考虑学习环境和人类反馈的不确定性。为了解决这一挑战，我们引入了一个新的反馈模型，考虑了人类反馈的不确定性。然而，这在EM算法中引起棘手的演算。为此，我们提出了一种新的近似EM算法，其中我们近似的期望步骤与梯度下降方法。实验结果表明，在两个合成场景和两个现实世界的情况下，人类参与者的优越性能，我们所提出的方法。
2020-06-07 cs.AI cs.LG
WLD-Reg: A Data-dependent Within-layer Diversity Regularizer
Tampere University（坦佩雷大学）；Aarhus University（奥胡斯大学）
神经网络由以分层结构排列的多个层组成，所述分层结构利用基于梯度的优化联合训练，其中错误从最后一层反向传播回到第一层。在每个优化步骤中，给定层的神经元从属于层次结构的更高层的神经元接收反馈。在本文中，我们建议补充这种传统的“层间”的反馈与额外的“层内”的反馈，以鼓励同一层内的激活的多样性。为此，我们测量神经元输出之间的成对相似性，并使用它来建模层的整体多样性。我们提出了一个广泛的实证研究证实，所提出的方法提高了性能的几个国家的最先进的神经网络模型在多个任务。该代码可在\url{https://github.com/firasl/AAAI-23-WLD-Reg}上下载
2023-01-03 cs.CV cs.LG
The Effect of Modeling Human Rationality Level on Learning Rewards from Multiple Feedback Types
University of California, Berkeley（加州大学伯克利分校）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of Utah（犹他大学）
当从人类行为中推断奖励函数时（无论是演示、比较、物理校正还是紧急停止），将人类建模为做出噪音理性选择是有用的，“理性系数”可以捕捉我们期望在人类行为中看到多少噪音或熵。先前的工作通常将合理性水平设置为恒定值，而不管人类反馈的类型或质量如何。然而，在许多设置中，给出一种类型的反馈（例如，演示）可能比不同类型的反馈（例如，回答比较查询）困难得多。因此，我们希望看到更多或更少的噪音，这取决于人类反馈的类型。在这项工作中，我们主张在实际数据中为每种反馈类型建立合理性系数，而不是假设一个默认值，对奖励学习有显着的积极影响。我们在模拟实验和用户研究中使用真实的人类反馈来测试这一点。我们发现，高估人类的理性会对奖励学习的准确性和后悔产生可怕的影响。我们还发现，将合理性系数拟合到人类数据可以实现更好的奖励学习，即使人类由于系统偏差而显著偏离噪声理性选择模型。此外，我们发现，合理性水平会影响每种反馈类型的信息量：令人惊讶的是，演示并不总是最具信息性的-当人类的行为非常次优时，比较实际上变得更有信息性，即使合理性水平对两者都是相同的。最终，我们的研究结果强调了关注假设的人类理性水平的重要性和优势，特别是当代理积极地从多种类型的人类反馈中学习时。
2023-03-09 cs.AI cs.LG
GFlowNets with Human Feedback
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Zhejiang University（浙江大学）；Tianjin University（天津大学）
提出GFlowHF框架，利用人类反馈拟合奖励函数，学习与评分成比例的策略，提升AI模型探索能力，优于RLHF。
2023-05-11 cs.AI cs.LG
Benchmarking Diversity in Image Generation via Attribute-Conditional Human Evaluation
Ellison Institute of Technology（埃利森技术研究所）
针对当前文生图模型输出同质化、缺乏可靠多样性评估方法的问题，本研究提出一套基于属性条件人工评估的框架，可实现模型多样性排名与薄弱类别识别，为相关模型优化和指标开发提供支撑。
2025-11-13 cs.CV cs.LG
Enhancing Financial Fraud Detection with Human-in-the-Loop Feedback and Feedback Propagation
Vesta Corporation（维斯塔公司）
本文研究人在回路反馈对金融欺诈检测的影响，提出反馈传播方法扩展反馈，提升模型准确性，尤其对图技术效果显著，并增强鲁棒性与可解释性。
2024-11-07 cs.AI cs.CE cs.LG
Tool and Trainer? Experimental Evidence on Human Learning from Predictive AI in Cancer Diagnosis
University College London（伦敦大学学院）；INSEAD（欧洲工商管理学院）；West China Hospital, Sichuan University（四川大学华西医院）
预测AI通过提升个体诊断准确性并保留误差多样性，优化医疗新手的学习与决策过程。
2026-10-23 cs.AI cs.HC cs.LG
Adaptive Querying for Reward Learning from Human Feedback
本文提出了一种基于适应性反馈选择的方法，通过优化查询状态和反馈格式，提高机器人从人类反馈中学习的效率和效果。
2026-01-15 cs.AI cs.LG cs.RO
Continually Improving Extractive QA via Human Feedback
Cornell University（康奈尔大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究设计部署迭代方法，通过人类用户反馈持续改进抽取式QA系统，经数千次用户交互实验验证，该方法在不同数据模式下均有效，且在领域适配方面潜力显著。
2023-11-03 cs.AI cs.CL cs.LG
Aligning Text-to-Image Models using Human Feedback
Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）
深度生成模型在文本到图像的合成中显示出令人印象深刻的结果。然而，当前的文本到图像模型通常生成与文本提示不充分对齐的图像。我们提出了一种微调方法，用于调整这样的模型，使用人类的反馈，包括三个阶段。首先，我们从一组不同的文本提示中收集评估模型输出对齐的人类反馈。然后，我们使用人类标记的图像-文本数据集来训练预测人类反馈的奖励函数。最后，通过最大化奖励加权似然来微调文本到图像模型，以改善图文对齐。我们的方法比预先训练的模型更准确地生成具有指定颜色，计数和背景的对象。我们还分析了几种设计选择，并发现仔细调查，这样的设计选择是很重要的，在平衡的保真度的权衡。我们的研究结果证明了从人类反馈中学习的潜力，以显着改善文本到图像的模型。
2023-02-23 cs.AI cs.CV cs.LG
Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel；Inspired Cognition
本文综述人类反馈用于改进自然语言生成的研究，提出反馈形式化与分类体系，梳理反馈格式、目标、训练或解码用法、数据集及收集问题，并介绍利用LLM判断的AI反馈。
2023-06-01 cs.AI cs.CL cs.LG
Soliciting Human-in-the-Loop User Feedback for Interactive Machine Learning Reduces User Trust and Impressions of Model Accuracy
University of Florida（佛罗里达大学）
混合主动系统允许用户交互式地提供反馈，以潜在地提高系统性能。人工反馈可以纠正模型错误并更新模型参数，以动态适应不断变化的数据。此外，许多用户希望能够有更高的控制水平，并修复他们所依赖的系统中的感知缺陷。然而，向自治系统提供反馈的能力如何影响用户信任，这在很大程度上是一个尚未探索的研究领域。我们的研究调查了提供反馈的行为如何影响用户对智能系统及其准确性的理解。我们提出了一个对照实验，使用一个模拟的目标检测系统与图像数据，研究交互式反馈收集对用户印象的影响。结果表明，提供人在回路反馈降低了参与者对系统的信任和他们对系统准确性的感知，无论系统准确性是否响应他们的反馈而提高。这些结果强调了在设计智能系统时考虑最终用户反馈对用户信任的影响的重要性。
2020-08-28 cs.AI cs.HC cs.LG
Putting Humans in the Natural Language Processing Loop: A Survey
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
我们如何设计能够从人类反馈中学习的自然语言处理（NLP）系统？越来越多的人在回路（HITL）NLP框架的研究机构不断整合人类反馈以改进模型本身。HITL NLP研究是新兴的，但五花八门-解决各种NLP问题，从不同的人那里收集不同的反馈，并应用不同的方法从收集的反馈中学习。我们对机器学习（ML）和人机交互（HCI）社区的HITL NLP工作进行了调查，突出了其短暂但鼓舞人心的历史，并彻底总结了最近的框架，重点是他们的任务，目标，人类交互和反馈学习方法。最后，我们讨论了在NLP开发循环中整合人类反馈的未来方向。
2021-03-06 cs.AI cs.CL cs.HC
Training Language Models with Language Feedback
New York University（纽约大学）；University of the Basque Country（巴斯克大学）；Genentech（基因泰克）；CIFAR LMB（加拿大高等研究院分子生物学实验室）
预训练的语言模型通常不会以符合我们偏好的方式执行任务，例如，生成攻击性文本或事实上不正确的摘要。最近的工作接近上述问题，从一个简单的形式的人类评估学习：对模型生成的任务输出之间的比较。比较反馈传达了有限的信息，人类的喜好，每个人的评价。在这里，我们建议从自然语言反馈中学习，它可以传达更多的信息。我们使用三步学习算法从模型输出的语言反馈中学习。首先，我们根据初始输出和反馈来调整语言模型，以生成许多细化。其次，我们选择与反馈相似度最高的细化。第三，我们微调一个语言模型，以最大限度地提高所选择的细化给定的输入的可能性。在合成实验中，我们首先评估语言模型是否准确地结合反馈以产生改进，发现只有大语言模型（175 B参数）这样做。我们的学习算法仅使用100个人类书面反馈的样本，就将GPT-3模型微调到大致人类水平的总结能力。
2022-11-17 cs.AI cs.CL cs.LG
Wisdom from Diversity: Bias Mitigation Through Hybrid Human-LLM Crowds
Machine Learning Group, Université Libre de Bruxelles（布鲁塞尔自由大学机器学习组）；AI Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学人工智能实验室）；FARI, AI for the Common-Good Institute, ULB-VUB（ULB-VUB共同利益人工智能研究所）；Center for Human-Compatible AI, UC Berkeley（伯克利人类兼容人工智能中心）
针对大语言模型易延续训练数据偏差的问题，研究发现单纯多模型平均会加剧偏差，而局部加权聚合可缓解偏差并提升准确率，结合人类与LLM的混合众包群体能进一步优化性能、降低种族和性别相关偏差。
2025-05-18 cs.AI cs.CL cs.CY
Decoding and Diversity in Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Amazon AWS AI（亚马逊AWS人工智能）
神经机器翻译（NMT）系统通常使用自动化度量来评估，该自动化度量评估生成的翻译与地面实况候选之间的一致性。为了改进这些指标的系统，NLP研究人员采用了各种启发式技术，包括搜索条件模式（与采样）和结合各种训练算法（例如，标签平滑）。虽然搜索策略显著提高了BLEU分数，但它们产生的确定性输出缺乏人工翻译的多样性。此外，搜索倾向于偏向翻译性别代词的分布。这使得人类水平的BLEU成为一个误导性的基准，因为现代MT系统无法在保持人类水平翻译多样性的同时接近人类水平的BLEU。在本文中，我们的特征之间的分布差异生成和真实的翻译，检查的成本支付的多样性享受NMT的BLEU分数。此外，我们的研究表明，搜索作为一个显着的来源，已知的偏见时，翻译性别代词。
2020-11-26 cs.CL cs.LG
Off-Policy Evaluation from Logged Human Feedback
Amazon（亚马逊）；University of Washington（华盛顿大学）；AWS AI Labs（亚马逊云科技人工智能实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文研究如何利用已记录的人类反馈对新的策略进行离策略评估，提出基于模型和无模型的估计器，并证明其可用于预测策略价值、排序和优化。
2024-06-14 cs.LG stat.ML
Algorithmic Hiring and Diversity: Reducing Human-Algorithm Similarity for Better Outcomes
Emory University（埃默里大学）；New York University（纽约大学）
该研究指出招聘中仅强制短名单性别均衡未必提升最终录用多样性，关键在于算法与人类筛选标准的相关性，提出挑选易被经理忽视但仍合格的候选人的补充算法，在不明显降低质量的同时提升了录用性别多样性。
2025-05-20 cs.HC cs.LG econ.GN
The Significance of Style Diversity in Annotation-Free Synthetic Data Generation
University of Amsterdam（阿姆斯特丹大学）
提出无需人工标注的对话生成框架，利用主题和风格属性增强多样性，并设计两种后处理风格化模型，实验表明风格多样性比主题多样性更关键，性能可达人工标注数据的93.3%。
2026-06-19 cs.LG
Nonverbal Robot Feedback for Human Teachers
University of California, Berkeley（加州大学伯克利分校）
机器人可以从人类的演示中学习偏好，但它们的成功取决于这些演示的信息量。不幸的是，提供信息是非常具有挑战性的，因为在教学过程中，人们通常无法透明地了解机器人已经知道或已经学到了什么。相比之下，人类学生自然会提供丰富的非语言反馈，以揭示他们的理解和参与程度。在这项工作中，我们研究了机器人如何能够同样地提供具有最小破坏性的反馈，但却为人类教师提供了一个更好的机器人学习者的心理模型，从而使他们能够更有效地教学。我们的想法是，在任何时候，机器人都可以指出它认为正确的下一步行动是什么，从而揭示它对人类偏好的当前估计。我们分析了这种反馈是多么有用，无论是在理论上和两个用户的研究-一个与虚拟角色，测试反馈本身，一个与PR 2机器人，使用凝视作为反馈机制。我们发现，反馈可以是有用的，提高教学质量和教师的机器人的能力的理解。
2019-11-06 cs.HC cs.LG cs.RO
Learning from Observations Using a Single Video Demonstration and Human Feedback
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们提出了一种方法，从视频演示中学习，通过使用人的反馈，构建一个标准的代理表示和演示的视觉表示之间的映射。通过这种方式，我们利用了这两种表示的优点，即，我们使用标准状态表示来学习策略，但是能够使用视频演示来指定预期的行为。我们训练一个自主智能体使用一个单一的视频演示，并使用人的反馈（使用数值相似性评级）映射的标准表示与神经网络的视觉表示。我们展示了我们的方法的有效性，通过教一个料斗代理在MuJoCo执行后空翻使用一个单一的视频演示生成的MuJoCo以及从一个真实世界的YouTube视频的人执行后空翻。此外，我们表明，我们的方法可以转移到新的任务，如跳跃，很少有人的反馈。
2019-09-29 cs.LG stat.ML
Contextually Plausible and Diverse 3D Human Motion Prediction
Australian National University（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉中心）；Data61-CSIRO（联邦科学与工业研究组织Data61）；CVLab-EPFL（洛桑联邦理工学院计算机视觉实验室）
我们解决的任务，不同的三维人体运动预测，即预测多个合理的未来三维构成给定的序列观察到的三维构成。在这种情况下，一种流行的方法包括使用条件变分自编码器（CVAE）。然而，现有的方法，这样做要么无法捕捉人体运动的多样性，或产生不同的，但语义上难以置信的观察到的运动的延续。在本文中，我们解决这两个问题，通过开发一个新的变分框架，占的多样性和背景下产生的未来运动。为此，与现有的方法相比，我们的潜变量的采样条件，作为多样性的来源，对过去的观察表示，从而鼓励它进行相关的信息。我们的实验表明，我们的方法产生的运动不仅质量更高，同时保持多样性，但也保留所观察到的3D姿态序列中包含的上下文信息。
2020-12-05 cs.CV cs.LG stat.ML
Learning Gaussian Policies from Corrective Human Feedback
Delft University of Technology（代尔夫特理工大学）
从人的反馈中学习是一种可行的替代控制设计，不需要建模或控制专业知识。特别是，从纠正性建议中学习比评价性反馈更有优势，因为它是一种更直观和可扩展的格式。目前在这一领域的最先进的，教练，已被证明是一个有效的方法，有限的问题。然而，它使用径向基函数网络参数化策略，这需要对高阶系统进行细致的特征空间工程。我们引入高斯过程教练（GPC），其中特征空间工程是避免采用高斯过程。此外，我们使用现有的政策不确定性，以1）查询最大效用的反馈样本和2）适应学习率教师的学习阶段。我们证明了新算法在OpenAI Gym连续控制基准测试中的最终性能、收敛速度和对错误反馈的鲁棒性方面优于当前最先进的算法，无论是模拟的还是真实的人类教师。
2019-03-12 cs.LG stat.ML
Generative Grading: Near Human-level Accuracy for Automated Feedback on Richly Structured Problems
Stanford University（斯坦福大学）
大规模获得高质量教育的机会受到限制，因为在计算机编程，图形和简短回答问题等结构化领域的开放式作业中难以提供学生反馈。这个问题已经被证明是非常困难的：对于人类来说，它需要大量的手工工作，而对于计算机来说，直到最近，实现任何接近人类水平的精度都是无法实现的。在本文中，我们提出了生成评分：一种新的计算方法，提供反馈的规模，能够准确地分级学生的工作，并提供细致入微的，可解释的反馈。我们的方法使用生成描述学生的认知，写概率程序，合成数以百万计的标记的例子解决方案的问题，然后我们学习推断反馈，真正的学生解决方案的基础上，这种认知模型。我们将我们的方法应用于三种设置。在基于块的编码中，我们在以前的最佳反馈结果基础上实现了50%的改进，实现了超人的准确性。在另外两个广泛不同的领域-图形任务和简短的文本答案-我们实现了比以前的技术水平分别约4倍和1.5倍的重大改进，接近人类的准确性。在一个真实的教室里，我们进行了一个实验，我们使用我们的系统来增强人类评分员，在将评分时间减半的同时，提高了一倍的评分准确性。
2021-03-23 cs.CY cs.LG stat.ML
