Leveraging Human Feedback for Semantically-Relevant Skill Discovery
A 2 I 2 , Deakin University, Geelong, Australia（A2I2，德金大学，澳大利亚格里尔镇）；School of IT, Deakin University, Geelong, Australia（信息学院，德金大学，澳大利亚格里尔镇）
本文提出SRSD方法，通过人类反馈的语义标签提升技能的语义多样性与相关性，实验表明其在导航和运动环境中有效发现相关行为。
2026-04-27 cs.AI cs.LG
Enhancing Financial Fraud Detection with Human-in-the-Loop Feedback and Feedback Propagation
Vesta Corporation（维斯塔公司）
本文研究人在回路反馈对金融欺诈检测的影响，提出反馈传播方法扩展反馈，提升模型准确性，尤其对图技术效果显著，并增强鲁棒性与可解释性。
2024-11-07 cs.AI cs.CE cs.LG
Understanding Impact of Human Feedback via Influence Functions
KAIST（韩国科学技术院）；Columbia University（哥伦比亚大学）
针对RLHF中人类反馈噪声大、易偏差导致奖励信号错位的问题，提出一种计算高效的影响函数近似方法，可应用于大语言模型奖励模型与大规模偏好数据集，实现标注偏差检测与标注策略优化，提升反馈可解释性与RLHF可扩展监督能力。
2025-09-01 cs.AI cs.HC cs.LG
Explore, Exploit or Listen: Combining Human Feedback and Policy Model to Speed up Deep Reinforcement Learning in 3D Worlds
Georgia Institute of Technology（佐治亚理工学院）
我们描述了一种方法，通过扩展深度强化学习来建模人类反馈的置信度和一致性，使用离散人类反馈来增强虚拟三维环境中深度学习代理的性能。这使得深度强化学习算法能够确定最合适的时间来听取人类反馈，利用当前的策略模型或探索代理的环境。管理这三种策略之间的权衡允许DRL代理对不一致或间歇性的人类反馈具有鲁棒性。通过使用合成预言机的实验，我们证明了我们的技术提高了使用Minecraft导航三维环境的深度强化学习的训练速度和整体性能。我们进一步表明，我们的技术是强大的高度innacurate人类反馈，也可以操作时，没有人的反馈。
2021-06-22 cs.AI
Adaptive Querying for Reward Learning from Human Feedback
本文提出了一种基于适应性反馈选择的方法，通过优化查询状态和反馈格式，提高机器人从人类反馈中学习的效率和效果。
2026-01-15 cs.AI cs.LG cs.RO
Convergence of a Human-in-the-Loop Policy-Gradient Algorithm With Eligibility Trace Under Reward, Policy, and Advantage Feedback
Brown University（布朗大学）
流畅的人-智能体通信对于人在回路强化学习的未来至关重要。一个智能体必须对来自其人类教练的反馈做出适当的反应，甚至在他们有重要的合作经验之前。因此，重要的是，学习代理很好地响应人类培训师可能提供的各种反馈方案。本文分析了CONVergent Actor-Critic by Humans（COACH）算法在三种不同反馈方式下的性能，即策略反馈、奖励反馈和优势反馈。对于这三种反馈类型，我们发现COACH可以表现得次优。我们提出了一个变种的教练，情节教练（电子教练），我们证明收敛的所有三种类型。我们将我们的COACH变体与其他两种并行学习算法进行比较：Q学习和TAMER。
2021-09-15 cs.AI cs.DS cs.HC
Continually Improving Extractive QA via Human Feedback
Cornell University（康奈尔大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究设计部署迭代方法，通过人类用户反馈持续改进抽取式QA系统，经数千次用户交互实验验证，该方法在不同数据模式下均有效，且在领域适配方面潜力显著。
2023-11-03 cs.AI cs.CL cs.LG
Aligning Text-to-Image Models using Human Feedback
Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）
深度生成模型在文本到图像的合成中显示出令人印象深刻的结果。然而，当前的文本到图像模型通常生成与文本提示不充分对齐的图像。我们提出了一种微调方法，用于调整这样的模型，使用人类的反馈，包括三个阶段。首先，我们从一组不同的文本提示中收集评估模型输出对齐的人类反馈。然后，我们使用人类标记的图像-文本数据集来训练预测人类反馈的奖励函数。最后，通过最大化奖励加权似然来微调文本到图像模型，以改善图文对齐。我们的方法比预先训练的模型更准确地生成具有指定颜色，计数和背景的对象。我们还分析了几种设计选择，并发现仔细调查，这样的设计选择是很重要的，在平衡的保真度的权衡。我们的研究结果证明了从人类反馈中学习的潜力，以显着改善文本到图像的模型。
2023-02-23 cs.AI cs.CV cs.LG
Breadcrumbs to the Goal: Goal-Conditioned Exploration from Human-in-the-Loop Feedback
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；University of Washington（华盛顿大学）
本研究提出HuGE技术，利用非专业用户零散、异步、带噪声的低质量人在回路反馈引导强化学习探索，分离反馈引导与自监督策略学习，无需手工设计奖励，可在仿真及真实机器人上完成多阶段导航操作任务。
2023-07-20 cs.AI cs.LG cs.RO
Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico（高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel；Inspired Cognition
本文综述人类反馈用于改进自然语言生成的研究，提出反馈形式化与分类体系，梳理反馈格式、目标、训练或解码用法、数据集及收集问题，并介绍利用LLM判断的AI反馈。
2023-06-01 cs.AI cs.CL cs.LG
When Your AIs Deceive You: Challenges of Partial Observability in Reinforcement Learning from Human Feedback
University of Amsterdam（阿姆斯特丹大学）；UC Berkeley（加州大学伯克利分校）
研究部分可观测环境下RLHF的失败模式，定义欺骗性膨胀与过度辩护，证明其必然性条件并分析回报函数信息量，提出缓解方向并实验验证，警告盲目应用风险。
2024-11-17 cs.AI cs.LG stat.ML
Contextual bandits with entropy-based human feedback
McGill University（麦吉尔大学）
针对现有基于偏好的人类反馈方法忽略模型不确定性与反馈质量差异的问题，提出熵基人类反馈框架，仅在模型熵超阈值时请求反馈，提升上下文老虎机性能且减少反馈需求。
2025-02-12 cs.AI
Soliciting Human-in-the-Loop User Feedback for Interactive Machine Learning Reduces User Trust and Impressions of Model Accuracy
University of Florida（佛罗里达大学）
混合主动系统允许用户交互式地提供反馈，以潜在地提高系统性能。人工反馈可以纠正模型错误并更新模型参数，以动态适应不断变化的数据。此外，许多用户希望能够有更高的控制水平，并修复他们所依赖的系统中的感知缺陷。然而，向自治系统提供反馈的能力如何影响用户信任，这在很大程度上是一个尚未探索的研究领域。我们的研究调查了提供反馈的行为如何影响用户对智能系统及其准确性的理解。我们提出了一个对照实验，使用一个模拟的目标检测系统与图像数据，研究交互式反馈收集对用户印象的影响。结果表明，提供人在回路反馈降低了参与者对系统的信任和他们对系统准确性的感知，无论系统准确性是否响应他们的反馈而提高。这些结果强调了在设计智能系统时考虑最终用户反馈对用户信任的影响的重要性。
2020-08-28 cs.AI cs.HC cs.LG
Training Language Models with Language Feedback
New York University（纽约大学）；University of the Basque Country（巴斯克大学）；Genentech（基因泰克）；CIFAR LMB（加拿大高等研究院分子生物学实验室）
预训练的语言模型通常不会以符合我们偏好的方式执行任务，例如，生成攻击性文本或事实上不正确的摘要。最近的工作接近上述问题，从一个简单的形式的人类评估学习：对模型生成的任务输出之间的比较。比较反馈传达了有限的信息，人类的喜好，每个人的评价。在这里，我们建议从自然语言反馈中学习，它可以传达更多的信息。我们使用三步学习算法从模型输出的语言反馈中学习。首先，我们根据初始输出和反馈来调整语言模型，以生成许多细化。其次，我们选择与反馈相似度最高的细化。第三，我们微调一个语言模型，以最大限度地提高所选择的细化给定的输入的可能性。在合成实验中，我们首先评估语言模型是否准确地结合反馈以产生改进，发现只有大语言模型（175 B参数）这样做。我们的学习算法仅使用100个人类书面反馈的样本，就将GPT-3模型微调到大致人类水平的总结能力。
2022-11-17 cs.AI cs.CL cs.LG
Putting Humans in the Natural Language Processing Loop: A Survey
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
我们如何设计能够从人类反馈中学习的自然语言处理（NLP）系统？越来越多的人在回路（HITL）NLP框架的研究机构不断整合人类反馈以改进模型本身。HITL NLP研究是新兴的，但五花八门-解决各种NLP问题，从不同的人那里收集不同的反馈，并应用不同的方法从收集的反馈中学习。我们对机器学习（ML）和人机交互（HCI）社区的HITL NLP工作进行了调查，突出了其短暂但鼓舞人心的历史，并彻底总结了最近的框架，重点是他们的任务，目标，人类交互和反馈学习方法。最后，我们讨论了在NLP开发循环中整合人类反馈的未来方向。
2021-03-06 cs.AI cs.CL cs.HC
RLTHF: Targeted Human Feedback for LLM Alignment
Microsoft（微软公司）；University of California, Los Angeles（加州大学洛杉矶分校）
针对RLHF中人类标注成本高和AI反馈泛化不足的问题，提出人机混合框架RLTHF，利用奖励分布识别错标样本并整合选择性人类修正，仅用6-7%标注成本实现完全人类标注级对齐，且下游任务性能更优。
2025-08-06 cs.AI cs.CL cs.LG
Reinforcement Learning for Bandit Neural Machine Translation with Simulated Human Feedback
University of Maryland（马里兰大学）；Microsoft Research, New York（微软研究院纽约分院）
机器翻译是基于人类反馈的强化学习的自然候选问题：用户对候选翻译提供快速、肮脏的评级，以指导系统进行改进。然而，目前的神经机器翻译训练集中在昂贵的人类生成的参考翻译上。我们描述了一种强化学习算法，它可以从模拟的人类反馈中改进神经机器翻译系统。我们的算法结合了优势行动者-批评者算法（Mnih等人，2016）与基于注意力的神经编码器-解码器架构（Luong等人，2015年）。该算法（a）针对具有大动作空间和延迟奖励的问题进行了良好的设计，（b）有效地优化了传统的语料库级别的机器翻译度量，以及（c）对在实际人类行为之后建模的倾斜，高方差，粒度反馈具有鲁棒性。
2017-11-11 cs.AI cs.CL cs.HC
M3HF: Multi-agent Reinforcement Learning from Multi-phase Human Feedback of Mixed Quality
Department of Informatics, King’s College London, London, United Kingdom（伦敦大学国王学院信息学系）；Societal Systems Department, Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学社会系统系）
本文提出M3HF框架，将混合质量的多阶段人类反馈引入多智能体强化学习，结合大语言模型解析反馈和自适应权重更新奖励函数，显著提升多智能体合作性能并扩大人类参与范围。
2025-06-04 cs.AI cs.LG cs.MA
Interactive Learning from Policy-Dependent Human Feedback
Cogitai（Cogitai公司）；Brown University（布朗大学）；North Carolina State University（北卡罗来纳州立大学）；Washington State University（华盛顿州立大学）
本文研究了人类教师使用正反馈和负反馈交流的交互式学习行为问题。许多以前的工作对这个问题的假设，人们提供反馈的决定，这是依赖于他们的行为教学和独立于学习者的当前政策。我们提出的实证结果表明，这种假设是错误的-无论是人类教练给一个积极的或消极的反馈的决定是由学习者的当前政策的影响。基于这一见解，我们介绍{\em Convergent Actor-Critic by Humans}（COACH），一种从策略依赖反馈中学习的算法，它收敛到局部最优。最后，我们证明COACH可以成功学习物理机器人的多种行为。
2023-01-28 cs.AI
Combining Learning from Human Feedback and Knowledge Engineering to Solve Hierarchical Tasks in Minecraft
DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）；Columbia University（哥伦比亚大学）；University of Maryland, Baltimore（马里兰大学巴尔的摩分校）
现实世界中感兴趣的任务通常没有人类可读的描述，并且没有预定义的奖励信号，除非它是由人类设计师定义的。相反，数据驱动的算法通常被设计为解决一个特定的，狭义的，具有驱动代理学习的性能指标的任务。在这项工作中，我们提出了在2021年NeurIPS竞赛MineRL BASALT挑战赛中获得第一名并被授予最像人类的智能体的解决方案：在Minecraft中从人类反馈中学习，该挑战赛要求参与者使用人类数据来解决仅由自然语言描述定义的四个任务，而没有奖励功能。我们的方法使用现有的人类示范数据训练模仿学习政策的导航和额外的人类反馈训练图像分类器。这些模块与估计的里程图相结合，成为一个强大的状态机，旨在利用人类的知识在一个自然的层次模式。我们将这种混合智能方法与端到端机器学习和纯工程解决方案进行比较，然后由人类评估人员进行判断。Codebase可在https://github.com/viniciusguigo/kairos_minerl_basalt上获得。
2022-05-11 cs.AI cs.HC cs.LG
Actor-Critic Reinforcement Learning with Simultaneous Human Control and Feedback
University of Alberta（阿尔伯塔大学）
本文首次研究了不同的人类用户如何在人机交互过程中同时提供控制和反馈信号。作为这项工作的一部分，我们正式提出了一个通用的交互式学习框架，人类和强化学习代理之间的在线合作。在许多人机交互环境中，复杂半自治系统的自由度与人类控制通道的数量之间存在越来越大的差距。需要简单的人类控制和反馈机制来缩小这一差距，并允许人类和机器在复杂任务上更好地协作。为了更好地通知并发控制和反馈接口的设计，我们提出了实验结果，从人-机器人协作域，其中人类必须同时提供控制和反馈信号，以交互方式训练的演员-评论家强化学习机器人。我们比较了三种实验条件：1）人类提供的控制信号，2）奖励整形反馈信号，3）同时控制和反馈。我们的研究结果表明，受试者提供较少的反馈时，同时提供反馈和控制信号和控制信号的质量并没有显着降低。我们的数据表明，受试者也可能会修改他们提供反馈的时间和方式。通过本研究提供的算法开发和调整，我们预计机器人代理的半自主行动可以通过人类反馈更好地塑造，从而实现无缝协作并提高困难交互领域的性能。
2017-03-15 cs.AI cs.HC cs.RO
Diversity from Human Feedback
National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室）；School of Artificial Intelligence, Nanjing University（人工智能学院）；Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系）；Tencent AI Lab（腾讯人工智能实验室）
针对多样性度量中行为空间依赖专家设计的难题，本文提出从人类反馈学习行为空间的 DivHF，并结合 MAP-Elites 在 QDax 上验证其更符合人类偏好且提升解的多样性。
2025-06-08 cs.AI cs.LG cs.NE
Aligning Crowd-sourced Human Feedback for Reinforcement Learning on Code Generation by Large Language Models
City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）
该研究提出基于贝叶斯优化的众包人类反馈对齐框架，结合RLHF与众包计算优化大语言模型的文本到代码生成，分散反馈收集负担，验证了方法有效性，可适配通用领域特定语言。
2025-03-19 cs.AI
HERO: Human-Feedback Efficient Reinforcement Learning for Online Diffusion Model Finetuning
Sony AI（索尼人工智能公司）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；University of Southern California（南加利福尼亚大学）；Stanford University（斯坦福大学）
HERO框架通过在线人类反馈和反馈对齐表示学习及反馈引导图像生成机制，以4倍效率提升扩散模型微调，仅需0.5K反馈即可处理多种任务。
2025-03-13 cs.AI cs.CV cs.HC
Reinforcement Learning based Embodied Agents Modelling Human Users Through Interaction and Multi-Sensory Perception
University of Alberta（阿尔伯塔大学）
本文扩展了交互式机器学习（IML）的最新工作，重点是有效地结合人类的反馈。我们展示了控制和反馈信号如何在模拟人类奖励的系统中相互补充。我们证明，同时结合人类控制和反馈信号可以提高交互式机器人系统在自镜像运动控制任务中的性能，其中RL-智能体控制的右臂试图匹配左臂的预编程运动模式。我们通过调查每个时间步上给出反馈的概率和给出反馈的可能性来说明不同的人类反馈参数对任务性能的影响。反馈是正确的我们进一步说明，不同的时间衰减与代理人结合人类的反馈对任务性能有显着的影响。我们发现，随着时间的推移，涂抹人类反馈可以提高性能，我们在每个时间步长显示不同的反馈概率，这些反馈“正确”的可能性增加会影响代理性能。我们的结论是，了解人类反馈中的潜在变量是至关重要的学习算法在人机交互领域的行为。
2017-01-26 cs.AI cs.HC cs.RO
Trustworthy Human-AI Collaboration: Reinforcement Learning with Human Feedback and Physics Knowledge for Safe Autonomous Driving
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出PE-RLHF框架，将人类反馈与物理知识协同融入强化学习训练，通过物理增强的人机协作、代理价值函数和最小干预机制，确保策略性能不低于物理策略，在安全、效率和泛化性上达到SOTA。
2024-09-05 cs.AI cs.HC cs.LG
Online Learning from Strategic Human Feedback in LLM Fine-Tuning
Singapore University of Technology and Design（新加坡科技设计大学）
针对LLM微调中人类标注者策略性误报反馈导致线性遗憾的问题，提出基于动态贝叶斯博弈的在线学习机制，通过动态调整标注者权重确保真实反馈，实现次线性遗憾。
2024-12-24 cs.AI cs.GT
A Scoping Review and Experimental Study on Reinforcement Learning from Human Feedback for Human-Robot Collaboration
DLR Institute for AI Safety and Security（德国航空航天中心人工智能安全与安保研究所）
本研究通过范围综述和VR实验，探讨RLHF在人机协作中的应用，发现用户发起的反馈比系统发起的反馈更能有效捕捉感知安全性，强调反馈时机对AI安全的重要性。
2026-10-08 cs.AI cs.HC cs.RO
HuTuMotion: Human-Tuned Navigation of Latent Motion Diffusion Models with Minimal Feedback
Northwest A&F University（西北农林科技大学）；Tencent AI Lab（腾讯AI实验室）；The University of Melbourne（墨尔本大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本研究提出HuTuMotion方法，通过少样本人工反馈调整潜在运动扩散模型的先验分布，以少量反馈实现与大量人工反馈相当的生成效果，性能显著优于现有最先进方法，可用于个性化、风格感知的人体运动生成。
2023-12-19 cs.AI cs.CV
Censored Sampling of Diffusion Models Using 3 Minutes of Human Feedback
Seoul National University（首尔大学）；KRAFTON（魁匠团）；Hongik University（弘益大学）
本文提出利用极少人类反馈训练的奖励模型对预训练扩散模型进行审查采样，防止生成不良图像，并证明仅需几分钟人类反馈即可高效完成审查任务。
2023-10-30 cs.AI cs.CV
Learning New Skills after Deployment: Improving open-domain internet-driven dialogue with human feedback
Meta AI；Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）
被训练来模仿静态数据集的冻结模型永远无法提高它们的性能。可以使用互联网检索最新信息并在部署期间从人类获得反馈的模型提供了适应新信息并提高其性能的承诺。在这项工作中，我们研究如何提高互联网驱动的会话技能，在这样的学习框架。我们收集部署数据，这些数据是我们公开提供的人类交互数据，并收集各种类型的人类反馈-包括二进制质量测量，自由形式的文本反馈和细粒度的失败原因。然后，我们研究了各种算法，以改善从这样的反馈，包括标准的监督学习，拒绝采样，模型指导和奖励为基础的学习，以便提出建议，哪种类型的反馈和算法最好的工作。我们发现最近引入的Director模型（Arora等人，’22）显示了对其他现有方法的显著改进。
2022-08-16 cs.AI cs.CL
FRESH: Interactive Reward Shaping in High-Dimensional State Spaces using Human Feedback
University of Washington（华盛顿大学）；Worcester Polytechnic Institute（伍斯特理工学院）
强化学习已经成功地训练自主智能体在复杂环境中完成目标。虽然这已经适应了多种设置，包括机器人和计算机游戏，但人类玩家通常会发现在某些环境中比强化学习算法更容易获得更高的奖励。这在高维状态空间中尤其如此，在高维状态空间中，智能体获得的奖励是稀疏的或极度延迟的。在本文中，我们试图有效地整合人类操作员提供的反馈信号与高维状态空间中的深度强化学习算法。我们称之为FRESH（基于反馈的奖励塑造）。在训练期间，向人类操作员呈现来自重放缓冲器的轨迹，然后提供关于轨迹中的状态和动作的反馈。为了将人类操作员提供的反馈信号推广到测试时以前看不见的状态和动作，我们使用了反馈神经网络。我们使用一个集成的神经网络与一个共享的网络架构来表示模型的不确定性和神经网络在其输出的信心。反馈神经网络的输出被转换为成形奖励，该成形奖励被增强到由环境提供的奖励。我们评估我们的保龄球和滑雪雅达利游戏在街机学习环境的方法。尽管人类专家能够在这些环境中获得高分，但最先进的深度学习算法表现不佳。我们观察到，FRESH在这两种环境中都能够获得比最先进的深度学习算法更高的分数。FRESH在保龄球方面的得分也比人类专家高出21.4%，在滑雪方面的得分也比人类专家高。
2020-01-19 cs.AI
Reliability-Aware LLM Alignment from Inconsistent Human Feedback
研究如何解决人类反馈强化学习中人类注释不一致问题，提出可靠性引导的偏好优化框架RGPO，通过估计注释者可靠性、推断潜在真实标签及动态调整训练目标，有效减少训练数据不一致性和噪声，性能优于现有基线。
2026-07-24 cs.AI
SLiC-HF: Sequence Likelihood Calibration with Human Feedback
Google Deepmind（谷歌DeepMind）；Google Research（谷歌研究院）
本研究提出SLiC-HF方法，利用序列似然校准从人类偏好数据中学习，实验证明其显著优于监督微调基线，且比PPO RLHF更简单高效。
2023-05-17 cs.AI cs.CL
Methodological reflections for AI alignment research using human feedback
University of Tuebingen（蒂宾根大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
人工智能（AI）对齐领域旨在调查AI技术是否符合人类的利益和价值观，并以安全和道德的方式运行。AI对齐对于大语言模型（LLM）尤其重要，因为它们有能力以难以预测的方式学习和适应，因此有可能表现出意想不到的行为。在本文中，我们讨论的对齐问题的方法挑战，特别是在LLM训练总结文本的背景下。特别是，我们专注于收集可靠的人类反馈的总结训练的奖励模型，从而提高了总结模型的方法。最后，我们提出了具体的改进实验设计的比对研究LLM的总结能力。
2022-12-22 cs.AI cs.CL cs.HC
Evaluating Trust in AI, Human, and Co-produced Feedback Among Undergraduate Students
University College London（伦敦大学学院）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本研究通过91名本科生的实验，比较了他们对LLM、人类及协作生成反馈的信任度，发现隐藏来源时学生更偏好AI和协作反馈，披露来源后对AI存在偏见，强调了提升反馈与AI素养以促进AI反馈应用的必要性。
2025-08-12 cs.AI cs.HC
Uni-RLHF: Universal Platform and Benchmark Suite for Reinforcement Learning with Diverse Human Feedback
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出Uni-RLHF，一个包含通用多反馈标注平台、大规模众包数据集和模块化基线的综合系统，通过完整工作流程促进基于真实人类反馈的强化学习研究。
2024-03-25 cs.AI cs.HC cs.LG
HIVE: Harnessing Human Feedback for Instructional Visual Editing
Salesforce AI Research（Salesforce AI研究院）；Stanford University（斯坦福大学）
本文提出HIVE框架，通过收集人类反馈学习奖励函数并微调扩散模型，同时构建百万级新数据集，显著提升了指令式图像编辑的性能。
2024-03-26 cs.AI cs.CL cs.CV
The Future of Open Human Feedback
Hebrew University（希伯来大学）；Hugging Face；IBM；University of Oxford（牛津大学）；CMU（卡内基梅隆大学）；Cornell University（康奈尔大学）；MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；University of Edinburgh（爱丁堡大学）；Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；The Alan Turing Institute（艾伦·图灵研究所）；Cohere For AI
本文汇集跨学科专家探讨构建开放人类反馈生态系统的机遇与挑战，借鉴开源与公民科学实践提出建议，并展望以互利反馈回路为核心的可持续开放反馈架构。
2024-09-04 cs.AI cs.HC
Aligning Humans and Robots via Reinforcement Learning from Implicit Human Feedback
Department of Artificial Intelligence, Korea University（人工智能系，韩国大学）；Department of Brain and Cognitive Engineering, Korea University（脑科学与认知工程系，韩国大学）
通过隐式人类反馈的强化学习方法，利用脑电图信号提升机器人与人类的对齐能力。
2025-12-11 cs.AI cs.RO
Enhancing Image Caption Generation Using Reinforcement Learning with Human Feedback
Indian Institute of Information Technology, Sri City（印度信息技术学院斯里城分校）；Shanmugha Arts, Science, Technology & Research Academy（尚穆加艺术、科学、技术与研究院）
本文提出结合监督学习与 RLHF，并利用 Flickr8k 数据集和新型人类反馈损失函数，提升图像描述模型生成符合人类偏好文本的能力。
2024-03-11 cs.AI cs.CV
Data-Efficient Alignment of Large Language Models with Human Feedback Through Natural Language
Amazon（亚马逊）
本研究提出利用少量自然语言形式的人类反馈微调开源LLM，使其能通过批评与修订机制提升ChatGPT等强大模型的响应质量，验证了该方法在数据高效对齐方面的有效性。
2023-11-24 cs.AI cs.CL
Simultaneous Control and Human Feedback in the Training of a Robotic Agent with Actor-Critic Reinforcement Learning
University of Alberta（阿尔伯塔大学）
本文提供了一个初步的报告，同时将人类控制和反馈信号的训练强化学习机器人代理的优点和缺点。虽然机器人人机界面在形式和功能上都变得越来越复杂，但控制对用户来说仍然是一个挑战。这导致用户控制方法与可控制的机器人电机数量之间的差距越来越大。解决这一差距的一种方法是将一些自主权转移给机器人。然后，机器人代理的半自主动作可以通过人类反馈来塑造，从而简化用户控制。大多数关于人类智能体塑造的先前工作都将训练与反馈结合起来，或者包括间接控制信号。相比之下，在本文中，我们将探讨如何一个人可以提供并发的反馈信号和实时肌电控制信号训练机器人的演员评论强化学习控制系统。使用物理和模拟的机器人系统，我们比较一个简单的运动任务的训练性能时，奖励是来自环境，奖励是由人类提供的，以及这两种方法的组合。我们的研究结果表明，一些好处，可以获得与包括人类产生的反馈。
2016-06-22 cs.AI cs.HC cs.RO
FB-Bench: A Fine-Grained Multi-Task Benchmark for Evaluating LLMs' Responsiveness to Human Feedback
Peking University（北京大学）；Baichuan Inc.（百川公司）
本文提出FB-Bench，一个包含591个样本、覆盖多类任务、反馈与回复缺陷的中文细粒度多任务基准，用于评估LLM对真实多轮交互中人类反馈的响应能力。
2025-02-17 cs.AI cs.CL
Improving Machine Translation with Human Feedback: An Exploration of Quality Estimation as a Reward Model
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯 AI 实验室）
本文探索将质量估计模型用作奖励模型以利用人类反馈改进机器翻译，针对过度优化问题提出启发式惩罚方法，实验显示该方法显著提升翻译质量且数据效率高。
2024-03-18 cs.AI cs.CL
Ambiguity Resolution with Human Feedback for Code Writing Tasks
Indian Institute of Science（印度科学理工学院）
针对代码编写任务规范的自然语言歧义问题，提出ARHF技术并开发原型系统，通过建议歧义输入、获取人类反馈、生成消解歧义的代码，评估其有效性并探讨对计算机科学教育的意义。
2025-08-18 cs.AI cs.SE
Exploiting Unlabeled Data for Feedback Efficient Human Preference based Reinforcement Learning
Arizona State University（亚利桑那州立大学）
基于偏好的强化学习在利用人类对查询轨迹对的二进制反馈来恢复人类在回路（HiL）的底层奖励模型方面表现出了很大的希望。虽然工程试图更好地利用查询的人，在这项工作中，我们做了两个观察的代理收集的未标记的轨迹，并提出了两个相应的损失函数，确保参与奖励学习过程中的未标记的轨迹，并构造嵌入空间的奖励模型，使它反映了相对于动作距离的状态空间的结构。我们验证了所提出的方法在一个运动域和一个机器人操作任务，并与最先进的基线PEBBLE。我们进一步提出了一个消融的建议损失组件在这两个领域，并发现，不仅每个损失组件的表现优于基线，但两者的协同组合有更好的回报恢复和人类反馈样本效率。
2023-02-17 cs.AI cs.RO
Governance Challenges in Reinforcement Learning from Human Feedback: Evaluator Rationality and Reinforcement Stability
University of Houston（休斯顿大学）；University of California College of the Law, San Francisco（加州大学旧金山法学院）；Cornell Law School, Cornell University（康奈尔大学法学院）
本研究探讨RLHF中评估者理性对强化稳定性的影响，通过实验发现高理性评估者反馈更一致，并提出预筛选、审计和加权聚合等治理措施以提升AI对齐的公平性与稳健性。
2025-04-17 cs.AI cs.CY
Reinforcement Learning from Implicit Neural Feedback for Human-Aligned Robot Control
本文提出利用隐式神经反馈的强化学习框架，通过脑电图信号实现人对齐的机器人控制，实验表明其在复杂任务中表现与人工设计奖励相当。
2025-11-18 cs.AI cs.RO
Rethinking the Implications of Human Feedback for Preference Learning in Human-Robot Collaboration
Yale University（耶鲁大学）
本研究针对人机协作中偏好学习，提出IMPLIED方法，通过建模人类反馈的蕴含关系，改进奖励模型学习，提高行为适应性。
2026-09-15 cs.AI cs.HC cs.RO
Human-in-the-Loop User Feedback Affects Perceived Accuracy and Trust, but Task Subjectivity Matters
University of Florida（佛罗里达大学）；Northeastern University（东北大学）
研究人在回路的用户反馈对智能系统的影响，通过三项对照实验，发现在客观反馈情境下提供反馈会降低用户对系统的信任和准确性感知，主观反馈则无此负面偏差，强调设计智能系统时考虑用户反馈对信任影响的重要性。
2026-07-21 cs.AI cs.HC
Enhancement of Subjective Content Descriptions by using Human Feedback
Universität Hamburg（汉堡大学）；University of Münster（明斯特大学）
本文提出ReFrESH方法，利用人类反馈增量更新主观内容描述（SCD），并解决反馈不明确时的整合与更新时机问题，以提升信息检索智能体的回答准确性。
2024-04-30 cs.AI cs.IR
Continual Learning of Domain Knowledge from Human Feedback in Text-to-SQL
JPMorganChase（摩根大通）
本文提出一种通过人类反馈持续学习领域知识的文本到SQL框架，通过记忆增强的代理提升查询准确性与错误减少。
2025-11-28 cs.AI cs.CL cs.DB
Reinforcement Learning from Human Feedback: Whose Culture, Whose Values, Whose Perspectives?
Ghent University（根特大学）；Radboud University（拉德堡德大学）
本文从社会认识论和多元主义哲学出发，论证RLHF中多元主义的认识论与伦理优势，并提出改进LLM开发的具体行动议程。
2025-01-17 cs.AI cs.CL cs.CY
