Evaluating Defences against Unsafe Feedback in RLHF
Dalhousie University（达尔豪斯大学）；Vijil（维吉尔公司）；University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究院）
本研究首次分析RLHF中从不安全反馈学习的漏洞，发现现有安全防护不足，评估多种防御措施均无普遍效果，并提出基于约束马尔可夫决策过程的理论解释与未来防御方向。
2025-02-26 cs.CL cs.LG
A New Approach for Tactical Decision Making in Lane Changing: Sample Efficient Deep Q Learning with a Safety Feedback Reward
Eatron Technologies；Istanbul Technical University（伊斯坦布尔理工大学）
自动换道是高度自动化车辆中最具挑战性的任务之一，因为它具有安全性、不确定性和多智能体的特性。本文提出了最先进的Q学习方法的新部署，即彩虹DQN，它使用一个新的安全驱动的奖励计划，以解决动态和不确定的仿真环境中的问题。我们提出了各种比较结果表明，我们的新方法，从安全层的奖励反馈显着提高代理的性能和样本效率。此外，通过彩虹DQN的新部署，它表明，通过检查代理生成的Q值的分布，提取更多的直觉关于代理的行动。该算法表现出优越的性能，基线算法在具有挑战性的情况下，只有200000训练步骤（即相当于55小时的驾驶）。
2020-09-24 cs.AI cs.LG cs.RO
Enhancing Safety in Reinforcement Learning with Human Feedback via Rectified Policy Optimization
ShanghaiTech University（上海科技大学）；SenseTime Research（商汤科技研究院）；Washington State University（华盛顿州立大学）
针对LLM对齐中期望安全约束导致的安全补偿问题，提出修正策略优化（RePO），通过修正策略梯度惩罚每个提示的严格违规，显著提升安全性并优于强基线。
2025-02-27 cs.AI cs.CY cs.LG
BubbleRank: Safe Online Learning to Re-Rank via Implicit Click Feedback
University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
在本文中，我们研究的问题，安全的在线学习重新排名，用户的反馈是用来提高显示列表的质量。学习排序传统上被研究在两个设置。在离线设置中，排名通常从法官创建的相关性标签中学习。这种方法通常已成为工业排名应用（如搜索）的标准。然而，这种方法缺乏探索，因此受到离线训练数据的信息内容的限制。在在线设置中，算法可以对列表进行实验，并以顺序的方式从反馈中学习。Bandit算法非常适合这种设置，但它们倾向于从头开始学习用户偏好，这导致了高昂的初始探索成本。这对排名列表中的安全探索提出了额外的挑战。我们提出了BubbleRank，一个强盗算法的安全重新排名，结合了离线和在线设置的优势。该算法从一个初始的基本列表开始，并通过逐渐将排名较高的不太有吸引力的项目交换为排名较低的更有吸引力的项目来在线改进它。我们证明了BubbleRank的n步遗憾的上限，优雅地降低了初始基础列表的质量。我们的理论研究结果得到了大规模现实世界点击数据集上的广泛实验的支持。
2019-06-29 cs.LG stat.ML
The Impact of the Geometric Properties of the Constraint Set in Safe Optimization with Bandit Feedback
University of California, Santa Barbara（加州大学圣巴巴拉分校）
针对带赌博机反馈的安全优化问题，提出一种算法，引入约束集锐度概念刻画学习难度，确定算法可获次线性遗憾的约束集类别，仿真验证了理论界与锐度对性能的影响。
2023-05-01 cs.LG math.OC
Mapping out the Space of Human Feedback for Reinforcement Learning: A Conceptual Framework
University of Konstanz（康斯坦茨大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出涵盖九个维度的人类反馈分类与七项质量指标，用以统一RLHF中人、界面和模型相关因素，并推导系统设计需求与未来研究方向。
2025-02-20 cs.HC cs.LG
Safe RLHF-V: Safe Reinforcement Learning from Multi-modal Human Feedback
Peking University（北京大学）；Hong Kong University of Science and Technology（香港科技大学）
提出Safe RLHF-V框架，通过双偏好数据集和护栏系统，在约束优化中实现多模态模型安全对齐，显著提升安全性与帮助性。
2025-05-22 cs.AI cs.LG
Trustworthy Human-AI Collaboration: Reinforcement Learning with Human Feedback and Physics Knowledge for Safe Autonomous Driving
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出PE-RLHF框架，将人类反馈与物理知识协同融入强化学习训练，通过物理增强的人机协作、代理价值函数和最小干预机制，确保策略性能不低于物理策略，在安全、效率和泛化性上达到SOTA。
2024-09-05 cs.AI cs.HC cs.LG
RLHF-Blender: A Configurable Interactive Interface for Learning from Diverse Human Feedback
University of Konstanz（康斯坦茨大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出可配置交互式界面 RLHF-Blender，通过模块化实验框架支持系统研究演示、排序、比较和自然语言指令等多种人类反馈对奖励学习的影响，弥补了标准化工具不足的问题。
2023-08-08 cs.HC cs.LG
Zero-Shot LLMs in Human-in-the-Loop RL: Replacing Human Feedback for Reward Shaping
Queensland University of Technology（昆士兰理工大学）
针对强化学习中人在环方法引入人类反馈偏见的问题，提出混合框架 LLM-HFBF，利用零样本 LLMs 识别并纠正人类反馈偏见以进行奖励塑形，显著提升了性能并减少对有偏见反馈的依赖。
2025-09-18 cs.AI cs.LG
Reinforcement Learning from Human Feedback with High-Confidence Safety Constraints
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出HC-RLHF，通过奖励/成本模型解耦有用性与安全性，并以悲观约束优化加上置信界安全测试，在三种语言模型上实现高概率安全且兼顾性能。
2025-06-09 cs.AI cs.CL cs.LG
Pref-GUIDE: Continual Policy Learning from Real-Time Human Feedback via Preference-Based Learning
Duke University（杜克大学）
Pref-GUIDE将实时标量人类反馈转化为偏好数据，通过窗口比较和群体投票聚合奖励模型，提升在线强化学习持续训练的性能，超越标量反馈基线甚至专家奖励。
2025-10-06 cs.AI cs.LG
Parenting: Safe Reinforcement Learning from Human Input
通过强化学习训练的自主智能体存在许多安全问题：奖励投机、负面副作用和不安全的探索等。在不久的将来，自主智能体在人类了解现有危险的环境中运行，人类参与学习过程已被证明是实现人工智能安全的一种有前途的方法。在这里，我们证明了一个精确的框架，从人类的输入，松散的启发，人类父母的孩子，解决了广泛的安全问题，在这种情况下。我们表明，我们的父母算法解决了Leike等人（2017）的相关AI安全网格世界中的这些问题，代理可以学习在“成熟”时超越其父母，并且通过父母学习的政策可以推广到新的环境。
2019-02-18 cs.AI cs.LG stat.ML
Improving a Neural Semantic Parser by Counterfactual Learning from Human Bandit Feedback
Heidelberg University（海德堡大学）
来自人类强盗反馈的反事实学习描述了一种场景，其中记录用户对历史系统输出质量的反馈并用于改进目标系统。我们展示了如何将这种学习框架应用于神经语义解析。从机器学习的角度来看，关键的挑战在于对估计器进行适当的重新加权，以避免反事实学习中的已知退化，同时仍然适用于随机梯度优化。为了与人类用户进行实验，我们设计了一个易于使用的界面来收集人类对语义解析的反馈。我们的工作是第一个表明，语义解析器可以显着提高从记录的人类反馈数据的反事实学习。
2018-11-30 cs.CL cs.LG stat.ML
Convergence of a Human-in-the-Loop Policy-Gradient Algorithm With Eligibility Trace Under Reward, Policy, and Advantage Feedback
Brown University（布朗大学）
流畅的人-智能体通信对于人在回路强化学习的未来至关重要。一个智能体必须对来自其人类教练的反馈做出适当的反应，甚至在他们有重要的合作经验之前。因此，重要的是，学习代理很好地响应人类培训师可能提供的各种反馈方案。本文分析了CONVergent Actor-Critic by Humans（COACH）算法在三种不同反馈方式下的性能，即策略反馈、奖励反馈和优势反馈。对于这三种反馈类型，我们发现COACH可以表现得次优。我们提出了一个变种的教练，情节教练（电子教练），我们证明收敛的所有三种类型。我们将我们的COACH变体与其他两种并行学习算法进行比较：Q学习和TAMER。
2021-09-15 cs.AI cs.DS cs.HC
Understanding Impact of Human Feedback via Influence Functions
KAIST（韩国科学技术院）；Columbia University（哥伦比亚大学）
针对RLHF中人类反馈噪声大、易偏差导致奖励信号错位的问题，提出一种计算高效的影响函数近似方法，可应用于大语言模型奖励模型与大规模偏好数据集，实现标注偏差检测与标注策略优化，提升反馈可解释性与RLHF可扩展监督能力。
2025-09-01 cs.AI cs.HC cs.LG
Humans are not Boltzmann Distributions: Challenges and Opportunities for Modelling Human Feedback and Interaction in Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
强化学习（RL）通常假设可以访问指定的奖励函数，而许多实际应用并不提供。相反，最近，更多的工作探索了从与人类的互动中学习该做什么。到目前为止，这些方法中的大多数都将人类建模为（爱管闲事的）理性，特别是提供无偏见的反馈。我们认为这些模型过于简单化，RL研究人员需要开发更真实的人体模型来设计和评估他们的算法。特别是，我们认为，人类模型必须是个人的，上下文，和动态的。本文呼吁不同学科的研究来解决人类如何向AI提供反馈以及我们如何构建更强大的人在回路RL系统的关键问题。
2022-06-27 cs.HC cs.LG stat.ML
Accelerating Reinforcement Learning Agent with EEG-based Implicit Human Feedback
Georgia Institute of Technology（佐治亚理工学院）
为强化学习（RL）代理提供人工反馈可以显着改善学习的各个方面。然而，先前的方法需要人类观察者明确地给出输入（例如，按钮，语音界面），在RL代理的学习过程中增加了人类的负担。此外，有时难以或不可能获得明确的人类建议（反馈），例如，在这项工作中，我们研究通过错误相关电位（ErrP）形式的EEG捕获人类的内在反应作为隐式（和自然）反馈，为人类提供一种自然和直接的方法来改善RL Agent学习。因此，可以通过隐式反馈将人类智能与RL算法相结合，以加速RL Agent的学习。我们开发了三个相当复杂的2D离散导航游戏，实验评估所提出的工作的整体性能。我们的工作的主要贡献如下，（i）我们提出并实验验证了ErrPs的零样本学习，其中ErrPs可以为一个游戏学习，并转移到其他看不见的游戏，（ii）我们提出了一种新的RL框架，用于通过ErrPs与RL代理集成隐式人类反馈，提高标签效率和对人类错误的鲁棒性，以及（iii）与以前的工作相比，我们将ErrPs的应用扩展到相当复杂的环境中，并通过真实的用户实验证明了我们的方法对加速学习的重要性。
2020-10-14 cs.LG cs.NE eess.SP
Stable and Safe Human-aligned Reinforcement Learning through Neural Ordinary Differential Equations
University of Oxford（牛津大学）；University of Southampton（南安普顿大学）
针对人类对齐强化学习的安全稳定挑战，提出结合NODEs运动预测、CBF/CLF与演员-评论家方法的算法，仿真验证其在安全违规和样本效率上更优。
2024-05-19 cs.LG cs.RO cs.SY
Reinforcement Learning for Bandit Neural Machine Translation with Simulated Human Feedback
University of Maryland（马里兰大学）；Microsoft Research, New York（微软研究院纽约分院）
机器翻译是基于人类反馈的强化学习的自然候选问题：用户对候选翻译提供快速、肮脏的评级，以指导系统进行改进。然而，目前的神经机器翻译训练集中在昂贵的人类生成的参考翻译上。我们描述了一种强化学习算法，它可以从模拟的人类反馈中改进神经机器翻译系统。我们的算法结合了优势行动者-批评者算法（Mnih等人，2016）与基于注意力的神经编码器-解码器架构（Luong等人，2015年）。该算法（a）针对具有大动作空间和延迟奖励的问题进行了良好的设计，（b）有效地优化了传统的语料库级别的机器翻译度量，以及（c）对在实际人类行为之后建模的倾斜，高方差，粒度反馈具有鲁棒性。
2017-11-11 cs.AI cs.CL cs.HC
Approximating Safety Feedback Without a Safety Oracle via Model Predictive Control
Northeastern University（东北大学）
提出一种利用模拟器和模型预测路径积分算法，基于可逆性和正不变性假设来近似安全函数的方法，避免手动设计安全反馈。
2026-05-22 cs.LG cs.RO
Safe Online Convex Optimization with Multi-Point Feedback
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
针对安全在线凸优化，提出一种多点反馈下利用前向差分梯度估计与乐观/悲观行动集的算法，实现次线性遗憾与零约束违反。
2024-07-16 cs.LG math.OC
PB-OEL: A Performance-Bounded Online Ensemble Learning Framework With Mixed Feedback for Real-Time Safety Assessment
Department of Automation（自动化系）；Institute for Embodied Intelligence and Robotics（具身智能与机器人研究院）；Tsinghua University（清华大学）；China Ship Research and Development Academy（中国船舶研究发展academy）
针对实时安全评估中混合反馈及概念漂移问题，现有方法性能无保证，本文提出PB-OEL框架。通过建立理论框架和引入惩罚更新策略，在蛟龙载人潜水器数据集实验中展现强大预测性能，优于现有方法。
2026-07-09 cs.LG cs.SY eess.SY
End-to-End Learning of Safe Optimal Feedback Control in High Dimensions with Control Barrier Function Layers
研究在硬安全约束下高维半全局反馈控制器的学习问题，结合算子分裂与无雅可比反向传播方法，实现可扩展端到端训练并保持安全保证，证明该方法在高维多智能体非线性控制问题上的有效性。
2026-07-24 cs.LG cs.SY eess.SY
Safe-EF: Error Feedback for Nonsmooth Constrained Optimization
University of Basel（巴塞尔大学）；ETH Zürich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对联邦学习中非光滑约束优化问题，论文提出Safe-EF算法，通过误差反馈与收缩压缩在匹配新建立的复杂度下界的同时强制执行安全约束，并在分布式人形机器人训练中验证了其安全性与通信效率。
2025-05-09 cs.LG math.OC stat.ML
Safe and Efficient Online Convex Optimization with Linear Budget Constraints and Partial Feedback
Research Institute of China Electronics Technology Group（中国电子科技集团公司研究所）；School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
本文研究未知线性预算约束下的在线凸优化问题，提出安全高效的Lyapunov优化算法SELO，实现$O(\sqrt{T})$遗憾与零累积约束违反，计算高效并在分布式数据中心应用中验证有效。
2025-03-07 cs.LG math.OC
Learning Behaviors with Uncertain Human Feedback
Nanyang Technological University（南洋理工大学）；Dartmouth College（达特茅斯学院）
人工反馈被广泛用于训练智能体。然而，以前的作品很少考虑人类提供反馈时的不确定性，特别是在最佳行动对训练者来说并不明显的情况下。例如，次优行为的奖励可以是随机的，有时会超过最优行为的奖励，这在游戏或现实世界中很常见。培训师可能会对次优行动提供正反馈，对最优行动提供负反馈，甚至在某些混乱的情况下不提供反馈。现有的作品，利用期望最大化（EM）算法和治疗的反馈模型作为隐藏参数，不考虑学习环境和人类反馈的不确定性。为了解决这一挑战，我们引入了一个新的反馈模型，考虑了人类反馈的不确定性。然而，这在EM算法中引起棘手的演算。为此，我们提出了一种新的近似EM算法，其中我们近似的期望步骤与梯度下降方法。实验结果表明，在两个合成场景和两个现实世界的情况下，人类参与者的优越性能，我们所提出的方法。
2020-06-07 cs.AI cs.LG
Learning a Stable, Safe, Distributed Feedback Controller for a Heterogeneous Platoon of Autonomous Vehicles
Northeastern University（东北大学）
本文提出一种基于神经网络稳定性证书的算法，用于学习异构自动驾驶车辆队列的稳定、安全、分布式控制器，并通过四辆F1Tenth硬件实验和100辆车仿真验证其优于线性反馈与分布式模型预测控制器。
2024-10-17 cs.AI cs.LG cs.MA
Off-Policy Evaluation from Logged Human Feedback
Amazon（亚马逊）；University of Washington（华盛顿大学）；AWS AI Labs（亚马逊云科技人工智能实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文研究如何利用已记录的人类反馈对新的策略进行离策略评估，提出基于模型和无模型的估计器，并证明其可用于预测策略价值、排序和优化。
2024-06-14 cs.LG stat.ML
Probabilistically Safe Robot Planning with Confidence-Based Human Predictions
University of California, Berkeley（加州大学伯克利分校）
为了在人类周围安全地操作，机器人可以使用人类运动的预测模型。不幸的是，这些模型无法捕捉人类行为的全部复杂性，并必然引入简化的假设。因此，每当观察到的人类行为偏离假设的结构时，预测可能会降低，这可能对安全产生负面影响。在本文中，我们观察到，如何“理性”的人类行为出现在一个特定的模型可以被视为该模型的能力，以描述人类的当前运动的指标。通过在实时贝叶斯框架中对该模型的置信度进行推理，我们表明，当模型表现不佳时，机器人可以非常快速地调整其预测，使其变得更加不确定。基于最近在可证明安全的轨迹规划方面的工作，我们利用这些置信度感知的人类运动预测来生成有保证的自主机器人运动。我们的新分析将物理机器人的最坏情况跟踪误差保证与概率时变人类预测相结合，产生定量的概率安全证书。我们展示了我们的方法与四轴飞行器导航周围的人。
2018-05-31 cs.LG cs.RO
The Effect of Modeling Human Rationality Level on Learning Rewards from Multiple Feedback Types
University of California, Berkeley（加州大学伯克利分校）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of Utah（犹他大学）
当从人类行为中推断奖励函数时（无论是演示、比较、物理校正还是紧急停止），将人类建模为做出噪音理性选择是有用的，“理性系数”可以捕捉我们期望在人类行为中看到多少噪音或熵。先前的工作通常将合理性水平设置为恒定值，而不管人类反馈的类型或质量如何。然而，在许多设置中，给出一种类型的反馈（例如，演示）可能比不同类型的反馈（例如，回答比较查询）困难得多。因此，我们希望看到更多或更少的噪音，这取决于人类反馈的类型。在这项工作中，我们主张在实际数据中为每种反馈类型建立合理性系数，而不是假设一个默认值，对奖励学习有显着的积极影响。我们在模拟实验和用户研究中使用真实的人类反馈来测试这一点。我们发现，高估人类的理性会对奖励学习的准确性和后悔产生可怕的影响。我们还发现，将合理性系数拟合到人类数据可以实现更好的奖励学习，即使人类由于系统偏差而显著偏离噪声理性选择模型。此外，我们发现，合理性水平会影响每种反馈类型的信息量：令人惊讶的是，演示并不总是最具信息性的-当人类的行为非常次优时，比较实际上变得更有信息性，即使合理性水平对两者都是相同的。最终，我们的研究结果强调了关注假设的人类理性水平的重要性和优势，特别是当代理积极地从多种类型的人类反馈中学习时。
2023-03-09 cs.AI cs.LG
GFlowNets with Human Feedback
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Zhejiang University（浙江大学）；Tianjin University（天津大学）
提出GFlowHF框架，利用人类反馈拟合奖励函数，学习与评分成比例的策略，提升AI模型探索能力，优于RLHF。
2023-05-11 cs.AI cs.LG
Safe Output Feedback Motion Planning from Images via Learned Perception Modules and Contraction Theory
University of Michigan（密歇根大学）
针对一类不确定控制仿射非线性系统提出了一种运动规划算法，该算法在使用高维传感器测量（例如，RGB-D图像）和反馈控制环路中的学习感知模块。首先，给定状态和观测的数据集，我们训练感知系统，该感知系统试图从观测中反转状态的子集，并估计感知误差的上界，该上界在数据附近的可信域中以高概率有效。其次，我们利用收缩理论设计了一个稳定的状态反馈控制器和一个收敛的动态状态观测器，该观测器使用学习的感知系统来更新其状态估计。我们推导出的轨迹跟踪误差时，这个控制器受到错误的动态和不正确的状态估计。最后，我们将此边界集成到基于采样的运动规划器中，引导它返回可以使用传感器数据在运行时安全跟踪的轨迹。我们在4D汽车，6D平面四旋翼和17 D操纵任务的RGB（-D）传感器测量的模拟中演示了我们的方法，证明我们的方法安全可靠地将系统引导到目标，而不考虑可信域或状态估计误差的基线可能是不安全的。
2022-08-23 cs.AI cs.CV cs.LG
Enhancing Financial Fraud Detection with Human-in-the-Loop Feedback and Feedback Propagation
Vesta Corporation（维斯塔公司）
本文研究人在回路反馈对金融欺诈检测的影响，提出反馈传播方法扩展反馈，提升模型准确性，尤其对图技术效果显著，并增强鲁棒性与可解释性。
2024-11-07 cs.AI cs.CE cs.LG
Adaptive Querying for Reward Learning from Human Feedback
本文提出了一种基于适应性反馈选择的方法，通过优化查询状态和反馈格式，提高机器人从人类反馈中学习的效率和效果。
2026-01-15 cs.AI cs.LG cs.RO
Continually Improving Extractive QA via Human Feedback
Cornell University（康奈尔大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究设计部署迭代方法，通过人类用户反馈持续改进抽取式QA系统，经数千次用户交互实验验证，该方法在不同数据模式下均有效，且在领域适配方面潜力显著。
2023-11-03 cs.AI cs.CL cs.LG
Aligning Text-to-Image Models using Human Feedback
Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）
深度生成模型在文本到图像的合成中显示出令人印象深刻的结果。然而，当前的文本到图像模型通常生成与文本提示不充分对齐的图像。我们提出了一种微调方法，用于调整这样的模型，使用人类的反馈，包括三个阶段。首先，我们从一组不同的文本提示中收集评估模型输出对齐的人类反馈。然后，我们使用人类标记的图像-文本数据集来训练预测人类反馈的奖励函数。最后，通过最大化奖励加权似然来微调文本到图像模型，以改善图文对齐。我们的方法比预先训练的模型更准确地生成具有指定颜色，计数和背景的对象。我们还分析了几种设计选择，并发现仔细调查，这样的设计选择是很重要的，在平衡的保真度的权衡。我们的研究结果证明了从人类反馈中学习的潜力，以显着改善文本到图像的模型。
2023-02-23 cs.AI cs.CV cs.LG
SHARP: Shielding-Aware Robust Planning for Safe and Efficient Human-Robot Interaction
Princeton University（普林斯顿大学）
在人机交互（HRI）设置中共同实现安全性和效率是一个具有挑战性的问题，因为机器人的规划目标可能与人类自己的意图和期望不一致。最近的方法，确保安全的机器人操作在不确定的环境中，通过监督控制方案，有时被称为“屏蔽”，它覆盖机器人的标称计划与安全回退策略时，一个安全的关键事件是迫在眉睫的。这些反应性的“最后手段”策略（通常以积极的紧急机动的形式）专注于保护安全而不考虑效率;当名义计划者不知道可能的安全覆盖时，屏蔽可以比必要的更频繁地激活，导致性能下降。在这项工作中，我们提出了一个新的屏蔽为基础的规划方法，允许机器人规划效率明确占未来可能的屏蔽事件。利用贝叶斯人体运动预测的最新工作，由此产生的机器人政策积极平衡标称性能与低概率人类行为引发的高成本紧急演习的风险。我们形式化屏蔽感知鲁棒规划（SHARP）作为一个随机最优控制问题，并提出了一个计算效率高的框架，在运行时找到易于处理的近似解。我们的方法在模拟驾驶示例中的性能优于屏蔽不可知的运动规划基线（配备相同的人类意图推理方案），这些示例中的人类轨迹来自最近发布的Waymo Open Motion Dataset。
2022-03-10 cs.LG cs.RO math.OC
Nonverbal Robot Feedback for Human Teachers
University of California, Berkeley（加州大学伯克利分校）
机器人可以从人类的演示中学习偏好，但它们的成功取决于这些演示的信息量。不幸的是，提供信息是非常具有挑战性的，因为在教学过程中，人们通常无法透明地了解机器人已经知道或已经学到了什么。相比之下，人类学生自然会提供丰富的非语言反馈，以揭示他们的理解和参与程度。在这项工作中，我们研究了机器人如何能够同样地提供具有最小破坏性的反馈，但却为人类教师提供了一个更好的机器人学习者的心理模型，从而使他们能够更有效地教学。我们的想法是，在任何时候，机器人都可以指出它认为正确的下一步行动是什么，从而揭示它对人类偏好的当前估计。我们分析了这种反馈是多么有用，无论是在理论上和两个用户的研究-一个与虚拟角色，测试反馈本身，一个与PR 2机器人，使用凝视作为反馈机制。我们发现，反馈可以是有用的，提高教学质量和教师的机器人的能力的理解。
2019-11-06 cs.HC cs.LG cs.RO
Model Error Propagation via Learned Contraction Metrics for Safe Feedback Motion Planning of Unknown Systems
University of Michigan（密歇根大学）
我们提出了一种基于收缩的反馈运动规划的局部增量指数稳定系统的未知动态，提供概率安全性和可达性保证的方法。给定一个动态数据集，我们的方法学习动态的深度控制仿射近似。为了找到一个可信的域，这个模型可以用于规划，我们获得了一个估计的Lipschitz常数的模型误差，这是有效的，在一个区域周围的训练数据，提供了一个本地的，空间变化的模型误差范围。我们推导出一个轨迹跟踪误差界的收缩为基础的控制器，受到这个模型误差，然后学习控制器，优化这个跟踪界。在给定的概率下，验证了控制器的正确性和可信域中跟踪误差界的正确性。然后，我们使用与可信域绑定在一起的轨迹误差来指导基于采样的规划器返回可以在执行中鲁棒跟踪的轨迹。我们展示了4D汽车，6D四旋翼和22D可变形物体操作任务的结果，显示我们的方法使用高维欠驱动系统的学习模型安全地计划，而不考虑跟踪误差范围或可信域的基线计划可能无法稳定系统并变得不安全。
2022-03-01 cs.LG cs.RO cs.SY
Putting Humans in the Natural Language Processing Loop: A Survey
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
我们如何设计能够从人类反馈中学习的自然语言处理（NLP）系统？越来越多的人在回路（HITL）NLP框架的研究机构不断整合人类反馈以改进模型本身。HITL NLP研究是新兴的，但五花八门-解决各种NLP问题，从不同的人那里收集不同的反馈，并应用不同的方法从收集的反馈中学习。我们对机器学习（ML）和人机交互（HCI）社区的HITL NLP工作进行了调查，突出了其短暂但鼓舞人心的历史，并彻底总结了最近的框架，重点是他们的任务，目标，人类交互和反馈学习方法。最后，我们讨论了在NLP开发循环中整合人类反馈的未来方向。
2021-03-06 cs.AI cs.CL cs.HC
