Human Decision Makings on Curriculum Reinforcement Learning with Difficulty Adjustment
以人为本的AI考虑人类体验与AI性能。虽然大量的研究一直在帮助人工智能通过全自动或弱监督学习来实现超人的表现，但很少有人尝试人工智能如何在细粒度输入的情况下根据人类的偏好技能水平进行调整。在这项工作中，我们通过从人类决策过程中学习，将课程强化学习结果引导到一个既不太难也不太容易的首选性能水平。为了实现这一目标，我们开发了一个便携式，交互式平台，使用户能够通过操纵任务难度，观察性能，并提供课程反馈在线与代理进行交互。我们的系统是高度并行化的，使人类能够在没有服务器的情况下训练需要数百万样本的大规模强化学习应用程序。结果证明了涉及人在回路的强化学习交互式课程的有效性。这表明强化学习的性能可以成功地与人类期望的难度水平同步调整。我们相信这项研究将为实现流动和个性化适应困难打开新的大门。
2022-08-04 cs.AI cs.HC cs.LG
Reinforcement learning with human advice: a survey
Laboratoire de Neurosciences Cognitives Computationnelles (LNC2)（计算认知神经科学实验室（LNC2））；INSERM U960（法国国家健康与医学研究院 U960）；Institute for Intelligent Systems and Robotics（智能系统与机器人研究所）；Sorbonne Université（索邦大学）；CNRS UMR 7222（法国国家科学研究中心 UMR 7222）
在本文中，我们概述了现有的方法，将人类的建议整合到强化学习过程中。我们首先提出了一个分类的不同形式的建议，可以提供给学习代理。然后，我们描述的方法，可用于解释的意见时，其含义是没有事先确定。最后，我们回顾了不同的方法整合到学习过程中的建议。
2020-11-24 cs.AI
Playing Atari Games with Deep Reinforcement Learning and Human Checkpoint Replay
University Politehnica of Bucharest（布加勒斯特理工大学）
本文介绍了一种使用深度强化学习从Arcade学习环境中学习如何玩最难的Atari 2600游戏的新方法。所提出的方法，人类检查点重放，包括使用从人类游戏中采样的检查点作为学习过程的起点。这是为了弥补当前探索策略的困难，例如ε贪婪，在稀疏奖励的游戏中找到成功的控制策略。与其他深度强化学习架构一样，我们的模型使用了一个卷积神经网络，它只接收原始像素输入来估计状态价值函数。我们在Atari平台上最具挑战性的两款游戏Montezuma's Revenge和Private Eye上测试了我们的方法。我们得到的结果显示了显着的改善相比，以前的学习方法，以及在一个随机的球员。我们还提出了一种使用人类游戏体验来训练深度强化学习代理的方法，我们称之为人类体验重播。
2016-07-18 cs.AI
Rating-based Reinforcement Learning
University of Texas, San Antonio（德克萨斯大学圣安东尼奥分校）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部研究实验室）
针对强化学习的人类指导问题，提出无需样本对相对比较、基于单条轨迹人类评分的强化学习方法，搭配新型评分预测模型与多分类损失函数，经合成及真实人类评分实验验证了其有效性与优势。
2024-01-29 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Conversational AI
DA-IICT（达尔彭加信息与通信技术学院）
深度强化学习正在彻底改变人工智能领域。目前，它是构建智能自治系统的一个很好的起点，可以更好地了解视觉世界。使用深度学习可以扩展深度强化学习，并完成令人惊叹的任务，例如在玩视频游戏时使用像素。本文讨论了深度强化学习的关键概念，包括奖励函数、强化学习与监督学习的区别以及强化的实现模型。在对话式人工智能领域实施强化学习的关键挑战，以及详细讨论。还讨论了基于深度强化学习（以及深度学习）的各种会话模型。总之，本文讨论了深度强化学习的关键方面，这些方面对于设计高效的对话式AI至关重要。
2017-09-15 cs.AI
Mixing Human Demonstrations with Self-Exploration in Experience Replay for Deep Reinforcement Learning
Monash University（莫纳什大学）
我们研究了在回放缓冲区中使用人类演示数据进行深度强化学习的效果。我们使用一个策略梯度方法与修改后的经验重放缓冲区，其中一个人的演示经验，以给定的概率进行采样。我们分析了不同的比率使用演示数据在一个任务中，代理试图达到一个目标，同时避免障碍。我们的研究结果表明，虽然纯自我探索和纯演示训练的代理人有类似的成功率，但纯演示模型收敛速度更快，步骤更少。
2021-07-14 cs.AI
Potential Impacts of Smart Homes on Human Behavior: A Reinforcement Learning Approach
Royal Military College of Canada（加拿大皇家军事学院）
我们的目标是调查灵巧家庭对人类行为的潜在影响。为此，我们模拟了一系列能够在基于强化学习的灵巧家庭内执行各种活动的人类模型。然后，我们调查的可能性，人类的行为被改变的结果，灵巧家庭和人类模型相互适应。我们设计了一个基于分层强化学习的半马尔可夫决策过程人工任务交错模型，该模型学习做出继续或离开活动的决策。然后，我们将我们的人类模型集成到基于Q学习的灵巧家庭中。我们表明，一个灵巧家庭训练的通用人类模型是能够预测和学习的热偏好的人类模型的内在奖励类似的通用模型。分层人体模型学习完成每个活动，并设置最佳的热设置，以获得最大的舒适度。利用灵巧家庭，针对人体模型减少了改变热设置所需的时间步长的数量。有趣的是，我们观察到，人类模型奖励结构的微小变化可能会导致相反的行为，表现为活动之间的意外切换，这表明由于灵巧家庭的存在，人类行为发生了变化。
2021-06-21 cs.AI
Leveraging Human Guidance for Deep Reinforcement Learning Tasks
University of Texas at Austin（德克萨斯大学奥斯汀分校）
强化学习智能体可以通过与环境交互来学习解决顺序决策任务。人类如何解决这些任务的知识可以使用模仿学习来整合，其中代理学习模仿人类演示的决策。然而，人类的指导并不局限于演示。其他类型的指导可能更适合某些任务，需要更少的人力。这项调查提供了一个高层次的概述五个最近的学习框架，主要依赖于人类的指导，而不是传统的，一步一步的行动示范。我们回顾了每个框架的动机，假设和实施。然后，我们讨论了未来可能的研究方向。
2019-09-21 cs.AI cs.LG
Provably Safe Deep Reinforcement Learning for Robotic Manipulation in Human Environments
Technical University of Munich（慕尼黑工业大学）
深度强化学习（RL）在机械手的运动规划中已经显示出有希望的结果。然而，没有方法保证高度动态的障碍物，如人类，在基于RL的机械手控制的安全。这种缺乏正式的安全保证阻止了RL在现实世界的人类环境中的机械手的应用。因此，我们提出了一种屏蔽机制，确保ISO验证的人类安全，同时在机械手上训练和部署RL算法。我们利用人类和机械手的快速可达性分析，以保证机械手在人类进入其范围之前完全停止。我们提出的方法通过防止情节结束冲突来保证安全性并显着提高RL性能。我们证明了我们提出的方法在模拟使用人体运动捕捉数据的性能。
2022-05-12 cs.AI cs.RO
KoGuN: Accelerating Deep Reinforcement Learning via Integrating Human Suboptimal Knowledge
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；Tianjin Key Lab of Machine Learning（天津市机器学习重点实验室）
强化学习代理通常从头开始学习，这需要与环境进行大量的交互。这与人类的学习过程完全不同。当面对一个新的任务时，人类自然具有常识，并利用先验知识来推导初始策略并指导随后的学习过程。虽然先验知识可能不完全适用于新任务，但学习过程显着加快，因为初始策略确保快速开始学习，并且中间指导允许避免不必要的探索。在此基础上，我们提出了知识引导策略网络（KoGuN），这是一种将人类先验次优知识与强化学习相结合的新框架。我们的框架包括一个模糊规则控制器来表示人类的知识和一个细化模块来微调次优的先验知识。该框架是端到端的，可以与现有的基于策略的强化学习算法相结合。我们进行离散和连续控制任务的实验。实验结果表明，我们的方法，结合人类的次优知识和RL，实现了显着提高学习效率的平面RL算法，即使非常低的性能人类先验知识。
2020-05-21 cs.AI
Human-in-the-Loop Methods for Data-Driven and Reinforcement Learning Systems
Texas A&M University（德克萨斯A&M大学）
最近的成功结合了强化学习算法和深度神经网络，尽管强化学习尚未广泛应用于机器人和现实世界的场景。这可以归因于这样一个事实，即当前最先进的端到端强化学习方法仍然需要数千或数百万个数据样本来收敛到令人满意的策略，并且在训练期间容易发生灾难性故障。相反，在现实世界的场景中，在仅仅几个数据样本之后，人类能够提供任务的演示，进行干预以防止灾难性的操作，或者简单地评估策略是否正确执行。本研究探讨了如何将这些人类交互方式集成到强化学习循环中，提高样本效率，并在机器人和现实世界场景中实现实时强化学习。这种新颖的理论基础被称为学习循环，它是对不同的人类交互方式（即任务演示、干预和评估）如何循环并结合到强化学习算法中的参考。在这项工作中提出的结果表明，基于人类互动学习的奖励信号加速了强化学习算法的学习速度，并且与传统的监督学习算法相比，从人类演示和干预的组合中学习更快，样本效率更高。最后，学习周期开发了一个有效的过渡之间的政策学习使用人类的示范和干预强化学习。本研究开发的理论基础开辟了新的研究路径，人类代理团队的情况下，自主智能体能够从人类队友学习，并适应任务性能指标的实时和现实世界的情况。
2020-08-30 cs.AI cs.HC cs.LG
Widening the Pipeline in Human-Guided Reinforcement Learning with Explanation and Context-Aware Data Augmentation
Arizona State University（亚利桑那州立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）
人类解释（例如，在特征重要性方面）最近被用于扩展交互式机器学习中人与代理之间的通信信道。在这种情况下，人类训练师不仅提供基本事实，还提供某种形式的解释。然而，这种人类指导只在监督学习任务中进行了研究，目前还不清楚如何将这种类型的人类知识最好地融入深度强化学习。在本文中，我们提出了第一个研究使用人类视觉解释的人在回路强化学习（HRL）。我们专注于从反馈中学习的任务，其中人类训练员不仅为查询的状态-动作对提供二进制评价性“好”或“坏”反馈，而且还通过注释图像中的相关特征提供视觉解释。我们提出了EXPAND（解释增强反馈），以鼓励模型编码任务相关的功能，通过上下文感知的数据增强，只扰动人类显着信息中的不相关的功能。我们选择了五个任务，即Pixel-Taxi和四个Atari游戏，来评估这种方法的性能和样本效率。我们表明，我们的方法显着优于利用人类解释的方法，这些方法适用于监督学习，以及仅利用评估反馈的人在回路RL基线。
2021-10-26 cs.AI
Value Driven Representation for Human-in-the-Loop Reinforcement Learning
Institute of Computational and Mathematical Engineering（计算与数学工程研究所）
由强化学习（RL）驱动的交互式自适应系统具有许多潜在的应用，例如智能辅导系统。在这样的系统中，通常有一个外部的人类系统设计师，他正在创建、监控和修改交互式自适应系统，试图提高其在目标结果上的性能。在本文中，我们专注于算法基础，如何帮助系统设计者选择的传感器或功能，以定义观测空间使用的强化学习代理。我们提出了一种算法，值驱动表示（VDR），可以迭代和自适应地增加观测空间的强化学习代理，使其足以捕捉（近）最优的政策。要做到这一点，我们引入了一种新的方法来乐观地估计使用离线模拟蒙特卡洛推出的政策的价值。我们评估了我们的方法在标准RL基准与模拟人类的性能，并表现出显着的改善比以前的基线。
2020-04-02 cs.AI
Advice Conformance Verification by Reinforcement Learning agents for Human-in-the-Loop
Arizona State University（亚利桑那州立大学）
人在回路（HiL）强化学习在具有大动作和状态空间的领域中越来越受欢迎，并且通过允许代理从HiL获得建议来获得稀疏奖励。除了建议住宿，顺序决策代理必须能够表达它能够利用人类的建议的程度。随后，智能体应该为HiL提供一种方法，以检查它必须拒绝的部分建议，以支持整体环境目标。我们介绍的问题，建议，确认，这需要强化学习（RL）代理提供保证的人在循环中，他们的意见是符合多少。然后，我们提出了一个基于树的通用语言来支持这种通信，称为偏好树。我们研究了两种情况下，好的和坏的建议方案MuJoCo的类人环境。通过我们的实验，我们表明，我们的方法可以提供一个可解释的手段来解决的Advice-Concrete验证问题，传达代理是否使用人类的建议。最后，我们提出了一个人类用户的研究与20名参与者，验证我们的方法。
2022-10-07 cs.AI
Human-Aligned Procedural Level Generation Reinforcement Learning via Text-Level-Sketch Shared Representation
Gwangju Institute of Science and Technology（光州科学技术学院）
研究如何在过程级生成强化学习中实现人类对齐，提出VIPCGRL框架，整合文本、关卡和草图模态，通过四重对比学习训练共享嵌入空间，基于嵌入相似度调整策略，实验证明该框架在类人性上优于现有基线。
2026-07-20 cs.AI
Agent-Agnostic Human-in-the-Loop Reinforcement Learning
Brown University（布朗大学）；AI Impacts；Stanford University（斯坦福大学）；University of Oxford（牛津大学）
为强化学习代理提供专家建议可以显著改善学习的各个方面。以前的工作已经开发出教学协议，使代理在复杂的环境中有效地学习，这些方法中的许多定制教师的指导代理与特定的表示或底层的学习计划，提供有效的，但专门的教学程序。在这项工作中，我们探讨协议程序，一个代理不可知的模式，人在回路强化学习。我们的目标是将人类教师的有益特性融入强化学习中，而不对代理的内部工作原理做出强烈的假设。我们将展示如何表示现有的方法，如动作修剪，奖励塑造，并在模拟训练作为我们的模式的特殊情况下，并进行初步的实验简单的域。
2017-01-15 cs.AI cs.LG
Parenting: Safe Reinforcement Learning from Human Input
通过强化学习训练的自主智能体存在许多安全问题：奖励投机、负面副作用和不安全的探索等。在不久的将来，自主智能体在人类了解现有危险的环境中运行，人类参与学习过程已被证明是实现人工智能安全的一种有前途的方法。在这里，我们证明了一个精确的框架，从人类的输入，松散的启发，人类父母的孩子，解决了广泛的安全问题，在这种情况下。我们表明，我们的父母算法解决了Leike等人（2017）的相关AI安全网格世界中的这些问题，代理可以学习在“成熟”时超越其父母，并且通过父母学习的政策可以推广到新的环境。
2019-02-18 cs.AI cs.LG stat.ML
Using Cognitive Models to Train Warm Start Reinforcement Learning Agents for Human-Computer Interactions
Utrecht University（乌得勒支大学）
人机交互应用中的强化学习（RL）代理需要重复的用户交互才能表现良好。为了解决这个“冷启动”问题，我们提出了一种新的方法，使用认知模型来预训练RL代理之前，他们被应用到真正的用户。在简要回顾了相关的认知模型，我们提出了我们的一般方法，其次是我们以前和正在进行的项目的两个案例研究。我们希望这份立场文件能激发RL，HCI和认知科学研究人员之间的对话，以探索该方法的全部潜力。
2021-03-10 cs.AI cs.HC
Deep Reinforcement Learning in Computer Vision: A Comprehensive Survey
深度强化学习增强了强化学习框架，并利用了深度神经网络的强大表示。最近的工作已经证明了深度强化学习在各个领域的显着成功，包括金融，医学，医疗保健，视频游戏，机器人和计算机视觉。在这项工作中，我们提供了一个详细的审查和国家的最先进的研究进展，深度强化学习在计算机视觉。我们从理解深度学习、强化学习和深度强化学习的理论开始。然后，我们提出了一个分类的深度强化学习方法，并讨论其优点和局限性。特别是，我们根据深度强化学习在计算机视觉中的应用将其分为七个主要类别，即（i）地标定位（ii）目标检测;（iii）目标跟踪;（iv）2D图像和3D图像体积数据的配准（v）图像分割;（vi）视频分析;以及（vii）其他应用。这些类别中的每一个都将通过强化学习技术、网络设计和性能进行进一步分析。此外，我们还对现有的公开数据集进行了全面的分析，并检查了源代码的可用性。最后，我们提出了一些开放的问题，并讨论了计算机视觉中深度强化学习的未来研究方向
2021-08-25 cs.AI cs.CV
Reinforcement Learning for Bandit Neural Machine Translation with Simulated Human Feedback
University of Maryland（马里兰大学）；Microsoft Research, New York（微软研究院纽约分院）
机器翻译是基于人类反馈的强化学习的自然候选问题：用户对候选翻译提供快速、肮脏的评级，以指导系统进行改进。然而，目前的神经机器翻译训练集中在昂贵的人类生成的参考翻译上。我们描述了一种强化学习算法，它可以从模拟的人类反馈中改进神经机器翻译系统。我们的算法结合了优势行动者-批评者算法（Mnih等人，2016）与基于注意力的神经编码器-解码器架构（Luong等人，2015年）。该算法（a）针对具有大动作空间和延迟奖励的问题进行了良好的设计，（b）有效地优化了传统的语料库级别的机器翻译度量，以及（c）对在实际人类行为之后建模的倾斜，高方差，粒度反馈具有鲁棒性。
2017-11-11 cs.AI cs.CL cs.HC
Learning Shaping Strategies in Human-in-the-loop Interactive Reinforcement Learning
Dalian University of Technology（大连理工大学）；Ocean University of China（中国海洋大学）
为强化学习代理提供信息丰富的人类知识可以显着改善学习的各个方面。先前的工作已经开发了不同类型的塑造方法，使代理在复杂的环境中有效地学习。然而，所有这些方法都在专门的成形过程中为代理人量身定制人类指导，从而在不同领域体现出各种特征和优势。在本文中，我们研究了不同的整形方法之间的相互作用，以获得更强大的学习性能。我们提出了一种自适应成形算法，它能够学习最合适的成形方法在一个在线的方式。在两个经典领域的结果验证了它的有效性，从模拟和真实的人类研究，揭示了人的因素在人-机器人协作学习中的作用和影响。
2018-11-10 cs.AI cs.HC cs.LG
Human-Robot Collaboration via Deep Reinforcement Learning of Real-World Interactions
Imperial College London（帝国理工学院）
我们提出了一个机器人设置真实世界的测试和评估的人-机器人和人-人的协作学习。利用Soft Actor-Critic算法的样本效率，我们实现了一个机器人平台，该平台能够与人类合作伙伴一起学习非平凡的协作任务，而无需在模拟中进行预训练，并且仅使用30分钟的真实世界交互。这使我们能够通过真实世界的交互来研究人与机器人和人与人的协作学习。我们提出了初步的结果，表明最先进的深度学习方法可以使人机协作学习更接近人类相互交互。
2019-12-02 cs.AI cs.LG cs.RO
Multi-Agent Deep Reinforcement Learning with Human Strategies
Institute for Intelligent Systems Research and Innovation (IISRI)（智能系统研究与创新研究院（IISRI））；Deakin University（迪肯大学）
深度学习使传统的强化学习方法能够处理高维问题。然而，深度强化学习方法的缺点之一是学习代理的有限探索能力。在本文中，我们介绍了一种整合人类策略以提高多个深度强化学习代理的探索能力的方法。我们还报告了我们自己的多智能体环境称为多坦克防御模拟所提出的方法的发展。结果表明，多个代理人的合作学习与人类的策略显着的性能改善。这意味着人类的智慧与机器合作来解决复杂问题的迫切需要。此外，本次仿真的成功表明，我们的多智能体环境可以作为一个测试平台，开发和验证其他多智能体控制算法。
2019-05-30 cs.AI cs.LG stat.ML
Repeated Inverse Reinforcement Learning
Google Research（谷歌研究院）；University of Michigan（密歇根大学）
我们引入了一个新的重复逆强化学习问题：代理人必须代表一个人在一系列的任务，并希望尽量减少任务的数量，它的惊喜的人采取行动次优方面的人会采取行动。每当人类感到惊讶时，智能体就会被人类提供所需行为的演示。我们正式这个问题，包括如何选择任务的顺序，在几个不同的方式，并提供一些基本的结果。
2017-11-04 cs.AI cs.LG
At Human Speed: Deep Reinforcement Learning with Action Delay
DeepMind（深度思维）；MIT（麻省理工学院）；Stanford（斯坦福大学）
最近，玩游戏的人工智能的能力出现了爆炸式增长。许多类别的任务，从视频游戏到运动控制再到棋盘游戏，现在都可以通过基于深度学习和强化学习的相当通用的算法来解决，这些算法可以用最少的先验知识从经验中学习游戏。然而，这些机器通常不仅仅是通过智能取胜--它们拥有远远优越的速度和精确度，使它们能够以人类永远无法做到的方式行事。为了公平竞争，我们将机器的反应时间限制在人类的水平，并发现标准的深度强化学习方法的性能会迅速下降。我们提出了一个解决方案的行动延迟问题的灵感来自人类的感知-赋予代理与环境的神经预测模型，“撤销”固有的延迟在他们的环境-并证明其对专业玩家的效力在超级粉碎兄弟。
2018-10-16 cs.AI cs.LG
Look Before You Leap: Safe Model-Based Reinforcement Learning with Human Intervention
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
安全性已成为将深度强化学习应用于现实世界系统的主要挑战之一。目前，结合外部知识（例如人类监督）是防止代理访问灾难状态的唯一方法。在本文中，我们提出了MBHI，安全的基于模型的强化学习，它确保在国家一级的安全，可以有效地避免“本地”和“非本地”的灾难的新框架。在MBHI中训练一组有监督的学习器来模仿人类的阻塞决策。类似于人类的决策过程，MBHI在对环境执行动作之前，会在动力学模型中转出一个想象的轨迹，并估计其安全性。当想象力遇到灾难时，MBHI将阻止当前动作，并使用高效的MPC方法输出安全策略。我们评估我们的方法在几个安全任务，结果表明，MBHI取得了更好的性能相比，基线的样本效率和灾难的数量。
2021-11-16 cs.AI
SHARPIE: A Modular Framework for Reinforcement Learning and Human-AI Interaction Experiments
Utrecht University（乌得勒支大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；TU Delft（代尔夫特理工大学）
本文提出SHARPIE模块化平台，通过统一接口、Web界面和云部署，支持人类与强化学习智能体交互的多种实验研究。
2025-02-03 cs.AI cs.HC
Machine Teaching in Hierarchical Genetic Reinforcement Learning: Curriculum Design of Reward Functions for Swarm Shepherding
School of Engineering & IT University of New South Wales Canberra（新南威尔士大学堪培拉校区工程与信息技术学院）
强化学习中奖励函数的设计是一种人类技能，伴随着经验而来。不幸的是，在文献中没有任何方法可以指导人类设计奖励函数，或者允许人类以系统的方式将在设计奖励函数时开发的技能转移给另一个人。在本文中，我们使用系统教学设计，在人类教育的方法，工程师的机器教育方法来设计奖励功能的强化学习。我们展示了在设计一个层次遗传强化学习器，采用神经网络表示进化的代理牧羊基于boids群的群控制器的方法。结果表明，该方法能够指导分层强化学习器的设计，分层学习中的每个模型通过多部分奖励函数进行增量学习。层次结构充当决策融合功能，将每个指令所学习的个人行为和技能结合起来，以创建一个智能牧羊人来控制群体。
2019-01-04 cs.AI
Accelerating Reinforcement Learning via Error-Related Human Brain Signals
Dept. of Artificial Intelligence Korea University Seoul, Republic of Korea（人工智能系韩国大学首尔共和国）
通过整合误差相关的人脑信号，加速复杂机器人操作中的强化学习，提升任务成功率。
2025-11-24 cs.AI cs.RO
Self-supervised reinforcement learning for speaker localisation with the iCub humanoid robot
Italian Institute of Technology（意大利理工学院）；University of Genova（热那亚大学）；University of Lethbridge（莱斯布里奇大学）
在未来，机器人将与人类进行越来越多的互动，并且必须进行自然和有效的沟通。自动语音识别系统（ASR）将在创造自然交互和使机器人成为更好的伴侣方面发挥重要作用。人类擅长在嘈杂环境中进行语音识别，能够滤除噪音。在这种嘈杂的环境中，看一个人的脸是人类过滤语音所依赖的机制之一。拥有一个可以看向说话者的机器人可以在具有挑战性的环境中提高ASR的性能。为了实现这一目标，我们提出了一个基于自我监督强化学习的框架，该框架受到人类早期发展的启发，允许机器人自主创建一个数据集，该数据集后来用于学习使用深度学习网络来定位扬声器。
2020-11-12 cs.AI cs.RO
Enhancing Image Caption Generation Using Reinforcement Learning with Human Feedback
Indian Institute of Information Technology, Sri City（印度信息技术学院斯里城分校）；Shanmugha Arts, Science, Technology & Research Academy（尚穆加艺术、科学、技术与研究院）
本文提出结合监督学习与 RLHF，并利用 Flickr8k 数据集和新型人类反馈损失函数，提升图像描述模型生成符合人类偏好文本的能力。
2024-03-11 cs.AI cs.CV
Hierarchical Reinforcement Learning with Deep Nested Agents
Iowa State University（爱荷华州立大学）
近年来，深度分层强化学习得到了很多关注，因为它能够在非分层框架无法学习有用策略的挑战性环境中产生最先进的结果。然而，随着问题领域变得越来越复杂，深度分层强化学习可能会变得低效，导致收敛时间更长，性能更差。我们介绍了深嵌套代理框架，这是一个深层次的强化学习的变体，其中来自主代理的信息被传播到低级别的$nested$代理，将此信息到嵌套代理的状态。我们证明了深度嵌套代理框架的有效性和性能，通过将其应用于Minecraft中的三个场景，并与深度非分层单代理框架以及深度分层框架进行比较。
2018-05-18 cs.AI
Placement Optimization with Deep Reinforcement Learning
Google Brain（谷歌大脑）
布局优化是系统和芯片设计中的一个重要问题，它包括将图中的节点映射到有限的资源集合上，以在约束条件下优化目标。在本文中，我们首先激励强化学习作为一个解决方案的布局问题。然后，我们概述了什么是深度强化学习。接下来，我们将放置问题公式化为强化学习问题，并展示如何使用策略梯度优化来解决这个问题。最后，我们描述了我们从各种布局优化问题中训练深度强化学习策略中学到的经验教训。
2020-03-18 cs.AI
Deep Reinforcement Learning with Interactive Feedback in a Human-Robot Environment
Universidad Central de Chile（智利中央大学）；Deakin University（迪肯大学）；Universidade de Pernambuco（伯南布哥大学）
机器人每天都在扩大其在家庭环境中的存在，在家庭场景中执行任务的情况更加常见。未来，机器人将越来越多地执行更复杂的任务，因此能够尽快从不同来源获得经验。解决这个问题的一个可行的方法是交互式反馈，其中培训师建议学习者从特定状态采取哪些行动以加快学习过程。此外，深度强化学习最近已被广泛用于机器人技术，以自主学习环境并获得新技能。然而，使用深度强化学习时的一个开放问题是从原始输入图像学习任务所需的时间过长。在这项工作中，我们提出了一个深度的强化学习方法与交互式反馈，学习人类机器人场景中的家庭任务。我们使用模拟机器人手臂比较了三种不同的学习方法，用于组织不同对象的任务;所提出的方法是（i）深度强化学习（DeepRL）;（ii）使用先前训练的人工代理作为顾问的交互式深度强化学习（agent-IDeepRL）;以及（iii）使用人类顾问的交互式深度强化学习（human-IDeepRL）。我们证明，互动的方法提供的学习过程中的优势。所获得的结果表明，学习者代理，使用代理-IDeepRL或人类-IDeepRL，完成给定的任务更早，有更少的错误相比，自主的DeepRL方法。
2020-08-11 cs.AI cs.MA cs.RO
Deep reinforcement learning to detect brain lesions on MRI: a proof-of-concept application of reinforcement learning to medical images
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
目的：放射学中的人工智能主要受到以下因素的阻碍：1）需要大型注释数据集。2)非通用性限制了新扫描仪/机构的部署。（3）可解释性和可解释性不足。我们相信，强化学习可以解决所有这三个缺点，具有强大而直观的算法，可在小数据集上训练。据我们所知，强化学习尚未直接应用于放射图像的计算机视觉任务。在这项原理证明工作中，我们训练了一个深度强化学习网络来预测脑肿瘤的位置。材料和方法：使用BraTS脑肿瘤成像数据库，我们在70个对比后T1加权2D图像切片上训练深度Q网络。我们这样做是与图像探索相一致的，奖励和惩罚旨在定位病变。为了与监督式深度学习进行比较，我们在相同的70张图像上训练了一个关键点检测卷积神经网络。我们将这两种方法应用于一个单独的30个图像测试集。结果：强化学习的预测在训练过程中不断提高，而监督式深度学习的预测则迅速出现分歧。强化学习预测测试集病变位置的准确率为85%，而监督深度网络的准确率约为7%。结论：强化学习预测病变的准确性很高，这对于如此小的训练集来说是前所未有的。我们相信，强化学习可以推动放射学AI超越监督式深度学习的固有局限性，进行更多临床医生驱动的研究，最终走向真正的临床应用。
2020-08-06 cs.AI
MARTI-4: new model of human brain, considering neocortex and basal ganglia -- learns to play Atari game by reinforcement learning on a single CPU
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们提出了深度控制-皮质-纹状体脑回路的新ML架构，它使用整个皮质柱作为结构元素，而不是单个神经元。在此基础上，我们提出了一种新的人脑模型MARTI，它考虑了新皮层和基底神经节。该模型是为了实现权宜行为而设计的，能够在未知的环境中学习和实现目标。我们引入了一种新的惊喜感机制，通过内部奖励显著改善了强化学习过程。我们使用OpenAI Gym环境在几个小时内在单个CPU上演示了MARTI学习。
2022-08-18 cs.AI cs.LG
Language Instructed Reinforcement Learning for Human-AI Coordination
Stanford University（斯坦福大学）
针对多智能体强化学习易收敛至非人类偏好均衡、缺高质量人类行为数据的人机协作难题，提出instructRL框架，用大语言模型基于自然语言指令生成先验策略以正则化RL目标，在Hanabi等基准验证了符合人类偏好的策略效果及人机协作性能提升。
2023-06-10 cs.AI cs.CL cs.LG
Leveraging human knowledge in tabular reinforcement learning: A study of human subjects
Weizmann Institute of Science（魏茨曼科学研究所）；Bar-Ilan University（巴伊兰大学）；Washington State University（华盛顿州立大学）
强化学习（RL）在解决复杂的现实问题方面非常有效。然而，将人类知识注入RL代理可能需要人类设计师的大量努力和专业知识。到目前为止，人的因素一般不考虑在开发和评估可能的RL方法。在这篇文章中，我们着手研究如何注入人类知识的不同方法，在实践中，不同层次的知识和技能的人类设计师。我们进行了第一次经验评估的几种方法，包括一个新提出的方法命名为SASS，这是基于代理的状态-动作空间的相似性的概念。通过这项由51名人类参与者组成的人类研究，我们对在RL中发挥关键作用的人为因素有了新的认识。我们发现，经典的奖励塑造技术似乎是最自然的方法，大多数设计师，专家和非专家，以加快RL。然而，我们进一步发现，我们提出的方法SASS可以有效地和高效地结合奖励塑造，并提供了一个有益的替代方案，只使用一个单一的加速方法与最小的人类设计师的努力开销。
2018-05-15 cs.AI cs.LG
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London（伦敦大学学院）
该综述形式化分析了深度强化学习的泛化性问题，阐释过拟合根源，分类讲解各类提升泛化性的方法，覆盖多类子领域，可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Improving Reinforcement Learning with Human Assistance: An Argument for Human Subject Studies with HIPPO Gym
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；École de technologie supérieure (ETS)（高等技术学院（ETS））
强化学习（RL）是一种流行的机器学习范例，用于游戏，机器人控制和其他顺序决策任务。然而，RL代理通常具有很长的学习时间和很高的数据要求，因为它们开始时是随机的。为了在复杂任务中更好地学习，本文认为外部教师通常可以显着帮助RL Agent学习。OpenAI Gym是RL研究的通用框架，包括大量的标准环境和代理，使RL研究变得更加容易。本文介绍了我们新的开源RL框架，Openai Gym的人类输入解析平台（HIPPO Gym），以及创建它的设计决策。这个平台的目标是促进人类RL研究，再次降低门槛，以便更多的研究人员可以快速研究人类教师可以帮助RL代理的不同方式，包括从演示中学习示教学习，从反馈中学习或课程学习。
2021-02-02 cs.AI cs.HC cs.LG
Training Reinforcement Learning Agents and Humans With Difficulty-Conditioned Generators
School of Computing and Information Systems（计算与信息系统学院）；Singapore Management University（新加坡管理大学）
本文改编PERM，通过IRT启发的难度—能力匹配与离线两阶段课程，同时训练RL智能体和人类学习者，并经实证验证有效。
2023-12-04 cs.AI cs.HC cs.LG
Human-centered collaborative robots with deep reinforcement learning
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们提出了一个基于强化学习的以人为中心的协作系统框架。该框架是积极主动的，通过最大限度地减少完成任务所花的总时间，平衡了及时行动的好处和采取不当行动的风险。该框架以无监督的方式进行端到端的学习，以综合的方式解决感知不确定性和决策。该框架被证明是提供更流畅的协调人类和机器人合作伙伴之间的一个例子任务的包装相比，感知和决策系统独立学习的替代品，使用监督学习。所提出的方法的最大好处是，它允许快速适应新的人类合作伙伴和任务，因为繁琐的注释的运动数据被避免，并在线进行学习。
2020-07-02 cs.AI cs.LG cs.RO
Modern Deep Reinforcement Learning Algorithms
Moscow State University（莫斯科国立大学）
强化学习的最新进展是将经典理论成果与深度学习范式相结合，导致许多人工智能任务的突破，并催生了深度强化学习（DRL）作为一个研究领域。在这项工作中，最新的DRL算法进行了审查，重点放在他们的理论依据，实际的局限性和观察到的经验性质。
2019-07-06 cs.AI cs.LG stat.ML
Multi-Objective Deep Reinforcement Learning
University of Oxford（牛津大学）
我们提出了深度乐观线性支持学习（DOL）来解决高维多目标决策问题，其中目标的相对重要性事先未知。使用来自高维输入的特征，DOL计算包含目标的凸组合的所有潜在最优解的凸覆盖集。据我们所知，这是深度强化学习首次成功学习多目标策略。此外，我们还提供了一个测试平台，其中包含两个实验，可用作深度多目标强化学习的基准。
2016-10-09 cs.AI
An Augmented Reality Platform for Introducing Reinforcement Learning to K-12 Students with Robots
Tufts University（塔夫茨大学）
交互式强化学习，其中人类在代理的学习过程中积极协助，有希望减轻实际算法的样本复杂性挑战。然而，当人类提供反馈时，机器人的内部工作和状态通常对教师隐藏。为了在人类和学习机器人之间建立一个共同点，在本文中，我们提出了一个增强现实（AR）系统，揭示了隐藏的学习状态的人类用户。本文介绍了我们的系统的设计和实现，并总结了我们正在追求的未来工作的两个方向的讨论：1）使用我们的系统在K-12水平的人工智能教育活动;和2）开发一个框架，基于AR的人在回路强化学习，其中人类教师可以看到覆盖在现实世界中的机器人的感官和认知表示。
2021-10-10 cs.AI cs.RO
Weak Human Preference Supervision For Deep Reinforcement Learning
University of Tasmania（塔斯马尼亚大学）；MyState Bank（MyState银行）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
当前从人类偏好的奖励学习可以用于解决复杂的强化学习（RL）任务，而无需通过在成对的轨迹段之间定义单个固定偏好来访问奖励函数。然而，对轨迹之间的偏好的判断不是动态的，并且仍然需要经过数千次迭代的人工输入。在这项研究中，我们提出了一个弱人类偏好监督框架，我们开发了一个人类偏好缩放模型，自然地反映了人类的感知之间的轨迹弱选择的程度，并建立了一个人类演示估计通过监督学习，以产生预测的偏好，以减少人类输入的数量。相对于单一的固定人类偏好，所提出的弱人类偏好监督框架可以有效地解决复杂的RL任务，并在模拟机器人运动- MuJoCo游戏-中获得更高的累积奖励。此外，我们建立的人类演示估计器只需要不到0.01%的代理人与环境的相互作用的人的反馈，并显着降低了高达30%的人力投入的成本相比，现有的方法。为了展示我们方法的灵活性，我们发布了一个视频（https：//youtu.be/jQPe1OILT0M），展示了在不同类型的人类输入下训练的代理的行为比较。我们相信，我们自然激发的人类偏好与弱监督学习有利于精确的奖励学习，并可以应用于最先进的RL系统，如人类自主团队系统。
2020-12-26 cs.AI
Learning Interpretable Models of Aircraft Handling Behaviour by Reinforcement Learning from Human Feedback
University of Bristol（布里斯托大学）
本文提出利用人类偏好反馈的强化学习学习可解释的奖励树模型，以捕捉飞行员操纵能力并训练智能体，实验证明其性能可与神经网络奖励模型竞争。
2023-05-26 cs.AI
Deep reinforcement learning from human preferences
OpenAI（开放人工智能研究中心）；DeepMind（深度思维公司）
为了让复杂的强化学习（RL）系统与现实世界的环境进行有效的交互，我们需要向这些系统传达复杂的目标。在这项工作中，我们探索的目标定义的（非专家）人类的偏好对轨迹段之间。我们表明，这种方法可以有效地解决复杂的RL任务，而无需访问奖励功能，包括Atari游戏和模拟机器人运动，同时提供反馈，我们的代理与环境的交互不到百分之一。这大大降低了人类监督的成本，可以实际应用于最先进的RL系统。为了证明我们的方法的灵活性，我们表明，我们可以成功地训练复杂的新颖行为，大约一个小时的人类时间。这些行为和环境比以前从人类反馈中了解到的任何行为和环境都要复杂得多。
2023-02-17 cs.AI cs.HC cs.LG
Index Selection for NoSQL Database with Deep Reinforcement Learning
提出了一种新的NoSQL数据库索引选择方法。针对不同的工作负载，选择不同的索引及其参数来优化数据库性能。该方法建立了一个深度强化学习模型，以选择一个最佳的指标，为给定的固定工作负载和适应不断变化的工作负载。实验结果表明，深度强化学习索引选择方法（DRLISA）相对于传统的单索引结构，在性能上有不同程度的提高。
2020-06-16 cs.AI cs.DB
Incorporating Rivalry in Reinforcement Learning for a Competitive Game
Italian Institute of Technology（意大利理工学院）；University of British Columbia（英属哥伦比亚大学）
强化学习与社会代理的最新进展使我们能够在一些交互任务上实现人类水平的性能。然而，大多数交互式场景并不具有单独的最终目标性能;相反，这些代理人与人类交互时的社会影响同样重要，并且在大多数情况下，从未正确探索过。这项预注册研究的重点是提供一种基于竞争性社会影响的新型学习机制。我们的场景探索了不同的基于强化学习的智能体与人类玩家玩竞争性纸牌游戏。基于竞争性竞争的概念，我们的分析旨在研究我们是否可以从人类的角度改变对这些代理人的评估。
2020-11-02 cs.AI cs.LG
Reinforcement Learning from Human Feedback: Whose Culture, Whose Values, Whose Perspectives?
Ghent University（根特大学）；Radboud University（拉德堡德大学）
本文从社会认识论和多元主义哲学出发，论证RLHF中多元主义的认识论与伦理优势，并提出改进LLM开发的具体行动议程。
2025-01-17 cs.AI cs.CL cs.CY
Comparing Reinforcement Learning and Human Learning using the Game of Hidden Rules
Rutgers University（罗格斯大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文构建“隐藏规则游戏”学习环境，以系统比较任务结构对人类学习与强化学习表现的影响，并通过实验揭示二者差异。
2023-06-30 cs.AI
RLSLM: A Hybrid Reinforcement Learning Framework Aligning Rule-Based Social Locomotion Model with Human Social Norms
针对现有社会导航方法规则类灵活性不足、数据驱动类可解释性差的问题，提出混合强化学习框架RLSLM，整合规则型社会运动模型到奖励函数，实验证明其用户体验更优、可解释性更强。
2025-11-14 cs.AI
End-to-end grasping policies for human-in-the-loop robots via deep reinforcement learning
Northeastern University（东北大学）
最先进的人在环机器人抓取是巨大的肌电图（EMG）推理鲁棒性问题。作为一种变通方法，研究人员一直在研究将EMG与其他信号整合在一起，通常是以一种特别的方式。在本文中，我们提出了一种方法，用于端到端的培训政策，人在回路机器人掌握真正的到达轨迹。为此目的，我们使用强化学习（RL）和模仿学习（IL）在DEXTRON（DEXTerity enviRONment），一个随机模拟环境与真实的人类轨迹，使用蒙特卡罗（MC）模拟方法增强和选择。我们还提供了一个成功模型，一旦在专家策略数据和RL策略推出过渡上进行了训练，就可以透明地了解深度策略如何工作以及何时可能失败。
2021-04-26 cs.AI cs.RO
