Learning to Engage with Interactive Systems: A Field Study on Deep Reinforcement Learning in a Public Museum
University of Waterloo(滑铁卢大学);Monash University(莫纳什大学)
能够自主产生吸引人的、类似生命的行为的物理代理将导致更灵敏、更有趣的机器人和其他自主系统。虽然在控制良好的环境中一对一的互动已经取得了许多进展,但未来的物理代理应该能够在自然环境中与人类互动,包括群体互动。为了产生参与行为,自主系统必须首先能够估计其人类伙伴的参与程度。在本文中,我们提出了一种方法来估计参与在群体互动,同时考虑到主动和被动的互动,即占用,并使用该措施作为奖励信号内的强化学习框架来学习从事互动行为。所提出的方法是实现在博物馆设置的交互式雕塑系统。我们使用预先编写的交互行为将学习系统与基线进行比较。基于感官数据和调查数据的分析表明,在专家设计的行动空间内的适应性行为可以实现更高的参与度和亲和力。
2020-06-24 cs.CY cs.HC cs.RO
Human Engagement Providing Evaluative and Informative Advice for Interactive Reinforcement Learning
Federation University(联邦大学);Deakin University(迪肯大学);Universidad Central de Chile(智利中央大学)
交互式强化学习提出使用外部来源的信息来加速学习过程。当与学习者代理交互时,人类可以提供评价性或信息性的建议。之前的研究主要集中在人工建议的效果上,包括对交互式强化学习过程的实时反馈,特别是旨在提高智能体的学习速度,同时最大限度地减少对人类的时间需求。这项工作的重点是回答这两种方法,评估或信息,是人类的首选教学方法。此外,这项工作提出了一个实验装置,旨在比较人们使用的方法来提供建议,在人类参与方面的人类试验。所获得的结果表明,用户提供翔实的建议,学习者代理提供更准确的建议,愿意帮助学习者代理更长的时间,并提供更多的建议,每集。此外,自我评价的参与者使用的信息的方法表明,代理人的能力,遵循的建议是较高的,因此,他们觉得自己的建议是更高的准确性相比,人们提供的评价性建议。
2022-07-07 cs.AI cs.HC cs.MA
Learning Shaping Strategies in Human-in-the-loop Interactive Reinforcement Learning
Dalian University of Technology(大连理工大学);Ocean University of China(中国海洋大学)
为强化学习代理提供信息丰富的人类知识可以显着改善学习的各个方面。先前的工作已经开发了不同类型的塑造方法,使代理在复杂的环境中有效地学习。然而,所有这些方法都在专门的成形过程中为代理人量身定制人类指导,从而在不同领域体现出各种特征和优势。在本文中,我们研究了不同的整形方法之间的相互作用,以获得更强大的学习性能。我们提出了一种自适应成形算法,它能够学习最合适的成形方法在一个在线的方式。在两个经典领域的结果验证了它的有效性,从模拟和真实的人类研究,揭示了人的因素在人-机器人协作学习中的作用和影响。
2018-11-10 cs.AI cs.HC cs.LG
Towards Interactive Reinforcement Learning with Intrinsic Feedback
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文针对强化学习与脑机接口领域间未被充分探索的神经活动作为内在反馈的关键关联,提出教程式综述,涵盖其动机、方法、开放问题与基础概念,以推动相关研究的理解与应用。
2023-08-23 cs.AI cs.HC cs.LG
Improving Interactive Reinforcement Agent Planning with Human Demonstration
Ocean University of China(中国海洋大学);Honda Research Institute Japan Co. Ltd.(本田日本研究院有限公司)
TAMER已被证明是一种强大的交互式强化学习方法,允许普通人通过提供评估反馈来教授和个性化自主智能体的行为。然而,一个TAMER代理规划与UCT-一个蒙特卡罗树搜索策略,只能更新沿其路径的状态,并可能导致高的学习成本,特别是对于一个物理机器人。在本文中,我们提出了驱动代理的探索沿着最佳路径,并通过初始化代理的奖励函数,通过反向强化学习示教学习,以减少学习成本。我们测试我们提出的方法在强化学习基准域-网格世界-与不同的折扣人类奖励。研究结果表明,示教学习可以使TAMER智能体在最深搜索时学习到一个大致最优的策略,并鼓励智能体沿着最优路径探索;此外,我们还发现,示教学习可以通过减少总反馈、减少不正确动作的数量和增加获得最优策略的正确动作的比例来提高学习效率,从而让TAMER代理更快地收敛。
2019-04-18 cs.AI cs.HC cs.LG
Interactive Groupwise Comparison for Reinforcement Learning from Human Feedback
Aalto University(阿尔托大学);University of Cambridge(剑桥大学);University of Trento(特伦特大学);KTH Royal Institute of Technology(皇家理工学院)
本文提出交互式组间比较方法,通过可视化和主动学习提升强化学习从人类反馈中学习的奖励和策略效果。
2025-11-27 cs.HC cs.LG
SwarmPlay: Interactive Tic-tac-toe Board Game with Swarm of Nano-UAVs driven by Reinforcement Learning
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
强化学习(RL)方法已被积极应用于机器人领域,允许系统本身为任务找到解决方案,否则需要复杂的决策算法。在本文中,我们提出了一种新的基于RL的井字棋的情况下,即SwarmPlay,其中每个播放组件是由一个单独的无人机,有自己的移动性和群体智能赢得对人类玩家。因此,具有挑战性的群体策略和人机协作的结合旨在使机器游戏变得有形和互动。虽然已经存在一些关于棋盘游戏AI的研究,例如,国际象棋,SwarmPlay技术有可能提供更多的参与和与用户的互动,因为它提出了一个多智能体群,而不是一个单一的互动机器人。我们探讨了用户的评价RL为基础的群体行为的比较,基于博弈论的行为。初步的用户研究显示,参与者高度参与了无人机游戏(70%的人在李克特量表上获得了最高分),并发现与常规的基于计算机的系统(80%)相比,它的人工程度更低。分析并讨论了游戏结果对用户游戏感知的影响。用户研究表明,SwarmPlay有潜力在更广泛的游戏中实现,显着提高人机交互性。
2021-08-03 cs.HC cs.RO
From "Thumbs Up" to "10 out of 10": Reconsidering Scalar Feedback in Interactive Reinforcement Learning
Tufts University School of Engineering, Computer Science(塔夫茨大学工程学院计算机科学系);Tufts University School of Engineering, Mechanical Engineering(塔夫茨大学工程学院机械工程系)
本文提出STEADY方法,通过处理标量反馈提升机器人抓取任务中的学习效果,证明标量反馈在适当处理下对强化学习有益。
2025-12-12 cs.HC cs.RO
Quantifying the Effect of Feedback Frequency in Interactive Reinforcement Learning for Robotic Tasks
Robotics and Interactive Systems – UPSSITECH, University Paul Sabatier(机器人与交互系统——UPSSITECH,保罗·萨巴蒂埃大学)
研究探讨了反馈频率对机器人任务中交互强化学习效率的影响,通过不同复杂度的机械臂逆运动学学习实验,发现反馈频率需随任务熟练度动态调整,无单一最优频率。
2023-03-15 cs.AI cs.HC cs.LG
Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback
DeepMind(深度思维)
人工智能的一个重要目标是创建能够与人类自然交互并从他们的反馈中学习的代理。在这里,我们演示了如何使用基于人类反馈的强化学习(RLHF)来改进模拟的、具体的代理,这些代理通过模仿学习训练到基本的能力水平。首先,我们收集了人类在模拟的3D世界中与代理交互的数据。然后,我们要求注释者记录他们认为智能体朝着人类指示的目标前进或倒退的时刻。使用这些注释数据,我们利用了一种新的方法-我们称之为“跨时间布拉德利-特里”(IBT)建模-来构建一个捕获人类判断的奖励模型。经过培训以优化IBT奖励模型提供的奖励的代理在我们的所有指标方面都有所改进,包括在与代理的实时交互期间的后续人类判断。总之,我们的研究结果展示了如何成功地利用人类的判断来改善代理行为,使我们能够在没有程序奖励功能的复杂的具体领域中使用强化学习。代理行为的视频可以在https://youtu.be/v_Z9F2_eKk4上找到。
2022-11-21 cs.HC cs.LG cs.MA
A Design Trajectory Map of Human-AI Collaborative Reinforcement Learning Systems: Survey and Taxonomy
本文针对人机协同强化学习领域缺乏系统性研究的问题,梳理近十年相关算法与框架,构建设计轨迹图作为建模与设计工具,总结共性挑战,为高效自然的人机协同方法设计提供系统化支撑。
2024-05-16 cs.HC
A Deep Reinforcement Learning Approach for Interactive Search with Sentence-level Feedback
Walmart Global Tech(沃尔玛全球技术);Emory University(埃默里大学)
针对现有交互式搜索RL方法仅关注项目级反馈、忽略句子级细粒度信息的问题,提出融合BERT模型与经验回放机制的DQrank方法,在三个数据集上性能较此前SOTA RL方法至少提升12%。
2023-10-03 cs.AI cs.HC cs.IR
Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework
Ocean University of China(中国海洋大学);Bilkent University(比尔肯特大学);University of Oxford(牛津大学);Delft University of Technology(代尔夫特理工大学)
交互式强化学习为智能体提供了一种从人类用户提供的评估反馈中学习解决任务的方法。先前的研究表明,人类在训练的早期会给出大量的反馈,但之后就很少了。在这篇文章中,我们研究了代理学习的潜力,从教练的面部表情,通过解释他们作为评价反馈。为此,我们实现了TAMER,这是一个流行的交互式强化学习方法在一个学习基准问题--无限马里奥,并进行了第一次大规模的研究TAMER涉及561名参与者。通过设计的CNN-RNN模型,我们的分析表明,告诉训练者使用面部表情和竞争可以提高使用面部表情估计积极和消极反馈的准确性。此外,我们的模拟实验结果表明,仅仅从基于面部表情的预测反馈中学习是可能的,并且使用强大/有效的预测模型或回归方法,面部反应将显着提高代理的性能。此外,我们的实验支持以前的研究表明,双向反馈和竞争元素的重要性,在培训界面。
2020-01-23 cs.HC cs.LG
SPEAR: Five Principles for Interactive Human-Agent Alignment
Columbia University(哥伦比亚大学)
本文提出将人机对齐视为交互设计问题,并引入SPEAR五原则:规范、过程、评估、适应与重新校准,以指导智能体在长期社会情境中的持续对齐。
2026-10-07 cs.AI cs.HC cs.MA
Face valuing: Training user interfaces with facial expressions and reinforcement learning
University of Alberta(阿尔伯塔大学)
交互式机器学习的一个重要应用是扩展或放大人类的认知和身体能力。为了实现这一目标,机器需要了解人类用户的意图并适应他们的偏好。在当前的大多数研究中,用户使用明确的纠正或指导性反馈向机器传达偏好;明确的反馈对用户施加认知负荷,并且在人力方面是昂贵的。目前的工作的主要目标是证明,学习代理可以减少明确的反馈所需的量,以适应用户的喜好有关的任务,通过学习感知其行为的价值从人类用户,特别是从用户的面部表情-我们称之为脸的价值。我们凭经验评估的抓地力选择任务的脸价值。我们的初步研究结果表明,代理可以快速适应用户的不断变化的偏好,最小的明确反馈,通过学习一个价值函数,从相机图像中提取的面部特征映射到预期的未来奖励。我们相信,智能体学习感知的价值,从其人类用户的肢体语言是补充现有的交互式机器学习方法,并将有助于创建成功的人机交互应用程序。
2016-06-09 cs.AI cs.HC
SHARPIE: A Modular Framework for Reinforcement Learning and Human-AI Interaction Experiments
Utrecht University(乌得勒支大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);TU Delft(代尔夫特理工大学)
本文提出SHARPIE模块化平台,通过统一接口、Web界面和云部署,支持人类与强化学习智能体交互的多种实验研究。
2025-02-03 cs.AI cs.HC
VRKitchen: an Interactive 3D Virtual Environment for Task-oriented Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
推进面向任务的学习(如视觉任务规划和强化学习)的主要挑战之一是缺乏用于训练和测试人工智能智能体的现实和标准化环境。以前,研究人员经常依赖于特设实验室环境。在利用3D物理引擎和用于室内和室外环境的照片真实感渲染构建的虚拟系统中已经有了最新的进展,但是那些系统中的具体化代理只能与世界进行简单的交互(例如,四处走动、移动物体等)。大多数现有的系统也不允许人类参与其模拟环境。在这项工作中,我们设计和实现了一个虚拟现实(VR)系统,VRKitchen,具有集成功能,i)使现代AI方法(例如,规划、强化学习等)以在现实环境中执行涉及大范围的细粒度对象操纵的复杂任务,以及ii)允许人类教师执行演示以训练代理(即,示教学习)。我们还提供标准化的评估基准和数据汇集工具,以促进在任务导向学习和超越研究的广泛使用。
2019-03-13 cs.AI cs.CV cs.HC