ShuttleEnv: An Interactive Data-Driven RL Environment for Badminton Strategy Modeling
School of Computer Science, Peking University（北京大学计算机学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文介绍ShuttleEnv，一种基于精英球员比赛数据的交互式数据驱动RL环境，通过显式概率模型模拟比赛动态，支持强化学习和战略行为分析，提供实时可视化以探索不同打法和策略。
2026-03-18 cs.AI cs.LG
Demonstration of Pneuma-Seeker: Agentic System for Reifying and Fulfilling Information Needs on Tabular Data
The University of Chicago（芝加哥大学）
本文提出Pneuma-Seeker系统，通过将用户信息需求转化为显式关系规范，支持迭代细化、目标数据发现和溯源执行，利用LLM作为透明交互分析伙伴。
2026-04-15 cs.AI
Parallelized Interactive Machine Learning on Autonomous Vehicles
University of Kentucky（肯塔基大学）；Cell and Molecular Biology（细胞与分子生物学（注：此处为大学内的学院/系，按要求提取到大学级别，故主要机构为肯塔基大学））；Computer Science（计算机科学（注：此处为大学内的学院/系，按要求提取到大学级别，故主要机构为肯塔基大学））
深度强化学习（deep RL）通过直接从图像输入中学习，在复杂的顺序任务中取得了优异的性能。深度神经网络被用作函数逼近器，并且不需要特定的状态信息。然而，仅使用图像作为输入的一个缺点是，这种方法需要大量的训练时间和数据用于模型学习状态特征表示并接近合理的性能。这在现实世界的应用中是不可行的，特别是当数据量很大并且训练阶段可能会引入影响人类安全的灾难时。在这项工作中，我们使用人工演示方法来加速学习特征的训练，并使用得到的预训练模型来替换深度RL深度Q网络（DQN）中的神经网络，然后通过人工交互来进一步完善模型。我们经验评估我们的方法，只使用一个人的演示模型和修改后的DQN与人的演示模型包括在Microsoft AirSim汽车模拟器。我们的研究结果表明，（1）在监督学习方法中，使用人类演示进行预训练比单独使用DQN更好，更快地发现特征，（2）使用预训练模型初始化DQN即使在有限的人类演示下也能显着提高训练时间和性能，以及（3）在DQN训练期间为人类提供提供建议的能力可以加速网络在最优策略上的收敛，也允许它学习更复杂的策略，这些策略很难通过随机探索来发现。
2018-12-23 cs.AI cs.HC cs.LG
Interactive Teaching Algorithms for Inverse Reinforcement Learning
EPFL（洛桑联邦理工学院）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
我们研究了逆强化学习（IRL）的问题，并增加了学习者由一个有帮助的老师帮助的扭曲。更正式地说，我们解决了以下算法问题：教师如何提供一个信息序列的示范IRL学习者，以加快学习过程？我们提出了一个互动的教学框架，教师自适应地选择下一个示范学习者的当前政策的基础上。特别是，我们设计了两个具体的设置教学算法：一个无所不知的设置，教师有充分的知识学习者的动态和黑盒设置，教师有最少的知识。然后，我们研究了流行的MCE-IRL学习者的顺序变体，并证明了我们的教学算法在全知设置的收敛保证。在汽车驾驶模拟器环境中进行的大量实验表明，与缺乏信息的教师相比，学习进度可以大大加快。
2019-06-05 cs.AI cs.LG stat.ML
Bayesian Policy Reuse
Council for Scientific and Industrial Research (CSIR)（科学与工业研究理事会（CSIR））；University of the Witwatersrand（威特沃特斯兰德大学）；University of Edinburgh（爱丁堡大学）
一个长寿的自主智能体应该能够在线响应来自熟悉领域的新任务实例。在快速收敛方面，在线行动需要“快速”响应，特别是当任务实例持续时间很短时，例如在涉及与人类交互的应用程序中。这些要求对于许多已建立的学习行动的方法来说可能是有问题的。在代理知道任务实例是从一系列相关任务中提取的域中，尽管无法访问任何给定实例的标签，但它可以选择通过从库中重用策略的过程来操作，而不是从头开始策略学习。在策略重用中，代理具有以在离线训练阶段期间从样本任务实例学习的策略库的形式的任务类的先验知识。我们正式的政策重用的问题，并提出了一种算法，有效地响应一个新的任务实例，通过重用现有的政策库中的政策，其中的选择是基于观察到的“信号”相关的政策性能。我们实现这一点，提出了一个贝叶斯选择问题与相应的概念的最佳反应，但该响应的计算在许多情况下是棘手的。因此，为了降低后验的计算成本，我们遵循贝叶斯优化方法，并定义了一组策略选择函数，该函数平衡了策略库中的探索，以利用先前尝试过的策略，以及策略库在其相应任务实例上的预期性能模型。我们验证了我们的方法在几个模拟域的互动，短时间的情节任务，在未知的任务变化的快速收敛。
2015-12-14 cs.AI
Interactively Teaching an Inverse Reinforcement Learner with Limited Feedback
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；INESC-ID（里斯本系统与计算机工程研究所）
本文针对教师无法访问学习器模型且反馈仅限指定起始状态轨迹的场景，提出一种结合主动风险价值、最大因果熵和难度分数比率的教导算法，并在模拟驾驶环境中验证其有效性。
2023-09-16 cs.AI cs.LG
A Broad-persistent Advising Approach for Deep Interactive Reinforcement Learning in Robotic Environments
Deakin University（迪肯大学）
深度强化学习（DeepRL）方法已被广泛用于机器人技术中，以自主地学习环境并获取行为。深度交互式强化学习（DeepIRL）包括来自外部培训师或专家的交互式反馈，以帮助学习者选择行动来加快学习过程。然而，目前的研究仅限于提供可操作的建议，只有代理的当前状态的相互作用。此外，代理在单次使用后会丢弃信息，这会导致重新访问时处于相同状态的重复过程。在本文中，我们提出了广泛的持久性建议（BPA），一个广泛的持久性建议的方法，保留和重用处理后的信息。它不仅可以帮助训练者给出与类似状态相关的更一般的建议，而不仅仅是当前状态，而且还可以加快智能体的学习过程。我们测试所提出的方法在两个连续的机器人场景，即，一个车杆平衡任务和模拟机器人导航任务。所获得的结果表明，与DeepIRL方法相比，使用BPA的代理的性能得到了提高，同时保持了训练器所需的交互次数。
2021-11-18 cs.AI cs.RO
VRKitchen: an Interactive 3D Virtual Environment for Task-oriented Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
推进面向任务的学习（如视觉任务规划和强化学习）的主要挑战之一是缺乏用于训练和测试人工智能智能体的现实和标准化环境。以前，研究人员经常依赖于特设实验室环境。在利用3D物理引擎和用于室内和室外环境的照片真实感渲染构建的虚拟系统中已经有了最新的进展，但是那些系统中的具体化代理只能与世界进行简单的交互（例如，四处走动、移动物体等）。大多数现有的系统也不允许人类参与其模拟环境。在这项工作中，我们设计和实现了一个虚拟现实（VR）系统，VRKitchen，具有集成功能，i）使现代AI方法（例如，规划、强化学习等）以在现实环境中执行涉及大范围的细粒度对象操纵的复杂任务，以及ii）允许人类教师执行演示以训练代理（即，示教学习）。我们还提供标准化的评估基准和数据汇集工具，以促进在任务导向学习和超越研究的广泛使用。
2019-03-13 cs.AI cs.CV cs.HC
Interactive Policy Learning through Confidence-Based Autonomy
Carnegie Mellon University（卡内基梅隆大学）
我们提出了基于信任的自主性（CBA），一个互动的策略学习从示范算法。CBA算法由两个组件组成，利用人类和计算机代理的互补能力。第一个组件Confident Execution使智能体能够识别需要演示的状态，请求人类教师进行演示，并根据获取的数据学习策略。该算法选择的动作选择信心的措施的基础上的示范，我们的研究结果表明，使用信心执行的代理需要更少的示范学习的政策比当示范由人类教师选择。第二个算法组件，纠正演示，使教师能够纠正任何错误的代理通过额外的演示，以提高政策和未来的任务性能。CBA和它的各个组成部分进行了比较和评估，在一个复杂的模拟驾驶域。完整的CBA算法导致最佳的整体学习性能，成功地再现了教师的行为，同时平衡了学习过程中演示次数和错误动作次数之间的权衡。
2014-01-15 cs.AI
Reinforcement Learning from Imperfect Demonstrations
UC Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
强大的现实世界学习应该受益于演示和与环境的互动。当前从演示和奖励中学习的方法对专家演示数据执行监督学习，并使用强化学习来基于从环境接收的奖励进一步提高性能。这些任务具有难以共同优化的发散损失，并且这种方法可能对噪声演示非常敏感。我们提出了一个统一的强化学习算法，归一化的演员-评论家（NAC），有效地规范化的Q函数，减少Q值的动作中看不见的演示数据。NAC从演示中学习初始策略网络，并在环境中改进策略，超越演示者的性能。至关重要的是，从演示示教学习和交互式改进使用相同的目标，不像以前的方法，结合不同的监督和强化损失。这使得NAC对次优演示数据具有鲁棒性，因为该方法不需要模仿数据集中的所有示例。我们证明了我们的统一强化学习算法可以鲁棒地学习，并在几个现实的驾驶游戏中进行评估时优于现有的基线。
2019-05-30 cs.AI cs.LG stat.ML
Continuous Control with Action Quantization from Demonstrations
Google Research（谷歌研究院）；Univ. de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
在本文中，我们提出了一种新的强化学习（RL）框架的问题与连续的行动空间：行动量化演示（AASHMDEM）。所提出的方法包括在学习一个离散化的连续动作空间从人类示威。这种离散化为每个输入状态返回一组合理的动作（根据演示），从而捕获演示者的先验知识及其多模态行为。通过离散化动作空间，任何离散动作深度RL技术都可以很容易地应用于连续控制问题。实验表明，该方法优于最先进的方法，如SAC在RL设置，和GAIL在模仿学习设置。我们提供了一个网站与互动视频：https://google-research.github.io/aquadem/和使代码可用：https://github.com/google-research/google-research/tree/master/aquadem.
2022-06-03 cs.AI cs.LG cs.RO
Object Manipulation Learning by Imitation
University of Michigan（密歇根大学）
我们的目标是使机器人学习对象的操作模仿。鉴于外部对对象操作演示的观察，我们认为通过模仿学习要解决的两个根本问题是：1）将给定的演示分割为可以单独学习和重用的技能，以及2）制定正确的RL（强化学习）问题，该问题只考虑每个技能的相关方面，以便可以有效地学习每个技能的策略。以前的研究在这方面取得了一定的进展，但没有考虑到私人信息。公共信息是在外部观察演示中可用的信息，而私人信息是仅对执行动作的代理可用的信息，例如触觉。我们的贡献是，我们提供了一种方法，机器人自动分割成多个技能的对象操作的演示，并制定正确的RL问题，为每个技能，并自动决定是否私人信息是一个重要方面的基础上与世界的互动，每个技能。我们的实验表明，我们的机器人学会拿起一块，并通过模仿观察到的示范堆叠到另一块。评估是基于1）演示是否合理分段，2）是否制定了正确的RL问题，3）以及是否学习了良好的策略。
2017-11-19 cs.AI cs.RO
Guiding Policies with Language via Meta-Learning
University of California, Berkeley（加州大学伯克利分校）
自主智能体的行为技能或策略通常通过强化学习从奖励函数中学习，或者通过模仿学习从演示中学习。然而，这两种任务规范模式都有其缺点：奖励功能需要人工工程，而演示需要人类专家能够实际执行任务以生成演示。从自然语言指令中提取指令遵循提供了一种有吸引力的替代方案：就像我们可以简单地通过说话或写作向其他人指定目标一样，我们希望能够为我们的机器指定任务。然而，单个指令可能不足以完全传达我们的意图，或者即使是这样，也可能不足以让自主智能体实际理解如何执行所需的任务。在这项工作中，我们提出了一个交互式制定的任务规范的问题，迭代的语言更正提供给一个自主智能体，指导它在获取所需的技能。我们提出的语言引导的策略学习算法可以整合一个指令和一系列的更正，以获得新的技能非常快。在我们的实验中，我们表明，这种方法可以使一个政策，以遵循指令和纠正模拟导航和操作任务，大大优于直接的，非交互式的指令遵循。
2019-01-29 cs.AI cs.CL cs.HC
Babysit A Language Model From Scratch: Interactive Language Learning by Trials and Demonstrations
University of Michigan（密歇根大学）
本研究针对大语言模型非交互式训练范式的局限，提出尝试与演示（TnD）学习框架，通过实验证明其可加速不同参数规模学生模型的词汇习得，揭示教师词汇选择及“熟能生巧”效应对词汇学习的影响。
2025-04-18 cs.AI cs.CL
InteractScience: Programmatic and Visually-Grounded Evaluation of Interactive Scientific Demonstration Code Generation
State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China（新型软件技术国家重点实验室，南京大学，中国南京）；Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，中国上海）；Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学，美国匹兹堡）
本文提出InteractScience基准，用于评估大语言模型在生成交互式科学演示代码时结合科学知识与前端交互能力的综合表现，通过程序化测试和视觉测试相结合的方法，评估30种开源和闭源LLM的表现，揭示了在整合领域知识与交互前端编码方面的持续不足。
2026-05-20 cs.AI cs.SE
Interactive Robot Training for Non-Markov Tasks
Massachusetts Institute of Technology（麻省理工学院）
使用形式语言为机器人定义合理和完整的规范是具有挑战性的，而直接从演示中学习形式规范可能会导致过度约束的任务策略。在本文中，我们提出了一个贝叶斯交互式机器人训练框架，它允许机器人从教师提供的演示和教师对机器人任务执行的评估中学习。我们还提出了一种受不确定性抽样启发的主动学习方法，以识别可接受程度最不确定的任务执行。通过模拟实验，我们证明，我们的主动学习方法确定了教师的预期任务规范与等效或更大的相似性相比，纯粹从示范学习的方法。最后，我们展示了我们的方法在现实世界中的设置通过用户研究的基础上教机器人设置餐桌的有效性。
2020-11-28 cs.AI cs.RO
Learning to Interactively Learn and Assist
Google Brain（谷歌大脑）
当在现实世界中部署自主智能体时，我们需要有效的方法来向它们传达目标。传统的技能学习围绕着强化和模仿学习，每一种都对人类和智能体之间交换的信息格式有严格的限制。虽然标量奖励携带的信息很少，但演示需要大量的努力来提供，并且可能携带比必要的更多的信息。此外，奖励和演示通常在训练开始之前定义和收集，当人类最不确定什么信息会帮助智能体时。相比之下，当人类相互交流目标时，他们会使用大量的信息行为词汇，包括非语言交流，并且经常在整个学习过程中进行交流，对观察到的行为做出反应。通过这种方式，人类以最小的努力传达意图。在本文中，我们提出了这样的互动学习作为奖励或演示驱动的学习的替代方案。为了实现这一点，我们引入了一个多智能体训练框架，使代理从另一个知道当前任务的代理学习。通过一系列的实验，我们展示了各种互动学习行为的出现，包括信息共享，信息搜索和问答。最重要的是，我们发现，我们的方法产生的代理，能够从人类用户交互式学习，没有一组明确的演示或奖励功能，并实现显着更好的性能与人类合作比人类单独执行任务。
2019-11-19 cs.AI cs.LG cs.MA
Turning AI Data Centers into Grid-Interactive Assets: Results from a Field Demonstration in Phoenix, Arizona
Emerald AI；NVIDIA Corporation（NVIDIA公司）；Salt River Project (SRP)（Salt River项目（SRP））；Electric Power Research Institute (EPRI)（电力研究 institute（EPRI））
本文展示Emerald Conductor纯软件平台在凤凰城256-GPU集群上的首次现场示范，通过实时电网信号编排AI工作负载，在电网高峰期间降低25%功耗且保持QoS，证明数据中心可成为电网互动型资产。
2025-07-01 cs.AI cs.DC cs.PF
Interactive Program Synthesis for Modeling Collaborative Physical Activities from Narrated Demonstrations
University of California, Berkeley（加州大学伯克利分校）；Meta；Aalto University（阿尔托大学）
本文提出通过交互式程序合成解决协作物理活动建模问题，利用叙述演示统一教学、检查和纠正系统逻辑，实验表明用户能有效修正程序以匹配意图。
2026-04-10 cs.AI cs.HC cs.LG
MemCo: Memory-Centric Collaboration for Generalizing LLM Agents to Unseen Environments
The University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
MemCo提出内存中心协作框架，通过互补的局部与全局内存空间及按状态和决策阶段路由记忆，提升LLM智能体在未见环境中的任务成功率并减少冗余探索。
2026-10-07 cs.AI
AgentFactory: A Self-Evolving Framework Through Executable Subagent Accumulation and Reuse
Peking University（北京大学）；Hong Kong Polytechnic University（香港理工大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出AgentFactory，通过保存可执行子代理代码而非文本经验实现自我进化，使子代理在反馈中持续优化，提升任务执行效率和鲁棒性，实现能力持续积累。
2026-03-18 cs.AI
PARTNR: Pick and place Ambiguity Resolving by Trustworthy iNteractive leaRning
Delft University of Technology（代尔夫特理工大学）
最近的几项工作在将基于语言的人类命令和图像场景观察映射到直接机器人可执行策略（例如，拾取和放置姿势）。然而，这些方法不考虑训练策略的不确定性，并且简单地总是执行当前策略建议的最可能的动作。这使得它们容易受到领域转移的影响，并且在所需的演示数量方面效率低下。我们扩展了以前的工作，并提出了PARTNR算法，可以检测模糊的训练策略，通过分析多种形式的拾取和放置姿势，使用拓扑分析。PARTNR采用自适应的、基于灵敏度的门控功能，决定是否需要额外的用户演示。用户演示被聚合到数据集并用于后续训练。通过这种方式，策略可以迅速适应域转移，并且可以最大限度地减少训练有素的策略所需的演示次数。自适应阈值使得能够实现用户可接受的模糊性水平，以自主地执行策略，从而增加系统的可信度。我们展示了合作伙伴在桌面上的选择和放置任务的性能。
2022-11-15 cs.AI cs.CL cs.HC
BioInsight: Multi-Agent Orchestration for Interactive Biomedical Knowledge Discovery
Peking University（北京大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）；Purdue University（普渡大学）；Stanford University（斯坦福大学）
提出多智能体系统BioInsight，通过交互式界面生成替代静态报告，实现疾病证据的组织、推理与可视化，在多项生物医学任务中取得最优性能。
2026-08-04 cs.AI
iRoPro: An interactive Robot Programming Framework
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
从制造环境到个人家庭，终端用户任务的多样性使得用于通用应用的预编程机器人极具挑战性。事实上，从头开始教机器人新的动作，可以重复使用以前看不见的任务仍然是一个艰巨的挑战，通常留给机器人专家。在这项工作中，我们提出了iRoPro，一个交互式的机器人编程框架，允许终端用户很少或没有技术背景，教机器人新的可重用的行动。我们结合示范编程和自动规划技术，让用户构建机器人的知识库，通过教新的动作动觉示范。这些动作被概括并与任务规划器一起重用，以解决用户定义的以前看不见的问题。我们将iRoPro作为Baxter研究机器人上的端到端系统实施，通过演示同时教授低级和高级操作，用户可以通过图形用户界面进行自定义，以适应其特定用例。为了评估我们的方法的可行性，我们首先进行了预设计实验，以更好地了解用户的采用所涉及的概念和建议的机器人编程过程。我们比较结果与设计后的实验，在那里我们进行了用户研究，以验证我们的方法与真正的最终用户的可用性。总体而言，我们表明，具有不同编程水平和教育背景的用户可以轻松学习和使用iRoPro及其机器人编程过程。
2021-12-08 cs.AI cs.RO
Overcoming Knowledge Discrepancies: Structuring Reasoning Threads through Knowledge Balancing in Interactive Scenarios
Ferdinand Steinbeis Institute（费尔迪南·斯坦贝茨研究所）
针对交互式推理中知识差异和推理线索低效问题，本文提出两阶段ReT-Eval框架，通过图神经网络提取知识结构并结合大语言模型内在知识，再以奖励引导剪枝生成有效推理线索，实验证明其优于现有模型。
2025-08-16 cs.AI
Training an Interactive Helper
Google Brain（谷歌大脑）
开发能够快速调整其行为以适应新任务的智能体仍然是一个挑战。元学习已被应用于这个问题，但以前的方法要么需要指定一个奖励函数，这可能是繁琐的，要么提供示范，这可能是低效的。在本文中，我们调查，如果，以及如何，一个“助手”代理可以训练，以交互方式适应他们的行为，以最大限度地提高另一个代理，我们称之为“总理”代理的奖励，而不观察他们的奖励或接收明确的演示。为此，我们建议元学习一个助手代理和一个主代理，主代理在训练过程中观察奖励函数，并作为人类主代理的代理。我们介绍了一种多代理合作觅食任务的分布，其中只有主代理知道应该收集的对象。我们证明，从出现的物理通信，训练有素的助手迅速推断和收集正确的对象。
2019-07-02 cs.AI cs.LG cs.MA
ASkDAgger: Active Skill-level Data Aggregation for Interactive Imitation Learning
Department of Cognitive Robotics（认知机器人学系）；Delft University of Technology（代尔夫特理工大学）；Department of Computer Science（计算机科学系）；RWTH Aachen University（亚琛工业大学）
ASkDAgger框架通过利用新手计划中的不确定性信息，结合三种机制减少交互式模仿学习中的查询次数，提升泛化与适应能力，并在模拟和真实环境中验证有效性。
2025-08-07 cs.AI cs.HC cs.LG
MILD: Multimodal Interactive Latent Dynamics for Learning Human-Robot Interaction
TU Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI））；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）
交互动力学建模生成机器人轨迹，使机器人能够适应和反应人类的行动和意图是高效和有效的协作人机交互（HRI）的关键。来自人-人交互（HHI）的示教学习（LfD）方法已经显示出有希望的结果，特别是当与表示学习技术相结合时。然而，这种用于学习HRI的方法要么不能很好地扩展到高维数据，要么不能准确地适应交互伙伴的变化。我们提出了多模态交互潜在动力学（MILD），一种将深度表示学习和概率机器学习结合起来的方法，以解决两方物理HRI的问题。我们从演示中学习交互动力学，使用隐半马尔可夫模型（HSMMs）来模拟变分自编码器（VAE）的潜在空间中的交互代理的联合分布。我们的实验评估学习HRI从HHI演示表明，MILD有效地捕捉HRI任务的潜在表征的多模态，使我们能够解码在这样的任务中发生的变化的动态。与相关工作相比，MILD生成更准确的轨迹控制代理（机器人）时，观察代理的（人）轨迹的条件。值得注意的是，MILD可以直接从基于相机的姿态估计中学习以生成轨迹，然后我们将其映射到人形机器人，而无需任何额外的训练。
2022-10-22 cs.AI cs.HC cs.LG
Learning Preferences for Interactive Autonomy
Stanford University（斯坦福大学）
当机器人进入日常人类环境时，它们需要了解自己的任务以及如何执行这些任务。为了对这些进行编码，采用了指定机器人目标的奖励函数。然而，对于复杂的任务和环境，设计奖励函数可能极具挑战性。一个有希望的方法是从人类那里学习奖励功能。最近，几个机器人学习作品采用这种方法，并利用人类的演示来学习奖励函数。这种方法被称为逆强化学习，它依赖于一个基本假设：人类可以向机器人提供接近最优的演示。不幸的是，这种情况很少发生：由于各种原因，人类对机器人的演示往往不是最佳的，例如，遥操作困难、机器人具有高自由度或人类的认知局限性。本论文是通过使用其他更可靠的数据模式来学习人类用户的奖励函数的尝试。具体来说，我们研究如何使用比较反馈来学习奖励函数，其中人类用户比较多个机器人轨迹，而不是（或除了）提供演示。为此，我们首先提出了各种形式的比较反馈，例如，成对比较，最佳选择，排名，缩放比较;并描述机器人如何使用这些各种形式的人类反馈来推断奖励函数，该函数可以是参数的或非参数的。接下来，我们提出了主动学习技术，使机器人要求比较反馈，优化预期的信息，将获得从用户反馈。最后，我们展示了我们的方法在各种领域的适用性，从自动驾驶模拟到家庭机器人，从标准的强化学习基准到下半身外骨骼。
2022-10-19 cs.AI cs.LG cs.RO
VITAL: Interactive Few-Shot Imitation Learning via Visual Human-in-the-Loop Corrections
Department of Artificial Intelligence, University of Groningen（格罗宁根大学人工智能系）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出VITAL，一种通过模拟数据增强和人在回路修正的少样本模仿学习方法，在多种机器人任务中验证了其有效性和泛化能力。
2025-05-21 cs.AI cs.CV cs.RO
Robot-Gated Interactive Imitation Learning with Adaptive Intervention Mechanism
Computer Science Department, University of California, Los Angeles (UCLA)（加州大学洛杉矶分校计算机科学系）
针对交互式模仿学习中人类监督负担过重的问题，提出机器人门控的AIM算法，用代理Q函数学习自适应干预请求准则，显著降低接管成本并提升学习效率。
2025-06-10 cs.AI cs.LG cs.RO
I3L: Iterative Interactive Imitation Learning for Whole-Body Mobile Manipulation
Stanford University（斯坦福大学）；Lambda Inc.（Lambda公司）
I3L是结合全身校正与迭代策略优化的集成系统，经多机器人多任务评估，可显著提升全身移动操作的自主成功率，缩小离线训练与可靠部署的差距。
2026-11-02 cs.AI cs.RO
ArgLLM-App: An Interactive System for Argumentative Reasoning with Large Language Models
Imperial College London（伦敦帝国学院）
ArgLLM-App是一个基于大语言模型的论证推理交互系统，通过可视化解释和用户交互实现决策的可解释性和可挑战性。
2026-02-27 cs.AI cs.CL
Towards Interactive Training of Non-Player Characters in Video Games
Electronic Arts（美国艺电公司）；Institute of Computational Modelling（计算建模研究所）
视频游戏中对高质量的非玩家角色（NPC）的需求很高。手工制作它们的行为是一个劳动密集型和容易出错的工程过程，游戏设计师只能进行有限的控制。我们建议通过在目标环境中使用模仿学习与人在循环中训练代理来交互地创建这样的NPC行为。虽然传统的行为克隆可能达不到预期的性能，我们表明，互动性可以大大提高它与适量的人类努力。我们训练的模型是马尔可夫模型的多分辨率集合，它可以按原样使用，也可以进一步“压缩”成更紧凑的模型，用于在消费者设备上进行推理。我们在OpenAI Gym中的一个例子上说明了我们的方法，在这个例子中，人类可以帮助快速训练一个代理，只需几个交互式演示。我们还概述了目前正在开发的第一人称射击游戏的NPC训练实验。
2019-06-03 cs.AI cs.LG
MemLens: A Value-Aware Memory Management System with Interactive Analytics for LLM-based Agents
C-FAIR & School of Software, Shandong University（C-FAIR与山东大学软件学院）；SKLCCSE Lab, Beihang University（北京航空航天大学SKLCCSE实验室）；Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）
研究针对基于LLM的智能体内存管理问题，提出价值感知内存管理系统MemLens，通过端到端交互式分析仪表板展示内存生命周期，经学习助手应用程序帮助用户比较策略，可实现高效、可解释和个性化的长期内存管理。
2026-07-29 cs.AI cs.DB
Interactive Learning of Environment Dynamics for Sequential Tasks
North Carolina State University（北卡罗来纳州立大学）；Washington State University（华盛顿州立大学）；Borealis AI；Brown University（布朗大学）
为了让机器人和其他人工智能体有效地学习执行最终用户定义的有用任务，它们不仅必须了解这些任务的目标，还必须了解用户环境的结构和动态。虽然现有的工作已经研究了如何从人类教师中推断出任务的目标，但智能体通常只能自己学习环境。为了解决这一限制，我们开发了一种算法，行为感知建模（BAM），它将教师的知识转化为代理环境的过渡动态模型。我们评估BAM在模拟和真正的人类教师，从任务演示和评价性反馈的组合学习，并表明它可以优于不明确考虑这种来源的动态知识的方法。
2019-07-19 cs.AI cs.HC
IIFL: Implicit Interactive Fleet Learning from Heterogeneous Human Supervisors
UC Berkeley（加州大学伯克利分校）；Siemens Research Lab（西门子研究实验室）
本文提出IIFL算法，通过基于能量的模型和Jeffreys散度进行不确定性量化，实现从多个异构人类监督者中学习，显著提升了模拟实验成功率和物理任务中的人类努力回报。
2023-10-20 cs.AI cs.RO
Eliciting Compatible Demonstrations for Multi-Human Imitation Learning
Stanford University（斯坦福大学）
从人类提供的演示中进行模仿学习是学习机器人操作策略的强有力方法。虽然模仿学习的理想数据集是同质和低方差的-反映了执行任务的单一最佳方法-但自然的人类行为具有很大的异质性，有几种最佳方法来演示任务。这种多模态对人类用户来说是无关紧要的，任务的变化表现为潜意识的选择;例如，向下伸手，然后穿过去抓住一个物体，而不是向前伸手，然后向下。然而，这种不匹配给交互式模仿学习带来了问题，在交互式学习中，用户序列通过迭代地收集新的、可能相互冲突的演示来改进策略。为了解决这个问题的演示不兼容，这项工作设计了一种方法，1）测量一个新的演示给定的基本政策的兼容性，和2）积极引发更多的兼容性演示新用户。在两个模拟任务，需要长期的视野，灵巧的操作和现实世界的“食品电镀”任务与弗兰卡Panda手臂，我们表明，我们都可以通过事后过滤识别不兼容的演示，并应用我们的兼容性措施，积极引出新用户的兼容演示，从而提高任务成功率在模拟和真实环境。
2022-10-14 cs.AI cs.HC cs.RO
Interactive incremental learning of generalizable skills with local trajectory modulation
German Aerospace Center (DLR)（德国航空航天中心）；School of Computation, Information and Technology (CIT), Technical University of Munich (TUM)（慕尼黑工业大学计算、信息与技术学院）
提出基于KMP的交互式模仿学习框架，结合局部和全局轨迹调制，利用人类纠正反馈和经由点机制增量提升模型精度、添加新物体并扩展技能区域。
2025-02-21 cs.AI cs.LG cs.RO
FireCommander: An Interactive, Probabilistic Multi-agent Environment for Heterogeneous Robot Teams
Georgia Institute of Technology（佐治亚理工学院）
本教程的目的是帮助个人使用\underline{FireCommander}游戏环境进行研究应用。FireCommander是一个交互式的、概率性的联合感知-行动侦察环境，在该环境中，机器人）协作以对抗动态的、传播的火点（例如，目标）。在FireCommander游戏中，一组代理必须负责在具有蔓延的火灾区域和一些设施（如房屋，医院，发电站等）的环境中最佳地处理野火情况。估计火灾状态），彼此之间传送感测到的火灾信息并且然后基于感测到的信息采取行动来扑灭火灾（例如，在估计的火灾位置上滴水）。FireCommander环境可以用于研究主题，涵盖从强化学习（RL）和从演示示教学习（LfD）到协调，心理学，人机交互（HRI）和团队合作的广泛应用。FireCommander环境有四个重要方面，总体而言，创建了一个非平凡的游戏：（1）复杂目标：多目标随机环境，（2）概率环境：代理的行为导致概率性能，（3）隐藏目标：部分可观察环境，（4）单任务机器人：仅感知和仅感知的代理。FireCommander环境在包括用于协调的仅Perception-only代理和仅Perception-only代理方面是首创的。它是一种通用的多用途游戏，可以用于各种组合优化问题和随机游戏，例如强化学习（RL），示教学习（LfD）和逆RL（iRL）的应用。
2021-10-27 cs.AI cs.HC cs.LG
Human-in-the-loop Embodied Intelligence with Interactive Simulation Environment for Surgical Robot Learning
The Chinese University of Hong Kong（香港中文大学）；T Stone Robotics Institute, CUHK（香港中文大学T Stone机器人研究院）
本文扩展SurRoL仿真器，构建支持输入设备交互的人在回路手术机器人学习平台，并通过人类演示与强化学习验证其学习效率提升，同时发布五个训练任务。
2023-06-06 cs.AI cs.CV cs.LG
MAAIP: Multi-Agent Adversarial Interaction Priors for imitation from fighting demonstrations for physics-based characters
Inria（法国国家信息与自动化研究所）；IRISA（法国信息与自动化研究实验室）；University of Rennes（雷恩大学）；University Rennes 2（雷恩第二大学）；M2S（运动、运动学与健康实验室）
针对多角色交互模仿难题，提出基于多智能体生成对抗模仿学习的MAAIP方法，利用单角色与少量交互数据集训练策略，实现保留风格的多角色格斗交互模仿，在两种格斗风格上验证了有效性。
2023-11-04 cs.AI cs.CV cs.GR
