Active Imitation Learning with Noisy Guidance
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
模仿学习算法通过学习接近最优的搜索策略,在许多结构化预测任务上提供最先进的结果。这样的算法假设训练时间访问专家,可以在任何查询状态下提供最佳动作;不幸的是,这样的查询的数量往往是禁止的,经常使这些方法不切实际。为了对抗这种查询的复杂性,我们考虑一个主动学习设置中,学习算法有额外的访问一个便宜得多的嘈杂启发式,提供嘈杂的指导。我们的算法,LEAQI,学习一个差异分类器,预测当专家可能不同意的启发式,并询问专家只有在必要的时候。我们将LEAQI应用于三个序列标签任务,展示了对专家的查询显着减少,并且与被动方法相比具有相当(或更好)的准确性。
2020-05-26 cs.AI cs.CL cs.LG
Efficient Active Imitation Learning with Random Network Distillation
Centrale Supelec(中央高等电力学院);Ubisoft La Forge(育碧 La Forge(育碧旗下研发机构));H Company(H公司)
针对无明确目标的复杂任务中模仿学习在分布外场景失效、依赖人类演示扩展数据集成本高的问题,提出RND-DAgger方法,利用随机网络蒸馏的分布外度量触发必要专家干预,在多任务中减少专家查询并超越传统方法。
2025-04-14 cs.LG
SAFARI: Safe and Active Robot Imitation Learning with Imagination
Imperial College London(帝国理工学院)
模仿学习的主要问题之一是智能体在面对分布外的情况时的错误行为,而专家给出的演示集没有涵盖。在这项工作中,我们解决这个问题,通过引入一种新的主动学习和控制算法,SAFARI。在训练过程中,它允许代理在满足这些分布外的情况时请求进一步的人类演示。在部署时,它将使用行为克隆的无模型行为与基于模型的规划相结合,以减少状态分布偏移,使用未来状态重建作为状态熟悉度的测试。我们经验证明,这种方法如何增加一组被动的模仿学习的操作任务的性能,通过收集更多的信息演示和最小化状态分布偏移在测试时。我们还展示了这种方法如何使代理能够快速,安全地自主预测故障。
2020-11-18 cs.LG cs.RO
Active Hierarchical Imitation and Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
人类可以利用层次结构将任务分解为子任务并有效地解决问题。模仿和强化学习或它们与层次结构的组合已被证明是机器人学习具有稀疏奖励的复杂任务的有效方法。然而,在以前的分层模仿和强化学习的工作中,测试环境是在相对简单的2D游戏中,并且动作空间是离散的。此外,许多模仿学习的工作重点是改进从硬编码或通过强化学习算法训练的专家策略而不是人类专家学习的策略。在人机交互的场景中,可能需要人类提供演示来教导机器人,因此提高学习效率以减少专家的努力并了解人类对学习/训练过程的感知至关重要。在这个项目中,我们探索了不同的模仿学习算法,并在我们开发的分层模仿和强化学习框架上设计了主动学习算法。我们进行了一个实验,要求五名参与者引导一个随机初始化的代理到迷宫中的一个随机目标。我们的实验结果表明,使用Dagger和基于奖励的主动学习方法可以获得更好的性能,同时节省了更多的人力物力在训练过程中。
2020-12-14 cs.AI cs.LG cs.RO
Amortized nonmyopic active search via deep imitation learning
Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出用深度模仿学习训练策略网络,摊销昂贵的非近视主动搜索策略,在保持接近专家性能的同时大幅降低计算成本。
2024-05-23 cs.LG
Active-GRPO: Adaptive Imitation and Self-Improving Reasoning for Molecular Optimization
School of Medicine, Stanford University(斯坦福大学医学院);Data Science Institute, University of Chicago(芝加哥大学数据科学研究所);Pritzker School of Molecular Engineering, University of Chicago(芝加哥大学普利兹克分子工程学院);Department of Computer Science, University of Chicago(芝加哥大学计算机科学系);Argonne National Laboratory(阿贡国家实验室)
提出Active-GRPO方法,通过主动模仿-强化和主动参考机制,在分子优化中自适应平衡模仿与自我改进,显著提升性能。
2026-07-02 cs.AI cs.LG q-bio.BM
Phase-Amplitude Reduction-Based Imitation Learning
ATR Computational Neuroscience Laboratories(ATR计算神经科学实验室);Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
本研究提出基于相位-幅度缩减的模仿学习框架,不仅可模仿极限环轨迹,还能准确复现从初始或受扰状态到极限环的瞬态运动,提供更安全的类人机器人运动生成方法。
2025-03-02 cs.LG cs.RO
A New Framework for Query Efficient Active Imitation Learning
Georgia Institute of Technology(佐治亚理工学院)
我们寻求在强化学习(RL)环境中将代理策略与人类专家行为相结合,而无需任何关于动态,奖励函数和不安全状态的先验知识。有一个人类专家知道的奖励和不安全的状态,基于他的偏好和目标,但查询人类专家是昂贵的。为了解决这一挑战,我们提出了一个新的框架模仿学习(IL)算法,积极和互动地学习用户的奖励函数与有效的查询模型。我们建立了一个对抗性的状态生成模型和一个后继特征(SR)模型,该模型通过学习策略收集的过渡经验进行训练。我们的方法使用这些模型来选择状态-动作对,要求用户评论最优性或安全性,并训练对抗性神经网络来预测奖励。与以往几乎都是基于不确定性采样的文献不同,本文的核心思想是通过区分查询(专家)和未查询(生成)数据,最大化价值函数学习效率,从策略上和策略外的经验中主动有效地选择状态-动作对。我们称这种方法为具有后继表示的对抗性奖励查询。我们评估所提出的方法与模拟人基于状态的2D导航任务,机器人控制任务和基于图像的视频游戏,其中具有高维观测和复杂的状态动态。实验结果表明,该方法在学习奖励模型方面明显优于基于不确定性的方法,获得了更好的查询效率,其中对抗性搜索可以使Agent更有效地学习人类行为,SR可以选择对价值函数影响更大的状态。此外,所提出的方法还可以学习,以避免不安全的状态时,训练的奖励模型。
2019-12-30 cs.AI cs.LG stat.ML
IALE: Imitating Active Learner Ensembles
Friedrich-Alexander University Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡弗里德里希-亚历山大大学(FAU));Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所(IIS));Ludwig-Maximilians-University (LMU)(路德维希-马克西米利安大学(LMU))
主动学习(AL)优先标记信息量最大的数据样本。然而,AL算法的性能取决于底层分类器模型和数据的结构。我们提出了一个模仿学习计划,模仿选择最好的专家启发式在每个阶段的AL周期在一个批处理模式池为基础的设置。我们使用DAGGER在数据集上训练策略,然后将其应用于来自类似领域的数据集。通过多个AL代理作为专家,该策略能够反映给定AL过程的当前状态的最佳AL代理的选择。我们在知名数据集上的实验表明,我们的表现都优于最先进的模仿学习器和模仿学。
2020-09-22 cs.LG stat.ML
Observer-Actor: Active Vision Imitation Learning with Sparse-View Gaussian Splatting
ObAct通过主动视觉探索提升双臂机器人模仿学习的鲁棒性,利用稀疏视角高斯点云增强观测清晰度,实验显示其在无遮挡和有遮挡情况下均显著优于固定相机设置。
2026-03-04 cs.CV cs.LG cs.RO
Imitation of human motion achieves natural head movements for humanoid robots in an active-speaker detection task
Tilburg University(蒂尔堡大学)
本研究采用生成式AI流水线为Nao人形机器人生成类人头部运动,并在群体对话的实时主动说话人跟踪任务中验证其自然模仿与跟踪能力。
2024-07-16 cs.AI cs.HC cs.LG
Sample-Efficient Expert Query Control in Active Imitation Learning via Conformal Prediction
Department of Computer Science, University of Southern California(计算机科学系,南加州大学);Department of Information Technology and Electrical Engineering, ETH Zurich(信息科技与电气工程系,苏黎世联邦理工学院)
CRSAIL通过置信预测实现高效的专家查询控制,在主动模仿学习中减少专家查询次数,提升机器人任务的训练效率。
2025-11-29 cs.AI cs.LG cs.RO
TAVIS: A Benchmark for Egocentric Active Vision and Anticipatory Gaze in Imitation Learning
Department of Intelligent Systems(智能系统系)
TAVIS提出了一种评估主动视觉模仿学习的基础设施,包含两个任务集和两个仿人躯干机器人,通过实验发现主动视觉对任务类型和条件具有任务依赖性,且多任务策略在分布偏移下表现下降,模仿学习能产生与人类参考相当的预见性注视。
2026-10-08 cs.AI cs.CV cs.LG
Active Imitation Learning for Thermal- and Kernel-Aware LFM Inference on 3D S-NUCA Many-Cores
University of Amsterdam, Netherlands(阿姆斯特丹大学);Southeast University, China(东南大学);University of Thessaly, Greece(塞萨洛尼基大学)
本文提出AILFM框架,通过主动模仿学习实现热感知调度,考虑核心性能异质性和LFM核行为,提升性能并保障热安全。
2026-04-13 cs.AR cs.LG
Active Policy Improvement from Multiple Black-box Oracles
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
针对多黑盒次优专家选择难题,提出MAPS与MAPS-SE算法,通过主动选择模仿预言机并探索状态,显著提升了策略优化的样本效率。
2025-08-11 cs.AI cs.LG stat.ML
The Past and Present of Imitation Learning: A Citation Chain Study
Brown University(布朗大学)
模仿学习是一个很有前途的研究领域。在过去的30年里,模仿学习取得了显著的进步,并被用于解决从自动驾驶到玩Atari游戏等各种困难的任务。在这一发展过程中,不同的方法来执行模仿学习已经落入和失宠。在本文中,我将探讨这些不同方法的发展,并试图研究该领域的进展。我的分析集中在调查4个里程碑式的论文,顺序建立在对方发展越来越令人印象深刻的模仿学习方法。
2020-01-08 cs.AI cs.LG
Contextual Bandits and Imitation Learning via Preference-Based Active Queries
MIT(麻省理工学院);Cornell University(康奈尔大学)
本文针对无法直接获知动作奖励的上下文老虎机与模仿学习问题,提出基于偏好主动查询的算法,实现了接近标准设定的遗憾界与低查询复杂度,且在专家次优时能超越专家。
2023-07-24 cs.AI cs.HC cs.LG
Solving Compositional Reinforcement Learning Problems via Task Reduction
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Shanghai Qi Zhi Institute(上海期智研究院);UC Berkeley(加州大学伯克利分校);UCSD(加州大学圣迭戈分校)
我们提出了一种新的学习范式,自我模仿通过减少(SIR),解决组合强化学习问题。SIR基于两个核心思想:任务简化和自我模仿。任务简化通过主动将其简化为RL代理知道其解决方案的更容易的任务来解决难以解决的任务。一旦通过任务约简成功地解决了原始硬任务,智能体自然会获得一个自我生成的解决方案轨迹来模仿。通过不断地收集和模仿这样的演示,代理能够逐步扩展整个任务空间中的解决子空间。实验结果表明,SIR可以显着加速和改善各种具有挑战性的稀疏奖励连续控制问题的组合结构的学习。代码和视频可在https://sites.google.com/view/sir-compositional上获得。
2021-03-19 cs.LG
ASkDAgger: Active Skill-level Data Aggregation for Interactive Imitation Learning
Department of Cognitive Robotics(认知机器人学系);Delft University of Technology(代尔夫特理工大学);Department of Computer Science(计算机科学系);RWTH Aachen University(亚琛工业大学)
ASkDAgger框架通过利用新手计划中的不确定性信息,结合三种机制减少交互式模仿学习中的查询次数,提升泛化与适应能力,并在模拟和真实环境中验证有效性。
2025-08-07 cs.AI cs.HC cs.LG
Hierarchical Imitation and Reinforcement Learning
California Institute of Technology(加州理工学院);Microsoft Research(微软研究院);University of Maryland(马里兰大学)
我们研究如何有效地利用专家反馈来学习顺序决策政策。我们专注于稀疏奖励和长时间视野的问题,这通常会给强化学习带来重大挑战。我们提出了一个算法框架,称为分层指导,它利用底层问题的层次结构来集成不同的专家交互模式。我们的框架可以在不同层次上结合模仿学习(IL)和强化学习(RL)的不同组合,从而大大减少专家的努力和探索成本。使用长期基准测试,包括Montezuma的Revenge,我们证明了我们的方法可以比分层RL更快地学习,并且比标准IL更有效。我们还从理论上分析了我们的框架的某些实例的标签成本。
2018-06-09 cs.AI cs.LG stat.ML
Blending Imitation and Reinforcement Learning for Robust Policy Improvement
Department of Computer Science, University of Chicago(芝加哥大学计算机科学系);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本文提出 RPI 算法,基于性能在线估计在模仿学习与强化学习间动态交替,利用 RAPS 和 RPG 机制实现逐状态的策略选择与改进,有效解决了样本效率与 oracle 质量受限问题。
2025-08-11 cs.AI cs.LG stat.ML
Enabling Off-Policy Imitation Learning with Deep Actor Critic Stabilization
Amazon Alexa(亚马逊Alexa);Indian Institute of Science(印度科学研究院)
本文提出一种结合非策略学习的对抗模仿学习算法,通过双Q网络稳定化和价值学习(无需奖励函数推断)来提高样本效率,从而更高效地匹配专家行为。
2026-05-18 cs.AI cs.LG
Provably Breaking the Quadratic Error Compounding Barrier in Imitation Learning, Optimally
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);University of California, Los Angeles(加州大学洛杉矶分校)
研究了状态空间为$\mathcal{S}$的情景马尔可夫决策过程中模仿学习的统计极限。我们专注于已知的过渡设置,学习者提供了一个数据集的$N$长度- $H$轨迹从一个确定性的专家政策,并知道MDP过渡。我们使用Rajaraman等人(2020)中的Mimic-MD算法建立了次优性的上限$O(|\mathcal{S}|H^{3/2}/N)$,我们证明了该算法在计算上是有效的。相比之下,我们发现当$|\mathcal{S}|\geq 3$时,极小极大次优性随着$Ω( H^{3/2}/N)$的增长而增长,而未知转换设置受到更大的急剧率$Θ(|\mathcal{S}|H^2/N)$的影响(Rajaraman et al(2020))。通过证明IL和未知专家策略的值估计问题在任何给定的奖励函数下的双向约简,以及与具有子采样观测的线性函数估计建立联系,建立了下界。我们进一步表明,在额外的假设下,专家是最佳的真正的奖励函数,存在一个有效的算法,我们称之为模仿混合,可证明实现次优性$O(1/N)$的任意3状态MDP奖励只在终端层。相反,如果专家不被约束为最优,则没有算法可以以高概率实现次优性$O(\sqrt{H}/N)$。我们的工作正式确立了专家最优假设在已知过渡设置中的好处,而Rajaraman等人(2020)表明,当过渡未知时,它没有帮助。
2021-02-25 cs.LG stat.ML
Beyond Conservatism: Recoverability-Conditioned Exploration for Model-Based Imitation Learning
Nanjing University(南京大学)
提出RECON方法,通过分离主策略与探索器,基于可恢复性条件的不确定性引导探索,提升基于模型模仿学习在运动、导航和操作任务中的交互效率与性能。
2026-09-29 cs.AI cs.LG
Inverse Reinforcement Learning without Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学);Aurora Innovation(奥罗拉创新公司)
针对传统逆向强化学习需反复求解复杂RL子问题的计算缺陷,提出利用专家状态分布消除RL全局探索环节的模仿学习归约方法,理论上实现指数级加速,实际连续控制任务中也显著提升现有技术速度。
2024-01-29 cs.LG
SENSOR: Imitate Third-Person Expert's Behaviors via Active Sensoring
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
针对视觉模仿学习中智能体与第三人称专家视角错位的问题,本文提出基于模型的SENSOR框架,通过联合学习世界模型、传感器策略和运动策略实现主动视角调整,并在视觉运动任务中优于多数基线。
2024-04-04 cs.AI cs.LG cs.RO
Bridging Imitation and Online Reinforcement Learning: An Optimistic Tale
Google Deepmind(谷歌DeepMind);University of Southern California(南加州大学)
针对不完美专家离线演示如何引导 MDP 在线学习的问题,提出 iPSRL 分析算法及可计算的 iRLSVI,将 RLSVI 与模仿学习结合,并显著降低贝叶斯遗憾。
2023-07-16 cs.AI cs.LG
Selective Sampling and Imitation Learning via Online Regression
MIT(麻省理工学院);Cornell University(康奈尔大学)
本文针对有噪声专家反馈下的模仿学习问题,提出基于在线回归预言机的选择性采样交互式算法,在一般函数类和多动作设定下同时给出遗憾与查询复杂度的最优界,并证明其紧性。
2023-07-11 cs.AI cs.LG math.ST
Toward the Fundamental Limits of Imitation Learning
University of California, Berkeley(加州大学伯克利分校);University of California, Los Angeles(加州大学洛杉矶分校)
模仿学习(IL)的目的是模仿行为的专家政策在一个顺序的决策问题,只有示范。在本文中,我们专注于了解的最小最大的统计限制,在情节马尔可夫决策过程(MDP)的IL。我们首先考虑这样的设置,其中提前向学习者提供$N$专家轨迹的数据集,并且不能与MDP交互。在这里,我们表明,模仿专家的政策,尽可能是在预期$\lesssim \frac{|\mathcal{S}| H^2 \log (N)}{N}$次优的专家相比,价值,即使当专家遵循任意的随机政策。这里$\mathcal{S}$是状态空间,$H$是事件的长度。此外,我们建立了一个次优下限的$\gtrsim |\mathcal{S}| H^2 / N$适用,即使专家被限制为确定性的,或者如果学习者被允许积极查询专家在访问状态,同时与MDP的$N$插曲。据我们所知,这是第一个具有次优性的算法,在没有额外假设的情况下不依赖于动作数量。然后,我们提出了一种新的算法,基于最小距离泛函的设置中的过渡模型和专家是确定性的。该算法是次优的$\lesssim \min \{ H \sqrt{|\mathcal{S}| / N} ,\ |\mathcal{S}| H^{3/2} / N \}$,表明知识的过渡提高极小极大率至少一个$\sqrt{H}$的因素。
2020-09-13 cs.AI cs.LG math.OC
Task-Driven Semantic Quantization and Imitation Learning for Goal-Oriented Communications
University of California at Davis(加州大学戴维斯分校);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
本文提出GOS-VAE框架,结合VQ-VAE压缩与模仿学习,提取任务关键语义,实现目标导向通信的带宽高效传输。
2025-02-28 cs.LG cs.NI
Multi-Agent Imitation Learning: Value is Easy, Regret is Hard
Carnegie Mellon University(卡内基梅隆大学)
研究多智能体模仿学习中的遗憾差距,证明价值等价不足以保证策略鲁棒性,并提出两种高效最小化遗憾差距的算法。
2024-06-26 cs.LG
Conformalized Interactive Imitation Learning: Handling Expert Shift and Intermittent Feedback
Robotics Institute, School of Computer Science, Carnegie Mellon University(机器人研究所、计算机科学学院、卡内基梅隆大学);Departments of Statistics and Machine Learning, Carnegie Mellon University(统计学与机器学习系、卡内基梅隆大学)
针对交互式模仿学习中部署时的分布偏移与间歇性专家反馈问题,提出基于在线共形预测的IQT算法与ConformalDAgger框架,利用校准的预测区间主动查询专家反馈,使机器人更快适应专家策略变化。
2025-04-29 cs.AI cs.HC cs.LG
RadGrad: Active learning with loss gradients
University of Toronto(多伦多大学)
解决顺序决策预测问题,包括那些在模仿学习设置,需要减轻的问题,协变量偏移。标准的方法Dagger依赖于在智能体到达的所有状态下捕获专家行为。在现实世界中,咨询专家的成本很高。我们提出了一种新的主动学习算法,有选择地查询专家,基于代理错误和代理风险的预测,保持无约束的专家查询系统的性能,同时大大减少了专家查询的数量。我们表明,我们的方法,RadGrad,有可能改善现有的安全意识算法,并匹配或超过Dagger和变体的性能(即,SafeDagger)在一个模拟环境中。然而,我们也发现,更复杂的环境不仅对我们提出的方法提出了挑战,而且对现有的安全感知算法提出了挑战,这些算法在我们的实验中与Dagger的性能不匹配。
2019-06-18 cs.AI cs.LG cs.RO
Socially Guided Intrinsic Motivation for Robot Learning of Motor Skills
INRIA(法国国家信息与自动化研究所);ENSTA ParisTech(巴黎高等科技学院)
本文提出了一种结合主动内在动机学习和模仿学习的机器人学习运动技能的技术途径。我们的架构,称为SGIM-D,允许高效学习机器人中的高维连续感觉运动逆模型,特别是学习参数化运动策略的分布,解决相应的参数化目标/任务的分布。这是通过将模仿学习技术技术集成在用于学习依赖于主动目标模糊的逆模型的算法内而实现的。在回顾了社会学习和内在动机的行动学习方法,我们描述了我们的算法的一般框架,然后详细介绍了其架构。在一个机器人手臂必须学会使用灵活的鱼线的实验中,我们说明了SGIM-D有效地结合了社会学习和内在动机的优势,并从人类演示属性中受益,以学习如何在环境中产生不同的结果,同时在大空间中开发更精确的控制策略。
2018-04-19 cs.AI cs.LG cs.RO
Dimension Reduction Using Active Manifolds
科学家和工程师依靠精确的数学模型来量化他们的研究对象,这些对象通常是高维的。不幸的是,高维模型本质上是困难的,即当观察是稀疏的或昂贵的确定。解决这个问题的一种方法是用更少的输入维度来近似原始模型。我们的项目目标是恢复一个函数f,它接受n个输入并返回一个输出,其中n可能很大。对于任何给定的n元组,我们假设我们可以观察函数的梯度和输出的样本,但这样做的计算代价很高。该项目的灵感来自于一种称为Active Subspaces的方法,该方法通过线性投影到函数平均变化最大的线性子空间来工作。我们的研究提供了数学发展,为这个问题提供了一种新的算法。我们的方法,主动流形,通过寻求近似函数的非线性模拟来提高精度。我们的方法的好处是消除无原则的参数,选择,保证可访问的可视化,并提高估计精度。
2018-02-07 cs.LG math.CA stat.ML
Reinforcement Learning for Robotics and Control with Active Uncertainty Reduction
基于无模型强化学习的方法,例如近端策略优化或Q学习,通常需要与环境进行数千次交互,以近似最佳控制器,由于安全性和时间消耗,这在机器人技术中可能并不总是可行的。基于模型的方法,如PILCO或BlackDrops,虽然数据效率高,但提供的解决方案具有有限的鲁棒性和复杂性。为了解决这一问题,我们引入了基于主动不确定性减少的虚拟环境,它是通过在原始环境中进行有限的试验形成的。我们提供了一个有效的方法不确定性管理,这是用来作为一个度量自我改进的点,通过自适应采样的最大预期改善的识别。捕捉不确定性还允许更好地模仿原始系统的奖励响应。我们的方法可以通过基于模型和无模型方法的独特组合来使用复杂的策略结构和奖励函数,同时仍然保持数据效率。我们在OpenAI gym中的几个经典强化学习问题上证明了我们方法的有效性。我们证明,我们的方法提供了一个更好的建模能力,复杂的系统动力学相比,已建立的方法。
2019-05-15 cs.LG cs.RO stat.ML
Active Learning with Expected Error Reduction
University of Washington(华盛顿大学);Stanford University(斯坦福大学);Apple(苹果公司)
主动学习作为一种有效的数据汇集方法已被广泛研究。在文献中的许多方法中,期望误差减少(EER)(Roy和McCallum)已被证明是主动学习的有效方法:选择在期望中最大限度地减少未标记集合上的误差的候选样本。然而,EER要求对每个候选样本重新训练模型,因此由于这种巨大的计算成本,EER尚未广泛用于现代深度神经网络。在本文中,我们重新制定下贝叶斯主动学习的镜头EER,并得出一个计算效率的版本,可以使用任何贝叶斯参数采样方法(如arXiv:1506.02142)。然后,我们比较了我们的方法的经验性能,使用蒙特卡洛退出参数采样对最先进的方法在深度主动学习文献。实验在四个标准基准数据集和三个WILDS数据集(arXiv:2012.07421)上进行。结果表明,我们的方法优于所有其他方法,除了一个在数据移位的情况下:模型依赖,非信息理论的方法,需要一个数量级更高的计算成本(arXiv:1906.03671)。
2022-11-17 cs.LG
SMARTQUERY: An Active Learning Framework for Graph Neural Networks through Hybrid Uncertainty Reduction
Visa Research(维萨研究院)
图神经网络在表示学习方面取得了显著的成功。然而,性能的提高是有代价的;获取用于训练的全面标记数据可能非常昂贵。主动学习通过搜索未探索的数据空间并优先选择数据以最大化模型的性能增益来缓解这个问题。在本文中,我们提出了一种新的方法SMARTQUERY,一个框架来学习图神经网络与非常少的标记节点使用混合不确定性减少功能。这是通过两个关键步骤来实现的:(a)通过利用各种显式图信息来设计多阶段主动图学习框架,以及(b)引入标签传播以有效地利用已知标签来评估隐式嵌入信息。使用三个网络数据集上的一组全面的实验,我们证明了我们的方法在非常少的标记数据(每个类最多5个标记节点)上与最先进的方法相比的竞争性能。
2022-12-02 cs.LG
Active Clustering with Model-Based Uncertainty Reduction
SUNY at Buffalo(纽约州立大学布法罗分校)
半监督聚类试图通过结合人类专业知识提供的辅助信息来增强传统的聚类方法,以增加所得到的聚类的语义意义。然而,大多数当前的方法是\emph{passive},在这个意义上,边信息被预先提供并且被随机选择。这可能需要大量的约束,其中一些可能是冗余的,不必要的,甚至对聚类结果有害。因此,为了将这样的半监督算法扩展到更大的问题,期望追求\emph{active}聚类方法-即,通过仅在将具有最大影响的地方请求人的输入来最大化可用人力劳动的有效性的算法。在这里,我们提出了一个新的在线框架,主动半监督谱聚类,选择成对的约束聚类进行,基于不确定性减少的原则。使用一阶泰勒展开,我们分解成一个梯度和一个步骤规模,通过矩阵扰动理论和集群分配熵的应用程序计算,分别预期的不确定性降低问题。由此产生的模型用于估计数据集中每个样本的不确定性降低潜力。然后,我们提出的人类用户与成对查询,只有最好的候选样本。我们使用三种不同的图像数据集(人脸、树叶和狗)、一组常见的UCI机器学习数据集和一个基因数据集来评估我们的方法。结果验证了我们的分解公式,并表明我们的方法始终优于现有的最先进的技术,以及对噪声和未知数量的聚类具有鲁棒性。
2014-02-14 cs.CV cs.LG stat.ML
Efficient Diffusion Transformer Policies with Mixture of Expert Denoisers for Multitask Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);MIT(麻省理工学院)
本文提出去噪专家混合(MoDE)策略,通过稀疏专家和噪声条件路由实现参数高效扩展,在134个任务上超越现有扩散策略,减少40%活跃参数和90%推理成本,平均性能提升57%。
2024-12-17 cs.LG cs.RO
Active Inference for Binary Symmetric Hidden Markov Models
Yerevan Physics Institute(埃里温物理研究所);USC Information Sciences Institute(南加州大学信息科学研究所)
我们考虑隐马尔可夫模型(HMM)的主动最大后验概率(MAP)推理问题,其中,给定隐序列的初始MAP估计,我们选择标记序列中的某些状态,以提高剩余状态的估计精度。我们开发了一种分析方法,这个问题的情况下,二进制对称HSPINGS,并获得了一个封闭的形式的解决方案,涉及到预期的误差减少模型参数下指定的主动推理计划。然后,我们使用这个解决方案,以确定最佳的主动推理方案减少错误,并检查这些计划的启发式原则的不确定性减少和解决方案的唯一性的关系。
2014-11-03 cond-mat.dis-nn cs.IT cs.LG
SAFE-GIL: SAFEty Guided Imitation Learning for Robotic Systems
University of Southern California(南加州大学)
SAFE-GIL通过在数据收集时注入对抗性扰动引导专家进入安全关键状态,从而训练出在测试期间更安全的行为克隆策略,并在多个机器人导航任务中显著减少安全失败。
2024-11-19 cs.LG cs.RO cs.SY
Active Sampling of Interpolation Points to Identify Dominant Subspaces for Model Reduction
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所)
针对大规模线性结构化系统模型降阶中求解主导可达与可观测子空间成本过高的问题,提出基于广义Sylvester方程的主动插值点采样方法,以低秩解估计子空间,实现17倍加速且精度基本无损。
2024-09-05 cs.LG cs.NA math.DS
Active Fine-Tuning of Multi-Task Policies
Department of Computer Science, ETH Z\"urich, Z\"urich, Switzerland;Max Planck Institute for Intelligent Systems, T\"ubingen, Germany;University of T\"ubingen, T\"ubingen, Germany
本文提出主动多任务微调算法AMF,在有限演示预算下通过选择信息增益最大的任务进行演示,以高效微调预训练策略,并提供了理论保证和实验验证。
2025-06-22 cs.LG cs.RO
ILCAS: Imitation Learning-Based Configuration-Adaptive Streaming for Live Video Analytics with Cross-Camera Collaboration
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Simon Fraser University(西蒙弗雷泽大学)
针对实时视频分析中配置自适应的高剖析成本与DRL奖励失配问题,提出ILCAS,利用离线最优专家示范、运动特征和跨摄像头协作训练智能体,显著提升精度并降低上传延迟。
2023-11-02 cs.LG cs.MM cs.NI
Discovering Generalizable Spatial Goal Representations via Graph-based Active Reward Learning
Massachusetts Institute of Technology(麻省理工学院)
在这项工作中,我们考虑一次性模仿学习的对象重排任务,其中一个人工智能智能体需要观看一个单一的专家演示,并学习在不同的环境中执行相同的任务。为了实现强泛化,人工智能智能体必须推断任务的空间目标规范。然而,可以有多个目标规范适合给定的演示。为了解决这个问题,我们提出了一种奖励学习方法,基于图的等价映射(GEM),它可以发现与预期目标规范一致的空间目标表示,从而在看不见的环境中实现成功的泛化。具体地,GEM通过奖励函数表示空间目标规范,该奖励函数以i)指示对象之间的重要空间关系的图和ii)指示对应关系的不变性质的图中的每个边的状态等价映射为条件。GEM结合了反向强化学习和主动奖励学习,通过利用等价映射实现的图结构和域随机化来有效地改进奖励函数。我们用模拟神谕和人类做实验。结果表明,GEM可以大大提高学习目标表示在强基线上的泛化能力。
2022-11-24 cs.AI cs.LG cs.RO
Subspace-Distance-Enabled Active Learning for Efficient Data-Driven Model Reduction of Parametric Dynamical Systems
针对无控制方程的高保真动力系统反复求解问题,提出基于子空间距离的主动学习框架(SDE-AL),利用POD子空间距离引导挑选关键参数样本,动态构建降阶模型,有效提升了参数化物理模型的计算效率。
2025-06-25 cs.CE cs.LG cs.NA
Active-learning-based non-intrusive Model Order Reduction
Technical University of Munich(慕尼黑工业大学);Siemens Industrial Software GmbH(西门子工业软件有限公司);Siemens AG(西门子股份公司)
模型降阶(MOR)技术可以为快速仿真提供紧凑的数值模型。与侵入式MOR方法不同,非侵入式MOR不需要访问全阶模型(FOM),特别是系统矩阵。由于非侵入式MOR方法强烈依赖于FOM的快照,因此构建良好的快照集变得至关重要。在这项工作中,我们提出了一种新的主动学习方法,有两个新奇之处。一个新的想法,我们的方法是使用单时间步长快照从系统状态的估计减少的状态空间。这些状态是使用基于高斯过程回归(GPR)的误差估计器支持的贪婪策略选择的。此外,我们还引入了一种基于可能近似正确(PAC)学习的独立于用例的验证策略。在这项工作中,我们使用人工神经网络(ANN)来识别的降阶模型(ROM),但该方法可以类似地应用到其他ROM识别方法。通过二维热传导和三维真空炉模型测试了整个工作流程的性能。由于几乎不需要用户交互和独立于特定用例的训练策略,所提出的方法为工业用途提供了巨大的潜力,以创建所谓的可执行数字孪生(DT)。
2022-04-08 cs.CE cs.LG cs.NA
Active Uncertainty Reduction for Human-Robot Interaction: An Implicit Dual Control Approach
Princeton University(普林斯顿大学)
准确预测人类行为的能力对于机器人在交互式环境中的自主性的安全性和效率至关重要。不幸的是,机器人通常无法获得这些预测可能依赖的关键信息,例如人们的目标,注意力和合作意愿。对偶控制理论通过将预测模型的未知参数视为随机隐藏状态并使用系统操作期间收集的信息在运行时推断其值来解决这一挑战。虽然能够最佳地和自动地权衡探索和开发,但对于一般的交互式运动规划,双重控制在计算上是难以处理的,这主要是由于机器人轨迹优化和人类意图推理之间的基本耦合。在本文中,我们提出了一种新的算法方法,使主动减少不确定性的互动运动规划的基础上隐式双控制范式。我们的方法依赖于基于采样的随机动态规划的近似,从而导致一个模型预测控制问题,可以很容易地解决的实时梯度为基础的优化方法。由此产生的政策,以保持双控制效果的一类广泛的预测人类模型的连续和分类的不确定性。我们的方法的有效性与模拟驾驶的例子证明。
2022-06-05 cs.LG cs.RO cs.SY
Analysis of Self-Supervised Learning and Dimensionality Reduction Methods in Clustering-Based Active Learning for Speech Emotion Recognition
Unit of Computing Sciences, Tampere University, Finland(图皮大学计算科学系,芬兰);Helsinki University Hospital, Helsinki, Finland(赫尔辛基大学医院,芬兰)
本文研究了在语音情感识别中,利用自监督学习和降维方法提升基于聚类的主动学习性能,探讨了特征空间局部和全局拓扑结构对主动学习的影响,发现降维不影响性能且二维特征表现良好。
2022-06-21 cs.LG cs.SD eess.AS
PCA-Guided Autoencoding for Structured Dimensionality Reduction in Active Infrared Thermography
Khalifa University of Science and Technology(卡利法科技科学大学);Advanced Research and Innovation Center(先进研究与创新中心);Department of Aerospace Engineering(航空航天工程系);BioMedIA Lab(BioMedIA实验室);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);Department of Information Systems and Operations Research(信息系统与运营管理系);Vienna University of Economics and Business(维也纳经济与商业大学);Department of Industrial and Information Engineering and Economics (DIIIE)(工业与信息工程与经济学系);University of L’Aquila(拉奎拉大学);Department of Industrial and Systems Engineering(工业与系统工程系)
针对主动红外热成像自编码器潜在空间缺乏结构的问题,提出PCA引导的结构化降维框架,通过PCA蒸馏损失对齐潜在表示,并引入神经网络评估指标,在PVC等样本上优于现有方法。
2025-08-11 cs.AI cs.CV cs.LG