Bellman Meets Lyapunov: Unsupervised Reinforcement Learning via Mastering Chaos
Texas Tech University（德克萨斯理工大学）；Purdue University（普渡大学）
本文提出 Forward CIP（F-CIP），一种仅由系统动力学定义、无需选择信息变量的无监督强化学习目标，可无监督发现平衡等原始行为，并结合简单奖励产生跳跃、奔跑等协调步态。
2026-10-02 cs.LG
Improving drug sensitivity predictions in precision medicine through active expert knowledge elicitation
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）；Institute for Molecular Medicine Finland (FIMM)（芬兰分子医学研究所（FIMM））；University of Helsinki（赫尔辛基大学）
使用高维基因组测量来预测药物对给定个体的疗效是精准医学的核心。然而，识别预测所依据的特征仍然是一个挑战，特别是当样本量很小时。对专家知识进行分类提供了一种有希望的替代方案来改进预测模型，但是如果候选特征的数量非常大，则收集这样的知识对于专家来说是费力的。我们引入了一个概率模型，可以将专家反馈的基因组测量对癌细胞对给定药物的敏感性的影响。我们还提出了两种方法来智能地收集专家的反馈，使用实验设计和多臂强盗模型。在多发性骨髓瘤血癌数据集（n=51），专家知识减少了8%的预测误差。此外，智能方法可以用来减少反馈收集的工作量，平均不到30%相比，一个天真的方法。
2017-05-09 cs.AI cs.HC cs.LG
Active Exploration for Inverse Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对现有逆强化学习算法依赖环境模型或生成模型的局限，提出无需生成模型的主动探索算法AceIRL，具备样本复杂度界且性能优于朴素探索策略。
2023-08-22 cs.AI cs.LG stat.ML
Imitation Learning from Observation with Automatic Discount Scheduling
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海期智研究院）；UC Berkeley（加州大学伯克利分校）；Washington University in St. Louis（圣路易斯华盛顿大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对观察模仿学习（ILfO）中进度依赖任务难以学习的问题，本文提出自动折扣调度（ADS）机制，自适应调整折扣因子以先学早期行为，在九个Meta-World任务上全面超越现有方法。
2024-02-07 cs.AI cs.LG cs.RO
Exploring with Sticky Mittens: Reinforcement Learning with Expert Interventions via Option Templates
University of Pennsylvania（宾夕法尼亚大学）；Vanderbilt University（范德堡大学）；Children’s Hospital of Philadelphia（费城儿童医院）
具有稀疏奖励的长时间机器人学习任务对当前的强化学习算法提出了重大挑战。使人类能够学习具有挑战性的控制任务的一个关键特征是，他们经常接受专家干预，使他们能够在掌握低级别控制动作之前理解任务的高级结构。我们提出了一个利用专家干预来解决长期强化学习任务的框架。我们考虑\emph{option templates}，这是一种编码潜在选项的规范，可以使用强化学习进行训练。我们制定专家干预，允许代理执行选项模板之前，学习实现。这使他们能够使用一个选项，然后再投入昂贵的资源来学习it.We评估我们的方法上三个具有挑战性的强化学习问题，表明它优于国家的最先进的方法两个数量级。培训代理的视频和我们的代码可以在https://sites.google.com/view/stickymittens上找到
2022-11-17 cs.AI cs.LG stat.ML
Mastering Diverse Domains through World Models
Google DeepMind（谷歌DeepMind）；University of Toronto（多伦多大学）
针对强化学习算法跨领域需大量调参的难题，提出通用算法DreamerV3，靠世界模型与鲁棒技术以单一配置在超150项任务中胜出，还首次无人工干预在Minecraft中从零收集钻石，拓宽强化学习适用范围。
2024-04-17 cs.AI cs.LG stat.ML
Active Hierarchical Imitation and Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
人类可以利用层次结构将任务分解为子任务并有效地解决问题。模仿和强化学习或它们与层次结构的组合已被证明是机器人学习具有稀疏奖励的复杂任务的有效方法。然而，在以前的分层模仿和强化学习的工作中，测试环境是在相对简单的2D游戏中，并且动作空间是离散的。此外，许多模仿学习的工作重点是改进从硬编码或通过强化学习算法训练的专家策略而不是人类专家学习的策略。在人机交互的场景中，可能需要人类提供演示来教导机器人，因此提高学习效率以减少专家的努力并了解人类对学习/训练过程的感知至关重要。在这个项目中，我们探索了不同的模仿学习算法，并在我们开发的分层模仿和强化学习框架上设计了主动学习算法。我们进行了一个实验，要求五名参与者引导一个随机初始化的代理到迷宫中的一个随机目标。我们的实验结果表明，使用Dagger和基于奖励的主动学习方法可以获得更好的性能，同时节省了更多的人力物力在训练过程中。
2020-12-14 cs.AI cs.LG cs.RO
A New Framework for Query Efficient Active Imitation Learning
Georgia Institute of Technology（佐治亚理工学院）
我们寻求在强化学习（RL）环境中将代理策略与人类专家行为相结合，而无需任何关于动态，奖励函数和不安全状态的先验知识。有一个人类专家知道的奖励和不安全的状态，基于他的偏好和目标，但查询人类专家是昂贵的。为了解决这一挑战，我们提出了一个新的框架模仿学习（IL）算法，积极和互动地学习用户的奖励函数与有效的查询模型。我们建立了一个对抗性的状态生成模型和一个后继特征（SR）模型，该模型通过学习策略收集的过渡经验进行训练。我们的方法使用这些模型来选择状态-动作对，要求用户评论最优性或安全性，并训练对抗性神经网络来预测奖励。与以往几乎都是基于不确定性采样的文献不同，本文的核心思想是通过区分查询（专家）和未查询（生成）数据，最大化价值函数学习效率，从策略上和策略外的经验中主动有效地选择状态-动作对。我们称这种方法为具有后继表示的对抗性奖励查询。我们评估所提出的方法与模拟人基于状态的2D导航任务，机器人控制任务和基于图像的视频游戏，其中具有高维观测和复杂的状态动态。实验结果表明，该方法在学习奖励模型方面明显优于基于不确定性的方法，获得了更好的查询效率，其中对抗性搜索可以使Agent更有效地学习人类行为，SR可以选择对价值函数影响更大的状态。此外，所提出的方法还可以学习，以避免不安全的状态时，训练的奖励模型。
2019-12-30 cs.AI cs.LG stat.ML
Active Policy Improvement from Multiple Black-box Oracles
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
针对多黑盒次优专家选择难题，提出MAPS与MAPS-SE算法，通过主动选择模仿预言机并探索状态，显著提升了策略优化的样本效率。
2025-08-11 cs.AI cs.LG stat.ML
Cost-Effective Proxy Reward Model Construction with On-Policy and Active Learning
University of Washington（华盛顿大学）；Microsoft Corporation（微软公司）
针对RLHF中人类偏好数据不足、在线算法专家查询成本高的问题，首次提出结合同策略查询与主动学习的代理奖励模型构建策略，用少量标注数据实现高效偏好标注，提升模型性能且可与其他策略融合降本。
2024-07-09 cs.AI cs.CL cs.LG
Mixture of Masters: Sparse Chess Language Models with Player Routing
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出Mixture-of-Masters模型，通过稀疏专家网络实现国际象棋生成的多样化与可控性，优于传统密集模型和GPT基线。
2026-05-08 cs.AI cs.LG
Contextual Bandits and Imitation Learning via Preference-Based Active Queries
MIT（麻省理工学院）；Cornell University（康奈尔大学）
本文针对无法直接获知动作奖励的上下文老虎机与模仿学习问题，提出基于偏好主动查询的算法，实现了接近标准设定的遗憾界与低查询复杂度，且在专家次优时能超越专家。
2023-07-24 cs.AI cs.HC cs.LG
Learning to Multi-Task by Active Sampling
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
在人工智能中，学习目标导向行为的一个长期存在的挑战是构建一个能够解决多个任务的单个智能体。针对目标导向序列问题的多任务学习的最新进展是基于蒸馏的学习，其中学生网络通过模仿专家网络的任务特定策略来从多个任务特定专家网络学习。虽然这种方法为多任务学习问题提供了一个有前途的解决方案，但它们需要大型专家网络的监督，这需要大量的数据和计算时间进行训练。在这项工作中，我们提出了一个有效的多任务学习框架，解决了多个目标导向的任务，在一个在线设置，而不需要专家的监督。我们的工作使用主动学习的原则，以实现多任务的学习，采样更难的任务比更容易的。我们提出了三个不同的模型下，我们的主动采样框架。一种自适应方法，具有极具竞争力的多任务性能。一个基于UCB的元学习器，它将选择下一个任务进行训练的问题转化为多臂强盗问题。一种元学习方法，将下一个任务选择问题转换为一个完整的强化学习问题，并使用演员评论方法直接优化多任务性能。我们在Atari 2600域中演示了七个多任务实例的结果：三个6任务实例，一个8任务实例，两个12任务实例和一个21任务实例。
2017-05-21 cs.LG cs.NE
Active Learning for Risk-Sensitive Inverse Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Xi’an Jiaotong University（西安交通大学）
逆向强化学习（IRL）中的一个典型假设是人类专家采取行动来优化具有固定分布的随机成本的期望效用。这一假设偏离了人类在歧义情况下的实际行为。风险敏感逆强化学习（RS-IRL）通过假设人类根据相对于一组主观扭曲的分布而不是固定分布的随机成本来行动来弥合这种差距。这样的假设提供了额外的灵活性，以模拟人类的风险偏好，表示的风险信封，在安全关键的任务。然而，像其他示教学习技术一样，RS-IRL也可能由于冗余的示教而导致学习效率低下。受主动学习概念的启发，本研究推导出一个概率扰动采样方案，使RS-IRL代理查询专家支持，这可能会暴露未透露的边界的专家的风险信封。实验结果表明，我们的方法加快了RS-IRL算法的收敛速度，具有较低的方差，同时仍然保证无偏收敛。
2019-09-23 cs.LG cs.RO stat.ML
Impossible Tuning Made Possible: A New Expert Algorithm and Its Applications
University of Southern California（南加州大学）
我们解决了长期存在的“不可能调整”的问题，经典的专家问题，并表明，它实际上是可能实现遗憾$O\left(\sqrt{(\ln d)\sum_t \ell_{t,i}^2}\right)$同时为所有专家$i$在$T$轮$d$ -专家问题，其中$\ell_{t,i}$是专家$i$在轮$t$的损失。我们的算法是基于镜像下降框架的校正项和加权熵正则化。虽然很自然，但该算法以前没有被研究过，需要仔细分析。我们还概括了$O\left(\sqrt{(\ln d)\sum_t (\ell_{t,i}-m_{t,i})^2}\right)$的任何预测向量$m_t$，学习者接收的约束，并恢复或改善许多现有的结果，通过选择不同的$m_t$。此外，我们使用相同的框架来创建一个主算法，它结合了一组基本算法，并以很小的开销学习最好的算法。我们的主人的新保证使我们能够为专家问题和更普遍的在线线性优化得出许多新的结果。
2021-11-04 cs.CC cs.LG
How To Guide Your Learner: Imitation Learning with Active Adaptive Expert Involvement
Nanjing University（南京大学）；The University of Hong Kong（香港大学）；Peng Cheng Laboratory（鹏城实验室）
模仿学习的目标是在没有明确奖励信号的情况下模仿专家的行为。使用静态专家数据集的被动模仿学习方法通常遭受复合误差、低样本效率和高超参数敏感性。相反，主动模仿学习方法需要专家干预来解决局限性。然而，目前的主动模仿学习方法都是基于人的直觉或经验而设计的，没有理论保证。在本文中，我们提出了一个新的主动模仿学习框架的基础上，教师的目标是确定最佳的教学行为，并积极影响学生的学习过程。通过解决这个框架的优化目标，我们提出了一个实际的实现，命名为AdapMen。理论分析表明，AdapMen在较温和的条件下，可以提高误差界，避免复合误差。MetaDrive基准测试和Atari 2600游戏上的实验验证了我们的理论分析，并表明我们的方法比以前的方法具有更少的专家参与和总采样步骤，达到了接近专家的性能。该代码可在https://github.com/liuxhym/AdapMen上获得。
2023-03-03 cs.LG
Sample-Efficient Expert Query Control in Active Imitation Learning via Conformal Prediction
Department of Computer Science, University of Southern California（计算机科学系，南加州大学）；Department of Information Technology and Electrical Engineering, ETH Zurich（信息科技与电气工程系，苏黎世联邦理工学院）
CRSAIL通过置信预测实现高效的专家查询控制，在主动模仿学习中减少专家查询次数，提升机器人任务的训练效率。
2025-11-29 cs.AI cs.LG cs.RO
Active Learning with Expert Advice
Nanyang Technological University（南洋理工大学）；Microsoft Corporation（微软公司）
利用专家建议方法的常规学习假设学习者总是接收结果（例如，类标签）的每个传入的训练实例在每个试验结束时。在实际应用程序中，从Oracle获取结果可能成本高昂或耗时。在本文中，我们解决了一个新的问题，主动学习与专家的意见，一个实例的结果是公开的，只有当它是由在线学习者的要求。我们的目标是通过向Oracle询问尽可能少的问题来学习准确的预测模型。为了应对这一挑战，我们提出了一个主动预测器框架，用于在线主动学习，并提供专家建议，该框架试图扩展两个常规预测器，即，指数加权平均预测器和贪婪预测器，通过专家建议来解决主动学习的任务。我们证明了所提出的算法满足汉南一致性在一些适当的假设下，并验证了我们的技术的有效性，通过一组广泛的实验。
2013-09-26 cs.LG stat.ML
Budgeted Online Active Learning with Expert Advice and Episodic Priors
Oregon State University（俄勒冈州立大学）；Washington State University（华盛顿州立大学）
本文针对标签预算极少的有限时域数据流，提出一种同时利用专家预测器和情景行为先验的预算在线主动学习方法，并在农业模拟与真实葡萄数据上验证其显著优于现有基线。
2025-06-03 cs.LG
SENSOR: Imitate Third-Person Expert's Behaviors via Active Sensoring
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对视觉模仿学习中智能体与第三人称专家视角错位的问题，本文提出基于模型的SENSOR框架，通过联合学习世界模型、传感器策略和运动策略实现主动视角调整，并在视觉运动任务中优于多数基线。
2024-04-04 cs.AI cs.LG cs.RO
LExI: Layer-Adaptive Active Experts for Efficient MoE Model Inference
Argonne National Laboratory（阿贡国家实验室）
针对现有MoE模型推理效率低、层间固定专家数导致冗余的问题，提出无数据优化技术LExI，按层权重重要性自适应分配激活专家数，在精度损失可忽略的前提下显著提升推理效率。
2025-09-02 cs.LG
SDG-MoE: Signed Debate Graph Mixture-of-Experts
Innopolis University（因诺波利斯大学）；Sirius University（西里乌斯大学）；HSE University（俄罗斯高等经济大学）
SDG-MoE通过引入轻量级迭代辩论步骤提升混合专家模型性能，通过支持图和批评图捕获专家间相互影响，结合分歧门控机制保持专业性，实验显示在预训练任务中表现优于基线模型。
2026-05-12 cs.AI cs.LG
Active Learning within Constrained Environments through Imitation of an Expert Questioner
Georgia Institute of Technology（佐治亚理工学院）
主动学习代理通常采用查询选择算法，该算法仅考虑代理的学习目标。然而，这在更现实的人类领域中可能是不够的。这项工作使用模仿学习，使代理在一个受约束的环境中，同时考虑其内部的学习目标和外部施加的环境约束，所有在其目标函数。实验进行了概念学习任务，以测试所提出的算法的推广到不同的环境条件下，并分析时间和资源约束如何影响解决学习问题的效率。我们的研究结果表明，环境意识的学习代理是能够在统计上优于所有其他主动学习者探索在大多数的约束条件下。一个关键的含义是适应主动学习代理更现实的人类环境，约束往往是外部强加给学习者。
2019-07-01 cs.AI cs.LG cs.RO
MetaTool: Facilitating Large Language Models to Master Tools with Meta-task Augmentation
Foundation Technology Center, Tencent PCG（腾讯平台与内容事业群基础技术中心）
针对大语言模型工具使用泛化难、标注成本高的问题，提出MetaTool方法，通过元任务自监督增强生成训练数据，提升开源模型工具使用性能，实现新任务零样本泛化。
2024-10-08 cs.AI cs.CL cs.LG
RadGrad: Active learning with loss gradients
University of Toronto（多伦多大学）
解决顺序决策预测问题，包括那些在模仿学习设置，需要减轻的问题，协变量偏移。标准的方法Dagger依赖于在智能体到达的所有状态下捕获专家行为。在现实世界中，咨询专家的成本很高。我们提出了一种新的主动学习算法，有选择地查询专家，基于代理错误和代理风险的预测，保持无约束的专家查询系统的性能，同时大大减少了专家查询的数量。我们表明，我们的方法，RadGrad，有可能改善现有的安全意识算法，并匹配或超过Dagger和变体的性能（即，SafeDagger）在一个模拟环境中。然而，我们也发现，更复杂的环境不仅对我们提出的方法提出了挑战，而且对现有的安全感知算法提出了挑战，这些算法在我们的实验中与Dagger的性能不匹配。
2019-06-18 cs.AI cs.LG cs.RO
Diffusion Policy with Bayesian Expert Selection for Active Multi-Target Tracking
University of Georgia（佐治亚大学）；University of Connecticut（康涅狄格大学）
本文提出一种基于贝叶斯框架的扩散策略，用于主动多目标跟踪，通过预测专家策略的跟踪性能并选择最不确定的策略，提升跟踪效果。
2026-04-03 cs.LG cs.RO
Active Imitation Learning with Noisy Guidance
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
模仿学习算法通过学习接近最优的搜索策略，在许多结构化预测任务上提供最先进的结果。这样的算法假设训练时间访问专家，可以在任何查询状态下提供最佳动作;不幸的是，这样的查询的数量往往是禁止的，经常使这些方法不切实际。为了对抗这种查询的复杂性，我们考虑一个主动学习设置中，学习算法有额外的访问一个便宜得多的嘈杂启发式，提供嘈杂的指导。我们的算法，LEAQI，学习一个差异分类器，预测当专家可能不同意的启发式，并询问专家只有在必要的时候。我们将LEAQI应用于三个序列标签任务，展示了对专家的查询显着减少，并且与被动方法相比具有相当（或更好）的准确性。
2020-05-26 cs.AI cs.CL cs.LG
Active Ranking of Experts Based on their Performances in Many Tasks
INRAE（法国国家农业、食品与环境研究院）；Institut Agro（农业学院）；Univ Montpellier（蒙彼利埃大学）；Universität Potsdam（波茨坦大学）
针对多任务下专家排序问题，论文在单调性假设下提出主动查询策略，给出高概率实例相关查询界及近似匹配下界，并扩展到最佳专家识别。
2023-06-05 cs.LG stat.ML
Efficient Active Imitation Learning with Random Network Distillation
Centrale Supelec（中央高等电力学院）；Ubisoft La Forge（育碧 La Forge（育碧旗下研发机构））；H Company（H公司）
针对无明确目标的复杂任务中模仿学习在分布外场景失效、依赖人类演示扩展数据集成本高的问题，提出RND-DAgger方法，利用随机网络蒸馏的分布外度量触发必要专家干预，在多任务中减少专家查询并超越传统方法。
2025-04-14 cs.LG
A New Vision of Collaborative Active Learning
University of Kassel（卡塞尔大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；University of Kaiserslautern（凯泽斯劳滕大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
主动学习（AL）是一种学习范例，其中主动学习者必须训练模型（例如，分类器），其原则上以监督的方式训练，但在AL中，它必须借助于具有初始未标记样本的数据集来完成。为了获得这些样本的标签，主动学习者必须询问oracle（例如，人类专家）用于标签。目标是最大化模型的性能，同时最小化查询的数量。在这篇文章中，我们首先简要地讨论了该领域的艺术和自己的，初步的工作状态。然后，我们提出了合作的主动学习（CAL）的概念。通过CAL，我们将克服当前AL的一些苛刻限制。特别是，我们设想了专家可能因各种原因而错误的情况，可能有几个甚至许多具有不同专业知识的专家，专家不仅可以标记样本，还可以标记更高级别的知识，如规则，我们认为标记成本取决于许多条件。此外，在CAL过程中，人类专家也将通过提高自己的知识而受益。
2015-12-22 cs.LG stat.ML
IDEA: An Inverse Domain Expert Adaptation Based Active DNN IP Protection Method
School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）；Engineering Research Center of Digital Forensics, Ministry of Education, School of Computer Science, Nanjing University of Information Science and Technology（教育部长数字取证工程研究中心、信息科学技术大学计算机学院）；School of Electrical and Electronic Engineering and National Integrated Centre for Evaluation (NiCE), Nanyang Technological University（南洋理工大学电子与电气工程学院和国家整合评估中心（NiCE））
本文提出IDEA，一种基于逆向领域专家自适应的主动DNN IP保护方法，通过混合专家模型和知识蒸馏实现主动授权与来源追溯，有效抵御未授权访问和IP侵权。
2025-05-30 cs.AI cs.CR cs.CV
Active WeaSuL: Improving Weak Supervision with Active Learning
ING Wholesale Banking Advanced Analytics（ING批发银行高级分析部）；University of Amsterdam（阿姆斯特丹大学）；Feebris（Feebris公司）
标记数据的可用性是机器学习的主要限制之一。我们可以使用弱监督来缓解这种情况：一个使用专家定义的规则$\boldsymbolλ$来估计整个数据集的概率标签$p(y|\boldsymbolλ)$的框架。然而，这些规则依赖于专家对问题的了解，因此可能是不准确的，或者可能无法捕获问题空间的重要部分。为了缓解这一问题，我们提出了主动WeaSuL：一种将主动学习纳入弱监督的方法。在Active WeaSuL中，专家不仅定义规则，而且还迭代地为弱监督模型最有可能出错的一小部分点提供真实标签，然后用于更好地估计概率标签。通过这种方式，弱标签提供了一个温暖的开始，然后主动学习进行改进。我们做两个贡献：1）弱监督损失函数的修改，使得专家标记的数据通知并改进弱标记的组合;以及2）maxKL发散采样策略，其确定专家标记对于哪些数据点最有益。我们的实验表明，当标记数据的预算有限时（例如$\leq 60$数据点），Active WeaSuL优于弱监督，主动学习和竞争策略，只有少数标记的数据点。这使得Active WeaSuL非常适合难以获得标记数据的情况。
2021-04-30 cs.LG stat.ML
Mixtures of Neural Operators Reduce Active Complexity in Operator Learning
McMaster University and Vector Institute（麦斯特大学和向量研究所）；Shimane University（岛根大学）；Rice University（里士满大学）；University of Helsinki（赫尔辛基大学）
通过路由混合神经算子（MoNO）与固定单神经算子构造的比较，证明MoNO在主动专家规模上具有更优的深度、宽度和秩缩放，且对Lipschitz目标这些量以O(ε^{-1})为界。
2026-06-08 cs.AI cs.LG cs.NA
Active Third-Person Imitation Learning
University of Vienna（维也纳大学）；Max Planck Institute of Software Systems（马克斯·普朗克软件系统研究所）
本文提出主动第三人称模仿学习问题，学习者需选择观察视角，并采用基于生成对抗网络的主动学习方法，有效整合多视角信息以提升模仿性能。
2023-12-27 cs.AI cs.LG stat.ML
Active Reward Learning from Online Preferences
Stanford University（斯坦福大学）
机器人策略需要适应人类偏好和/或新环境。人类专家可能拥有帮助机器人实现这种适应所需的领域知识。然而，现有的工作通常需要对人类反馈进行昂贵的离线重新训练，并且这些反馈通常需要频繁且过于复杂，以至于人类无法可靠地提供。为了避免给人类专家带来不必要的负担，并允许在关键的现实情况下快速适应，我们建议设计并以在线方式谨慎地呈现易于回答的成对动作偏好查询。我们的方法设计查询，并确定何时提出它们，以最大限度地提高预期值来自查询的信息。我们证明了我们的方法与模拟实验，人类用户的研究，和真正的机器人实验。在这些设置中，我们的方法优于基线技术，同时向人类专家提出更少的查询。实验视频、代码和附录可以在https://sites.google.com/view/onlineactivepreferences上找到。
2023-02-27 cs.AI cs.LG cs.RO
Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks
Institute of Science Tokyo（东京科学研究院）；NII LLMC（国家信息研究所语言模型中心）；Tohoku University（东北大学）；RIKEN（日本研究机构）
研究通过分析MoE模型的稀疏性对记忆和推理任务的影响，发现推理任务需在活跃FLOPs和TPP之间找到最优平衡。
2026-03-01 cs.AI cs.CL cs.LG
Generalization and Scaling Laws for Mixture-of-Experts Transformers
Univ Lyon, Lyon 2, LIRIS UMR 5205（里昂大学，里昂第二大学，LIRIS UMR 5205）
本文研究了混合专家变换器的泛化和缩放规律，通过分离输入容量与路由组合学，推导出覆盖数界，并结合标准ERM分析得出泛化界，揭示了在适当考虑活跃参数时，近似与估计的权衡。
2026-10-22 cs.AI cs.LG math.ST
Embodied Active Learning of Relational State Abstractions for Bilevel Planning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
提出具身主动学习范式，通过在线专家查询学习谓词解释，用于机器人双层规划，在三个环境中优于六个基线，提升样本效率。
2023-06-19 cs.AI cs.LG cs.RO
SynAct: Synergistic Active Feedback Learning for LLM Agents
Amazon（亚马逊）
SynAct是面向LLM智能体的主动学习框架，通过在单个决策层面分配专家反馈，在16个评估设置中平均提升准确率11.7个百分点，还可迁移至推理时路由并取得优异表现。
2026-10-12 cs.LG
Active anomaly detection based on deep one-class classification
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Harvard University（哈佛大学）
本文针对 Deep SVDD 的主动学习，提出基于自适应边界的不确定样本查询策略和结合噪声对比估计的半监督单类分类方法，并在七个异常检测数据集上验证其有效性。
2023-09-18 cs.LG
Parameter-free version of Adaptive Gradient Methods for Strongly-Convex Functions
Georgia Institute of Technology（佐治亚理工学院）
本文针对λ-强凸函数上自适应梯度方法依赖λ与η的问题，借鉴Metagrad并行运行多专家并聚合预测，提出无参数主算法，获得O(d log T)遗憾界。
2023-07-15 cs.LG math.OC
Real-Time Learning from An Expert in Deep Recommendation Systems with Marginal Distance Probability Distribution
Florida Institute for Human and Machine Cognition（佛罗里达人类与机器认知研究所）
推荐系统在当今的数字世界中发挥着重要作用。它们已经在诸如音乐平台的各种应用中得到应用，Spotify和电影流媒体服务，例如，网飞体育锻炼推荐系统的研究较少。久坐不动的生活方式已经成为几种疾病和医疗费用的主要驱动力。在本文中，我们开发了一个推荐系统的日常锻炼活动的用户的基础上，他们的历史，个人资料和类似的用户。开发的推荐系统使用了深度递归神经网络与用户配置文件的注意力和时间注意力机制。此外，练习推荐系统与流推荐系统有很大的不同，因为我们无法从练习推荐系统的参与者那里收集点击反馈。因此，我们提出了一个实时的【形】的，专家在环主动学习过程。主动学习器计算每个用户在每个时间步的推荐器的不确定性，并在确定性低时向专家请求推荐。本文推导了边际距离的概率分布函数，并利用它来确定何时向专家征求反馈。我们在mHealth数据集上的实验结果显示，将实时的【形】主动学习者与推荐系统结合后，准确性得到了提高。
2022-04-04 cs.AI cs.CV cs.HC
Human-in-the-loop Active Covariance Learning for Improving Prediction in Small Data Sets
Department of Computer Science, Aalto University（阿尔托大学计算机科学系）；Helsinki Institute for Information Technology (HIIT)（赫尔辛基信息技术研究所(HIIT)）
从高维数据中学习预测模型是高维统计学中的一个关键问题。专家知识启发可以提供帮助，一个强大的工作线集中在直接引出参数的信息先验分布。这要么需要大量统计专门知识，要么很费力，因为重点是准确性，而不是过程的效率。另一种工作是一次查询一个特征的重要性，假设它们是独立的，因此缺少协方差信息。相比之下，我们建议引发专家知识的成对特征相似性，借用统计强度的预测，并使用顺序决策技术，以尽量减少专家的努力。实证结果表明，在高维线性回归任务中，基于顺序启发，我们用高斯过程学习协方差结构，从而提高了模拟和真实数据的预测性能。
2019-03-18 cs.HC cs.LG stat.ML
Deep Active Learning for Anomaly Detection
Kunumi；University of Cambridge（剑桥大学）；DeepMind；UFMG（米纳斯吉拉斯联邦大学）
人类专家凭直觉很容易理解异常，但很难用数学来定义。因此，为了在无监督异常检测中具有性能保证，需要假设异常是什么。相比之下，主动学习通过适当的专家反馈提供必要的先验知识。因此，在这项工作中，我们提出了一种主动学习方法，该方法可以建立在现有的深度学习解决方案基础上，用于无监督异常检测，从而可以有效地将离群值与正常数据分离。我们引入了一个新的层，可以很容易地附加到任何为无监督异常检测设计的深度学习模型中，将其转换为主动方法。我们报告的结果合成和真实的异常检测数据集，使用多层感知器和自动编码器架构授权与建议的活动层，我们讨论了他们的性能，发现集群和低密度异常。
2020-04-07 cs.LG stat.ML
Low-Regret Active learning
MIT（麻省理工学院）；University of Haifa（海法大学）
我们开发了一种在线学习算法，用于识别对训练信息量最大的未标记数据点（即，主动学习）。通过将主动学习问题公式化为睡眠专家问题的预测，我们提供了一个后悔最小化框架，用于识别与任何给定的信息量定义相关的数据。受主动学习中集成成功的启发，我们将遗憾定义为可以访问无限大集成的全能算法。我们工作的核心是为睡眠专家提供一种高效的算法，该算法经过量身定制，可以在简单的情况下实现低遗憾，同时对对抗性的情况保持弹性。低遗憾意味着我们可以证明与集成方法\emph{without the computational burden of having to train an ensemble}竞争。这与最先进的主动学习方法形成对比，这些方法绝大多数基于贪婪选择，因此无法确保在具有大量噪声的问题实例中具有良好的性能。我们提出的实证结果表明，我们的方法（i）实例化的信息量的措施始终优于其贪婪的同行和（ii）可靠地优于均匀采样在现实世界的情况下。
2022-02-22 cs.LG
Active Imitation Learning via Reduction to I.I.D. Active Learning
Oregon State University（俄勒冈州立大学）
在标准的被动模仿学习中，目标是通过被动地观察目标策略的完整执行轨迹来学习目标策略。不幸的是，生成这样的轨迹可能需要大量的专家努力，并且在某些情况下是不切实际的。在本文中，我们认为主动模仿学习的目标是减少这种努力，通过询问专家所需的行动在个别国家，这是根据过去的查询和学习者的互动与环境模拟器的答案选择。我们介绍了一种新的方法，基于减少主动模仿学习i.i.d.。主动学习，可以利用i.i.d.的进步。设置.我们的第一个贡献，是分析非静态和静态策略的减少，表明主动模仿学习的标签复杂性（查询数量）可以大大低于被动学习。我们的第二个贡献，是引入一个实用的算法的启发减少，这是非常有效的，在四个测试域相比，一些替代品。
2012-10-16 cs.LG stat.ML
Dense vs Sparse Pretraining at Tiny Scale: Active-Parameter vs Total-Parameter Matching
Independent Researcher（独立研究者）
本文研究了在微小预训练规模下密集和混合专家（MoE）Transformer的表现，通过比较主动参数与总参数匹配策略，发现MoE在主动参数匹配下验证损失更优，但总参数匹配下密集模型仍更优。
2026-05-13 cs.CL cs.LG
Conditional Capacity and Routing in Mixture-of-Experts Particle Transformers
University of California San Diego（加州大学圣迭戈分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Fermi National Accelerator Laboratory（费米国家加速器实验室）；University of California Davis（加州大学戴维斯分校）
本研究在JetClass-II上对比密集与MoE粒子Transformer，发现top-1 MoE在计算量不变时提升精度，多专家激活增加计算成本但提升预测，并强调需区分存储容量、活跃计算、路由容量与组织。
2026-10-08 cs.LG hep-ex
IALE: Imitating Active Learner Ensembles
Friedrich-Alexander University Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所（IIS））；Ludwig-Maximilians-University (LMU)（路德维希-马克西米利安大学（LMU））
主动学习（AL）优先标记信息量最大的数据样本。然而，AL算法的性能取决于底层分类器模型和数据的结构。我们提出了一个模仿学习计划，模仿选择最好的专家启发式在每个阶段的AL周期在一个批处理模式池为基础的设置。我们使用DAGGER在数据集上训练策略，然后将其应用于来自类似领域的数据集。通过多个AL代理作为专家，该策略能够反映给定AL过程的当前状态的最佳AL代理的选择。我们在知名数据集上的实验表明，我们的表现都优于最先进的模仿学习器和模仿学。
2020-09-22 cs.LG stat.ML
Active Learning for Efficient Annotation of Surgical Videos with Weak Supervision
University of Pennsylvania（宾夕法尼亚大学）
针对腹腔镜视频标注难题，提出人在回路知识获取框架，结合主动学习与双损失优化，利用基础模型及互补训练目标生成CAMs，迭代提出伪掩码引导标注，减少标注工作量50%，实现模型开发可扩展性及高效知识获取。
2026-07-16 cs.CV cs.LG
Beyond the Leaderboard: Multi-Dimensional Evaluation of Dense and Mixture-of-Experts Models for Automated Program Repair
National Institute of Technology, Calicut（卡利卡特国家理工学院）
针对自动程序修复，提出加权质量指数（QI）综合评估功能正确性、可维护性、安全性和效率，发现MoE模型以更少激活参数达到与较大密集模型相当的正确性，凸显激活参数作为评估视角的重要性。
2026-10-07 cs.LG cs.SE
Hierarchical Subquery Evaluation for Active Learning on a Graph
University College London（伦敦大学学院）
为了训练好的监督和半监督对象分类器，我们不能浪费提供训练标签的人类专家的时间。现有的主动学习策略可能具有不均匀的性能，在某些数据集上是有效的，但在其他数据集上是浪费的，或者在同一数据集上的运行之间是不一致的。我们提出了基于困惑的图的建设和一个新的层次子查询评估算法，以打击这种变化，并释放潜在的预期错误减少。在某些特定的情况下，期望错误减少已经成为主动学习中表现最强的信息量标准之一。到目前为止，计算大型数据集的成本也高得令人望而却步。我们展示了我们的高度实用的算法，将其与其他主动学习措施在稀疏性，维度和大小不同的分类数据集进行比较。我们的算法在多次运行中保持一致，并实现了高准确性，同时以与其所需时间预算相匹配的频率向人类专家查询标签。
2015-04-30 cs.CV cs.LG stat.ML
