Active choice of teachers, learning strategies and goals for a socially guided intrinsic motivation learner
INRIA(法国国家信息与自动化研究所);ENSTA ParisTech(巴黎高等科技学院)
我们提出了一个主动学习架构,允许机器人主动学习哪种数据汇集策略对于获得运动技能以实现多个结果是最有效的,并概括其经验以实现新的结果。机器人通过交互式学习和目标模糊来探索它的环境。它同时从几个可用的老师那里学习什么时候,谁和什么要积极模仿,并学习什么时候不使用社会指导,而是使用积极的目标导向的自我探索。这是在终身战略学习的框架内正式确定的。建议的架构,被称为社会引导的内在动机与教师和策略的积极选择(SGIM-ESTA),依赖于层次的积极决定什么和如何学习的经验评估的学习进展为每个学习策略的驱动。我们说明了一个实验,模拟机器人学习控制其手臂实现两种不同的结果。在每一个学习阶段,它都要主动地、分层次地进行选择:1)学习什么:选择哪一个结果最有趣,作为目标导向探索的目标; 2)如何学习:在自我探索、模仿和仿效中使用哪一种数据汇集策略; 3.一旦他决定了什么时候模仿什么,选择模仿或仿效,那么他就必须从一组不同的老师中选择模仿谁。我们表明,SGIM-ESTO学习效率显着高于使用单一的学习策略,并连贯地选择最佳策略,就所选择的结果,利用现有的教师(具有不同水平的技能)。
2018-04-18 cs.AI cs.LG stat.ML
Active Learning with Partial Feedback
Carnegie Mellon University(卡内基梅隆大学);Amazon AI(亚马逊人工智能);California Institute of Technology(加州理工学院)
虽然许多主动学习论文假设学习者可以简单地要求一个标签并获得它,但真正的注释通常会在标签的形式(例如,许多类中的一个)和注释的形式(通常是/否二进制反馈)之间出现不匹配。为了注释多类分类的示例语料库,我们可能需要询问多个是/否问题,如果有标签层次结构,则利用标签层次结构。为了解决这个更现实的设置,我们提出了部分反馈的主动学习(ALPF),学习者必须主动选择要标记的例子和要问的二元问题。在每一步,学习者选择一个例子,询问它是否属于一个选定的(可能是复合的)类。每个答案消除了一些类,给学习者留下了部分标签。然后,学习者可能会对同一个例子提出更多的问题(直到发现一个确切的标签),或者立即继续前进,留下第一个例子部分标记。使用部分标签的主动学习需要(i)选择(示例、类)对的采样策略,以及(ii)从轮之间的部分标签学习。在Tiny ImageNet上的实验表明,与i.i.d.相比,我们最有效的方法在前1分类准确率上提高了26%(相对)。基线和标准主动学习者给出注释数据集所需(天真地)注释预算的30%。此外,ALPF学习者完全注释TinyImageNet的成本降低了42%。令人惊讶的是,我们观察到,占每个例子的注释成本可以改变传统的智慧,积极的学习者应该征求标签硬的例子。
2019-07-09 cs.LG
UPAL: Unbiased Pool Based Active Learning
School of Computational Science & Engineering, Georgia Tech(佐治亚理工学院计算科学与工程学院)
在本文中,我们解决的问题池为基础的主动学习,并提供了一种算法,称为UPAL,其工作原理是最小化的无偏估计量的风险,在给定的假设空间的假设。对于线性分类器和平方损失的空间,我们表明,UPAL是等价于指数加权平均预测。利用最近的一些结果,随机矩阵的谱允许我们建立一致的UPAL时,真正的假设是一个线性假设。与Vowpal Wabbit中的主动学习器实现和先前提出的基于池的主动学习器实现的实证比较显示出良好的实证性能和更好的可扩展性。
2011-11-13 cs.AI cs.LG stat.ML
Active perception and disentangled representations allow continual, episodic zero and few-shot learning
Cerenaut AI
本文提出一种互补学习系统,通过主动感知与解耦表示实现持续、零样本和少样本学习,无需依赖泛化能力。
2026-02-22 cs.AI cs.LG
Responsible Active Learning via Human-in-the-loop Peer Study
The University of Sydney(悉尼大学);ShanghaiTech University(上海科技大学)
已经提出了主动学习,以通过仅手动标记用于训练的代表性数据样本来减少数据注释工作。同时,最近的主动学习应用已经从云计算服务中受益匪浅,云计算服务不仅具有足够的计算资源,而且还具有将许多人包括在主动学习循环中的众包框架。然而,以前的主动学习方法总是需要将大规模未标记的数据传递到云端,这可能会引发严重的数据隐私问题。为了降低这种风险,我们提出了一种负责任的主动学习方法,即同伴学习(PSL),同时保护数据隐私和提高模型的稳定性。具体来说,我们首先引入了一个人在环师生架构,通过在客户端维护一个活跃的学习者(学生),将未标记的数据与云上的任务学习者(教师)隔离开来。在训练过程中,任务学习者指导轻量级主动学习者,然后主动学习者提供关于主动采样标准的反馈。为了进一步提高主动学习者通过大规模的未标记的数据,我们引入多个同伴学生到主动学习者,这是由一个新的学习范式,包括在类同伴研究标记的数据和类外同伴研究未标记的数据训练。最后,我们设计了一个基于差异的主动抽样标准,同伴学习反馈,利用同伴学生的变化来选择最翔实的数据,以提高模型的稳定性。大量的实验表明,所提出的PSL的优越性,在广泛的主动学习方法在标准和敏感的保护设置。
2022-11-24 cs.CV cs.LG
Bayesian Active Learning in the Presence of Nuisance Parameters
Department of Computer Science University of Manchester(计算机科学系曼彻斯特大学);Department of Computer Science Aalto University(计算机科学系阿尔托大学);Inserm Bordeaux Population Health, Vaccine Research Institute Université de Bordeaux Inria Bordeaux Sud-ouest(Inserm波尔多流行病与疫苗研究研究所波尔多大学Inria波尔多南西部)
本文研究存在冗余参数时贝叶斯主动学习中的负干扰问题,揭示其严重性及准确估计冗余参数的必要性,并阐明目标参数与冗余参数估计之间的预算分配困境及其对负迁移现象的启示。
2024-06-10 cs.LG stat.ML
Active Learners as Efficient PRP Rerankers
ELIAS Lab, Departamento de Ingeniería, Universidad de San Andrés(ELIAS实验室,工程系,圣安德烈大学)
本文将PRP重排序问题重新定义为从噪声成对比较中进行主动学习,证明主动排序器在受限调用下能提升NDCG@10性能,并引入随机方向oracle以降低计算成本。
2026-05-15 cs.AI cs.CL cs.LG
DCoM: Active Learning for All Learners
本文提出动态覆盖与边界混合主动学习方法DCoM,通过根据当前模型能力动态调整策略,克服冷启动问题,并在低预算和高预算场景下均取得最优性能。
2025-09-19 cs.LG
Meta-Learning Transferable Active Learning Policies by Deep Reinforcement Learning
University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
主动学习(AL)的目标是通过预测未标记实例的哪个子集最有利于标记来训练具有低标注成本的高性能分类器。人工智能的重要性激发了广泛的研究,提出了各种各样的人工设计的人工智能算法与不同的理论和直观的动机。与此相反,我们建议将主动学习算法设计视为一个元学习问题,并从数据中学习最佳标准。我们将主动学习算法建模为深度神经网络,该网络输入基本学习者状态和未标记的点集,并预测接下来要注释的最佳点。用强化学习训练这个主动查询策略网络,为给定的数据集产生最佳的非近视策略。实现AL的通用解决方案的关键挑战就变成了学习者的泛化,特别是在异构数据集之间。我们提出了一个多任务的嵌入式方法,允许嵌入式不可知的主动学习者进行培训。我们的评估表明,以这种方式训练的AL算法可以直接概括各种问题。
2018-06-12 cs.LG stat.ML
Active Learning Guided by Efficient Surrogate Learners
UNIST(蔚山科学技术院);POSTECH(浦项科技大学)
针对批量主动学习易冗余采样的问题,提出用高斯过程代理配合神经网络主学习器逐点更新,无需重训主模型即可模拟持续学习,并在四个基准上达到或接近最先进性能。
2023-12-17 cs.CV cs.LG
How To Guide Your Learner: Imitation Learning with Active Adaptive Expert Involvement
Nanjing University(南京大学);The University of Hong Kong(香港大学);Peng Cheng Laboratory(鹏城实验室)
模仿学习的目标是在没有明确奖励信号的情况下模仿专家的行为。使用静态专家数据集的被动模仿学习方法通常遭受复合误差、低样本效率和高超参数敏感性。相反,主动模仿学习方法需要专家干预来解决局限性。然而,目前的主动模仿学习方法都是基于人的直觉或经验而设计的,没有理论保证。在本文中,我们提出了一个新的主动模仿学习框架的基础上,教师的目标是确定最佳的教学行为,并积极影响学生的学习过程。通过解决这个框架的优化目标,我们提出了一个实际的实现,命名为AdapMen。理论分析表明,AdapMen在较温和的条件下,可以提高误差界,避免复合误差。MetaDrive基准测试和Atari 2600游戏上的实验验证了我们的理论分析,并表明我们的方法比以前的方法具有更少的专家参与和总采样步骤,达到了接近专家的性能。该代码可在https://github.com/liuxhym/AdapMen上获得。
2023-03-03 cs.LG
Dynamic Ensemble Active Learning: A Non-Stationary Bandit with Expert Advice
University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
主动学习旨在通过预测哪些样本对人类教师标记有用来降低注释成本。然而,很明显,不存在最佳的主动学习算法。受各种关于什么是好的标准的哲学的启发,不同的算法在不同的数据集上表现良好。这促使人们研究主动学习者的集合,这些学习者通常通过多臂强盗算法来学习在给定场景中构成良好标准的内容。虽然算法集成可以带来更好的结果,但它们忽略了一个事实,即算法效率不仅在数据集之间存在差异,而且在单个主动学习会话期间也存在差异。也就是说,最好的标准是非平稳的。这打破了现有算法的保证,并阻碍了它们在实践中的性能。在本文中,我们提出动态集成主动学习作为一个更普遍和有前途的研究方向。我们开发了一个动态集成主动学习器的基础上,非平稳的多臂强盗专家建议算法。我们的动态集成在主动学习的每一步都选择正确的标准。它有理论上的保证,并在$13$流行的数据集上显示出令人鼓舞的结果。
2018-09-29 cs.AI cs.LG stat.ML
Nuances in Margin Conditions Determine Gains in Active Learning
Columbia University(哥伦比亚大学)
我们认为非参数分类与平滑回归函数,这是众所周知的,在$E[Y|X]$的利润率的概念确定快速或慢速主动和被动学习。在这里,我们阐明了这两种设置之间的显著区别。也就是说,我们表明,一些看似良性的细微差别,在利润的概念-涉及贝叶斯分类器的独特性,并没有明显的影响率在被动学习-决定是否任何主动学习者可以优于被动学习率。特别是,对于Audibert-Tsybakov的边际条件(允许具有非唯一贝叶斯分类器的一般情况),没有主动学习者可以在通常研究的设置中获得被动学习,其中$X$的边际接近均匀。因此,我们的研究结果否定了过去文献中的通常直觉,即在非参数设置中,主动利率应优于被动利率。
2022-02-25 cs.LG stat.ML
Active Regression by Stratification
Ben Gurion University(本-古里安大学);INRIA(法国国家信息与自动化研究所)
提出了一种新的随机设计参数线性回归的主动学习算法。我们提供有限样本收敛保证一般分布在错误指定的模型。这是第一个主动学习者为这个设置,可证明可以改善被动学习。与其他学习设置(如分类)不同,在回归中,$O(1/ε)$的被动学习率通常无法提高。然而,收敛速度的所谓“常数”,其特点是依赖于分布的风险,在许多情况下可以改进。对于给定的分布,实现最优风险需要分布的先验知识。在Monte-Carlo函数集成中倡导的分层技术之后,我们的主动学习者使用分段常数近似来接近最佳风险。
2014-10-22 cs.LG stat.ML
Reinforced Meta Active Learning
Huawei Technologies Israel Research Center(华为技术以色列研究中心)
在基于流的主动学习中,学习过程通常可以访问未标记的数据实例流,并且必须为每个实例决定是否标记它并将其用于训练或丢弃它。有许多主动学习策略试图通过识别和保留信息量最大的数据样本来最小化在此设置中训练所需的标记样本的数量。这些方案中的大多数是基于规则的,并且依赖于不确定性的概念,其捕获数据样本与分类器的决策边界的距离有多小。最近,已经有一些尝试直接从数据中学习最佳选择策略,但其中许多仍然缺乏通用性,原因有几个:1)它们专注于特定的分类设置,2)它们依赖于基于规则的指标,3)它们需要对相关任务的主动学习者进行离线预训练。在这项工作中,我们解决了上述限制,并提出了一个在线的基于流的Meta主动学习方法,学习飞行中的信息量直接从数据,并适用于一般类别的分类问题,而无需任何预训练的主动学习者相关的任务。该方法是基于强化学习,并结合情节的政策搜索和上下文强盗的方法,用于训练主动学习者与模型的训练。我们在几个真实的数据集上证明,这种方法比现有的最先进的方法更有效地学习选择训练样本。
2022-03-09 cs.AI cs.LG
Towards Coupling Full-disk and Active Region-based Flare Prediction for Operational Space Weather Forecasting
Georgia State University(佐治亚州立大学);Academy of Athens(雅典科学院)
太阳耀斑预测是空间天气预测中的一个核心问题,由于遥感以及机器学习和深度学习方法的最新进展,它吸引了广泛研究人员的注意。基于机器和深度学习模型的实验结果显示,特定于任务的数据集的性能得到了显着改善。除了构建模型之外,将这些模型部署到操作环境下的生产环境中的做法是一个更复杂且往往耗时的过程,这在研究环境中通常不会直接解决。我们提出了一套新的启发式方法来训练和部署一个业务太阳耀斑预测系统的$\geq$ M1.0级耀斑两种预测模式:全磁盘和活动区域为基础。在全磁盘模式下,使用深度学习模型对全磁盘视线磁图进行预测,而在基于活动区域的模型中,使用多变量时间序列数据实例分别对每个活动区域进行预测。来自各个活动区域预测和全磁盘预测器的输出通过元模型组合成最终的全磁盘预测结果。我们利用两个基本学习者的耀斑概率的相等加权平均集合作为我们的基线Meta学习者,并通过训练逻辑回归模型来提高我们两个基本学习者的能力。这项研究的主要发现是:(i)我们成功地耦合了两个用不同数据集和模型架构训练的异构耀斑预测模型,以预测未来24小时的全盘耀斑概率,(ii)我们提出的集成模型,即,逻辑回归,提高了两个基础学习者和基线Meta学习者的预测性能,测量两个广泛使用的指标真实技能统计(TSS)和海德克技能核心(HSS),(iii)我们的结果分析表明,基于逻辑回归的集成(元FP)提高了全磁盘模型(基础学习者)$\sim9\%…
2022-08-11 astro-ph.SR cs.AI cs.LG
Active learning from positive and unlabeled examples
David R. Cheriton School of Computer Science, University of Waterloo, Waterloo, ON, Canada(多伦多大学大卫·R·切里顿计算机科学学院);Vector Institute, Toronto, ON, Canada(向量研究所);Department of Computer Science, University of Regina, Regina, SK, Canada(里纳大学计算机科学系);Alberta Machine Intelligence Institute (AMII), Edmonton, AB, Canada(阿尔伯塔人工智能研究所(AMII))
本文提出了一种主动PU学习方法,通过自适应查询未标记数据并仅在特定条件下揭示标签,首次理论分析了其标签复杂度。
2026-02-02 cs.LG
When Deep Learners Change Their Mind: Learning Dynamics for Active Learning
Computer Vision Center (CVC)(计算机视觉中心);Univ. Autònoma of Barcelona (UAB)(巴塞罗那自治大学)
主动学习旨在选择要注释的样本,这些样本为学习算法产生最大的性能改进。许多方法通过测量样本的信息量来解决这个问题,并且基于样本的网络预测的确定性来做到这一点。然而,众所周知,神经网络对它们的预测过于自信,因此是评估样本信息量的不可信来源。本文提出了一种新的基于信息量的主动学习方法。我们的措施是来自学习动态的神经网络。更确切地说,我们在算法训练期间跟踪未标记数据池的标签分配。我们用一个称为标签分散的指标来捕捉学习动态,当网络在训练过程中始终为样本分配相同的标签时,该指标较低,而当分配的标签频繁变化时,该指标较高。我们表明,标签分散是一个很有前途的预测网络的不确定性,并显示在两个基准数据集上,一个主动学习算法的基础上标签分散取得了优异的成绩。
2021-07-30 cs.CV cs.LG
Active Model Selection
Yahoo! Research Labs(雅虎研究实验室);University of Alberta(阿尔伯塔大学)
经典学习假设学习器被给予一个标记的数据样本,从中学习一个模型。主动学习领域涉及的情况是,学习者不是从训练样本开始,而是从可以用来获取信息以帮助识别最佳模型的资源开始。为了更好地理解这一任务,本文提出并分析了简化的“(预算)主动模型选择”的版本,它捕捉了许多主动学习问题在一个干净和简单的问题制定纯探索方面。在这里,学习器可以使用固定预算的“模型探测器”(其中每个探测器在随机的不可区分的实例上评估指定的模型)来识别给定的一组可能的模型中哪个具有最高的预期准确度。我们的目标是一个策略,根据到目前为止观察到的信息,依次确定下一个要探测的模型。我们提出了一个正式的描述这个任务,并表明它是NPhard一般。然后,我们研究了一些算法,包括几个现有的(例如,“轮循”,“区间估计”,“Gittins”)以及一些新的(例如,“Biased-Robin”),首先描述了它们的近似特性,然后描述了它们在各种问题实例上的经验表现。我们观察经验,简单的偏置罗宾算法显着优于其他算法的情况下,相同的成本和先验。
2012-07-11 cs.LG stat.ML
Model Exploration with Cost-Aware Learning
我们提出了一个扩展主动学习例程,其中明确考虑了非常数成本。这项工作考虑了已知和未知的成本,并为不仅考虑最小化总成本而且还能够探索样本空间的高成本区域的学习者引入了术语ε-节俭。我们在一个著名的机器学习数据集上证明了我们的扩展,并发现ε-节俭学习器优于已知成本和随机抽样的学习器。
2020-10-09 cs.LG stat.ML
Active Learning with Expert Advice
Nanyang Technological University(南洋理工大学);Microsoft Corporation(微软公司)
利用专家建议方法的常规学习假设学习者总是接收结果(例如,类标签)的每个传入的训练实例在每个试验结束时。在实际应用程序中,从Oracle获取结果可能成本高昂或耗时。在本文中,我们解决了一个新的问题,主动学习与专家的意见,一个实例的结果是公开的,只有当它是由在线学习者的要求。我们的目标是通过向Oracle询问尽可能少的问题来学习准确的预测模型。为了应对这一挑战,我们提出了一个主动预测器框架,用于在线主动学习,并提供专家建议,该框架试图扩展两个常规预测器,即,指数加权平均预测器和贪婪预测器,通过专家建议来解决主动学习的任务。我们证明了所提出的算法满足汉南一致性在一些适当的假设下,并验证了我们的技术的有效性,通过一组广泛的实验。
2013-09-26 cs.LG stat.ML
Nuclear Discrepancy for Active Learning
Delft University of Technology(代尔夫特理工大学);Radboud University Nijmegen(拉德堡德大学奈梅亨分校);University of Copenhagen(哥本哈根大学)
主动学习算法提出应该查询哪些未标记的对象的标签,以最大限度地改善预测模型。我们研究主动学习者,最大限度地减少泛化界限,并发现这些界限之间的关系,导致一个改进的方法,主动学习。特别是,我们展示了国家的最先进的最大平均离散(MMD)主动学习者,离散的界限,和一个新的和松散的约束,我们称为核离散界之间的关系。我们激励这一约束的概率参数:我们认为它考虑的情况下,更有可能发生。我们的实验表明,主动学习使用最严格的离散边界执行最差的平方损失。总的来说,我们提出的loocampus核离散泛化界表现最好。我们证实了我们的概率论证经验:其他界限集中在更悲观的情况下,在实践中是罕见的。我们的结论是,紧密的界限并不总是主要的重要性,主动学习方法应该集中在现实的情况下,以提高性能。
2017-06-08 cs.LG stat.ML
Active Learning from Weak and Strong Labelers
University of California, San Diego(加州大学圣地亚哥分校)
主动学习者被赋予一个假设类,一个大的未标记的例子和交互式查询标签的能力,这些例子的一个子集的预言;学习者的目标是学习类中的一个假设,适合数据尽可能少的标签查询。这项工作解决了主动学习的标签从强和弱标签,除了标准的主动学习设置,我们有一个额外的弱标签,偶尔可能会提供不正确的标签。一个例子是学习对医学图像进行分类,其中昂贵的标签可以从医生(oracle或强标签)获得,或者便宜但偶尔不正确的标签可以从医疗居民(弱标签)获得。我们的目标是学习一个分类器,对由Oracle标记的数据具有低错误,同时使用弱标记器来减少对该标记器的标签查询的数量。我们为这种设置提供了一个主动学习算法,建立其统计一致性,并分析其标签复杂性,以表征何时可以提供标签节省单独使用强大的标签。
2015-10-16 cs.LG stat.ML
Greedy Approximation Algorithms for Active Sequential Hypothesis Testing
Carnegie Mellon University(卡内基梅隆大学)
在主动序贯假设检验(ASHT)问题中,学习者试图从一组已知的假设中识别出真正的假设。学习者被给予一组动作,并且知道在任何真实假设下任何动作的结果的随机分布。给定目标误差$δ>0$,目标是顺序地选择最少数量的动作,以便以至少$1 - δ$的概率识别真假设。受假设或动作数量巨大的应用程序的激励(例如,基于基因组学的癌症检测),我们提出了有效的(贪婪,事实上)算法,并提供了第一近似保证ASHT,在两种类型的自适应。我们的保证都是独立的行动和对数的假设的数量。我们数值评估我们的算法使用合成和现实世界的DNA突变数据的性能,表明我们的算法优于以前提出的启发式政策的大利润率。
2021-10-06 cs.LG stat.ML
Budget-constrained Active Learning to Effectively De-censor Survival Data
Department of Computing Science University of Alberta(计算科学系阿尔伯塔大学)
本研究提出一种预算约束下的主动学习方法,用于有效去审查生存数据,通过付费获取部分标签,在多个基准上优于现有方法,并具有与BatchBALD相当的复杂度。
2025-10-14 cs.AI cs.LG
Online Continual Adaptation with Active Self-Training
Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Berkeley(加州大学伯克利分校)
使用离线数据训练的模型通常会在不断变化的环境中遭受持续的分布偏移和昂贵的标签。这就需要一种新的在线学习范式,学习者可以不断适应不断变化的环境,有限的标签。在本文中,我们提出了一个新的在线设置-在线主动持续适应,学习者的目标是不断适应不断变化的分布使用未标记的样本和有限的标签的主动查询。为此,我们提出了在线自适应镜像下降(OSAMD),它采用了在线师生结构,使在线自我训练从未标记的数据,和一个基于边缘的标准,决定是否查询标签,以跟踪不断变化的分布。理论上,我们表明,在可分离的情况下,OSAMD有一个$O({T}^{2/3})$动态遗憾界温和的假设下,这是对齐的$Ω(T^{2/3})$下界的在线学习算法与完整的标签。在一般情况下,我们证明了$O({T}^{2/3} + α^* T)$的遗憾界,其中$α^*$表示域的可分性,并且通常很小。我们的理论结果表明,OSAMD可以快速适应不断变化的环境与主动查询。从经验上讲,我们证明了OSAMD实现有利的遗憾在不断变化的环境下,有限的标签上的模拟和现实世界的数据,这证实了我们的理论研究结果。
2022-03-20 cs.AI cs.LG stat.ML
Addressing practical challenges in Active Learning via a hybrid query strategy
Kansas State University(堪萨斯州立大学);Indian Institute of Technology Gandhinagar(甘地纳格尔印度理工学院);Viking Analytics(维京分析公司);Luleå University of Technology(吕勒奥理工大学);Indian Institute of Technology Madras(马德拉斯印度理工学院)
主动学习(AL)是一种强大的工具,可以用显著更少的标记训练实例来解决现代机器学习问题。然而,传统的AL方法在实际场景中的实施是伴随着多重挑战,由于固有的假设。有几个障碍,如AL算法的标签在开始时不可用;不可靠的外部来源的标签在查询过程中;或不兼容的机制来评估主动学习者的性能。受这些实际挑战的启发,我们提出了一个混合查询策略为基础的AL框架,同时解决三个实际挑战:冷启动,预言的不确定性和主动学习者的性能评估在地面真理的情况下。虽然预聚类的方法来解决冷启动问题,不确定性周围的专业知识的贴标机和信心在给定的标签被纳入处理甲骨文的不确定性。在查询过程中获得的知识是评估主动学习器性能的基本前提。在三个不同的环境和工业设置的鲁棒性评估建议AL框架。结果表明,所提出的框架,以解决实际的挑战,在AL实施在现实世界中的场景的能力。
2021-10-07 cs.LG
Contextual Bandits and Imitation Learning via Preference-Based Active Queries
MIT(麻省理工学院);Cornell University(康奈尔大学)
本文针对无法直接获知动作奖励的上下文老虎机与模仿学习问题,提出基于偏好主动查询的算法,实现了接近标准设定的遗憾界与低查询复杂度,且在专家次优时能超越专家。
2023-07-24 cs.AI cs.HC cs.LG
Active clustering with bandit feedback
INRAE(法国国家农业食品与环境研究院);Institut Agro(法国国家农业、食品与环境学院);Univ Montpellier(蒙彼利埃大学);Université Paris-Saclay(巴黎萨克雷大学);Institut für Mathematik, Universität Potsdam(波茨坦大学数学研究所)
针对带次高斯反馈的随机老虎机中的隐藏臂分区问题,本文给出非渐近预算下界,并提出计算高效且在多数情形下达到下界的 ACB 主动聚类算法。
2024-06-17 cs.LG stat.ML
Active Learning with Multiple Views
Language Weaver, Inc.(Language Weaver公司);Fetch Technologies, Inc.(Fetch科技公司);University of Southern California(南加州大学)
主动学习器通过检测并要求用户仅标记领域中信息量最大的示例来减轻标记大量数据的负担。在这里,我们专注于多视图域的主动学习,其中有几个不相交的子集的功能(视图),其中每个都足以学习目标概念。在本文中,我们做出了几个贡献。首先,我们介绍了Co-Testing,这是第一种多视角主动学习的方法。其次,我们扩展了多视图学习框架,还利用弱视图,这是足够的,只学习一个概念,比目标概念更一般/具体。最后,我们的经验表明,合作测试优于现有的主动学习者在各种现实世界的领域,如包装归纳,网页分类,广告删除,和话语树解析。
2011-10-05 cs.LG
A New Vision of Collaborative Active Learning
University of Kassel(卡塞尔大学);German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
主动学习(AL)是一种学习范例,其中主动学习者必须训练模型(例如,分类器),其原则上以监督的方式训练,但在AL中,它必须借助于具有初始未标记样本的数据集来完成。为了获得这些样本的标签,主动学习者必须询问oracle(例如,人类专家)用于标签。目标是最大化模型的性能,同时最小化查询的数量。在这篇文章中,我们首先简要地讨论了该领域的艺术和自己的,初步的工作状态。然后,我们提出了合作的主动学习(CAL)的概念。通过CAL,我们将克服当前AL的一些苛刻限制。特别是,我们设想了专家可能因各种原因而错误的情况,可能有几个甚至许多具有不同专业知识的专家,专家不仅可以标记样本,还可以标记更高级别的知识,如规则,我们认为标记成本取决于许多条件。此外,在CAL过程中,人类专家也将通过提高自己的知识而受益。
2015-12-22 cs.LG stat.ML
On the reusability of samples in active learning
Radboud University(拉德堡德大学);Delft University of Technology(代尔夫特理工大学)
在主动学习中,一个有趣但没有被广泛研究的问题是样本的可重用性:为一个学习者选择的样本在多大程度上可以被另一个学习者重用?本文解释了为什么样本的可重用性是实际利益,为什么可重用性可能是一个问题,如何可重用性可以提高重要性加权主动学习,以及普遍的可重用性仍然存在的障碍。通过理论论证和实践论证,本文认为通用的可重用性是不可能的。因为每个主动学习策略都必须对样本空间的某些区域进行欠采样,所以依赖于这些区域中的样本的学习器将从随机样本选择中学习更多。本文描述了几个重要性加权的主动学习的实验,显示在实践中的可重用性问题的影响。实验证实,通用的可重用性并不存在,尽管在某些情况下-在某些数据集和一些分类器对上-有样本可重用性。最后,本文探讨了保证两个分类器之间可重用性的条件。
2022-06-13 cs.LG
Convergence Rates of Active Learning for Maximum Likelihood Estimation
University of California, San Diego(加州大学圣迭戈分校);Microsoft Research, New England(微软新英格兰研究院);University of Texas, Austin(得克萨斯大学奥斯汀分校)
主动学习器被赋予一类模型、大量未标记的示例以及交互式查询这些示例的子集的标签的能力;学习器的目标是学习类中适合数据的模型。以前的理论工作已经严格的特点标签复杂性的主动学习,但大多数这方面的工作集中在PAC或不可知PAC模型。在本文中,我们将我们的注意力转移到一个更一般的设置-最大似然估计。在模型类满足一定条件的前提下,我们给出了一个两阶段的主动学习算法。我们需要的条件是相当普遍的,并且涵盖了广泛流行的广义线性模型,这反过来又包括二进制和多类分类,回归和条件随机场的模型。我们提供了我们的算法的标签要求的上限,和一个下限,它匹配到低阶项。我们的分析表明,与可实现情况下的二元分类不同,只需额外一轮交互就足以在最大似然估计中实现接近最佳的性能。在经验方面,最近在~ \cite{Zhang12}和~ \cite{Zhang14}(关于主动线性和逻辑回归)中的工作显示了这种方法的前景。
2015-06-08 cs.LG stat.ML
Active Model Aggregation via Stochastic Mirror Descent
Georgia Institute of Technology(佐治亚理工学院);Wisconsin Institutes for Discovery(威斯康星发现研究院)
我们考虑的问题,学习凸聚集的模型,这是最好的凸聚集,为二进制分类问题。在基于流的主动学习环境中,主动学习者必须在运行中做出决定,如果它想查询流中当前看到的点的标签,我们提出了一种随机镜像下降算法,称为SMD-AMA,具有熵正则化。我们建立了一个额外的风险界限的损失的凸聚集返回的SMD-AMA的顺序为$O\left(\sqrt{\frac{\log(M)}{T^{1-μ}}}\right)$,其中$μ\in [0,1)$是一个算法相关的参数,权衡查询的标签的数量,和额外的风险。
2015-03-28 cs.AI cs.LG stat.ML
Indirect Active Learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
传统的主动学习模型假设学习者可以直接操作或查询协变量$X$,以便研究其与响应$Y$的关系。然而,如果$X$是复杂系统的一个特征,则可能只能通过操纵控制变量$Z$来间接影响$X$,这种情况我们称为间接主动学习。在一个非参数模型下的间接主动学习与固定的预算,我们研究了极小极大收敛速度估计之间的关系$X$和$Y$本地在一个点,获得不同的速度依赖于$Z$和$X$之间的关系和$X$和$Y$的复杂性和噪声水平。我们还确定了极小极大率被动学习可比的假设。在许多情况下,我们的研究结果表明,虽然主动学习有一个渐进的好处,这种好处是完全实现了一个简单的两阶段学习,运行两个被动的实验顺序。
2023-01-21 cs.IT cs.LG math.IT
Online Active Regression
School of Physical and Mathematical Sciences(物理与数学科学学院);Nanyang Technological University(南洋理工大学)
主动回归考虑线性回归问题,其中学习者接收大量数据点,但只能观察少量标签。由于在线算法可以处理增量训练数据,并利用低计算成本,我们考虑的主动回归问题的在线扩展:学习者接收数据点一个接一个,并立即决定是否应该收集相应的标签。目标是用少量的标签查询预算有效地维护接收到的数据点的回归。我们提出了新的算法,这个问题下的$\ell_p$损失$p\in[1,2]$。为了实现一个$(1+ε)$近似的解决方案,我们提出的算法只需要$\tilde{\mathcal{O}}(ε^{-1} d \log(nκ))$查询的标签,其中$n$是数据点的数量和$κ$是一个数量,称为条件数,数据点。数值结果验证了我们的理论结果,并表明我们的方法具有可比的性能与离线主动回归算法。
2022-08-30 cs.DS cs.LG stat.ML
Unfolding Hidden Barriers by Active Enhanced Sampling
KLA-Tencor(科磊);University of California, Berkeley(加州大学伯克利分校)
基于集体变量(CV)或序参量的增强采样算法由于能够有效地探索复杂系统的粗糙势能面而获得了巨大的成功。然而,退化的微观配置,源自垂直于CV的正交空间,很可能会阴影“隐藏的障碍”,大大降低CV为基础的采样效率。在这里,我们证明了系统的机器学习CV,通过增强的采样,可以迭代地提升这种退化。我们介绍了一种主动学习方案,该方案由基于深度神经网络的参数CV学习器和基于CV的增强采样器组成。我们的主动增强采样(AES)算法能够根据历史样本识别信息量最少的区域,在CV学习器和采样器之间形成正反馈回路。这种方法能够通过逐步增强样品完整性和CV质量来全局保留动力学特征。
2017-11-10 cond-mat.stat-mech cs.LG physics.chem-ph
A Contextual Bandit Approach for Stream-Based Active Learning
University of California, Los Angeles(加州大学洛杉矶分校);University of Miami(迈阿密大学)
上下文强盗算法-一类利用上下文信息的多臂强盗算法-已被证明在解决不确定性下的顺序决策问题中是有效的。在文献中采用的一个常见的假设是,通过采取所选择的动作实现的(地面实况)奖励被学习者观察到没有成本,然而,这在许多实际情况下是不现实的。当观察地面真相奖励是昂贵的,学习者的一个关键挑战是如何明智地获得地面真相通过评估的好处和成本,以平衡学习效率和学习成本。从信息论的角度来看,一个可能更有趣的问题是,由于这种成本,可能会损失多少效率。在本文中,我们设计了一个新的上下文带为基础的学习算法,并赋予它的主动学习能力。我们的算法的关键特征是,除了向注释器发送查询以获取地面实况之外,还将学习器学习到的地面实况的先验信息一起发送,从而降低查询成本。我们证明,通过仔细选择的算法参数,所提出的算法的学习遗憾达到相同的顺序,传统的上下文强盗算法在无成本的情况下,这意味着,令人惊讶的是,由于获取地面真相的成本不会增加学习遗憾在长期运行。我们的分析表明,在主动学习是必要的情况下,地面真相的先验信息在提高系统性能方面起着至关重要的作用。
2017-01-24 cs.LG
On the Fragility of Active Learners for Text Classification
[24]7.ai
本文针对预训练表示下的文本分类,跨数据集、表示与分类器严格评估新旧主动学习技术,揭示其相对随机采样的可靠性、预热时间与“始终开启”可行性,并发布基准框架。
2024-10-04 cs.CL cs.LG
Ultra Strong Machine Learning: LLM-Generated Explanations Do Not Yet Suffice for Teaching Humans Active Learning Strategy
Department of Computing, Imperial College London(帝国理工学院计算系)
本研究提出LENS框架,通过神经符号方法生成逻辑程序解释,发现LLM生成的解释在人类学习中效果有限,需结合人类认知约束实现超强机器学习。
2026-09-23 cs.AI cs.LG
Active Learning of General Halfspaces: Label Queries vs Membership Queries
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文研究高斯分布下一般半空间的查询学习,证明基于池的主动学习无法显著优于被动学习,而成员查询即使在不可知模型中也能以更低查询复杂度高效学习,从而刻画了两类查询模型的复杂度分离。
2024-12-31 cs.LG
Batch Selection and Communication for Active Learning with Edge Labeling
Aalborg University(奥尔堡大学);King’s College London(伦敦国王学院)
本文提出CC-BAKD协议,通过线性混合压缩与贝叶斯主动学习结合,优化边缘标注中的批量选择与通信,减少通信轮数并提升效率。
2024-05-22 cs.LG
Active Learning Through a Covering Lens
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文提出ProbCover,一种基于覆盖视角的主动学习算法,通过最大化概率覆盖提升低预算场景下的标注效率,并在多个图像识别基准上实现最先进性能,尤其在半监督设置中显著减少标签需求。
2022-12-29 cs.LG
Enhancing Treatment Effect Estimation via Active Learning: A Counterfactual Covering Perspective
The University of Queensland(昆士兰大学);Health and Wellbeing Queensland(昆士兰健康与福祉机构)
本文从反事实覆盖半径视角形式化主动学习中的治疗效果估计问题,提出贪心半径缩减算法及FCCM方法,通过最大化事实与反事实覆盖来提升数据效率,并在合成与半合成数据集上验证了其优越性。
2025-05-08 cs.LG
Active Learning with Simple Questions
UT Austin(得克萨斯大学奥斯汀分校);UW-Madison(威斯康星大学麦迪逊分校);University of Athens(雅典大学);Archimedes AI(阿基米德人工智能公司)
本文研究主动学习中区域查询的查询数量与查询语言复杂度之间的权衡,证明 VC 维为 O(d) 的查询族可用 O(d log n) 次查询完美标注 n 个示例,并给出匹配下界及针对区间并集、高维盒和半空间的高效算法。
2024-06-10 cs.DS cs.LG
Offline Clustering of Preference Learning with Active-data Augmentation
Nanjing University(南京大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
针对离线偏好学习中的用户相似性识别与数据不平衡挑战,提出Off-C$^2$PL及带主动数据增强的A$^2$-Off-C$^2$PL算法,通过聚类聚合数据并主动补充信息量最少的维度样本,理论证明与实验均验证了其有效性。
2025-10-31 cs.LG
On the Query Complexity of Training Data Reconstruction in Private Learning
Microsoft Research(微软研究院)
本文首次为白盒对手重构差分隐私学习器训练数据所需的查询数量建立了极小极大最优下界,并将结果推广到Rényi差分隐私和度量差分隐私下的无界高维空间。
2024-01-11 cs.CR cs.LG stat.ML
The Label Complexity of Active Learning from Observational Data
University of California San Diego(加州大学圣地亚哥分校)
从观察数据中进行反事实学习涉及基于选择策略条件下观察到的数据来学习整个种群的分类器。这项工作考虑了这个问题在一个积极的设置,学习者还可以访问未标记的例子,并可以选择得到这些标记的一个子集的预言。之前在这个问题上的工作使用基于分歧的主动学习,以及重要性加权损失估计器来考虑反事实,这导致了高标签复杂性。我们展示了如何将一个更有效的反事实风险最小化到主动学习算法中。这就要求我们既要修改反事实风险,使其适合主动学习,也要修改主动学习过程,使其适合风险。我们证明,这是一个算法,这是统计上一致的,以及更标签效率比以前的工作的结果。
2019-10-28 cs.LG stat.ML
A Structured Perspective of Volumes on Active Learning
主动学习(Active Learning,AL)是一种学习任务,要求学习者在人工监督下交互式地查询样本的标签,以最小化训练输出。在理论研究中,学习者将包含所有可能分类假设的版本空间近似为一个有界凸体,并试图将其体积缩小到一个半空间。然而,只有具有有限VC维的超球面获得了形式上的近似保证,当欧几里得空间的类是可分的时,这种近似保证成立。本文首先将版本空间近似为一个覆盖了大部分假设的结构化超球面,然后将现有的AL采样方法分为两类:外体积采样和内体积采样。在版本空间中为AL的性能提供可证明的保证后,通过在外部体积的封闭空间中寻找最优的内接超球面,对两种体积进行聚合,以消除它们的采样偏差.为了从欧氏空间接触到版本空间,我们提出了一个理论上的桥梁,称为基于体积的模型,增加了“采样目标无关”。在非线性特征空间中,由核所跨越,我们使用顺序优化通过将核空间的大小减半来全局优化原始空间到稀疏空间。然后,返回局部中心的EM(期望最大化)模型帮助我们找到局部表示。为了描述这个过程,我们提出了一个易于实现的算法,称为基于卷的AL(VAL)。
2020-09-25 cs.LG stat.ML
Adversarial Vulnerability of Active Transfer Learning
Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所)
在小数据集上训练监督机器学习模型的两种广泛使用的技术是主动学习和迁移学习。前者有助于最佳地使用有限的预算来标记新数据。后者使用大型预训练模型作为特征提取器,即使在微小的数据集上也可以设计复杂的非线性模型。在处理小数据集时,结合这两种方法是一种有效的、最先进的方法。在本文中,我们分享了一个有趣的观察:即,这些技术的组合特别容易受到一种新的数据投毒攻击:通过在输入上添加小的对抗性噪声,可以在迁移学习器的输出空间中创建冲突。因此,主动学习算法不再选择最佳实例,而几乎只选择攻击者注入的实例。这允许攻击者操纵主动学习器选择并将任意图像包含到数据集中,即使是针对绝大多数未中毒的样本。我们发现,在这样一个中毒的数据集上训练的模型具有显着恶化的性能,从86%下降到34%的测试准确度。我们评估这种攻击的音频和图像数据集,并支持我们的研究结果经验。据我们所知,这种弱点以前在文献中没有描述过。
2021-01-26 cs.CR cs.LG
Disentanglement based Active Learning
Flytxt Mobile Solutions(Flytxt移动解决方案公司);TCS Research(塔塔咨询服务研究中心);Indian Institute of Space Science and Technology(印度空间科学与技术研究所)
我们提出了基于解纠缠的主动学习(DAL),一种新的基于自我监督的主动学习技术,它利用了解纠缠的概念。我们的方法不是从人类预言机请求标签,而是自动标记大多数数据点,从而大大减少了基于生成对抗网络(GAN)的主动学习方法中的人类标记预算。该方法使用信息最大化生成对抗网(InfoGAN)来学习解纠缠的类类别表示。主动学习者预测和InfoGAN标签之间的不一致决定了数据点是否需要人工标记。我们还介绍了一个标签校正机制,旨在过滤掉标签噪音,由于自动标注。图像分类任务的三个基准数据集上的结果表明,与现有的基于GAN的主动学习方法相比,我们的方法具有更好的性能。
2021-09-25 cs.LG stat.ML
Learning Privately with Labeled and Unlabeled Examples
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
私人学习器是一种算法,它给出一个标记的个体样本的样本,输出一个概括的假设,同时保护每个个体的隐私。2008年,Kasiviswanathan等人(FOCS 2008)给出了一个私人学习者的通用结构,其中样本复杂度(通常)高于非私人学习者所需的复杂度。随后的几篇论文进一步研究了样本复杂性中的这一差距,表明(至少在某些情况下)这一差距是不可避免的。此外,这些文件考虑了通过放松对学习者的隐私或学习保障来克服这一差距的方法。我们提出了一种替代方法,灵感来自(非私人)模型的半监督学习和主动学习,重点是对样本的复杂性标记的例子,而未标记的例子是一个显着降低成本。我们考虑在随机样本上操作的私有半监督学习器,其中只有该样本的一部分(希望很小)被标记。学习器无法控制标记哪些样本元素。我们的主要结果是,私人学习者的标记样本复杂性的VC维。我们提出了两个通用的私人半监督学习器的建设。第一种构造的学习器的标记样本复杂度与概念类的VC维成正比,然而,该算法的未标记样本复杂度与领域元素的表示长度一样大。我们的第二个构造提出了一种新的技术,用于降低给定私人学习者的标记样本复杂度,同时大致保持其未标记样本复杂度。此外,我们表明,在某些设置中的标记样本的复杂性不依赖于学习者的隐私参数。
2015-07-01 cs.CR cs.LG
Active Context Selection Improves Simple Regret in Contextual Bandits
College of Management of Technology, EPFL(EPFL技术管理学院);Department of Computer Science, TU Munich(慕尼黑工业大学计算机科学系)
本文研究了具有有限上下文空间的上下文多臂老虎机问题,通过主动选择上下文样本来优化简单遗憾,提出了一种在已知和未知上下文分布时均能有效提升性能的算法。
2026-05-19 cs.LG
Semi-supervised Active Regression
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);Rutgers University(罗格斯大学)
标记数据通常需要很高的成本,因为它可能需要招募人类标记人员或进行昂贵的实验。与此同时,在许多实际场景中,人们已经可以访问部分标记的、可能有偏见的数据集,这些数据集可以帮助完成手头的学习任务。基于这样的背景,我们通过线性回归的框架正式启动了对$semi-supervised$ $active$ $learning$的研究。在这种设置中,学习者可以访问数据集$X \in \mathbb{R}^{(n_1+n_2) \times d}$,该数据集由算法可以主动查询的$n_1$未标记示例和标记为先验的$n_2$示例组成。具体地,通过$Y \in \mathbb{R}^{n_1 + n_2}$表示真实标签,学习者的目标是找到$\widehatβ \in \mathbb{R}^d$,使得\begin{equation} \| X \widehatβ - Y \|_2^2 \le (1 + ε) \min_{β\in \mathbb{R}^d} \| X β- Y \|_2^2 \end{equation}同时尽可能少地进行附加标签查询。为了约束标签查询,我们引入了一个依赖于实例的参数称为减少的秩,表示为$R_X$,并提出了一个有效的算法与查询复杂度$O(R_X/ε)$。这个结果直接意味着两个重要的特殊情况下的改进的上界:(i)主动岭回归,和(ii)主动核岭回归,其中降秩分别等于问题的统计维数$…
2021-06-12 cs.LG