Agnostic Active Learning of Single Index Models with Linear Sample Complexity
New York University(纽约大学);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
针对单指标模型的不可知主动学习需求,提出基于统计杠杆得分采样的方法,在f已知和未知的Lipschitz场景下均实现$\tilde{O}(d)$的线性样本复杂度,较现有结果有二次方级提升。
2024-07-09 cs.LG
The Relationship Between Agnostic Selective Classification Active Learning and the Disagreement Coefficient
Technion – Israel Institute of Technology(以色列理工学院)
选择性分类器(f,g)包括分类函数f和二元选择函数g,二元选择函数g确定分类器是放弃预测还是使用f来预测。分类器被称为逐点竞争,如果它对每个点的分类与事后的最佳分类器(来自同一类)相同,无论何时它都不弃权。这种分类器的质量通过其拒绝质量来量化,拒绝质量被定义为它拒绝的点的概率质量。如果拒绝质量从上面由O(1/m)界定,则实现“快速”拒绝率,其中m是用于训练分类器的标记示例的数量(并且O隐藏对数因子)。逐点竞争选择(PCS)分类器与基于不一致的主动学习密切相关,并且已知在可实现的情况下,已知PCS算法(称为一致选择策略)的快速拒绝率等价于公知CAL主动算法的指数加速。我们专注于不可知论的设置,其中有一个已知的算法称为LESS,学习PCS分类器,并在强假设下实现快速拒绝率(取决于Hanneke的分歧系数)。我们提出了一种改进的PCS学习算法称为ILESS,我们显示了一个快速的速度(取决于Hanneke的不一致系数),没有任何假设。我们的拒绝界平滑地插入可实现的和不可知的设置。本文的主要结果是以下三个实体之间的等价性:(一)任何PCS学习算法(如ILESS)的快速拒绝率的存在;(二)Hanneke的分歧系数的多对数界;(三)一个新的基于分歧的主动学习者称为ActiveiLESS的指数加速。
2017-03-30 cs.LG
Multi-group Agnostic PAC Learnability
Weizmann Institute of Science(魏茨曼科学研究所)
不可知PAC学习算法找到与基准假设类中的最佳预测器竞争的预测器,其中竞争力相对于给定的损失函数来测量。然而,它的预测可能是相当次优的结构化的子群体的个人,如受保护的人口群体。出于这样的公平性问题,我们研究“多组不可知PAC的可学习性”:固定的损失,一个基准类$\H$和(潜在的)丰富的集合的子组$\G$的措施,目标是学习一个单一的预测,使每个组$g \in \G$所经历的损失是不是比$\H$内的最佳可能的损失为该组大。在自然条件下,我们提供了一个表征的损失函数,这样的预测是保证存在的。对于任何这样的损失函数,我们构造一个学习算法,其样本复杂度是集合$\G$大小的对数。我们的研究结果统一和扩展了以前的积极和消极的结果,从多组公平文献,适用于特定的损失函数。
2021-05-20 cs.LG
Revisiting Model-Agnostic Private Learning: Faster Rates and Active Learning
University of California Santa Barbara(加州大学圣巴巴拉分校);University of California, San Diego(加州大学圣地亚哥分校)
教师团体的私人聚合(PATE)框架是最近最有前途的差异化私人学习方法之一。现有的理论分析表明,PATE始终学习任何VC类的可实现的设置,但在更一般的情况下,最佳分类器的出错率是有界远离零解释其成功的不足。我们通过引入Tsybakov噪声条件(TNC)来填补这一空白,并建立更强大,更可解释的学习边界。这些界限提供了新的见解,当PATE的作品和改善现有的结果,即使在较窄的可实现的设置。我们还研究了使用主动学习来节省隐私预算的令人信服的想法,实证研究表明了这种新想法的有效性。证明中的新组件包括对多数投票分类器的更精细的分析-这可能是独立的兴趣-以及观察到合成的“学生”学习问题在Tsybakov噪声条件下几乎可以通过构建来实现。
2022-03-11 cs.CR cs.LG
Near-Polynomially Competitive Active Logistic Regression
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对主动逻辑回归问题,提出首个与最优算法多项式竞争(误差和域大小仅多对数因子)的算法,基于高效采样,并实验验证性能优于现有主动学习方法。
2026-10-30 cs.LG
Privacy Against Agnostic Inference Attacks in Vertical Federated Learning
School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院)
研究提出垂直联邦学习中一种新的推理攻击形式,通过在训练阶段获取独立训练的机器学习模型,主动方可对训练和预测样本进行推理攻击,提出隐私保护方案以平衡被动方隐私与主动方可解释性。
2026-04-13 cs.CR cs.IT cs.LG
Active Learning for Single Neuron Models with Lipschitz Non-Linearities
New York University(纽约大学)
本研究针对带对抗标签噪声的不可知场景下单神经元模型的主动学习问题,证明采用基于统计杠杆得分采样的线性函数主动学习策略可获强近似保证,且实验效果优于均匀采样。
2023-07-18 cs.LG
An active learning method for solving competitive multi-agent decision-making and control problems
IMT School for Advanced Studies Lucca(卢cca高等研究院)
该研究提出一种主动学习方案,通过集中式观察者探测竞争性多智能体反应并更新动作-反应映射估计,在一般假设下建立参数收敛即得平稳动作剖面的充分条件,数值仿真验证了方法有效性。
2024-10-07 cs.LG cs.MA cs.SY
Task-Aware Variational Adversarial Active Learning
UNIST(蔚山科学技术院)
通常,由于高标记成本限制了深度学习技术的应用领域,标记大量数据是具有挑战性的。主动学习(AL)通过查询未标记池中待注释的信息量最大的样本来解决这个问题。最近已经探索的两个有前途的方向AL是任务无关的方法来选择数据点,远离当前的标记池和任务感知的方法,依赖于任务模型的角度。不幸的是,前者没有利用任务的结构,而后者似乎没有很好地利用整体数据分布。在这里,我们提出了任务感知变分对抗AL(TA-VAAL),修改任务不可知的VAAL,考虑标签和未标记池的数据分布,通过放松任务学习损失预测排名损失预测,并通过使用排名条件生成对抗网络嵌入VAAL的归一化排名损失信息。我们提出的TA-VAAL优于各种基准数据集的平衡/不平衡标签分类以及语义分割和它的任务感知和任务不可知的AL属性与我们的深入分析证实了最先进的。
2020-12-08 cs.LG stat.ML
Agnostic Interactive Imitation Learning: New Theory and Practical Algorithms
University of Arizona(亚利桑那大学)
本文针对不可知交互式模仿学习,提出新算法MFTPL-P及实用变体Bootstrap-Dagger,在广泛政策类上提供有限样本保证,并在连续控制任务中超越现有基线。
2024-07-17 cs.LG
Towards Fundamental Limits for Active Multi-distribution Learning
The University of Arizona(亚利桑那大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文针对主动多分布学习提出新算法,在可实现和不可知设置下给出标签复杂度上界,并证明可实现情形下信息论最优,同时建立被动学习的实例相关样本复杂度界。
2025-06-21 cs.LG stat.ML
Uncertainty in Model-Agnostic Meta-Learning using Variational Inference
University of Adelaide(阿德莱德大学);University of Liverpool(利物浦大学)
我们引入了一个新的,严格制定贝叶斯元学习算法,学习概率分布的模型参数先验少样本学习。该算法采用基于梯度的变分推理来推断模型参数对新任务的后验。我们的算法可以应用于任何模型架构,并可以实现在各种机器学习范例,包括回归和分类。我们表明,用我们提出的元学习算法训练的模型校准得很好,很准确,在两个Few-Shot分类基准(Omniglot和Mini-ImageNet)上具有最先进的校准和分类结果,并且在多模态任务分布回归中具有竞争力。
2019-10-30 cs.LG stat.ML
Optimal Sampling Density for Nonparametric Regression
Berlin Institute of Technology(柏林工业大学);BIFOLD-Berlin Institute for the Foundations of Learning and Data(BIFOLD-柏林学习与数据基础研究所);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);RIKEN AIP(理化学研究所人工智能研究中心)
我们提出了一种新的回归主动学习策略,该策略是模型不可知的,对模型失配具有鲁棒性,并且是可解释的。假设有少量的初始样本可用,我们推导出最佳训练密度,该密度使局部多项式平滑(LPS)的泛化误差最小化,其内核带宽在局部进行了调整:我们采用平均积分平方误差(MISE)作为推广标准,并使用MISE的渐近行为以及局部最优带宽(LOB)-在渐近极限中最小化MISE的带宽函数。然后,我们的目标的渐近表达式揭示了MISE对训练密度的依赖性,从而实现了解析最小化。因此,我们得到了最佳的训练密度在一个封闭的形式。因此,我们的方法几乎无模型的性质,有助于编码的目标问题的基本属性,提供了一个强大的和模型无关的主动学习策略。此外,所获得的训练密度以透明和可解释的方式分解了局部函数复杂度、噪声水平和测试密度的影响。我们验证了我们的理论在数值模拟,并表明,所提出的主动学习方法优于现有的国家的最先进的模型不可知的方法。
2021-07-24 cs.LG
NASI: Label- and Data-agnostic Neural Architecture Search at Initialization
National University of Singapore(新加坡国立大学)
近年来,人们对神经结构搜索(NAS)的兴趣激增。已经提出了各种算法来提高NAS的搜索效率和有效性,即,以分别降低搜索成本和提高所选结构的泛化性能。然而,这些算法的搜索效率受到搜索过程中模型训练需求的严重限制。为了克服这一限制,我们提出了一种新的NAS算法称为NAS在初始化(NASI),利用神经切线核的能力,能够在初始化时表征候选架构的收敛性能,从而允许模型训练,以完全避免提高搜索效率。除了提高搜索效率外,NASI还在CIFAR-10/100和ImageNet等各种数据集上实现了具有竞争力的搜索效果。此外,NASI被证明是标签和数据不可知的温和条件下,这保证了我们的NASI在不同的数据集上选择的架构的可转移性。
2022-04-25 cs.AI cs.LG
Model-agnostic out-of-distribution detection using combined statistical tests
Technical University of Denmark(丹麦技术大学);Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Corti AI;CEA(法国原子能和替代能源委员会)
我们提出了简单的方法,使用训练生成模型的分布检测。这些技术,基于经典的统计测试,是模型不可知的意义上说,他们可以应用于任何可微生成模型。我们的想法是结合一个经典的参数测试(饶氏评分测试)与最近推出的典型性测试。这两个检验统计量在理论上都是有根据的,并且基于典型性检验的可能性和分数检验的梯度利用不同的信息源。我们表明,使用Fisher方法将它们结合起来,总体上会导致更准确的分布外检验。我们还讨论了铸造的分布检测作为一个统计测试问题的好处,特别注意到,假阳性率控制可以是有价值的实际分布检测。尽管它们的简单性和通用性,这些方法可以与模型特定的分布外检测算法竞争,而无需对分布外进行任何假设。
2022-03-02 cs.LG stat.ML
The Cost of Replicability in Active Learning
Johns Hopkins University(约翰霍普金斯大学);University of Pennsylvania(宾夕法尼亚大学);Penn Institute for Computational Science(宾夕法尼亚大学计算科学研究所)
本文研究了主动学习中可重复性带来的样本复杂性增加,提出两种可重复的主动学习算法,在保证一致性的同时实现标签节省。
2026-03-23 cs.LG
Zero-shot Active Learning Using Self Supervised Learning
Stanford University(斯坦福大学)
本文提出一种模型无关且无需迭代的零样本主动学习方法,利用自监督学习在无标注情况下提取特征表示,在固定标注预算下提升深度学习模型的泛化性能。
2024-01-03 cs.LG
Hierarchically Structured Task-Agnostic Continual Learning
Ulm University(乌尔姆大学)
当前机器学习算法的一个显著弱点是模型在不忘记先前获得的知识的情况下解决新问题的能力很差。持续学习范式已经成为一种系统地研究环境的协议,其中模型顺序地观察由一系列任务生成的样本。在这项工作中,我们采取任务不可知论的观点持续学习,并制定了一个分层的信息理论的最优性原则,促进学习和遗忘之间的权衡。我们从贝叶斯的角度推导出这一原则,并展示了它与以前的持续学习方法的联系。基于这一原则,我们提出了一个神经网络层,称为混合变分专家层,通过创建一组信息处理路径通过网络,这是由门控策略,它消除了遗忘。每个路径都配备了一组不同的专门参数,可以被视为一个不同的子网络,学习解决任务。为了改善专家分配,我们引入了多样性目标,我们在额外的消融研究中进行了评估。重要的是,我们的方法可以以任务不可知的方式操作,即,它不像许多现有的持续学习算法那样需要特定于任务的知识。由于基于通用效用函数的一般公式,我们可以将此最优性原则应用于各种各样的学习问题,包括监督学习,强化学习和生成式建模。我们证明了我们的方法在连续强化学习和MNIST,CIFAR-10和CIFAR-100数据集的变体上的竞争性能。
2022-11-14 cs.LG stat.ML
Last-iterate Convergence of Decentralized Optimistic Gradient Descent/Ascent in Infinite-horizon Competitive Markov Games
University of Southern California(南加州大学)
我们研究无限时域折扣两人零和马尔可夫博弈,并开发了一个分散的算法,证明收敛到纳什均衡下的自我发挥。我们的算法基于对每个状态运行乐观梯度下降算法来学习策略,并使用一个慢慢学习每个状态值的评论家。据我们所知,这是第一个算法,在这种设置,同时是理性的(当对手使用固定策略时,收敛到对手的最佳对策),收敛(收敛到自我博弈下的纳什均衡集),不可知论者(不需要知道对手的动作),对称(玩家在算法中扮演对称角色),并享受有限时间的最后收敛保证,所有这些都是分散算法的理想特性。
2021-07-07 cs.AI cs.LG stat.ML
An ECG foundation model for zero-shot transfer from hospital to point-of-care devices
该研究提出LAEF,一种7M参数的导联无关心电图基础模型,预训练于9.2M份12导联心电图,在18个下游数据集的1-2导联即时诊断场景下,性能优于零填充替代方案,与更大规模的12导联基线相当。
2026-11-17 cs.LG
Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance
KAIST(韩国科学技术院)
该研究提出概率对称化框架,用小型等变网络参数化对称化分布,结合任意基础模型端到端训练,实现架构无关的群等变性,在多对称群测试中性能媲美定制等变架构,还可跨模态预训练增强效果。
2024-04-13 cs.AI cs.LG
Convergence and Sample Complexity of First-Order Methods for Agnostic Reinforcement Learning
Blavatnik School of Computer Science, Tel Aviv University(塔夫茨大学Blavatnik计算机科学学院);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
本文在不可知策略学习设定下,提出将策略学习归约为非欧几里得空间一阶优化的通用框架,并在凸性和变分梯度支配条件下给出三种策略学习算法的样本复杂度上界,同时实证验证了该条件的实际相关性。
2025-07-06 cs.LG math.OC stat.ML
Distribution-Agnostic Robust Trajectory Optimization via Chance-Constrained Reinforcement Learning
Auckland University(奥克兰大学)
提出一种分布无关的鲁棒轨迹优化框架,通过机会约束强化学习处理初始条件和过程噪声的不确定性,采用离线标称轨迹与在线仿射闭环校正,在两种不同轨迹设计问题上验证了概率可行性与燃料效率。
2026-06-12 cs.LG cs.SY eess.SY
PASA: Attack Agnostic Unsupervised Adversarial Detection using Prediction & Attribution Sensitivity Analysis
Rochester Institute of Technology(罗切斯特理工学院);Toyota Motor North America(丰田北美汽车公司);University of Florida(佛罗里达大学)
针对深度神经网络易受对抗攻击的问题,提出PASA方法,利用模型预测与特征归因对噪声敏感的特性,通过计算两种测试统计量并设定阈值,实现攻击无关的无监督对抗样本检测,在多种数据集上优于现有方法。
2024-04-12 cs.AI cs.CR cs.LG
Meta-Learning Transferable Active Learning Policies by Deep Reinforcement Learning
University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
主动学习(AL)的目标是通过预测未标记实例的哪个子集最有利于标记来训练具有低标注成本的高性能分类器。人工智能的重要性激发了广泛的研究,提出了各种各样的人工设计的人工智能算法与不同的理论和直观的动机。与此相反,我们建议将主动学习算法设计视为一个元学习问题,并从数据中学习最佳标准。我们将主动学习算法建模为深度神经网络,该网络输入基本学习者状态和未标记的点集,并预测接下来要注释的最佳点。用强化学习训练这个主动查询策略网络,为给定的数据集产生最佳的非近视策略。实现AL的通用解决方案的关键挑战就变成了学习者的泛化,特别是在异构数据集之间。我们提出了一个多任务的嵌入式方法,允许嵌入式不可知的主动学习者进行培训。我们的评估表明,以这种方式训练的AL算法可以直接概括各种问题。
2018-06-12 cs.LG stat.ML