Submodularity In Machine Learning and Artificial Intelligence
University of Washington（华盛顿大学）
在这篇手稿中，我们提供了一个温和的审查子模和超模及其性质。我们提供了大量的次模定义;一个完整的描述了一些例子次模函数和它们的推广;例子离散约束;讨论最大化，最小化和其他操作的基本算法;连续次模扩展的简要概述;和一些历史应用。然后，我们转向子模块化在机器学习和人工智能中是如何有用的。这包括总结，我们提供了一个完整的帐户之间的差异和共性之间的素描，核心集，提取和抽象的总结在NLP，数据蒸馏和冷凝，数据子集选择和特征选择。我们讨论了产生对机器学习有用的子模块函数的各种方式，包括启发式手工制作、学习或近似学习子模块函数或其方面，以及使用子模块函数作为核心集产生器的一些优点。我们讨论子模块组合信息函数，以及子模块如何用于聚类、数据划分、并行机器学习、主动和半监督学习、概率建模以及结构化规范和损失函数。
2022-10-04 cs.AI cs.LG
Beyond Adaptive Submodularity: Adaptive Influence Maximization with Intermediary Constraints
Columbia University（哥伦比亚大学）
我们考虑一个具有给定预算的品牌，希望通过多轮影响者营销推广产品。在每一轮中，它委托一个影响者在社交网络上推广产品，然后观察产品的后续扩散，然后自适应地选择下一个影响者进行委托。这个过程在预算用完时终止。我们假设扩散过程遵循流行的独立级联模型。我们还考虑在线学习设置，其中品牌最初不知道与模型相关联的扩散参数，并且必须随着时间的推移逐渐学习参数。与现有模型不同，我们模型中的轮次通过中介约束相互关联：每个用户可以被委托无限次。但是，每个用户最多传播一次影响力而不收取佣金。由于这种附加的约束，影响者被选择的顺序可以改变影响扩散，使得基于自适应子模块化概念的现有分析技术过时。我们设计了一个样本路径分析证明，一个贪婪的政策，知道扩散参数实现至少$1-1/e - ε$倍的最优策略的预期回报。在在线学习环境中，我们是第一个考虑真正自适应决策框架的人，而不是假设独立的时代，以及仅在时代内的自适应性。在温和的假设下，我们推导出我们的算法的遗憾界。在我们的数值实验中，我们模拟信息扩散的四个Twitter子网络，并比较我们的基于UCB的学习算法与几个基线自适应播种策略。我们的学习算法始终优于基线，并实现接近于知道真实扩散参数的贪婪策略的奖励。
2019-11-08 cs.LG math.OC
Lower Bound on the Greedy Approximation Ratio for Adaptive Submodular Cover
University of Michigan（密歇根大学）
本文证明了自适应子模覆盖的贪心算法近似比下界为 1.3*(1+ln Q)，并推翻了 Golovin-Krause 先前声称的 (1+ln Q)^2 近似比结果。
2024-05-23 cs.AI cs.DS cs.LG
Finite-time Analysis for the Knowledge-Gradient Policy
Princeton University（普林斯顿大学）
我们考虑序贯决策问题，我们自适应地选择一个众多的替代品，并观察到一个随机奖励。我们提供了一个新的视角来解释贝叶斯排序和选择问题的自适应随机多集最大化问题，并推导出第一个有限时间界的知识梯度政策的自适应子模块化目标函数。此外，我们引入了先验最优性的概念，并提供了另一种见解的知识梯度政策的性能的基础上的子模块假设的信息的价值。我们证明了子模块的两个选择的情况下，并提供其他条件更一般的问题，提出了问题和子模块在学习问题中的重要性。通过实验进一步说明了知识梯度策略的有限时间行为。
2016-06-15 cs.LG
Fast Parallel Algorithms for Statistical Subset Selection Problems
Harvard University（哈佛大学）
在本文中，我们提出了一个新的框架，设计快速并行算法的基本统计子集选择任务，包括特征选择和实验设计。这样的任务是已知的弱次模块化，并服从通过标准的贪心算法优化。尽管它的理想的近似保证，贪心算法是固有的顺序，在最坏的情况下，其并行运行时间是线性的数据的大小。最近，出现了一个激增的兴趣，在一个并行优化技术称为自适应采样，产生的解决方案与期望的近似保证submodular最大化指数更快的并行运行时。不幸的是，我们表明，一般弱次模函数，这样的加速是不可能的。本文的主要贡献是提出了一种新的子模松弛方法，我们称之为微分子模松弛。我们首先证明了差分子模块性的特点，如特征选择和实验设计的目标。然后，我们设计了一个自适应采样算法的差分次模函数的并行运行时间是对数的数据的大小，并实现了强大的近似保证。通过实验，我们表明，该算法的性能是有竞争力的国家的最先进的方法，并获得显着的加速特征选择和实验设计问题。
2021-04-01 cs.LG stat.ML
Near-Optimal Bayesian Active Learning with Noisy Observations
Caltech（加州理工学院）
我们解决了贝叶斯主动学习与噪声的基本问题，我们需要自适应地选择从一些昂贵的测试，以确定一个未知的假设采样从已知的先验分布。在无噪声观测的情况下，称为广义二进制搜索（GBS）的贪心算法被称为执行接近最优。我们表明，如果观察是嘈杂的，也许令人惊讶的是，GBS可以执行非常差。我们开发了EC2，一种新的，贪婪的主动学习算法，并证明了它是竞争的最优策略，从而获得第一竞争力保证贝叶斯主动学习与噪声观测。我们的界限依赖于最近发现的收益递减属性称为自适应次模块化，推广的经典概念的次模块集函数的自适应政策。即使测试具有非均匀成本并且它们的噪声是相关的，我们的结果也成立。我们还提出了EffECXtive，一个特别快的近似EC2，并评估它的贝叶斯实验设计问题，涉及人类受试者，旨在梳理除了竞争的经济理论，人们如何在不确定性下作出决定。
2013-12-16 cs.AI cs.DS cs.LG
Comments on the proof of adaptive submodular function minimization
Boston University（波士顿大学）
我们指出了定理5中出现的一个问题，“基于组的主动查询选择快速诊断在时间关键的情况下”。定理5限定了贪婪算法的期望查询数，以在最优的常数因子内识别项目的类。该定理是基于自适应子模函数极小化的一个结果的正确性。我们给出了一个例子，表明定理A.11中的一个关键步骤“自适应子模块：理论和应用在主动学习和随机最优化“是不正确的。
2017-05-10 cs.LG stat.ML
Near-optimal Bayesian Active Learning with Correlated and Noisy Tests
ETH Zurich（苏黎世联邦理工学院）
我们考虑贝叶斯主动学习和实验设计问题，其目标是通过一系列信息丰富的噪声测试来学习一些未知目标变量的值。与以前的工作相比，我们专注于具有挑战性的，但实际相关的设置，测试结果可以有条件地依赖于给定的隐藏目标变量。在这样的假设下，常见的检验学，如最大限度地减少目标的不确定性的grenesty执行测试，往往表现不佳。在本文中，我们提出了ECED，一种新的，计算效率高的主动学习算法，并证明了强有力的理论保证，相关的，嘈杂的测试。ECED不是直接优化预测误差，而是在每一步中选择最大化代理目标增益的测试，这考虑了测试之间的依赖性。我们的分析依赖于一个信息理论的辅助功能，以跟踪ECED的进展，并利用自适应子模块，以达到近最优的界限。我们展示了强大的实证表现ECED两个问题的情况下，包括贝叶斯实验设计任务，旨在区分人们如何做出风险决策的经济理论，和一个积极的偏好学习任务，通过成对比较。
2016-07-11 cs.AI cs.LG
Linear-Time Algorithms for Adaptive Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金德尔管理学院）
在本文中，我们开发了两个随机子模极大化问题的快速算法。我们从研究充分的自适应次模最大化问题的基数约束。我们开发了第一个线性时间算法，实现了$(1-1/e-ε)$近似比。值得注意的是，我们的算法的时间复杂度是$O(n\log\frac{1}ε)$（函数评估的数量），这是独立的基数约束，其中$n$是基集的大小。然后，我们引入了完全自适应子模的概念，并开发了一个线性时间算法，最大化一个完全自适应子模函数受分割拟阵约束。我们表明，我们的算法实现了$\frac{1-1/e-ε}{4-2/e-2ε}$的近似比，只使用$O(n\log\frac{1}ε)$数量的功能评估。
2020-07-08 cs.LG stat.ML
Minimum Cost Adaptive Submodular Cover
University of Michigan（密歇根大学）
本文针对自适应子模函数的最小成本覆盖问题，提出了一种$4(1+\ln Q)$逼近算法，并推广到最小化覆盖成本$p$阶矩，对所有$p\ge 1$实现$(p+1)^{p+1}(\ln Q+1)^p$逼近，且比率最优，同时扩展到多函数覆盖并在假设识别中验证了性能。
2024-05-21 cs.DS cs.LG
Near-Optimal Active Learning of Multi-Output Gaussian Processes
National University of Singapore（新加坡国立大学）
研究了多输出高斯过程模型的主动学习问题。与现有的工作相比，我们的主动学习问题不仅涉及选择要观察的信息量最大的采样位置，而且还涉及选择每个选定位置处的测量类型，以最小化预测不确定性（即，后验联合熵）。不幸的是，这样的熵准则在优化时在候选采样位置和所选观测的数量上的比例很差。为了解决这个问题，我们首先利用稀疏MOGP模型的共同结构，推导出一种新的主动学习标准。然后，我们利用我们的新标准，设计一个多项式时间近似算法，保证了一个常数因子近似的最佳的一组选定的意见，实现了一个宽松的形式的子模块属性。在真实数据集上的实验结果表明，该方法在MOGP和单输出GP模型的主动学习方面优于现有算法。
2015-11-24 cs.AI cs.LG stat.ML
Group Equality in Adaptive Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金德尔管理学院）；Department of Computer Science and Engineering, The University of North Texas（北德克萨斯大学计算机科学与工程系）
针对受组平等性约束的子模最大化问题，提出首个常数因子近似算法，并扩展至自适应设置、全局基数约束及其他公平性概念。
2023-08-29 cs.DS cs.LG
Adaptive Cascade Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）；Department of Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系）
本文提出并研究了自适应设置下的级联子模极大化问题。我们的问题的输入是一组项目，每个项目都处于特定的状态（即，一个项目的边际贡献），其从已知的概率分布中得出。与已有的随机次模极大化研究相比，我们的问题的一个独特之处在于，每一项都与一个连续概率相关联，该概率表示在选择当前项之后，允许继续选择下一项的概率。直观地说，这个术语抓住了选择一个项目对所有后续项目的外部性，即被选择的机会。因此，一个策略可以选择的实际项目集取决于它选择项目时所采用的特定排序，这使得我们的问题与经典的子模集优化问题有着根本的不同。我们的目标是确定最佳的选择项目的顺序，以最大限度地提高所选项目的预期效用。我们提出了一类随机效用函数\emph{adaptive cascade submodular functions}，并证明了在许多实际应用领域的目标函数满足自适应级联子模块。然后，我们开发了一个$0.12$近似算法的自适应级联子模块最大化问题。
2021-02-12 cs.AI cs.LG stat.ML
Exploiting Submodular Value Functions For Scaling Up Active Perception
University of Amsterdam（阿姆斯特丹大学）；University of Oxford（牛津大学）；University of Liverpool（利物浦大学）；Delft University of Technology（代尔夫特理工大学）
在主动感知任务中，智能体的目标是选择感官动作，以减少其对一个或多个隐藏变量的不确定性。虽然部分可观察马尔可夫决策过程（POMDP）提供了一个自然的模型，这样的问题，奖励功能，直接惩罚代理的信念的不确定性，可以删除分段线性和凸属性的价值函数所需的大多数POMDP规划。此外，随着代理可用的传感器数量的增加，POMDP规划的计算成本也随之呈指数级增长，使得POMDP规划不可行。在这篇文章中，我们解决了建模和规划主动感知任务的双重挑战。我们展示了$ρ$ POMDP和POMDP-IR的数学等价性，这两个框架用于建模主动感知任务，恢复了价值函数的PWLC属性。为了有效地规划主动感知任务，我们识别和利用POMDP-IR的独立性，以减少求解POMDP-IR（和$ρ$ POMDP）的计算成本。我们提出了贪婪的基于点的值迭代（PBVI），一个新的POMDP规划方法，使用贪婪的最大化，大大提高了可扩展性的行动空间的主动感知POMDP。此外，我们表明，在一定的条件下，包括子模块，使用贪婪PBVI计算的价值函数保证有界误差的最佳价值函数。我们建立的条件下，价值函数的主动感知POMDP保证是次模。最后，我们提出了一个详细的实证分析，从多摄像机跟踪系统在一个购物中心收集的数据集。我们的方法实现了类似的性能，现有的方法，但在一小部分的计算成本，导致更好的可扩展性解决主动感知任务。
2020-09-21 cs.AI cs.LG
Partial-Adaptive Submodular Maximization
Naveen Jindal School of Management, The University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）；Department of Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系）
一个典型的自适应序贯决策问题的目标是设计一个交互式的政策，选择一组项目顺序，根据一些部分的意见，以最大化的期望效用。许多实际应用的效用函数，包括基于池的主动学习和自适应影响力最大化，都满足自适应子模块性的性质。然而，大多数关于自适应子模最大化的现有研究都集中在完全自适应设置上，即，在进行下一个选择之前，必须等待来自\emph{all}过去选择的反馈。虽然这种方法可以充分利用来自过去的反馈来做出明智的决定，但与非自适应解决方案相比，它可能需要更长的时间来完成选择过程，在非自适应解决方案中，所有选择都是在进行任何观察之前提前进行的。在本文中，我们探讨了部分自适应次模最大化的问题，其中一个是允许在一批同时进行多个选择，并观察他们的实现在一起。我们的方法具有自适应性的优点，同时减少了等待过去选择的观察结果所花费的时间。据我们所知，没有结果是已知的部分自适应政策的非单调自适应次模最大化问题。我们在基数约束和背包约束下研究了这个问题，并为这两种情况开发了有效和高效的解决方案。我们还分析了批量查询的复杂性，即，一个策略完成选择过程所需的批次数，在一些额外的假设下，我们的策略。
2021-11-01 cs.LG
Message Passing Adaptive Resonance Theory for Online Active Semi-supervised Learning
LG Electronics（LG电子）；Seoul National University（首尔国立大学）；University of Southern California（南加州大学）
主动学习被广泛用于通过从未标记的数据中重复查询仅最有益的样本来减少标记工作和训练时间。在现实世界中，由于有限的存储或隐私问题，数据不能无限期地存储，查询选择和模型更新应该在观察到新的数据样本时立即执行。各种在线主动学习方法已被研究，以应对这些挑战，然而，有困难的选择有代表性的查询样本和更新模型有效而不会忘记。在这项研究中，我们提出了消息传递自适应共振理论（MPART），学习的分布和拓扑结构的输入数据在线。通过拓扑图上的消息传递，MPART主动查询信息和代表性的样本，并不断提高分类性能使用标记和未标记的数据。我们评估我们的模型在基于流的选择性采样方案与可比的查询选择策略，显示MPART显着优于竞争对手的模型。
2021-07-10 cs.AI cs.LG
Context-aware Active Multi-Step Reinforcement Learning
SUNY at Buffalo（纽约州立大学布法罗分校）；Baidu（百度）；Salesforce（赛富时）
强化学习最近引起了人们的极大关注，特别是策略梯度算法，已经在具有挑战性的决策和控制任务上得到了展示。在本文中，我们提出了一个积极的多步TD算法与自适应步长学习演员和评论家。具体来说，我们的模型由两个部分组成：主动步长学习和自适应多步TD算法。首先，我们将时间范围划分为块，并在每个块中主动选择状态和动作。然后，给定选定的样本，我们提出了自适应的多步TD，它推广TD（$λ$），但自适应地打开/关闭备份，从未来的回报不同的步骤。特别地，自适应多步TD引入了上下文感知机制，这里是二元分类器，其基于上下文变化来决定是否打开其未来备份。因此，我们的模型是一种主动学习和多步TD算法的结合，它具有学习的能力，而不需要重要性采样。我们评估了我们的方法在离散和连续的空间任务分别在一个关闭的政策设置，并展示了竞争力的结果相比，其他强化学习基线。
2019-11-27 cs.AI cs.LG stat.ML
Adaptive Region-Based Active Learning
Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）
我们提出了一种新的主动学习算法，自适应分区的输入空间到一个有限数量的区域，并随后寻求一个不同的预测每个区域，两个阶段积极请求标签。我们证明了理论保证的泛化误差和标签的复杂性，我们的算法，并分析了一些温和的假设下，该算法定义的区域的数量。我们还报告了在几个真实世界数据集上进行的一系列广泛实验的结果，这些实验表明，与现有的单区域和基于非自适应区域的主动学习基线相比，该方法具有实质性的经验优势。
2020-02-18 cs.LG stat.ML
Active Automata Learning with Adaptive Distinguishing Sequences
TU Dortmund University（多特蒙德工业大学）
本文研究了将自适应区分序列集成到主动自动机学习（AAL）过程中。提出了一种新的自适应鉴别树算法ADT。自原论文提交以来，所提出的算法已被集成到LearnLib -主动自动机学习的开源库-并已成功地用于相关领域的研究。
2019-02-04 cs.LG stat.ML
An Adaptive Strategy for Active Learning with Smooth Decision Boundary
Otto-von-Güricke Universität Magdeburg（马格德堡奥托·冯·格里克大学）；Princeton University（普林斯顿大学）
我们提出了第一个自适应策略的主动学习设置的分类与光滑的决策边界。自Castro和Nowak（2007）的开创性工作以来，（对未知分布参数的）自适应性问题一直没有解决，该工作首次建立了这种设置的（主动学习）率。虽然这个问题的一些最新进展建立自适应率的情况下，单变量数据，自适应在更实际的设置多变量数据迄今仍然难以捉摸。结合各种最近的作品的见解，我们表明，对于多变量的情况下，仔细减少单变量自适应策略产生接近最优的利率，而无需先验知识的分布参数。
2017-11-25 cs.LG stat.ML
BoostMIS: Boosting Medical Image Semi-supervised Learning with Adaptive Pseudo Labeling and Informative Active Annotation
National University of Singapore（新加坡国立大学）；National University Hospital（国立大学医院）；Zhejiang University（浙江大学）
本文提出了一种新的半监督学习（SSL）框架BoostMIS，该框架结合了自适应伪标记和信息主动标注，充分发挥了医学图像SSL模型的潜力：（1）BoostMIS能够根据当前学习状态自适应地利用聚类假设和未标记数据的一致性正则化。该策略可以自适应地生成从任务模型预测转换的独热“硬”标签，以更好地进行任务模型训练。(2)对于低置信度的未标记图像，我们引入了主动学习（AL）算法，通过利用虚拟对抗扰动和模型的密度感知熵来寻找信息样本作为注释候选。这些信息候选者随后被馈送到下一个训练周期，以更好地进行SSL标签传播。值得注意的是，自适应伪标记和信息主动注释形成了相互协作以提高医学图像SSL的学习闭环。为了验证所提出的方法的有效性，我们收集了转移性硬膜外脊髓压迫（MESCC）数据集，旨在优化MESCC诊断和分类，以改善专科转诊和治疗。我们在MESCC和另一个公共数据集COVIDx上对BoostMIS进行了广泛的实验研究。实验结果验证了我们的框架的有效性和普适性不同的医学图像数据集与各种国家的最先进的方法有显着的改善。
2022-03-21 cs.AI cs.CV cs.LG
Improved Adaptive Algorithm for Scalable Active Learning with Weak Labeler
University of Washington（华盛顿大学）；Meta
使用强标记器和弱标记器的主动学习考虑了一个实际的设置，在该设置中，我们可以使用昂贵但准确的强标记器和由弱标记器提供的不准确但便宜的预测。我们研究这个问题的流设置，其中必须采取的决定\textit{online}。我们设计了一种新的算法模板，弱标签主动覆盖（WL-AC），这是能够鲁棒地利用低质量的弱标签，以降低查询的复杂性，同时保持所需的准确性水平。之前的主动学习算法可以访问弱标签，学习差异分类器，预测弱标签与强标签的不同之处;这需要对差异分类器的可实现性进行强假设（Zhang和Chaudhuri，2015）。WL-AC绕过了这个\textit{realizability}假设，因此适用于许多现实世界的场景，例如随机损坏的弱标签和高维差异分类器家族（\textit{e.g.,}深度神经网络）。此外，WL-AC巧妙地权衡了评估质量与充分利用弱标记器的关系，这允许将任何主动学习策略转换为可以利用弱标记器的策略。我们提供了一个实例化的模板，实现了最佳的查询复杂度为任何给定的弱标签，而不知道其准确性先验。从经验上讲，我们提出了一个WL-AC模板的实例，可以有效地实现大规模模型（\textit{e.g} .，深度神经网络），并通过显着减少标签的数量，同时保持与被动学习相同的准确性，在损坏的MNIST数据集上显示其有效性。
2022-11-04 cs.AI cs.LG
Active and Adaptive Sequential learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）
介绍了一个框架，用于主动和自适应地解决一系列机器学习问题，这些问题从一个时间步到下一个时间步以有界的方式变化。开发了一种算法，该算法从未标记的数据池中主动查询信息量最大的样本的标签，并通过利用在前面的步骤中获得的信息来适应变化。我们的分析表明，所提出的主动学习算法的基础上随机梯度下降实现了一个接近最优的超额风险性能的最大似然估计。此外，使用主动学习样本的学习问题的变化的估计器被构造，这提供了一个自适应的样本大小选择规则，保证超额风险是有界的足够大的时间步长。仿真和真实数据的实验验证了我们的算法和理论结果。
2018-05-29 cs.LG stat.ML
Nonparametric adaptive active learning under local smoothness condition
Université de Mons（蒙斯大学）；Faculté polytechnique（理工学院）；Département de Mathématique et recherche opérationnelle（数学与运筹学系）；e-mail（电子邮件）
主动学习通常用于标记数据，当标记过程是昂贵的。几种主动学习算法已经在理论上被证明比它们的被动对应物执行得更好。然而，这些算法依赖于一些假设，这些假设本身包含一些特定的参数。本文研究了非参数环境下的自适应主动学习问题。我们提出了一种新的算法，在更一般的假设下比以前已知的算法是有效的，而且可以适应这些假设中使用的参数。这使我们能够处理更大类的分布，从而避免排除像高斯分布这样的重要密度。我们的算法实现了极大极小的收敛速度，因此，执行几乎以及最知名的非自适应算法。
2021-02-22 cs.LG stat.ML
Fase-AL -- Adaptation of Fast Adaptive Stacking of Ensembles for Supporting Active Learning
Santa Catarina State University（圣卡塔琳娜州立大学）；Pernambuco Federal University（伯南布哥联邦大学）；Granma University（格拉玛大学）
数据流挖掘的分类算法是近年来研究的热点。然而，许多这些算法是专为监督学习，需要标记的实例。然而，数据的标记是昂贵和耗时的。正因为如此，已经提出了替代的学习范例，以减少标记过程的成本，而不会显着损失模型性能。主动学习是这些范例之一，其主要目标是建立分类模型，要求尽可能少的标记样本达到足够的准确度。因此，本工作提出了FASE-AL算法，该算法使用主动学习来诱导具有非标记实例的分类模型。FASE-AL是基于算法快速自适应堆叠的集合（FASE）。FASE是一种集成算法，当输入数据流存在概念漂移时，该算法检测并调整模型。FASE-AL与文献中发现的四种不同的主动学习策略进行了比较。实验中使用了真实和合成数据库。该算法取得了可喜的成果，正确分类的实例的百分比。
2020-01-30 cs.AI cs.LG stat.ML
State Matching and Multiple References in Adaptive Active Automata Learning
Radboud University（拉德堡德大学）
本文提出状态匹配方法并构建自适应L#框架，利用相似参考模型的结构降低主动自动机学习的样本复杂度，实验表明其性能提升最多两个数量级。
2024-06-28 cs.LG cs.LO
Absolute convergence and error thresholds in non-active adaptive sampling
University of Vigo（维戈大学）；University of A Coruña（拉科鲁尼亚大学）
本文提出一种计算绝对收敛和误差阈值的方法，用于非主动自适应采样，以确定模型质量何时停止提升并估计其接近程度，通过词性标注器生成实验验证了其正确性和鲁棒性。
2024-02-04 cs.AI cs.CL cs.LG
Design and Analysis of Robust Adaptive Filtering with the Hyperbolic Tangent Exponential Kernel M-Estimator Function for Active Noise Control
Department of Electrical Engineering, PUC-Rio（电气工程系，PUC-里约热内卢）
本文提出FXHEKM鲁棒自适应算法，用于脉冲噪声环境下的有源噪声控制，并通过统计分析和数值实验验证其在消除α稳定噪声方面优于竞争算法。
2025-08-18 cs.LG
Active Learning On Weighted Graphs Using Adaptive And Non-adaptive Approaches
University of Southern California（南加州大学）
本文研究了基于图的主动学习，其目标是通过在一个小的节点子集上采样来重构定义在加权图的节点上的二进制信号。提出了一种新的采样算法，该算法基于对信号在图上的边界的积极搜索，顺序地选择要采样的图节点。该算法推广了最近的一种方法，在无权图中的节点采样。泛化使用从可用图权重获得的信息来提高采样性能。所提出的算法所需的样本数的分析，并在未加权的方法的增益进一步证明了在模拟中。此外，所提出的方法相比，与另一种状态的最先进的方法，这是基于图的频谱特性。结果表明，所提出的方法显着优于频谱采样方法，如果信号需要预测的高精度。另一方面，如果更高级别的不准确性是可以容忍的，那么谱方法优于所提出的积极的搜索方法。因此，我们提出了一种混合方法，这是结合两种方法的优点。
2016-05-18 cs.LG
An adaptive human-in-the-loop approach to emission detection of Additive Manufacturing processes and active learning with computer vision
Dublin City University（都柏林城市大学）；I-Form（I-Form先进制造研究中心）
增材制造（AM）（也称为3D打印）中的现场监测和过程控制的最新发展允许在制造零件的构建过程中收集大量排放数据。这些数据可以用作3D打印部件的3D和2D表示的输入。然而，这些数据的分析和使用以及表征仍然是一个手动过程。本文的目的是提出一种自适应的人在环的方法，使用机器学习技术，自动检查和注释的AM过程中产生的排放数据。更具体地说，本文将着眼于两个场景：首先，使用卷积神经网络（CNN）自动检查和分类的排放数据收集的原位监测，其次，应用主动学习技术开发的分类模型，以构建一个人在回路中的机制，以加快标记过程的排放数据。基于CNN的方法依赖于迁移学习和微调，这使得该方法适用于其他工业图像模式。该方法的自适应性质是通过不确定性采样策略来自动选择要提交给人类专家进行注释的样本。
2022-12-12 cs.AI cs.CV cs.LG
Active Regression with Adaptive Huber Loss
Istituto Italiano di Tecnologia（意大利理工学院）；University of Genova（热那亚大学）；University of Verona（维罗纳大学）
本文通过一种新的解决方案来解决标量回归问题，以精确优化一般半监督设置中的Huber损失，该解决方案结合了多视图学习和流形正则化。我们提出了一个原则性的算法，以1）避免计算昂贵的迭代方案，同时2）以数据驱动的方式调整Huber损失阈值，3）主动平衡标记数据的使用，以在训练阶段去除噪声或不一致的注释。在广泛的实验评估，处理不同的应用程序，我们评估我们的范例，这是能够结合对噪声的鲁棒性与强大的性能和低计算成本的优越性。
2016-06-26 cs.CV cs.LG
WaveFuse-AL: Cyclical and Performance-Adaptive Multi-Strategy Active Learning for Medical Images
Department of Computer Science \& Engineering, Indian Institute of Technology Ropar, India Department of Biomedical Engineering, Indian Institute of Technology Ropar, India
针对医学图像主动学习中单一采集策略表现不稳定的问题，提出融合BALD等多种策略的WaveFuse-AL框架，结合周期性先验与性能自适应动态调整策略权重，在三个医学基准上显著优于基线，提升了标注预算效用。
2025-11-19 cs.CV cs.LG
Switch-based Active Deep Dyna-Q: Efficient Adaptive Planning for Task-Completion Dialogue Policy Learning
Microsoft Research（微软研究院）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Carnegie Mellon University（卡内基梅隆大学）
用强化学习训练任务完成对话代理通常需要大量真实的用户体验。Dyna-Q算法通过集成世界模型来扩展Q学习，因此可以使用由世界模型生成的模拟经验来有效地提高训练效率。然而，Dyna-Q的有效性取决于世界模型的质量-或者隐含地，用于Q学习的真实与模拟经验的预先指定的比率。为此，我们扩展了最近提出的Deep Dyna-Q（DDQ）框架，集成了一个切换器，可以自动确定是否使用真实或模拟的经验进行Q学习。此外，我们探索使用主动学习提高样本效率，通过鼓励世界模型产生模拟的经验，在状态-动作空间的代理没有（充分）探索。我们的研究结果表明，通过结合开关和主动学习，新的框架命名为基于开关的主动深度动态Q（Switch-DDQ），导致显着改善DDQ和Q学习基线在模拟和人类的评估。
2018-11-19 cs.AI cs.CL cs.LG
How To Guide Your Learner: Imitation Learning with Active Adaptive Expert Involvement
Nanjing University（南京大学）；The University of Hong Kong（香港大学）；Peng Cheng Laboratory（鹏城实验室）
模仿学习的目标是在没有明确奖励信号的情况下模仿专家的行为。使用静态专家数据集的被动模仿学习方法通常遭受复合误差、低样本效率和高超参数敏感性。相反，主动模仿学习方法需要专家干预来解决局限性。然而，目前的主动模仿学习方法都是基于人的直觉或经验而设计的，没有理论保证。在本文中，我们提出了一个新的主动模仿学习框架的基础上，教师的目标是确定最佳的教学行为，并积极影响学生的学习过程。通过解决这个框架的优化目标，我们提出了一个实际的实现，命名为AdapMen。理论分析表明，AdapMen在较温和的条件下，可以提高误差界，避免复合误差。MetaDrive基准测试和Atari 2600游戏上的实验验证了我们的理论分析，并表明我们的方法比以前的方法具有更少的专家参与和总采样步骤，达到了接近专家的性能。该代码可在https://github.com/liuxhym/AdapMen上获得。
2023-03-03 cs.LG
Adaptive Batch Sizes for Active Learning A Probabilistic Numerics Approach
University of Oxford（牛津大学）；Toyota Motor Corporation（丰田汽车公司）；University of Helsinki（赫尔辛基大学）；Amazon（亚马逊公司）
提出一种基于概率数值的自适应批量大小框架，将批量选择构建为求积任务以自动调整批量满足精度目标，显著提升了贝叶斯批量主动学习与优化的效率和灵活性。
2024-02-21 cs.AI cs.LG cs.NA
Meta-Learning-Based Delayless Subband Adaptive Filter using Complex Self-Attention for Active Noise Control
City University of Hong Kong（香港城市大学）
本文将主动噪声控制重构为元学习问题，提出基于复数自注意力的无延迟子带自适应滤波器，通过神经网络学习优化更新规则，并结合跳跃更新策略，在多种噪声环境下实现优于传统方法的降噪性能。
2024-12-27 cs.LG cs.SD eess.AS
Adaptive Active Learning for Regression via Reinforcement Learning
本文提出基于强化学习的WiGS方法，通过动态调整探索与调查的平衡，提升回归任务中的主动学习效率和准确性。
2026-03-11 cs.LG stat.ML
Learning to Actively Learn: A Robust Approach
University of Wisconsin Madison（威斯康星大学麦迪逊分校）
本文提出通过对抗训练在信息论下界导出的问题等价类上学习自适应数据收集算法，仅需查询、假设、损失和预算作为输入，并在极小查询预算及真实数据任务中验证了其鲁棒性和有效性。
2025-03-08 cs.LG
LExI: Layer-Adaptive Active Experts for Efficient MoE Model Inference
Argonne National Laboratory（阿贡国家实验室）
针对现有MoE模型推理效率低、层间固定专家数导致冗余的问题，提出无数据优化技术LExI，按层权重重要性自适应分配激活专家数，在精度损失可忽略的前提下显著提升推理效率。
2025-09-02 cs.LG
To Be Multimodal or Not to Be: Query-Adaptive Audio-Visual Person Retrieval via Active Modality Detection
University of Cambridge（剑桥大学）；Queen's University Belfast（贝尔法斯特女王大学）；University of Surrey（萨里大学）；Cisco（思科）；Southwest Jiaotong University（西南交通大学）；Teesside University（泰赛德大学）
提出一种查询自适应框架，通过跨模态分数一致性检测主动模态，在BBC Rewind语料库上达到94.2%的P@1，优于单模态和固定融合方法。
2026-06-04 cs.AI cs.CL cs.CV
Online and Adaptive Parking Availability Mapping: An Uncertainty-Aware Active Sensing Approach for Connected Vehicles
University of Padova（帕多瓦大学）；National Research Council (CNR - IEIIT)（国家研究委员会（CNR - IEIIT））
联网车辆的研究代表了一个不断发展的技术领域，受到新兴物联网（IoT）范式和智能交通系统最新进展的推动。如今，车辆是能够基于大量数据生成、接收和自动行动的平台。在辅助驾驶的背景下，联网汽车技术提供有关周围交通状况的实时信息。这些信息有望提高驾驶员的生活质量，例如，通过根据当前停车可用性状态采取决策制定策略。在这种情况下，我们提出了一个在线和自适应计划的停车可用性映射。具体来说，我们采用一种信息寻求主动传感方法来选择传入的数据，从而保留车载存储和处理资源;然后，我们通过高斯过程回归估计停车可用性。我们比较所提出的算法与几个基线，达到较差的性能，在映射收敛速度和自适应能力，此外，所提出的方法是在一个非常小的计算需求的成本。
2021-05-01 cs.LG eess.SP
Maturity-Aware Active Learning for Semantic Segmentation with Hierarchically-Adaptive Sample Assessment
The Pennsylvania State University（宾夕法尼亚州立大学）
针对语义分割中主动学习面临的类别不平衡和样本定义歧义问题，提出MADBAL方法，通过分层多视图分布和成熟度感知不确定性选择关键像素，在Cityscapes和PASCAL VOC上超越现有方法。
2023-08-28 cs.CV cs.LG
Online Adaptive Asymmetric Active Learning with Limited Budgets
South China University of Technology（华南理工大学）；Tencent AI Lab（腾讯人工智能实验室）
在线主动学习（OAL）通过有选择地查询数据的标签来管理未标记的数据流。OAL适用于许多现实问题，如医疗保健和金融领域的异常检测。在这些问题中，有两个关键的挑战：查询预算往往是有限的，类之间的比例是高度不平衡的。在实践中，当只有有限的标签预算可以查询用于训练时，处理不平衡的未标记数据流是相当困难的。为了解决这个问题，以前的OAL研究采用非对称损失或查询（一个孤立的非对称策略）来解决不平衡，并使用一阶方法来优化成本敏感的措施。然而，孤立策略限制了它们在类不平衡中的性能，而一阶方法限制了它们的优化性能。在本文中，我们提出了一种新的在线自适应非对称主动学习算法，基于一种新的非对称策略（合并非对称损失和查询策略），和二阶优化。从理论上分析了它的错误界和代价敏感度量界。此外，为了更好地平衡性能和效率，我们通过草图技术增强了我们的算法，这大大加快了计算速度，性能略有下降。实验结果表明了所提方法的有效性和高效性。
2019-11-18 cs.LG stat.ML
Cost-Accuracy Aware Adaptive Labeling for Active Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
传统的主动学习算法假设一个单一的标签，产生无噪声的标签在一个给定的，固定的成本，并旨在实现最佳的泛化性能，为给定的分类器下的预算约束。然而，在许多实际环境中，不同的贴标机具有不同的贴标成本，并且可以产生不同的贴标精度。此外，给定的贴标签器可以针对不同的情况展现不同的贴标签准确度。这种设置可以被称为主动学习，具有不同的成本和准确性的不同标签器，并且它出现在许多重要的实际设置中。因此，了解如何有效地权衡不同实例的标记精度、标记成本以及训练实例的信息量，从而以最低的标记成本实现最佳的泛化性能是有益的。在本文中，我们提出了一个新的算法选择的实例，标签（及其相应的成本和标签精度），采用泛化范围的学习与标签噪声选择信息的实例和标签，以实现更高的泛化精度在较低的成本。我们提出的算法在五个UCI和一个真正的众包数据集上展示了最先进的性能。
2021-05-24 cs.LG stat.AP
Latent FxLMS: Accelerating Active Noise Control with Neural Adaptive Filters
本文提出Latent FxLMS方法，通过神经自适应滤波器提升主动噪声控制的收敛速度和稳态性能。
2025-07-05 cs.LG cs.SD cs.SY
Adaptive Sampling for Heterogeneous Rank Aggregation from Noisy Pairwise Comparisons
University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）；California Institute of Technology（加州理工学院）
在异质等级聚合问题中，用户在比较项目对时往往表现出不同的准确度水平。因此，对用户的统一查询策略可能不是最佳的。为了解决这个问题，我们提出了一个基于淘汰的主动抽样策略，估计排名的项目，通过嘈杂的成对比较，从用户和提高用户的平均精度，通过保持一个活跃的用户集。我们证明了我们的算法可以返回的真实排名的项目以高概率。我们还提供了一个样本的复杂性界所提出的算法，这是优于文献中的非主动策略。实验表明，所提出的方法的经验优势，在国家的最先进的基线。
2021-10-08 cs.LG
A New Perspective on Pool-Based Active Classification and False-Discovery Control
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington, Seattle, WA（华盛顿大学）
在许多科学环境中，需要自适应试验设计来指导识别搜索空间的区域的过程，这些区域包含尽可能多的真阳性，但错误发现（即错误警报）的比率很低。搜索空间的这些区域可能与最小化0/1误差的预测集有很大不同，并且准确识别可能需要非常不同的采样策略。像二进制分类的主动学习一样，这种试验设计不能先验地选择最佳，而是必须顺序地和自适应地获取数据。然而，与具有0/1错误的分类不同，自适应地收集数据以找到具有高真阳性率和低错误发现率（FDR）的集合还没有被很好地理解。在本文中，我们提供了第一个可证明的样本有效的自适应算法，这个问题。一路上，我们强调分类，组合土匪，和FDR控制之间的联系，使每个贡献。
2020-08-14 cs.LG stat.ML
Active Inference for Adaptive Traffic Signal Control in Noisy Nonstationary IoT Environments
Department of Computer Systems and Sciences（计算机系统与科学系）；Stockholm University（斯德哥尔摩大学）
提出一种基于主动推理的交通信号控制器，通过最小化期望自由能动态选择相位，在传感器遮挡、天气衰减和非平稳需求下优于深度Q网络和规则方法，降低空闲时间和CO2排放。
2026-06-15 cs.AI cs.LG cs.NI
Active Adaptive Experimental Design for Treatment Effect Estimation with Covariate Choices
Mizuho-DL Financial Technology Co., Ltd.（瑞穗数字金融科技有限公司）
针对平均处理效应估计，本文提出在自适应实验中同时优化协变量密度与倾向得分，并构造达到最小半参数效率界的估计量。
2024-06-18 cs.LG econ.EM stat.ME
Adaptive Informative Path Planning Using Deep Reinforcement Learning for UAV-based Active Sensing
University of Bonn（波恩大学）
空中机器人越来越多地用于环境监测和勘探。然而，一个关键的挑战是有效地规划路径，以最大限度地提高所获得的数据的信息价值，作为一个最初未知的环境进行探索。为了解决这个问题，我们提出了一种新的方法，信息路径规划的基础上深度强化学习（RL）。结合RL和机器人应用的最新进展，我们的方法将树搜索与离线学习的神经网络相结合，预测信息传感动作。我们介绍了几个组件，使我们的方法适用于机器人任务与高维状态和大动作空间。通过在任务期间部署经过训练的网络，我们的方法可以在计算资源有限的平台上实现样本高效的在线重新规划。仿真结果表明，我们的方法与现有方法相比，运行时间减少了8- 10倍。我们使用真实世界的表面温度数据验证其性能。
2022-03-03 cs.LG cs.RO
Noise-adaptive Margin-based Active Learning and Lower Bounds under Tsybakov Noise Condition
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个简单的噪声鲁棒的基于边缘的主动学习算法，以找到齐次（通过原点）线性分离器，并分析其误差收敛时，标签被噪声破坏。我们表明，当施加的噪声满足Tsybakov低噪声条件（Mammen，Tsybakov等1999年; Tsybakov 2004年）的算法是能够适应未知的噪声水平，并实现最佳的统计率多对数因子。我们还推导出了Tsybakov噪声条件下（TNC）的成员查询合成方案（Angluin 1988）的利润率为基础的主动学习算法的下限。我们的结果意味着一些相当简单的数据分布下TNC基于流的选择性采样方案（Cohn 1990）的下限。令人惊讶的是，我们发现，样本的复杂性不能得到改善，即使底层的数据分布是一样简单的均匀分布的单位球。我们的证明涉及建设一个良好的分离的假设集的d维单位球随着精心设计的标签分布的Tsybakov噪声条件。我们的分析也可能为其他形式的下界提供见解。
2015-11-23 cs.LG stat.ML
Adaptive Active Learning for Online Reliability Prediction of Satellite Electronics
ZJUI Institute, Zhejiang University（浙江大学浙江研究院）；Faculty of Computational Mathematics and Cybernetics, Shenzhen MSU-BIT University（深圳MSU-BIT大学计算数学与自动化系）；The School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学学院）
本文提出基于自适应主动学习的卫星电子在线可靠性预测方法，通过退化模型与两阶段采样策略提升预测精度并减少数据需求。
2026-03-10 cs.LG stat.ME
Active Sensing for Communications by Learning
University of Toronto（多伦多大学）
本文提出了一种深度学习方法来解决无线通信中的一类主动感知问题，其中代理在预定数量的时间帧内顺序地与环境交互以收集信息，以便执行感知或致动任务以最大化某些效用函数。在这样的主动学习设置中，代理需要基于到目前为止所做的观察来顺序地设计自适应感测策略。为了解决这样一个具有挑战性的问题，其中历史观测的维度随着时间的推移而增加，我们建议使用长短期记忆（LSTM）网络来利用观测序列中的时间相关性，并将每个观测映射到固定大小的状态信息向量。然后，我们使用深度神经网络（DNN）将每个时间帧的LSTM状态映射到下一个测量步骤的设计。最后，我们使用另一个DNN将最终的LSTM状态映射到所需的解决方案。我们研究了无线通信中的自适应信道感知问题的性能所提出的框架。特别是，我们考虑毫米波波束对准的自适应波束形成问题和反射对准的自适应可重构智能表面传感问题。数值结果表明，所提出的深度主动传感策略优于现有的自适应或非自适应传感方案。
2022-02-08 cs.IT cs.LG math.IT
From Weak to Strong Sound Event Labels using Adaptive Change-Point Detection and Active Learning
Computer Science Research Institutes of Sweden（瑞典计算机科学研究所）；Centre for Math. Sciences Lund University（隆德大学数学科学中心）；Signal Proc. Research Centre Tampere University（坦佩雷大学信号处理研究中心）
提出自适应变点检测方法A-CPD，结合主动学习循环和预训练预测模型，在有限标注预算下将弱声音事件标签转化为高质量强标签。
2024-08-26 cs.LG cs.SD eess.AS
