A Model-Free Sampling Method for Estimating Basins of Attraction Using Hybrid Active Learning (HAL)
Duke University（杜克大学）
了解吸引域（BoA）通常是非线性系统的首要考虑因素。大多数现有的确定高分辨率BoA的方法需要系统的动态模型的先验知识（例如，连续系统的微分方程或点映射，离散系统的单元映射等），其允许在多核计算机上导出近似解析解或并行计算以有效地找到BoA。然而，这些方法通常是不切实际的BoA时，必须确定实验或当系统的模型是未知的。本文介绍了一种无模型的BoA抽样方法。该方法是基于混合主动学习（HAL），旨在寻找和标记的“信息”的样本，有效地确定边界的BoA。它由三个主要部分组成：1）额外的采样轨迹（AST），以最大限度地增加从每个模拟或实验中获得的样本的数量; 2）一个主动学习（AL）算法，以利用局部边界的BoA;和3）基于密度的采样（DBS）的方法，以探索全球边界的BoA。最后给出了一个非线性系统BoA估计的例子，证明了HAL采样方法的高效性。
2022-05-10 cs.LG nlin.CD stat.ML
An Active Set Algorithm to Estimate Parameters in Generalized Linear Models with Ordered Predictors
本文提出一种积极集算法，用于在有序预测变量上施加单调性约束，高效估计广义线性模型参数，并应用于肿瘤学真实数据。
2010-01-18 stat.CO stat.ME
A novel active learning-based Gaussian process metamodelling strategy for estimating the full probability distribution in forward UQ analysis
Guangzhou University（广州大学）；ETH Zürich（苏黎世联邦理工学院）
提出了一种基于主动学习的高斯过程（AL-GP）元建模方法，用于估计前向不确定性量化（UQ）问题的累积和互补累积分布函数（CDF/CCDF）。在UQ领域，以前的研究集中在开发AL-GP方法的可靠性（罕见事件概率）分析昂贵的黑盒求解器。这些算法相对于不同CDF/CCDF阈值的朴素迭代将产生离散化CDF/CCDF。然而，这种方法不可避免地导致精度和计算效率之间的权衡，因为两者都取决于（以相反的方式）所选择的离散化。在这项研究中，一个专门的误差测量和学习功能的开发，使所得到的AL-GP方法能够有效地估计CDF/CCDF为一个指定的范围内的利益，而不显着依赖于离散化。特别地，所提出的AL-GP方法能够同时提供准确的CDF和CCDF估计在其中低概率区域。通过三个数值算例验证了该方法的有效性。
2019-08-27 cs.LG stat.AP stat.ML
MetAL: Active Semi-Supervised Learning on Graphs via Meta Learning
Tokyo Institute of Technology（东京工业大学）
主动学习（AL）的目标是通过只选择信息量最大的样本进行标注，从而训练具有较少标注样本的分类模型。为其他数据类型（如图像和文本）设计的AL算法在图结构数据上表现不佳。虽然已经提出了一些基于几何学的人工智能算法的图，一个原则性的方法是缺乏的。在本文中，我们提出了MetAL，AL方法，选择未标记的实例，直接提高分类模型的未来性能。对于一个半监督学习问题，我们制定了AL任务作为一个双层优化问题。基于最近的元学习工作，我们使用元梯度来近似使用任何未标记实例重新训练模型对模型性能的影响。使用属于不同领域的多个图形数据集，我们证明了MetAL有效地优于现有的最先进的AL算法。
2020-07-22 cs.LG stat.ML
ActiveCQ: Active Estimation of Causal Quantities
Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）
论文提出 ActiveCQ 统一框架，用 Gaussian Process 与条件均值嵌入建模因果量，并依据后验不确定性设计主动获取策略，显著提升多种因果量估计的样本效率。
2025-09-29 cs.LG stat.ML
Active Fourier Auditor for Estimating Distributional Properties of ML Models
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本文提出主动傅里叶审计器（AFA）框架，通过查询样本点估计机器学习模型的鲁棒性和公平性等特性，无需重构目标模型，并证明了其高概率误差界限和样本复杂度下界，在多数据集上表现优于基线。
2024-10-10 cs.AI cs.CY cs.LG
Active Learning with Multifidelity Modeling for Efficient Rare Event Simulation
Idaho National Laboratory（爱达荷国家实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）
虽然多保真度建模提供了一种具有成本效益的方法来进行不确定性量化计算昂贵的模型，更大的效率可以通过自适应地决定所需的高保真度（HF）模拟的数量，这取决于问题的类型和复杂性，以及所需的精度的结果。我们提出了一个框架，主动学习与多保真度建模强调稀有事件的有效估计。我们的框架通过将低保真（LF）预测与HF推断的校正融合，过滤校正的LF预测以决定是否调用高保真模型，并为增强后续准确性，在每次HF模型调用后调整LF预测的校正。该框架没有对LF模型类型或其与HF模型的相关性做出任何假设。此外，为了提高鲁棒性时，估计较小的故障概率，我们建议使用动态主动学习功能，决定何时调用HF模型。我们证明了我们的框架，使用几个学术案例研究和两个有限元（FE）模型的案例研究：估计Navier-Stokes速度使用斯托克斯近似和估计应力的横向各向同性模型进行位移通过一个粗网格各向同性模型。在这些案例研究中，所提出的框架不仅准确地估计了故障概率，而且与蒙特卡罗或标准方差缩减方法相比，它只需要调用HF模型的一小部分。
2021-06-25 cs.LG stat.AP stat.ML
Targeting Optimal Active Learning via Example Quality
Imperial College London（帝国理工学院）；Heilbronn Institute for Mathematical Research（海尔布伦数学研究所）；University of Bristol（布里斯托大学）
在许多分类问题中，未标记的数据是丰富的，可以选择一个子集进行标记。这定义了主动学习（AL）的上下文，其中方法系统地选择该子集，以通过再训练来改进分类器。给定一个分类问题，以及一个在少量标记示例上训练的分类器，考虑选择一个单独的进一步示例。这个例子将由oracle标记，然后用于重新训练分类器。这个例子的选择提出了一个中心问题：给定一个完全指定的随机描述的分类问题，哪一个例子是最佳选择？如果最优性是根据损失定义的，这个定义直接产生期望损失减少（ELR），一个中心量，其最大值产生最优的例子选择。这项工作提出了一种新的理论方法AL，示例质量，它定义了最佳AL行为的ELR。一旦最佳AL行为的数学定义，推理这个抽象提供了见解AL。在理论上的最佳选择相比，现有的AL方法，显示出，prostitics可以次优的选择。构造了直接评价实例质量的算法。一个大规模的实验研究表明，这些算法是有竞争力的标准AL方法。
2014-07-30 cs.LG stat.ML
Active Tolerant Testing
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
在这项工作中，我们给出了主动模型中的非平凡类的容错测试的第一个算法：估计目标函数到假设类C关于任意分布D的距离，仅使用少量的标签查询到从D提取的多项式大小的未标记示例池。具体来说，我们表明，对于D类的工会的d间隔线上，我们可以估计的错误率的类中的最佳假设的一个添加剂的错误，从只有$O(\frac{1}{ε^6}\log \frac{1}ε)$标签查询的大小$O(\frac{d}{ε^2}\log \frac{1}ε)$的未标记池。这里的关键点是所需标签的数量与类的VC维度无关。这扩展了Balcan等人的工作。[2012]解决了该类的非容差测试问题（将零错误情况与该类中最佳假设的错误大于1的情况区分开来）。我们还考虑了在这种情况下估计给定学习算法A的性能的相关问题。也就是说，给定从分布D中提取的大量未标记的示例，我们是否可以仅从几个标签查询中估计如果整个数据集都被标记，A的表现会有多好？我们专注于k-最近邻风格的算法，并展示了我们的结果如何可以应用到超参数调整的问题（选择给定的学习问题的最佳k值）。
2017-11-01 cs.LG stat.ML
Estimating the unseen from multiple populations
Stanford University（斯坦福大学）；Chan Zuckerberg Biohub（陈-扎克伯格生物中心）
给定一个分布的样本，如果我们继续对这个分布进行采样，我们应该期望找到多少新元素？这是一个重要的和积极研究的问题，从看不见的物种估计到基因组学的许多应用。我们推广这种外推和相关的看不见的估计问题的多个人口设置，其中人口$j$有一个未知的分布$D_j$，我们观察$n_j$样本。我们得到一个最佳估计的元素，我们希望在整个人口的新样本中找到的总数。令人惊讶的是，我们证明了我们的估计的准确性是独立的人口的数量。我们还开发了一个有效的优化算法来解决更一般的问题，估计多人口的频率分布。我们通过大量的实验验证我们的方法和理论。最后，在多个祖先的人类基因组的真实数据集上，我们展示了我们的方法如何进行看不见的估计，从而能够更有效地发现有趣的突变。
2017-07-12 cs.LG stat.ML
Estimating Causal Effects with the Neural Autoregressive Density Estimator
Technical University of Denmark（丹麦技术大学）
在潜在系统将受到积极干预的情况下，因果效应的估计是基本的。构建因果推断引擎的一部分是定义变量如何相互关联，也就是说，定义给定条件依赖关系的变量之间的函数关系。在本文中，我们偏离因果模型中的线性关系的共同假设，利用神经自回归密度估计，并使用它们来估计因果关系的珍珠做演算框架内。使用合成数据，我们表明，该方法可以检索因果关系的影响，从非线性系统，而不明确建模的变量之间的相互作用。
2021-03-01 cs.AI cs.LG stat.ME
Active Learning for Identification of Linear Dynamical Systems
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
我们提出了一种算法，主动估计的线性动力系统的参数。由于完全控制系统的输入，我们的算法自适应地选择输入，以加速估计。我们展示了一个有限的时间范围量化的估计率，我们的算法达到和证明匹配的上界和下界，保证其渐近最优，常数。此外，我们表明，这种最佳速率是无法实现的，当使用高斯噪声来激发系统，即使最佳调整协方差，并分析几个例子，我们的算法证明提高了播放噪声获得的速率。我们的分析严重依赖于一个新的结果量化的误差估计的动态系统的参数时，任意周期性的输入正在播放。最后，我们用数值例子说明了我们的算法在实践中的有效性。
2020-06-22 cs.LG cs.SY eess.SY
Active Learning for Undirected Graphical Model Selection
本文研究了图形化的模型选择，估计一组随机变量之间的统计关系图的问题。传统的图形模型选择算法是被动的，即，它们要求在处理开始之前已经收集了所有的测量。我们提出了一种主动学习算法，使用连接树表示，以适应未来的测量从以前的测量收集的信息的基础上。我们证明，在一定条件下，我们的主动学习算法需要更少的标量测量比任何被动算法可靠地估计一个图。一系列的数值结果验证了我们的理论，并证明了主动学习的好处。
2014-04-13 cs.IT math.IT math.ST
Lower Bounds on Active Learning for Graphical Model Selection
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院 (EPFL)）
我们考虑估计与马尔可夫随机场相关的底层图的问题，增加的扭曲，解码算法可以迭代地选择哪些节点的子集根据以前的样本进行采样，从而导致主动学习设置。考虑到伊辛和高斯模型，我们提供了算法独立的下界内的类度有界图的高概率恢复。我们的主要结果是极小极大的下限的主动设置相匹配的最佳已知的下限的被动设置，这反过来又被称为紧在几种情况下的利益。我们的分析是基于Fano的不等式，随着新的互信息界的主动学习设置，和限制图集成的应用。虽然我们认为合奏是类似或相同的被动设置中使用的，我们需要不同的分析技术，一个关键的挑战是绑定的互信息量与观察到的节点子集，而不是完整的意见。
2017-02-07 cs.IT cs.LG cs.SI
