Active Learning with Importance Sampling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们考虑一个主动学习设置,其中算法可以访问一个大的未标记数据池和一个小的标记数据池。在每次迭代中,该算法选择少数未标记的数据点,并从Oracle中获得它们的标签。在本文中,我们考虑一个概率查询过程来选择要标记的点。我们提出了一种主动学习算法与重要性采样(ALIS),并推导出上界的任何概率抽样过程中的算法所产生的真实损失。此外,我们提出了一个最佳的抽样分布,最大限度地减少了上界的真实损失。
2019-10-10 cs.LG stat.ML
Active covariance estimation by random sub-sampling of variables
University of Southern California(南加州大学)
研究部分观测随机向量的协方差阵估计问题,其中不同样本包含不同的向量坐标子集。每个观测值都是目标变量与$0-1$伯努利随机变量的乘积。在此模型下,我们分析了一个无偏协方差估计,并推导出一个误差界,揭示了子采样概率和协方差阵的元素之间的关系。我们将我们的分析应用在主动学习框架中,其中观测变量的预期数量与感兴趣的向量的维度相比很小,并提出了最优子采样概率的设计和主动协方差阵估计算法。
2018-04-04 cs.LG stat.ML
Hybrid-MST: A Hybrid Active Sampling Strategy for Pairwise Preference Aggregation
University of Nantes(南特大学);University of Cambridge(剑桥大学);Tencent Games(腾讯游戏)
在本文中,我们提出了一种混合主动抽样策略的成对偏好聚合,其目的是恢复潜在的评级的测试候选人从稀疏和嘈杂的成对标签。该方法采用贝叶斯优化框架和Bradley-Terry模型来构造效用函数,进而求出每一对的期望信息增益。为了提高计算效率,采用高斯-厄米求积法估计EIG。在这项工作中,提出了一种混合主动采样策略,无论是使用全球最大(GM)EIG采样或最小生成树(MST)采样,在每次试验中,这是由测试预算。所提出的方法已在模拟和真实世界的数据集上得到验证,其中它显示出比最先进的方法更高的偏好聚合能力。
2018-10-20 cs.LG stat.ML
On weighted uncertainty sampling in active learning
Seal Software
本文探讨了主动学习中不确定性加权的概率抽样。这种方法以前曾被使用过,作者对它的有效性进行了简要的评论。该方案具有几个优点:(1)它在计算上是便宜的,(2)它可以以单通道流式方式实现,这在部署在不同子系统执行建议评分和用户反馈提取的现实世界系统中时是有益的,以及(3)它是容易参数化的。在本文中,我们在公开的数据集上表明,使用概率加权通常是有益的,并且在探索和表示之间取得了很好的折衷,特别是当标记点的起始集有偏差时。
2019-09-11 cs.LG stat.ML
A Divide-and-Conquer Approach to Geometric Sampling for Active Learning
主动学习(AL)利用最小标记预算重复训练分类器以改进当前分类模型。训练过程通常由不确定性评估策略监督。然而,不确定性评估总是遭受性能退化时,初始标签集有不足的标签。为了完全消除AL中对不确定性评估抽样的依赖,本文提出了一种分治的思想,直接将AL抽样转换为聚类上的几何抽样。通过将聚类中的点划分为聚类边界点和聚类核心点,从理论上讨论了它们之间的边缘距离和假设关系。利用聚类边界点在上述两个性质上的优势,提出了一种基于骑士巡游的几何主动学习算法。实验研究的两个实验任务,包括聚类边界检测和AL分类表明,建议GAL方法显着优于国家的最先进的基线。
2020-09-25 cs.LG stat.ML
Active Sampling for Min-Max Fairness
Georgia Tech(佐治亚理工学院);Google(谷歌);Amazon Web Services(亚马逊云科技);University of Washington(华盛顿大学)
我们提出了简单的主动采样和重新加权策略,用于优化最小-最大公平性,可以应用于通过损失最小化学习的任何分类或回归模型。我们的方法背后的关键直觉是在每个时间步使用当前模型下最差的组中的数据点来更新模型。易于实施和我们强大的制定的一般性,使其成为一个有吸引力的选择,以提高模型的性能对弱势群体。对于凸学习问题,例如线性或逻辑斯谛回归,我们提供了细粒度的分析,证明了收敛到最小-最大公平解的速度。
2022-06-17 cs.LG stat.ML
ALEVS: Active Learning by Statistical Leverage Sampling
Bilkent University(比尔肯大学)
与通过选择有效查询的被动学习相比,主动学习旨在通过使用更少的标签请求来获得高精度的分类器。在过去的二十年中,已经开发了许多主动学习方法,这些方法基于未标记数据点的信息性或代表性对查询进行采样。在这项工作中,我们探索了一种基于统计杠杆分数的新型查询标准。矩阵中的行的统计杠杆分数是包含其(顶部)左奇异向量的矩阵的平方行范数,并且是行对矩阵的影响的度量。杠杆分数已被用于检测回归诊断中的高影响力点,最近已被证明是有用的数据分析和随机低秩矩阵近似算法。我们探讨如何采样数据实例与高统计杠杆分数执行主动学习。我们在几个二元分类数据集上的实证比较表明,查询高杠杆点是一种有效的策略。
2015-07-15 cs.LG stat.ML
Poisson Reweighted Laplacian Uncertainty Sampling for Graph-based Active Learning
Oden Institute of Computational Engineering and Sciences, University of Texas(德克萨斯大学奥登计算工程与科学研究所);University of Minnesota(明尼苏达大学)
我们表明,不确定性采样足以实现基于图的主动学习中的探索与利用,只要不确定性的度量与底层模型正确对齐,并且模型正确反映了未探索区域的不确定性。特别是,我们使用最近开发的算法,泊松重新加权拉普拉斯学习(PWLL)的分类器,我们引入了一个采集功能,旨在测量不确定性,在这个基于图形的分类器,识别未探索的数据区域。我们在PWLL中引入对角扰动,它产生解的指数局部化,并控制主动学习中的探索与利用权衡。我们使用PWLL的适定性连续极限来严格分析我们的方法,并给出了一些基于图的图像分类问题的实验结果。
2022-10-27 cs.LG stat.ML
Active Semi-Supervised Learning Using Sampling Theory for Graph Signals
University of Southern California(南加州大学)
我们考虑的问题,离线,基于池的主动半监督学习图。当标记数据稀缺且昂贵,而未标记数据很容易获得时,这个问题很重要。数据点由无向图的顶点表示,它们之间的相似性由边权重捕获。给定要标记的节点的目标数量,目标是选择那些信息量最大的节点,然后预测未知的标签。我们提出了一个新的框架,这个问题的基础上,我们最近的结果,图信号的采样理论。图信号是在图的每个节点上定义的实值函数。这种信号的频率的概念可以使用图形拉普拉斯矩阵的频谱来定义。图信号的采样理论的目的是扩展传统的Nyquist-Shannon采样理论,使我们能够识别一类图信号,可以从它们的值在一个子集的顶点重建。这种方法允许我们基于采样集选择来定义主动学习的标准,该采样集选择的目的是最大化可以从集合上的样本重构的信号的频率。实验证明了该方法的有效性。
2014-05-16 cs.LG stat.ML
Marginal and Joint Cross-Entropies & Predictives for Online Bayesian Inference, Active Learning, and Active Sampling
University of Oxford(牛津大学)
当我们只关注边际预测分布(边际预测)时,原则贝叶斯深度学习(BDL)并没有发挥出它的潜力。最近的工作突出了联合预测(贝叶斯)顺序决策的重要性,从理论和合成的角度。我们提供了更多的实际论据,立足于现实世界的应用,专注于联合预测:我们讨论在线贝叶斯推理,这将使我们能够作出预测,同时考虑到额外的数据,而无需再培训,我们提出了新的具有挑战性的评估设置使用主动学习和主动采样。这些设置的动机是检查边缘和联合预测,他们各自的交叉熵,以及他们在离线和在线学习的地方。它们比以前建议的更现实,建立在Wen等人的工作基础上。(2021)和Osband等人。(2022),并专注于评估在线监督环境中近似BNN的性能。然而,最初的实验,这些想法在高维参数空间与当前BDL推理技术的可行性提出了问题,我们建议的实验,可能有助于进一步阐明这些问题的实用性,目前的研究。重要的是,我们的工作突出了当前研究中以前未发现的差距,以及对更好的近似联合预测的需求。
2022-05-18 cs.LG stat.ML
Active Expansion Sampling for Learning Feasible Domains in an Unbounded Input Space
University of Maryland(马里兰大学)
许多工程问题需要在隐式约束下确定可行域。一个例子是根据美学和功能性等约束找到可接受的车身造型设计。当前基于主动学习的方法学习有界输入空间的可行域。然而,我们通常缺乏关于如何设置这些输入变量界限的先验知识。太小的边界将无法覆盖所有可行域;而太大的边界将浪费查询预算。为了避免这个问题,我们引入了主动扩展采样(AES),一种在无界输入空间上识别(可能断开连接的)可行域的方法。AES逐步扩展我们对输入空间的知识,并使用连续的开发和探索阶段在学习决策边界和搜索新的可行域之间切换。我们发现,AES有一个错误分类损失保证探索区域内,独立的迭代次数或标记的样本。因此,它可以用于实时预测样品在勘探区域内的可行性。我们评估AES的三个测试示例,并比较AES与两个自适应采样方法-邻域Voronoi算法和跨骑启发式-操作在固定的输入变量范围。
2018-01-20 cs.LG stat.ML
On the Relationship between Data Efficiency and Error for Uncertainty Sampling
Stanford University(斯坦福大学)
虽然主动学习提供了潜在的成本节约,但实际的数据效率--在实践中观察到的获得相同出错率所需的标记数据量的减少是混合的。本文提出了一个基本问题:什么时候主动学习真正有帮助?我们用流行的主动学习算法,不确定性抽样,为逻辑回归提供了一个答案。根据经验,在OpenML的21个数据集上,我们发现数据效率与最终分类器的出错率之间存在很强的负相关性。从理论上讲,我们表明,对于一个变量的不确定性采样,渐近数据效率是在一个常数因子的逆出错率的限制分类。
2018-06-15 cs.LG stat.ML
Recommendation on a Budget: Column Space Recovery from Partially Observed Entries with Random or Active Sampling
Stanford University(斯坦福大学)
我们分析了交替最小化的列空间恢复的部分观察到的,近似低秩矩阵的列数不断增加,每列的观测值的固定预算。在这项工作中,我们证明,如果预算大于秩的矩阵,列空间恢复成功-随着列数的增长,从交替最小化的估计收敛到真正的列空间的概率趋于一。从我们的证明技术中,我们自然地制定了一个主动采样策略,用于选择列的条目,该策略在理论上和经验上(在合成和真实数据上)优于通常研究的均匀随机采样策略。
2021-05-16 cs.IR cs.LG stat.ML
Active Sampling for Pairwise Comparisons via Approximate Message Passing and Information Gain Maximization
University of Cambridge(剑桥大学);University College London(伦敦大学学院)
成对比较数据出现在许多领域的主观评估实验中,例如在图像和视频质量评估中。在这些实验中,观察者被要求在两种条件之间表达偏好。然而,许多成对比较协议需要大量的比较来推断准确的分数,当每次比较都是耗时的(例如视频)或昂贵的(例如医学成像)时,这可能是不可行的。这促使使用主动采样算法,该算法仅选择信息量最大的对进行比较。在本文中,我们提出了ASAP,主动采样算法的基础上近似消息传递和期望信息增益最大化。与大多数现有方法不同,这些方法依赖于后验分布的部分更新,我们能够执行完全更新,因此大大提高了推断分数的准确性。该算法依赖于三种技术来降低计算成本:基于近似消息传递的推断,信息增益的选择性评估,以及在一批中选择对,形成信息增益的逆的最小生成树。我们证明,真实的和合成数据,ASAP提供了最高的准确性推断分数相比,现有的方法。我们还提供了一个开源的GPU实现的ASAP的大规模实验。
2020-04-12 cs.LG stat.ML
Sensitivity Analysis for Active Sampling, with Applications to the Simulation of Analog Circuits
Université Toulouse III - Paul Sabatier(图卢兹第三大学 - 保罗·萨巴蒂尔大学);NXP Semiconductors(恩智浦半导体)
针对模拟电路仿真中参数多、难拟合代理模型与高效探索设计空间的问题,提出结合灵敏度分析降维和贝叶斯代理建模的主动采样流程,在合成与真实数据集上表现优于常规蒙特卡洛采样。
2024-05-13 cs.LG stat.AP stat.ME
Active Mini-Batch Sampling using Repulsive Point Processes
Microsoft Research(微软研究院);Disney Research(迪士尼研究院);KTH Royal Institute of Technology(瑞典皇家理工学院)
随机梯度下降(SGD)的收敛速度可以通过积极选择小批量来提高。我们探索的抽样方案,类似的数据点是不太可能被选中在同一个小批量。特别是,我们证明了这种排斥抽样方案降低了梯度估计的方差。这概括了最近关于使用决定点过程(DPP)进行小批量多样化的工作(Zhang等人,2017年)到更广泛的类排斥点过程。我们首先表明,由多样化的采样方差减少的现象,特别是推广到非平稳点过程。然后,我们表明,其他点的过程可能是计算更有效的比DPP。特别是,我们建议和调查泊松磁盘采样-经常遇到的计算机图形社区-这项任务。我们的经验表明,我们的方法在收敛速度和最终模型性能方面都优于标准SGD。
2018-06-20 cs.AI cs.LG stat.ML
Learning to Sample: an Active Learning Framework
Australian National University(澳大利亚国立大学)
主动学习的元学习算法正在成为学习“最佳”主动学习策略的一个有前途的范例。然而,目前基于学习的主动学习方法仍然需要足够的训练数据,以便推广用于主动学习的元学习模型。这与主动学习的本质相反,主动学习通常从少量的标记样本开始。无法获得大量标记样本来训练元学习模型将不可避免地导致性能低下(例如,不稳定性和过拟合)。在我们的论文中,我们提出了一种新的基于学习的主动学习框架,称为学习样本(LTS)来解决这些问题。该框架有两个关键组件:采样模型和提升模型,它们可以在迭代中相互学习,以提高彼此的性能。在此框架内,抽样模型将不确定性抽样和多样性抽样纳入一个统一的优化过程,使我们能够根据不确定性和多样性的优化整合,积极选择最具代表性和信息量的样本。为了评估LTS框架的有效性,我们对三个不同的分类任务进行了广泛的实验:图像分类、工资水平预测和实体解析。实验结果表明,当标签预算有限时,我们的LTS框架显着优于所有基线,特别是对于具有高度不平衡类的数据集。此外,我们的LTS框架可以有效地解决冷启动问题发生在许多现有的主动学习方法。
2019-09-09 cs.LG stat.ML
Adversarial Sampling for Active Learning
ETH Zürich(苏黎世联邦理工学院)
本文提出了一种新的基于GAN的主动学习方法asal,该方法产生高熵样本。ASAL不是直接注释合成样本,而是从池中搜索类似的样本,并将它们包括在内进行训练。因此,新样本的质量很高,注释也很可靠。据我们所知,ASAL是第一个基于GAN的AL方法适用于多类问题,优于随机样本选择。ASAL的另一个好处是与传统的不确定性采样(线性)相比,它的运行时间复杂度小(次线性)。我们提出了一套全面的实验多个传统的数据集,并表明,ASAL优于类似的方法,并明显超过了既定的基线(随机抽样)。在讨论部分,我们分析了ASAL在哪些情况下表现最好,以及为什么有时很难超越随机样本选择。
2019-12-21 cs.CV cs.LG stat.ML
Active Learning with Combinatorial Coverage
Virginia Tech(弗吉尼亚理工大学);Virginia Tech National Security Institute(弗吉尼亚理工大学国家安全研究所)
主动学习是机器学习的一个实用领域,它使选择哪些数据要标记的过程自动化。目前的方法在减少数据标记的负担方面是有效的,但严重依赖模型。这导致无法将采样数据转移到新的模型中,以及采样偏差问题。这两个问题都是机器学习部署中的关键问题。我们提出了利用组合覆盖的主动学习方法来克服这些问题。所提出的方法是以数据为中心的,而不是以模型为中心的,通过我们的实验,我们表明,包括覆盖主动学习导致采样数据,往往是最好的转移到性能更好的模型,并具有竞争力的采样偏差相比,基准方法。
2023-02-28 cs.LG stat.ML
Batch Bayesian Active Learning with Partial Batch Label Sampling
Georgia Institute of Technology(佐治亚理工学院)
本文提出ParBaLS方法,用于改进EPIG算法在大规模批量中的性能,通过实验验证其在固定预算下优于其他方法,适用于基于大预训练模型的贝叶斯逻辑回归。
2026-10-14 cs.AI cs.LG stat.ML
A Model-Free Sampling Method for Estimating Basins of Attraction Using Hybrid Active Learning (HAL)
Duke University(杜克大学)
了解吸引域(BoA)通常是非线性系统的首要考虑因素。大多数现有的确定高分辨率BoA的方法需要系统的动态模型的先验知识(例如,连续系统的微分方程或点映射,离散系统的单元映射等),其允许在多核计算机上导出近似解析解或并行计算以有效地找到BoA。然而,这些方法通常是不切实际的BoA时,必须确定实验或当系统的模型是未知的。本文介绍了一种无模型的BoA抽样方法。该方法是基于混合主动学习(HAL),旨在寻找和标记的“信息”的样本,有效地确定边界的BoA。它由三个主要部分组成:1)额外的采样轨迹(AST),以最大限度地增加从每个模拟或实验中获得的样本的数量; 2)一个主动学习(AL)算法,以利用局部边界的BoA;和3)基于密度的采样(DBS)的方法,以探索全球边界的BoA。最后给出了一个非线性系统BoA估计的例子,证明了HAL采样方法的高效性。
2022-05-10 cs.LG nlin.CD stat.ML
Mitigating sampling bias in risk-based active learning via an EM algorithm
University of Sheffield(谢菲尔德大学);The Alan Turing Institute(艾伦·图灵研究所)
基于风险的主动学习是一种开发用于在线决策支持的统计分类器的方法。在这种方法中,数据标签查询是根据初始数据点的完美信息的期望值来指导的。对于SHM应用,相对于维护决策过程评估信息的价值,并且数据标签查询对应于结构的检查以确定其健康状态。采样偏差是主动学习范例中的一个已知问题;当主动学习过程对特征空间的特定区域进行过采样或欠采样时,就会发生这种情况,从而导致训练集不能代表底层分布。这种偏见最终会降低决策性能,并因此导致不必要的成本。本文概述了一种基于风险的主动学习方法,利用半监督高斯混合模型。半监督方法通过EM算法为未标记的数据加入伪标签来抵消采样偏差。该方法被证明在SHM中发现的决策过程的数值例子代表。
2022-06-25 cs.LG stat.AP stat.ML
Subsampled Optimization: Statistical Guarantees, Mean Squared Error Approximation, and Sampling Method
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of California, Davis(加利福尼亚大学戴维斯分校)
对于大规模数据的优化,由于数据的大小,精确计算其解可能在计算上是困难的。在本文中,我们考虑子采样优化快速逼近精确解。该方法通过对全部数据进行抽样得到一个代理数据集,然后基于该代理数据集进行二次抽样优化,得到一个近似解。一个主要的理论贡献是提供的渐近性质的近似解的精确解作为统计保证,并严格推导出一个精确的近似的均方误差(MSE)和近似无偏的MSE估计。这些结果有助于我们更好地诊断子采样优化的上下文中,一个置信区域上的精确解提供使用的近似解。我们的结果的另一个后果是提出一个最佳的抽样方法,海森为基础的抽样,其概率是成比例的牛顿方向的范数。最小二乘和逻辑斯谛回归的数值实验显示出良好的性能,与我们的结果一致。
2018-04-10 cs.LG stat.ML
Using Error Decay Prediction to Overcome Practical Issues of Deep Active Learning for Named Entity Recognition
Chan Zuckerberg Initiative (CZI)(陈-扎克伯格倡议);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
现有的深度主动学习算法在自然语言处理任务上实现了令人印象深刻的采样效率。然而,它们在实践中表现出一些弱点,包括(a)无法使用带有黑箱模型的不确定性采样,(b)缺乏对标签噪声的鲁棒性,以及(c)缺乏透明度。作为回应,我们提出了一个透明的批量主动采样框架,通过估计多个特征定义的数据子集的误差衰减曲线。在4个命名实体识别(NER)任务上的实验表明,该方法在黑盒NER标注器上的性能明显优于基于多样性的方法,并且当与基于不确定性的方法相结合时,可以使采样过程对标注噪声具有更强的鲁棒性。此外,对实验结果的分析揭示了不同主动采样策略的弱点,以及传统的基于不确定性或基于多样化的方法何时可以良好地工作。
2020-07-21 cs.CL cs.LG stat.ML
Active Learning for Regression Using Greedy Sampling
Huazhong University of Science and Technology(华中科技大学);University of Technology, Sydney(悉尼科技大学)
回归问题在现实世界的应用程序中普遍存在。为了建立具有良好泛化能力的回归模型,通常需要大量的标记样本。然而,很多时候,收集大量未标记的样品相对容易,但标记它们耗时或昂贵。回归的主动学习(ALR)是一种通过选择最有益的样本来标记而不是随机选择来减少标记样本数量的方法。本文提出了两种新的基于贪婪采样(GS)的ALR方法。第一种方法(GSy)选择新样本以增加输出空间中的多样性,第二种方法(iGS)选择新样本以增加输入和输出空间中的多样性。在来自不同领域的12个UCI和CMU StatLib数据集上进行了广泛的实验,并对15个基于EEG的驾驶员困倦估计进行了实验,验证了它们的有效性和鲁棒性。
2018-08-08 cs.AI cs.LG stat.ML
Accumulation of Sub-Sampling Matrices with Applications to Statistical Computation
Departments of Mathematics and Computer Science, Hong Kong Baptist University(香港 Baptist 大学数学与计算机科学系);Department of Mathematics, University of Maryland, College Park(马里兰大学 College Park 分校数学系)
本文提出积累子采样方法,通过累积多个子采样投影,提升统计效率并控制有效矩阵大小,应用于统计模型中实现计算效率的提升。
2026-01-10 cs.LG stat.CO stat.ML
Bridging the Gap Between Layout Pattern Sampling and Hotspot Detection via Batch Active Learning
CUHK(香港中文大学);ASML Brion Inc.(ASML Brion公司);Shenzhen University(深圳大学)
版图热点检测是现代VLSI设计中的重要环节之一。由于计算上昂贵的掩模优化和光刻模拟,典型的热点检测流程非常耗时。近年来的研究试图简化特征提取、训练集生成和热点检测的流程,其中对特征提取方法和热点检测引擎进行了深入研究。然而,热点检测器的性能高度依赖于参考布局库的质量,这些参考布局库的获取成本很高,并且在以前的工作中通常是预定的或随机采样的。本文提出了一种基于主动学习的布局模式采样和热点检测流程,同时优化了机器学习模型和训练集,旨在以更少的训练实例数量实现相似或更好的热点检测性能。实验结果表明,我们所提出的方法可以显着减少光刻模拟开销,同时达到令人满意的检测精度的设计下的深紫外和EUV光刻技术。
2018-07-13 cs.LG eess.IV stat.ML
Minimum-Margin Active Learning
Google Research(谷歌研究院)
我们提出了一种新的主动采样方法,我们称之为min-margin,它在bootstrap样本上训练多个学习器,然后根据候选者的最小margin在bootstrap模型中选择要标记的示例。这扩展了标准保证金采样的方式,增加其多样性的监督方式,因为它来自模型的不确定性。我们专注于一次性批量主动学习设置,并在理论上和广泛的问题,最小利润率优于其他方法,特别是随着批量大小的增长,通过广泛的实验。
2019-05-31 cs.AI cs.LG stat.ML
Comment on "Solving Statistical Mechanics Using VANs": Introducing saVANt - VANs Enhanced by Importance and MCMC Sampling
Technische Universität Berlin(柏林工业大学);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫研究所海因里希赫兹研究所);Berlin Big Data Center(柏林大数据中心);Berliner Zentrum für Maschinelles Lernen(柏林机器学习中心);Department of Brain and Cognitive Engineering, Korea University(韩国大学脑与认知工程系);Max-Planck-Institut für Informatik(马克斯-普朗克计算机科学研究所);RIKEN Center for AIP(理化学研究所先进物理与智能中心)
在对Wu等人的“使用变分自回归网络解决统计力学”的评论中,我们对他们的方法提出了一个微妙而有力的修改。我们发现,他们的方法的固有的抽样误差可以通过使用基于神经网络的MCMC或重要性抽样,从而导致物理量的渐近无偏估计进行校正。这种修改是可能的,因为VAN的奇异属性,即它们提供精确的样本概率。通过这些修改,我们相信他们的方法可以对物理学的各个重要领域产生更大的影响,包括强相互作用场论和统计物理。
2019-03-26 cond-mat.stat-mech cs.LG stat.ML
On the Supermodularity of Active Graph-based Semi-supervised Learning with Stieltjes Matrix Regularization
IBM Research AI(IBM研究院人工智能部门);Thomas J. Watson Research Center(托马斯·J·沃森研究中心)
基于图的主动半监督学习(AG-SSL)旨在选择一小组标记的示例,并利用它们与其他未标记示例的基于图的关系来辅助机器学习任务。它还与图形信号处理中的抽样论密切相关。在本文中,我们重新审视了原来的配方基于图的SSL和证明的超模块性的AG-SSL目标函数下的一个广泛的一类正则化函数参数的Stieltjes矩阵。在这种设置下,超模块化产生了一种新型的贪婪标签采样算法,相对于最佳采样集具有保证的性能。相比三个国家的最先进的图形信号采样和恢复方法在两个现实生活中的社区检测数据集,所提出的AG-SSL方法达到优越的分类精度有限的样本预算。
2018-04-09 cs.LG cs.SI stat.ML
Data-adaptive Active Sampling for Efficient Graph-Cognizant Classification
目前的工作涉及主动采样的图节点表示训练数据的二进制分类。可以使用节点特征之间的相似性度量来给出或构造图。利用图进行分类的前提是相邻节点之间的标签根据分类马尔可夫随机场(MRF)进行相关。该模型被进一步放宽为具有连续值的标签的高斯(G)MRF-这种近似不仅减轻了分类模型的组合复杂性,而且还提供了未标记节点的最佳无偏软预测器。建议的采样策略是基于查询的节点,其标签披露预计将造成最大的变化的GMRF,在这个意义上说,它是最翔实的平均。这种策略包含了预期模型变化的几种度量,包括不确定性采样、方差最小化和基于$Σ-$最优性准则的采样。还引入了一个简单而有效的启发式算法,通过考虑模型标签预测的置信度,提高了采样器的探索能力,并减少了所得分类器的偏差。新的采样策略是基于数量,是现成的,而不需要模型重新训练,使它们的计算效率和可扩展到大型图形。使用合成和真实数据的数值测试表明,所提出的方法实现的精度是相当或优于国家的最先进的,即使在减少运行时间。
2017-12-26 stat.ML
Statistical Active Learning Algorithms for Noise Tolerance and Differential Privacy
Carnegie Mellon University(卡内基梅隆大学);IBM Research - Almaden(IBM阿尔马登研究院)
我们描述了一个框架,用于设计有效的主动学习算法,是容忍随机分类噪声,是不同的私人。该框架是基于主动学习算法的统计意义上说,他们依赖于过滤的随机示例的函数的期望的估计。它建立在Kearns(1993)强大的统计查询框架之上。我们表明,任何有效的主动统计学习算法可以自动转换为一个有效的主动学习算法,它是容忍随机分类噪声以及其他形式的“不相关”噪声。所得到的算法的复杂性具有信息理论上最优的二次依赖于$1/(1-2η)$,其中$η$是噪声率。我们表明,通常研究的概念类,包括阈值,矩形和线性分隔符可以有效地积极学习我们的框架。这些结果与我们的通用转换相结合,导致第一个计算效率高的算法,用于主动学习这些概念类中的一些在随机分类噪声的存在下,提供指数级改善的依赖于错误$ε$超过他们的被动同行。此外,我们表明,我们的算法可以自动转换为有效的主动差分隐私算法。这导致了第一个差分私有主动学习算法,其在被动情况下具有指数标签节省。
2014-11-05 cs.DS cs.LG stat.ML
Importance sampling based active learning for parametric seismic fragility curve estimation
Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院)
地震概率风险评估研究的关键要素是易损性曲线,它表示在地震烈度测量条件下结构的失效概率。目前有许多方法可以用来估计这些曲线。对于可能涉及复杂且昂贵的数值模型的基于建模的方法,主要挑战是优化对数值代码的调用以降低估计成本。为此目的可采用自适应技术,但在这样做时,考虑到估计数的不确定性(通过与所用样本大小有关的置信区间或椭圆体)是一项艰巨的任务,因为样本不再是独立的,可能分布不相同。这项工作的主要贡献是处理这个问题的数学和严格的方式。为此,我们提出并实现了一种主动学习方法的基础上自适应重要性抽样参数估计的脆弱性曲线。我们证明了一些理论性质(一致性和渐近正态性)的估计的兴趣。此外,我们给出了一个收敛准则,以便使用渐近置信椭球。最后,该方法的性能进行了评估分析和工业测试的情况下,越来越复杂。
2022-01-14 cs.LG stat.ME stat.ML
Design-unbiased statistical learning in survey sampling
Instituto Nacional de Estadística(国家统计局);University of Southampton(南安普顿大学);Statistisk sentralbyraa(中央统计局);Universitetet i Oslo(奥斯陆大学)
设计一致性模型辅助估计已成为调查抽样的标准做法。然而,到目前为止,还缺乏一个通用的理论,它允许人们将现代机器学习技术结合起来,从而产生潜在的更强大的辅助模型。我们提出了一种子采样Rao-Blackwell方法,并在线性或非线性预测模型的帮助下发展了一种用于精确设计无偏估计的统计学习理论。我们的方法利用了统计科学的经典思想以及快速发展的机器学习领域。提供丰富的辅助信息,它可以产生相当大的效率增益超过标准的线性模型辅助方法,同时确保有效的估计给定的目标人口,这是强大的对潜在的错误指定的辅助模型在个人层面。
2020-03-25 cs.LG math.ST stat.ML
Active Sampling of Interpolation Points to Identify Dominant Subspaces for Model Reduction
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所)
针对大规模线性结构化系统模型降阶中求解主导可达与可观测子空间成本过高的问题,提出基于广义Sylvester方程的主动插值点采样方法,以低秩解估计子空间,实现17倍加速且精度基本无损。
2024-09-05 cs.LG cs.NA math.DS
Active model learning and diverse action sampling for task and motion planning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
这项工作的目的是增加机器人的基本能力,通过学习使用新的感觉运动原语,使复杂的长期问题的解决方案。解决复杂领域的长期问题需要灵活的生成式规划,可以将原始能力以新颖的组合方式结合起来,以解决世界上出现的问题。为了计划组合原语动作,我们必须有这些动作的前提条件和效果的模型:在什么情况下执行这个原语会在世界上实现某种特定的效果?我们使用,并开发新的改进,国家的最先进的方法,主动学习和采样。我们使用高斯过程的方法来学习操作员的有效性的条件,从少量的昂贵的训练样本收集的机器人实验。我们开发了自适应采样方法,用于在规划解决新任务时生成连续集(如机器人配置和对象姿态)的各种元素,以便规划尽可能高效。我们在一个集成系统中演示了这些方法,将新学习的模型与一个高效的连续空间机器人任务和运动规划器相结合,学习比以前更有效地解决长时间问题。
2018-08-12 cs.AI cs.LG cs.RO
Active Importance Sampling for Variational Objectives Dominated by Rare Events: Consequences for Optimization and Generalization
深度神经网络在使用足够的数据进行优化时,可以提供高维函数的准确表示;相比之下,在科学计算中占主导地位的函数近似技术不能很好地扩展维度。因此,许多曾经被认为难以解决的高维采样和近似问题正在通过机器学习的镜头重新审视。虽然无与伦比的准确性的承诺可能意味着需要参数化复杂系统表示的应用程序的复兴,但在许多应用程序中,收集足够的数据来开发这样的表示仍然是一个重大的挑战。在这里,我们介绍了一种方法,结合罕见事件采样技术与神经网络优化,以优化目标函数,由罕见事件占主导地位。我们发现,重要性抽样减少了学习问题的解决方案的渐近方差,这表明有利于推广。我们研究我们的算法的背景下学习动态的两个状态之间的过渡路径的系统,在统计物理和机器学习理论的影响的应用程序的问题。我们的数值实验表明,我们可以成功地学习,即使是复杂的困难,高维和罕见的数据。
2021-03-12 cond-mat.stat-mech physics.data-an stat.ML