A Locally Adaptive Bayesian Cubature Method
贝叶斯求积(BC)是关于昂贵被积函数求积的流行推理观点,其中被积函数使用随机过程模型来仿真。已经提出了几种方法来编码顺序适应(即依赖于以前的被积函数评价)到这个框架。然而,这些建议已被限制到估计一个平稳的协方差模型的参数或集中计算资源的区域,其中大的值是由被积函数。相比之下,许多经典的自适应体积方法将计算资源集中在局部误差估计最大的空间区域上。这项工作的贡献是三方面的:首先,我们提出了一个理论结果,表明不存在一个直接的贝叶斯模拟的经典自适应梯形法。然后,我们提出了一种新的BC方法,具有经验上类似的行为的自适应梯形方法。最后,我们提出的证据表明,新的方法提供了改进的容积性能,相对于标准BC,在一个详细的实证评估。
2019-10-07 stat.CO
Locally adaptive smoothing with Markov random fields and shrinkage priors
我们提出了一个局部自适应非参数曲线拟合方法,在一个完全贝叶斯框架内操作。该方法使用收缩先验来诱导潜在趋势函数中k阶差异的稀疏性,从而提供局部自适应和全局控制的组合。使用收缩先验的法线表示的尺度混合,我们使我们的方法和k阶高斯马尔可夫随机场平滑之间的明确连接。我们称之为收缩先验马尔可夫随机场(SPMRF)的过程。我们使用哈密顿蒙特卡罗来近似模型参数的后验分布,因为这种方法在我们的模型所表现出的高维和强参数相关性的存在下提供了优越的性能。我们使用模拟数据比较了三种先验公式的性能,发现马蹄先验提供了偏差和精度之间的最佳折衷。我们将SPMRF模型应用于两个经常用于测试非参数方法的基准数据示例。我们发现,这种方法是足够灵活,以适应各种数据生成模型,并提供了自适应特性和计算的易处理性,使其成为一个有用的除了贝叶斯非参数工具箱。
2017-02-09 stat.ME
Locally Adaptive Bayesian Isotonic Regression using Half Shrinkage Priors
本文提出一种基于半收缩先验的贝叶斯保序回归方法,通过全局-局部收缩先验和吉布斯采样,实现对目标函数局部突变的适应性估计,并验证了理论性质和实际效果。
2024-02-06 stat.ME
Adaptive active subspace-based metamodeling for high-dimensional reliability analysis
针对高维可靠性分析难题,提出一种活动子空间、异方差高斯过程与主动学习自适应耦合的元建模方法,并通过非线性函数和结构工程算例验证其性能。
2023-04-13 stat.AP
Locally Adaptive Spatial Quantile Smoothing: Application to Monitoring Crime Density in Tokyo
本文提出一种贝叶斯分位数趋势滤波方法,通过引入图差异的收缩先验和影子先验实现局部自适应,用于估计图上的非平稳分位数趋势,并成功应用于东京2013至2017年的犯罪数据以分析空间趋势的潜在异质性。
2023-10-23 stat.ME
Ideal Bayesian Spatial Adaptation
许多现实生活中的应用涉及估计曲线,表现出复杂的形状,包括跳跃或变化的频率振荡。已经设计出可以适应未知函数的局部变化复杂度的实用方法(例如,可变结样条、稀疏小波重建、核方法或树/森林)。然而,绝大多数现有的渐近极大极小理论都是基于齐次光滑性假设的。针对白噪声和非参数回归中广泛使用的贝叶斯机器学习技术,我们在上确界损失下,针对局部Holderian函数,提供了新的局部自适应后验集中率结果。特别是,我们表明,流行的尖峰和板坯先验和贝叶斯CART是均匀的局部自适应。此外,我们提出了一类新的排斥分区先验,涉及到可变结样条和准确率自适应。对于不确定性量化,我们构造了局部自适应置信带,其宽度取决于局部光滑性,并在局部自相似性下实现均匀的渐近覆盖。为了说明空间自适应不是自动的,我们提供了下界结果,表明流行的分层高斯过程先验达不到空间自适应。
2021-05-26 math.ST stat.TH
Active Inference with People: a general approach to real-time adaptive experiments
University of Missouri(密苏里大学);Cornell University(康奈尔大学);University of Cambridge(剑桥大学)
本文提出一种统一的实时自适应实验方法,结合主动推断和PsyNet平台,涵盖计算机自适应测试、自适应治疗分配和主动学习等场景,提升实验效率和准确性。
2026-09-01 cs.HC stat.ME
Locally Adaptive Hierarchical Cluster Termination With Application To Individual Tree Delineation
University of Victoria(维多利亚大学);Pacific Forestry Centre, National Resources Canada(加拿大自然资源部太平洋林业中心)
提出了一种局部自适应的聚类终止过程(相对于凝聚合并的集合代表的层次树),用于在配备距离函数的集合上进行凝聚层次聚类。它代表了一个多尺度的替代传统的规模依赖的阈值为基础的终止标准。
2022-12-01 cs.LG stat.ML
Interpretable Locally Adaptive Nearest Neighbors
Bielefeld University(比勒费尔德大学);Honda Research Institute Europe GmbH(本田欧洲研究所)
在训练自动化系统时,已经证明通过学习特定于问题的度量来适应数据的表示是有益的。这个指标是全球性的。我们扩展了这个想法,并广泛使用的家庭的k近邻算法,开发一种方法,允许学习本地自适应指标。这些本地指标不仅提高了性能,而且自然是可解释的。为了展示我们的方法是如何工作的重要方面,我们进行了一些实验的合成数据集,我们在现实世界的基准数据集显示其实用性。
2021-09-29 cs.LG stat.ML
Locally Adaptive and Differentiable Regression
The University of Utah(犹他大学);The University of Kentucky(肯塔基大学)
针对过参数化模型忽视连续性与可微性的问题,提出基于局部模型加权平均的全局连续可微回归框架,混合核岭与多项式回归实现更快收敛和更优性能。
2023-10-13 cs.LG stat.ML
Locally adaptive activation functions with slope recovery term for deep and physics-informed neural networks
Brown University(布朗大学);Massachusetts Institute of Technology(麻省理工学院);Pacific Northwest National Laboratory(太平洋西北国家实验室)
我们提出了两种局部自适应激活函数的方法,即逐层和逐神经元局部自适应激活函数,它们可以提高深度和物理信息的神经网络的性能。激活函数的局部自适应是通过在每一层(逐层)和每个神经元(逐神经元)分别引入一个可伸缩参数,然后使用随机梯度下降算法的变体对其进行优化来实现的。为了进一步提高训练速度,在损失函数中加入了基于激活斜率的斜率恢复项,进一步加快了收敛速度,从而降低了训练成本。在理论方面,我们证明了在所提出的方法中,梯度下降算法不会被吸引到次优临界点或局部极小值的实际条件下的初始化和学习率,所提出的方法的梯度动态是无法实现的任何(自适应)学习率的基础方法。我们进一步表明,自适应激活方法加快收敛隐式乘条件矩阵的基础方法的梯度,而没有任何明确的计算条件矩阵和矩阵向量积。不同的自适应激活函数诱导不同的隐式条件矩阵。此外,所提出的方法与斜率恢复,以加快训练过程。
2020-06-17 cs.LG stat.ML
Locally Adaptive Conformal Inference for Operator Models
University of Connecticut(康涅狄格大学);Meta Platforms Inc(Meta平台公司)
提出局部切片共形推断(LSCI),一种无分布框架,为算子模型生成函数值、局部自适应预测集,在合成和实际任务中比共形基线更紧、适应性更强。
2026-06-06 cs.LG stat.ML
Adaptive Region-Based Active Learning
Google Research(谷歌研究院);Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学)
我们提出了一种新的主动学习算法,自适应分区的输入空间到一个有限数量的区域,并随后寻求一个不同的预测每个区域,两个阶段积极请求标签。我们证明了理论保证的泛化误差和标签的复杂性,我们的算法,并分析了一些温和的假设下,该算法定义的区域的数量。我们还报告了在几个真实世界数据集上进行的一系列广泛实验的结果,这些实验表明,与现有的单区域和基于非自适应区域的主动学习基线相比,该方法具有实质性的经验优势。
2020-02-18 cs.LG stat.ML
Active Automata Learning with Adaptive Distinguishing Sequences
TU Dortmund University(多特蒙德工业大学)
本文研究了将自适应区分序列集成到主动自动机学习(AAL)过程中。提出了一种新的自适应鉴别树算法ADT。自原论文提交以来,所提出的算法已被集成到LearnLib -主动自动机学习的开源库-并已成功地用于相关领域的研究。
2019-02-04 cs.LG stat.ML
An Adaptive Strategy for Active Learning with Smooth Decision Boundary
Otto-von-Güricke Universität Magdeburg(马格德堡奥托·冯·格里克大学);Princeton University(普林斯顿大学)
我们提出了第一个自适应策略的主动学习设置的分类与光滑的决策边界。自Castro和Nowak(2007)的开创性工作以来,(对未知分布参数的)自适应性问题一直没有解决,该工作首次建立了这种设置的(主动学习)率。虽然这个问题的一些最新进展建立自适应率的情况下,单变量数据,自适应在更实际的设置多变量数据迄今仍然难以捉摸。结合各种最近的作品的见解,我们表明,对于多变量的情况下,仔细减少单变量自适应策略产生接近最优的利率,而无需先验知识的分布参数。
2017-11-25 cs.LG stat.ML
Boosting Variational Inference With Locally Adaptive Step-Sizes
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
变分推理在变分族的能力和找到近似后验分布的易处理性之间进行权衡。相反,提升变分推理允许从业者通过花费更多的计算来获得越来越好的后验近似。提升变分推理广泛采用的主要障碍是在强变分推理基线上进行改进所需的资源量。在我们的工作中,我们将这种限制追溯到KL发散的全局曲率。我们的特点是如何全局曲率的影响时间和内存消耗,解决问题的概念,局部曲率,并提供了一种新的近似回溯算法估计局部曲率。我们为我们的算法提供了新的理论收敛速度,并在合成和真实世界的数据集上进行了实验验证。
2021-05-19 cs.LG stat.ML
Locally Adaptive One-Class Classifier Fusion with Dynamic $\ell$p-Norm Constraints for Robust Anomaly Detection
Bilkent University(毕尔肯大学)
本文提出一种基于动态$\ell_p$范数约束的局部自适应单类分类器融合框架,通过内点优化实现最高19倍加速,并在UCI及时序数据集上验证了其在多种异常检测场景中的优越性能。
2024-11-20 cs.LG stat.ML
Active and Adaptive Sequential learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学)
介绍了一个框架,用于主动和自适应地解决一系列机器学习问题,这些问题从一个时间步到下一个时间步以有界的方式变化。开发了一种算法,该算法从未标记的数据池中主动查询信息量最大的样本的标签,并通过利用在前面的步骤中获得的信息来适应变化。我们的分析表明,所提出的主动学习算法的基础上随机梯度下降实现了一个接近最优的超额风险性能的最大似然估计。此外,使用主动学习样本的学习问题的变化的估计器被构造,这提供了一个自适应的样本大小选择规则,保证超额风险是有界的足够大的时间步长。仿真和真实数据的实验验证了我们的算法和理论结果。
2018-05-29 cs.LG stat.ML
Nonparametric adaptive active learning under local smoothness condition
Université de Mons(蒙斯大学);Faculté polytechnique(理工学院);Département de Mathématique et recherche opérationnelle(数学与运筹学系);e-mail(电子邮件)
主动学习通常用于标记数据,当标记过程是昂贵的。几种主动学习算法已经在理论上被证明比它们的被动对应物执行得更好。然而,这些算法依赖于一些假设,这些假设本身包含一些特定的参数。本文研究了非参数环境下的自适应主动学习问题。我们提出了一种新的算法,在更一般的假设下比以前已知的算法是有效的,而且可以适应这些假设中使用的参数。这使我们能够处理更大类的分布,从而避免排除像高斯分布这样的重要密度。我们的算法实现了极大极小的收敛速度,因此,执行几乎以及最知名的非自适应算法。
2021-02-22 cs.LG stat.ML
Eve: A Gradient Based Optimization Method with Locally and Globally Adaptive Learning Rates
Carnegie Mellon University(卡内基梅隆大学)
随机优化的自适应梯度方法局部地调整每个参数的学习率。然而,还有一个全局学习率必须调整,以获得最佳性能。在本文中,我们提出了一种新的算法,适应学习率本地为每个参数分别,也为所有参数一起全局。具体来说,我们修改了Adam,这是一种用于训练深度学习模型的流行方法,使用一个系数来捕获目标函数的属性。从经验上讲,我们的方法(我们称之为Eve)在训练深度神经网络方面优于Adam和其他流行的方法,例如用于图像分类的卷积神经网络和用于语言任务的递归神经网络。
2018-06-11 cs.LG
A Locally Adaptive Interpretable Regression
Chungbuk National University(忠北国立大学);Microsoft Research(微软研究院);Ton Duc Thang University(孙德胜大学)
具有良好可预测性和高度可解释性的机器学习模型对于决策支持系统至关重要。线性回归是最容易解释的预测模型之一。然而,简单的线性回归中的线性会影响其可预测性。在这项工作中,我们介绍了一个本地自适应可解释回归(LoAIR)。在LoAIR中,由神经网络参数化的元模型预测用于快速适应的回归系数的高斯分布的百分位数。我们在公共基准数据集上的实验结果表明,我们的模型不仅实现了与其他最先进基线相当或更好的预测性能,而且还发现了输入变量和目标变量之间的一些有趣关系,例如二氧化碳排放量与国民生产总值(GNP)之间的抛物线关系。因此,LoAIR是通过提高线性回归的预测能力而不降低其可解释性来弥合计量经济学,统计学和机器学习之间差距的一步。
2022-04-28 cs.AI cs.LG stat.ML
Locally Adaptive Federated Learning
Saarland University(萨尔大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Johns Hopkins University(约翰斯·霍普金斯大学)
针对标准联邦优化方法因统一局部步长收敛慢的问题,提出利用各客户端局部几何信息的局部自适应联邦学习算法,经理论分析与实验验证,其在非凸场景下性能优于现有方法且泛化性更优。
2024-05-14 cs.LG math.OC stat.ML
An Adaptive Importance Sampling for Locally Stable Point Processes
University of Seoul(首尔大学)
本文提出一种基于齐次泊松点过程和交叉熵最小化的自适应重要性采样方法,用于求解有界区域内局部稳定点过程统计量的期望值,并证明了其收敛性与渐近正态性。
2025-03-01 cs.LG stat.CO stat.ML
Layer-wise and Dimension-wise Locally Adaptive Federated Learning
Baidu Research(百度研究院)
在联邦学习(FL)的新兴范例中,大量的客户端,如移动设备,用于训练可能的高维模型在其各自的数据。将(维度方面)自适应梯度方法(例如Adam,AMSGrad)与FL相结合一直是一个积极的方向,在许多情况下,这被证明优于传统的基于SGD的FL。在本文中,我们专注于训练联邦深度神经网络的问题,并提出了一种新的FL框架,该框架进一步引入了逐层自适应局部模型更新。我们的框架可以应用于局部自适应FL方法,包括最近的两个算法,Mime和Fed-AMS。从理论上讲,我们提供了一个收敛性分析,我们的逐层FL方法,创造Fed-LAMB和Mime-LAMB,它匹配的收敛速度的状态的最先进的结果在FL和表现出线性加速的工人的数量。在IID和非IID局部数据设置下,在各种数据集和模型上的实验结果表明,与最近的各种自适应FL方法相比,Fed-LAMB和Mime-LAMB都具有更快的收敛速度和更好的泛化性能。
2022-06-23 cs.LG
On training locally adaptive CP
Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
本文提出通过可训练且依赖对象属性的单调变量变换重新定义 CP 一致性度量,从而获得边际有效、宽度局部自适应的预测区间,并用平滑目标直接梯度训练。
2023-06-05 cs.AI cs.LG stat.ML
Deep Learning meets Nonparametric Regression: Are Weight-Decayed DNNs Locally Adaptive?
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
该研究从非参数回归视角,提出深度ReLU网络的并行变体,证明仅调权重衰减正则化因子即可让其估计误差接近Besov和BV函数类的极小极大率,且越深越优,解释了深度的作用。
2024-05-18 cs.LG stat.ML
Locally Adaptive Label Smoothing for Predictive Churn
Google Research(谷歌研究院)
训练现代神经网络是一个固有的噪声过程,可能导致高\emph{prediction churn} -由于参数初始化和小批量中的随机化等因素,同一模型的重新训练之间存在差异-即使训练的模型都达到相似的精度。这种预测扰动在实践中可能是非常不期望的。在本文中,我们提出了几个基线,以减少流失,并表明,软标签的训练,通过自适应平滑每个例子的标签的基础上的例子的相邻标签,往往优于流失的基线,同时提高各种基准分类任务和模型架构的准确性。
2021-06-11 cs.AI cs.LG
Locally-Adaptive Nonparametric Online Learning
DeepMind(深度思维)
在线算法的主要优势之一是它们适应任意数据序列的能力。这在非参数设置中尤其重要,在非参数设置中,性能是根据能够适应复杂环境的丰富的比较器函数类来衡量的。虽然这样的硬比较器和复杂的环境可能会表现出本地的模式,有效的算法,可以证明利用这些本地模式,几乎是未知的。我们填补了这一空白,引入高效的在线算法(基于一个单一的通用主算法),每个适应于以下之一:(i)本地Lipschitzness的竞争对手的功能,(ii)本地度量维度的实例序列,(iii)本地性能的预测跨不同区域的实例空间。扩展以前的方法,我们设计的算法,动态增长的层次$ε$ -网的实例空间,其修剪对应于不同的“局部配置文件”的问题。使用基于树专家的技术,我们同时和有效地竞争对所有这样的修剪,并证明遗憾界每个缩放与一个不同类型的局部规律性的数量。当与“简单”的局部配置文件竞争时,我们的技术提供了比使用以前的方法证明的更好的遗憾界限。另一方面,我们的边界的时间依赖性并不比通过忽略任何局部的时间依赖性更差。
2020-11-01 cs.LG stat.ML
Structured Representation Learning with Locally Linear Embeddings and Adaptive Feature Fusion
Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
受神经科学启发,提出一种强化学习框架,利用局部线性嵌入捕捉状态局部结构,并通过注意力机制自适应融合动态与奖励特征,提升学习效率。
2026-06-18 cs.AI cs.LG
Learning Locally Adaptive Metrics that Enhance Structural Representation with $\texttt{LAMINAR}$
Interdisciplinary Center for Scientific Computing, University of Heidelberg(海德堡大学跨学科科学计算中心)
本文提出无监督机器学习流水线 $\ exttt{LAMINAR}$,利用连续正则化流和逆变换采样在数据空间定义黎曼流形,从而学习局部自适应度量以生成基于密度的距离,有效增强复杂数据的结构表示。
2024-11-13 cs.LG
An Adaptive Locally Connected Neuron Model: Focusing Neuron
Isik University(伊希克大学)
本文提出了一种新的人工神经元模型,能够在输入的拓扑域中学习其感受野。该模型提供了自适应和可微的局部连通性(可塑性)适用于任何领域。它不需要其他工具比反向传播算法来学习它的参数控制的感受野的位置和孔径。这项研究探讨了这种能力是否会使神经元专注于信息输入,并产生比完全连接的神经元更大的优势。实验包括将一个或两个隐藏层的神经元网络集中在合成的和已知的图像识别数据集上的测试。结果表明,聚焦神经元可以将它们的感受野移向更多信息的输入。在简单的双隐层网络中,聚焦层在2D空间数据集的分类中优于密集层。此外,即使当70个$\%$的权重被修剪时,聚焦网络也比密集网络表现得更好。对卷积网络的测试表明,使用聚焦层而不是密集层来分类卷积特征在某些数据集中可能会更好。
2020-09-07 cs.LG cs.NE stat.ML
Minimax-optimal and Locally-adaptive Online Nonparametric Regression
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);INRIA(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院);Vienna University(维也纳大学)
本文针对对抗性在线非参数回归提出一种无参数算法,通过修剪链式树动态适应局部 Hölder 平滑性,首次实现计算高效且局部自适应的极小极大最优速率。
2025-04-11 cs.LG math.ST stat.ML
Alpha-Trimming: Locally Adaptive Tree Pruning for Random Forests
University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙菲莎大学)
针对随机森林中树需完全生长的传统认知局限,提出alpha-trimming快速自适应剪枝算法,可在不重拟合树的下调参,在46个数据集基准测试中有效降低均方预测误差且无大幅上升。
2024-08-13 cs.LG stat.CO stat.ML
Locally Adaptive Learning Loss for Semantic Image Segmentation
Beijing NetPosa Technologies Co., Ltd.(北京网罗科技有限公司);Institut National des Sciences Appliquées de Lyon(里昂应用科学学院)
我们提出了一种新的局部自适应学习估计器,用于增强深度神经网络的内部和内部区分能力,它可以用作语义图像分割任务的改进损失层。大多数损失层计算特征图和地面实况之间的像素成本,忽略空间布局和具有相同对象类别的相邻像素之间的交互,因此网络不能有效地对类内连接敏感。该方法首先对预测特征图进行自适应池化滤波操作,目的是合并一小组具有相同类别的相邻像素的预测分布,然后计算合并后的分布向量与其类别标签之间的成本。这样的设计可以使来自相同类别的相邻预测的组参与关于其类别的预测正确性的估计,并且因此训练网络以基于其类别对相邻像素之间的区域连接更敏感。在Pascal VOC 2012分割数据集上的实验中,一致改进的结果表明,我们提出的方法实现了比以前的同行更好的分割掩模。
2018-04-16 cs.CV cs.LG
Context-aware Active Multi-Step Reinforcement Learning
SUNY at Buffalo(纽约州立大学布法罗分校);Baidu(百度);Salesforce(赛富时)
强化学习最近引起了人们的极大关注,特别是策略梯度算法,已经在具有挑战性的决策和控制任务上得到了展示。在本文中,我们提出了一个积极的多步TD算法与自适应步长学习演员和评论家。具体来说,我们的模型由两个部分组成:主动步长学习和自适应多步TD算法。首先,我们将时间范围划分为块,并在每个块中主动选择状态和动作。然后,给定选定的样本,我们提出了自适应的多步TD,它推广TD($λ$),但自适应地打开/关闭备份,从未来的回报不同的步骤。特别地,自适应多步TD引入了上下文感知机制,这里是二元分类器,其基于上下文变化来决定是否打开其未来备份。因此,我们的模型是一种主动学习和多步TD算法的结合,它具有学习的能力,而不需要重要性采样。我们评估了我们的方法在离散和连续的空间任务分别在一个关闭的政策设置,并展示了竞争力的结果相比,其他强化学习基线。
2019-11-27 cs.AI cs.LG stat.ML
LABCAT: Locally adaptive Bayesian optimization using principal-component-aligned trust regions
Stellenbosch University(斯泰伦博斯大学)
本文提出LABCAT算法,通过主成分对齐旋转与基于局部GP长度尺度的自适应重缩放扩展置信域BO,实验证明其优于多种先进黑盒优化方法。
2024-06-16 cs.LG
Adaptive Locally Linear Embedding
Ferdowsi University of Mashhad(马什哈德费尔多西大学);Center of Excellence in Soft Computing and Intelligent Information Processing, Ferdowsi University of Mashhad(马什哈德费尔多西大学软计算与智能信息处理卓越中心)
本文提出自适应局部线性嵌入(ALLE),通过数据驱动的动态度量替代欧氏距离,以拓扑邻域包含关系重新定义邻近性,从而在复杂高维数据降维中实现更优的邻域保持和更准确的嵌入。
2025-04-09 cs.AI cs.LG
AutoStep: Locally adaptive involutive MCMC
University of British Columbia(不列颠哥伦比亚大学)
针对MCMC方法步长选择难、多尺度目标无全局最优步长的问题,提出AutoStep MCMC方法,可根据目标分布局部几何自适应选步长,理论上保证良好性质,实验中单位成本有效样本量比肩SOTA方法。
2025-05-20 cs.LG stat.CO stat.ML
ARES: Locally Adaptive Reconstruction-based Anomaly Scoring
School of Computing, National University of Singapore(新加坡国立大学计算学院);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究所)
我们如何检测异常:即与给定的高维数据集(如图像或传感器数据)显著不同的样本?这是一个具有许多应用的实际问题,并且也与使学习算法对意外输入更鲁棒的目标相关。自动编码器是一种流行的方法,部分原因是它们的简单性和执行降维的能力。然而,异常评分函数不适应正常样本范围内重建误差的自然变化,这阻碍了它们检测真实异常的能力。在本文中,我们经验证明了本地自适应异常评分的重要性,在实验中与真实数据。然后,我们提出了我们的新的自适应重建错误为基础的评分方法,它适应其评分的基础上的局部行为的重建错误的潜在空间。我们表明,这提高了异常检测性能在各种各样的基准数据集的相关基线。
2022-06-15 cs.AI cs.LG
Locally Adaptive Multi-Objective Learning
University of California, Berkeley(加州大学伯克利分校);Inria(法国国家信息与自动化研究所)
本文提出一种局部自适应多目标学习方法,通过替换部分算法提升预测的公平性和鲁棒性。
2026-02-16 cs.LG math.OC stat.ME
State Matching and Multiple References in Adaptive Active Automata Learning
Radboud University(拉德堡德大学)
本文提出状态匹配方法并构建自适应L#框架,利用相似参考模型的结构降低主动自动机学习的样本复杂度,实验表明其性能提升最多两个数量级。
2024-06-28 cs.LG cs.LO
Design and Analysis of Robust Adaptive Filtering with the Hyperbolic Tangent Exponential Kernel M-Estimator Function for Active Noise Control
Department of Electrical Engineering, PUC-Rio(电气工程系,PUC-里约热内卢)
本文提出FXHEKM鲁棒自适应算法,用于脉冲噪声环境下的有源噪声控制,并通过统计分析和数值实验验证其在消除α稳定噪声方面优于竞争算法。
2025-08-18 cs.LG
Enhancing Kernel Flexibility via Learning Asymmetric Locally-Adaptive Kernels
KU Leuven(鲁汶大学);Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学)
针对传统核学习核灵活性不足的问题,本文提出带可训练局部自适应带宽的LAB RBF核,构建非对称核岭回归框架与迭代学习算法,在大规模数据集上性能优于Nyström类方法及残差神经网络。
2023-10-08 cs.LG
Active Learning On Weighted Graphs Using Adaptive And Non-adaptive Approaches
University of Southern California(南加州大学)
本文研究了基于图的主动学习,其目标是通过在一个小的节点子集上采样来重构定义在加权图的节点上的二进制信号。提出了一种新的采样算法,该算法基于对信号在图上的边界的积极搜索,顺序地选择要采样的图节点。该算法推广了最近的一种方法,在无权图中的节点采样。泛化使用从可用图权重获得的信息来提高采样性能。所提出的算法所需的样本数的分析,并在未加权的方法的增益进一步证明了在模拟中。此外,所提出的方法相比,与另一种状态的最先进的方法,这是基于图的频谱特性。结果表明,所提出的方法显着优于频谱采样方法,如果信号需要预测的高精度。另一方面,如果更高级别的不准确性是可以容忍的,那么谱方法优于所提出的积极的搜索方法。因此,我们提出了一种混合方法,这是结合两种方法的优点。
2016-05-18 cs.LG
A new approach to locally adaptive polynomial regression
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tata Institute of Fundamental Research(塔塔基础研究 Institute);Indian Statistical Institute(印度统计研究所)
针对非参数回归中自适应带宽选择的核心挑战,提出基于$\u2113_2$范数区间投影准则的新带宽选择流程,推导了非渐近风险界,证明其可近乎最优地适应局部Hölder指数,为该经典问题提供新视角。
2025-05-20 cs.LG math.PR math.ST
Improving Model Robustness by Adaptively Correcting Perturbation Levels with Active Queries
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
除了高精度之外,鲁棒性对于各种应用中的机器学习模型变得越来越重要。近年来,许多研究致力于通过噪声扰动训练来提高模型的鲁棒性。现有的研究大多假设所有训练样本的扰动水平是固定的,然而这在实际任务中很难成立。事实上,过多的扰动可能会破坏一个例子的区别性内容,而不足的扰动可能无法提供有用的信息,以提高鲁棒性。出于这种观察,我们建议在训练过程中自适应地调整每个示例的扰动水平。具体而言,提出了一种新的主动学习框架,允许模型交互式地查询人类专家的正确扰动水平。通过设计一个具有成本效益的抽样策略以及一个新的查询类型,可以显着提高鲁棒性与几个查询。理论分析和实验研究均验证了该方法的有效性。
2021-03-27 cs.LG
Active Regression with Adaptive Huber Loss
Istituto Italiano di Tecnologia(意大利理工学院);University of Genova(热那亚大学);University of Verona(维罗纳大学)
本文通过一种新的解决方案来解决标量回归问题,以精确优化一般半监督设置中的Huber损失,该解决方案结合了多视图学习和流形正则化。我们提出了一个原则性的算法,以1)避免计算昂贵的迭代方案,同时2)以数据驱动的方式调整Huber损失阈值,3)主动平衡标记数据的使用,以在训练阶段去除噪声或不一致的注释。在广泛的实验评估,处理不同的应用程序,我们评估我们的范例,这是能够结合对噪声的鲁棒性与强大的性能和低计算成本的优越性。
2016-06-26 cs.CV cs.LG
Learning locally dominant force balances in active particle systems
Technische Universität Dresden(德累斯顿工业大学);Center for Advanced Systems Understanding (CASUS)(高级系统理解中心(CASUS));Helmholtz-Zentrum Dresden-Rossendorf(德累斯顿-罗森多夫亥姆霍兹中心);Flatiron Institute(弗拉蒂伦研究所);Harvard University(哈佛大学);Max Planck Institute of Molecular Cell Biology and Genetics(马克斯·普朗克分子细胞生物学与遗传学研究所);Center for Systems Biology Dresden(德累斯顿系统生物学中心);Center for Scalable Data Analytics and Artificial Intelligence ScaDS.AI(可扩展数据分析与人工智能中心(ScaDS.AI));Cluster of Excellence Physics of Life, Technische Universität Dresden(德累斯顿工业大学生命物理卓越集群)
本文结合无监督聚类与稀疏推断算法,学习活性粒子系统中局部主导力平衡,揭示了不同模型下宏观斑图形成的物理机制,且推断结果与理论及实验高度一致。
2023-07-27 cond-mat.soft cs.LG
WaveFuse-AL: Cyclical and Performance-Adaptive Multi-Strategy Active Learning for Medical Images
Department of Computer Science \& Engineering, Indian Institute of Technology Ropar, India Department of Biomedical Engineering, Indian Institute of Technology Ropar, India
针对医学图像主动学习中单一采集策略表现不稳定的问题,提出融合BALD等多种策略的WaveFuse-AL框架,结合周期性先验与性能自适应动态调整策略权重,在三个医学基准上显著优于基线,提升了标注预算效用。
2025-11-19 cs.CV cs.LG
Adaptive Submodularity: Theory and Applications in Active Learning and Stochastic Optimization
California Institute of Technology(加州理工学院);ETH Zurich(苏黎世联邦理工学院)
在部分可观测性下求解随机优化问题,其中需要自适应地做出具有不确定结果的决策,这是一个基本但众所周知的困难挑战。在本文中,我们引入了自适应子模块的概念,推广子模块集函数的自适应政策。我们证明了,如果一个问题满足这一性质,一个简单的自适应贪心算法是保证竞争的最优策略。除了为随机最大化和覆盖提供性能保证之外,还可以利用自适应子模块化通过使用惰性评估来大幅加速贪心算法。我们说明了有用的概念,给出了几个例子,自适应子模块化的目标在不同的应用,包括传感器的位置,病毒式营销和主动学习。证明这些问题的自适应子模块性,使我们能够恢复现有的结果在这些应用中的特殊情况下,提高近似保证和处理自然的推广。
2017-12-06 cs.AI cs.DS cs.LG
Message Passing Adaptive Resonance Theory for Online Active Semi-supervised Learning
LG Electronics(LG电子);Seoul National University(首尔国立大学);University of Southern California(南加州大学)
主动学习被广泛用于通过从未标记的数据中重复查询仅最有益的样本来减少标记工作和训练时间。在现实世界中,由于有限的存储或隐私问题,数据不能无限期地存储,查询选择和模型更新应该在观察到新的数据样本时立即执行。各种在线主动学习方法已被研究,以应对这些挑战,然而,有困难的选择有代表性的查询样本和更新模型有效而不会忘记。在这项研究中,我们提出了消息传递自适应共振理论(MPART),学习的分布和拓扑结构的输入数据在线。通过拓扑图上的消息传递,MPART主动查询信息和代表性的样本,并不断提高分类性能使用标记和未标记的数据。我们评估我们的模型在基于流的选择性采样方案与可比的查询选择策略,显示MPART显着优于竞争对手的模型。
2021-07-10 cs.AI cs.LG
Locally-Adaptive Quantization for Streaming Vector Search
Intel Labs(英特尔实验室)
本研究探索局部自适应向量量化(LVQ)在流式相似性搜索中的应用,提出Turbo LVQ和多均值LVQ两种改进,分别提升搜索性能高达28%和27%,并在相同分布及分布偏移场景下比最接近的竞争对手快9.4倍和8.8倍,相关成果已开源。
2024-02-03 cs.IR cs.LG
Latent FxLMS: Accelerating Active Noise Control with Neural Adaptive Filters
本文提出Latent FxLMS方法,通过神经自适应滤波器提升主动噪声控制的收敛速度和稳态性能。
2025-07-05 cs.LG cs.SD cs.SY
BoostMIS: Boosting Medical Image Semi-supervised Learning with Adaptive Pseudo Labeling and Informative Active Annotation
National University of Singapore(新加坡国立大学);National University Hospital(国立大学医院);Zhejiang University(浙江大学)
本文提出了一种新的半监督学习(SSL)框架BoostMIS,该框架结合了自适应伪标记和信息主动标注,充分发挥了医学图像SSL模型的潜力:(1)BoostMIS能够根据当前学习状态自适应地利用聚类假设和未标记数据的一致性正则化。该策略可以自适应地生成从任务模型预测转换的独热“硬”标签,以更好地进行任务模型训练。(2)对于低置信度的未标记图像,我们引入了主动学习(AL)算法,通过利用虚拟对抗扰动和模型的密度感知熵来寻找信息样本作为注释候选。这些信息候选者随后被馈送到下一个训练周期,以更好地进行SSL标签传播。值得注意的是,自适应伪标记和信息主动注释形成了相互协作以提高医学图像SSL的学习闭环。为了验证所提出的方法的有效性,我们收集了转移性硬膜外脊髓压迫(MESCC)数据集,旨在优化MESCC诊断和分类,以改善专科转诊和治疗。我们在MESCC和另一个公共数据集COVIDx上对BoostMIS进行了广泛的实验研究。实验结果验证了我们的框架的有效性和普适性不同的医学图像数据集与各种国家的最先进的方法有显着的改善。
2022-03-21 cs.AI cs.CV cs.LG