Spectral Algorithms under Covariate Shift
Department of Mathematics Hong Kong Baptist University(香港 Baptist 大学数学系);School of Mathematical Sciences Zhejiang University(浙江大学数学系);School of Mathematical Sciences and Shanghai Key Laboratory for Contemporary Applied Mathematics Fudan University(复旦大学数学系和上海当代应用数学重点实验室)
本文研究协变量偏移下谱算法的收敛性,证明密度比有界时可达极小极大最优,无界时则次优,并提出带归一化权重和权重裁剪的加权谱算法以恢复最优收敛速率。
2025-07-22 cs.LG stat.ML
Automated Clustering of High-dimensional Data with a Feature Weighted Mean Shift Algorithm
University of California, Berkeley(加州大学伯克利分校);Indian Statistical Institute(印度统计学院)
均值漂移是一个简单的交互过程,它逐渐将数据点移向表示该区域中数据点密度最高的模式。均值漂移算法已被有效地用于数据去噪,模式搜索,并以自动化的方式找到数据集中的聚类数。然而,随着数据维度的增加,均值漂移的优点很快就会消失,只有少数特征包含有关数据聚类结构的有用信息。我们提出了一个简单而优雅的特征加权均值漂移变体,以有效地学习特征重要性,从而将均值漂移的优点扩展到高维数据。所得到的算法不仅优于传统的均值漂移聚类过程,但也保持其计算简单。此外,所提出的方法具有严格的理论收敛保证和至少三阶的收敛速度。我们的建议的有效性进行了彻底的评估,通过实验比较对基线和国家的最先进的聚类方法的合成以及真实世界的数据集。
2021-05-10 cs.LG stat.ML
Resonance in Weight Space: Covariate Shift Can Drive Divergence of SGD with Momentum
University of Alberta(阿尔伯塔大学)
带动量的随机梯度下降(SGDm)的大多数收敛保证依赖于iid采样。然而,SGDm通常在此机制之外使用,在具有时间相关输入样本的设置中,例如持续学习和强化学习。已有的工作表明,具有衰减步长的SGDm可以在马尔可夫时间相关性下收敛。在这项工作中,我们表明,SGDm下协变量偏移与固定的步长可以是不稳定的和发散。特别是,我们显示SGDm下协变量偏移是一个参数振荡器,因此可以遭受称为共振的现象。我们近似的学习系统作为一个时变系统的常微分方程,并利用现有的理论来表征系统的发散/收敛的共振/非共振模式。理论结果仅限于具有周期性协变量偏移的线性设置,因此我们根据经验补充了该结果,以表明即使在非周期性协变量偏移、具有神经网络的非线性动力学和SGDm以外的优化器下,共振现象也会持续存在。
2022-03-22 cs.LG stat.ML
A Good Score Does not Lead to A Good Generative Model
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
该研究针对“得分函数学习好则SGM生成效果佳”的传统认知,通过反例证明特定场景下得分函数学习良好时SGM仅能生成训练数据的高斯模糊样本,补充了SGM存在记忆效应、生成失效的相关发现。
2024-01-27 cs.LG stat.ML
Analysis of Kernel Mean Matching under Covariate Shift
University of Alberta(阿尔伯塔大学)
在实际的监督学习场景中,训练样本和测试样本遵循不同的概率分布并不罕见,因此有必要校正采样偏差。针对一个特殊的协变量偏移问题,我们得到了核均值匹配(KMM)估计的高概率置信界,其收敛速度依赖于回归函数的一些正则性度量,也依赖于核的一些容量度量。通过比较KMM和自然插入估计,我们建立了前者的优越性,从而提供了具体的证据/理解下的协变量偏移的KMM的有效性。
2012-06-18 cs.LG stat.ML
Unbounded Density Ratio Estimation and Its Application to Covariate Shift Adaptation
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院);Department of Mathematics, Hong Kong Baptist University(香港浸会大学数学系)
本文研究无界密度比估计及其在协变量移位适应中的应用,提出三步估计方法,通过截断操作控制无界性,并建立非渐近收敛性保证。
2026-03-31 cs.LG stat.ML
Domain-Inspired Sharpness-Aware Minimization Under Domain Shifts
Cooperative Medianet Innovation Center(合作 Medianet 创新中心);Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出DISAM算法,通过最小化领域损失方差实现弹性梯度校准,解决SAM在领域偏移下的收敛不一致问题,实现更快收敛和更好泛化,并在领域泛化基准和参数高效微调中表现优越。
2024-05-29 cs.CV cs.LG
A Convergence Theorem for the Graph Shift-type Algorithms
图移位(GS)算法是近年来在噪声数据中发现稠密子图的一种有效方法。然而,没有理论基础来证明GS算法的收敛性。在本文中,我们提出了一个通用的理论框架,包括三个关键GS组件:生成序列集的单纯形,单调和连续的目标函数和封闭映射。我们证明了GS算法与这样的组件可以被改造,以适应Zangwill的收敛定理,和GS程序产生的序列集总是终止于局部最大值,或在最坏的情况下,包含一个子序列收敛到局部最大值的相似性度量函数。该框架通过扩展到其他GS型算法和实验结果进行了验证。
2013-06-13 cs.LG stat.ML
Convergence and clustering analysis for Mean Shift with radially symmetric, positive definite kernels
本文研究了均值偏移算法在径向对称正定核下的收敛性与聚类分析,证明了在足够大的带宽下,无论维度如何,算法都能收敛。同时探讨了不同核函数在大带宽下的聚类性能。
2026-03-16 cs.LG stat.ML
On Convergence of Epanechnikov Mean Shift
University of Minnesota(明尼苏达大学);Oregon State University(俄勒冈州立大学);University of Virginia(弗吉尼亚大学)
Epanechnikov Mean Shift是一个简单但经验上非常有效的聚类算法。它通过估计产生数据点的概率分布的模式,使用“最优”Epanechnikov核密度估计器来定位数据簇的质心。然而,由于该过程涉及非光滑核密度函数,Epanechnikov均值漂移的收敛行为缺乏理论支持,因为本文的写作-大多数现有的分析是基于光滑函数,因此不能应用于Epanechnikov均值漂移。在这项工作中,我们首先表明,原来的Epanechnikov均值漂移确实可能会终止在一个非临界点,由于非光滑的性质。基于我们的分析,我们提出了一个简单的补救措施来解决这个问题。修改后的Epanechnikov Mean Shift保证在有限次迭代内终止于估计密度的局部最大值,该估计密度对应于聚类质心。我们还提出了一种方法来避免从每个数据点运行Mean Shift迭代,同时在非重叠球形高斯混合模型下保持良好的聚类精度。这进一步推动了Epanechnikov Mean Shift处理非常大和高维的数据集。实验表明,与Lloyd的K-means算法和期望最大化算法相比,该算法具有令人惊讶的良好性能。
2017-11-20 cs.LG math.OC stat.ML
Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts
研究量化大语言模型推理中的无声失败,用六类失败分类法对五个模型在三种精度和四个基准下的思维链输出分类,发现空洞收敛等问题有精度和基准依赖性,且无法从文本特征可靠检测,揭示了标准评估管道未捕捉到的失败模式。
2026-07-24 cs.CL cs.LG
Stable Density Ridges: Consistency and Convergence of Subspace Constrained Mean Shift
本文针对子空间约束均值漂移(SCMS)算法的理论缺陷,提出基于动力系统的稳定脊概念,构建广义SCMS框架并证明其收敛性与效率,解决了原始算法的理论不足与计算复杂度问题。
2026-08-06 cs.LG stat.ML
Spectral Convergence of Complexon Shift Operators
School of Electrical and Electronic Engineering(电气与电子工程学院);Nanyang Technological University(南洋理工大学)
本文通过构造complexon移位算子研究拓扑信号处理的可迁移性,证明单纯复形信号序列收敛时其特征值与特征空间等谱性质收敛到极限complexon信号,并通过数值实验验证,推广了graphon信号处理框架。
2024-05-05 cs.LG eess.SP
Blessings and Curses of Covariate Shifts: Adversarial Learning Dynamics, Directional Convergence, and Equilibria
Booth School of Business(布斯商学院);University of Chicago(芝加哥大学)
该研究在无穷维框架下刻画对抗协变量偏移的外推区域,揭示其对回归和分类任务均衡学习的相反效应:回归中协变量指数收敛至最优实验设计(福),分类中则次二次收敛至最难设计(祸)。
2024-05-20 cs.LG math.OC math.ST
Space Partitioning and Regression Mode Seeking via a Mean-Shift-Inspired Algorithm
George Mason University(乔治梅森大学)
均值漂移(MS)算法是一种非参数方法,用于聚类样本点并找到核密度估计的局部模式,使用基于迭代梯度上升的思想。在本文中,我们开发了一个均值漂移启发的算法来估计回归函数的模式和划分的样本点在输入空间。我们证明了算法产生的序列的收敛性,并推导出底层回归模型的估计局部模式的非渐近收敛速度。我们还展示了实用的算法,通过生物分子结构数据的应用程序数据启用的发现。简要讨论了子空间约束均值漂移(SCMS)算法的一种扩展,用于提取回归函数的脊线。
2021-04-20 cs.LG stat.CO stat.ML
A Phase Shift Deep Neural Network for High Frequency Approximation and Wave Problems
Southern Methodist University(南卫理公会大学);Hunan Normal University(湖南师范大学)
在本文中,我们提出了一个相移深度神经网络(PhaseDNN),它提供了一个统一的宽带收敛近似高频函数和波动方程的解决方案。PhaseDNN利用了常见DNN通常首先在低频范围内实现收敛的事实,并针对选定的高频范围构建和训练一系列中等大小的DNN。在频域相移的帮助下,每个DNN将被训练为以与低频范围相同的收敛速度在特定范围内近似函数的高频内容。因此,所提出的PhaseDNN能够将高频学习转换为低频学习,从而允许对宽带函数进行统一学习。PhaseDNN然后将被应用于通过具有最小二乘剩余损失函数的微分和积分方程公式来找到非均匀介质中的高频波动方程的解。数值结果表明,PhaseDNN在学习高频函数和内部和外部Helmholtz方程的振荡解的能力。
2019-12-13 cs.LG cs.NA math.NA
Planning for Change: Reinforcement Learning Combined with Bounded Extremum Seeking for Robotic Control under Distribution Shift
University of New Mexico(新墨西哥大学);Los Alamos National Lab(洛斯阿拉莫斯国家实验室)
本文提出结合深度确定性策略梯度与有界极值搜索的混合控制器,提升机械臂在分布偏移下的鲁棒性,通过时间变化目标和摩擦不均等场景验证。
2026-10-06 cs.LG cs.RO
CosmoGAN: creating high-fidelity weak lensing convergence maps using Generative Adversarial Networks
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Google Research(谷歌研究院);University of KwaZulu-Natal(夸祖鲁-纳塔尔大学)
从实验数据中推断模型参数是包括宇宙学在内的许多科学的巨大挑战。这通常严重依赖于高保真度的数值模拟,这是非常昂贵的计算。深度学习技术在生成式建模中的应用正在重新引起人们对使用高维密度估计器作为完全成熟的模拟的计算成本低廉的仿真器的兴趣。这些生成模型有可能在科学模拟领域产生巨大的转变,但要实现这种转变,我们需要研究这种生成器在科学应用所需的精确度方面的性能。为此,在这项工作中,我们将生成对抗网络应用于生成弱透镜收敛映射的问题。我们表明,我们的生成器网络产生的地图,所描述的,具有较高的统计置信度,相同的汇总统计的完全模拟的地图。
2019-05-22 astro-ph.IM cs.LG
Strategic Distribution Shift of Interacting Agents via Coupled Gradient Flows
California Institute of Technology(加州理工学院);University of Washington(华盛顿大学)
本文提出耦合偏微分方程框架刻画学习算法与分布之间的反馈动态,并在合作与竞争两类场景下证明梯度下降再训练渐近收敛到稳态,实验表明该方法能捕捉极化等复杂分布偏移现象。
2023-10-29 cs.LG math.AP
Robust Distributed Learning Against Both Distributional Shifts and Byzantine Attacks
George Mason University(乔治梅森大学)
在分布式学习系统中,鲁棒性问题可能来自两个来源。一方面,由于训练数据和测试数据之间的分布变化,训练后的模型可能表现出较差的样本外性能。另一方面,一部分工作节点可能会受到拜占庭攻击,这可能会使学习结果无效。现有的工作大多是分别处理这两个问题。在本文中,我们提出了一个新的算法,装备分布式学习的鲁棒性措施,对分布移位和拜占庭攻击。我们的算法是建立在最近的进展,分布鲁棒优化以及基于规范的筛选(NBS),强大的聚合计划,对拜占庭攻击。我们提供了三种情况下的学习模型是非凸的,凸的,和强凸的算法的收敛性证明,阐明其收敛行为和可扩展性对拜占庭攻击。特别是,我们推断,任何算法采用NBS(包括我们的)不能收敛时,拜占庭节点的百分比是1/3或更高,而不是1/2,这是目前文献中的共同信念。实验结果表明,我们的算法对鲁棒性问题的有效性。据我们所知,这是第一个同时解决分布转移和拜占庭攻击的工作。
2022-10-29 cs.LG eess.SP
Test-Time Adaptation to Distribution Shift by Confidence Maximization and Input Transformation
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
深度神经网络通常在训练时数据分布下不太可能表现出较差的性能,例如受损坏影响的数据。以前的工作表明,测试时间适应数据移位,例如使用熵最小化,有效地提高了性能,这样的移位分布。本文重点介绍了完全测试时间适应设置,其中只需要从目标分布的未标记的数据。这允许适应任意的预训练网络。具体来说,我们提出了一种新的损失,提高了测试时的适应,解决过早收敛和不稳定的熵最小化。这是通过用非饱和代理替换熵并添加基于分批熵最大化的多样性正则化器来实现的,该正则化器防止收敛到平凡的塌陷解。此外,我们建议在网络中添加一个输入转换模块,可以部分撤销测试时间分布的变化。令人惊讶的是,这种预处理可以单独使用完全测试时自适应损失以端到端的方式学习,而无需任何目标域标签或源域数据。我们表明,我们的方法在提高公开可用的预训练图像分类器对ImageNet-C等具有挑战性的基准测试中常见腐败的鲁棒性方面优于以前的工作。
2021-06-28 cs.LG stat.ML
From Mean-Field Limits to Semiclassical Concentration: Global Convergence of the Canonical Evolutionary Strategy
Inria Chile Research Center(Inria智利研究中心);Departamento de Ingeniería Matemática, Universidad de Chile(智利大学数学工程系)
本文通过将规范进化策略建模为受控数学框架,利用薛定谔型复制子-突变子方程的半经典极限,从离散个体动力学到确定性平均场极限建立严格层级,证明全局收敛性由主算子的主特征函数决定,从而为“最平坦者生存”现象提供数学解释,并展示其在高维移位初始化场景中的优势。
2026-05-19 cs.LG cs.NE math.DS
Algorithms for ridge estimation with convergence guarantees
George Mason University(乔治梅森大学);University of California(加利福尼亚大学)
本文针对点云丝状结构提取问题提出两种新算法,并给出渐近恢复完整脊集的理论收敛保证,作为缺乏此类保证的SCMS算法的替代方案。
2024-12-31 cs.LG math.ST stat.ML