Robust and Sparse Estimation of Linear Regression Coefficients with Heavy-tailed Noises and Covariates
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学)
研究了线性回归系数的抗差稀疏估计。本文所解决的情况是,协变量和噪声是从重尾分布中采样的,并且协变量和噪声被恶意离群值污染。我们的估计量可以有效地计算。此外,估计的误差界是接近最优的。
2022-10-09 cs.LG stat.ML
Minimax Policy for Heavy-tailed Bandits
Michigan State University(密歇根州立大学)
研究了最坏后悔和重尾报酬分布下的随机多臂强盗(MAB)问题。我们修改了minimax策略MOSS的亚高斯奖励分布,通过使用饱和的经验均值设计一个新的算法称为鲁棒MOSS。我们表明,如果存在的时刻的顺序$1+ε$的奖励分布,然后改进的策略有一个最坏情况下的遗憾匹配的下限,同时保持分布依赖的对数遗憾。
2020-11-18 cs.LG stat.ML
Sparse Linear Regression when Noises and Covariates are Heavy-Tailed and Contaminated by Outliers
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));The Institute of Statistical Mathematics(统计数学研究所);RIKEN(理化学研究所)
本文研究重尾分布且含离群点污染条件下的稀疏线性回归系数估计问题,提出可高效计算的估计量,并给出锐利误差界。
2024-08-02 cs.LG stat.ML
$\ell_1$-regression with Heavy-tailed Distributions
Nanjing University(南京大学)
本文研究了重尾分布下的线性回归问题。与以往研究中使用损失平方来衡量绩效不同,本文选择了能够估计条件中位数的绝对损失。为了解决输入和输出都可能是重尾的挑战,我们提出了一个截断最小化问题,并证明了它具有$\widetilde{O}(\sqrt{d/n})$超额风险,其中$d$是维数,$n$是样本数。与传统的$\ell_1$ -回归方法相比,本文的主要优点是在不需要输入和输出的指数矩条件下,得到了高概率的风险界。此外,如果输入是有界的,我们表明,经典的经验风险最小化是称职的$\ell_1$ -回归,即使当输出是重尾。
2018-10-25 cs.LG stat.ML
Batched Bandits with Heavy-Tailed Rewards
本文提出鲁棒批量老虎机算法,针对重尾奖励设计,在有限臂和Lipschitz连续设定中解决批量多臂老虎机问题,发现重尾奖励在实例无关和Lipschitz设定中需更少批次达到近最优遗憾,而实例依赖设定中批次数与尾重无关。
2026-07-07 cs.LG stat.ML
Models of Heavy-Tailed Mechanistic Universality
本文提出高温马尔琴科-帕斯图尔随机矩阵系综,揭示训练神经网络中重尾谱密度由数据相关结构、降低温度和降低特征向量熵三因素共同产生,并可用特征值排斥参数控制,为重尾机制普适性提供理论模型。
2025-06-04 cs.LG stat.ML
Multi-agent Multi-armed Bandit with Fully Heavy-tailed Dynamics
University of Amsterdam(阿姆斯特丹大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
研究完全重尾设定下的去中心化多智能体多臂老虎机,提出利用重尾图枢纽结构和新信息延迟界的算法框架,在同质和异质奖励下分别实现$O(M^{1-1/α}\log{T})$和$O(M\log{T})$遗憾界,改进现有工作。
2025-01-31 cs.LG stat.ML
Mirror Flow Matching with Heavy-Tailed Priors for Generative Modeling on Convex Domains
本文提出基于正则化镜像映射和Student-t先验的Mirror Flow Matching方法,解决了凸域生成建模中重尾分布导致的动力学不适定和先验耦合表现差的问题,并提供了理论保证和实验验证。
2025-10-10 cs.LG stat.ML
Tail Annealing for Heavy-Tailed Flow Matching
CMAP, École Polytechnique, Institut Polytechnique de Paris(CMAP,巴黎高等学院,巴黎理工学院)
本文提出了一种简单的方法,通过在训练前对数据应用软对数变换,然后在生成后进行指数化,以处理厚尾数据问题。该方法通过Hill诊断决定是否对每个坐标进行变换,保留轻尾边缘不变,从而压缩厚尾到标准流匹配可以处理的范围内,无需厚尾基础分布或架构修改。
2026-06-23 cs.LG stat.ML
Heavy-Tailed Flow Matching via Random Clocks
Johns Hopkins University(约翰斯·霍普金斯大学);National University of Singapore(新加坡国立大学)
研究重尾数据匹配问题,提出HTFM框架,将重尾源视为时钟条件高斯源混合,用截断对数签名特征编码时钟。实验显示其在多领域优于高斯流匹配等基线,保留低NFE采样优势,还提供尾部控制接口。
2026-07-16 cs.LG stat.ML
Generalization Bounds for Heavy-Tailed SDEs through the Fractional Fokker-Planck Equation
Benjamin Dupuis(本杰明·杜皮斯);Umut Şimşekli(乌木特·西姆谢利)
本文通过分数阶 Fokker-Planck 方程的熵流估计,为重尾 SDE 证明了不含信息论项的高概率泛化界,并发现重尾对泛化的影响取决于问题结构的相变现象。
2025-06-02 cs.LG stat.ML
Better scalability under potentially heavy-tailed gradients
我们研究了一个可扩展的替代鲁棒梯度下降(RGD)技术,可以使用时,梯度可以重尾,虽然这将是未知的学习者。核心技术很简单:代替试图在每一步鲁棒地聚集梯度(这是昂贵的并且导致在风险界限中的次优维度依赖),我们选择不会偏离大多数廉价随机子过程太远的候选,所述大多数廉价随机子过程在分区数据上运行一次。除了正式的保证,我们还提供了实验条件下的扰动鲁棒性的经验分析,在亚高斯和重尾数据。其结果是一个程序,是简单的实现,琐碎的并行化,保持形式的强度的RGD方法,但规模更好地大型学习问题。
2020-12-15 cs.LG stat.ML
Gradient descent follows the regularization path for general losses
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院)
最近在许多机器学习学科中的研究都强调,标准的下降方法,即使没有显式正则化,也不仅仅是最小化训练误差,而且还表现出隐式偏差。这种偏差通常是朝向某个正则化的解决方案,并且依赖于学习过程的细节,例如交叉熵损失的使用。在这项工作中,我们表明,对于经验风险最小化线性预测与任意凸,严格减少损失,如果风险没有达到其下确界,那么梯度下降路径和算法无关的正则化路径收敛到同一个方向(无论何时收敛到一个方向)。使用这个结果,我们提供了广泛使用的指数尾损失(如指数损失或逻辑损失)的理由:虽然这种收敛到一个方向的指数尾损失必然是最大利润的方向,其他损失,如多项式尾损失可能会导致收敛到一个方向与差的利润。
2020-06-19 cs.LG math.OC stat.ML
On Proximal Policy Optimization's Heavy-tailed Gradients
Carnegie Mellon University(卡内基梅隆大学)
诸如近端策略优化(PPO)的现代策略梯度算法依赖于包括损失裁剪和梯度裁剪的一系列算法来确保成功的学习。这些统计学让人想起稳健统计学的技术,通常用于异常值丰富(“重尾”)制度的估计。在本文中,我们提出了一个详细的实证研究,以表征PPO代理奖励函数的梯度的重尾性质。我们证明了梯度,特别是演员网络,表现出明显的重尾性,并且随着代理的策略偏离行为策略(即,随着代理进一步偏离策略)。进一步的研究表明,似然比和替代奖励的优势是观察到的重尾的主要来源。然后,我们强调由于梯度的重尾性质而产生的问题。在这种情况下,我们研究了标准PPO裁剪算法的效果,证明这些技巧主要用于抵消梯度中的重尾。因此,出于动机,我们建议将Gestival,一个高维的鲁棒估计,PPO作为替代三个裁剪技巧。尽管需要更少的超参数调整,我们的方法匹配的性能PPO(与所有的动力学启用)电池的MuJoCo连续控制任务。
2021-07-13 cs.LG cs.RO stat.ML
Heavy-tailed Streaming Statistical Estimation
Carnegie-Mellon University(卡内基梅隆大学)
我们考虑流$p$维样本的重尾统计估计的任务。这也可以被看作是重尾分布下的随机优化,具有额外的$O(p)$空间复杂度约束。我们设计了一个裁剪的随机梯度下降算法,并提供了一个改进的分析,在一个更细致入微的条件下的随机梯度的噪声,我们表明是至关重要的,当分析随机优化问题所产生的一般统计估计问题。我们的结果保证收敛不仅在预期中,但指数浓度,而且这样做使用$O(1)$批量大小。我们提供了我们的平均估计和线性回归的结果的后果。最后,我们通过均值估计和线性回归的合成实验,提供了我们的结果和算法的经验佐证。
2022-02-25 cs.LG math.OC stat.ML
Robust Offline Reinforcement learning with Heavy-Tailed Rewards
LSE(伦敦政治经济学院);Amazon(亚马逊公司);George Washington University(乔治·华盛顿大学);Bytedance(字节跳动公司)
本文针对重尾奖励场景下的离线强化学习鲁棒性问题,提出ROAM和ROOM两个算法框架,通过将中位数之均值方法与离线RL结合实现不确定性估计,在离线策略评估与优化中均优于现有方法。
2024-03-30 cs.AI cs.LG stat.ML
Asymptotic Classification Error for Heavy-Tailed Renewal Processes
针对更新过程分类问题,本文推导了重尾情形下误分类概率 Bhattacharyya 界的渐近表达式。
2025-09-30 cs.LG math.ST stat.ML
Mean estimation and regression under heavy-tailed distributions--a survey
Pompeu Fabra University(庞培法布拉大学);ICREA(加泰罗尼亚研究与高等研究院);Barcelona Graduate School of Economics(巴塞罗那经济研究生院);The Australian National University(澳大利亚国立大学);Sorbonne University(索邦大学)
本文综述了均值估计和回归函数估计的一些最新进展。特别是,我们描述了亚高斯均值估计可能重尾数据在单变量和多变量设置。我们专注于估计的基础上平均值的技术,但其他方法,如修剪平均值和Catoni的估计也进行了审查。我们对基石结果给出了详细的证明。我们专门用一节讨论统计学习问题--特别是回归函数估计--在可能存在重尾数据的情况下。
2019-06-10 cs.LG math.ST stat.ML
Open Problem: Is AdamW Effective Under Heavy-Tailed Noise?
Nanjing University(南京大学);Zhejiang University(浙江大学);Fudan University(复旦大学)
本文提出开放问题:AdamW 在重尾噪声下能否收敛?通过加权度量基准和走廊下界机制,揭示分母记忆可能隐藏大梯度。
2026-06-23 cs.AI cs.LG math.OC
On Empirical Risk Minimization with Dependent and Heavy-Tailed Data
在这项工作中,我们建立的经验风险最小化(ERM)与依赖和重尾数据生成过程的风险界限。我们这样做是通过扩展的开创性的工作Mendelson [Men15,Men18]的分析ERM重尾,但独立和同分布的意见,严格平稳指数$β$混合的情况下。我们的分析是基于显式控制的乘法器的过程中所产生的噪声和输入上的功能评估之间的相互作用。它允许交互甚至是多项式重尾的,这涵盖了学习理论文献中分析的大量重尾模型。我们说明了我们的结果,推导出收敛速度的高维线性回归问题的依赖和重尾数据。
2021-09-10 math.ST stat.ML stat.TH
Eliminating Sharp Minima from SGD with Truncated Heavy-tailed Noise
Northwestern University(西北大学);University of Washington(华盛顿大学)
深度学习的经验成功通常归因于SGD在损失情况下避免尖锐局部最小值的神秘能力,因为众所周知尖锐最小值会导致泛化能力差。最近,在许多深度学习任务中报告了重尾梯度噪声的经验证据,并且在Jumimekli(2019 a,b)中表明,SGD可以在这种重尾梯度噪声的存在下逃脱尖锐的局部极小值,为这个谜团提供了部分解决方案。在这项工作中,我们分析了SGD的一个流行的变体,其中梯度在固定阈值以上被截断。我们证明了它实现了更强的避免尖锐极小值的概念:它可以有效地从其训练轨迹中完全消除尖锐的局部极小值。我们描述了截断SGD的动力学驱动重尾噪声。首先,我们表明,截断阈值和宽度的吸引场决定的顺序的第一次退出时间从相关的局部最小值。此外,当目标函数满足适当的结构条件,我们证明,作为学习率降低,重尾截断SGD的动态非常类似于那些连续时间马尔可夫链,从来没有访问任何尖锐的最小值。深度学习的真实数据实验证实了我们的理论预测,即具有梯度裁剪的重尾SGD找到了“更平坦”的局部极小值,并实现了更好的泛化。
2022-05-10 cs.LG math.OC math.PR
Accelerated stochastic first-order method for convex optimization under heavy-tailed noise
Department of Mathematics, Linköping University, Sweden(林雪平大学数学系);Department of Industrial and Systems Engineering, University of Minnesota, USA(明尼苏达大学工业与系统工程系)
针对重尾噪声下的凸复合优化问题,本文提出一种无需梯度裁剪或归一化的加速随机近端次梯度方法,证明其在光滑、弱光滑及非光滑等情况下均具有普遍最优的一阶预言机复杂度,并通过数值实验验证了理论结果。
2026-09-22 cs.AI cs.LG math.OC
Heavy-Tailed Processes for Selective Shrinkage
重尾分布常用于增强回归和分类方法对输出空间中异常值的鲁棒性。然而,我们经常会遇到输入空间中的“离群值”,这是人口稀少地区的孤立观测。我们发现,重尾随机过程(我们通过Copula从高斯过程构建),可以用来提高回归和分类估计的鲁棒性,这样的离群值,选择性地缩小他们更强烈地在稀疏区域比密集区域。我们进行了理论分析表明,选择性收缩发生,提供的重尾过程的边缘有足够重的尾巴。生物数据的实验表明,在稀疏区域的估计显着改善,同时产生竞争力的结果,在密集的区域的分析是补充。
2010-06-23 stat.AP stat.ME stat.ML
Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data
University of Waterloo(滑铁卢大学);Meta;Cornell University(康奈尔大学)
研究了在差分隐私(DP)约束下重尾数据的随机凸优化问题。关于这个问题的大多数先前的工作仅限于损失函数是Lipschitz的情况。相反,介绍了王,肖,Devadas,徐\cite{WangXDX20},我们研究一般的凸损失函数的梯度分布有界的$k$次矩的假设。我们提供了改进的上界的过度人口风险下集中DP凸和强凸损失函数。一路上,我们推导出新的算法私人均值估计的重尾分布,在纯和集中DP。最后,我们证明了私人随机凸优化强凸损失和均值估计的近匹配下界,显示了新的分离之间的纯和集中DP。
2022-11-01 cs.CR cs.DS cs.LG
Heavy-tailed Sampling via Transformed Unadjusted Langevin Algorithm
我们分析了从多项式衰减的重尾目标密度采样的预言复杂性的基础上运行的未调整的朗之万算法的某些转换版本的目标密度。我们构造的封闭形式的变换映射的特定类被证明是同构的,并且特别适合于开发高效的基于扩散的采样器。我们的特点是精确类的重尾密度多项式阶的预言复杂性(在尺寸和逆目标精度)可以得到,并提供说明性的例子。我们强调我们的假设和功能的不平等(超级和弱Poincaré不等式)之间的关系的基础上定义的非局部Dirichlet形式通过分数拉普拉斯算子,用于表征重尾平衡密度的某些稳定驱动的随机微分方程。
2022-01-20 math.ST stat.CO stat.ML
Privacy of SGD under Gaussian or Heavy-Tailed Noise: Guarantees without Gradient Clipping
Inria, CNRS, Ecole Normale Supérieure PSL Research University(法国国家科学研究中心、巴黎高等师范学院PSL研究大学);Department of Management Science and Information Systems(管理科学与信息系统系);Faculty of Engineering and Natural Sciences(工程与自然科学学院);Department of Mathematics(数学系)
本文研究重尾噪声 SGD 的差分隐私,证明 $α$-稳定扰动可在无需梯度裁剪下为非凸损失实现 $(0,O(1/n))$-DP。
2025-05-12 cs.CR cs.LG math.ST
Outlier-Robust Sparse Mean Estimation for Heavy-Tailed Distributions
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校);Simons Institute for the Theory of Computing(西蒙斯计算理论研究所)
研究了稀疏性条件下重尾分布的离群稳健均值估计的基本问题。具体而言,给定来自高维重尾分布的少量损坏样本,其平均值$μ$保证是稀疏的,目标是有效地计算以高概率精确地近似$μ$的假设。先前的工作已经获得了有效的算法,鲁棒稀疏均值估计的轻尾分布。在这篇工作中,我们给出了第一个样本有效和多项式时间的鲁棒稀疏均值估计的重尾分布在温和的矩假设。我们的算法实现了最佳的渐近误差,使用大量的样本缩放与环境维度。重要的是,我们的方法的样本复杂性是最佳的故障概率$τ$的函数,具有添加剂$\log(1/τ)$依赖。我们的算法利用了算法稳健统计文献中基于稳定性的方法,并在我们的设置中进行了关键(和必要)的调整。我们的分析可能是独立的兴趣,涉及到一个(非谱)分解的微妙设计,满足一定的稀疏性的半正定矩阵。
2022-11-29 cs.DS cs.LG math.ST
Machine Learning Panel Data Regressions with Heavy-tailed Dependent Data: Theory and Application
本文介绍了结构化机器学习回归的重尾相关的面板数据可能在不同的频率采样。我们专注于稀疏群LASSO正则化。这种类型的正则化可以利用混合频率时间序列面板数据结构并提高估计的质量。我们得到了合并和固定效应稀疏组LASSO面板数据估计的预言不等式,认识到金融和经济数据可以有胖尾巴。为此,我们利用一个新的N-Nagaev浓度不等式的面板数据组成的重尾$τ$混合过程。
2021-11-22 econ.EM math.ST stat.AP