Bandit algorithms: Letting go of logarithmic regret for statistical robustness
IIT Bombay(印度理工学院孟买分校);IIT Madras(印度理工学院马德拉斯分校)
我们研究了随机多臂强盗设置中的后悔最小化问题,并建立了一个基本的权衡算法下遭受的遗憾,其统计鲁棒性。考虑到广泛的潜在武器的分布,我们表明,强盗学习算法与对数遗憾总是不一致的,一致的学习算法总是遭受超对数遗憾。这一结果突出了不可避免的统计脆弱性的所有“对数遗憾”的强盗算法在文献中-例如,如果一个UCB算法设计的$σ$ -subGaussian分布是在subGaussian设置与不匹配的方差参数,学习性能可能是不一致的。接下来,我们展示了一个积极的结果:如果我们允许遗憾比对数略差,则可以获得统计上鲁棒和一致的学习性能。具体来说,我们提出了三个类的分布遗忘算法,实现了渐近遗憾,是任意接近对数。
2020-06-22 cs.LG stat.ML
Statistical, Robustness, and Computational Guarantees for Sliced Wasserstein Distances
Cornell University(康奈尔大学)
切片瓦瑟斯坦距离保留了经典瓦瑟斯坦距离的性质,同时对于高维中的计算和估计更具可扩展性。这项工作的目标是从三个关键方面量化这种可扩展性:(i)经验收敛率;(ii)对数据污染的鲁棒性;(iii)有效的计算方法。对于经验收敛,我们得到快速的速度与明确的依赖于尺寸的常数,受对数的总体分布。对于鲁棒性,我们刻画了极小极大最优,无量纲的稳健估计风险,并证明了稳健切片1-Wasserstein估计和稳健均值估计之间的等价性。这使得能够将可用于后者的统计和算法保证提升到切片1-Wasserstein设置。移动到计算方面,我们分析了平均切片距离的蒙特卡罗估计,证明了更大的维度可以导致更快的收敛的数值积分误差。对于最大切片距离,我们专注于一个子梯度为基础的局部优化算法,在实践中经常使用,虽然没有正式的保证,并建立一个$O(ε^{-4})$计算复杂性约束it. Our理论验证的数值实验,这总共提供了一个全面的量化帐户的可扩展性问题。
2022-10-17 cs.LG stat.ML
Outlier-Robust Optimal Transport: Duality, Structure, and Statistical Analysis
Cornell University(康奈尔大学);Columbia University(哥伦比亚大学)
瓦瑟斯坦距离源于最优传输(OT)理论,是概率分布之间的流行差异度量,具有统计学和机器学习的各种应用。尽管其丰富的结构和证明的效用,瓦瑟斯坦距离是敏感的离群值在所考虑的分布,这阻碍了在实践中的适用性。我们提出了一个新的离群鲁棒瓦瑟斯坦距离$\mathsf{W}_p^\varepsilon$,它允许从每个污染分布中删除$\varepsilon$离群质量。在标准的矩假设下,$\mathsf{W}_p^\varepsilon$下的Huber $\varepsilon$污染模型实现强大的稳健估计保证。我们制定的这个强大的距离相当于一个高度定期的优化问题,使自己更好地分析相比,以前考虑的框架。利用这一点,我们进行了彻底的理论研究$\mathsf{W}_p^\varepsilon$,包括鲁棒性保证,表征最佳扰动,规律性,对偶性,和统计估计。特别是,通过解耦的优化变量,我们到达一个简单的双重形式的$\mathsf{W}_p^\varepsilon$,可以通过一个基本的修改标准,基于对偶的OT求解器。我们说明了我们的框架的优点,通过应用程序生成建模与污染的数据集。
2023-02-28 cs.LG stat.ML
Lecture Notes: Selected topics on robust statistical learning theory
Paris-Saclay university(巴黎萨克雷大学)
这些笔记收集了鲁棒统计学习理论的最新成果。我们的目标是强调这些估计的建设和理论分析的主要原则,而不是提供一个详尽的帐户在这个迅速增长的领域。这些笔记是StatMathAppli 2019会议上讲座的基础。
2019-08-28 cs.LG math.ST stat.ML
Robust Risk Minimization for Statistical Learning
Uppsala University(乌普萨拉大学)
我们考虑一个一般的统计学习问题,其中一个未知的部分的训练数据被损坏。我们开发了一个强大的学习方法,只需要指定一个上限的损坏的数据部分。该方法最小化由具有未知概率权重的非参数分布定义的风险函数。我们推导和分析的最佳权重,并显示它们如何提供对损坏的数据的鲁棒性。此外,我们给出了一个计算效率高的坐标下降算法来解决风险最小化问题。我们展示了广泛的适用性的方法,包括回归,分类,无监督学习和经典的参数估计,与国家的最先进的性能。
2020-02-07 cs.LG eess.SP stat.ML
The Statistical Cost of Robust Kernel Hyperparameter Tuning
Tandon School of Engineering(坦登工程学院);New York University(纽约大学)
本文研究了对抗性噪声下主动回归核超参数调整的统计复杂性。我们考虑的问题,找到最好的插值从一类未知的超参数的内核,假设只有噪音是平方可积的。我们提供有限样本保证的问题,表征如何增加内核类的复杂性增加学习内核超参数的复杂性。对于常见的内核类(例如,平方指数内核与未知的长度尺度),我们的研究结果表明,超参数优化增加了样本的复杂性只有一个对数因子,在设置中,最佳参数是已知的提前。我们的结果是基于多重设计矩阵下线性回归的子采样保证,结合离散化核参数化的ε-net参数。
2020-06-14 cs.LG stat.ML
Statistical Guarantees for Distributionally Robust Optimization with Optimal Transport and OT-Regularized Divergences
Texas State University(德克萨斯州立大学)
本文研究了基于最优传输和OT正则化分歧的分布鲁棒优化在有限样本下的统计性能保障,推导了基于DRO的对抗训练的集中不等式,并首次覆盖了软约束范数球OT成本函数,提升了对抗训练的鲁棒性。
2026-03-29 cs.LG stat.ML
Statistically Robust, Risk-Averse Best Arm Identification in Multi-Armed Bandits
IIT Bombay(印度理工学院孟买分校);Stanford University(斯坦福大学);IIT Madras(印度理工学院马德拉斯分校)
传统的多臂强盗(MAB)公式通常对底层武器的分布做出某些假设,例如支持的边界或它们的尾部行为。此外,这种参数信息通常被“烘焙”到算法中。在本文中,我们表明,专门的算法,利用这样的参数信息时,参数被错误指定容易不一致的学习性能。我们的主要贡献是双重的:(i)我们建立基本的性能限制的统计鲁棒MAB算法下的固定预算的纯探索设置,及(ii)我们提出了两类算法是渐近接近最优的。此外,我们考虑了一个风险意识的最佳臂识别标准,其中与每个臂相关的目标是平均值和条件风险值(CVaR)的线性组合。在整个过程中,我们做了一个非常温和的“有界矩”假设,这让我们可以在一个统一的框架内处理轻尾和重尾分布。
2022-03-28 cs.LG stat.ML
Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates
UC Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
在大规模分布式学习中,安全问题变得越来越重要。特别是在去中心化的环境中,一些计算单元可能会表现得异常,甚至表现出拜占庭式的故障--任意的和潜在的敌对行为。在本文中,我们开发分布式学习算法,可证明对这种故障是强大的,重点是实现最佳的统计性能。这项工作的一个主要结果是两个强大的分布式梯度下降算法的中值和修剪平均操作的基础上,分别尖锐的分析。我们证明了三种人口损失函数:强凸,非强凸,光滑非凸的统计出错率。特别是,这些算法实现了强凸损失的顺序最优统计出错率。为了实现更好的通信效率,我们进一步提出了一个基于中位数的分布式算法,可证明是强大的,只使用一个通信轮。对于强凸二次损失,我们证明了该算法达到了与鲁棒分布式梯度下降算法相同的最优出错率。
2021-02-25 cs.CR cs.DC cs.LG
Statistical Analysis of Wasserstein Distributionally Robust Estimators
Stanford University(斯坦福大学);Singapore University of Technology and Design(新加坡科技设计大学);VinAI Research(VinAI研究院)
我们认为,统计方法调用一个最小-最大分布鲁棒配方提取良好的样本性能数据驱动的优化和学习问题。认识到从有限样本中学习的分布不确定性,最小-最大公式引入了一个对抗性的内部参与者来探索看不见的协变量数据。由此产生的分布鲁棒优化(DRO)配方,其中包括Wasserstein DRO配方(我们的主要重点),指定使用最佳运输现象。在描述了如何通过有限维对偶重构来处理这些无限维最小-最大问题后,本教程进入了它的主要部分,即解释了一个最佳选择对手预算大小的通用配方。这是通过研究极限行为的最优输运投影公式所产生的查询最小的置信区域,包括未知的人口风险最小化。顺便说一句,这个系统的处方符合在高维统计的具体例子,并在误差界,是免费的维数灾难的结果。配备了这个处方,我们提出了一个中心极限定理的DRO估计,并提供了一个配方,用于构建兼容的置信区域,是有用的不确定性量化。本教程的其余部分致力于深入了解由最小-最大公式选择的优化器的性质以及最优输运预测的其他应用。
2021-08-04 cs.LG math.OC math.ST
Robust high dimensional factor models with applications to statistical machine learning
因子模型是一类功能强大的统计模型,已被广泛用于处理从基因组学和神经科学到经济学和金融学的各种应用中经常出现的相关测量。随着数据收集规模的不断扩大,统计机器学习面临着一些新的挑战:高维性、观测变量间的强相关性、重尾变量和异质性。高维稳健因子分析是克服这些挑战的有力工具。本文重点综述了高维因子模型及其在统计学中的应用,包括因子调整稳健模型选择(FarmSelect)和因子调整稳健多重检验(FarmTest)。我们表明,经典的方法,特别是主成分分析(PCA),可以定制许多新的问题,并提供了强大的工具,统计估计和推断。我们强调PCA及其与矩阵扰动理论、鲁棒统计、随机投影、错误发现率等的联系,并通过几个应用说明如何从这些领域的见解产生解决方案,以现代的挑战。我们还提出了因素模型和流行的统计学习问题之间的深远联系,包括网络分析和低秩矩阵恢复。
2018-08-12 math.ST stat.ME stat.ML
Model Repair: Robust Recovery of Over-Parameterized Statistical Models
介绍了一种新型的鲁棒估计问题,其目标是恢复一个统计模型,该模型已被损坏后,它已被估计的数据。提出了仅使用设计而不是用于在监督学习设置中拟合模型的响应值来“修复”模型的方法。理论的发展表明,两个重要的成分是必要的模型修复-统计模型必须过参数化,估计必须纳入冗余。特别是,估计的基础上随机梯度下降被认为是非常适合模型修复,但稀疏估计是不是在一般的可修复。在阐述了问题并建立了与抗差估计相关的关键技术引理之后,给出了一系列关于过参数化线性模型、随机特征模型和人工神经网络的修复结果。模拟研究证实和说明的理论研究结果。
2020-05-20 math.ST stat.ML stat.TH
Universal Consistency and Robustness of Localized Support Vector Machines
潜在地用于发现机器学习中的模式的大量可用数据对于基于内核的算法在运行时间和存储容量方面是一个挑战。地方办法可能有助于缓解这些问题。从统计学的角度来看,局部方法还允许以不同的方式处理数据中的不同结构。本文分析了基于局部核的非参数统计机器学习方法的性质,特别是支持向量机(SVM)和接近它们的方法。我们将证明局部学习的核方法是普适的。此外,我们给出了一个上限的maxbias,以显示所提出的方法的统计鲁棒性。
2017-03-19 stat.ML
Robust supervised learning with coordinate gradient descent
Université Paris Diderot(巴黎第七大学);École normale supérieure(巴黎高等师范学院)
本文考虑了当特征和标签都可能被损坏时,无论是重尾数据和/或损坏行的形式,用线性方法进行监督学习的问题。我们引入了一个组合的坐标梯度下降作为一个学习算法与鲁棒估计的偏导数。这导致稳健的统计学习方法,其具有与基于经验风险最小化的非稳健方法几乎相同的数值复杂度。主要的想法很简单:虽然利用梯度下降的鲁棒学习需要鲁棒地估计整个梯度以更新所有参数的计算成本,但是在坐标梯度下降中,可以使用单个偏导数的鲁棒估计器来立即更新参数。我们证明了上界的泛化误差的算法来自这个想法,控制优化和统计误差,没有一个强凸性假设的风险。最后,我们提出了一个有效的实现这种方法在一个新的Python库称为linlearn,并通过大量的数值实验表明,我们的方法引入了一个新的有趣的妥协之间的鲁棒性,统计性能和数值效率为这个问题。
2022-01-31 cs.LG math.ST stat.ML
Support Vector Machines for Additive Models: Consistency and Robustness
支持向量机(SVM)是一种特殊的基于核的方法,是近十多年来最成功的学习方法之一。支持向量机可以被非正式地描述为一种正则化的M-估计函数,并已被证明在许多复杂的现实生活中的问题的有用性。在过去的几年中,很大一部分的统计研究支持向量机的问题集中在如何设计支持向量机,使他们是普遍一致的,统计上的非参数分类或非参数回归的目的是强大的。在许多应用中,存在待估计的分布P或未知函数f的一些定性先验知识,或者期望具有良好可解释性的预测函数,使得关注半参数模型或加性模型。本文主要研究在可加模型中如何通过选择再生核Hilbert空间(RKHS)或其相应的核来设计支持向量机,以获得相容的统计稳健估计。我们给出了一个明确的内核建设-因此,他们的RKHS-这导致与Lipschitz连续损失函数相结合,以一致的和统计上强大的SMV的添加剂模型。例如,基于弹球损失函数的分位数回归、基于ε不敏感损失函数的回归以及基于铰链损失函数的分类。
2010-07-23 stat.ML
Provable Robust Overfitting Mitigation in Wasserstein Distributionally Robust Optimization
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Kaiyuan International Mathematical Sciences Institute(开元国际数学科学研究院)
针对Wasserstein分布鲁棒优化(WDRO)因未考虑统计误差而存在的鲁棒过拟合问题,提出结合Wasserstein距离与Kullback-Leibler散度的统计鲁棒WDRO框架,建立泛化界并推导均衡条件,有效缓解了过拟合并增强了鲁棒性。
2025-03-06 cs.AI cs.LG math.ST
Statistical Query Lower Bounds for Robust Estimation of High-dimensional Gaussians and Gaussian Mixtures
University of Southern California(南加利福尼亚大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们描述了一个通用的技术,产生的第一个{ \em统计查询下限}的一系列基本的高维学习问题,涉及高斯分布。我们的主要结果是(1)学习高斯混合模型(GARCH),和(2)鲁棒(不可知)学习一个单一的未知高斯分布的问题。对于这些问题中的每一个,我们显示了{ \em超多项式间隙}之间的(信息理论)样本的复杂性和计算复杂性的{ \em任何}统计查询算法的问题。我们对问题(1)的SQ下限定性地与已知的用于Gyndrome的学习算法相匹配。我们对问题(2)的下界意味着~ \cite{DiakonikolasKKLMS16}中的鲁棒学习算法的精度在所有多项式时间SQ算法中基本上是最好的。我们的SQ下界是通过一个统一的时刻匹配技术,在其他情况下是有用的,可能是更广泛的兴趣。我们的技术产生了一些相关的无监督估计问题的接近紧的下界。具体地说,对于(3)谱范数下的稳健协方差估计和(4)稳健稀疏均值估计问题,我们建立了SQ算法的二次{ \em统计-计算折衷},与已知的上界相匹配。最后,我们的技术可以用来获得严格的样本复杂性下界的高维{ \em测试}问题。具体而言,对于鲁棒{ \em测试}未知均值(已知协方差)高斯的经典问题,我们的技术意味着信息理论样本下限,在维度上线性缩放{ \em}。我们的样本下界匹配相应的鲁棒{ \em learning}问题的样本复杂性,并将鲁棒测试的样本复杂性与标准(非鲁棒)测试分…
2017-05-17 cs.CC cs.DS cs.IT
Quantification of Tail-trimming Effects for Interval CVaR Based Nonlinear Regression
Department of Industrial Engineering, Tsinghua University(清华大学工业工程系)
本文提出基于区间条件风险价值的稳健非线性回归模型,通过修剪极端损失提升稳健性,并在理论和实验上证明其优于传统稳健回归方法。
2026-11-04 cs.LG math.OC stat.ML
Adjusted Wasserstein Distributionally Robust Estimator in Statistical Learning
Georgia Institute of Technology(佐治亚理工学院);School of Industrial and Systems Engineering(工业与系统工程学院)
本文通过对经典WDRO估计量作非线性变换,提出渐近无偏且均方误差更小的调整型Wasserstein分布鲁棒估计量,并在广义线性模型与数值实验中验证其优势。
2024-05-10 cs.LG stat.ML
Statistical Robust Chinese Remainder Theorem for Multiple Numbers: Wrapped Gaussian Mixture Model
Harvard University(哈佛大学);University of Tokyo(东京大学);MIT(麻省理工学院)
广义中国剩余定理(CRT)已被证明是一个强大的方法来解决模糊度的解决问题。然而,由于其与数论的密切关系,这一领域的研究主要是从确定性条件下的编码理论的角度。然而,可以证明,即使在已知的最佳确定性条件下,鲁棒重建的成功概率也会随着被估量数量的增加而呈指数级下降。在本文中,我们提出了第一个严格的分析基于CRT的多参数估计的基础统计模型,其中提出了一个广义高斯混合与背景知识的采样。为了解决这个问题,介绍了两种新的方法。一种是直接计算残差聚类的条件最大后验概率(MAP)估计,另一种是迭代搜索共同残差和聚类的MAP。此外,还引入了余数纠错码,进一步提高了鲁棒性。结果表明,这种基于统计的计划实现了更强的鲁棒性相比,国家的最先进的确定性计划,特别是在低和中值信噪比(SNR)的情况下。
2018-11-28 cs.LG stat.ML
Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification
Carnegie Mellon University(卡内基梅隆大学)
对抗鲁棒性已经成为现代机器学习应用中的基本要求。然而,迄今为止,令人惊讶的是,统计学上的理解很少。本文在\cite{schmidt2018adversarially}提出的高斯混合模型下,给出了对抗鲁棒分类系统超额风险的最优Minimax保证的第一个结果.结果以对抗信噪比(AdvSNR)表示,它将标准线性分类的类似概念推广到对抗环境。对于AdvSNR值为$r$的高斯混合,我们建立了$Θ(e^{-(\frac{1}{8}+o(1)) r^2} \frac{d}{n})$阶的超额风险下界,并设计了一个计算效率高的估计器,以实现此最佳速率。我们的结果建立在最小的假设集,同时涵盖了广泛的对抗性扰动,包括任何$p \ge 1$的$\ell_p$球。
2020-06-29 cs.LG stat.ML
Robust Sampling for Active Statistical Inference
Department of Statistics(统计学系);Stanford Data Science(斯坦福数据科学);Department of Mathematics(数学系);Stanford University(斯坦福大学)
针对主动统计推断中不确定性估计不准确导致结果噪声大的问题,提出稳健抽样策略,确保估计器不逊于均匀抽样,在不确定性估计可靠时优于标准主动推断,并在真实数据集上验证了其有效性。
2025-11-12 cs.LG stat.ML
Communication-efficient Byzantine-robust distributed learning with statistical guarantee
School of Statistics and Mathematics(统计与数学学院);Nanjing Audit University(南京审计大学)
通信效率和鲁棒性是现代分布式学习框架的两个主要问题。这是由于一些计算节点可能具有有限的通信能力或可能表现出对抗行为的实际情况。为了同时解决这两个问题,本文提出了两个通信高效和鲁棒的分布式学习算法的凸问题。我们的动机是基于替代似然框架和中位数和修剪平均操作。特别是,所提出的算法是可证明的强大的拜占庭故障,也实现了最佳的统计率强凸损失和凸(非光滑)的罚款。对于典型的统计模型,如广义线性模型,我们的结果表明,统计误差占主导地位的优化误差在有限的迭代。仿真和真实数据实验证明了我们的算法的数值性能。
2021-02-28 cs.DC cs.LG stat.ML
Two-Stage Robust and Sparse Distributed Statistical Inference for Large-Scale Data
Aalto University(阿尔托大学)
在本文中,我们解决的问题进行统计推断的设置,涉及大规模的数据,可能是高维和污染的离群值。数据的高容量和维度需要分布式处理和存储解决方案。我们提出了一个两阶段的分布式和强大的统计推断程序处理高维模型,促进稀疏。在第一阶段,称为模型选择,通过对不同的数据子集应用鲁棒Lasso估计来局部选择相关的预测因子。从每个计算节点的变量选择,然后融合的投票计划,找到完整的数据集的稀疏基。它以稳健的方式确定相关变量。在第二阶段,采用已开发的统计稳健且计算高效的自助方法。实际推断构造置信区间,找到参数估计值并量化标准差。与阶段1类似,本地推理的结果被传送到融合中心并在那里组合。通过使用分析方法,我们建立了良好的统计特性的强大的和计算效率的自助方法,包括一致性的固定数量的预测,和鲁棒性。建议的两阶段的强大和分布式推理程序表现出可靠的性能和稳健性,在变量选择,发现置信区间和自举近似的标准差,即使数据是高维和离群值污染。
2022-08-17 cs.LG eess.SP stat.ML
Robust Flow-based Conformal Inference (FCI) with Statistical Guarantee
Virginia Tech(弗吉尼亚理工大学)
共形预测的目的是利用过去的经验确定新对象预测的精确置信度。然而,通常使用的训练数据和测试数据之间的可交换的假设限制了它在处理污染测试集的使用。在本文中,我们开发了一种新的基于流的共形推理(FCI)方法来构建预测集和推断复杂和高维数据的离群值。我们利用对抗流的思想将输入数据传输到具有已知分布的随机向量。我们的往返变换可以将输入数据映射到低维空间,同时保留输入数据的条件分布,这使得我们能够构建不一致性分数用于不确定性量化。当测试数据被污染时,我们的方法是适用的和鲁棒的。我们评估我们的方法,强大的基于流的共形推理,基准数据集。我们发现,它产生有效的预测集和准确的离群值检测,是更强大的相对于竞争的方法。
2022-10-15 cs.LG stat.ML
Adversarially Robust Estimate and Risk Analysis in Linear Regression
Purdue University(普渡大学);University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
对抗鲁棒学习旨在设计对输入变量的小对抗扰动具有鲁棒性的算法。除了现有的对抗性样本预测性能的研究,我们的目标是了解对抗性鲁棒估计的统计特性,并在线性回归模型的设置中分析对抗性风险。通过发现统计极小极大收敛速度的对抗稳健估计,我们强调了纳入模型信息的重要性,例如,sparsity稀疏,in adversarially对立robust鲁棒learning学习.此外,我们揭示了对抗和标准估计的显式连接,并提出了一个简单的两阶段对抗学习框架,该框架有助于利用模型结构信息来提高对抗鲁棒性。在理论上,证明了对抗稳健估计的相合性,并给出了对抗稳健估计的Bahadur表示,以便于统计推断。无论是低维或稀疏的情况下,建议的估计收敛在一个尖锐的速度。此外,我们的理论证实了对抗鲁棒学习中的两个现象:对抗鲁棒性损害泛化,未标记数据有助于提高泛化。最后,我们进行了数值模拟来验证我们的理论。
2020-12-18 cs.LG stat.ML
Robust Estimation for Kernel Exponential Families with Smoothed Total Variation Distances
Science Tokyo(东京科学);RIKEN(理化学研究所)
针对核指数族提出以平滑全变分距离作为 IPM 的类 GAN 稳健估计量,证明其抗分布污染,并分析规避归一化常数计算的 Monte Carlo 近似精度。
2024-10-28 cs.LG stat.ML
Robust Federated Learning in a Heterogeneous Environment
UC Berkeley(加州大学伯克利分校)
我们研究了最近提出的大规模分布式学习范式,即联邦学习,其中的工人机器是最终用户自己的设备。统计和计算挑战出现在联邦学习中,特别是在存在异构数据分布的情况下(即,不同设备上的数据点属于表示不同集群的不同分布)和拜占庭机器(即,可能表现异常,甚至表现出任意和潜在敌对行为的机器)。为了解决上述挑战,首先,我们提出了一个通用的统计模型,考虑到集群结构的用户和拜占庭机器。然后,利用统计模型,我们解决了强大的异构联邦学习问题\emph{optimally},特别是我们的算法匹配的估计误差的下限在维度和数据点的数量。此外,作为一个副产品,我们证明了一个离群的强大的聚类算法,这可以被认为是劳埃德算法与强大的估计统计保证。最后,我们通过合成以及真实数据实验表明,我们提出的算法获得的估计误差是显着优于非拜占庭鲁棒算法,特别是,我们至少获得了53%和33%的合成和真实数据实验,分别在典型的设置。
2019-10-09 cs.LG stat.ML
Online Estimation and Inference for Robust Policy Evaluation in Reinforcement Learning
School of Mathematics, Shanghai University of Finance and Economics(上海财经大学数学学院);Stern School of Business, New York University(纽约大学斯特恩商学院);Daniels School of Business, Purdue University(普渡大学丹尼尔斯商学院)
针对强化学习中存在异常值污染和重尾奖励的问题,提出一种完全在线的鲁棒策略评估程序,建立估计量的 Bahadur 型表示并支持基于渐近分布的在线统计推断,经实验验证有效提升了在线策略评估的可靠性与通用性。
2025-03-01 cs.LG stat.ML
Learning-enhanced robust controller synthesis with rigorous statistical and control-theoretic guarantees
RWTH Aachen University(亚琛工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Stuttgart(斯图加特大学)
机器学习与控制的结合提供了许多机会,特别是对于鲁棒控制。然而,由于在许多现实世界的应用程序中的强大的安全性和可靠性要求,提供严格的统计和控制理论的保证是至关重要的,但难以实现基于学习的控制方案。我们提出了一个学习增强鲁棒控制的一般框架,允许系统集成的工程知识,是完全兼容的现代鲁棒控制,仍然具有严格的和实际意义的保证。建立在线性分数表示和积分二次约束框架的基础上,我们将高斯过程回归作为学习组件和最先进的鲁棒控制器合成。在一个具体的鲁棒控制的例子中,我们的方法被证明产生更多的数据,而保证始终保持提高性能。
2021-05-07 cs.LG cs.SY eess.SY
Byzantine-Robust Federated Learning with Optimal Statistical Rates and Privacy Guarantees
UC Berkeley(加州大学伯克利分校);Google(谷歌);Carnegie Mellon University(卡内基梅隆大学);HKUST(香港科技大学)
我们提出了拜占庭鲁棒的联邦学习协议,具有接近最优的统计率。与以前的工作相比,我们提出的协议提高了维度依赖性,并实现了严格的统计率方面的所有参数的强凸损失。我们对竞争协议的基准,并显示所提出的协议的经验优势。最后,我们注意到,我们的协议与桶可以自然地与隐私保证程序相结合,以引入半诚实服务器的安全性。https://github.com/wanglun1996/secure-robust-federated-learning中提供了评估代码。
2023-03-18 cs.AI cs.CR cs.DC
Non-Asymptotic Guarantees for Robust Statistical Learning under Infinite Variance Assumption
University of Macau(澳门大学);Zhuhai UM Science & Technology Research Institute(珠海澳大科技研究院);Peking University(北京大学)
在统计学和机器学习中,对于具有重尾和有界方差数据的模型,人们对开发鲁棒估计器的兴趣激增,而很少有工作施加无界方差。本文提出了两类稳健估计:岭对数截尾M估计和弹性网对数截尾M估计。第一个估计器应用于凸回归,如分位数回归和广义线性模型,而另一个估计器应用于高维非凸学习问题,如通过深度神经网络的回归。模拟和实际数据分析证明了对数截尾估计相对于标准估计的稳健性。
2022-10-11 cs.LG math.ST stat.ML
Computationally Efficient Robust Estimation of Sparse Functionals
Carnegie Mellon University(卡内基梅隆大学)
许多传统的统计程序对模型假设的微小偏差非常敏感。这个问题在现代的高维环境中更加严重,在这种环境中,问题维度可以随着样本量的增长而增长,甚至可能超过样本量。本文研究了稀疏泛函的稳健估计问题,并在高维情形下给出了一种计算和统计上都有效的算法。我们的理论确定了一组统一的确定性条件下,我们的算法保证准确的恢复。通过进一步确定这些确定性条件对于广泛的统计模型具有高概率,我们的理论适用于许多相当感兴趣的问题,包括稀疏均值和协方差估计;稀疏线性回归;和稀疏广义线性模型。
2017-02-24 cs.DS cs.LG stat.ML
A Primer on Causal and Statistical Dataset Biases for Fair and Robust Image Analysis
Imperial College London(伦敦帝国学院)
本入门指南聚焦图像分析中机器学习方法因数据集偏差失效的问题,介绍了致失效的因果与统计结构,提出两个被忽视的新问题,指出现有公平表示学习方法的不足并给出潜在研究方向。
2025-09-04 cs.CY cs.LG stat.ML
RobPy: a Python Package for Robust Statistical Methods
针对Python缺乏综合稳健统计方法包的问题,研究团队推出基于NumPy等成熟库构建的RobPy包,涵盖多类稳健分析工具与异常值可视化功能,填补了Python生态的相关空白。
2024-11-04 stat.CO stat.ML
Robust Statistical Comparison of Random Variables with Locally Varying Scale of Measurement
Ludwig-Maximilians-Universität Munich(慕尼黑大学)
本文针对局部变化测量尺度空间中随机变量的信息利用问题,提出广义随机占优序,并构建经线性优化实现、由不精确概率稳健化的正则化统计检验。
2024-03-04 cs.LG math.ST stat.ML
Debiased Nonparametric Regression for Statistical Inference and Distributionally Robustness
The University of Tokyo(东京大学)
本文提出一种无模型的非参数回归去偏方法,通过加入估计条件期望残差的校正项,使估计量在温和条件下具备风险收敛与渐近正态性,从而支持统计推断并提升协变量偏移下的鲁棒性。
2025-03-17 cs.LG econ.EM math.ST
Statistical Inference for Data-adaptive Doubly Robust Estimators with Survival Outcomes
双稳健估计的相合性依赖于两个干扰回归参数中至少一个参数的相合估计。在中到大的维度中,使用灵活的数据自适应回归估计器可能有助于实现这种一致性。然而,$n^{1/2}$ -双稳健估计的一致性不能保证,如果一个滋扰估计是不一致的。在本文中,我们提出了一个双稳健估计生存分析与新的属性,它收敛到一个高斯变量在$n^{1/2}$率的一大类的数据自适应估计的滋扰参数,唯一的假设下,其中至少有一个是一致的估计在$n^{1/4}$率。这一结果是通过半参数推断中最近的想法的适应来实现的,这相当于:(i)高斯化(即,使渐近线性)在双稳健估计器的渐近分析中出现的漂移项,以及(ii)使用交叉拟合以避免关于滋扰估计器的熵条件。我们提出的估计量的渐近方差的公式,它允许计算双稳健置信区间和p值。我们在模拟研究中说明了估计量的有限样本性质,并证明了其在III期临床试验中的用途,用于估计治疗HER 2阳性乳腺癌的新疗法的效果。
2019-01-29 stat.ML
A Robust Multi-Item Auction Design with Statistical Learning
UCLA(加州大学洛杉矶分校)
本文提出了一种结合统计学习和可信区间的多物品拍卖设计方法,通过两种新策略减少实施成本并提高效率。
2026-03-07 cs.GT stat.ML
Differential privacy and robust statistics in high dimensions
University of Washington(华盛顿大学);Google Research(谷歌研究院)
我们引入了一个通用的框架,用于表征具有差分隐私保证的统计估计问题的统计效率。我们的框架,我们称之为高维提案测试发布(HPTR),建立在三个关键组成部分:指数机制,强大的统计,和提案测试发布机制。将所有这些结合在一起的是弹性的概念,这是可靠的统计估计的核心。弹性指导算法的设计、灵敏度分析和Propose-Test-Release中测试步骤的成功概率分析。关键的见解是,如果我们设计一个指数机制,只通过一维鲁棒统计访问数据,那么由此产生的局部敏感性可以显着降低。使用弹性,我们可以提供严格的局部灵敏度界限。在某些情况下,这些严格的界限很容易转化为接近最优的效用保证。我们给出了一个通用的配方应用HPTR的统计估计问题的一个给定的例子,并证明了它的典型问题的均值估计,线性回归,协方差估计,和主成分分析。我们引入了一个通用的效用分析技术,证明了HPTR几乎达到了最佳的样本复杂度在文献中研究的几种情况下。
2021-11-12 cs.CR cs.IT cs.LG
Robust, scalable and fast bootstrap method for analyzing large scale data
在本文中,我们解决的问题,执行统计推断的大规模数据集,即,大数据数据的量和维度可能非常高,以至于无法在单个计算节点中处理或存储。我们提出了一个可扩展的,统计上强大的和计算效率的引导方法,与分布式处理和存储系统兼容。Bootstrap重采样是在多个不相交的数据子集上使用较少数量的不同数据点构建的,类似于小Bootstrap方法(BLB)[1]。然后,通过避免重新计算每个自助样本的估计量,实现了显着节省计算。相反,计算高效的固定点估计方程通过遵循快速稳健自举方法(FRB)的智能近似解析求解[2]。我们提出的自举方法有利于使用高度稳健的统计方法在分析大规模数据集。有利的统计特性的方法建立分析。数值算例表明,该方法在分析大数据集时具有可扩展性、低复杂度和稳健的统计性能。
2015-04-12 cs.IR cs.IT math.IT
Robustness Implies Privacy in Statistical Estimation
本文提出从差分隐私到对抗鲁棒性的黑盒归约,并基于 Sum-of-Squares 高维高斯鲁棒估计器,构造均值与协方差估计的近最优多项式时间私有且鲁棒算法。
2024-06-15 cs.CR cs.DS cs.IT
Robust Tensor Regression with Nonconvexity: Algorithmic and Statistical Theory
Nantong University(南通大学);Shanghai Lixin University of Accounting and Finance(上海立信会计金融学院);City University of Hong Kong(香港城市大学);City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院)
本文提出一种低管状秩鲁棒回归方法,用于分析高维张量数据中的重尾随机噪声,通过非凸松弛的张量管状秩建立优化框架,实现全局收敛并提供统计理论支持。
2026-05-08 stat.CO stat.ME stat.ML
Robust Statistical Estimators with Bounded Empirical Sensitivity
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Boston University(波士顿大学)
本文提出了一种衡量统计估计量鲁棒性的新指标,即经验敏感度。研究了高斯均值估计等典型问题中该量的界限,并证明了对于达到最优ℓ₂误差的估计量,经验敏感度下界为Ω(η+√(ηd/n)),并通过最近的鲁棒经验均值估计结果证明该下界在对数因子范围内是紧的。
2026-05-21 cs.DS cs.IT math.IT
VERaiPHY -- Validation & Evaluation for Robust AI in PHYsics
NSF AI Institute for Artificial Intelligence and Fundamental Interactions(美国国家科学基金会人工智能基础相互作用研究所);MIT Laboratory for Nuclear Science(麻省理工学院核科学实验室);School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);TIFLab, Università degli Studi di Milano & INFN Sezione di Milano(米兰大学物理理论实验室与意大利国家核物理研究所米兰分部);Nikhef(荷兰国家核物理与粒子物理研究所);Department of Physics, Blackett Laboratory, Imperial College London(帝国理工学院黑德物理系);Department of Physics, Oxford University(牛津大学物理系);Institut für Theoretische Physik, Universität Heidelberg(海德堡大学理论物理研究所);Interdisciplinary Center for Scientific Computing (IWR), Universität Heidelberg(海德堡大学跨学科科学计算中心)
VERaiPHY计划为物理学领域机器学习技术建立统计标准,开篇文章确立相关基础与符号,助力解决ML应用中的统计验证等问题。
2026-08-19 astro-ph.CO hep-ex hep-ph