No Dimensional Sampling Coresets for Classification
Kahlert School of Computing, University of Utah(犹他大学卡勒特计算机学院);ScaDS.AI, University of Leipzig(莱比锡大学ScaDS.AI);MPI for Math in the Sciences(马克斯·普朗克数学科学研究所)
本文通过敏感度采样框架提出无维度核心集,其大小不依赖维度,适用于分布式输入和多种损失函数,并开发了 Radamacher 复杂度版本的关键工具。
2024-07-22 cs.CG cs.LG
On Coresets for Regularized Loss Minimization
RelationalAI(RelationalAI公司);UC Merced(加州大学默塞德分校);Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
我们设计和数学分析基于采样的正则化损失最小化问题的算法,这些算法可以在流行的大数据计算模型中实现,其中对数据的访问以某种方式受到限制。我们的主要结果是,如果正则化的效果不成为可以忽略不计的规范的假设规模,并作为数据规模,那么一个均匀的样本适度的大小是具有高概率的coreset。在损失函数是逻辑回归或软边缘支持向量机的情况下,并且正则化器是常见的推荐选择之一,该结果意味着大小为$O(d \sqrt{n})$的均匀样本很有可能是$\Re^d$中$n$点的核心集。我们将这个上界与两个下界进行对比。第一个下界表明我们对均匀抽样的分析是严格的;也就是说,较小的均匀样本可能不是核心集。第二个下限表明,在某种意义上,均匀采样接近最佳,因为通常不存在明显较小的核心集。
2019-05-31 cs.LG stat.ML
Improving Model Classification by Optimizing the Training Dataset
DataHeroes, Inc.(DataHeroes公司)
本文提出通过引入确定性采样、类别分配和主动采样等可调参数来优化核心集生成过程,从而在分类指标上超越传统核心集和全数据集训练,实现更高效的模型训练。
2025-07-22 cs.LG
Data-Dependent Coresets for Compressing Neural Networks with Applications to Generalization Bounds
Massachusetts Institute of Technology(麻省理工学院);University of Haifa(海法大学)
我们提出了一种有效的基于核集的神经网络压缩算法,该算法以可证明地近似网络输出的方式稀疏化训练的全连接神经网络的参数。我们的方法是基于一个重要性采样计划,明智地定义了一个采样分布的神经网络参数,并作为一个结果,保留高重要性的参数,而丢弃冗余的。我们利用一种新的,经验的概念的敏感性和扩展传统的coreset建设的压缩参数的应用。我们的理论分析为最终压缩网络的大小和准确性提供了保证,并给出了泛化界限,这可能会为神经网络的泛化属性提供新的见解。我们证明了我们的算法在各种神经网络配置和现实世界的数据集的实际有效性。
2019-05-18 cs.DS cs.LG stat.ML
A Tight VC-Dimension Analysis of Clustering Coresets with Applications
本文提出基于 VC 维的紧致 coreset 构造分析,显著改进平面图最短路径度量与 Frechet 度量下 $k$-median 聚类的 coreset 规模界。
2025-01-11 cs.CG cs.DS cs.LG
Beyond Worst-Case Coreset Bounds for $k$-Clustering via Determinantal Sampling
National University of Singapore(新加坡国立大学);Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对聚类中的coreset构建,提出基于行列式点过程的行列式采样框架,在温和数据分布假设下,将coreset大小对1/ε的依赖指数降至小于2,突破最坏情况ε⁻²下界,并在实验中优于现有方法。
2026-09-09 cs.LG math.PR stat.ML
Coresets for Multiple $\ell_p$ Regression
Carnegie Mellon University(卡内基梅隆大学)
本文针对多重 $\ell_p$ 回归问题,构造了大小与响应数 $m$ 无关的近乎紧确的核心集,并据此确定了近似 $\ell_p$ 欧几里得幂均值的均匀采样数以及 $\ell_p$ 子空间近似的行子集大小。
2024-06-04 cs.DS cs.LG stat.ML
Deterministic Coreset for Lp Subspace
本文提出首个确定性算法,构建保证任意p∈[1,∞)和ε>0的ℓp子空间嵌入的ε-核集,改进了核集大小并去除了对数因子。
2026-05-15 cs.DS cs.LG
Sensitivity Sampling with Predictions for k-Means Clustering
University of Padova(帕多瓦大学)
研究k均值聚类问题,利用预测近似输入点重要性以降低基于敏感性的方法运行时间,证明相关理论对更粗敏感性近似成立,提出自然预测器并通过实验验证其优势。
2026-07-07 cs.DS cs.LG
Absum: Simple Regularization Method for Reducing Structural Sensitivity of Convolutional Neural Networks
NTT Software Innovation Center(NTT软件创新中心);Keio University(庆应义塾大学);NTT Communication Science Laboratories(NTT通信科学实验室);NTT Secure Platform Laboratories(NTT安全平台实验室)
我们提出了Absum,这是一种用于提高卷积神经网络(CNN)对抗鲁棒性的正则化方法。虽然CNN可以准确地识别图像,但最近的研究表明,CNN中的卷积运算通常对由傅立叶基函数组成的特定噪声具有结构敏感性。通过利用这种敏感性,他们提出了一种简单的黑盒对抗攻击:单傅立叶攻击。为了降低结构灵敏度,我们可以使用卷积滤波器权重的正则化,因为线性变换的灵敏度可以通过权重的范数来评估。然而,标准的正则化方法可以防止损失函数的最小化,因为它们为获得高鲁棒性施加了严格的约束。为了解决这个问题,Absum施加了一个松散的约束;它惩罚卷积层中参数总和的绝对值。Absum可以提高对单傅立叶攻击的鲁棒性,同时与标准正则化方法一样简单和有效(例如,权重衰减和L1正则化)。我们的实验表明,Absum提高了对单傅立叶攻击的鲁棒性比标准的正则化方法。此外,我们揭示了具有Absum的鲁棒CNN对转移攻击的鲁棒性更强,因为它降低了共同的灵敏度,并且比标准的正则化方法更能抵抗高频噪声。我们还发现,当与对抗训练一起使用时,Absum可以提高对基于梯度的攻击(投影梯度下降)的鲁棒性。
2019-09-19 cs.CV cs.LG stat.ML
Sublinear Time Quantum Sensitivity Sampling
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出统一的量子敏感性采样框架,在k-中位数/k-均值聚类、ℓp回归和低秩近似等问题上构造核心集,实现了亚线性时间复杂度和对已有量子采样方法的改进。
2026-11-10 cs.DS cs.LG quant-ph
Tighter Bound Estimation of Sensitivity Analysis for Incremental and Decremental Data Modification
University of Oxford(牛津大学);Tsinghua University(清华大学)
在大规模的分类问题中,数据集经常面临着数据的频繁更新。在这种情况下,传统的增量学习,通过显式地建模数据修改来更新现有的分类器,比从头开始重新训练新的分类器更有效。然而,有时候,我们更感兴趣的是确定是否应该更新分类器或执行一些敏感性分析任务。为了处理这些这样的任务,我们提出了一个算法,使合理的推理更新的线性分类器,而不完全更新的分类器。具体地说,所提出的算法可以用来估计更新的分类器的系数矩阵的上限和下限与更新的数据集的大小相关的低计算复杂性。理论分析和实验结果均表明,该方法在系数界的严密性和计算复杂性方面均优于现有方法。
2021-01-13 cs.LG stat.ML
Generalization Bounds for Causal Regression: Insights, Guarantees and Sensitivity Analysis
Fundação Getúlio Vargas(热图里奥·瓦加斯基金会);School of Applied Mathematics(应用数学学院)
针对因果机器学习算法缺乏有限样本下质量理论的问题,提出基于泛化界的理论,通过新测度变换不等式给出模型损失紧界,理论严谨且适用于隐藏混杂、正定性违反场景,经半合成与真实数据验证了界的紧性与实用性。
2024-05-15 cs.LG stat.ML
Tight Bounds for Volumetric Spanners and Applications
University of Utah(犹他大学);Microsoft Research–Redmond(微软研究院(雷德蒙德));Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
该研究给出所有ℓₚ范数下体积生成子大小的几乎最优界,提出可用简单局部搜索构造的方法,并将结果应用于MVEE问题核心集求解等任务。
2023-09-29 cs.DS cs.LG
Towards Tight Bounds for Streaming Attention
MIT(麻省理工学院);EPFL(苏黎世联邦理工学院)
本文通过核密度估计的三种方法(差异理论、多项式方法和空间划分)的紧密结合,几乎确定了流式注意力近似问题的空间复杂度紧界,并引入带大量辅助信息的INDEX问题新下界技术。
2026-06-05 cs.DS cs.LG
Simple yet Sharp Sensitivity Analysis for Unmeasured Confounding
Linköping University(林雪平大学)
我们提出了一种方法来评估真实的因果效应的敏感性不可测量的混杂。该方法要求分析师设置两个直观的参数。否则,该方法是无约束的。该方法返回一个包含真正因果效应的区间,其边界是任意尖锐的,即实际可达到的。我们通过实验证明,我们的边界可以比Ding和VanderWeele(2016 a)的方法获得的边界更紧,而且,需要比我们的方法多设置一个参数。最后,我们扩展了我们的方法来约束自然的直接和间接的影响时,有测量的介质和不可测量的确定性结果混淆。
2022-02-04 cs.LG stat.ME stat.ML
Privacy-Preserving Gradient Boosting Decision Trees
National University of Singapore(新加坡国立大学);The University of Western Australia(西澳大学)
梯度提升决策树(GBDT)是近年来流行的用于各种任务的机器学习模型。本文研究如何在保证差分隐私的前提下提高GBDT的模型精度。敏感性和隐私预算是差异化私有模型有效性的两个关键设计方面。现有的具有差分隐私的GBDT解决方案由于过于宽松的敏感性界限和无效的隐私预算分配(特别是在GBDT模型中的不同树之间)而遭受显著的准确性损失。宽松的敏感度界限导致更多的噪声,以获得固定的隐私级别。无效的隐私预算分配加剧了准确性损失,特别是当树的数量很大时。因此,我们提出了一种新的GBDT训练算法,实现更严格的灵敏度界限和更有效的噪声分配。具体而言,通过调查梯度的属性和GBDTs中每棵树的贡献,我们提出了自适应控制的梯度训练数据的每次迭代和叶节点裁剪,以收紧灵敏度界限。此外,我们设计了一个新的提升框架,以分配树之间的隐私预算,使准确性损失可以进一步减少。我们的实验表明,我们的方法可以实现更好的模型精度比其他基线。
2022-10-10 cs.CR cs.LG stat.ML
Quick sensitivity analysis for incremental data modification and its application to leave-one-out CV in linear classification problems
Nagoya Institute of Technology(名古屋工业大学)
我们介绍了一种新的敏感性分析框架,大规模的分类问题,可以使用时,少量的实例增量添加或删除。为了在这种情况下快速更新分类器,增量学习算法在文献中得到了深入研究。虽然它们比从头开始解决优化问题要有效得多,但它们的计算复杂度仍然取决于整个训练集的大小。这意味着,如果原始训练集很大,完全解决增量学习问题可能仍然相当昂贵。为了规避这个计算问题,我们提出了一个新的框架,使我们能够对更新的分类器进行推断,而无需实际重新优化它。具体来说,所提出的框架可以快速提供一个未知的更新分类器上的数量的下限和上限。所提出的框架的主要优点是,计算这些边界的计算成本只取决于更新的实例的数量。这个属性在典型的敏感性分析任务中是非常有利的,在这个任务中只有少量的实例被更新。在本文中,我们证明了所提出的框架是适用于各种实际的敏感性分析任务,框架提供的界限往往是足够紧,使所需的推论。
2015-04-11 cs.LG stat.ML
The Gaussian Surface Area and Noise Sensitivity of Degree-$d$ Polynomials
我们提供了渐近尖锐的界限的高斯表面积和高斯噪声灵敏度的多项式阈值函数。特别是,我们表明,如果$f$是一个度$d$多项式阈值函数,那么它的高斯灵敏度在噪声率$ε$是小于一些数量渐近$\frac{d\sqrt{2ε}}π$和高斯表面积至多是$\frac{d}{\sqrt{2π}}$。此外,这些界限是渐进紧的,因为$ε\to 0$和$f$是$d$不同齐次线性函数乘积的阈值函数。
2009-12-14 cs.CC cs.LG
An automatic differentiation system for the age of differential privacy
Technical University of Munich(慕尼黑工业大学);Imperial College London(帝国理工学院);University of Oxford(牛津大学);OpenMined;IIIT Hyderabad(海得拉巴国际信息技术学院)
我们介绍了氚,一个基于自动微分的灵敏度分析框架的差异私有(DP)机器学习(ML)。在此设置中的最佳噪声校准需要有效的雅可比矩阵计算和L2灵敏度的严格界限。我们的框架实现了这些目标,依赖于一个功能分析为基础的敏感性跟踪方法,我们简要概述。这种方法与基于静态图的自动微分自然无缝地互操作,与以前的工作相比,它可以在编译时间上实现数量级的改进。此外,我们证明,优化整个计算图的灵敏度,一次产生实质上更严格的估计相比,区间界限传播技术的真实灵敏度。我们的工作自然适合DP的最新发展,如个人隐私会计,旨在提供改进的隐私效用权衡,并代表了一个步骤,可访问的机器学习工具与先进的隐私会计系统的集成。
2022-04-05 cs.CR cs.LG
Bounding the Probabilities of Benefit and Harm Through Sensitivity Parameters and Proxies
Linköping University(林雪平大学)
本文提出两种方法在未测量混杂下界定获益与受害概率界限:一种利用敏感性参数生成二维图辅助决策,另一种借助非差异性代理变量推导更紧界限。
2023-08-06 cs.LG stat.ME
Hölder Bounds for Sensitivity Analysis in Causal Reasoning
Duke University(杜克大学)
我们研究了在存在未观察到的混杂因素U的情况下,治疗T对结果Y影响的区间估计。利用Hölder不等式,我们得到了一组关于混杂偏差的界限|E[Y| T=t]-E[Y| do(T=t)]|基于未测量的混杂程度(即,连接的强度U->T,以及U->Y的强度)。当U独立于T或当U独立于给定T的Y时(当没有未观察到的混杂时),这些界限是紧的。我们关注的是这个界依赖于分布p(U)和p(U)之间的总变差距离的一种特殊情况|T=t),以及条件预期结果E[Y]的最大(在U的所有可能值上)偏差|U=u,T=t]与平均预期结果E[Y| T=t]。我们讨论了可能的校准策略,这个界限得到治疗效果的区间估计,并使用合成和半合成数据集的实验验证的界限。
2021-07-09 cs.AI cs.LG stat.ML
Renyi Differential Privacy of Propose-Test-Release and Applications to Private and Robust Machine Learning
Princeton University(普林斯顿大学);Virginia Tech(弗吉尼亚理工大学)
提议-测试-发布(PTR)是一个差分隐私框架,它使用函数的局部敏感性,而不是它们的全局敏感性。该框架通常用于以差异化的私有方式发布稳健的统计数据,例如中位数或修剪均值。虽然PTR是十多年前引入的一个通用框架,但在鲁棒SGD等需要许多自适应鲁棒查询的应用程序中使用它是具有挑战性的。这主要是由于缺乏Renyi差分隐私(RDP)分析,这是差异隐私深度学习的矩会计方法的基本成分。在这项工作中,我们推广了标准PTR,并推导出第一RDP界时,目标函数具有有界的全局灵敏度。我们表明,我们的RDP约束PTR产生更严格的DP保证比直接分析的$(\eps, δ)$ -DP。我们还推导出算法特定的隐私放大界限的PTR下采样。我们表明,我们的界是更严格的比一般的上限和接近下限。我们的RDP界限,使更严格的隐私损失计算组成的许多自适应运行的PTR。作为我们的分析的应用,我们表明,PTR和我们的理论结果可以用来设计不同的私人变量拜占庭强大的训练算法,使用强大的统计梯度聚合。我们在不同的数据集和架构上对标签,特征和梯度腐败的设置进行了实验。我们表明,基于PTR的私人和强大的训练算法显着提高了效用相比,基线。
2022-09-16 cs.CR cs.LG
Certification for Differentially Private Prediction in Gradient-Based Training
The Alan Turing Institute(艾伦图灵研究所);Accenture Labs(埃森哲实验室);ETH Zurich(苏黎世联邦理工学院)
针对输出加噪隐私预测中全局敏感度过松的问题,提出用凸松弛与界传播计算数据集特定敏感度上界,并结合平滑敏感度机制,显著收紧隐私分析。
2025-06-06 cs.AI cs.LG