Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
建立一个理论分析来解释为什么深度学习可以胜过核方法等浅层学习，是深度学习文献中最大的问题之一。为了回答这个问题，我们在轻度过参数化的神经网络上评估了通过带岭正则化的噪声梯度下降训练的深度学习估计器的超额风险，并讨论了其相对于一类线性估计器的优越性，包括神经切线核方法，随机特征模型，其他核方法，$k$ -NN估计器等。我们考虑了师生回归模型，并最终表明，在极大极小最优速率的意义上，任何线性估计器都可以被深度学习超越，特别是对于高维设置。所获得的超额界限是所谓的快速学习率，其比通过通常的拉德马赫复杂度分析获得的$O(1/\sqrt{n})$更快。这种差异是由模型的非凸几何形状引起的，并且用于神经网络训练的噪声梯度下降可证明达到接近全局最优解，即使损失景观是高度非凸的。虽然噪声梯度下降不采用任何显式或隐式稀疏诱导正则化，但它显示出优于线性估计的更好的泛化性能。
2020-12-06 cs.LG stat.ML
Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks
Princeton University（普林斯顿大学）
本研究证明了三层神经网络在非线性特征学习上具有可证明的优于两层网络的能力，通过逐层梯度下降分析给出了样本复杂度上界，并在特定设置下实现了样本复杂度改进和基于优化的深度分离。
2025-04-01 cs.LG stat.ML
Provable Guarantees for Neural Networks via Gradient Feature Learning
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
针对现有理论无法充分解释神经网络特征学习能力的问题，提出一种用于梯度下降训练两层网络的统一分析框架，基于梯度学习特征原则，在多个原型问题中验证有效性并揭示彩票假说等现象。
2023-10-19 cs.AI cs.LG
On Provable Benefits of Depth in Training Graph Convolutional Networks
Penn State（宾夕法尼亚州立大学）
图卷积网络（Graph Convolutional Network，GCN）的性能随着网络层数的增加而下降，这通常归因于过度平滑。尽管表面上的共识，我们观察到，存在着过度平滑的理论理解和GCN的实际能力之间的差异。具体来说，我们认为，过度平滑不一定会发生在实践中，一个更深的模型是可证明的表达，可以收敛到全局最优的线性收敛速度，并实现非常高的训练精度，只要适当的训练。尽管能够达到很高的训练精度，但实证结果表明，更深层次的模型在测试阶段的泛化能力很差，现有的理论对这种行为的理解仍然很难理解。为了更好地理解GCN，我们仔细分析了GCN的泛化能力，并表明实现高训练精度的训练策略显着恶化了GCN的泛化能力。受这些发现的启发，我们提出了一个解耦的结构GCN分离的权重矩阵的特征传播，以保持表达能力，并确保良好的泛化性能。我们对各种合成和真实世界的数据集进行实证评估，以验证我们的理论的正确性。
2021-10-28 cs.LG
Provable Unlearning with Gradient Ascent on Two-Layer ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）；Center for Data Science（数据科学中心）；New York University（纽约大学）
本文理论分析梯度上升法在两层ReLU神经网络中的机器遗忘，提出$(ε, δ, τ)$-成功准则，证明其能有效逼近重训模型并保持泛化。
2025-10-16 cs.CR cs.LG cs.NE
Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis
Rensselaer Polytechnic Institute（伦斯勒理工学院）；New Jersey Institute of Technology（新泽西理工学院）；Michigan State University（密歇根州立大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
本文首次对单层Transformers的低秩和稀疏性质进行理论分析，证明其梯度更新是低秩的，并发现适当的基于幅度的剪枝对测试性能影响甚微。
2024-06-24 cs.LG
Coreset selection can accelerate quantum machine learning models with provable generalization
Peking University（北京大学）；JD Explore Academy（京东探索研究院）
针对量子神经网络与量子核方法训练效率低、难适配大规模数据集的问题，提出核心集选择的统一加速方法，证明其泛化误差界与全量训练相当，且在多类量子机器学习任务中有效。
2023-12-12 cs.LG quant-ph
Feature Selection for Linear SVM with Provable Guarantees
Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们给出了两个可证明准确的线性SVM的特征选择技术。算法分别在确定时间和随机时间下运行。我们的算法可以用于无监督或监督设置。监督的方法是基于支持向量的采样特征。我们证明，在特征空间中的利润率被保存在$ε$ -在最坏的情况下，在全特征空间中的利润率的相对误差。在无监督设置中，我们还提供了最小封闭球半径的最坏情况保证，从而确保与全特征空间中的泛化相当，并解决了Dasgupta等人提出的一个开放问题。我们在真实世界的数据集上进行了大量的实验，以支持我们的理论，并证明我们的方法具有竞争力，通常优于现有的最先进的方法，没有已知的可证明的保证。
2015-02-06 cs.LG stat.ML
Constrained Bayesian Optimization Under Partial Observations: Balanced Improvements and Provable Convergence
University of Electronic Science and Technology of China（电子科技大学）；University of Exeter（埃克塞特大学）
针对部分可观测约束优化问题，提出一种结合改进采集函数与嵌入不同似然的高斯过程代理模型的约束贝叶斯优化方法，实现平衡探索并证明收敛性，在合成和实际问题上表现优异。
2023-12-23 cs.LG stat.ML
Provable Tensor Methods for Learning Mixtures of Generalized Linear Models
University of California, Irvine（加州大学欧文分校）
我们考虑的问题，学习混合的广义线性模型（GLM）中出现的分类和回归问题。典型的学习方法，如期望最大化（EM）或变分贝叶斯可能会陷入虚假的局部最优。相比之下，我们提出了一个张量分解方法，保证正确地恢复参数。关键的见解是采用输入的某些特征变换，这取决于输入生成模型。具体来说，我们采用输入的得分函数张量，并计算它们与响应变量的互相关。我们建立了这个张量的分解一致恢复的参数，在温和的非简并条件下。我们证明了我们的方法的计算和样本的复杂性是一个低阶多项式的输入和潜在的尺寸。
2016-01-13 cs.LG stat.ML
Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent
Simons Institute for the Theory of Computing（西蒙斯计算理论研究所）；University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
虽然学习神经网络的优化目标是高度非凸的，但基于梯度的方法在实践中学习神经网络方面已经取得了广泛的成功。这种并置导致了最近对梯度下降训练的神经网络的可证明保证的一些研究。不幸的是，这些作品中的技术往往是高度特定于每个问题中的特定设置，使得很难在不同的设置之间进行概括。为了解决这个缺点，在文献中，我们提出了一个统一的非凸优化框架的分析神经网络训练。我们引入了代理凸性和代理Polyak-Lojasiewicz（PL）不等式的概念，如果原始目标函数导致使用梯度方法时隐式最小化的代理目标函数，则可以满足这些概念。我们表明，梯度下降的目标满足代理凸性或代理PL不等式导致有效的保证代理目标函数。我们进一步表明，通过梯度下降训练的神经网络的许多现有保证可以通过代理凸性和代理PL不等式来统一。
2022-09-13 cs.LG math.OC stat.ML
Semi-Supervised Sparse Gaussian Classification: Provable Benefits of Unlabeled Data
Weizmann Institute of Science（魏茨曼科学研究所）
本文研究高维稀疏高斯分类中的半监督学习，证明在特定参数区域内结合有标签与无标签数据可在多项式时间内实现准确分类和特征选择，而单独使用任一数据的高效算法均会失败。
2024-09-05 cs.LG stat.ML
Provable In-Context Vector Arithmetic via Retrieving Task Concepts
Department of Computer Science, City University of Hong Kong, Hong Kong SAR；Center for Advanced Intelligence Project, RIKEN, Japan；Institute of High Performance Computing (IHPC), Agency for Science, Technology；Research (A STAR), Singapore；Centre for Frontier AI Research (CFAR), Agency for Science, Technology；College of Computing；Data Science, Nanyang Technological University, Singapore；Department of Mathematical Informatics, The University of Tokyo, Japan；School of Mathematics；Statistics, The University of Sydney, Australia
本文提出基于分层概念建模的理论框架，证明非线性残差transformers通过梯度下降和交叉熵损失训练，能利用向量算术执行事实召回ICL任务，并展现强泛化性。
2025-08-13 cs.AI cs.LG
A provable SVD-based algorithm for learning topics in dominant admixture corpus
Indian Institute of Science（印度科学学院）；Microsoft Research（微软研究院）
主题模型，如潜在狄利克雷分配（LDA），表明文档是从单词上的分布混合物中提取的，称为主题。从混合物中恢复主题的推理问题是NP难的。假设可分性，一个强假设，[4]给出了第一个可证明的推理算法。对于LDA模型，[6]给出了一个使用张量方法的可证算法。但是[4，6]不学习具有有界$l_1$误差（概率向量的自然度量）的主题向量。我们的目标是开发一个模型，使直观和经验支持的假设和设计一个算法，自然，简单的组件，如SVD，可证明解决了推理问题的模型与有界$l_1$错误。LDA和其他模型中的主题本质上是由一组共现词表征的。出于这一动机，我们引入特定主题的流行语，一组词出现的频率严格高于任何其他主题单独，并要求有高频率在一起，而不是单独的。本文的一个主要贡献是表明，在这个更现实的假设下，这是经验验证真实语料库，奇异值分解（SVD）为基础的算法与阈值的一个关键的预处理步骤，可以证明恢复的主题从一个集合的文件从占主导地位的混合物。主导掺合料是一个分布的凸组合，其中一个分布具有显着高于其他分布的贡献。除了算法的简单性之外，样本复杂度对$w_0$（主题占主导地位的最低概率）具有接近最优的依赖性，并且优于[4]。经验证据表明，在几个真实世界的语料库中，流行语和显性混合假设都成立，并且所提出的算法大大优于现有技术[5]。
2014-11-04 cs.LG stat.ML
Provable Failure of Language Models in Learning Majority Boolean Logic via Gradient Descent
Middle Tennessee State University（中田纳西州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）
本文从理论上证明，即使经过多项式次梯度查询，Transformer在梯度下降训练下学习简单多数布尔函数时泛化误差仍随输入维度指数增长，揭示了其逻辑推理的根本优化局限。
2025-04-07 cs.AI cs.CC cs.LG
Provable Methods for Training Neural Networks with Sparse Connectivity
University of Southern California（南加州大学）
我们提供了新的保证方法来训练前馈神经网络与稀疏连接。我们利用以前开发的学习线性网络的技术，并表明它们也可以有效地用于学习非线性网络。我们对涉及输入的标签和得分函数的矩进行操作，并证明了它们的因子分解可证明在温和的条件下产生深度网络第一层的权重矩阵。在实践中，我们的方法的输出可以作为有效的初始化梯度下降。
2015-04-28 cs.LG cs.NE stat.ML
Communication Efficient and Provable Federated Unlearning
Shandong University（山东大学）；KAUST（阿卜杜拉国王科技大学）；University of Houston（休斯顿大学）
针对联邦学习中的数据遗忘需求，本文提出兼具通信效率与精确遗忘可证明性的 FATS 框架，并在客户端级和样本级设置下验证其理论与性能优势。
2024-01-19 cs.DC cs.LG
Provable Regret Bounds for Deep Online Learning and Control
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
深度学习的理论几乎完全集中在监督学习、使用随机梯度下降的非凸优化和过度参数化的神经网络上。人们普遍认为，优化器动态、网络架构、初始化过程和其他因素联系在一起，是其成功的所有组成部分。这为分析基于状态和/或在线深度学习提出了理论挑战。受控制应用的启发，我们给出了从深度学习到在线凸优化的一般黑箱约简。这使我们能够解耦优化，遗憾，表达能力，并为具有ReLU激活的完全连接的深度神经网络获得不可知的在线学习保证。我们量化的收敛性和遗憾的保证，任何范围内的参数，并允许任何优化程序，如自适应梯度方法和二阶方法。作为一个应用程序，我们推导出可证明的算法在在线情节设置的深度控制。
2022-02-16 cs.LG
Model-Targeted Poisoning Attacks with Provable Convergence
University of Virginia（弗吉尼亚大学）；Princeton University（普林斯顿大学）
在中毒攻击中，对手控制一小部分训练数据，试图以一种方式选择该数据，从而导致一个损坏的模型，该模型的行为有利于对手。我们考虑对凸机器学习模型的中毒攻击，并提出了一种有效的中毒攻击，旨在诱导指定的模型。与以前的模型为目标的中毒攻击不同，我们的攻击具有可证明收敛到{ \it any}可达到的目标分类器。从诱导分类器到目标分类器的距离与中毒点数量的平方根成反比。我们还提供了一个下限的最小数量的中毒点需要实现一个给定的目标分类器。我们的方法使用在线凸优化，所以发现中毒点增量。这比之前的攻击提供了更大的灵活性，之前的攻击需要先验假设中毒点的数量。我们的攻击是第一个针对模型的中毒攻击，它为凸模型提供了可证明的收敛性，在我们的实验中，它在攻击成功率和到目标模型的距离方面超过或匹配最先进的攻击。
2021-04-21 cs.AI cs.CR cs.LG
Provable optimal transport with transformers: The essence of depth and prompt engineering
Department of Computer Science（计算机科学系）；University of Virginia（弗吉尼亚大学）
本文通过理论分析揭示变换器模型在机器翻译中通过最优传输近似实现令牌对齐的机制，并证明变换器深度影响近似精度。
2025-12-17 cs.LG math.OC stat.ML
Transformers as Game Players: Provable In-context Game-playing Capabilities of Pre-trained Models
University of Virginia（弗吉尼亚大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
该研究针对现有Transformer上下文学习理论局限于单智能体的问题，聚焦两人零和博弈，证明预训练Transformer可在去中心化与中心化设置下通过上下文学习逼近纳什均衡，且架构可实现V-learning、VI-ULCB等经典多智能体博弈算法。
2024-10-13 cs.GT cs.IT cs.LG
Provable Non-Convex Optimization and Algorithm Validation via Submodularity
ETH Zurich（苏黎世联邦理工学院）；Shanghai Jiao Tong University（上海交通大学）
子模块性是组合优化以及机器学习和数据采掘的许多应用中研究最多的问题类的性质之一，对保证优化具有很强的意义。在这篇论文中，我们研究子模块性在可证非凸优化和算法验证中的作用。深刻理解哪类函数可以被可追踪地优化仍然是非凸优化的核心挑战。通过推进子模块化的概念，连续域（称为“连续子模块化”），我们刻画了一类一般非凸和非凹的功能-连续子模块化功能，并推导出算法近似最大化他们的强逼近保证。与此同时，连续子模块化捕获了广泛的应用，从一般营销策略的收入最大化，DPP的MAP推理到概率对数子模块模型的平均场推理，这使得它成为优化这类目标的有价值的领域知识。算法验证是一个信息理论框架，用于研究算法对输入/观测值波动的鲁棒性及其泛化能力。我们研究了一个典型的无约束子模最大化问题：MaxCut的各种算法。由于子模块的MaxCut目标，我们能够提出有效的方法来计算MaxCut算法的算法信息内容。这些结果为MaxCut的不同算法技术的鲁棒性提供了见解。
2019-12-18 cs.LG math.OC stat.ML
SpectraLDS: Provable Distillation for Linear Dynamical Systems
Computer Science Department, Princeton University（普林斯顿大学计算机科学系）；Google DeepMind Princeton（谷歌DeepMind普林斯顿）
提出首个可证明方法识别对称线性动力系统，通过谱变换实现与状态维度无关的精度保证，并实现常数时间和空间推理。
2026-06-05 cs.LG math.OC
Provable ICA with Unknown Gaussian Noise, and Implications for Gaussian Mixtures and Autoencoders
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
我们提出了一种新的算法，独立分量分析（ICA）具有可证明的性能保证。特别地，假设我们被给予形式为$y = Ax + η$的样本，其中$A$是未知的$n \times n$矩阵，并且$x$是其分量是独立的并且具有严格小于标准高斯随机变量的四阶矩的随机变量，并且$η$是具有未知协方差$Σ$的$n$维高斯随机变量：我们给出了一个算法，可证明恢复$A$和$Σ$到一个可加的$ε$，其运行时间和样本复杂度是多项式的$n$和$1 / ε$。为了实现这一点，我们引入了一种新的“准白化”的步骤，可能是有用的，在其他情况下，高斯噪声的协方差是事先不知道的。我们还给出了一个一般的框架，找到所有的局部最优的函数（给出一个预言近似只找到一个），这是我们的算法中的一个关键步骤，在以前的尝试中被忽视了，并允许我们控制错误的积累，当我们找到列的$A$一个接一个通过本地搜索。
2012-11-12 cs.DS cs.LG
SiPPing Neural Networks: Sensitivity-informed Provable Pruning of Neural Networks
Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；Robotics and Big Data Laboratory, University of Haifa（海法大学机器人与大数据实验室）
我们引入了一种修剪算法，该算法可以证明稀疏化训练模型的参数，从而近似保留模型的预测准确性。我们的算法使用一小批输入点，构建一个数据通知的重要性采样分布在网络的参数，并自适应地混合基于采样和确定性修剪过程，以丢弃冗余的权重。我们的修剪方法同时计算效率高，可证明是准确的，并广泛适用于各种网络架构和数据分布。我们的实证比较表明，我们的算法可靠地产生高度压缩的网络，相对于原始网络的性能损失最小。我们目前的实验结果表明，我们的算法的潜力，挖掘出必要的网络连接，可以成功地训练隔离，这可能是独立的利益。
2021-03-15 cs.DS cs.LG stat.ML
Provable Continual Learning via Sketched Jacobian Approximations
Technical University of Munich（慕尼黑工业大学）；Rice University（莱斯大学）
机器学习中的一个重要问题是以顺序方式学习任务的能力。如果使用标准的一阶方法训练，大多数模型在训练新任务时会忘记以前学习的任务，这通常被称为灾难性遗忘。克服遗忘的一种流行方法是通过惩罚在先前任务中表现不佳的模型来正则化损失函数。例如，弹性权重合并（EWC）用二次形式正则化，该二次形式涉及基于过去数据构建的对角矩阵。虽然EWC的工作非常好的一些设置，我们表明，即使在其他理想的条件下，它可以证明遭受灾难性的遗忘，如果对角矩阵是一个贫穷的近似之前的任务的Hessian矩阵。我们提出了一种简单的方法来克服这一点：用过去数据的雅可比矩阵的草图来正则化新任务的训练。这可证明能够克服线性模型和宽神经网络的灾难性遗忘，以内存为代价。本文的总体目标是提供有关基于正则化的持续学习算法何时工作以及内存成本的见解。
2021-12-09 cs.AI cs.LG stat.ML
Classification with Fairness Constraints: A Meta-Algorithm with Provable Guarantees
EPFL（洛桑联邦理工学院）
由于分类算法在各种社会环境中的部署越来越多，开发相对于数据的敏感属性公平的分类算法已经成为一个重要的问题。最近的几项工作都集中在公平性方面的一个特定的指标，建模相应的公平分类问题作为一个约束优化问题，并开发定制的算法来解决这些问题。尽管如此，仍然存在一些重要的指标，我们没有公平的分类器，并且许多上述算法没有理论保证;也许是因为由此产生的优化问题是非凸的。本文的主要贡献是一个新的元算法分类，作为输入的公平性约束的一大类，相对于多个不相交的敏感属性，并带有可证明的保证。这是通过首先开发一个大的家庭的分类问题的凸约束的元算法，然后显示，一般类型的公平性约束的分类问题，可以减少到这个家庭中的那些。我们提出的实证结果表明，我们的算法可以实现近乎完美的公平性，相对于各种公平性指标，和损失的准确性，由于施加的公平性约束往往是小的。总的来说，这项工作统一了几个以前的公平分类工作，提出了一个实用的算法与理论保证，并可以处理公平性指标，以前是不可能的。
2020-04-15 cs.AI cs.CY cs.DS
Provable Acceleration of Heavy Ball beyond Quadratics for a Class of Polyak-Łojasiewicz Functions when the Non-Convexity is Averaged-Out
Yale University（耶鲁大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对一类非凸性被平均化的PL函数，提出新技术分析Hessian变化对收敛速度的影响，证明重球法超越二次函数的加速，并展示自适应动量参数的优势。
2023-08-29 cs.LG math.OC
A Hierarchical Language Model with Predictable Scaling Laws and Provable Benefits of Reasoning
Duke University（杜克大学）；University of Chicago（芝加哥大学）；Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）
本文提出了一种合成语言家族，通过树上的广播过程生成，分析上下文长度和推理在自回归生成中的作用。通过精确k-gram假设，证明了在特定条件下，上下文深度与序列生成的方差和峰度关系，展示了推理模型在有限内存下能精确生成真实语言。
2026-05-13 cs.AI cs.LG stat.ML
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley（加州大学伯克利分校）；Salesforce AI Research（Salesforce AI研究）
本文提出理论框架，证明监督预训练的Transformer可模仿专家算法条件期望，并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法，首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
Provable Emergence of Deep Neural Collapse and Low-Rank Bias in $L^2$-Regularized Nonlinear Networks
Gran Sasso Science Institute（格拉斯索科学研究所）；Concordia University（康科迪亚大学）；University of Edinburgh（爱丁堡大学）
本文研究了$L^2$正则化非线性网络中深度神经塌陷与低秩偏差的理论联系，揭示了权重衰减对优化几何的影响。
2026-02-11 cs.LG cs.NA math.NA
A Practical Algorithm for Topic Modeling with Provable Guarantees
Princeton University（普林斯顿大学）；New York University（纽约大学）；Institute for Advanced Study（高等研究院）
主题模型为大型文本语料库的降维和探索性数据分析提供了一种有效的方法。主题模型推理的大多数方法都是基于最大似然目标的。存在有效的算法来近似这个目标，但它们没有可证明的保证。最近，已经引入了提供可证明边界的算法，但是这些算法是不实用的，因为它们是低效的并且对于违反模型假设不鲁棒。在本文中，我们提出了一个算法的主题模型推理，这是既可证明和实用。该算法产生的结果相比，最好的MCMC实现，同时运行数量级更快。
2012-12-19 cs.DS cs.LG stat.ML
Uniform Hypergraph Partitioning: Provable Tensor Methods and Sampling Techniques
Indian Institute of Science（印度科学理工学院）
在最近的一系列工作中，我们已经将随机块模型文献中的一致性结果推广到均匀和非均匀超图的情况。本论文继续相同的研究路线，我们专注于分区加权均匀超图-一个经常遇到的问题，在计算机视觉。这项工作的动机是由两个问题时出现的超图分割方法用于解决计算机视觉问题：（i）构造的高阶学习的均匀超图包含所有的边缘，但大多数具有可忽略的权重。因此，邻接张量几乎是稀疏的，但不是二进制的。(ii)更严重的问题是标准划分算法需要计算所有边权重，这对于超图来说计算成本很高。在实践中，这通常是通过将聚类算法与张量采样策略合并来解决的-这种方法还有待严格分析。我们建立在我们早期关于划分密集未加权均匀超图的工作（Ghoshdastidar和Dukkipati，ICML，2015）的基础上，并通过提出可证明和有效的划分算法来解决上述问题。我们的分析证明了实际抽样技术的经验成功。我们还补充了我们的理论研究结果，详细的经验比较各种超图分割方案。
2017-05-17 cs.LG stat.ML
Provable More Data Hurt in High Dimensional Least Squares Estimator
Southern University of Science and Technology（南方科技大学）；Fudan University（复旦大学）
本文研究了高维最小二乘估计的有限样本预测风险。当样本量和特征数都趋于无穷大时，我们推导出了预测风险的中心极限定理。给出了预测风险的有限样本分布和置信区间。我们的理论结果证明了预测风险的样本非单调性，并证实了“更多的数据伤害”现象。
2020-08-14 cs.LG stat.AP stat.ML
Provable Benefits of Unsupervised Pre-training and Transfer Learning via Single-Index Models
Department of Statistics and Actuarial Science, University of Waterloo, Canada（滑铁卢大学统计与精算科学系）；Cheriton School of Computer Science, University of Waterloo, Canada（滑铁卢大学切尔顿计算机科学学院）；Department of Statistics, Harvard University, United States of America（哈佛大学统计系）
该研究基于单指标模型，分析无监督预训练与迁移学习对高维单层神经网络在线随机梯度下降训练样本复杂度的影响，证明其可带来多项式甚至指数级的样本效率提升。
2025-06-11 cs.LG stat.ML
Provable Membership Inference Privacy
Stanford University（斯坦福大学）；Google Cloud AI Research（谷歌云人工智能研究部）
在涉及敏感数据的应用中，例如金融和医疗保健，保护数据隐私的必要性可能是机器学习模型开发的重要障碍。差分隐私（DP）已经成为可证明隐私的一个规范标准。然而，DP强大的理论保证往往是以其对机器学习的效用大幅下降为代价的，而且DP保证本身可能很难解释。在这项工作中，我们提出了一个新的隐私概念，成员推理隐私（MIP），以解决这些挑战。我们给出了一个精确的表征MIP和DP之间的关系，并表明，MIP可以实现使用更少量的随机性相比，保证DP所需的量，导致较小的实用程序下降。MIP保证也很容易解释的成功率方面的成员推断攻击。我们的理论结果还产生了一个简单的算法，保证MIP，它可以被用来作为一个包装周围的任何算法的连续输出，包括参数模型训练。
2022-11-12 cs.CR cs.LG stat.ML
Scaling provable adversarial defenses
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
最近的工作已经开发了用于学习深度网络分类器的方法，这些方法可证明对范数有界的对抗性扰动具有鲁棒性;然而，这些方法目前仅适用于相对较小的前馈网络。在本文中，为了将这些方法扩展到更大的模型，我们在三个主要方向上扩展了以前的工作。首先，我们提出了一种技术，将这些训练过程扩展到更一般的网络，具有跳过连接（如ResNets）和一般非线性;该方法是完全模块化的，可以自动实现（类似于自动微分）。其次，在$\ell_\infty$对抗性扰动和具有ReLU非线性的网络的特定情况下，我们采用非线性随机投影进行训练，该投影在隐藏单元的数量上线性缩放（以前的方法按二次缩放）。第三，我们展示了如何通过级联模型进一步提高鲁棒误差。在MNIST和CIFAR数据集上，我们训练分类器，这些分类器在可证明的鲁棒对抗性误差界方面大大提高了最先进的水平：MNIST上从5.8%提高到3.1%（$ε=0.1$的$\ell_\infty$扰动），CIFAR上从80%提高到36.4%（$ε=2/255$的$\ell_\infty$扰动）。论文中所有实验的代码都可以在https://github.com/locuslab/convex_adversarial/上找到。
2018-11-21 cs.AI cs.LG math.OC
Provable Privacy with Non-Private Pre-Processing
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对差分隐私机器学习流水线中数据依赖预处理隐私成本易被忽略的问题，提出基于Smooth DP和预处理有界敏感度的通用评估框架，可量化非隐私预处理的额外隐私成本，适配多种预处理与DP算法且易集成。
2024-06-21 cs.AI cs.CR cs.LG
