What, Indeed, is an Achievable Provable Guarantee for Learning-Enabled Safety Critical Systems
University Grenoble Alpes（格勒诺布尔大学）；Technical University of Munich（慕尼黑工业大学）；University of Liverpool（利物浦大学）；University of Warwick（华威大学）
针对安全关键系统中机器学习组件的安全保证难题，本文指出现有方法无法提供可证明保证，并提出两步验证方法以实现可证明的统计保证。
2023-07-20 cs.AI cs.LG cs.SE
Provable Gradient Variance Guarantees for Black-Box Variational Inference
最近的变分推理方法使用随机梯度估计，其方差不是很好地理解。这些估计量的理论保证对于理解这些方法何时起作用或不起作用是很重要的。本文给出了当目标是光滑的，变分族是位置-尺度分布时，常见的“重新参数化”估计的界。这些界限是不可改进的，因此在所述假设下提供了最好的保证。
2019-10-28 cs.LG stat.ML
Fair Classification with Noisy Protected Attributes: A Framework with Provable Guarantees
Yale University（耶鲁大学）；Huawei（华为）
我们提出了一个优化框架，学习一个公平的分类器中存在的噪声扰动的保护属性。与以前的工作相比，我们的框架可以使用非常一般的线性和线性分数公平性约束，可以处理多个非二进制保护属性，并输出一个分类器，该分类器具有可证明的准确性和公平性保证。从经验上讲，我们表明，我们的框架可以用来实现统计率或误报率的公平性保证，即使在噪声很大的情况下，在两个真实世界的数据集的准确性损失最小。
2021-02-16 cs.AI cs.CY cs.DS
Provable Smoothness Guarantees for Black-Box Variational Inference
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
黑盒变分推理试图通过对简单分布的参数进行基于梯度的优化来近似复杂的目标分布。可证明的收敛保证需要目标的结构属性。本文证明了对于位置-尺度族近似，如果目标是M-Lipschitz光滑的，那么如果熵被排除，目标也是M-Lipschitz光滑的。关键的证明思想是在一定的内积空间中描述梯度，从而允许使用贝塞尔不等式。这一结果提供了深入了解如何参数化分布，给出了最优参数的位置范围，并且是收敛保证的关键成分。
2020-08-14 cs.LG stat.ML
A Practical Algorithm for Topic Modeling with Provable Guarantees
Princeton University（普林斯顿大学）；New York University（纽约大学）；Institute for Advanced Study（高等研究院）
主题模型为大型文本语料库的降维和探索性数据分析提供了一种有效的方法。主题模型推理的大多数方法都是基于最大似然目标的。存在有效的算法来近似这个目标，但它们没有可证明的保证。最近，已经引入了提供可证明边界的算法，但是这些算法是不实用的，因为它们是低效的并且对于违反模型假设不鲁棒。在本文中，我们提出了一个算法的主题模型推理，这是既可证明和实用。该算法产生的结果相比，最好的MCMC实现，同时运行数量级更快。
2012-12-19 cs.DS cs.LG stat.ML
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University（德克萨斯农工大学）
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策，是强大的参数不确定性，由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法，这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后，我们提出了鲁棒最小二乘策略迭代（RLSPI）算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差（接近最优性）所产生的政策。最后，我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Multi-Model Federated Learning with Provable Guarantees
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Carnegie Mellon University（卡内基梅隆大学）
联邦学习（FL）是分布式学习的一种变体，其中边缘设备协作学习模型，而无需与中央服务器或彼此共享数据。我们指的是训练多个独立的模型，同时在一个联邦设置使用一个共同的池的客户端作为多模型FL的过程。在这项工作中，我们提出了两个变体的流行FedAvg算法多模型FL，可证明的收敛保证。我们进一步表明，对于相同的计算量，多模型FL可以比单独训练每个模型具有更好的性能。我们补充我们的理论结果与强凸，凸和非凸设置的实验。
2022-09-20 cs.DC cs.LG math.OC
Feature Selection for Linear SVM with Provable Guarantees
Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们给出了两个可证明准确的线性SVM的特征选择技术。算法分别在确定时间和随机时间下运行。我们的算法可以用于无监督或监督设置。监督的方法是基于支持向量的采样特征。我们证明，在特征空间中的利润率被保存在$ε$ -在最坏的情况下，在全特征空间中的利润率的相对误差。在无监督设置中，我们还提供了最小封闭球半径的最坏情况保证，从而确保与全特征空间中的泛化相当，并解决了Dasgupta等人提出的一个开放问题。我们在真实世界的数据集上进行了大量的实验，以支持我们的理论，并证明我们的方法具有竞争力，通常优于现有的最先进的方法，没有已知的可证明的保证。
2015-02-06 cs.LG stat.ML
Provable Sample Complexity Guarantees for Learning of Continuous-Action Graphical Games with Nonparametric Utilities
Purdue University（普渡大学）
本文研究了具有非参数效用函数的连续行动博弈的精确结构学习问题。我们提出了一个$\ell_1$正则化的方法，鼓励稀疏的傅立叶变换的系数恢复的效用。我们的方法通过访问非常少的纳什均衡和它们的噪声效用来工作。在一定的技术条件下，我们的方法也恢复了这些效用函数的确切结构，从而恢复了游戏的确切结构。此外，我们的方法只需要一个对数数量的样本的数量方面的球员和运行在多项式时间。我们遵循原始-对偶证人框架提供可证明的理论保证。
2020-04-01 cs.GT cs.LG stat.ML
Solving Linear Inverse Problems Using GAN Priors: An Algorithm with Provable Guarantees
Iowa State University（爱荷华州立大学）
在最近的工作中，基于稀疏性的方法以及基于学习的方法已被证明是成功的，在解决一些具有挑战性的线性逆问题。然而，稀疏先验的自然信号和图像遭受差的判别能力，而基于学习的方法很少提供具体的理论保证。在这项工作中，我们提倡用生成对抗网络（GAN）代替手工制作的先验（如稀疏性）来解决线性逆问题（如压缩感知）。特别是，我们提出了一个投影梯度下降（PGD）算法，有效地利用GAN先验的线性反问题，并提供理论保证，这种算法的收敛速度。此外，我们的经验表明，我们的算法表现出优越的性能比现有的方法利用GANs压缩感知。
2018-02-23 cs.LG stat.ML
First Provable Guarantees for Practical Private FL: Beyond Restrictive Assumptions
本文提出Fed-α-NormEC，首个在标准假设下提供可证明收敛和隐私保障的联邦学习框架，支持实际特征如局部更新和部分客户端参与。
2025-12-25 cs.LG math.OC stat.ML
Weakly Supervised Learners for Correction of AI Errors with Provable Performance Guarantees
King’s College London（伦敦国王学院）；University of Leicester（莱斯特大学）
本文提出一种弱监督AI错误纠正器，通过批准或拒绝底层分类器决策来调节其并弃权，并提供分布无关的性能保证，并在训练数据稀缺的现实图像分类任务中验证了其有效性。
2024-02-13 cs.AI cs.LG stat.ML
Provable convergence guarantees for black-box variational inference
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Université Paris Cité（巴黎西岱大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Flatiron Institute（熨斗研究所）
本文针对黑盒变分推断缺乏收敛保证的问题，利用重参数化梯度估计器的二次噪声界，为近端和投影随机梯度下降提供了新的收敛证明，从而为实践中的方法提供了理论支撑。
2023-12-21 cs.LG math.OC stat.ML
Provable guarantees for decision tree induction: the agnostic setting
Stanford University（斯坦福大学）
我们对广泛使用的和经验上成功的{ \sl自上而下的决策树学习算法}的性能给出了加强的可证明的保证。虽然以前的作品集中在可实现的设置，我们认为更现实和具有挑战性的{ \sl不可知}设置。我们发现，对于所有单调函数$f$和参数$s\in \mathbb{N}$，这些算法构造一个大小为$s^{\tilde{O}((\log s)/\varepsilon^2)}$的决策树，该决策树达到错误$\le \mathsf{opt}_s + \varepsilon$，其中$\mathsf{opt}_s$表示$f$的最佳大小- $s$决策树的错误。以前，这种保证是不知道是通过任何算法，即使是一个不是基于自上而下的算法实现。我们补充我们的算法保证与近匹配的$s^{\tildeΩ(\log s)}$下限。
2020-06-01 cs.CC cs.DS cs.LG
Provable Guarantees for Understanding Out-of-distribution Detection
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
分布外（OOD）检测对于在现实世界中部署机器学习模型非常重要，因为在现实世界中，来自偏移分布的测试数据可能会自然出现。虽然最近出现了大量的算法方法用于OOD检测，但在理论理解方面仍然存在关键差距。在这项工作中，我们开发了一个分析框架，其特点和统一的理论理解OOD检测。我们的分析框架激发了一种新的面向对象检测方法的神经网络，GEM，这表明了理论和经验的优越性。特别是，在CIFAR-100作为分销数据时，我们的方法比竞争基线高出16.57%（FPR 95）。最后，我们正式提供可证明的保证和全面的分析，我们的方法，支持数据分布的各种属性如何影响OOD检测的性能。
2021-12-01 cs.LG
Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究院）
自监督学习的最新研究通过依赖于对比学习范式推进了最先进的技术水平，该范式通过将阳性对或来自同一类的类似示例推得更近而将阴性对保持得更远来学习表示。尽管取得了经验上的成功，但理论基础是有限的-先前的分析假设给定相同类别标签的正对的条件独立性，但最近的经验应用使用高度相关的正对（即，同一图像的数据增强）。我们的工作分析了对比学习，而不假设条件独立的积极对使用一个新的概念的数据上的增强图。该图中的边连接相同数据的增强，地面实况类自然形成连接的子图。我们提出了一个损失，执行谱分解的人口扩增图，可以简洁地写为一个对比学习目标神经网络表示。最小化这一目标导致的功能，可证明的精度保证下线性探针评估。通过标准的泛化界限，这些精度保证在最小化训练对比损失时也成立。从经验上讲，我们的目标学习的特征可以匹配或优于基准视觉数据集上的几个强基线。总之，这项工作提供了第一个可证明的分析对比学习的线性探针评估的保证，可以适用于现实的经验设置。
2022-06-24 cs.LG stat.ML
Formal Mechanistic Interpretability: Automated Circuit Discovery with Provable Guarantees
School of Computer Science and Engineering, The Hebrew University of Jerusalem（计算机科学与工程系，耶路撒冷希伯来大学）
本文提出具有可证明保证的自动电路发现算法，通过三种保证类型提升电路的鲁棒性和最小性，为机制可解释性提供理论基础。
2026-02-18 cs.LG cs.LO
Evading classifiers in discrete domains with provable optimality guarantees
EPFL（洛桑联邦理工学院）；University College London（伦敦大学学院）；University of California, Berkeley（加州大学伯克利分校）
机器人、恶意软件或垃圾邮件检测等安全关键型应用程序的机器学习模型在受约束的离散域中运行。这些应用程序将受益于针对对抗性示例的可证明保证。然而，现有的关于模型的可证明对抗鲁棒性的文献只关注图像等领域对基于梯度的攻击的鲁棒性。这些攻击对对抗成本进行建模，例如，应用于图像的失真量，作为$p$ -范数。我们认为，这种方法并不适合在约束域中建模对抗成本，因为并非所有的例子都是可行的。我们引入了一个图形框架，（1）概括了现有的攻击在离散域，（2）可以容纳复杂的成本函数超出$p$规范，包括财务成本时，攻击分类器，（3）有效地产生有效的对抗性的例子，保证最小的对抗性成本。这些保证直接转化为对抗鲁棒性的概念，考虑到域约束和对手的能力。我们展示了我们的框架如何通过制作对抗性示例来评估安全性，这些示例以可证明的最小数量的更改来逃避Twitter机器人检测分类器;并通过制作对抗性示例来构建隐私防御，这些示例逃避隐私入侵网站指纹分类器。
2019-07-01 cs.CR cs.LG stat.ML
Robust and Provable Guarantees for Sparse Random Embeddings
University of Luxembourg（卢森堡大学）
在这项工作中，我们改进了稀疏随机嵌入的保证，因为它们最近由Freksen等人（NIPS'18）和Jagadeesan（NIPS'19）提供和分析。具体来说，我们表明，（a）我们的边界是明确的，而不是之前提供的渐近保证，（b）我们的边界保证在很宽的参数范围内，包括数据的维数，稀疏性和分散性，实际上显着的常数更清晰。此外，我们根据经验证明，我们的边界在广泛的现实世界数据集上的表现明显优于先前的工作，例如图像集合，表示为词袋的文本文档以及通过神经嵌入矢量化的文本序列。在我们的数值改进的背后是更广泛的兴趣的技术，它改进了以前分析的关键步骤，包括（c）对某些类型的二次混沌的更严格的估计，（d）建立稀疏线性形式的极端性质，以及（e）对独立随机变量之和估计的界限的改进。
2022-02-22 cs.LG stat.ML
Enumerating Safe Regions in Deep Neural Networks with Provable Probabilistic Guarantees
University of Verona（维罗纳大学）；Massachusetts Institute of Technology（麻省理工学院）
本文针对深度神经网络安全验证中的 #P 难问题，提出 epsilon-ProVe 近似方法，通过统计预测容差极限对输出可达集进行可控低估，从而以可证明概率保证枚举所有安全区域，并在标准基准上验证了其可扩展性与有效性。
2024-02-20 cs.AI cs.LG
Provable Guarantees for Sparsity Recovery with Deterministic Missing Data Patterns
Purdue University（普渡大学）
我们研究的问题，一贯恢复的稀疏模式的回归参数向量的相关观测确定性缺失的数据模式使用Lasso。我们考虑的情况下，观察到的数据集是由一个确定性的，非均匀的过滤器。在具有确定性缺失结构的数据集中恢复稀疏模式可以说比在均匀随机场景中恢复更具挑战性。本文利用审查过滤器的拓扑性质，提出了一种有效的缺失值填补算法。然后，我们提供了新的理论结果的稀疏模式的精确恢复使用建议的插补策略。我们的分析表明，在一定的统计和拓扑条件下，可以在多项式时间和对数样本复杂度内以高概率一致地恢复隐藏的稀疏模式。
2022-06-10 cs.LG stat.ML
Synthesis of Shared Control Protocols with Provable Safety and Performance Guarantees
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们正式合成的共享控制协议的时序逻辑规范的正确性保证。更具体地说，我们引入了一个建模形式主义，其中一个人和一个自治协议可以向机器人发出命令，以执行某项任务。这些命令被混合到机器人的关节输入中。自治协议是使用可能的人类命令的抽象来合成的，这些命令考虑了由诸如疲劳或手头问题的不可理解性等因素引起的决策的随机性。该合成被设计为确保所得到的机器人行为满足给定的安全和性能规范，例如，在时间逻辑中。我们的解决方案是基于非线性规划，我们解决了固有的可扩展性问题，提出替代方法。我们评估的可行性和可扩展性的方法通过实验评估。
2016-10-26 cs.AI cs.LG cs.RO
Provable Membership Inference Privacy
Stanford University（斯坦福大学）；Google Cloud AI Research（谷歌云人工智能研究部）
在涉及敏感数据的应用中，例如金融和医疗保健，保护数据隐私的必要性可能是机器学习模型开发的重要障碍。差分隐私（DP）已经成为可证明隐私的一个规范标准。然而，DP强大的理论保证往往是以其对机器学习的效用大幅下降为代价的，而且DP保证本身可能很难解释。在这项工作中，我们提出了一个新的隐私概念，成员推理隐私（MIP），以解决这些挑战。我们给出了一个精确的表征MIP和DP之间的关系，并表明，MIP可以实现使用更少量的随机性相比，保证DP所需的量，导致较小的实用程序下降。MIP保证也很容易解释的成功率方面的成员推断攻击。我们的理论结果还产生了一个简单的算法，保证MIP，它可以被用来作为一个包装周围的任何算法的连续输出，包括参数模型训练。
2022-11-12 cs.CR cs.LG stat.ML
Provable Computational and Statistical Guarantees for Efficient Learning of Continuous-Action Graphical Games
Purdue University（普渡大学）
在本文中，我们研究了学习的纯策略纳什均衡集和精确结构的一个连续行动的图形游戏的二次支付通过观察一个小的扰动均衡集的问题。一个连续动作的图形游戏可能有一个不可数的纳什均衡集。我们提出了一个$\ell_{12}-$块正则化的方法，恢复图形游戏，其纳什均衡是$ε$ -纳什均衡的游戏，从该数据生成（真正的游戏）。在一个稍微严格的条件下，真正的游戏的参数，我们的方法恢复的图形游戏的确切结构。我们的方法有一个对数样本的复杂性相对于玩家的数量。它也在多项式时间中运行。
2019-11-08 cs.GT cs.LG stat.ML
Classification with Fairness Constraints: A Meta-Algorithm with Provable Guarantees
EPFL（洛桑联邦理工学院）
由于分类算法在各种社会环境中的部署越来越多，开发相对于数据的敏感属性公平的分类算法已经成为一个重要的问题。最近的几项工作都集中在公平性方面的一个特定的指标，建模相应的公平分类问题作为一个约束优化问题，并开发定制的算法来解决这些问题。尽管如此，仍然存在一些重要的指标，我们没有公平的分类器，并且许多上述算法没有理论保证;也许是因为由此产生的优化问题是非凸的。本文的主要贡献是一个新的元算法分类，作为输入的公平性约束的一大类，相对于多个不相交的敏感属性，并带有可证明的保证。这是通过首先开发一个大的家庭的分类问题的凸约束的元算法，然后显示，一般类型的公平性约束的分类问题，可以减少到这个家庭中的那些。我们提出的实证结果表明，我们的算法可以实现近乎完美的公平性，相对于各种公平性指标，和损失的准确性，由于施加的公平性约束往往是小的。总的来说，这项工作统一了几个以前的公平分类工作，提出了一个实用的算法与理论保证，并可以处理公平性指标，以前是不可能的。
2020-04-15 cs.AI cs.CY cs.DS
Provable Guarantees for Neural Networks via Gradient Feature Learning
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
针对现有理论无法充分解释神经网络特征学习能力的问题，提出一种用于梯度下降训练两层网络的统一分析框架，基于梯度学习特征原则，在多个原型问题中验证有效性并揭示彩票假说等现象。
2023-10-19 cs.AI cs.LG
Provable Guarantees on the Robustness of Decision Rules to Causal Interventions
University of Oxford（牛津大学）
决策规则对数据生成过程中的变化的鲁棒性对于决策系统的成功部署至关重要。这种转变可以被视为对因果图的干预，它捕捉了数据生成过程中的变化（可能是假设的），无论是由于自然原因还是对手的行动。我们认为因果贝叶斯网络和正式定义的干预鲁棒性问题，一种新的基于模型的决策函数的鲁棒性的概念，衡量最坏情况下的性能相对于一组干预措施，表示变化的参数和/或因果关系的影响。通过依赖于一个易于处理的表示贝叶斯网络的算术电路，我们提供了有效的算法，用于计算保证的上限和下限的干预鲁棒性概率。实验结果表明，该方法产生有用的和可解释的范围内的实际网络，铺平了道路，可证明因果关系的强大的决策系统。
2021-05-19 cs.AI cs.LG
Provable robustness against all adversarial $l_p$-perturbations for $p\geq 1$
University of Tübingen（图宾根大学）
近年来，已经提出了几种对抗攻击和防御。通常，当使用更复杂的攻击时，看似健壮的模型变得不健壮。摆脱这种困境的一种方法是可证明的鲁棒性保证。虽然可证明的强大的模型为特定的$l_p$扰动模型已经开发出来，我们表明，他们没有任何保证对其他$l_q$扰动。我们为ReLU网络提出了一种新的正则化方案MMR-Universal，它增强了$l_1$和$l_\infty$扰动的鲁棒性，并展示了这是如何导致$p\geq 1$的第一个可证明鲁棒的模型的。
2020-04-24 cs.CR cs.LG stat.ML
Provable Hierarchy-Based Meta-Reinforcement Learning
Princeton University（普林斯顿大学）
分层强化学习（HRL）作为一种复杂模块化行为的易处理学习方法受到了广泛的关注。然而，现有的工作要么假设访问专家构造的层次结构，或使用层次学习算法，没有可证明的保证。为了解决这一差距，我们分析了元RL设置中的HRL，其中学习者在元训练期间学习潜在的层次结构，用于下游任务。我们考虑一个表格设置，自然的层次结构嵌入在过渡动态。类似于有监督的元学习理论，我们提供了“多样性条件”，连同一个易于处理的基于乐观主义的算法，保证样本有效的恢复这个自然的层次结构。此外，我们提供了后悔界限上的学习者使用恢复的层次结构来解决元测试任务。我们的界限纳入了HRL文献中的常见概念，如时间和状态/动作抽象，这表明我们的设置和分析在实践中捕捉到了HRL的重要特征。
2021-10-18 cs.LG stat.ML
Neural Network Virtual Sensors for Fuel Injection Quantities with Provable Performance Specifications
Carnegie Mellon University（卡内基梅隆大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；Bosch Center for Artificial Intelligence（博世人工智能中心）
最近的工作表明，当受到输入扰动时，可以学习神经网络，并对模型的输出提供可证明的保证，然而这些工作主要集中在防御图像分类器的对抗性示例上。在本文中，我们研究这些可证明的保证可以自然地应用到其他现实世界的设置，即获得性能指标的强大的虚拟传感器测量发动机内的燃油喷射量。我们首先证明，在这种情况下，即使是简单的神经网络模型也非常容易受到合理水平的对抗性传感器噪声的影响，这能够将标准神经网络的平均相对误差从6.6%增加到43.8%。然后，我们利用学习可证明鲁棒性的网络和验证鲁棒性的方法，从而产生一个鲁棒的模型，我们可以证明保证在任何传感器噪声下最多有16.5%的平均相对误差。此外，我们展示了如何可以针对特定的燃料喷射量的间隔，以最大限度地提高某些范围内的鲁棒性，使我们能够训练虚拟传感器的燃料喷射，这是可证明的，保证有最多10.69%的相对误差噪声下，同时保持3%的相对误差在非对抗性的数据归一化的燃料喷射范围内的0.6至1.0。
2020-06-30 cs.LG stat.ML
DAEs for Linear Inverse Problems: Improved Recovery with Provable Guarantees
San Jose State University（圣何塞州立大学）
生成先验已被证明在线性逆问题中提供比稀疏先验更好的结果。然而，现有技术的方法具有以下缺点中的一个或多个：（a）恢复速度慢;（b）重建质量有缺陷;（c）重建质量取决于调整超参数的计算上昂贵的过程。在这项工作中，我们通过利用去噪自动编码器（DAE）作为先验知识和投影梯度下降算法来恢复原始信号来解决这些问题。我们为我们的方法提供了严格的理论保证，并通过实验证明了它在压缩感知，修复和超分辨率方面优于现有的最先进的方法。我们发现，我们的算法将恢复速度提高了两个数量级（超过100倍），将重建质量提高了一个数量级（超过10倍），并且不需要调整超参数。
2021-01-13 cs.CV cs.LG eess.IV
Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees
KAUST（阿卜杜拉国王科技大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对分布式深度学习中现有量化方案多与Allreduce不兼容、缺乏理论保证的问题，提出具备收敛理论保证的兼容Allreduce的Global-QSGD梯度量化方法，经多硬件环境实验验证可最高提升训练速度3.51%。
2025-07-29 cs.DC cs.LG stat.ML
Global Robustness Evaluation of Deep Neural Networks with Provable Guarantees for the $L_0$ Norm
University of Oxford（牛津大学）；University of Liverpool（利物浦大学）
在安全或安全关键系统中部署深度神经网络（DNN）需要对其正确行为的可证明保证。一个常见的要求是对输入附近的对抗性扰动的鲁棒性。在本文中，我们专注于$L_0$范数，并针对训练的DNN和输入计算输入周围的安全范数球的最大半径，其中没有对抗性示例。然后，我们定义全局鲁棒性作为一个期望的最大安全半径超过一个测试数据集。我们首先证明了这个问题是NP-困难的，然后提出了一种近似的方法来迭代计算网络鲁棒性的上下界。该方法是\emph{anytime}，即，它返回随着计算的进行而逐渐但严格地改进的中间边界和鲁棒性估计; \emph{tensor-based}，即，计算是在一组输入上同时进行的，而不是逐个进行的，以实现高效的GPU计算;并且具有\emph{provable guarantees}，即，边界和鲁棒性估计都可以收敛到它们的最优值。最后，我们证明了所提出的方法在实践中的实用性，以计算紧边界的应用和适应的任何时候算法的一组具有挑战性的问题，包括全球鲁棒性评估，竞争性$L_0$攻击，DNN的测试用例生成，和大规模的ImageNet DNN的本地鲁棒性评估。我们通过GitHub发布所有案例研究的代码。
2018-11-20 cs.CR cs.CV cs.LG
Reachability Analysis of Deep Neural Networks with Provable Guarantees
University of Oxford（牛津大学）；University of Liverpool（利物浦大学）
深度神经网络（DNN）的正确性是具有挑战性的。我们研究了前馈DNN的通用可达性问题，对于给定的网络输入集和其输出上的Lipschitz连续函数，计算函数值的上下界。因为网络和函数是Lipschitz连续的，所以在下界和上界之间的区间内的所有值都是可达的。我们展示了如何获得的安全验证问题，输出范围分析问题和鲁棒性措施，通过实例化的可达性问题。我们提出了一种新的算法，基于自适应嵌套优化来解决可达性问题。该技术已在一系列DNN上实施和评估，证明了其效率，可扩展性和处理比最先进的验证方法更广泛的网络类别的能力。
2018-05-06 cs.CV cs.LG stat.ML
Feature Selection for Ridge Regression with Provable Guarantees
Paypal Inc.（贝宝公司）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们引入单集光谱稀疏作为一个确定性的采样为基础的特征选择技术的正则化最小二乘分类，这是分类模拟岭回归。该方法是无监督的，并给出了最坏情况下的分类功能的泛化能力的保证后，相对于使用所有功能获得的分类功能的特征选择。我们还介绍了无监督的随机特征选择方法的岭回归的评分抽样。我们提供了风险界单集频谱稀疏和采样分数采样岭回归在固定的设计设置，并表明，在采样空间的风险是可比的全功能空间的风险。我们在合成和真实世界的数据集上进行实验，即TechTC-300数据集的一个子集，以支持我们的理论。实验结果表明，该方法的性能优于现有的特征选择方法。
2015-12-05 cs.IT cs.LG math.IT
Post-training Quantization for Neural Networks with Provable Guarantees
University of California San Diego（加州大学圣地亚哥分校）
虽然神经网络在广泛的应用中取得了显著的成功，但在资源受限的硬件中实现它们仍然是一个深入研究的领域。通过用量化的（例如，4位或二进制）对应，实现了计算成本、存储器和功耗的大量节省。为此，我们概括了一个后训练神经网络量化方法，GPFQ，这是基于贪婪的路径跟踪机制。除其他外，我们提出了修改，以促进稀疏的权重，并严格分析相关的错误。此外，我们的误差分析扩展了先前GPFQ工作的结果，以处理一般的量化字母表，表明对于量化单层网络，相对平方误差基本上在权重数量上线性衰减-即，过度参数化。我们的结果适用于一系列输入分布，并且适用于全连接和卷积架构，从而也扩展了以前的结果。为了对该方法进行经验评估，我们使用几种常见的架构，每种架构的权重都很少，并在ImageNet上进行测试，与未量化的模型相比，准确性只有轻微的损失。我们还表明，标准的修改，如偏差校正和混合精度量化，进一步提高精度。
2023-01-15 cs.AI cs.LG stat.ML
Implicit Hypergraph Neural Networks: A Stable Framework for Higher-Order Relational Learning with Provable Guarantees
针对超图神经网络因堆叠显式层导致长程依赖受限和训练不稳定的问题，提出隐式超图神经网络IHGNN，通过求解非线性不动点方程实现稳定全局传播，并证明其收敛性与泛化能力。
2025-08-13 cs.AI cs.LG
Online Learning for Predictive Control with Provable Regret Guarantees
University of California Irvine（加州大学欧文分校）；Expedia Group（亿客行集团）；Texas A&M University（德州农工大学）
研究了一类具有时变代价函数且先验未知的线性动态系统的预测控制中的在线学习问题。具体来说，我们研究的在线学习问题的控制算法不知道真正的系统模型，只有访问一个固定长度（不增长的控制范围）预览未来的成本函数。在线算法的目标是最小化动态后悔，定义为算法产生的累积成本和事后最佳行动序列之间的差异。针对这一问题，提出了两种不同的在线模型预测控制（MPC）算法，即等价模型预测控制（CE-MPC）算法和乐观模型预测控制（O-MPC）算法。我们表明，在标准的稳定性假设的模型估计，CE-MPC算法实现$\mathcal{O}(T^{2/3})$动态遗憾。然后，我们将这一结果扩展到设置的稳定性假设只适用于真正的系统模型，提出了O-MPC算法。我们表明，O-MPC算法也实现了$\mathcal{O}(T^{2/3})$动态遗憾，在一些额外的计算成本。我们还提出了数值研究，以证明我们的算法的性能。
2022-10-31 cs.LG cs.SY eess.SY
Deciphering Raw Data in Neuro-Symbolic Learning with Provable Guarantees
Nanjing University（南京大学）
本文提出一种刻画知识库监督信号的新方法并建立可学习性判定准则，首次从理论上解释神经符号混合系统何时成功或失败，并通过基准实验验证其有效性。
2024-01-23 cs.AI cs.LG
A Game-Based Approximate Verification of Deep Neural Networks with Provable Guarantees
University of Oxford（牛津大学）；University of Georgia（佐治亚大学）；University of Liverpool（利物浦大学）
尽管深度神经网络的准确性有所提高，但对抗性例子的发现引发了严重的安全问题。在本文中，我们研究了两个变种的逐点鲁棒性，最大安全半径问题，这对于一个给定的输入样本计算的最小距离的对抗性的例子，和功能的鲁棒性问题，其目的是量化的鲁棒性个别功能对抗性扰动。我们证明，在Lipschitz连续性的假设下，这两个问题都可以通过离散输入空间使用有限优化来近似，并且近似具有可证明的保证，即，误差是有界的。然后，我们表明，由此产生的优化问题可以减少到两个玩家回合制游戏的解决方案，其中第一个玩家选择功能和第二扰动的图像内的功能。虽然第二个玩家的目标是最小化与敌对示例的距离，但根据优化目标，第一个玩家可以是合作的或竞争的。我们采用了一种随时随地的方法来解决游戏，在这个意义上的近似值的游戏，通过单调提高其上限和下限。应用蒙特卡罗树搜索算法计算两种博弈的上界，并分别使用容许A* 和Alpha-Beta剪枝算法计算最大安全半径和特征鲁棒性博弈的下界。当处理最大安全半径问题的上限时，我们的工具与现有的对抗性示例制作算法相比表现出了竞争力。此外，我们展示了如何部署我们的框架来评估神经网络在安全关键应用中的逐点鲁棒性，例如自动驾驶汽车中的交通标志识别。
2019-03-06 cs.AI cs.LG stat.ML
Provable Model Provenance Set for Large Language Models
Department of Statistics and Data Science, Southern University of Science and Technology, Shenzhen, China（统计与数据科学系，南方科技大学，深圳，中国）
本文提出了一种可证明保证的模型来源集，通过顺序测试和排除方法实现可靠来源覆盖，适用于大语言模型的归因与审计任务。
2026-01-31 cs.LG
V-SHARE: Provable Convergence Guarantees for Advantage-based Algorithms
Indian Institute of Science（印度科学学院）；Aalto University（阿尔托大学）
研究针对基于优势的强化学习算法理论理解不足的问题，提出V-SHARE算法，结合跨动作值共享与重要性加权Bellman残差校正，完成其收敛性等理论刻画，缓解异步Q学习的稀有动作瓶颈，经实验验证有效。
2026-10-16 cs.AI cs.LG
Dyn-D$^2$P: Dynamic Differentially Private Decentralized Learning with Provable Utility Guarantee
Zhejiang University（浙江大学）；Qilu University of Technology（齐鲁工业大学）
针对固定裁剪与噪声导致隐私保护去中心化学习精度下降的问题，提出 Dyn-D$^2$P，依据梯度收敛动态调节参数，并给出可证明效用界。
2025-05-10 cs.AI cs.LG
Multi-Label Learning with Provable Guarantee
在这里，我们研究了大型文本语料库的学习标签的问题，其中每个文本可以被分配一个可变数量的标签。当标签维度很小时，这个问题可能看起来微不足道，并且可以使用一系列one-vs-all分类器轻松解决。然而，随着标签维数增加到几千，参数空间变得非常大，不再可能使用one-vs-all技术。在这里，我们提出了一个模型的基础上的高阶矩的语料库中，以及标签和词之间的交叉矩的多标签预测。我们的模型提供了保证的估计参数的收敛界。此外，我们的模型只需要三次通过训练数据集来提取参数，从而产生高度可扩展的算法，该算法可以使用具有16 GB RAM的单个处理器的标称资源来训练由数百万文档和数十万标签组成的GB数据。我们的模型在大规模数据集上实现了10倍-15倍的速度提升，同时与现有的基准算法相比具有竞争力的性能。
2016-11-01 cs.LG
Coherence Mechanisms for Provable Self-Improvement
针对现有自我改进方法缺乏形式化保证的问题，本文提出基于一致性的原则性框架，通过投影机制实现模型单调改进，证明一致性是可证明自我改进的必要原则。
2025-11-11 cs.LG
Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
提出一种选择性评估框架及 Simulated Annotators 置信度估计方法，通过 Cascaded Selective Evaluation 在控制成本的同时为 LLM 评判提供人类一致性的可证明保证。
2024-07-25 cs.CL cs.LG
Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
The Pennsylvania State University（宾夕法尼亚州立大学）；Microsoft Bing（微软必应）
取样方法（例如，节点式、层式或子图）已经成为加速训练大规模图神经网络（GNN）的不可或缺的策略。然而，现有的采样方法大多是基于图的结构信息，忽略了优化的动态性，这导致估计的随机梯度的方差很大。高方差问题在非常大的图中可能非常明显，这会导致收敛速度慢和泛化能力差。本文从理论上分析了抽样方法的方差，指出由于经验风险的复合结构，任何抽样方法的方差都可以分解为前向阶段的\textit{embedding approximation variance}和后向阶段的\textit{stochastic gradient variance}，为了获得更快的收敛速度，需要对这两种方差进行抑制。我们提出了一个解耦的方差减少策略，采用（近似）梯度信息自适应采样节点的方差最小，并显式地减少嵌入近似引入的方差。我们从理论上和经验表明，所提出的方法，即使具有较小的小批量大小，享有更快的收敛速度，并需要更好的推广相比，现有的方法。
2021-09-05 cs.LG stat.ML
Dynamic Spectral Clustering with Provable Approximation Guarantee
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文研究动态演化图的聚类问题，提出一种动态谱聚类算法，在温和条件下以均摊更新时间 $O(1)$ 和查询时间 $o(n_T)$ 良好近似最终图聚类，并通过实验验证其实用性。
2024-06-05 cs.DS cs.LG
Large-scale Stochastic Optimization of NDCG Surrogates for Deep Learning with Provable Convergence
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）
NDCG，即归一化贴现累积增益，是信息检索和机器学习中广泛使用的排名度量。然而，仍然缺乏有效的和可证明的随机方法来最大化NDCG，特别是对于深层模型。在本文中，我们提出了一个原则性的方法来优化NDCG和它的顶级$K$变体。首先，我们制定了一个新的组合优化问题优化NDCG代理，和一个新的双层组合优化问题优化顶部的$K$ NDCG代理。然后，我们开发了有效的随机算法与可证明的收敛保证的非凸目标。与现有的NDCG优化方法不同，我们的算法的每次迭代的复杂度与小批量的大小，而不是总项目的数量。为了提高深度学习的有效性，我们进一步提出了使用初始预热和停止梯度算子的实用策略。在多个数据集上的实验结果表明，我们的方法在NDCG方面优于先前的排名方法。据我们所知，这是第一次提出随机算法来优化NDCG与可证明的收敛保证。我们提出的方法在LibAUC库中实现，网址为https://libauc.org/。
2023-02-02 cs.AI cs.IR cs.LG
Offline Data Enhanced On-Policy Policy Gradient with Provable Guarantees
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；Cornell University（康奈尔大学）
提出一种结合在线策略NPG与离线数据训练的混合强化学习算法，理论上实现离线与在线策略保证的兼得，实验上在丰富观测环境中优于仅用离策略优化的基线。
2023-11-14 cs.AI cs.LG stat.ML
Provable Guarantees and Efficient Learning of Structural Equation Models with Latent Confounders
The University of Melbourne（墨尔本大学）
本文提出一种迭代识别终端节点并重构观测变量有向无环图的算法，通过稀疏加低秩分解精度矩阵处理潜在混杂变量，并给出样本复杂度保证，实验验证了理论结果。
2026-09-17 cs.LG stat.ML
TSP with Predictions: Heatmap to Tour with Provable Guarantees
IDSIA（IDSIA研究所）
研究旅行商问题，提出将热图转换为旅行路线的算法，有理论保证将近似比与热图质量联系起来，通过实验与先前工作对比。
2026-07-28 cs.DS cs.LG
On the Provable Performance Guarantee of Efficient Reasoning Models
Nanyang Technological University, Singapore（新加坡南洋理工大学）；Southern University of Science（南方科技大学）；The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））
本文提出PAC推理方法，通过动态切换思考与非思考模式，在用户指定容忍度下控制性能损失，实现高效推理与性能保障。
2026-01-30 cs.AI cs.LG math.ST
Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks
Princeton University（普林斯顿大学）
本研究证明了三层神经网络在非线性特征学习上具有可证明的优于两层网络的能力，通过逐层梯度下降分析给出了样本复杂度上界，并在特定设置下实现了样本复杂度改进和基于优化的深度分离。
2025-04-01 cs.LG stat.ML
