Provable Guarantees on the Robustness of Decision Rules to Causal Interventions
University of Oxford（牛津大学）
决策规则对数据生成过程中的变化的鲁棒性对于决策系统的成功部署至关重要。这种转变可以被视为对因果图的干预，它捕捉了数据生成过程中的变化（可能是假设的），无论是由于自然原因还是对手的行动。我们认为因果贝叶斯网络和正式定义的干预鲁棒性问题，一种新的基于模型的决策函数的鲁棒性的概念，衡量最坏情况下的性能相对于一组干预措施，表示变化的参数和/或因果关系的影响。通过依赖于一个易于处理的表示贝叶斯网络的算术电路，我们提供了有效的算法，用于计算保证的上限和下限的干预鲁棒性概率。实验结果表明，该方法产生有用的和可解释的范围内的实际网络，铺平了道路，可证明因果关系的强大的决策系统。
2021-05-19 cs.AI cs.LG
Post-training Quantization for Neural Networks with Provable Guarantees
University of California San Diego（加州大学圣地亚哥分校）
虽然神经网络在广泛的应用中取得了显著的成功，但在资源受限的硬件中实现它们仍然是一个深入研究的领域。通过用量化的（例如，4位或二进制）对应，实现了计算成本、存储器和功耗的大量节省。为此，我们概括了一个后训练神经网络量化方法，GPFQ，这是基于贪婪的路径跟踪机制。除其他外，我们提出了修改，以促进稀疏的权重，并严格分析相关的错误。此外，我们的误差分析扩展了先前GPFQ工作的结果，以处理一般的量化字母表，表明对于量化单层网络，相对平方误差基本上在权重数量上线性衰减-即，过度参数化。我们的结果适用于一系列输入分布，并且适用于全连接和卷积架构，从而也扩展了以前的结果。为了对该方法进行经验评估，我们使用几种常见的架构，每种架构的权重都很少，并在ImageNet上进行测试，与未量化的模型相比，准确性只有轻微的损失。我们还表明，标准的修改，如偏差校正和混合精度量化，进一步提高精度。
2023-01-15 cs.AI cs.LG stat.ML
Implicit Hypergraph Neural Networks: A Stable Framework for Higher-Order Relational Learning with Provable Guarantees
针对超图神经网络因堆叠显式层导致长程依赖受限和训练不稳定的问题，提出隐式超图神经网络IHGNN，通过求解非线性不动点方程实现稳定全局传播，并证明其收敛性与泛化能力。
2025-08-13 cs.AI cs.LG
Large-scale Stochastic Optimization of NDCG Surrogates for Deep Learning with Provable Convergence
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）
NDCG，即归一化贴现累积增益，是信息检索和机器学习中广泛使用的排名度量。然而，仍然缺乏有效的和可证明的随机方法来最大化NDCG，特别是对于深层模型。在本文中，我们提出了一个原则性的方法来优化NDCG和它的顶级$K$变体。首先，我们制定了一个新的组合优化问题优化NDCG代理，和一个新的双层组合优化问题优化顶部的$K$ NDCG代理。然后，我们开发了有效的随机算法与可证明的收敛保证的非凸目标。与现有的NDCG优化方法不同，我们的算法的每次迭代的复杂度与小批量的大小，而不是总项目的数量。为了提高深度学习的有效性，我们进一步提出了使用初始预热和停止梯度算子的实用策略。在多个数据集上的实验结果表明，我们的方法在NDCG方面优于先前的排名方法。据我们所知，这是第一次提出随机算法来优化NDCG与可证明的收敛保证。我们提出的方法在LibAUC库中实现，网址为https://libauc.org/。
2023-02-02 cs.AI cs.IR cs.LG
Beyond Log-concavity: Provable Guarantees for Sampling Multi-modal Distributions using Simulated Tempering Langevin Monte Carlo
Duke University（杜克大学）；Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
贝叶斯统计中的一个关键任务是从仅指定到分区函数（即，比例常数）。然而，在没有任何假设的情况下，采样（即使是近似）也可能是#P-hard的，很少有作品为这种设置提供了“超越最坏情况”的保证。对于对数凹分布，经典的结果可以追溯到Bakry和Émery（1985），表明自然连续时间马尔可夫链称为朗之万扩散混合在多项式时间。在实践中违反对数分布的最显著特征是单峰：通常，我们希望从中采样的分布是多峰的。在存在多个深度且分离良好的模式的情况下，朗之万扩散会遭受迟钝混合。我们解决这个问题，结合朗之万扩散与模拟回火。其结果是一个马尔可夫链，通过在分布的不同温度之间过渡，混合得更快。我们分析这个马尔可夫链的典型多峰分布：高斯（等方差）的混合物。该算法的基础上，我们的马尔可夫链可证明样本的分布是接近混合高斯，获得梯度的对数PDF。对于分析，我们使用图的谱分解定理（Gharan和Trevisan，2014）和马尔可夫链分解技术（Madras和Randall，2002）。
2017-11-06 cs.DS cs.LG math.PR
Provable Filter Pruning for Efficient Neural Networks
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；University of Haifa（海法大学）
我们提出了一种可证明的，基于采样的方法，通过识别和删除冗余滤波器从过参数化网络生成紧凑的卷积神经网络（CNN）。我们的算法使用一小批输入数据点分配一个显着性得分到每个过滤器，并构造一个重要性采样分布，高度影响输出的过滤器，相应的高概率采样。与现有的过滤器修剪方法相比，我们的方法是同时数据通知，表现出可证明的保证修剪网络的大小和性能，并广泛适用于不同的网络架构和数据集。我们的分析界限桥接了网络结构的可压缩性和重要性的概念，这产生了一个全自动的过程，用于识别和保留对网络性能至关重要的层中的过滤器。我们流行的架构和数据集上的实验评估表明，我们的算法始终生成稀疏和更有效的模型比现有的过滤器修剪方法。
2020-03-23 cs.LG stat.ML
Safety Verification of Neural Network Control Systems Using Guaranteed Neural Network Model Reduction
Augusta University（奥古斯塔大学）；Southwest Jiaotong University（西南交通大学）
为了提高神经网络控制系统安全性验证的计算效率，提出了一种保证神经网络模型降阶方法。首先，提出了模型降阶精度的概念来描述神经网络的输出与其降阶后的输出之间的保证距离。提出了一种基于可达性的模型降阶精度计算方法。然后，通过将一个尺寸减小的神经网络控制器替换到闭环系统中，开发了一种计算原系统的可达集的算法，该算法能够支持计算效率更高的安全验证过程。最后，将所提出的方法应用于带有神经网络控制器的自适应巡航控制系统的实例研究中，结果表明，该方法可以显著减少安全验证的计算时间，从而验证了该方法的有效性。
2023-01-17 cs.AI cs.LG
Verified SHAP: Provable Bounds for Exact Shapley Values of Neural Networks
University of Konstanz, Konstanz, Germany（康斯坦茨大学）；Hebrew University of Jerusalem, Jerusalem, Israel（耶路撒冷希伯来大学）；University of St.Gallen, St.Gallen, Switzerland（斯图加特大学）
利用神经网络验证技术，提出一种计算SHAP值精确上下界的算法，可扩展到比现有精确方法大数个数量级的搜索空间。
2026-05-22 cs.AI cs.LG cs.LO
High-dimensional regression with noisy and missing data: Provable guarantees with nonconvexity
虽然预测问题的标准公式涉及充分观察和无噪声的数据，但在i.i.d.以这种方式，许多应用涉及噪声和/或丢失的数据，也可能涉及依赖性。我们研究这些问题的背景下，高维稀疏线性回归，并提出了新的估计的情况下，噪声，缺失和/或依赖数据。许多处理噪声或缺失数据的标准方法，例如使用EM算法的方法，导致本质上非凸的最优化问题，并且难以建立对实际算法的理论保证。虽然我们的方法也涉及优化非凸程序，我们都能够分析与任何全局最优值，更令人惊讶的是，证明一个简单的算法的基础上投影梯度下降将收敛在多项式时间的一个小的邻域的所有全局极小值。在统计方面，我们提供了非渐近的界限，具有高概率的情况下，嘈杂，缺失和/或依赖的数据。在计算方面，我们证明了在相同类型的条件下，所需的统计一致性，投影梯度下降算法是保证收敛到一个近全局最小的几何速度。我们说明这些理论预测与模拟，显示出密切的协议与预测的缩放。
2012-09-25 cs.IT math.IT math.ST
CrossCert: A Cross-Checking Detection Approach to Patch Robustness Certification for Deep Learning Models
City University of Hong Kong（香港城市大学）；The University of Hong Kong（香港大学）；Beihang University（北京航空航天大学）
针对现有补丁鲁棒性认证防御无法同时兼顾鲁棒标签与系统性警告的问题，本文提出CrossCert方案，通过交叉校验两个认证恢复防御器实现坚定认证与检测认证，是首个具备该类保障的认证检测技术，实验验证了其有效性。
2024-05-13 cs.AI cs.CR cs.SE
Provable Guarantees for Gradient-Based Meta-Learning
Carnegie Mellon University（卡内基梅隆大学）；Determined AI
我们通过在线凸优化的镜头来研究元学习问题，开发了一种元算法，弥合了流行的基于梯度的元学习和经典的基于正则化的多任务转移方法之间的差距。我们的方法是第一个同时满足凸设置中良好的样本效率保证的方法，具有随着任务相似性而提高的泛化界限，同时还可以在计算上扩展到现代深度学习架构和多任务设置。尽管它的简单性，该算法匹配，一个恒定的因素，自然任务相似性假设下的任何这样的参数传输方法的性能上的下限。我们在凸和深度学习设置中使用实验来验证和展示我们理论的适用性。
2019-05-16 cs.AI cs.LG stat.ML
Fair Classification with Noisy Protected Attributes: A Framework with Provable Guarantees
Yale University（耶鲁大学）；Huawei（华为）
我们提出了一个优化框架，学习一个公平的分类器中存在的噪声扰动的保护属性。与以前的工作相比，我们的框架可以使用非常一般的线性和线性分数公平性约束，可以处理多个非二进制保护属性，并输出一个分类器，该分类器具有可证明的准确性和公平性保证。从经验上讲，我们表明，我们的框架可以用来实现统计率或误报率的公平性保证，即使在噪声很大的情况下，在两个真实世界的数据集的准确性损失最小。
2021-02-16 cs.AI cs.CY cs.DS
Weakly Supervised Learners for Correction of AI Errors with Provable Performance Guarantees
King’s College London（伦敦国王学院）；University of Leicester（莱斯特大学）
本文提出一种弱监督AI错误纠正器，通过批准或拒绝底层分类器决策来调节其并弃权，并提供分布无关的性能保证，并在训练数据稀缺的现实图像分类任务中验证了其有效性。
2024-02-13 cs.AI cs.LG stat.ML
Feature Selection for Linear SVM with Provable Guarantees
Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们给出了两个可证明准确的线性SVM的特征选择技术。算法分别在确定时间和随机时间下运行。我们的算法可以用于无监督或监督设置。监督的方法是基于支持向量的采样特征。我们证明，在特征空间中的利润率被保存在$ε$ -在最坏的情况下，在全特征空间中的利润率的相对误差。在无监督设置中，我们还提供了最小封闭球半径的最坏情况保证，从而确保与全特征空间中的泛化相当，并解决了Dasgupta等人提出的一个开放问题。我们在真实世界的数据集上进行了大量的实验，以支持我们的理论，并证明我们的方法具有竞争力，通常优于现有的最先进的方法，没有已知的可证明的保证。
2015-02-06 cs.LG stat.ML
What, Indeed, is an Achievable Provable Guarantee for Learning-Enabled Safety Critical Systems
University Grenoble Alpes（格勒诺布尔大学）；Technical University of Munich（慕尼黑工业大学）；University of Liverpool（利物浦大学）；University of Warwick（华威大学）
针对安全关键系统中机器学习组件的安全保证难题，本文指出现有方法无法提供可证明保证，并提出两步验证方法以实现可证明的统计保证。
2023-07-20 cs.AI cs.LG cs.SE
Solving Linear Inverse Problems Using GAN Priors: An Algorithm with Provable Guarantees
Iowa State University（爱荷华州立大学）
在最近的工作中，基于稀疏性的方法以及基于学习的方法已被证明是成功的，在解决一些具有挑战性的线性逆问题。然而，稀疏先验的自然信号和图像遭受差的判别能力，而基于学习的方法很少提供具体的理论保证。在这项工作中，我们提倡用生成对抗网络（GAN）代替手工制作的先验（如稀疏性）来解决线性逆问题（如压缩感知）。特别是，我们提出了一个投影梯度下降（PGD）算法，有效地利用GAN先验的线性反问题，并提供理论保证，这种算法的收敛速度。此外，我们的经验表明，我们的算法表现出优越的性能比现有的方法利用GANs压缩感知。
2018-02-23 cs.LG stat.ML
Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究院）
自监督学习的最新研究通过依赖于对比学习范式推进了最先进的技术水平，该范式通过将阳性对或来自同一类的类似示例推得更近而将阴性对保持得更远来学习表示。尽管取得了经验上的成功，但理论基础是有限的-先前的分析假设给定相同类别标签的正对的条件独立性，但最近的经验应用使用高度相关的正对（即，同一图像的数据增强）。我们的工作分析了对比学习，而不假设条件独立的积极对使用一个新的概念的数据上的增强图。该图中的边连接相同数据的增强，地面实况类自然形成连接的子图。我们提出了一个损失，执行谱分解的人口扩增图，可以简洁地写为一个对比学习目标神经网络表示。最小化这一目标导致的功能，可证明的精度保证下线性探针评估。通过标准的泛化界限，这些精度保证在最小化训练对比损失时也成立。从经验上讲，我们的目标学习的特征可以匹配或优于基准视觉数据集上的几个强基线。总之，这项工作提供了第一个可证明的分析对比学习的线性探针评估的保证，可以适用于现实的经验设置。
2022-06-24 cs.LG stat.ML
Multi-Model Federated Learning with Provable Guarantees
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Carnegie Mellon University（卡内基梅隆大学）
联邦学习（FL）是分布式学习的一种变体，其中边缘设备协作学习模型，而无需与中央服务器或彼此共享数据。我们指的是训练多个独立的模型，同时在一个联邦设置使用一个共同的池的客户端作为多模型FL的过程。在这项工作中，我们提出了两个变体的流行FedAvg算法多模型FL，可证明的收敛保证。我们进一步表明，对于相同的计算量，多模型FL可以比单独训练每个模型具有更好的性能。我们补充我们的理论结果与强凸，凸和非凸设置的实验。
2022-09-20 cs.DC cs.LG math.OC
Provable Sample Complexity Guarantees for Learning of Continuous-Action Graphical Games with Nonparametric Utilities
Purdue University（普渡大学）
本文研究了具有非参数效用函数的连续行动博弈的精确结构学习问题。我们提出了一个$\ell_1$正则化的方法，鼓励稀疏的傅立叶变换的系数恢复的效用。我们的方法通过访问非常少的纳什均衡和它们的噪声效用来工作。在一定的技术条件下，我们的方法也恢复了这些效用函数的确切结构，从而恢复了游戏的确切结构。此外，我们的方法只需要一个对数数量的样本的数量方面的球员和运行在多项式时间。我们遵循原始-对偶证人框架提供可证明的理论保证。
2020-04-01 cs.GT cs.LG stat.ML
Robust and Provable Guarantees for Sparse Random Embeddings
University of Luxembourg（卢森堡大学）
在这项工作中，我们改进了稀疏随机嵌入的保证，因为它们最近由Freksen等人（NIPS'18）和Jagadeesan（NIPS'19）提供和分析。具体来说，我们表明，（a）我们的边界是明确的，而不是之前提供的渐近保证，（b）我们的边界保证在很宽的参数范围内，包括数据的维数，稀疏性和分散性，实际上显着的常数更清晰。此外，我们根据经验证明，我们的边界在广泛的现实世界数据集上的表现明显优于先前的工作，例如图像集合，表示为词袋的文本文档以及通过神经嵌入矢量化的文本序列。在我们的数值改进的背后是更广泛的兴趣的技术，它改进了以前分析的关键步骤，包括（c）对某些类型的二次混沌的更严格的估计，（d）建立稀疏线性形式的极端性质，以及（e）对独立随机变量之和估计的界限的改进。
2022-02-22 cs.LG stat.ML
First Provable Guarantees for Practical Private FL: Beyond Restrictive Assumptions
本文提出Fed-α-NormEC，首个在标准假设下提供可证明收敛和隐私保障的联邦学习框架，支持实际特征如局部更新和部分客户端参与。
2025-12-25 cs.LG math.OC stat.ML
Provable Guarantees for Sparsity Recovery with Deterministic Missing Data Patterns
Purdue University（普渡大学）
我们研究的问题，一贯恢复的稀疏模式的回归参数向量的相关观测确定性缺失的数据模式使用Lasso。我们考虑的情况下，观察到的数据集是由一个确定性的，非均匀的过滤器。在具有确定性缺失结构的数据集中恢复稀疏模式可以说比在均匀随机场景中恢复更具挑战性。本文利用审查过滤器的拓扑性质，提出了一种有效的缺失值填补算法。然后，我们提供了新的理论结果的稀疏模式的精确恢复使用建议的插补策略。我们的分析表明，在一定的统计和拓扑条件下，可以在多项式时间和对数样本复杂度内以高概率一致地恢复隐藏的稀疏模式。
2022-06-10 cs.LG stat.ML
Evading classifiers in discrete domains with provable optimality guarantees
EPFL（洛桑联邦理工学院）；University College London（伦敦大学学院）；University of California, Berkeley（加州大学伯克利分校）
机器人、恶意软件或垃圾邮件检测等安全关键型应用程序的机器学习模型在受约束的离散域中运行。这些应用程序将受益于针对对抗性示例的可证明保证。然而，现有的关于模型的可证明对抗鲁棒性的文献只关注图像等领域对基于梯度的攻击的鲁棒性。这些攻击对对抗成本进行建模，例如，应用于图像的失真量，作为$p$ -范数。我们认为，这种方法并不适合在约束域中建模对抗成本，因为并非所有的例子都是可行的。我们引入了一个图形框架，（1）概括了现有的攻击在离散域，（2）可以容纳复杂的成本函数超出$p$规范，包括财务成本时，攻击分类器，（3）有效地产生有效的对抗性的例子，保证最小的对抗性成本。这些保证直接转化为对抗鲁棒性的概念，考虑到域约束和对手的能力。我们展示了我们的框架如何通过制作对抗性示例来评估安全性，这些示例以可证明的最小数量的更改来逃避Twitter机器人检测分类器;并通过制作对抗性示例来构建隐私防御，这些示例逃避隐私入侵网站指纹分类器。
2019-07-01 cs.CR cs.LG stat.ML
Provable Fairness for Neural Network Models using Formal Verification
Stony Brook University（石溪大学）
机器学习模型越来越多地用于关键决策任务，因此验证它们不包含从训练数据中提取的性别或种族偏见变得非常重要。实现公平性的典型方法围绕着清理或管理训练数据的努力，以及对评估数据的模型公平性的事后统计评估。相比之下，我们提出的技术\emph{prove}公平性使用最近开发的形式化方法，验证神经网络models.Beyond的正式证明所暗示的保证的强度，我们的方法的优势，我们不需要明确的训练或评估数据（这往往是专有的），以分析一个给定的训练模型。在公平性文献中的两个熟悉的数据集（COMPAS和ADULTS）上进行的实验中，我们表明，通过适当的训练，我们可以以AUC分数小于1%的代价将不公平性平均降低65.4%。
2022-12-16 cs.CY cs.LG
Provable Guarantees for Understanding Out-of-distribution Detection
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
分布外（OOD）检测对于在现实世界中部署机器学习模型非常重要，因为在现实世界中，来自偏移分布的测试数据可能会自然出现。虽然最近出现了大量的算法方法用于OOD检测，但在理论理解方面仍然存在关键差距。在这项工作中，我们开发了一个分析框架，其特点和统一的理论理解OOD检测。我们的分析框架激发了一种新的面向对象检测方法的神经网络，GEM，这表明了理论和经验的优越性。特别是，在CIFAR-100作为分销数据时，我们的方法比竞争基线高出16.57%（FPR 95）。最后，我们正式提供可证明的保证和全面的分析，我们的方法，支持数据分布的各种属性如何影响OOD检测的性能。
2021-12-01 cs.LG
A Dual Approach to Scalable Verification of Deep Networks
DeepMind
本文讨论了形式化验证神经网络的期望性质的问题，即，获得神经网络满足与其输入和输出相关的规范的可证明保证（例如，对有界范数对抗扰动的鲁棒性）。大多数以前的工作在这个主题是有限的，其适用性的网络，网络架构的大小和复杂性的属性进行验证。相比之下，我们的框架适用于一般类的激活函数和规范的神经网络的输入和输出。我们制定验证作为一个优化问题（寻求找到最大的违反规范），并解决拉格朗日松弛的优化问题，以获得最坏情况下违反规范的上限进行验证。我们的方法是任何时候，即它可以在任何时候停止，并可以获得最大违规的有效界限。我们开发了专门的验证算法，在特殊的假设下，可证明的紧密性保证，并证明了我们的一般验证方法对各种验证任务的实际意义。
2018-08-03 cs.LG stat.ML
Formal Mechanistic Interpretability: Automated Circuit Discovery with Provable Guarantees
School of Computer Science and Engineering, The Hebrew University of Jerusalem（计算机科学与工程系，耶路撒冷希伯来大学）
本文提出具有可证明保证的自动电路发现算法，通过三种保证类型提升电路的鲁棒性和最小性，为机制可解释性提供理论基础。
2026-02-18 cs.LG cs.LO
Provable guarantees for decision tree induction: the agnostic setting
Stanford University（斯坦福大学）
我们对广泛使用的和经验上成功的{ \sl自上而下的决策树学习算法}的性能给出了加强的可证明的保证。虽然以前的作品集中在可实现的设置，我们认为更现实和具有挑战性的{ \sl不可知}设置。我们发现，对于所有单调函数$f$和参数$s\in \mathbb{N}$，这些算法构造一个大小为$s^{\tilde{O}((\log s)/\varepsilon^2)}$的决策树，该决策树达到错误$\le \mathsf{opt}_s + \varepsilon$，其中$\mathsf{opt}_s$表示$f$的最佳大小- $s$决策树的错误。以前，这种保证是不知道是通过任何算法，即使是一个不是基于自上而下的算法实现。我们补充我们的算法保证与近匹配的$s^{\tildeΩ(\log s)}$下限。
2020-06-01 cs.CC cs.DS cs.LG
Synthesis of Shared Control Protocols with Provable Safety and Performance Guarantees
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们正式合成的共享控制协议的时序逻辑规范的正确性保证。更具体地说，我们引入了一个建模形式主义，其中一个人和一个自治协议可以向机器人发出命令，以执行某项任务。这些命令被混合到机器人的关节输入中。自治协议是使用可能的人类命令的抽象来合成的，这些命令考虑了由诸如疲劳或手头问题的不可理解性等因素引起的决策的随机性。该合成被设计为确保所得到的机器人行为满足给定的安全和性能规范，例如，在时间逻辑中。我们的解决方案是基于非线性规划，我们解决了固有的可扩展性问题，提出替代方法。我们评估的可行性和可扩展性的方法通过实验评估。
2016-10-26 cs.AI cs.LG cs.RO
Provable Membership Inference Privacy
Stanford University（斯坦福大学）；Google Cloud AI Research（谷歌云人工智能研究部）
在涉及敏感数据的应用中，例如金融和医疗保健，保护数据隐私的必要性可能是机器学习模型开发的重要障碍。差分隐私（DP）已经成为可证明隐私的一个规范标准。然而，DP强大的理论保证往往是以其对机器学习的效用大幅下降为代价的，而且DP保证本身可能很难解释。在这项工作中，我们提出了一个新的隐私概念，成员推理隐私（MIP），以解决这些挑战。我们给出了一个精确的表征MIP和DP之间的关系，并表明，MIP可以实现使用更少量的随机性相比，保证DP所需的量，导致较小的实用程序下降。MIP保证也很容易解释的成功率方面的成员推断攻击。我们的理论结果还产生了一个简单的算法，保证MIP，它可以被用来作为一个包装周围的任何算法的连续输出，包括参数模型训练。
2022-11-12 cs.CR cs.LG stat.ML
Adversarial Training and Provable Robustness: A Tale of Two Objectives
Boston University（波士顿大学）
我们提出了一个原则性的框架，结合对抗性训练和可证明的鲁棒性验证，用于训练可证明鲁棒的神经网络。我们制定的训练问题作为一个联合优化问题的经验和可证明的鲁棒性目标，并开发了一种新的梯度下降技术，可以消除随机多梯度的偏见。我们进行理论分析的收敛性所提出的技术和实验比较与国家的最先进的。MNIST和CIFAR-10的结果表明，我们的方法可以始终匹配或优于以前的方法，可证明的l无穷大的鲁棒性。值得注意的是，我们实现了6.60%的验证测试误差MNIST在ω = 0.3，和66.57%的CIFAR-10与ω = 8/255。
2021-03-01 cs.LG stat.ML
Provable Computational and Statistical Guarantees for Efficient Learning of Continuous-Action Graphical Games
Purdue University（普渡大学）
在本文中，我们研究了学习的纯策略纳什均衡集和精确结构的一个连续行动的图形游戏的二次支付通过观察一个小的扰动均衡集的问题。一个连续动作的图形游戏可能有一个不可数的纳什均衡集。我们提出了一个$\ell_{12}-$块正则化的方法，恢复图形游戏，其纳什均衡是$ε$ -纳什均衡的游戏，从该数据生成（真正的游戏）。在一个稍微严格的条件下，真正的游戏的参数，我们的方法恢复的图形游戏的确切结构。我们的方法有一个对数样本的复杂性相对于玩家的数量。它也在多项式时间中运行。
2019-11-08 cs.GT cs.LG stat.ML
Classification with Fairness Constraints: A Meta-Algorithm with Provable Guarantees
EPFL（洛桑联邦理工学院）
由于分类算法在各种社会环境中的部署越来越多，开发相对于数据的敏感属性公平的分类算法已经成为一个重要的问题。最近的几项工作都集中在公平性方面的一个特定的指标，建模相应的公平分类问题作为一个约束优化问题，并开发定制的算法来解决这些问题。尽管如此，仍然存在一些重要的指标，我们没有公平的分类器，并且许多上述算法没有理论保证;也许是因为由此产生的优化问题是非凸的。本文的主要贡献是一个新的元算法分类，作为输入的公平性约束的一大类，相对于多个不相交的敏感属性，并带有可证明的保证。这是通过首先开发一个大的家庭的分类问题的凸约束的元算法，然后显示，一般类型的公平性约束的分类问题，可以减少到这个家庭中的那些。我们提出的实证结果表明，我们的算法可以实现近乎完美的公平性，相对于各种公平性指标，和损失的准确性，由于施加的公平性约束往往是小的。总的来说，这项工作统一了几个以前的公平分类工作，提出了一个实用的算法与理论保证，并可以处理公平性指标，以前是不可能的。
2020-04-15 cs.AI cs.CY cs.DS
A Meta-Learning Control Algorithm with Provable Finite-Time Guarantees
在这项工作中，我们提供了可证明的遗憾保证在线元学习控制算法在迭代控制设置，其中在每次迭代中的系统被控制是一个线性确定性系统，是不同的和未知的，在迭代中的控制器的成本是一个一般的附加成本函数和控制输入需要被约束，如果违反会产生额外的成本。我们证明了（i）该算法实现了一个遗憾的控制器成本和约束违反是$O(T^{3/4})$的一个插曲的持续时间$T$相对于最佳的政策，满足控制输入控制约束和（ii）的平均遗憾的控制器成本和约束违反相对于同一政策的变化作为$O((1+\log(N)/N)T^{3/4})$与迭代次数$N$，这表明迭代内的学习的最坏遗憾随着更多迭代的经验而不断改善。
2022-02-04 cs.AI cs.LG cs.SY
On Practical Reinforcement Learning: Provable Robustness, Scalability, and Statistical Efficiency
Deakin University（迪肯大学）
本论文对现代实际应用中的基本强化学习方法进行了深入研究，包括鲁棒强化学习、分布式强化学习和离线神经函数逼近强化学习。本文首先为读者提供了RL的总体概述以及统计和优化方面的关键技术背景。在每一个设置，论文激励的问题进行研究，回顾了目前的文献，提供计算效率的算法，可证明的效率保证，并得出结论，未来的研究方向。本文在算法、理论和经验方面对上述三种设置做出了基本贡献，同时与实际考虑保持相关。
2022-03-03 cs.AI cs.LG stat.ML
Neural Network Virtual Sensors for Fuel Injection Quantities with Provable Performance Specifications
Carnegie Mellon University（卡内基梅隆大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；Bosch Center for Artificial Intelligence（博世人工智能中心）
最近的工作表明，当受到输入扰动时，可以学习神经网络，并对模型的输出提供可证明的保证，然而这些工作主要集中在防御图像分类器的对抗性示例上。在本文中，我们研究这些可证明的保证可以自然地应用到其他现实世界的设置，即获得性能指标的强大的虚拟传感器测量发动机内的燃油喷射量。我们首先证明，在这种情况下，即使是简单的神经网络模型也非常容易受到合理水平的对抗性传感器噪声的影响，这能够将标准神经网络的平均相对误差从6.6%增加到43.8%。然后，我们利用学习可证明鲁棒性的网络和验证鲁棒性的方法，从而产生一个鲁棒的模型，我们可以证明保证在任何传感器噪声下最多有16.5%的平均相对误差。此外，我们展示了如何可以针对特定的燃料喷射量的间隔，以最大限度地提高某些范围内的鲁棒性，使我们能够训练虚拟传感器的燃料喷射，这是可证明的，保证有最多10.69%的相对误差噪声下，同时保持3%的相对误差在非对抗性的数据归一化的燃料喷射范围内的0.6至1.0。
2020-06-30 cs.LG stat.ML
Provable robustness against all adversarial $l_p$-perturbations for $p\geq 1$
University of Tübingen（图宾根大学）
近年来，已经提出了几种对抗攻击和防御。通常，当使用更复杂的攻击时，看似健壮的模型变得不健壮。摆脱这种困境的一种方法是可证明的鲁棒性保证。虽然可证明的强大的模型为特定的$l_p$扰动模型已经开发出来，我们表明，他们没有任何保证对其他$l_q$扰动。我们为ReLU网络提出了一种新的正则化方案MMR-Universal，它增强了$l_1$和$l_\infty$扰动的鲁棒性，并展示了这是如何导致$p\geq 1$的第一个可证明鲁棒的模型的。
2020-04-24 cs.CR cs.LG stat.ML
Offline Data Enhanced On-Policy Policy Gradient with Provable Guarantees
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；Cornell University（康奈尔大学）
提出一种结合在线策略NPG与离线数据训练的混合强化学习算法，理论上实现离线与在线策略保证的兼得，实验上在丰富观测环境中优于仅用离策略优化的基线。
2023-11-14 cs.AI cs.LG stat.ML
Deciphering Raw Data in Neuro-Symbolic Learning with Provable Guarantees
Nanjing University（南京大学）
本文提出一种刻画知识库监督信号的新方法并建立可学习性判定准则，首次从理论上解释神经符号混合系统何时成功或失败，并通过基准实验验证其有效性。
2024-01-23 cs.AI cs.LG
PC-PG: Policy Cover Directed Exploration for Provable Policy Gradient Learning
Microsoft Research（微软研究院）；Facebook AI Research（Facebook 人工智能研究院）；University of Washington（华盛顿大学）；Cornell University（康奈尔大学）
用于强化学习的直接策略梯度方法是一种成功的方法，原因有很多：它们是无模型的，它们直接优化感兴趣的性能指标，并且它们允许丰富的参数化策略。它们的主要缺点是，由于是地方性的，它们无法充分探索环境。相比之下，虽然基于模型的方法和Q学习直接通过使用乐观来处理探索，但它们处理模型错误指定和函数近似的能力远没有那么明显。这项工作介绍了策略覆盖-策略梯度（PC-PG）算法，该算法可证明使用学习策略（策略覆盖）的集合来平衡探索与利用的权衡。PC-PG享有多项式样本复杂度和运行时间的表格MDP，更一般地说，线性MDP在无限维RKHS。此外，PC-PG还具有超出标准最坏情况$\ell_{\infty}$假设的模型误设定下的强保证;这包括在平均情况误差假设下的状态聚合的近似保证，以及在分布偏移下的近似误差受控的更一般假设下的保证。我们补充的理论与经验评估在各种领域的奖励自由和奖励驱动的设置。
2020-08-13 cs.AI cs.LG stat.ML
Reachability Analysis of Deep Neural Networks with Provable Guarantees
University of Oxford（牛津大学）；University of Liverpool（利物浦大学）
深度神经网络（DNN）的正确性是具有挑战性的。我们研究了前馈DNN的通用可达性问题，对于给定的网络输入集和其输出上的Lipschitz连续函数，计算函数值的上下界。因为网络和函数是Lipschitz连续的，所以在下界和上界之间的区间内的所有值都是可达的。我们展示了如何获得的安全验证问题，输出范围分析问题和鲁棒性措施，通过实例化的可达性问题。我们提出了一种新的算法，基于自适应嵌套优化来解决可达性问题。该技术已在一系列DNN上实施和评估，证明了其效率，可扩展性和处理比最先进的验证方法更广泛的网络类别的能力。
2018-05-06 cs.CV cs.LG stat.ML
V-SHARE: Provable Convergence Guarantees for Advantage-based Algorithms
Indian Institute of Science（印度科学学院）；Aalto University（阿尔托大学）
研究针对基于优势的强化学习算法理论理解不足的问题，提出V-SHARE算法，结合跨动作值共享与重要性加权Bellman残差校正，完成其收敛性等理论刻画，缓解异步Q学习的稀有动作瓶颈，经实验验证有效。
2026-10-16 cs.AI cs.LG
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University（德克萨斯农工大学）
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策，是强大的参数不确定性，由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法，这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后，我们提出了鲁棒最小二乘策略迭代（RLSPI）算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差（接近最优性）所产生的政策。最后，我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees
KAUST（阿卜杜拉国王科技大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对分布式深度学习中现有量化方案多与Allreduce不兼容、缺乏理论保证的问题，提出具备收敛理论保证的兼容Allreduce的Global-QSGD梯度量化方法，经多硬件环境实验验证可最高提升训练速度3.51%。
2025-07-29 cs.DC cs.LG stat.ML
Provable Hierarchy-Based Meta-Reinforcement Learning
Princeton University（普林斯顿大学）
分层强化学习（HRL）作为一种复杂模块化行为的易处理学习方法受到了广泛的关注。然而，现有的工作要么假设访问专家构造的层次结构，或使用层次学习算法，没有可证明的保证。为了解决这一差距，我们分析了元RL设置中的HRL，其中学习者在元训练期间学习潜在的层次结构，用于下游任务。我们考虑一个表格设置，自然的层次结构嵌入在过渡动态。类似于有监督的元学习理论，我们提供了“多样性条件”，连同一个易于处理的基于乐观主义的算法，保证样本有效的恢复这个自然的层次结构。此外，我们提供了后悔界限上的学习者使用恢复的层次结构来解决元测试任务。我们的界限纳入了HRL文献中的常见概念，如时间和状态/动作抽象，这表明我们的设置和分析在实践中捕捉到了HRL的重要特征。
2021-10-18 cs.LG stat.ML
Robustness Verification of Support Vector Machines
University of Padova（帕多瓦大学）
我们研究的问题，正式验证的鲁棒性对抗的例子支持向量机（SVM），一个主要的机器学习模型的分类和回归任务。在最近的一系列关于（深度）神经网络的正式鲁棒性验证的工作之后，我们的方法依赖于一个给定SVM分类器的合理抽象版本来检查其鲁棒性。这种方法是一个给定的数值抽象的真实值的参数，类似于神经网络的情况下，既不需要抽象的最小上界，也不扩大运营商在这个抽象。标准的区间域提供了一个简单的实例，我们的抽象技术，这是增强与域的减少仿射形式，这是一个有效的抽象zonotope抽象域。这种鲁棒性验证技术已经在基于线性和非线性（多项式和径向基函数）内核的SVM上完全实现和实验评估，这些内核已经在流行的MNIST图像数据集和最近更具挑战性的Fashion-MNIST数据集上进行了训练。我们的原型SVM鲁棒性验证器的实验结果似乎是令人鼓舞的：这种自动化验证是快速的，可扩展的，并显示出显着高百分比的MNIST测试集上的可证明的鲁棒性，特别是相比类似的可证明的鲁棒性的神经网络。
2019-04-26 cs.LG stat.ML
Dyn-D$^2$P: Dynamic Differentially Private Decentralized Learning with Provable Utility Guarantee
Zhejiang University（浙江大学）；Qilu University of Technology（齐鲁工业大学）
针对固定裁剪与噪声导致隐私保护去中心化学习精度下降的问题，提出 Dyn-D$^2$P，依据梯度收敛动态调节参数，并给出可证明效用界。
2025-05-10 cs.AI cs.LG
Global Robustness Evaluation of Deep Neural Networks with Provable Guarantees for the $L_0$ Norm
University of Oxford（牛津大学）；University of Liverpool（利物浦大学）
在安全或安全关键系统中部署深度神经网络（DNN）需要对其正确行为的可证明保证。一个常见的要求是对输入附近的对抗性扰动的鲁棒性。在本文中，我们专注于$L_0$范数，并针对训练的DNN和输入计算输入周围的安全范数球的最大半径，其中没有对抗性示例。然后，我们定义全局鲁棒性作为一个期望的最大安全半径超过一个测试数据集。我们首先证明了这个问题是NP-困难的，然后提出了一种近似的方法来迭代计算网络鲁棒性的上下界。该方法是\emph{anytime}，即，它返回随着计算的进行而逐渐但严格地改进的中间边界和鲁棒性估计; \emph{tensor-based}，即，计算是在一组输入上同时进行的，而不是逐个进行的，以实现高效的GPU计算;并且具有\emph{provable guarantees}，即，边界和鲁棒性估计都可以收敛到它们的最优值。最后，我们证明了所提出的方法在实践中的实用性，以计算紧边界的应用和适应的任何时候算法的一组具有挑战性的问题，包括全球鲁棒性评估，竞争性$L_0$攻击，DNN的测试用例生成，和大规模的ImageNet DNN的本地鲁棒性评估。我们通过GitHub发布所有案例研究的代码。
2018-11-20 cs.CR cs.CV cs.LG
Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
The Pennsylvania State University（宾夕法尼亚州立大学）；Microsoft Bing（微软必应）
取样方法（例如，节点式、层式或子图）已经成为加速训练大规模图神经网络（GNN）的不可或缺的策略。然而，现有的采样方法大多是基于图的结构信息，忽略了优化的动态性，这导致估计的随机梯度的方差很大。高方差问题在非常大的图中可能非常明显，这会导致收敛速度慢和泛化能力差。本文从理论上分析了抽样方法的方差，指出由于经验风险的复合结构，任何抽样方法的方差都可以分解为前向阶段的\textit{embedding approximation variance}和后向阶段的\textit{stochastic gradient variance}，为了获得更快的收敛速度，需要对这两种方差进行抑制。我们提出了一个解耦的方差减少策略，采用（近似）梯度信息自适应采样节点的方差最小，并显式地减少嵌入近似引入的方差。我们从理论上和经验表明，所提出的方法，即使具有较小的小批量大小，享有更快的收敛速度，并需要更好的推广相比，现有的方法。
2021-09-05 cs.LG stat.ML
Provable Guarantees and Efficient Learning of Structural Equation Models with Latent Confounders
The University of Melbourne（墨尔本大学）
本文提出一种迭代识别终端节点并重构观测变量有向无环图的算法，通过稀疏加低秩分解精度矩阵处理潜在混杂变量，并给出样本复杂度保证，实验验证了理论结果。
2026-09-17 cs.LG stat.ML
Feature Selection for Ridge Regression with Provable Guarantees
Paypal Inc.（贝宝公司）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们引入单集光谱稀疏作为一个确定性的采样为基础的特征选择技术的正则化最小二乘分类，这是分类模拟岭回归。该方法是无监督的，并给出了最坏情况下的分类功能的泛化能力的保证后，相对于使用所有功能获得的分类功能的特征选择。我们还介绍了无监督的随机特征选择方法的岭回归的评分抽样。我们提供了风险界单集频谱稀疏和采样分数采样岭回归在固定的设计设置，并表明，在采样空间的风险是可比的全功能空间的风险。我们在合成和真实世界的数据集上进行实验，即TechTC-300数据集的一个子集，以支持我们的理论。实验结果表明，该方法的性能优于现有的特征选择方法。
2015-12-05 cs.IT cs.LG math.IT
DAEs for Linear Inverse Problems: Improved Recovery with Provable Guarantees
San Jose State University（圣何塞州立大学）
生成先验已被证明在线性逆问题中提供比稀疏先验更好的结果。然而，现有技术的方法具有以下缺点中的一个或多个：（a）恢复速度慢;（b）重建质量有缺陷;（c）重建质量取决于调整超参数的计算上昂贵的过程。在这项工作中，我们通过利用去噪自动编码器（DAE）作为先验知识和投影梯度下降算法来恢复原始信号来解决这些问题。我们为我们的方法提供了严格的理论保证，并通过实验证明了它在压缩感知，修复和超分辨率方面优于现有的最先进的方法。我们发现，我们的算法将恢复速度提高了两个数量级（超过100倍），将重建质量提高了一个数量级（超过10倍），并且不需要调整超参数。
2021-01-13 cs.CV cs.LG eess.IV
Provable Model Provenance Set for Large Language Models
Department of Statistics and Data Science, Southern University of Science and Technology, Shenzhen, China（统计与数据科学系，南方科技大学，深圳，中国）
本文提出了一种可证明保证的模型来源集，通过顺序测试和排除方法实现可靠来源覆盖，适用于大语言模型的归因与审计任务。
2026-01-31 cs.LG
Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks
Princeton University（普林斯顿大学）
本研究证明了三层神经网络在非线性特征学习上具有可证明的优于两层网络的能力，通过逐层梯度下降分析给出了样本复杂度上界，并在特定设置下实现了样本复杂度改进和基于优化的深度分离。
2025-04-01 cs.LG stat.ML
