Guaranteed Quantization Error Computation for Neural Network Model Compression
Augusta University（奥古斯塔大学）
本文针对量化神经网络压缩，通过合并原网络与量化网络并结合优化和可达性分析计算严格保证的输出量化误差，且以数值示例验证其有效性。
2023-04-26 cs.AI cs.LG cs.NE
CrossCert: A Cross-Checking Detection Approach to Patch Robustness Certification for Deep Learning Models
City University of Hong Kong（香港城市大学）；The University of Hong Kong（香港大学）；Beihang University（北京航空航天大学）
针对现有补丁鲁棒性认证防御无法同时兼顾鲁棒标签与系统性警告的问题，本文提出CrossCert方案，通过交叉校验两个认证恢复防御器实现坚定认证与检测认证，是首个具备该类保障的认证检测技术，实验验证了其有效性。
2024-05-13 cs.AI cs.CR cs.SE
Provable Gradient Variance Guarantees for Black-Box Variational Inference
最近的变分推理方法使用随机梯度估计，其方差不是很好地理解。这些估计量的理论保证对于理解这些方法何时起作用或不起作用是很重要的。本文给出了当目标是光滑的，变分族是位置-尺度分布时，常见的“重新参数化”估计的界。这些界限是不可改进的，因此在所述假设下提供了最好的保证。
2019-10-28 cs.LG stat.ML
Provable Guarantees for Gradient-Based Meta-Learning
Carnegie Mellon University（卡内基梅隆大学）；Determined AI
我们通过在线凸优化的镜头来研究元学习问题，开发了一种元算法，弥合了流行的基于梯度的元学习和经典的基于正则化的多任务转移方法之间的差距。我们的方法是第一个同时满足凸设置中良好的样本效率保证的方法，具有随着任务相似性而提高的泛化界限，同时还可以在计算上扩展到现代深度学习架构和多任务设置。尽管它的简单性，该算法匹配，一个恒定的因素，自然任务相似性假设下的任何这样的参数传输方法的性能上的下限。我们在凸和深度学习设置中使用实验来验证和展示我们理论的适用性。
2019-05-16 cs.AI cs.LG stat.ML
Provable Smoothness Guarantees for Black-Box Variational Inference
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
黑盒变分推理试图通过对简单分布的参数进行基于梯度的优化来近似复杂的目标分布。可证明的收敛保证需要目标的结构属性。本文证明了对于位置-尺度族近似，如果目标是M-Lipschitz光滑的，那么如果熵被排除，目标也是M-Lipschitz光滑的。关键的证明思想是在一定的内积空间中描述梯度，从而允许使用贝塞尔不等式。这一结果提供了深入了解如何参数化分布，给出了最优参数的位置范围，并且是收敛保证的关键成分。
2020-08-14 cs.LG stat.ML
Fair Classification with Noisy Protected Attributes: A Framework with Provable Guarantees
Yale University（耶鲁大学）；Huawei（华为）
我们提出了一个优化框架，学习一个公平的分类器中存在的噪声扰动的保护属性。与以前的工作相比，我们的框架可以使用非常一般的线性和线性分数公平性约束，可以处理多个非二进制保护属性，并输出一个分类器，该分类器具有可证明的准确性和公平性保证。从经验上讲，我们表明，我们的框架可以用来实现统计率或误报率的公平性保证，即使在噪声很大的情况下，在两个真实世界的数据集的准确性损失最小。
2021-02-16 cs.AI cs.CY cs.DS
A Practical Algorithm for Topic Modeling with Provable Guarantees
Princeton University（普林斯顿大学）；New York University（纽约大学）；Institute for Advanced Study（高等研究院）
主题模型为大型文本语料库的降维和探索性数据分析提供了一种有效的方法。主题模型推理的大多数方法都是基于最大似然目标的。存在有效的算法来近似这个目标，但它们没有可证明的保证。最近，已经引入了提供可证明边界的算法，但是这些算法是不实用的，因为它们是低效的并且对于违反模型假设不鲁棒。在本文中，我们提出了一个算法的主题模型推理，这是既可证明和实用。该算法产生的结果相比，最好的MCMC实现，同时运行数量级更快。
2012-12-19 cs.DS cs.LG stat.ML
Weakly Supervised Learners for Correction of AI Errors with Provable Performance Guarantees
King’s College London（伦敦国王学院）；University of Leicester（莱斯特大学）
本文提出一种弱监督AI错误纠正器，通过批准或拒绝底层分类器决策来调节其并弃权，并提供分布无关的性能保证，并在训练数据稀缺的现实图像分类任务中验证了其有效性。
2024-02-13 cs.AI cs.LG stat.ML
Feature Selection for Linear SVM with Provable Guarantees
Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们给出了两个可证明准确的线性SVM的特征选择技术。算法分别在确定时间和随机时间下运行。我们的算法可以用于无监督或监督设置。监督的方法是基于支持向量的采样特征。我们证明，在特征空间中的利润率被保存在$ε$ -在最坏的情况下，在全特征空间中的利润率的相对误差。在无监督设置中，我们还提供了最小封闭球半径的最坏情况保证，从而确保与全特征空间中的泛化相当，并解决了Dasgupta等人提出的一个开放问题。我们在真实世界的数据集上进行了大量的实验，以支持我们的理论，并证明我们的方法具有竞争力，通常优于现有的最先进的方法，没有已知的可证明的保证。
2015-02-06 cs.LG stat.ML
What, Indeed, is an Achievable Provable Guarantee for Learning-Enabled Safety Critical Systems
University Grenoble Alpes（格勒诺布尔大学）；Technical University of Munich（慕尼黑工业大学）；University of Liverpool（利物浦大学）；University of Warwick（华威大学）
针对安全关键系统中机器学习组件的安全保证难题，本文指出现有方法无法提供可证明保证，并提出两步验证方法以实现可证明的统计保证。
2023-07-20 cs.AI cs.LG cs.SE
Solving Linear Inverse Problems Using GAN Priors: An Algorithm with Provable Guarantees
Iowa State University（爱荷华州立大学）
在最近的工作中，基于稀疏性的方法以及基于学习的方法已被证明是成功的，在解决一些具有挑战性的线性逆问题。然而，稀疏先验的自然信号和图像遭受差的判别能力，而基于学习的方法很少提供具体的理论保证。在这项工作中，我们提倡用生成对抗网络（GAN）代替手工制作的先验（如稀疏性）来解决线性逆问题（如压缩感知）。特别是，我们提出了一个投影梯度下降（PGD）算法，有效地利用GAN先验的线性反问题，并提供理论保证，这种算法的收敛速度。此外，我们的经验表明，我们的算法表现出优越的性能比现有的方法利用GANs压缩感知。
2018-02-23 cs.LG stat.ML
Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究院）
自监督学习的最新研究通过依赖于对比学习范式推进了最先进的技术水平，该范式通过将阳性对或来自同一类的类似示例推得更近而将阴性对保持得更远来学习表示。尽管取得了经验上的成功，但理论基础是有限的-先前的分析假设给定相同类别标签的正对的条件独立性，但最近的经验应用使用高度相关的正对（即，同一图像的数据增强）。我们的工作分析了对比学习，而不假设条件独立的积极对使用一个新的概念的数据上的增强图。该图中的边连接相同数据的增强，地面实况类自然形成连接的子图。我们提出了一个损失，执行谱分解的人口扩增图，可以简洁地写为一个对比学习目标神经网络表示。最小化这一目标导致的功能，可证明的精度保证下线性探针评估。通过标准的泛化界限，这些精度保证在最小化训练对比损失时也成立。从经验上讲，我们的目标学习的特征可以匹配或优于基准视觉数据集上的几个强基线。总之，这项工作提供了第一个可证明的分析对比学习的线性探针评估的保证，可以适用于现实的经验设置。
2022-06-24 cs.LG stat.ML
Multi-Model Federated Learning with Provable Guarantees
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Carnegie Mellon University（卡内基梅隆大学）
联邦学习（FL）是分布式学习的一种变体，其中边缘设备协作学习模型，而无需与中央服务器或彼此共享数据。我们指的是训练多个独立的模型，同时在一个联邦设置使用一个共同的池的客户端作为多模型FL的过程。在这项工作中，我们提出了两个变体的流行FedAvg算法多模型FL，可证明的收敛保证。我们进一步表明，对于相同的计算量，多模型FL可以比单独训练每个模型具有更好的性能。我们补充我们的理论结果与强凸，凸和非凸设置的实验。
2022-09-20 cs.DC cs.LG math.OC
Provable Sample Complexity Guarantees for Learning of Continuous-Action Graphical Games with Nonparametric Utilities
Purdue University（普渡大学）
本文研究了具有非参数效用函数的连续行动博弈的精确结构学习问题。我们提出了一个$\ell_1$正则化的方法，鼓励稀疏的傅立叶变换的系数恢复的效用。我们的方法通过访问非常少的纳什均衡和它们的噪声效用来工作。在一定的技术条件下，我们的方法也恢复了这些效用函数的确切结构，从而恢复了游戏的确切结构。此外，我们的方法只需要一个对数数量的样本的数量方面的球员和运行在多项式时间。我们遵循原始-对偶证人框架提供可证明的理论保证。
2020-04-01 cs.GT cs.LG stat.ML
Robust and Provable Guarantees for Sparse Random Embeddings
University of Luxembourg（卢森堡大学）
在这项工作中，我们改进了稀疏随机嵌入的保证，因为它们最近由Freksen等人（NIPS'18）和Jagadeesan（NIPS'19）提供和分析。具体来说，我们表明，（a）我们的边界是明确的，而不是之前提供的渐近保证，（b）我们的边界保证在很宽的参数范围内，包括数据的维数，稀疏性和分散性，实际上显着的常数更清晰。此外，我们根据经验证明，我们的边界在广泛的现实世界数据集上的表现明显优于先前的工作，例如图像集合，表示为词袋的文本文档以及通过神经嵌入矢量化的文本序列。在我们的数值改进的背后是更广泛的兴趣的技术，它改进了以前分析的关键步骤，包括（c）对某些类型的二次混沌的更严格的估计，（d）建立稀疏线性形式的极端性质，以及（e）对独立随机变量之和估计的界限的改进。
2022-02-22 cs.LG stat.ML
First Provable Guarantees for Practical Private FL: Beyond Restrictive Assumptions
本文提出Fed-α-NormEC，首个在标准假设下提供可证明收敛和隐私保障的联邦学习框架，支持实际特征如局部更新和部分客户端参与。
2025-12-25 cs.LG math.OC stat.ML
Provable Quantization with Randomized Hadamard Transform
本文研究了一种基于随机化哈达玛变换的抖动量化方法，证明其在均方误差上可与真正的随机旋转矩阵相媲美，且在压缩保障方面具有理论优势。
2026-05-13 cs.DS cs.LG
Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees
KAUST（阿卜杜拉国王科技大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对分布式深度学习中现有量化方案多与Allreduce不兼容、缺乏理论保证的问题，提出具备收敛理论保证的兼容Allreduce的Global-QSGD梯度量化方法，经多硬件环境实验验证可最高提升训练速度3.51%。
2025-07-29 cs.DC cs.LG stat.ML
Provable convergence guarantees for black-box variational inference
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Université Paris Cité（巴黎西岱大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Flatiron Institute（熨斗研究所）
本文针对黑盒变分推断缺乏收敛保证的问题，利用重参数化梯度估计器的二次噪声界，为近端和投影随机梯度下降提供了新的收敛证明，从而为实践中的方法提供了理论支撑。
2023-12-21 cs.LG math.OC stat.ML
Provable Guarantees for Sparsity Recovery with Deterministic Missing Data Patterns
Purdue University（普渡大学）
我们研究的问题，一贯恢复的稀疏模式的回归参数向量的相关观测确定性缺失的数据模式使用Lasso。我们考虑的情况下，观察到的数据集是由一个确定性的，非均匀的过滤器。在具有确定性缺失结构的数据集中恢复稀疏模式可以说比在均匀随机场景中恢复更具挑战性。本文利用审查过滤器的拓扑性质，提出了一种有效的缺失值填补算法。然后，我们提供了新的理论结果的稀疏模式的精确恢复使用建议的插补策略。我们的分析表明，在一定的统计和拓扑条件下，可以在多项式时间和对数样本复杂度内以高概率一致地恢复隐藏的稀疏模式。
2022-06-10 cs.LG stat.ML
Evading classifiers in discrete domains with provable optimality guarantees
EPFL（洛桑联邦理工学院）；University College London（伦敦大学学院）；University of California, Berkeley（加州大学伯克利分校）
机器人、恶意软件或垃圾邮件检测等安全关键型应用程序的机器学习模型在受约束的离散域中运行。这些应用程序将受益于针对对抗性示例的可证明保证。然而，现有的关于模型的可证明对抗鲁棒性的文献只关注图像等领域对基于梯度的攻击的鲁棒性。这些攻击对对抗成本进行建模，例如，应用于图像的失真量，作为$p$ -范数。我们认为，这种方法并不适合在约束域中建模对抗成本，因为并非所有的例子都是可行的。我们引入了一个图形框架，（1）概括了现有的攻击在离散域，（2）可以容纳复杂的成本函数超出$p$规范，包括财务成本时，攻击分类器，（3）有效地产生有效的对抗性的例子，保证最小的对抗性成本。这些保证直接转化为对抗鲁棒性的概念，考虑到域约束和对手的能力。我们展示了我们的框架如何通过制作对抗性示例来评估安全性，这些示例以可证明的最小数量的更改来逃避Twitter机器人检测分类器;并通过制作对抗性示例来构建隐私防御，这些示例逃避隐私入侵网站指纹分类器。
2019-07-01 cs.CR cs.LG stat.ML
Provable Guarantees for Understanding Out-of-distribution Detection
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
分布外（OOD）检测对于在现实世界中部署机器学习模型非常重要，因为在现实世界中，来自偏移分布的测试数据可能会自然出现。虽然最近出现了大量的算法方法用于OOD检测，但在理论理解方面仍然存在关键差距。在这项工作中，我们开发了一个分析框架，其特点和统一的理论理解OOD检测。我们的分析框架激发了一种新的面向对象检测方法的神经网络，GEM，这表明了理论和经验的优越性。特别是，在CIFAR-100作为分销数据时，我们的方法比竞争基线高出16.57%（FPR 95）。最后，我们正式提供可证明的保证和全面的分析，我们的方法，支持数据分布的各种属性如何影响OOD检测的性能。
2021-12-01 cs.LG
Provable Post-Training Quantization: Theoretical Analysis of OPTQ and Qronos
UC San Diego（加州大学圣地亚哥分校）；AMD
本文首次为OPTQ及Qronos提供了定量误差界，分析了训练后量化的迭代过程对量化误差的影响，并为参数选择和特征排序提供了理论依据。
2026-04-09 cs.AI cs.IT cs.LG
Formal Mechanistic Interpretability: Automated Circuit Discovery with Provable Guarantees
School of Computer Science and Engineering, The Hebrew University of Jerusalem（计算机科学与工程系，耶路撒冷希伯来大学）
本文提出具有可证明保证的自动电路发现算法，通过三种保证类型提升电路的鲁棒性和最小性，为机制可解释性提供理论基础。
2026-02-18 cs.LG cs.LO
Provable guarantees for decision tree induction: the agnostic setting
Stanford University（斯坦福大学）
我们对广泛使用的和经验上成功的{ \sl自上而下的决策树学习算法}的性能给出了加强的可证明的保证。虽然以前的作品集中在可实现的设置，我们认为更现实和具有挑战性的{ \sl不可知}设置。我们发现，对于所有单调函数$f$和参数$s\in \mathbb{N}$，这些算法构造一个大小为$s^{\tilde{O}((\log s)/\varepsilon^2)}$的决策树，该决策树达到错误$\le \mathsf{opt}_s + \varepsilon$，其中$\mathsf{opt}_s$表示$f$的最佳大小- $s$决策树的错误。以前，这种保证是不知道是通过任何算法，即使是一个不是基于自上而下的算法实现。我们补充我们的算法保证与近匹配的$s^{\tildeΩ(\log s)}$下限。
2020-06-01 cs.CC cs.DS cs.LG
Synthesis of Shared Control Protocols with Provable Safety and Performance Guarantees
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们正式合成的共享控制协议的时序逻辑规范的正确性保证。更具体地说，我们引入了一个建模形式主义，其中一个人和一个自治协议可以向机器人发出命令，以执行某项任务。这些命令被混合到机器人的关节输入中。自治协议是使用可能的人类命令的抽象来合成的，这些命令考虑了由诸如疲劳或手头问题的不可理解性等因素引起的决策的随机性。该合成被设计为确保所得到的机器人行为满足给定的安全和性能规范，例如，在时间逻辑中。我们的解决方案是基于非线性规划，我们解决了固有的可扩展性问题，提出替代方法。我们评估的可行性和可扩展性的方法通过实验评估。
2016-10-26 cs.AI cs.LG cs.RO
Provable Membership Inference Privacy
Stanford University（斯坦福大学）；Google Cloud AI Research（谷歌云人工智能研究部）
在涉及敏感数据的应用中，例如金融和医疗保健，保护数据隐私的必要性可能是机器学习模型开发的重要障碍。差分隐私（DP）已经成为可证明隐私的一个规范标准。然而，DP强大的理论保证往往是以其对机器学习的效用大幅下降为代价的，而且DP保证本身可能很难解释。在这项工作中，我们提出了一个新的隐私概念，成员推理隐私（MIP），以解决这些挑战。我们给出了一个精确的表征MIP和DP之间的关系，并表明，MIP可以实现使用更少量的随机性相比，保证DP所需的量，导致较小的实用程序下降。MIP保证也很容易解释的成功率方面的成员推断攻击。我们的理论结果还产生了一个简单的算法，保证MIP，它可以被用来作为一个包装周围的任何算法的连续输出，包括参数模型训练。
2022-11-12 cs.CR cs.LG stat.ML
Provable Computational and Statistical Guarantees for Efficient Learning of Continuous-Action Graphical Games
Purdue University（普渡大学）
在本文中，我们研究了学习的纯策略纳什均衡集和精确结构的一个连续行动的图形游戏的二次支付通过观察一个小的扰动均衡集的问题。一个连续动作的图形游戏可能有一个不可数的纳什均衡集。我们提出了一个$\ell_{12}-$块正则化的方法，恢复图形游戏，其纳什均衡是$ε$ -纳什均衡的游戏，从该数据生成（真正的游戏）。在一个稍微严格的条件下，真正的游戏的参数，我们的方法恢复的图形游戏的确切结构。我们的方法有一个对数样本的复杂性相对于玩家的数量。它也在多项式时间中运行。
2019-11-08 cs.GT cs.LG stat.ML
Classification with Fairness Constraints: A Meta-Algorithm with Provable Guarantees
EPFL（洛桑联邦理工学院）
由于分类算法在各种社会环境中的部署越来越多，开发相对于数据的敏感属性公平的分类算法已经成为一个重要的问题。最近的几项工作都集中在公平性方面的一个特定的指标，建模相应的公平分类问题作为一个约束优化问题，并开发定制的算法来解决这些问题。尽管如此，仍然存在一些重要的指标，我们没有公平的分类器，并且许多上述算法没有理论保证;也许是因为由此产生的优化问题是非凸的。本文的主要贡献是一个新的元算法分类，作为输入的公平性约束的一大类，相对于多个不相交的敏感属性，并带有可证明的保证。这是通过首先开发一个大的家庭的分类问题的凸约束的元算法，然后显示，一般类型的公平性约束的分类问题，可以减少到这个家庭中的那些。我们提出的实证结果表明，我们的算法可以实现近乎完美的公平性，相对于各种公平性指标，和损失的准确性，由于施加的公平性约束往往是小的。总的来说，这项工作统一了几个以前的公平分类工作，提出了一个实用的算法与理论保证，并可以处理公平性指标，以前是不可能的。
2020-04-15 cs.AI cs.CY cs.DS
A Meta-Learning Control Algorithm with Provable Finite-Time Guarantees
在这项工作中，我们提供了可证明的遗憾保证在线元学习控制算法在迭代控制设置，其中在每次迭代中的系统被控制是一个线性确定性系统，是不同的和未知的，在迭代中的控制器的成本是一个一般的附加成本函数和控制输入需要被约束，如果违反会产生额外的成本。我们证明了（i）该算法实现了一个遗憾的控制器成本和约束违反是$O(T^{3/4})$的一个插曲的持续时间$T$相对于最佳的政策，满足控制输入控制约束和（ii）的平均遗憾的控制器成本和约束违反相对于同一政策的变化作为$O((1+\log(N)/N)T^{3/4})$与迭代次数$N$，这表明迭代内的学习的最坏遗憾随着更多迭代的经验而不断改善。
2022-02-04 cs.AI cs.LG cs.SY
Neural Network Virtual Sensors for Fuel Injection Quantities with Provable Performance Specifications
Carnegie Mellon University（卡内基梅隆大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；Bosch Center for Artificial Intelligence（博世人工智能中心）
最近的工作表明，当受到输入扰动时，可以学习神经网络，并对模型的输出提供可证明的保证，然而这些工作主要集中在防御图像分类器的对抗性示例上。在本文中，我们研究这些可证明的保证可以自然地应用到其他现实世界的设置，即获得性能指标的强大的虚拟传感器测量发动机内的燃油喷射量。我们首先证明，在这种情况下，即使是简单的神经网络模型也非常容易受到合理水平的对抗性传感器噪声的影响，这能够将标准神经网络的平均相对误差从6.6%增加到43.8%。然后，我们利用学习可证明鲁棒性的网络和验证鲁棒性的方法，从而产生一个鲁棒的模型，我们可以证明保证在任何传感器噪声下最多有16.5%的平均相对误差。此外，我们展示了如何可以针对特定的燃料喷射量的间隔，以最大限度地提高某些范围内的鲁棒性，使我们能够训练虚拟传感器的燃料喷射，这是可证明的，保证有最多10.69%的相对误差噪声下，同时保持3%的相对误差在非对抗性的数据归一化的燃料喷射范围内的0.6至1.0。
2020-06-30 cs.LG stat.ML
Provable robustness against all adversarial $l_p$-perturbations for $p\geq 1$
University of Tübingen（图宾根大学）
近年来，已经提出了几种对抗攻击和防御。通常，当使用更复杂的攻击时，看似健壮的模型变得不健壮。摆脱这种困境的一种方法是可证明的鲁棒性保证。虽然可证明的强大的模型为特定的$l_p$扰动模型已经开发出来，我们表明，他们没有任何保证对其他$l_q$扰动。我们为ReLU网络提出了一种新的正则化方案MMR-Universal，它增强了$l_1$和$l_\infty$扰动的鲁棒性，并展示了这是如何导致$p\geq 1$的第一个可证明鲁棒的模型的。
2020-04-24 cs.CR cs.LG stat.ML
Offline Data Enhanced On-Policy Policy Gradient with Provable Guarantees
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；Cornell University（康奈尔大学）
提出一种结合在线策略NPG与离线数据训练的混合强化学习算法，理论上实现离线与在线策略保证的兼得，实验上在丰富观测环境中优于仅用离策略优化的基线。
2023-11-14 cs.AI cs.LG stat.ML
Deciphering Raw Data in Neuro-Symbolic Learning with Provable Guarantees
Nanjing University（南京大学）
本文提出一种刻画知识库监督信号的新方法并建立可学习性判定准则，首次从理论上解释神经符号混合系统何时成功或失败，并通过基准实验验证其有效性。
2024-01-23 cs.AI cs.LG
PC-PG: Policy Cover Directed Exploration for Provable Policy Gradient Learning
Microsoft Research（微软研究院）；Facebook AI Research（Facebook 人工智能研究院）；University of Washington（华盛顿大学）；Cornell University（康奈尔大学）
用于强化学习的直接策略梯度方法是一种成功的方法，原因有很多：它们是无模型的，它们直接优化感兴趣的性能指标，并且它们允许丰富的参数化策略。它们的主要缺点是，由于是地方性的，它们无法充分探索环境。相比之下，虽然基于模型的方法和Q学习直接通过使用乐观来处理探索，但它们处理模型错误指定和函数近似的能力远没有那么明显。这项工作介绍了策略覆盖-策略梯度（PC-PG）算法，该算法可证明使用学习策略（策略覆盖）的集合来平衡探索与利用的权衡。PC-PG享有多项式样本复杂度和运行时间的表格MDP，更一般地说，线性MDP在无限维RKHS。此外，PC-PG还具有超出标准最坏情况$\ell_{\infty}$假设的模型误设定下的强保证;这包括在平均情况误差假设下的状态聚合的近似保证，以及在分布偏移下的近似误差受控的更一般假设下的保证。我们补充的理论与经验评估在各种领域的奖励自由和奖励驱动的设置。
2020-08-13 cs.AI cs.LG stat.ML
V-SHARE: Provable Convergence Guarantees for Advantage-based Algorithms
Indian Institute of Science（印度科学学院）；Aalto University（阿尔托大学）
研究针对基于优势的强化学习算法理论理解不足的问题，提出V-SHARE算法，结合跨动作值共享与重要性加权Bellman残差校正，完成其收敛性等理论刻画，缓解异步Q学习的稀有动作瓶颈，经实验验证有效。
2026-10-16 cs.AI cs.LG
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University（德克萨斯农工大学）
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策，是强大的参数不确定性，由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法，这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后，我们提出了鲁棒最小二乘策略迭代（RLSPI）算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差（接近最优性）所产生的政策。最后，我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Provable Hierarchy-Based Meta-Reinforcement Learning
Princeton University（普林斯顿大学）
分层强化学习（HRL）作为一种复杂模块化行为的易处理学习方法受到了广泛的关注。然而，现有的工作要么假设访问专家构造的层次结构，或使用层次学习算法，没有可证明的保证。为了解决这一差距，我们分析了元RL设置中的HRL，其中学习者在元训练期间学习潜在的层次结构，用于下游任务。我们考虑一个表格设置，自然的层次结构嵌入在过渡动态。类似于有监督的元学习理论，我们提供了“多样性条件”，连同一个易于处理的基于乐观主义的算法，保证样本有效的恢复这个自然的层次结构。此外，我们提供了后悔界限上的学习者使用恢复的层次结构来解决元测试任务。我们的界限纳入了HRL文献中的常见概念，如时间和状态/动作抽象，这表明我们的设置和分析在实践中捕捉到了HRL的重要特征。
2021-10-18 cs.LG stat.ML
Reachability Analysis of Deep Neural Networks with Provable Guarantees
University of Oxford（牛津大学）；University of Liverpool（利物浦大学）
深度神经网络（DNN）的正确性是具有挑战性的。我们研究了前馈DNN的通用可达性问题，对于给定的网络输入集和其输出上的Lipschitz连续函数，计算函数值的上下界。因为网络和函数是Lipschitz连续的，所以在下界和上界之间的区间内的所有值都是可达的。我们展示了如何获得的安全验证问题，输出范围分析问题和鲁棒性措施，通过实例化的可达性问题。我们提出了一种新的算法，基于自适应嵌套优化来解决可达性问题。该技术已在一系列DNN上实施和评估，证明了其效率，可扩展性和处理比最先进的验证方法更广泛的网络类别的能力。
2018-05-06 cs.CV cs.LG stat.ML
Dyn-D$^2$P: Dynamic Differentially Private Decentralized Learning with Provable Utility Guarantee
Zhejiang University（浙江大学）；Qilu University of Technology（齐鲁工业大学）
针对固定裁剪与噪声导致隐私保护去中心化学习精度下降的问题，提出 Dyn-D$^2$P，依据梯度收敛动态调节参数，并给出可证明效用界。
2025-05-10 cs.AI cs.LG
Global Robustness Evaluation of Deep Neural Networks with Provable Guarantees for the $L_0$ Norm
University of Oxford（牛津大学）；University of Liverpool（利物浦大学）
在安全或安全关键系统中部署深度神经网络（DNN）需要对其正确行为的可证明保证。一个常见的要求是对输入附近的对抗性扰动的鲁棒性。在本文中，我们专注于$L_0$范数，并针对训练的DNN和输入计算输入周围的安全范数球的最大半径，其中没有对抗性示例。然后，我们定义全局鲁棒性作为一个期望的最大安全半径超过一个测试数据集。我们首先证明了这个问题是NP-困难的，然后提出了一种近似的方法来迭代计算网络鲁棒性的上下界。该方法是\emph{anytime}，即，它返回随着计算的进行而逐渐但严格地改进的中间边界和鲁棒性估计; \emph{tensor-based}，即，计算是在一组输入上同时进行的，而不是逐个进行的，以实现高效的GPU计算;并且具有\emph{provable guarantees}，即，边界和鲁棒性估计都可以收敛到它们的最优值。最后，我们证明了所提出的方法在实践中的实用性，以计算紧边界的应用和适应的任何时候算法的一组具有挑战性的问题，包括全球鲁棒性评估，竞争性$L_0$攻击，DNN的测试用例生成，和大规模的ImageNet DNN的本地鲁棒性评估。我们通过GitHub发布所有案例研究的代码。
2018-11-20 cs.CR cs.CV cs.LG
Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks
The Pennsylvania State University（宾夕法尼亚州立大学）；Microsoft Bing（微软必应）
取样方法（例如，节点式、层式或子图）已经成为加速训练大规模图神经网络（GNN）的不可或缺的策略。然而，现有的采样方法大多是基于图的结构信息，忽略了优化的动态性，这导致估计的随机梯度的方差很大。高方差问题在非常大的图中可能非常明显，这会导致收敛速度慢和泛化能力差。本文从理论上分析了抽样方法的方差，指出由于经验风险的复合结构，任何抽样方法的方差都可以分解为前向阶段的\textit{embedding approximation variance}和后向阶段的\textit{stochastic gradient variance}，为了获得更快的收敛速度，需要对这两种方差进行抑制。我们提出了一个解耦的方差减少策略，采用（近似）梯度信息自适应采样节点的方差最小，并显式地减少嵌入近似引入的方差。我们从理论上和经验表明，所提出的方法，即使具有较小的小批量大小，享有更快的收敛速度，并需要更好的推广相比，现有的方法。
2021-09-05 cs.LG stat.ML
Quantization enabled Privacy Protection in Decentralized Stochastic Optimization
Clemson University（克莱姆森大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
分散式随机最优化通过使多个智能体在没有中央协调器的情况下协作解决全局最优化问题，在机器学习、控制和传感器网络等领域获得越来越多的关注。由于相关数据通常包含敏感信息，如用户位置和个人身份，隐私保护已成为分散随机最优化实现的关键需求。在本文中，我们提出了一个分散的随机最优化算法，即使在存在侵略性的量化误差，量化输入的幅度成比例的情况下，能够保证可证明的收敛精度。结果适用于凸和非凸目标函数，并使我们能够利用积极的量化方案来混淆共享信息，从而使隐私保护，而不会失去可证明的优化精度。实际上，通过使用一个{随机}三进制量化方案，将任意值量化到三个数值水平，我们在分散随机最优化中实现了基于量化的严格差分隐私，这在以前还没有报道过。结合所提出的量化方案，所提出的算法确保，第一次，严格的差分隐私分散随机最优化，而不失去可证明的收敛精度。分布式估计问题的仿真结果以及在基准机器学习数据集上进行分散学习的数值实验证实了所提出方法的有效性。
2022-08-07 cs.CR cs.LG cs.SY
Provable Guarantees and Efficient Learning of Structural Equation Models with Latent Confounders
The University of Melbourne（墨尔本大学）
本文提出一种迭代识别终端节点并重构观测变量有向无环图的算法，通过稀疏加低秩分解精度矩阵处理潜在混杂变量，并给出样本复杂度保证，实验验证了理论结果。
2026-09-17 cs.LG stat.ML
Feature Selection for Ridge Regression with Provable Guarantees
Paypal Inc.（贝宝公司）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们引入单集光谱稀疏作为一个确定性的采样为基础的特征选择技术的正则化最小二乘分类，这是分类模拟岭回归。该方法是无监督的，并给出了最坏情况下的分类功能的泛化能力的保证后，相对于使用所有功能获得的分类功能的特征选择。我们还介绍了无监督的随机特征选择方法的岭回归的评分抽样。我们提供了风险界单集频谱稀疏和采样分数采样岭回归在固定的设计设置，并表明，在采样空间的风险是可比的全功能空间的风险。我们在合成和真实世界的数据集上进行实验，即TechTC-300数据集的一个子集，以支持我们的理论。实验结果表明，该方法的性能优于现有的特征选择方法。
2015-12-05 cs.IT cs.LG math.IT
DAEs for Linear Inverse Problems: Improved Recovery with Provable Guarantees
San Jose State University（圣何塞州立大学）
生成先验已被证明在线性逆问题中提供比稀疏先验更好的结果。然而，现有技术的方法具有以下缺点中的一个或多个：（a）恢复速度慢;（b）重建质量有缺陷;（c）重建质量取决于调整超参数的计算上昂贵的过程。在这项工作中，我们通过利用去噪自动编码器（DAE）作为先验知识和投影梯度下降算法来恢复原始信号来解决这些问题。我们为我们的方法提供了严格的理论保证，并通过实验证明了它在压缩感知，修复和超分辨率方面优于现有的最先进的方法。我们发现，我们的算法将恢复速度提高了两个数量级（超过100倍），将重建质量提高了一个数量级（超过10倍），并且不需要调整超参数。
2021-01-13 cs.CV cs.LG eess.IV
Provable Model Provenance Set for Large Language Models
Department of Statistics and Data Science, Southern University of Science and Technology, Shenzhen, China（统计与数据科学系，南方科技大学，深圳，中国）
本文提出了一种可证明保证的模型来源集，通过顺序测试和排除方法实现可靠来源覆盖，适用于大语言模型的归因与审计任务。
2026-01-31 cs.LG
Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks
Princeton University（普林斯顿大学）
本研究证明了三层神经网络在非线性特征学习上具有可证明的优于两层网络的能力，通过逐层梯度下降分析给出了样本复杂度上界，并在特定设置下实现了样本复杂度改进和基于优化的深度分离。
2025-04-01 cs.LG stat.ML
Multi-Label Learning with Provable Guarantee
在这里，我们研究了大型文本语料库的学习标签的问题，其中每个文本可以被分配一个可变数量的标签。当标签维度很小时，这个问题可能看起来微不足道，并且可以使用一系列one-vs-all分类器轻松解决。然而，随着标签维数增加到几千，参数空间变得非常大，不再可能使用one-vs-all技术。在这里，我们提出了一个模型的基础上的高阶矩的语料库中，以及标签和词之间的交叉矩的多标签预测。我们的模型提供了保证的估计参数的收敛界。此外，我们的模型只需要三次通过训练数据集来提取参数，从而产生高度可扩展的算法，该算法可以使用具有16 GB RAM的单个处理器的标称资源来训练由数百万文档和数十万标签组成的GB数据。我们的模型在大规模数据集上实现了10倍-15倍的速度提升，同时与现有的基准算法相比具有竞争力的性能。
2016-11-01 cs.LG
Coherence Mechanisms for Provable Self-Improvement
针对现有自我改进方法缺乏形式化保证的问题，本文提出基于一致性的原则性框架，通过投影机制实现模型单调改进，证明一致性是可证明自我改进的必要原则。
2025-11-11 cs.LG
On Statistical Properties of Sharpness-Aware Minimization: Provable Guarantees
MIT（麻省理工学院）；MIT Sloan Schools of Management（麻省理工学院斯隆管理学院）
本文直接研究了SAM的统计性能，通过分析单隐藏层神经网络和核回归问题，证明在特定条件下SAM比梯度下降具有更小的预测误差，尤其适用于非凸问题，并从理论上解释了其良好泛化性的原因。
2023-05-19 cs.LG stat.ML
Provable Bounds for Learning Some Deep Representations
Princeton University（普林斯顿大学）；Google Research NYC（谷歌纽约研究院）；EPFL（洛桑联邦理工学院）；Microsoft Research, New England（微软新英格兰研究院）
我们给出了具有可证明保证的算法，这些算法在Hinton等人推广的生成模型视图中学习一类深度网。我们的生成模型是一个$n$节点多层神经网络，对于某些$γ<1$，其度至多为$n^γ$，并且每条边在$[-1,1]$中具有随机的边权重。我们的算法学习{ \em几乎所有}网络在这类多项式运行时间。样本复杂度为二次或三次，具体取决于模型的详细信息。该算法使用分层学习。它是基于一个新的想法，观察功能之间的相关性，并使用这些来推断潜在的边缘结构，通过一个全局图恢复过程。对算法的分析揭示了具有随机边权值的神经网络有趣的结构。
2013-10-23 cs.AI cs.LG stat.ML
Adapting to Online Label Shift with Provable Guarantees
Nanjing University（南京大学）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
当训练数据与即将到来的测试样本共享相同的分布时，标准的监督学习范例有效地工作。然而，在现实世界的应用程序中，这种静态假设往往是违反的，特别是当测试数据出现在一个在线的方式。在本文中，我们制定和调查的问题\emph{online label shift}（OLaS）：学习者训练的初始模型从标记的离线数据，然后将其部署到一个未标记的在线环境中，底层的标签分布随时间而变化，但标签条件密度不。非平稳性和缺乏监督的性质使得这一问题具有挑战性。为了解决这个困难，我们构造了一个新的无偏风险估计，利用未标记的数据，它表现出许多良性的性质，虽然与潜在的非凸性。在此基础上，我们提出了新的在线集成算法来处理环境的非平稳性。我们的方法享有最佳的\emph{dynamic regret}，表明性能是有竞争力的千里眼谁知道在事后的在线环境，然后选择最佳的决定，为每一轮。所得到的动态后悔边界尺度的强度和模式的标签分布偏移，因此表现出适应性的OLaS问题。大量的实验进行验证的有效性和支持我们的理论研究结果。
2023-01-15 cs.LG stat.ML
Model-agnostic Selective Labeling with Provable Statistical Guarantees
Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学）；Department of Mathematics, The Chinese University of HongKong（数学系，香港中文大学）；School of Software Engineering, South China University of Technology（软件工程学院，华南理工大学）
本文提出符合性标注方法，通过控制假发现率保证人工智能预测的可信度，从而提升大规模数据标注的准确性和效率。
2026-02-14 cs.AI cs.LG
