Formal Mechanistic Interpretability: Automated Circuit Discovery with Provable Guarantees
School of Computer Science and Engineering, The Hebrew University of Jerusalem（计算机科学与工程系，耶路撒冷希伯来大学）
本文提出具有可证明保证的自动电路发现算法，通过三种保证类型提升电路的鲁棒性和最小性，为机制可解释性提供理论基础。
2026-02-18 cs.LG cs.LO
Flow-Controlled Scheduling for LLM Inference with Provable Stability Guarantees
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种流控制框架，通过控制提示加入活跃集的速度，解决LLM推理中解码长度未知导致的内存溢出问题，并证明算法的稳定性。
2026-04-13 cs.LG
Provable Guarantees for Spectral Structured Prediction
The University of Melbourne（墨尔本大学）
本文针对带边翻转噪声的符号图，提出谱方法进行节点标签恢复，并首次给出与图结构无关的理论保证，包括近似推断和角度偏差界，通过合成实验验证了理论。
2026-09-17 cs.LG
What, Indeed, is an Achievable Provable Guarantee for Learning-Enabled Safety Critical Systems
University Grenoble Alpes（格勒诺布尔大学）；Technical University of Munich（慕尼黑工业大学）；University of Liverpool（利物浦大学）；University of Warwick（华威大学）
针对安全关键系统中机器学习组件的安全保证难题，本文指出现有方法无法提供可证明保证，并提出两步验证方法以实现可证明的统计保证。
2023-07-20 cs.AI cs.LG cs.SE
Feature Selection for Linear SVM with Provable Guarantees
Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们给出了两个可证明准确的线性SVM的特征选择技术。算法分别在确定时间和随机时间下运行。我们的算法可以用于无监督或监督设置。监督的方法是基于支持向量的采样特征。我们证明，在特征空间中的利润率被保存在$ε$ -在最坏的情况下，在全特征空间中的利润率的相对误差。在无监督设置中，我们还提供了最小封闭球半径的最坏情况保证，从而确保与全特征空间中的泛化相当，并解决了Dasgupta等人提出的一个开放问题。我们在真实世界的数据集上进行了大量的实验，以支持我们的理论，并证明我们的方法具有竞争力，通常优于现有的最先进的方法，没有已知的可证明的保证。
2015-02-06 cs.LG stat.ML
Non-Stationary Restless Multi-Armed Bandits with Provable Guarantee
Georgia Institute of Technology（佐治亚理工学院）
针对现实场景中非平稳动态导致传统RMAB算法失效的问题，提出结合滑动窗口强化学习与UCB机制的算法，并首次为受有界变化预算约束的非平稳RMAB问题提供了基础理论框架与遗憾界证明。
2025-08-14 cs.LG
Provable guarantees for decision tree induction: the agnostic setting
Stanford University（斯坦福大学）
我们对广泛使用的和经验上成功的{ \sl自上而下的决策树学习算法}的性能给出了加强的可证明的保证。虽然以前的作品集中在可实现的设置，我们认为更现实和具有挑战性的{ \sl不可知}设置。我们发现，对于所有单调函数$f$和参数$s\in \mathbb{N}$，这些算法构造一个大小为$s^{\tilde{O}((\log s)/\varepsilon^2)}$的决策树，该决策树达到错误$\le \mathsf{opt}_s + \varepsilon$，其中$\mathsf{opt}_s$表示$f$的最佳大小- $s$决策树的错误。以前，这种保证是不知道是通过任何算法，即使是一个不是基于自上而下的算法实现。我们补充我们的算法保证与近匹配的$s^{\tildeΩ(\log s)}$下限。
2020-06-01 cs.CC cs.DS cs.LG
KQ-SVD: Compressing the KV Cache with Provable Guarantees on Attention Fidelity
ENS de Lyon（里昂高等师范学院）；DIRO, Université de Montréal（蒙特利尔大学DIRO中心）；Mila（Mila人工智能研究所）；CIFAR AI Chair（CIFAR人工智能主席）
KQ-SVD通过最优低秩分解提升KV缓存压缩的注意力保真度，实验证明其在LLaMA和Mistral模型中表现优异。
2025-12-05 cs.LG
Solving Linear Inverse Problems Using GAN Priors: An Algorithm with Provable Guarantees
Iowa State University（爱荷华州立大学）
在最近的工作中，基于稀疏性的方法以及基于学习的方法已被证明是成功的，在解决一些具有挑战性的线性逆问题。然而，稀疏先验的自然信号和图像遭受差的判别能力，而基于学习的方法很少提供具体的理论保证。在这项工作中，我们提倡用生成对抗网络（GAN）代替手工制作的先验（如稀疏性）来解决线性逆问题（如压缩感知）。特别是，我们提出了一个投影梯度下降（PGD）算法，有效地利用GAN先验的线性反问题，并提供理论保证，这种算法的收敛速度。此外，我们的经验表明，我们的算法表现出优越的性能比现有的方法利用GANs压缩感知。
2018-02-23 cs.LG stat.ML
Fair Classification with Noisy Protected Attributes: A Framework with Provable Guarantees
Yale University（耶鲁大学）；Huawei（华为）
我们提出了一个优化框架，学习一个公平的分类器中存在的噪声扰动的保护属性。与以前的工作相比，我们的框架可以使用非常一般的线性和线性分数公平性约束，可以处理多个非二进制保护属性，并输出一个分类器，该分类器具有可证明的准确性和公平性保证。从经验上讲，我们表明，我们的框架可以用来实现统计率或误报率的公平性保证，即使在噪声很大的情况下，在两个真实世界的数据集的准确性损失最小。
2021-02-16 cs.AI cs.CY cs.DS
Fast Collaborative Filtering from Implicit Feedback with Provable Guarantees
构建推荐算法是机器学习中最具挑战性的任务之一。虽然大多数推荐系统都是建立在用户在评分或文本方面的明确反馈上的，但大多数应用程序都没有收到这样的反馈。在这里，我们考虑推荐任务，其中唯一可用的数据是用户与项目交互的记录，随着时间的推移，在订阅或购买项目方面，这被称为隐式反馈推荐。对于任何Web应用程序来说，通常都有大量这样的用户-项目交互。像PLSI或矩阵分解这样的算法在数据集上运行几次迭代，对于大型数据集来说可能非常昂贵。在这里，我们提出了一个推荐算法的基础上的矩方法，其中涉及到的二阶和三阶矩的数据集的因式分解。我们的算法可以证明是全局收敛的PAC学习理论。此外，我们展示了如何通过整个数据集只使用三次来提取参数。这导致了一个高度可扩展的算法，即使在具有单核处理器和8 GB RAM的机器上也可扩展到数百万用户，并产生与现有算法相比具有竞争力的性能。
2016-08-21 cs.LG
Multi-Model Federated Learning with Provable Guarantees
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Carnegie Mellon University（卡内基梅隆大学）
联邦学习（FL）是分布式学习的一种变体，其中边缘设备协作学习模型，而无需与中央服务器或彼此共享数据。我们指的是训练多个独立的模型，同时在一个联邦设置使用一个共同的池的客户端作为多模型FL的过程。在这项工作中，我们提出了两个变体的流行FedAvg算法多模型FL，可证明的收敛保证。我们进一步表明，对于相同的计算量，多模型FL可以比单独训练每个模型具有更好的性能。我们补充我们的理论结果与强凸，凸和非凸设置的实验。
2022-09-20 cs.DC cs.LG math.OC
Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究院）
自监督学习的最新研究通过依赖于对比学习范式推进了最先进的技术水平，该范式通过将阳性对或来自同一类的类似示例推得更近而将阴性对保持得更远来学习表示。尽管取得了经验上的成功，但理论基础是有限的-先前的分析假设给定相同类别标签的正对的条件独立性，但最近的经验应用使用高度相关的正对（即，同一图像的数据增强）。我们的工作分析了对比学习，而不假设条件独立的积极对使用一个新的概念的数据上的增强图。该图中的边连接相同数据的增强，地面实况类自然形成连接的子图。我们提出了一个损失，执行谱分解的人口扩增图，可以简洁地写为一个对比学习目标神经网络表示。最小化这一目标导致的功能，可证明的精度保证下线性探针评估。通过标准的泛化界限，这些精度保证在最小化训练对比损失时也成立。从经验上讲，我们的目标学习的特征可以匹配或优于基准视觉数据集上的几个强基线。总之，这项工作提供了第一个可证明的分析对比学习的线性探针评估的保证，可以适用于现实的经验设置。
2022-06-24 cs.LG stat.ML
Provable Sample Complexity Guarantees for Learning of Continuous-Action Graphical Games with Nonparametric Utilities
Purdue University（普渡大学）
本文研究了具有非参数效用函数的连续行动博弈的精确结构学习问题。我们提出了一个$\ell_1$正则化的方法，鼓励稀疏的傅立叶变换的系数恢复的效用。我们的方法通过访问非常少的纳什均衡和它们的噪声效用来工作。在一定的技术条件下，我们的方法也恢复了这些效用函数的确切结构，从而恢复了游戏的确切结构。此外，我们的方法只需要一个对数数量的样本的数量方面的球员和运行在多项式时间。我们遵循原始-对偶证人框架提供可证明的理论保证。
2020-04-01 cs.GT cs.LG stat.ML
Deep Partition Aggregation: Provable Defense against General Poisoning Attacks
University of Maryland（马里兰大学）
对抗性中毒攻击扭曲训练数据，以破坏分类器的测试时行为。可证明的防御为每个测试样本提供了一个证书，这是训练集的任何对抗性失真的幅度的下限，可以破坏测试样本的分类。我们提出了两种新的针对中毒攻击的可证明防御：（i）深度分区聚合（DPA），针对一般中毒威胁模型的认证防御，定义为向训练集插入或删除有限数量的样本-通过暗示，该威胁模型还包括对有限数量的图像和/或标签的任意扭曲;以及（ii）半监督DPA（SS-DPA），一种针对标签翻转中毒攻击的认证防御。DPA是一种集成方法，其中基础模型在由散列函数确定的训练集的分区上训练。DPA与子集聚合（经典机器学习中一种研究得很好的集成方法）以及随机平滑（一种流行的可证明防御规避攻击的方法）有关。我们对标签翻转攻击的防御，SS-DPA，使用半监督学习算法作为其基本分类器模型：每个基本分类器除了使用分区的标签外，还使用整个未标记的训练集进行训练。SS-DPA在MNIST和CIFAR-10上的标签翻转攻击方面明显优于现有的认证防御：可以证明，对于至少一半的测试图像，MNIST上的标签翻转超过600次（相对于< 200次标签翻转），CIFAR-10上的标签翻转超过300次（相对于175次标签翻转）。针对一般中毒攻击，在没有事先认证的防御措施的情况下，DPA可以针对MNIST上的500多个中毒图像插入和CIFAR-10上的9个插入认证>= 50%的测试图像。这…
2021-03-18 cs.LG stat.ML
Robust and Provable Guarantees for Sparse Random Embeddings
University of Luxembourg（卢森堡大学）
在这项工作中，我们改进了稀疏随机嵌入的保证，因为它们最近由Freksen等人（NIPS'18）和Jagadeesan（NIPS'19）提供和分析。具体来说，我们表明，（a）我们的边界是明确的，而不是之前提供的渐近保证，（b）我们的边界保证在很宽的参数范围内，包括数据的维数，稀疏性和分散性，实际上显着的常数更清晰。此外，我们根据经验证明，我们的边界在广泛的现实世界数据集上的表现明显优于先前的工作，例如图像集合，表示为词袋的文本文档以及通过神经嵌入矢量化的文本序列。在我们的数值改进的背后是更广泛的兴趣的技术，它改进了以前分析的关键步骤，包括（c）对某些类型的二次混沌的更严格的估计，（d）建立稀疏线性形式的极端性质，以及（e）对独立随机变量之和估计的界限的改进。
2022-02-22 cs.LG stat.ML
First Provable Guarantees for Practical Private FL: Beyond Restrictive Assumptions
本文提出Fed-α-NormEC，首个在标准假设下提供可证明收敛和隐私保障的联邦学习框架，支持实际特征如局部更新和部分客户端参与。
2025-12-25 cs.LG math.OC stat.ML
Enumerating Safe Regions in Deep Neural Networks with Provable Probabilistic Guarantees
University of Verona（维罗纳大学）；Massachusetts Institute of Technology（麻省理工学院）
本文针对深度神经网络安全验证中的 #P 难问题，提出 epsilon-ProVe 近似方法，通过统计预测容差极限对输出可达集进行可控低估，从而以可证明概率保证枚举所有安全区域，并在标准基准上验证了其可扩展性与有效性。
2024-02-20 cs.AI cs.LG
Provable convergence guarantees for black-box variational inference
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Université Paris Cité（巴黎西岱大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Flatiron Institute（熨斗研究所）
本文针对黑盒变分推断缺乏收敛保证的问题，利用重参数化梯度估计器的二次噪声界，为近端和投影随机梯度下降提供了新的收敛证明，从而为实践中的方法提供了理论支撑。
2023-12-21 cs.LG math.OC stat.ML
Provable Guarantees for Sparsity Recovery with Deterministic Missing Data Patterns
Purdue University（普渡大学）
我们研究的问题，一贯恢复的稀疏模式的回归参数向量的相关观测确定性缺失的数据模式使用Lasso。我们考虑的情况下，观察到的数据集是由一个确定性的，非均匀的过滤器。在具有确定性缺失结构的数据集中恢复稀疏模式可以说比在均匀随机场景中恢复更具挑战性。本文利用审查过滤器的拓扑性质，提出了一种有效的缺失值填补算法。然后，我们提供了新的理论结果的稀疏模式的精确恢复使用建议的插补策略。我们的分析表明，在一定的统计和拓扑条件下，可以在多项式时间和对数样本复杂度内以高概率一致地恢复隐藏的稀疏模式。
2022-06-10 cs.LG stat.ML
Evading classifiers in discrete domains with provable optimality guarantees
EPFL（洛桑联邦理工学院）；University College London（伦敦大学学院）；University of California, Berkeley（加州大学伯克利分校）
机器人、恶意软件或垃圾邮件检测等安全关键型应用程序的机器学习模型在受约束的离散域中运行。这些应用程序将受益于针对对抗性示例的可证明保证。然而，现有的关于模型的可证明对抗鲁棒性的文献只关注图像等领域对基于梯度的攻击的鲁棒性。这些攻击对对抗成本进行建模，例如，应用于图像的失真量，作为$p$ -范数。我们认为，这种方法并不适合在约束域中建模对抗成本，因为并非所有的例子都是可行的。我们引入了一个图形框架，（1）概括了现有的攻击在离散域，（2）可以容纳复杂的成本函数超出$p$规范，包括财务成本时，攻击分类器，（3）有效地产生有效的对抗性的例子，保证最小的对抗性成本。这些保证直接转化为对抗鲁棒性的概念，考虑到域约束和对手的能力。我们展示了我们的框架如何通过制作对抗性示例来评估安全性，这些示例以可证明的最小数量的更改来逃避Twitter机器人检测分类器;并通过制作对抗性示例来构建隐私防御，这些示例逃避隐私入侵网站指纹分类器。
2019-07-01 cs.CR cs.LG stat.ML
Provable Guarantees for Gradient-Based Meta-Learning
Carnegie Mellon University（卡内基梅隆大学）；Determined AI
我们通过在线凸优化的镜头来研究元学习问题，开发了一种元算法，弥合了流行的基于梯度的元学习和经典的基于正则化的多任务转移方法之间的差距。我们的方法是第一个同时满足凸设置中良好的样本效率保证的方法，具有随着任务相似性而提高的泛化界限，同时还可以在计算上扩展到现代深度学习架构和多任务设置。尽管它的简单性，该算法匹配，一个恒定的因素，自然任务相似性假设下的任何这样的参数传输方法的性能上的下限。我们在凸和深度学习设置中使用实验来验证和展示我们理论的适用性。
2019-05-16 cs.AI cs.LG stat.ML
Provable Guarantees for Neural Networks via Gradient Feature Learning
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
针对现有理论无法充分解释神经网络特征学习能力的问题，提出一种用于梯度下降训练两层网络的统一分析框架，基于梯度学习特征原则，在多个原型问题中验证有效性并揭示彩票假说等现象。
2023-10-19 cs.AI cs.LG
Provable Guarantees on the Robustness of Decision Rules to Causal Interventions
University of Oxford（牛津大学）
决策规则对数据生成过程中的变化的鲁棒性对于决策系统的成功部署至关重要。这种转变可以被视为对因果图的干预，它捕捉了数据生成过程中的变化（可能是假设的），无论是由于自然原因还是对手的行动。我们认为因果贝叶斯网络和正式定义的干预鲁棒性问题，一种新的基于模型的决策函数的鲁棒性的概念，衡量最坏情况下的性能相对于一组干预措施，表示变化的参数和/或因果关系的影响。通过依赖于一个易于处理的表示贝叶斯网络的算术电路，我们提供了有效的算法，用于计算保证的上限和下限的干预鲁棒性概率。实验结果表明，该方法产生有用的和可解释的范围内的实际网络，铺平了道路，可证明因果关系的强大的决策系统。
2021-05-19 cs.AI cs.LG
Provable Generalization of SGD-trained Neural Networks of Any Width in the Presence of Adversarial Label Noise
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们考虑一个任意宽度的单隐藏层Leaky ReLU网络，该网络在任意初始化后通过随机梯度下降（SGD）进行训练。我们证明了SGD产生的神经网络具有竞争力的分类精度的最佳半空间分布的广泛的一类分布，包括日志凹各向同性和硬边缘分布。等价地，当数据分布是线性可分的但被对抗性标签噪声破坏时，这样的网络可以泛化，尽管有过拟合的能力。据我们所知，这是第一个表明SGD训练的过参数化神经网络在数据被对抗性标签噪声破坏时可以泛化的工作。
2021-02-15 cs.LG math.OC stat.ML
Synthesis of Shared Control Protocols with Provable Safety and Performance Guarantees
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们正式合成的共享控制协议的时序逻辑规范的正确性保证。更具体地说，我们引入了一个建模形式主义，其中一个人和一个自治协议可以向机器人发出命令，以执行某项任务。这些命令被混合到机器人的关节输入中。自治协议是使用可能的人类命令的抽象来合成的，这些命令考虑了由诸如疲劳或手头问题的不可理解性等因素引起的决策的随机性。该合成被设计为确保所得到的机器人行为满足给定的安全和性能规范，例如，在时间逻辑中。我们的解决方案是基于非线性规划，我们解决了固有的可扩展性问题，提出替代方法。我们评估的可行性和可扩展性的方法通过实验评估。
2016-10-26 cs.AI cs.LG cs.RO
DAEs for Linear Inverse Problems: Improved Recovery with Provable Guarantees
San Jose State University（圣何塞州立大学）
生成先验已被证明在线性逆问题中提供比稀疏先验更好的结果。然而，现有技术的方法具有以下缺点中的一个或多个：（a）恢复速度慢;（b）重建质量有缺陷;（c）重建质量取决于调整超参数的计算上昂贵的过程。在这项工作中，我们通过利用去噪自动编码器（DAE）作为先验知识和投影梯度下降算法来恢复原始信号来解决这些问题。我们为我们的方法提供了严格的理论保证，并通过实验证明了它在压缩感知，修复和超分辨率方面优于现有的最先进的方法。我们发现，我们的算法将恢复速度提高了两个数量级（超过100倍），将重建质量提高了一个数量级（超过10倍），并且不需要调整超参数。
2021-01-13 cs.CV cs.LG eess.IV
Provable Membership Inference Privacy
Stanford University（斯坦福大学）；Google Cloud AI Research（谷歌云人工智能研究部）
在涉及敏感数据的应用中，例如金融和医疗保健，保护数据隐私的必要性可能是机器学习模型开发的重要障碍。差分隐私（DP）已经成为可证明隐私的一个规范标准。然而，DP强大的理论保证往往是以其对机器学习的效用大幅下降为代价的，而且DP保证本身可能很难解释。在这项工作中，我们提出了一个新的隐私概念，成员推理隐私（MIP），以解决这些挑战。我们给出了一个精确的表征MIP和DP之间的关系，并表明，MIP可以实现使用更少量的随机性相比，保证DP所需的量，导致较小的实用程序下降。MIP保证也很容易解释的成功率方面的成员推断攻击。我们的理论结果还产生了一个简单的算法，保证MIP，它可以被用来作为一个包装周围的任何算法的连续输出，包括参数模型训练。
2022-11-12 cs.CR cs.LG stat.ML
Provable Computational and Statistical Guarantees for Efficient Learning of Continuous-Action Graphical Games
Purdue University（普渡大学）
在本文中，我们研究了学习的纯策略纳什均衡集和精确结构的一个连续行动的图形游戏的二次支付通过观察一个小的扰动均衡集的问题。一个连续动作的图形游戏可能有一个不可数的纳什均衡集。我们提出了一个$\ell_{12}-$块正则化的方法，恢复图形游戏，其纳什均衡是$ε$ -纳什均衡的游戏，从该数据生成（真正的游戏）。在一个稍微严格的条件下，真正的游戏的参数，我们的方法恢复的图形游戏的确切结构。我们的方法有一个对数样本的复杂性相对于玩家的数量。它也在多项式时间中运行。
2019-11-08 cs.GT cs.LG stat.ML
Trust or Escalate: LLM Judges with Provable Guarantees for Human Agreement
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
提出一种选择性评估框架及 Simulated Annotators 置信度估计方法，通过 Cascaded Selective Evaluation 在控制成本的同时为 LLM 评判提供人类一致性的可证明保证。
2024-07-25 cs.CL cs.LG
Dynamic Spectral Clustering with Provable Approximation Guarantee
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文研究动态演化图的聚类问题，提出一种动态谱聚类算法，在温和条件下以均摊更新时间 $O(1)$ 和查询时间 $o(n_T)$ 良好近似最终图聚类，并通过实验验证其实用性。
2024-06-05 cs.DS cs.LG
TSP with Predictions: Heatmap to Tour with Provable Guarantees
IDSIA（IDSIA研究所）
研究旅行商问题，提出将热图转换为旅行路线的算法，有理论保证将近似比与热图质量联系起来，通过实验与先前工作对比。
2026-07-28 cs.DS cs.LG
Neural Network Virtual Sensors for Fuel Injection Quantities with Provable Performance Specifications
Carnegie Mellon University（卡内基梅隆大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；Bosch Center for Artificial Intelligence（博世人工智能中心）
最近的工作表明，当受到输入扰动时，可以学习神经网络，并对模型的输出提供可证明的保证，然而这些工作主要集中在防御图像分类器的对抗性示例上。在本文中，我们研究这些可证明的保证可以自然地应用到其他现实世界的设置，即获得性能指标的强大的虚拟传感器测量发动机内的燃油喷射量。我们首先证明，在这种情况下，即使是简单的神经网络模型也非常容易受到合理水平的对抗性传感器噪声的影响，这能够将标准神经网络的平均相对误差从6.6%增加到43.8%。然后，我们利用学习可证明鲁棒性的网络和验证鲁棒性的方法，从而产生一个鲁棒的模型，我们可以证明保证在任何传感器噪声下最多有16.5%的平均相对误差。此外，我们展示了如何可以针对特定的燃料喷射量的间隔，以最大限度地提高某些范围内的鲁棒性，使我们能够训练虚拟传感器的燃料喷射，这是可证明的，保证有最多10.69%的相对误差噪声下，同时保持3%的相对误差在非对抗性的数据归一化的燃料喷射范围内的0.6至1.0。
2020-06-30 cs.LG stat.ML
Tuning Algorithmic and Architectural Hyperparameters in Graph-Based Semi-Supervised Learning with Provable Guarantees
Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文正式研究了基于图的半监督学习中的超参数调整问题，为经典标签传播算法族推导了伪维度上下界，并界定了现代图神经网络（SGC及GCN与GAT插值架构）中架构超参数的 Rademacher 复杂度。
2025-07-16 cs.LG
Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis
Rensselaer Polytechnic Institute（伦斯勒理工学院）；New Jersey Institute of Technology（新泽西理工学院）；Michigan State University（密歇根州立大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
本文首次对单层Transformers的低秩和稀疏性质进行理论分析，证明其梯度更新是低秩的，并发现适当的基于幅度的剪枝对测试性能影响甚微。
2024-06-24 cs.LG
Weakly Supervised Learners for Correction of AI Errors with Provable Performance Guarantees
King’s College London（伦敦国王学院）；University of Leicester（莱斯特大学）
本文提出一种弱监督AI错误纠正器，通过批准或拒绝底层分类器决策来调节其并弃权，并提供分布无关的性能保证，并在训练数据稀缺的现实图像分类任务中验证了其有效性。
2024-02-13 cs.AI cs.LG stat.ML
Provable robustness against all adversarial $l_p$-perturbations for $p\geq 1$
University of Tübingen（图宾根大学）
近年来，已经提出了几种对抗攻击和防御。通常，当使用更复杂的攻击时，看似健壮的模型变得不健壮。摆脱这种困境的一种方法是可证明的鲁棒性保证。虽然可证明的强大的模型为特定的$l_p$扰动模型已经开发出来，我们表明，他们没有任何保证对其他$l_q$扰动。我们为ReLU网络提出了一种新的正则化方案MMR-Universal，它增强了$l_1$和$l_\infty$扰动的鲁棒性，并展示了这是如何导致$p\geq 1$的第一个可证明鲁棒的模型的。
2020-04-24 cs.CR cs.LG stat.ML
Towards Certified Malware Detection: Provable Guarantees Against Evasion Attacks
Department of Computer Applications, Cochin University of Science and Technology（计算机应用系，科钦大学科学与技术学院）；Department of Electrical, Computer and Biomedical Engineering, University of Pavia（电气、计算机与生物医学工程系，帕维亚大学）
本文提出基于随机平滑的可信恶意软件检测框架，通过特征剥离和目标噪声注入，提供对抗逃避攻击的可证明鲁棒性。
2026-04-22 cs.CR cs.LG
Provable Memorization via Deep Neural Networks using Sub-linear Parameters
Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Massachusetts Institute of Technology（麻省理工学院）
已知$O(N)$参数足以使神经网络记忆任意的$N$输入-标签对。利用深度，我们表明，$O(N^{2/3})$参数足以记忆$N$对，在一个温和的条件下，对输入点的分离。特别是，更深的网络（即使宽度为$3$）比浅网络记忆更多的对，这也与最近关于深度对函数逼近的好处的工作一致。我们还提供了实证结果，支持我们的理论研究结果。
2021-11-02 cs.LG
Implicit Hypergraph Neural Networks: A Stable Framework for Higher-Order Relational Learning with Provable Guarantees
针对超图神经网络因堆叠显式层导致长程依赖受限和训练不稳定的问题，提出隐式超图神经网络IHGNN，通过求解非线性不动点方程实现稳定全局传播，并证明其收敛性与泛化能力。
2025-08-13 cs.AI cs.LG
Deciphering Raw Data in Neuro-Symbolic Learning with Provable Guarantees
Nanjing University（南京大学）
本文提出一种刻画知识库监督信号的新方法并建立可学习性判定准则，首次从理论上解释神经符号混合系统何时成功或失败，并通过基准实验验证其有效性。
2024-01-23 cs.AI cs.LG
Model-agnostic Selective Labeling with Provable Statistical Guarantees
Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学）；Department of Mathematics, The Chinese University of HongKong（数学系，香港中文大学）；School of Software Engineering, South China University of Technology（软件工程学院，华南理工大学）
本文提出符合性标注方法，通过控制假发现率保证人工智能预测的可信度，从而提升大规模数据标注的准确性和效率。
2026-02-14 cs.AI cs.LG
Robust Reinforcement Learning using Least Squares Policy Iteration with Provable Performance Guarantees
Texas A&M University（德克萨斯农工大学）
研究了大状态空间鲁棒马尔可夫决策过程的无模型强化学习问题。RMDP框架的目标是找到一个政策，是强大的参数不确定性，由于模拟器模型和现实世界的设置之间的不匹配。我们首先提出了鲁棒最小二乘策略评估算法，这是一个多步在线无模型学习算法的策略评估。我们使用随机逼近技术证明了该算法的收敛性。然后，我们提出了鲁棒最小二乘策略迭代（RLSPI）算法学习的最佳鲁棒策略。我们还给出了一个一般的加权欧几里德范数界的误差（接近最优性）所产生的政策。最后，我们证明了我们的RLSPI算法的性能在一些标准的基准问题。
2021-02-11 cs.LG cs.SY eess.SY
Adapting to Online Label Shift with Provable Guarantees
Nanjing University（南京大学）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
当训练数据与即将到来的测试样本共享相同的分布时，标准的监督学习范例有效地工作。然而，在现实世界的应用程序中，这种静态假设往往是违反的，特别是当测试数据出现在一个在线的方式。在本文中，我们制定和调查的问题\emph{online label shift}（OLaS）：学习者训练的初始模型从标记的离线数据，然后将其部署到一个未标记的在线环境中，底层的标签分布随时间而变化，但标签条件密度不。非平稳性和缺乏监督的性质使得这一问题具有挑战性。为了解决这个困难，我们构造了一个新的无偏风险估计，利用未标记的数据，它表现出许多良性的性质，虽然与潜在的非凸性。在此基础上，我们提出了新的在线集成算法来处理环境的非平稳性。我们的方法享有最佳的\emph{dynamic regret}，表明性能是有竞争力的千里眼谁知道在事后的在线环境，然后选择最佳的决定，为每一轮。所得到的动态后悔边界尺度的强度和模式的标签分布偏移，因此表现出适应性的OLaS问题。大量的实验进行验证的有效性和支持我们的理论研究结果。
2023-01-15 cs.LG stat.ML
V-SHARE: Provable Convergence Guarantees for Advantage-based Algorithms
Indian Institute of Science（印度科学学院）；Aalto University（阿尔托大学）
研究针对基于优势的强化学习算法理论理解不足的问题，提出V-SHARE算法，结合跨动作值共享与重要性加权Bellman残差校正，完成其收敛性等理论刻画，缓解异步Q学习的稀有动作瓶颈，经实验验证有效。
2026-10-16 cs.AI cs.LG
Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees
KAUST（阿卜杜拉国王科技大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对分布式深度学习中现有量化方案多与Allreduce不兼容、缺乏理论保证的问题，提出具备收敛理论保证的兼容Allreduce的Global-QSGD梯度量化方法，经多硬件环境实验验证可最高提升训练速度3.51%。
2025-07-29 cs.DC cs.LG stat.ML
Provable Hierarchy-Based Meta-Reinforcement Learning
Princeton University（普林斯顿大学）
分层强化学习（HRL）作为一种复杂模块化行为的易处理学习方法受到了广泛的关注。然而，现有的工作要么假设访问专家构造的层次结构，或使用层次学习算法，没有可证明的保证。为了解决这一差距，我们分析了元RL设置中的HRL，其中学习者在元训练期间学习潜在的层次结构，用于下游任务。我们考虑一个表格设置，自然的层次结构嵌入在过渡动态。类似于有监督的元学习理论，我们提供了“多样性条件”，连同一个易于处理的基于乐观主义的算法，保证样本有效的恢复这个自然的层次结构。此外，我们提供了后悔界限上的学习者使用恢复的层次结构来解决元测试任务。我们的界限纳入了HRL文献中的常见概念，如时间和状态/动作抽象，这表明我们的设置和分析在实践中捕捉到了HRL的重要特征。
2021-10-18 cs.LG stat.ML
Formalizing Learning from Language Feedback with Provable Guarantees
University of California, Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；University of Toronto（多伦多大学）
本文形式化语言反馈学习问题，提出转移埃尔泽维度刻画学习难度，并开发无遗憾算法HELiX，证明其性能保证，展示丰富语言反馈可指数级加速学习。
2026-06-06 cs.CL cs.LG
Provable Fairness Repair for Deep Neural Networks
Hangzhou Dianzi University, China（杭州电子科技大学）；Zhejiang University, China（浙江大学）；Zhejiang University of Technology, China（浙江工业大学）
本文提出ProF框架，通过区间界限传播技术，为深度神经网络提供可证的公平性修复，实现对偏见样本周围整个集合的公平性保障，并在多个基准数据集上验证了其有效性。
2026-05-19 cs.LG cs.SE
Reachability Analysis of Deep Neural Networks with Provable Guarantees
University of Oxford（牛津大学）；University of Liverpool（利物浦大学）
深度神经网络（DNN）的正确性是具有挑战性的。我们研究了前馈DNN的通用可达性问题，对于给定的网络输入集和其输出上的Lipschitz连续函数，计算函数值的上下界。因为网络和函数是Lipschitz连续的，所以在下界和上界之间的区间内的所有值都是可达的。我们展示了如何获得的安全验证问题，输出范围分析问题和鲁棒性措施，通过实例化的可达性问题。我们提出了一种新的算法，基于自适应嵌套优化来解决可达性问题。该技术已在一系列DNN上实施和评估，证明了其效率，可扩展性和处理比最先进的验证方法更广泛的网络类别的能力。
2018-05-06 cs.CV cs.LG stat.ML
Dyn-D$^2$P: Dynamic Differentially Private Decentralized Learning with Provable Utility Guarantee
Zhejiang University（浙江大学）；Qilu University of Technology（齐鲁工业大学）
针对固定裁剪与噪声导致隐私保护去中心化学习精度下降的问题，提出 Dyn-D$^2$P，依据梯度收敛动态调节参数，并给出可证明效用界。
2025-05-10 cs.AI cs.LG
Global Robustness Evaluation of Deep Neural Networks with Provable Guarantees for the $L_0$ Norm
University of Oxford（牛津大学）；University of Liverpool（利物浦大学）
在安全或安全关键系统中部署深度神经网络（DNN）需要对其正确行为的可证明保证。一个常见的要求是对输入附近的对抗性扰动的鲁棒性。在本文中，我们专注于$L_0$范数，并针对训练的DNN和输入计算输入周围的安全范数球的最大半径，其中没有对抗性示例。然后，我们定义全局鲁棒性作为一个期望的最大安全半径超过一个测试数据集。我们首先证明了这个问题是NP-困难的，然后提出了一种近似的方法来迭代计算网络鲁棒性的上下界。该方法是\emph{anytime}，即，它返回随着计算的进行而逐渐但严格地改进的中间边界和鲁棒性估计; \emph{tensor-based}，即，计算是在一组输入上同时进行的，而不是逐个进行的，以实现高效的GPU计算;并且具有\emph{provable guarantees}，即，边界和鲁棒性估计都可以收敛到它们的最优值。最后，我们证明了所提出的方法在实践中的实用性，以计算紧边界的应用和适应的任何时候算法的一组具有挑战性的问题，包括全球鲁棒性评估，竞争性$L_0$攻击，DNN的测试用例生成，和大规模的ImageNet DNN的本地鲁棒性评估。我们通过GitHub发布所有案例研究的代码。
2018-11-20 cs.CR cs.CV cs.LG
Classification with Fairness Constraints: A Meta-Algorithm with Provable Guarantees
EPFL（洛桑联邦理工学院）
由于分类算法在各种社会环境中的部署越来越多，开发相对于数据的敏感属性公平的分类算法已经成为一个重要的问题。最近的几项工作都集中在公平性方面的一个特定的指标，建模相应的公平分类问题作为一个约束优化问题，并开发定制的算法来解决这些问题。尽管如此，仍然存在一些重要的指标，我们没有公平的分类器，并且许多上述算法没有理论保证;也许是因为由此产生的优化问题是非凸的。本文的主要贡献是一个新的元算法分类，作为输入的公平性约束的一大类，相对于多个不相交的敏感属性，并带有可证明的保证。这是通过首先开发一个大的家庭的分类问题的凸约束的元算法，然后显示，一般类型的公平性约束的分类问题，可以减少到这个家庭中的那些。我们提出的实证结果表明，我们的算法可以实现近乎完美的公平性，相对于各种公平性指标，和损失的准确性，由于施加的公平性约束往往是小的。总的来说，这项工作统一了几个以前的公平分类工作，提出了一个实用的算法与理论保证，并可以处理公平性指标，以前是不可能的。
2020-04-15 cs.AI cs.CY cs.DS
A Meta-Learning Control Algorithm with Provable Finite-Time Guarantees
在这项工作中，我们提供了可证明的遗憾保证在线元学习控制算法在迭代控制设置，其中在每次迭代中的系统被控制是一个线性确定性系统，是不同的和未知的，在迭代中的控制器的成本是一个一般的附加成本函数和控制输入需要被约束，如果违反会产生额外的成本。我们证明了（i）该算法实现了一个遗憾的控制器成本和约束违反是$O(T^{3/4})$的一个插曲的持续时间$T$相对于最佳的政策，满足控制输入控制约束和（ii）的平均遗憾的控制器成本和约束违反相对于同一政策的变化作为$O((1+\log(N)/N)T^{3/4})$与迭代次数$N$，这表明迭代内的学习的最坏遗憾随着更多迭代的经验而不断改善。
2022-02-04 cs.AI cs.LG cs.SY
