On the Lipschitz Constant of Deep Networks and Double Descent
KTH（瑞典皇家理工学院）
本文通过实验研究双重下降下深度网络的经验 Lipschitz 常数，发现其与测试误差强相关，并将其归因于损失景观曲率和参数到初始化的距离。
2025-07-23 cs.LG
Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the Decoder Network
The University of Tokyo（东京大学）；Preferred Networks；The Institute of Statistical Mathematics（统计数学研究所）；National Institute of Informatics (NII)（信息学研究所（NII））；Preferred Networks, Inc.（Preferred Networks公司）
本文针对变分自编码器的后验坍缩问题，提出在解码器中引入逆Lipschitz神经网络，以简单清晰且具理论保证的方式控制坍缩程度，并通过数值实验验证有效性。
2024-02-03 cs.LG stat.ML
Density-Softmax: Efficient Test-time Model for Uncertainty Estimation and Robustness under Distribution Shifts
Johns Hopkins University（约翰斯·霍普金斯大学）
提出Density-Softmax无采样确定性框架，结合密度函数与softmax，降低模型规模与测试延迟，在分布偏移下提升不确定性估计与鲁棒性。
2024-05-28 cs.LG stat.ML
De-randomized PAC-Bayes Margin Bounds: Applications to Non-convex and Non-smooth Predictors
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
尽管有几个值得注意的努力，解释确定性非光滑深度网络的推广，例如，ReLU网络仍然具有挑战性。用于确定性非光滑深度网络的现有方法通常需要限制这种深度网络的Lipschitz常数，但这样的界限非常大，甚至可能随着训练集大小的增加而增加，从而产生空洞的泛化界限。在本文中，我们提出了一个新的家庭的去随机PAC-Bayes边界的确定性非凸和非光滑的预测，例如，ReLU网络。与适用于贝叶斯预测器的PAC-Bayes不同，去随机化边界适用于确定性预测器，如ReLU网。边界的具体实例化取决于训练权重与初始化的（加权）距离和训练预测器的有效曲率（“平坦度”）之间的权衡。为了得到这些界限，我们首先为非凸但平滑的预测器开发一个去随机化参数，例如，线性深度网络（LDN），将确定性预测器的性能与贝叶斯预测器联系起来。然后，我们考虑对于任何给定输入实现为平滑预测器的非平滑预测器，例如，对于任何给定的输入，ReLU网都变成了一些LDN，但是对于不同的输入，实现的平滑预测器可能会有所不同。对于这样的非平滑预测，我们引入了一种新的PAC-Bayes分析，它利用了实现的预测的平滑性，例如，LDN，并避免依赖于非平滑预测器的Lipschitz常数。经过仔细的去随机化，我们得到了一个界的确定性非光滑预测。我们还建立了非均匀样本的复杂性结果的基础上，这样的界限。最后，我们提出了广泛的经验结果，我们的界限在不断变化的训练集大…
2020-11-12 cs.LG stat.ML
L2-Nonexpansive Neural Networks
IBM Research（IBM研究（机构））；Yorktown Heights, NY 10598, USA（美国纽约州约克镇高地（地址，非机构））
本文提出了一类条件良好的神经网络，其中输入的单位量的变化最多导致输出或任何内部层的单位量的变化。我们开发了已知的控制Lipschitz常数的方法，以实现其最大限度地提高鲁棒性的全部潜力，与一个新的正则化方案的线性层，新的方式来适应非线性和一个新的损失函数。使用MNIST和CIFAR-10分类器，我们展示了许多优点。在不需要任何对抗性训练的情况下，所提出的分类器在对抗白盒L2界对抗攻击的鲁棒性方面超过了现有技术。它们比普通网络更好地从带有部分随机标签的噪声数据中泛化。它们的产出在数量上是有意义的，并表明置信度和普遍性，以及其他可取的性质。
2019-02-06 cs.AI cs.LG
Lipschitz Continuity in Model-based Reinforcement Learning
Brown University（布朗大学）；Cornell University（康奈尔大学）
我们研究了在基于模型的强化学习的背景下学习Lipschitz连续模型的影响。我们提供了一个新的约束Lipschitz模型的多步预测误差，我们量化的错误使用Wasserstein度量。我们接着证明了由Lipschitz模型产生的值函数估计的误差界，并证明了估计的价值函数本身就是Lipschitz。我们的结论与实证结果表明，控制Lipschitz常数的神经网络模型的好处。
2018-07-27 cs.AI cs.LG stat.ML
Rethinking Lipschitz Neural Networks and Certified Robustness: A Boolean Function Perspective
Peking University（北京大学）
设计具有有界Lipschitz常数的神经网络是一种很有前途的方法，以获得可证明的鲁棒分类器对抗性的例子。然而，重要的$\ell_\infty$扰动设置的相关进展是相当有限的，如何设计表达$\ell_\infty$ Lipschitz网络的原则性理解仍然缺乏。在本文中，我们弥补了这一差距，研究证明$\ell_\infty$的鲁棒性从一个新的角度表示布尔函数。我们推导出两个基本的不可能性结果，适用于任何标准的Lipschitz网络：一个是有限数据集上的鲁棒分类，另一个是Lipschitz函数近似。这些结果表明，即使在二维情况下，建立在范数有界仿射层和Lipschitz激活上的网络本质上也失去了表达能力，并揭示了最近提出的Lipschitz网络（例如，GroupSort和$\ell_\infty$ -距离网）通过利用顺序统计函数绕过了这些不可能性。最后，基于这些见解，我们开发了一个统一的Lipschitz网络，它概括了以前的工作，并设计了一个可以有效训练的实用版本（使认证的鲁棒训练免费）。大量实验表明，我们的方法具有可扩展性、高效性，并且在多个数据集和扰动半径上比之前的Lipschitz网络始终产生更好的经认证的鲁棒性。我们的代码可在https://github.com/zbh2047/SortNet上获得。
2022-10-26 cs.AI cs.LG stat.ML
Tune smarter not harder: A principled approach to tuning learning rates for shallow nets
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
有效的超参数调整对于保证神经网络的性能至关重要。在这项工作中，一个原则性的方法来选择学习率提出了浅前馈神经网络。我们将学习率与训练时要最小化的目标的梯度Lipschitz常数相关联。上界所提到的常数推导和搜索算法，它总是导致非发散的痕迹，提出利用派生的界限。仿真结果表明，所提出的搜索方法显着优于现有的调整方法，如树Parzen估计（TPE）。所提出的方法被应用到三个不同的现有应用：a）OFDM系统中的信道估计，b）预测的汇率和c）OFDM接收机中的偏移估计，并且它被示出选择更好的学习率比现有的方法使用相同或更少的计算能力。
2020-09-30 cs.LG math.OC stat.ML
Data-dependent Sample Complexity of Deep Neural Networks via Lipschitz Augmentation
Stanford University（斯坦福大学）
现有的神经网络的Rademacher复杂性边界仅依赖于权重矩阵的范数控制，并且通过矩阵范数的乘积指数地依赖于深度。下限表明，当不考虑训练数据的附加属性时，这种对深度的指数依赖性是不可避免的。我们怀疑这个难题来自于这样一个事实，即这些界限只通过余量依赖于训练数据。在实践中，许多数据相关的技术，如Batchnorm，提高了泛化性能。对于前馈神经网络和RNN，我们通过考虑网络的其他数据相关属性来获得更严格的Rademacher复杂度界限：网络隐藏层的范数，以及每层相对于所有先前层的雅可比矩阵的范数。当这些经验量很小时，我们的边界在深度上是多项式的，这在实践中通常是这样的。为了获得这些界限，我们开发了一般的工具，用于增强一系列的功能，使其组成Lipschitz，然后覆盖增广功能。受我们理论的启发，我们在训练过程中直接正则化网络的雅可比矩阵，并实证证明这提高了测试性能。
2020-04-10 cs.LG stat.ML
A Rescaling-Invariant Lipschitz Bound Based on Path-Metrics for Modern ReLU Network Parameterizations
ENS（巴黎综合理工学院）；CNRS（国家科学研究中心）；Inria（法国国家信息与自动化技术研究所）；Université Claude Bernard Lyon 1（里昂第一大学）；LIP（实验室）；UMR 5668（统一研究机构）；EPFL（苏黎世联邦理工学院）
该研究针对现有ReLU网络参数空间Lipschitz界存在的缩放对称性失效问题，提出基于ℓ¹路径度量的缩放不变Lipschitz界，适用于多种架构，可通过两次前向传播计算，据此推导的对称感知剪枝准则性能媲美经典幅度剪枝且不受神经元缩放影响。
2025-06-13 cs.LG stat.ML
Boosting the Certified Robustness of L-infinity Distance Nets
Peking University（北京大学）；Microsoft Research（微软研究院）
最近，Zhang等人（2021）基于$\ell_\infty$-距离函数开发了一种新的神经网络架构，其构造自然具有经过认证的$\ell_\infty$鲁棒性。尽管有新颖的设计和理论基础，但到目前为止，该模型仅实现了与传统网络相当的性能。在本文中，我们做了以下两个贡献：$\mathrm{(i)}$我们证明，$\ell_\infty$距离网享有一个根本的优势，在认证的鲁棒性超过传统的网络（根据典型的认证方法）; $\mathrm{(ii)}$随着改进的训练过程中，我们能够显着提高认证的准确性$\ell_\infty$距离网。我们的训练方法在很大程度上解决了在以前的训练方案中出现的优化问题，特别是由于使用了称为$\ell_p$-松弛的关键技巧而导致的意想不到的大Lipschitz常数。我们的训练方法的核心是一个新的目标函数，它结合了缩放的交叉熵损失和剪切铰链损失与衰减的混合系数。实验结果表明，在CIFAR-10（$ε=8/255$）上，使用该训练策略，$\ell_\infty$-距离网的认证准确率可以从33.30%提高到40.06%，同时大大优于该领域的其他方法。我们的研究结果清楚地表明了$\ell_\infty$-距离网的有效性和潜力，认证的鲁棒性。代码可在www.example.com上获得。
2022-03-15 cs.AI cs.CV cs.LG
Defensive Quantization: When Efficiency Meets Robustness
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
神经网络量化正在成为一种行业标准，可在CPU、GPU、TPU和FPGA等硬件平台上高效部署深度学习模型。然而，我们观察到传统的量化方法容易受到对抗攻击。本文旨在提高人们对量化模型安全性的认识，并设计了一种新的量化方法，以联合优化深度学习模型的效率和鲁棒性。我们首先进行了实证研究，表明香草量化遭受更多的对抗攻击。我们观察到，较差的鲁棒性来自误差放大效应，其中量化操作进一步扩大了由放大的噪声引起的距离。然后，我们提出了一种新的防御性量化（DQ）方法，通过在量化过程中控制网络的Lipschitz常数，使得对抗性噪声的大小在推理过程中保持非扩展性。在CIFAR-10和SVHN数据集上的大量实验表明，我们的新量化方法可以保护神经网络免受对抗性示例的攻击，甚至比全精度量化方法具有更好的鲁棒性，同时保持与香草量化方法相同的硬件效率。作为副产品，DQ还可以提高量化模型的准确性，而不会受到对抗攻击。
2019-04-17 cs.CV cs.LG stat.ML
Ortho-ODE: Enhancing Robustness and of Neural ODEs against Adversarial Attacks
本文研究 Neural ODEs 对抗对抗性攻击的自然鲁棒性，提出通过控制 ODE 动力学的 Lipschitz 常数（基于 Grownwall 不等式推导）显著提升鲁棒性，并在 MNIST、CIFAR-10 和 CIFAR 100 数据集上验证了该方法的有效性及求解器的影响。
2023-05-16 cs.AI cs.CR cs.LG
Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant
École polytechnique fédérale de Lausanne（洛桑联邦理工学院）
本研究提出一种学习深度神经网络可训练激活函数的变分框架，在控制Lipschitz常数上界的同时提升网络容量，通过证明线性样条解的存在性将问题简化为带l1惩罚的有限维优化，实验验证其优于ReLU类激活函数。
2020-08-07 cs.LG stat.ML
CLIP: Cheap Lipschitz Training of Neural Networks
Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
尽管近年来深度神经网络（DNN）取得了巨大成功，但大多数神经网络在稳定性方面仍然缺乏数学保证。例如，DNN容易受到小的甚至不可感知的输入扰动（所谓的对抗性示例）的影响，这可能导致错误的预测。这种不稳定性在影响人类健康和安全的应用中可能具有严重的后果，例如，生物医学成像或自动驾驶。虽然限制神经网络的Lipschitz常数可以提高稳定性，但大多数方法依赖于限制每层的Lipschitz常数，这对实际Lipschitz常数给出了较差的界限。在本文中，我们研究了一种变分正则化方法命名为CLIP控制的Lipschitz常数的神经网络，它可以很容易地集成到训练过程。我们从数学上分析了所提出的模型，特别是讨论了所选择的正则化参数对网络输出的影响。最后，我们数值评估我们的方法上的非线性回归问题和MNIST和时尚MNIST分类数据库，并比较我们的结果与权重正则化方法。
2022-10-31 cs.LG math.OC stat.ML
Semantic Latent Alignment for Flow Matching with Invertible Bi-Lipschitz Adapters
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Imperial College London（伦敦帝国学院）
该研究提出可逆双利普希茨适配器，通过离线对齐语义教师的方式，在固定预训练自编码器的编码器和解码器的情况下，实现潜在空间的语义对齐，在医学成像数据集上验证了其有效性。
2026-10-16 cs.CV cs.LG
Stabilizing Invertible Neural Networks Using Mixture Models
TU Berlin（柏林工业大学）；Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）
本文分析了可逆神经网络的性质，为求解逆问题提供了一种途径。我们的主要重点在于调查和控制相应的逆网络的Lipschitz常数。如果没有这样的控制，数值模拟很容易出错，并且与传统方法相比没有太大的好处。幸运的是，我们的分析表明，将潜在分布从标准正态分布改变为高斯混合模型解决了Lipschitz常数爆炸的问题。事实上，数值模拟证实，这种修改导致显着提高采样质量的多模态应用。
2021-02-01 cs.LG math.OC stat.ML
Robust Multi-Agent Reinforcement Learning via Adversarial Regularization: Theoretical Foundation and Stable Algorithms
Georgia Institute of Technology（佐治亚理工学院）；Google（谷歌）；Microsoft（微软）；Ford Motor Company（福特汽车公司）
针对MARL策略鲁棒性不足的问题，提出通过控制Lipschitz常数并采用对抗正则化的ERNIE框架，以Stackelberg博弈稳定训练，实验验证其在噪声和恶意攻击下的有效性。
2023-10-16 cs.LG
Stable Rank Normalization for Improved Generalization in Neural Networks and GANs
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
Neyshabur等人对神经网络（NN）的泛化界进行了令人兴奋的新工作，Bartlett等人密切依赖于两个参数依赖的量：Lipschitz常数上限和稳定秩（秩算子的较软版本）。这就引出了一个有趣的问题，即控制这些量是否可以改善NN的泛化行为。为此，我们提出了稳定秩归一化（SRN），一种新颖的，最佳的，计算效率高的权重归一化方案，最大限度地减少了线性算子的稳定秩。令人惊讶的是，我们发现，SRN，尽管是非凸问题，可以被证明有一个唯一的最优解。此外，我们表明，SRN允许控制数据依赖的经验Lipschitz常数，这与Lipschitz上限相反，反映了给定数据集上模型的真实行为。我们提供了全面的分析，以表明SRN，当应用于神经网络的线性层进行分类时，提供了显着的改进-与标准神经网络相比，泛化差距为11.3%，同时显著减少了记忆。当应用于GANs（称为SRN-GAN）时，它可以提高CIFAR 10/100和CelebA数据集上的Inception，FID和Neural divergence分数，同时学习具有低经验Lipschitz常数的映射。
2020-02-20 cs.LG stat.ML
Promoting Fairness in GNNs: A Characterization of Stability
Huazhong University of Science and Technology（华中科技大学）；Dartmouth College（达特茅斯学院）
本文针对非欧几里得图数据偏差导致的 GNN 公平性问题，提出并分析面向输入偏差的 Lipschitz 界，结合实验与训练动力学证明其可约束输出扰动并改善准确性—公平性权衡。
2023-12-12 cs.AI cs.CY cs.LG
The Sample Complexity Of ERMs In Stochastic Convex Optimization
Technion-IIT（以色列理工学院）；Tel Aviv University（特拉维夫大学）；University of Copenhagen（哥本哈根大学）
本研究解决了随机凸优化中ERM样本复杂度的开放问题，证明了O̅(d/ε + 1/ε²)的样本上界，建立了ERM与一致收敛的新分离性，并将结果推广至所有对称凸体。
2023-11-09 cs.LG stat.ML
