Training robust neural networks using Lipschitz bounds
University of Stuttgart(斯图加特大学)
由于神经网络对对抗性扰动的敏感性,其在安全关键应用中几乎没有使用。对输入中的这种扰动的鲁棒性的一个度量是由NN定义的输入-输出映射的Lipschitz常数。在这项工作中,我们提出了一个框架,训练多层神经网络,同时鼓励鲁棒性保持其Lipschitz常数小,从而解决鲁棒性问题。更具体地说,我们设计了一个优化方案的基础上的交替方向方法的乘法器,最大限度地减少不仅是一个NN的训练损失,但它的Lipschitz常数导致在半定规划为基础的训练过程,促进鲁棒性。我们设计了两个版本的训练程序。第一个包括一个正则化,惩罚一个准确的上限Lipschitz常数。第二个允许在训练过程中始终对NN强制执行所需的Lipschitz界限。最后,我们提供了两个例子来表明,所提出的框架成功地提高了神经网络的鲁棒性。
2020-09-15 cs.LG cs.SY eess.SY
LipSSM: Structurally Lipschitz-Bounded Cascaded State-Space Model via Metric Transfer between Consecutive SSM Layers
Tokyo University of Agriculture and Technology (TUAT)(东京农工大学)
本文提出LipSSM架构,通过度量传递将LipKernel思想扩展到级联状态空间模型,以构建Lipschitz连续且能建模长期依赖的深度神经网络,获得更紧的Lipschitz界并提升鲁棒性。
2026-09-28 cs.LG cs.SY eess.SY
Lipschitz standardization for multivariate learning
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Probabilistic Learning Group(概率学习小组)
概率学习越来越多地被视为一个优化问题,基于梯度的方法是主要的方法。在对多变量似然性建模时,一个常见但不理想的结果是,学习的模型只适合观察变量的一个子集,而忽略了其余变量。在这项工作中,我们通过多任务学习(MTL)的镜头来研究这个问题,其中类似的效果已经被广泛研究。虽然MTL解决方案不直接适用于概率设置(因为它们不能处理的可能性约束),我们表明,类似的想法可以利用数据预处理过程中。首先,我们表明,数据标准化通常有助于常见的连续似然,但它是不够的,在一般情况下,特别是在混合连续和离散似然模型。为了平衡多变量学习,我们提出了一种新的数据预处理,Lipschitz标准化,它平衡了变量之间的局部Lipschitz平滑度。我们在真实世界数据集上的实验表明,Lipschitz标准化比使用现有数据预处理技术学习的多变量模型更准确。实验中使用的模型和数据集可以在https://github.com/adrianjav/lipschitz-standardization中找到。
2020-10-21 cs.LG stat.ML
Lipschitz-Based Robustness Certification for Recurrent Neural Networks via Convex Relaxation
本文提出RNN-SDP方法,通过凸松弛和半定规划认证循环神经网络的Lipschitz上界,并在多水箱系统上验证其能给出紧致且可认证的鲁棒性界。
2025-09-22 cs.LG cs.SY eess.SY
Lipschitz Bounds and Provably Robust Training by Laplacian Smoothing
University of California Riverside(加州大学河滨分校)
在这项工作中,我们提出了一个基于图的学习框架,训练模型具有可证明的鲁棒性对抗扰动。与基于正则化的方法相比,我们将对抗性鲁棒学习问题表示为具有Lipschitz约束的损失最小化问题,并表明相关拉格朗日量的鞍点由具有加权Laplace算子的泊松方程表征。此外,拉普拉斯算子的权重由Lipschitz约束的拉格朗日乘子给出,该拉格朗日乘子调节极小化器对扰动的敏感性。然后,我们设计了一个可证明的强大的训练计划,使用基于图的离散化的输入空间和原始对偶算法收敛到拉格朗日的鞍点。我们的分析在具有约束强制加权的椭圆算子和对抗学习之间建立了一种新的联系。我们还研究了补充问题,提高鲁棒性的极小与利润率的损失,制定为损失约束的Lipschitz常数最小化问题。我们提出了一种技术,以获得鲁棒极小,并通过一系列的梯度$p$ -范数最小化问题接近Lipschitz常数最小化评估基本Lipschitz下界。最后,我们的研究结果表明,对于一个理想的标称性能,存在一个基本的下限对抗扰动的敏感性,仅取决于损失函数和数据分布,并在鲁棒性的改善超出这个界限只能在牺牲标称性能。我们的训练方案可证明达到这些界限下的性能和鲁棒性的约束。
2020-10-22 cs.LG cs.SY eess.SY
Input Convex Lipschitz Recurrent Neural Networks for Robust and Efficient Process Modeling and Optimization
本文提出输入凸利普希茨递归神经网络,结合凸性和利普希茨连续性提升计算效率和鲁棒性,应用于流程建模与优化。
2026-03-15 cs.CE cs.LG cs.SY
Lipschitz Thinking: Ten Years of Certifiable-by-Design Robust Neural Networks
University of Cagliari(卡利亚里大学)
本文综述了Lipschitz有界神经网络十年发展,阐述其原理、约束机制及单次前向传播获得鲁棒性认证的方法,并展望其作为设计即得稳定性通用框架的未来方向。
2026-10-06 cs.LG
Estimating Neural Network Robustness via Lipschitz Constant and Architecture Sensitivity
Carnegie Mellon University(卡内基梅隆大学)
该研究针对机器人学习系统的鲁棒性需求,提出基于神经网络架构推导Lipschitz常数解析表达式的方法,通过实验明确网络设计、Lipschitz常数与鲁棒性的关联,为构建更安全可靠的机器人感知系统提供理论与实践依据。
2024-10-30 cs.AI cs.LG cs.RO
The robust way to stack and bag: the local Lipschitz way
IIT Madras(印度理工学院马德拉斯分校)
最近的研究表明,神经网络的局部Lipschitz常数直接影响其对抗鲁棒性。我们利用这种关系来构建一个集成的神经网络,不仅提高了准确性,但也提供了增加的对抗鲁棒性。局部Lipschitz常数为两种不同的集成方法-装袋和堆叠-推导出最适合于确保对抗鲁棒性的架构。在白盒攻击、FGSM和PGD的情况下,在MNIST和CIFAR-10数据集上对所提出的集成架构进行了测试。所提出的架构被发现是更强大的a)一个单一的网络和b)传统的集成方法。
2022-06-01 cs.CR cs.LG
Rethinking Lipschitz Neural Networks and Certified Robustness: A Boolean Function Perspective
Peking University(北京大学)
设计具有有界Lipschitz常数的神经网络是一种很有前途的方法,以获得可证明的鲁棒分类器对抗性的例子。然而,重要的$\ell_\infty$扰动设置的相关进展是相当有限的,如何设计表达$\ell_\infty$ Lipschitz网络的原则性理解仍然缺乏。在本文中,我们弥补了这一差距,研究证明$\ell_\infty$的鲁棒性从一个新的角度表示布尔函数。我们推导出两个基本的不可能性结果,适用于任何标准的Lipschitz网络:一个是有限数据集上的鲁棒分类,另一个是Lipschitz函数近似。这些结果表明,即使在二维情况下,建立在范数有界仿射层和Lipschitz激活上的网络本质上也失去了表达能力,并揭示了最近提出的Lipschitz网络(例如,GroupSort和$\ell_\infty$ -距离网)通过利用顺序统计函数绕过了这些不可能性。最后,基于这些见解,我们开发了一个统一的Lipschitz网络,它概括了以前的工作,并设计了一个可以有效训练的实用版本(使认证的鲁棒训练免费)。大量实验表明,我们的方法具有可扩展性、高效性,并且在多个数据集和扰动半径上比之前的Lipschitz网络始终产生更好的经认证的鲁棒性。我们的代码可在https://github.com/zbh2047/SortNet上获得。
2022-10-26 cs.AI cs.LG stat.ML
LDLT $\mathcal{L}$-Lipschitz Network: Generalized Deep End-To-End Lipschitz Network Construction
The Grainger College of Engineering, Industrial and Enterprise Systems Engineering Department University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院);Construction Engineering Research Laboratory U.S. Army Corps of Engineers Engineering Research and Development Center(美国陆军工程兵团工程研究与发展中心施工工程研究实验室)
本文提出了一种基于LDL^T分解的通用深度端到端Lipschitz网络构建方法,通过LMI框架实现参数化约束,提升网络的对抗鲁棒性和可证实性。
2025-12-05 cs.LG cs.SY eess.SY
Lipschitz-bounded 1D convolutional neural networks using the Cayley transform and the controllability Gramian
University of Stuttgart(斯图加特大学);The University of Sydney(悉尼大学)
本文提出基于 Cayley 变换与可控性 Gramian 的一维 CNN 逐层参数化,通过满足线性矩阵不等式实现无约束训练,并在心律失常分类中验证其鲁棒性提升。
2024-01-25 cs.LG cs.SY eess.SY
Lipschitz Networks and Distributional Robustness
The Australian National University(澳大利亚国立大学);Data 61;Google Brain(谷歌大脑);The University of Illinois at Chicago(伊利诺伊大学芝加哥分校);The University of Sydney(悉尼大学)
鲁棒风险最小化有几个优点:它已被研究,以提高模型的泛化性能和对抗性扰动的鲁棒性。我们通过涉及模型的Lipschitz常数的正则化经验风险来约束足够丰富以包括深度神经网络的模型类的分布鲁棒风险。这使我们能够解释和量化深度神经网络的鲁棒性。作为一个应用,我们展示了对抗训练风险的分布鲁棒风险上界。
2018-09-04 cs.LG stat.ML
Improved robustness to adversarial examples using Lipschitz regularization of the loss
我们使用最坏情况对抗训练(WCAT)增强对抗训练(AT),在CIFAR-10上的$\ell_2$规范中,它将对抗鲁棒性提高了11%。我们得到可验证的平均情况下和最坏情况下的鲁棒性保证,基于期望和最大值的范数的梯度的损失。我们将对抗训练解释为总变差正则化,这是数学图像处理中的基本工具,而WCAT则是Lipschitz正则化。
2019-09-13 cs.CR cs.CV cs.LG
Lipschitz-Regularized Critics Lead to Policy Robustness Against Transition Dynamics Uncertainty
College of Engineering & Computer Science, Syracuse University(工程与计算机科学学院,苏利文大学)
研究针对强化学习中转移动态不确定性致策略性能下降问题,提出基于近端策略优化的PPO-PGDLC算法,集成投影梯度下降与李普希茨正则化评论家,实验表明该算法在环境扰动下性能更好且动作更平滑。
2026-07-09 cs.LG
Robust Behavior Cloning Via Global Lipschitz Regularization
针对行为克隆在部署时易受观测误差或对抗干扰影响的问题,提出全局Lipschitz正则化方法构建Lipschitz神经网络,为策略提供针对有界范数扰动的鲁棒性证书,并在Gymnasium环境中验证了有效性。
2025-08-09 cs.AI cs.LG
Certifying Ensembles: A General Certification Theory with S-Lipschitzness
University of Oxford(牛津大学);ETH Zürich(苏黎世联邦理工学院)
针对集成模型可认证鲁棒性缺乏理论理解的问题,本文提出 S-Lipschitz 分类器以推广 Lipschitz 连续性,并给出集成相较成员分类器更鲁棒或更不鲁棒的精确条件。
2023-04-25 cs.LG
Lipschitz regularized Deep Neural Networks generalize and are adversarially robust
McGill University(麦吉尔大学);University of Minnesota(明尼苏达大学)
在这项工作中,我们研究了深度神经网络的输入梯度正则化,并证明了这种正则化导致泛化证明和提高对抗鲁棒性。推广的证明并没有克服维数灾难,但它与网络中的层数无关。对抗性鲁棒性正则化结合了对抗性训练,我们证明它等价于总变差正则化和Lipschitz正则化。我们的经验表明,正则化模型是更强大的,图像的梯度范数可以用于攻击检测。
2019-09-12 cs.LG cs.NA math.NA
Nonlinear Robust Filtering of Sampled-Data Dynamical Systems
GE Global Research(GE全球研究);University of Alberta(阿尔伯塔大学)
本文研究了具有和不具有精确离散时间模型的非线性采样数据系统的鲁棒滤波问题,提出了一种基于线性矩阵不等式的方法来设计鲁棒H∞观测器,并针对两种系统类型进行了分析,证明了观测器的收敛性,并通过欧拉近似离散时间模型证明了实际收敛性,同时通过最大化可允许的Lipschitz常数来保证对非线性不确定性的鲁棒性。
2018-12-23 cs.LG cs.SY eess.SY
LiST: Lipschitz Scaling Training for Robust and Calibrated Neural Networks
研究旨在开发同时满足准确性、鲁棒性和校准的神经网络。核心方法是引入LiST训练范式,通过迭代调整全局Lipschitz常数达到理想操作点,并利用训练损失中的余量参数构建校准前沿。主要贡献是在多数据集上验证该方法,展现出良好性能。
2026-07-10 cs.LG stat.ML
Robustly Invertible Nonlinear Dynamics and the BiLipREN: Contracting Neural Models with Contracting Inverses
Australian Centre for Robotics (ACFR)(澳大利亚机器人中心);School of Aerospace, Mechanical and Mechatronic Engineering(航空航天、机械与机电工程学院)
本文从收缩与增量稳定性角度研究非线性动力系统可逆性,提出构造上鲁棒可逆的双 Lipschitz 循环均衡网络 BiLipREN,并展示其与正交线性系统组合构造更一般双 Lipschitz 动态模型的能力。
2025-05-05 cs.LG cs.SY eess.SY
Lightweight Lipschitz Margin Training for Certified Defense against Adversarial Examples
University of Tsukuba(筑波大学);NEC Corporation(日本电气股份有限公司)
我们如何以可扩展的方式使机器学习对对抗性示例具有可证明的鲁棒性?由于保证$ε$鲁棒性的认证防御方法消耗了大量的资源,在实际应用中只能达到很小的鲁棒性。Lipschitz边缘训练(LMT)是一种可扩展的认证防御,但由于过度正则化,它也只能实现较小的鲁棒性。我们如何才能更有效地进行认证防御?我们提出了LC-LMT,一个轻量级的Lipschitz边缘训练,解决了上述问题。我们的方法具有以下性质:(a)高效:它可以在早期实现$ε$ -鲁棒性,(b)鲁棒性:它有可能获得比LMT更高的鲁棒性。在评估中,我们证明了所提出的方法的好处。LC-LMT可以比MNIST中的LMT提前30个历元以上达到所需的鲁棒性,并且对合法和对抗输入都显示出超过90个$\%$的准确性。
2018-11-20 cs.CR cs.CV cs.LG
The Effect of Prior Lipschitz Continuity on the Adversarial Robustness of Bayesian Neural Networks
University of Oxford(牛津大学);Oxford-Man Institute(牛津-曼学院)
机器学习模型对对抗性攻击具有鲁棒性是理想的,并且通常是必要的。贝叶斯模型尤其如此,因为它们非常适合安全关键型应用,在这些应用中,对抗性攻击可能会产生灾难性的后果。在这项工作中,我们深入研究了贝叶斯神经网络(BNN)的对抗鲁棒性。特别是,我们考虑BNN的对抗鲁棒性是否可以通过模型选择来增加,特别是由先验引起的Lipschitz连续性。对i.i.d.的案例进行深入分析,零均值高斯先验和后验近似通过平均场变分推断,我们发现证据表明,对抗鲁棒性确实是敏感的先验方差。
2021-01-07 cs.LG stat.ML
R2DN: Scalable Parameterization of Contracting and Lipschitz Recurrent Deep Networks
Australian Centre for Robotics(澳大利亚机器人中心);School of Aerospace, Mechanical and Mechatronic Engineering(航空航天、机械与机电工程学院);The University of Sydney(悉尼大学)
本文提出鲁棒循环深度网络(R2DN),通过将线性时不变系统与1-Lipschitz深度前馈网络反馈互联,直接参数化权重以保证模型稳定(收缩)且对小输入扰动鲁棒(Lipschitz),相比循环均衡网络(REN)无需迭代求解均衡层,显著提升GPU上的推理和反向传播速度,并在非线性系统辨识、观测器设计和基于学习的反馈控制中实现相近性能下训练和推理速度提升一个数量级。
2026-09-18 cs.LG cs.SY eess.SY
Lipschitz Continuity Retained Binary Neural Network
Illinois Institute of Technology(伊利诺伊理工学院);Hong Kong University of Science and Technology(香港科技大学);Texas State University(得克萨斯州立大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
现有的网络二值化工作往往以消除全精度权向量与其对应的二值向量之间的量化误差,从而在很大程度上恢复二值神经网络的性能为前提,采用模型鲁棒性的思想来达到上述目的。然而,鲁棒性仍然是一个定义不清的概念,没有坚实的理论支持。在这项工作中,我们引入了Lipschitz连续性,一个定义良好的功能属性,作为严格的标准来定义BNN模型的鲁棒性。然后,我们建议保留Lipschitz连续性作为正则化项,以提高模型的鲁棒性。特别是,虽然流行的Lipschitz涉及的正则化方法由于其极端稀疏性而经常在BNN中崩溃,但我们设计了保留矩阵来近似目标权重矩阵的谱范数,可以将其部署为BNN的Lipschitz常数的近似,而无需精确的Lipschitz常数计算(NP-困难)。我们的实验证明,我们的BNN特定的正则化方法可以有效地增强BNN的鲁棒性(在ImageNet-C上得到了验证),在CIFAR和ImageNet上实现了最先进的性能。
2022-07-16 cs.CV cs.LG
Beyond Lipschitz: Data-Driven Robustness via Discrete Modulus of Continuity
Institute for Numerical Simulation(数值模拟研究所);Dalle Molle Institute for Artificial Intelligence(人工智能研究所);University of Bonn(波恩大学);USI Lugano(卢加诺大学);Germany(德国);Switzerland(瑞士)
提出基于离散模连续性(DMOC)的数据驱动鲁棒性框架,通过非线性泛化Lipschitz连续性并引入可扩展的小批量算法,实现与数据分布相关的细粒度鲁棒性评估。
2026-05-27 cs.LG stat.ML
A Scalable Approach for Safe and Robust Learning via Lipschitz-Constrained Networks
The Bradley Department of Electrical and Computer Engineering, Virginia Tech(弗吉尼亚理工学院的布雷德利电子与计算机工程系);Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电子与计算机工程学院)
提出基于半正定松弛和环路变换的凸训练框架,结合随机子空间线性矩阵不等式方法分解全局约束,在保证神经网络鲁棒性的同时显著提升了可扩展性与运行效率。
2025-06-30 cs.LG
Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds
California Institute of Technology(加州理工学院);NVIDIA(英伟达)
经认证的鲁棒性是安全关键应用中的深度神经网络的期望属性,并且流行的训练算法可以通过计算其Lipschitz常数的全局界限来认证神经网络的鲁棒性。然而,这样的界限通常是松散的:它往往会过度正则化神经网络并降低其自然准确性。更严格的Lipschitz边界可以在自然和认证准确性之间提供更好的权衡,但由于网络的非凸性,通常难以精确计算。在这项工作中,我们提出了一个有效的和可训练的\emph{local} Lipschitz上界考虑之间的相互作用激活函数(例如ReLU)和权重矩阵。具体来说,当计算权重矩阵的诱导范数时,我们消除了相应的行和列,其中激活函数保证在每个给定数据点的邻域中是常数,这提供了比神经网络的全局Lipschitz常数更严格的边界。我们的方法可以作为一个插件模块来收紧Lipschitz界在许多可认证的训练算法。此外,我们提出裁剪激活函数(例如,ReLU和MaxMin),具有可学习的上限阈值和稀疏性损失,以帮助网络实现更严格的局部Lipschitz边界。在实验中,我们证明了我们的方法在MNIST,CIFAR-10和TinyImageNet数据集上的清洁和认证准确性方面始终优于最先进的方法。
2021-11-02 cs.CR cs.LG stat.ML
Improved techniques for deterministic l2 robustness
University of Maryland(马里兰大学)
在$l_{2}$范数下用严格的1-Lipschitz约束训练卷积神经网络(CNN)对于对抗鲁棒性、可解释梯度和稳定训练是有用的。1-Lipschitz CNN通常通过强制每一层具有正交雅可比矩阵(对于所有输入)来设计,以防止梯度在反向传播期间消失。然而,它们的性能通常显著落后于探试法,以强制执行Lipschitz约束,其中所得到的CNN不是\textit{provably} 1-Lipschitz。在这项工作中,我们通过引入(a)通过用1-隐藏层MLP替换最后一个线性层来证明1-Lipschitz CNN的鲁棒性的过程来减少这一差距,该过程显着提高了它们在标准和可证明的鲁棒精度方面的性能,(b)显著减少斜正交卷积(SOC)层的每个时期的训练时间的方法(对于更深的网络减少>30\%)和(c)使用输入到流形的$l_{2}$距离是1-Lipschitz的数学性质的一类池化层。使用这些方法,我们显着提高了CIFAR-10(增益为+1.79\%和+3.82\%)和CIFAR-100(增益为+3.78\%和+4.75\%)在所有网络中的标准和可证明的鲁棒精度。代码可在\url{https://github.com/singlasahil14/improved_l2_robustness}获得。
2022-11-15 cs.LG
1-Lipschitz Layers Compared: Memory, Speed, and Certifiable Robustness
ISTA;Scuola Superiore Sant’Anna(圣安娜高等研究院)
本文系统比较了构建 1-Lipschitz 神经网络的不同方法,从内存、速度和可认证鲁棒准确率三方面给出理论与实证分析,并提供选型指导与代码。
2023-11-28 cs.CV cs.LG cs.NE
Certified Robust Models with Slack Control and Large Lipschitz Constants
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文提出校准Lipschitz间隔损失(CLL),通过显式校准损失以控制松弛,解决最小化Lipschitz常数导致的过度平滑和准确率下降问题,在较大常数下提升鲁棒性并超越SOTA。
2023-09-12 cs.CV cs.LG stat.ML
Lipschitz Learning for Signal Recovery
Nokia Bell Labs(诺基亚贝尔实验室)
我们考虑通过使用机器学习(ML)从它们的观测中恢复信号,这些观测是信号变换的样本,而不是信号本身。我们将开发一个理论框架来描述可以通过ML算法从其观测中鲁棒恢复的信号,并建立信号和观测的Lipschitz条件,该条件对于鲁棒恢复的存在是必要和充分的。我们将比较Lipschitz条件与压缩感知稀疏恢复的著名限制等距属性,并表明前者更具一般性,限制较少。对于线性观测,我们的工作还提出了一种ML方法,其中输出空间被减少到尽可能低的维度。
2019-10-04 cs.LG eess.SP math.OC
Pay attention to your loss: understanding misconceptions about 1-Lipschitz neural networks
IRIT, Université Paul-Sabatier(保罗·萨巴蒂埃大学图卢兹信息学研究所);IRT Saint-Exupéry(圣埃克苏佩里技术研究所);IMT, Université Paul-Sabatier(保罗·萨巴蒂埃大学图卢兹数学研究所)
Lipschitz约束网络在深度学习社区中引起了相当大的关注,其用途从Wasserstein距离估计到可证明的鲁棒分类器的训练。然而,它们仍然被普遍认为是不太准确的,它们在学习中的特性仍然没有完全理解。在本文中,我们澄清了这一问题:当涉及到分类1-Lipschitz神经网络享有几个优势,他们的无约束对应。首先,我们证明了这些网络与经典网络一样精确,并且可以拟合任意困难的边界。然后,依靠反映操作需求的鲁棒性度量,我们描述了最鲁棒的分类器:WGAN分类器。接下来,我们证明了1-Lipschitz神经网络在更温和的假设下具有很好的泛化能力。最后,我们表明,超参数的损失是至关重要的控制精度鲁棒性的权衡。我们的结论是,他们表现出有吸引力的属性,铺平了道路,可证明准确的,可证明强大的神经网络。
2022-10-17 cs.AI cs.LG stat.ML
Robust Lipschitz Bandits to Adversarial Corruptions
University of California, Davis(加州大学戴维斯分校);University of California, Los Angeles(加州大学洛杉矶分校)
研究对抗性扰动下的Lipschitz老虎机问题,提出首个在强弱两类对手下均能实现次线性遗憾的鲁棒算法,证明强对手场景下的最优性并通过实验验证有效性。
2023-10-08 cs.LG stat.ML
Improve Robustness of Reinforcement Learning against Observation Perturbations via $l_\infty$ Lipschitz Policy Networks
Shanghai Jiao Tong University(上海交通大学)
针对深度强化学习智能体易受观测扰动影响的问题,提出融入全局$l_\infty$利普希茨连续性的SortRL方法及配套训练框架,实验证明其在多类任务中均达当前最优鲁棒性。
2023-12-14 cs.LG
Lipschitz Bounded Equilibrium Networks
Sydney Institute for Robotics and Intelligent Systems (SIRIS)(悉尼机器人与智能系统研究所);Australian Centre for Field Robotics (ACFR)(澳大利亚野外机器人中心);University of Sydney(悉尼大学)
本文介绍了平衡神经网络的新参数化,即由隐式方程定义的网络。该模型类包括标准多层和剩余网络作为特殊情况。新的参数化在训练过程中通过无约束优化允许Lipschitz界:不需要投影或障碍函数。Lipschitz边界是鲁棒性的常见代理,并且出现在许多泛化边界中。此外,与以前的作品相比,我们表现出适定性(存在的解决方案)的限制条件较少的网络权重和更自然的假设上的激活函数:它们是单调和斜率限制。这些结果证明了建立新的连接凸优化,非欧空间上的算子分裂,和收缩神经常微分方程。在图像分类实验中,我们表明,Lipschitz边界是非常准确的,提高了鲁棒性的对抗攻击。
2020-10-05 cs.CV cs.LG cs.SY
Enhancing Certified Robustness via Block Reflector Orthogonal Layers and Logit Annealing Loss
Department of Computer Science(计算机科学系);Information Engineering, National Taiwan University, Taiwan(信息工程,台湾国立台湾大学)
提出块反射正交层与对数退火损失,构建BRONet网络,在多个数据集上实现最先进的认证鲁棒性。
2025-08-05 cs.LG
Lipschitz-Based Robustness Certification Under Floating-Point Execution
University of Melbourne(墨尔本大学)
本文提出基于Lipschitz的鲁棒性认证方法,解决浮点执行与精确实数运算之间的语义差距问题,通过理论分析和实验证明其在神经网络中的有效性。
2026-07-13 cs.CV cs.LG cs.PL
Lipschitz Optimisation for Lipschitz Interpolation
University of Cambridge(剑桥大学)
被称为非线性集员预测、Kinky Inference或Lipschitz插值的技术是非参数机器学习的快速且数值鲁棒的方法,已被提出用于系统辨识和基于学习的控制的背景下。他们利用预设的Lipschitz属性,以计算未观察到的函数值的推断。不幸的是,这些方法中的大多数依赖于关于输入空间度量以及关于Lipschitz常数的精确知识。此外,从数据估计Lipschitz常数的现有技术对噪声不鲁棒,或者似乎是自组织的,并且通常与最终的学习和预测任务解耦。为了克服这些限制,我们提出了一种方法,通过最小化验证集预测误差来优化预设指标的参数。为了避免由于局部极小值而导致的性能不佳,我们建议利用优化目标的Lipschitz属性来确保全局优化的成功。由此产生的方法是一种新的灵活的非参数黑盒学习方法。我们提供的竞争力,我们的方法对人工以及真实数据的实验证据。
2017-02-28 cs.LG stat.ML
1-Lipschitz Network Initialization for Certifiably Robust Classification Applications: A Decay Problem
The Grainger College of Engineering, Industrial and Enterprise Systems Engineering Department(格拉inger工程学院,工业与企业系统工程系);Construction Engineering Research Laboratory(建设工程研究实验室);U.S. Army Corps of Engineers Engineering Research and Development Center(美国陆军工程兵团工程研究与发展中心)
针对可证明鲁棒分类所用的深度1-Lipschitz网络,本文分析AOL与SLL两种架构的权重参数化及初始化问题,推导不同初始化分布下的权重方差界,发现权重初始化会导致网络输出衰减至零。
2025-11-18 cs.AI cs.LG stat.ML
Probabilistic Modeling: Proving the Lottery Ticket Hypothesis in Spiking Neural Network
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Peng Cheng Laboratory(鹏城实验室);Peking University(北京大学)
本文提出一种针对脉冲神经元的概率建模方法,消除了Lipschitz条件限制,在理论和实验上证明了彩票票假设在脉冲神经网络中成立,并据此设计了优于基线的剪枝准则。
2023-05-20 cs.LG
Does Order Matter : Connecting The Law of Robustness to Robust Generalization
Ashoka University(阿什oka大学);Truth Audit Labs(真相审计实验室);Indian Statistical Institute(印度统计研究所)
本文通过全局和局部Rademacher复杂度,将鲁棒性定律(Lipschitz常数下界)与鲁棒泛化误差联系起来,证明了对任意数据分布,全局Lipschitz界阶不变,而局部Lipschitz界阶随扰动半径和局部浓度项变化。
2026-06-03 cs.AI cs.LG
The coupling effect of Lipschitz regularization in deep neural networks
ENAC(法国国立民航学院);Université de Toulouse(图卢兹大学)
我们研究了当输入数据受到随机不确定性影响时深度前馈神经网络的鲁棒性。更具体地说,我们考虑通过Lipschitz常数对网络进行正则化,并强调其作用。我们强调这样一个事实,即这种正则化不仅是控制权重大小的一种方法,而且对跨层的网络权重具有耦合效应。我们声称并在数据集上显示了这种耦合效应带来了网络的鲁棒性和表现力之间的权衡的证据。这表明Lipschitz正则化应该小心地实现,以保持跨层耦合。
2019-04-12 cs.LG stat.ML
Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness
National Tsing Hua University(清华大学);IBM Research(IBM研究院)
本文提出了一种基于Lipschitz连续性的数据驱动方法,通过单次遍历提升模型对抗鲁棒性,降低计算成本。
2025-11-26 cs.AI cs.LG
Sorting out Lipschitz function approximation
University of Toronto(多伦多大学);Vector Institute(向量研究所)
在严格的Lipschitz约束下训练神经网络对于可证明的对抗鲁棒性、泛化边界、可解释的梯度和Wasserstein距离估计是有用的。通过Lipschitz函数的复合性质,足以确保每个个体仿射变换或非线性激活是1-Lipschitz。挑战是在保持表达能力的同时做到这一点。我们确定了这样一个架构的必要属性:每一层都必须在反向传播过程中保持梯度范数。在此基础上,我们提出了结合梯度范数保持激活函数,GroupSort,与范数约束的权重矩阵。我们表明,范数约束GroupSort架构是通用的Lipschitz函数逼近。从经验上讲,我们证明了范数约束GroupSort网络比ReLU网络实现了更严格的Wasserstein距离估计,并且可以实现可证明的对抗性鲁棒性保证,而精度成本很小。
2019-06-11 cs.LG stat.ML
Efficient Robust Conformal Prediction via Lipschitz-Bounded Networks
IRIT(图卢兹计算机科学研究所);SNCF(法国国家铁路公司);IRT Saint Exupery(圣埃克絮佩里技术研究所)
针对对抗攻击下鲁棒保形预测集过大或计算昂贵的问题,提出基于 Lipschitz 有界网络的 lip-rcp,并给出普通 CP 的最坏情况覆盖界。
2025-06-10 cs.AI cs.LG
Robust Implicit Networks via Non-Euclidean Contractions
Politecnico di Torino(都灵理工大学);Institute for Problems in Mechanical Engineering, Russian Academy of Sciences(俄罗斯科学院机械工程问题研究所)
隐式神经网络,也就是,深度平衡网络是一类隐式深度学习模型,其中通过求解不动点方程来执行函数评估。它们推广了经典的前馈模型,等价于无限深度的权重绑定前馈网络。虽然隐式模型显示出更高的精度和显着减少内存消耗,但它们可能会遭受不适定性和收敛不稳定性。本文提出了一个新的框架,我们称之为非欧单调算子网络(NEMON),设计适定性和鲁棒的隐式神经网络的收缩理论的基础上的非欧范数$\ell_{\infty}$。我们的框架包括:(i)一个新的适定性条件的基础上单侧Lipschitz常数,(ii)计算不动点的平均迭代,和(iii)输入输出Lipschitz常数的显式估计。此外,我们设计了一个训练问题的适定性条件和平均迭代作为约束,并实现强大的模型,与输入输出Lipschitz常数作为正则化。我们的$\ell_{\infty}$适定性条件导致一个更大的多面体训练搜索空间比现有的条件和我们的平均迭代享受加速收敛。最后,我们评估我们的框架在图像分类通过MNIST和CIFAR-10数据集。我们的数值结果表明,更小的输入输出Lipschitz界的隐式模型的精度和鲁棒性。代码可在https://github.com/davydovalexander/Non-Euclidean_Mon_Op_Net上获得。
2022-01-26 cs.LG cs.SY eess.SY
Verification of Geometric Robustness of Neural Networks via Piecewise Linear Approximation and Lipschitz Optimisation
Imperial College London(帝国理工学院);University of California San Diego(加利福尼亚大学圣迭戈分校);Inria(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL University(巴黎文理研究大学);CNRS(法国国家科学研究中心);University of Limassol(利马索尔大学);Safe Intelligence
本文提出一种通过采样、线性近似与分支定界Lipschitz优化计算分段线性约束的方法,用于验证神经网络对图像几何变换的鲁棒性,获得了更紧的过近似,在MNIST和CIFAR10上比现有方法多解决高达32%的验证案例。
2024-09-21 cs.AI cs.CV cs.LG
How Does Bayes Error Limit Probabilistic Robust Accuracy
Singapore Management University(新加坡管理大学)
本研究从贝叶斯误差角度分析概率鲁棒精度的上界,发现其受贝叶斯不确定性影响较小,上界高于确定性鲁棒性,且随κ单调递增。
2024-05-23 cs.LG
Towards Robust Neural Networks with Lipschitz Continuity
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
深度神经网络在广泛的基于视觉的任务中表现出卓越的性能,特别是由于可用于训练和更好架构的大规模数据集。然而,在现实世界中看到的数据往往受到训练数据集没有考虑的失真的影响。在本文中,我们解决了神经网络的鲁棒性和稳定性的挑战,并提出了一种通用的训练方法,可用于使现有的神经网络架构更强大和稳定的输入视觉扰动,同时只使用可用的数据集进行训练。所提出的训练方法使用方便,因为它不需要数据增强或改变网络架构。我们提供了理论证明以及经验证据的效率,提出的训练方法进行实验与现有的神经网络架构,并证明了相同的架构时,训练与提出的训练方法进行训练时,比传统的训练方法在噪声数据集的存在下进行更好。
2018-11-22 cs.LG stat.ML
Improved deterministic l2 robustness on CIFAR-10 and CIFAR-100
University of Maryland, College Park(马里兰大学帕克分校)
在$l_{2}$范数下用严格的Lipschitz约束训练卷积神经网络(CNN)对于可证明的对抗鲁棒性、可解释的梯度和稳定的训练是有用的。虽然$1$-Lipschitz CNN可以通过在每层上强制执行$1$-Lipschitz约束来设计,但训练这样的网络需要每层具有正交雅可比矩阵(对于所有输入),以防止梯度在反向传播期间消失。具有此属性的层称为梯度范数保持(GNP)。在这项工作中,我们引入了一个程序来证明$1$ -Lipschitz CNN的鲁棒性,通过放松网络的最后一个线性层的正交化,显着提高了CIFAR-100上标准和可证明的鲁棒精度的最新水平(分别为$4.80\%$和$4.71\%$的增益)。我们通过引入(i)一个新的梯度范数保持激活函数称为Householder激活函数(包括每个$\mathrm{GroupSort}$激活)和(ii)证书正则化来进一步提高其鲁棒性。在CIFAR-10上,我们在可证明的鲁棒精度($5.81\%$)方面取得了显着的改进,而标准精度($-0.29\%$)只有轻微的下降。复制论文中所有实验的代码可在\url{https://github.com/singlasahil14/SOC}上获得。
2022-03-28 cs.LG
Limitations of the Lipschitz constant as a defense against adversarial examples
Perspecta Labs(Perspecta实验室)
最近的几篇论文讨论了利用Lipschitz常数来限制神经网络对对抗性示例的敏感性。我们分析了最近提出的计算Lipschitz常数的方法。我们表明,Lipschitz常数确实可以使对抗强大的神经网络。然而,目前用于计算它的方法受到理论和实践的限制。我们认为,解决这一缺点是未来研究认证对抗性防御的一个有希望的方向。
2018-07-25 cs.LG stat.ML
Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks
The University of Tokyo(东京大学);RIKEN(理化学研究所)
神经网络对输入的恶意扰动的高敏感性引起安全问题。为了向鲁棒分类器迈出稳步的一步,我们的目标是创建可证明免受扰动的神经网络模型。以前的认证工作需要对网络结构和大量计算成本进行强有力的假设,因此其应用范围受到限制。从Lipschitz常数和预测裕度之间的关系出发,提出了一种计算效率高的计算方法,用于确定欺骗网络的对抗性扰动的大小下限,该方法广泛适用于各种复杂网络.此外,我们提出了一个有效的训练过程,使网络健壮,并显着提高数据点周围的可证明的保护区域。在实验评估中,我们的方法显示出它能够提供非平凡的保证,并增强即使是大型网络的鲁棒性。
2018-10-31 cs.CV cs.LG stat.ML
Principles of Lipschitz continuity in neural networks
University of Galway(高威大学);Research Ireland(爱尔兰研究中心);Irish National Centre for Research Training in AI(爱尔兰国家人工智能研究培训中心);School of Computer Science(计算机学院)
研究深度学习面临的确保输入扰动鲁棒性和分布外数据泛化挑战下,从内部训练动态和外部频率信号传播两互补视角,推进对神经网络中利普希茨连续性原理的理解。
2026-07-13 cs.AI cs.LG stat.ML