Learning Rate Optimization for Deep Neural Networks Using Lipschitz Bandits
Indian Institute of Technology Madras(印度马德拉斯理工学院)
针对神经网络学习率调优问题,提出Lipschitz老虎机驱动的优化方法,相比HyperOpt与BLiE可通过更少评估次数和单评估轮数找到更优学习率,提升训练效率、降低成本。
2024-09-15 cs.LG
Optimization-Induced Dynamics of Lipschitz Continuity in Neural Networks
University of Galway(Galway大学);Irish National Centre for Research Training in AI (CRT-AI)(爱尔兰人工智能研究培训中心);Université Laval(拉瓦尔大学);Canada-CIFAR AI Chair(加拿大CIFAR人工智能 chair);Mila - Québec AI Institute(魁北克人工智能研究所);University of Toronto(多伦多大学);MBZUAI, UAE(阿联酋MBZUAI)
针对神经网络训练过程中利普希茨连续性演化规律研究不足的问题,提出基于SDE的SGD训练利普希茨连续性演化建模框架,识别三类核心驱动因素,实验验证理论与实际行为高度一致。
2025-11-14 cs.AI cs.LG stat.ML
Adversarial robustness through Lipschitz-Guided Stochastic Depth in Neural Networks
Laboratory of Multimodal Research in Industry(产业多模态研究实验室);Innopolis University(因诺普里斯大学);LLC NUHA TECH(NUHA技术公司);Laboratory of Innovative Technologies for Processing Video Content(视频内容处理创新技术实验室)
提出Lipschitz引导的随机深度DropPath方法,通过随深度增加的丢弃概率控制网络有效Lipschitz常数,在保持干净准确率的同时增强对抗鲁棒性并减少计算量。
2025-09-12 cs.CV
Lipschitz Continuity in Model-based Reinforcement Learning
Brown University(布朗大学);Cornell University(康奈尔大学)
我们研究了在基于模型的强化学习的背景下学习Lipschitz连续模型的影响。我们提供了一个新的约束Lipschitz模型的多步预测误差,我们量化的错误使用Wasserstein度量。我们接着证明了由Lipschitz模型产生的值函数估计的误差界,并证明了估计的价值函数本身就是Lipschitz。我们的结论与实证结果表明,控制Lipschitz常数的神经网络模型的好处。
2018-07-27 cs.AI cs.LG stat.ML
Lipschitz Bounded Equilibrium Networks
Sydney Institute for Robotics and Intelligent Systems (SIRIS)(悉尼机器人与智能系统研究所);Australian Centre for Field Robotics (ACFR)(澳大利亚野外机器人中心);University of Sydney(悉尼大学)
本文介绍了平衡神经网络的新参数化,即由隐式方程定义的网络。该模型类包括标准多层和剩余网络作为特殊情况。新的参数化在训练过程中通过无约束优化允许Lipschitz界:不需要投影或障碍函数。Lipschitz边界是鲁棒性的常见代理,并且出现在许多泛化边界中。此外,与以前的作品相比,我们表现出适定性(存在的解决方案)的限制条件较少的网络权重和更自然的假设上的激活函数:它们是单调和斜率限制。这些结果证明了建立新的连接凸优化,非欧空间上的算子分裂,和收缩神经常微分方程。在图像分类实验中,我们表明,Lipschitz边界是非常准确的,提高了鲁棒性的对抗攻击。
2020-10-05 cs.CV cs.LG cs.SY
Lipschitz neural networks are dense in the set of all Lipschitz functions
University of Konstanz(康斯坦茨大学)
本文证明了,对于固定的Lipschitz常数$L > 0$,$L$ -Lipschitz的单层神经网络在所有$L$ -Lipschitz函数的集合中关于有界集上的一致范数是稠密的.
2020-09-29 cs.LG cs.NA math.NA
Estimating Neural Network Robustness via Lipschitz Constant and Architecture Sensitivity
Carnegie Mellon University(卡内基梅隆大学)
该研究针对机器人学习系统的鲁棒性需求,提出基于神经网络架构推导Lipschitz常数解析表达式的方法,通过实验明确网络设计、Lipschitz常数与鲁棒性的关联,为构建更安全可靠的机器人感知系统提供理论与实践依据。
2024-10-30 cs.AI cs.LG cs.RO
Lipschitz Continuity Guided Knowledge Distillation
Illinois Institute of Technology(伊利诺伊理工学院);Texas State University(德克萨斯州立大学);Shandong University(山东大学)
知识蒸馏通过将知识从较大的教师网络蒸馏到较小的学生网络,已经成为最重要的模型压缩技术之一。尽管通过精心设计各种类型的知识,先前的蒸馏方法已经取得了巨大的成功,但它们忽略了神经网络的功能特性,这使得将这些技术应用于新任务的过程不可靠且不平凡。为了缓解这一问题,本文首先利用Lipschitz连续性来更好地表示神经网络的功能特性,并指导知识蒸馏过程。特别是,我们提出了一种新的Lipschitz连续性引导的知识蒸馏框架,通过最小化两个神经网络的Lipschitz常数之间的距离来忠实地提取知识,这使得教师网络能够更好地正则化学生网络并提高相应的性能。我们通过明确的理论推导出一种可解释的近似算法,以解决计算Lipschitz常数的NP难题。实验结果表明,我们的方法优于其他基准超过几个知识蒸馏任务(例如,分类、分割和目标检测)。
2021-08-29 cs.AI cs.CV cs.LG
Lipschitz Continuity Retained Binary Neural Network
Illinois Institute of Technology(伊利诺伊理工学院);Hong Kong University of Science and Technology(香港科技大学);Texas State University(得克萨斯州立大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
现有的网络二值化工作往往以消除全精度权向量与其对应的二值向量之间的量化误差,从而在很大程度上恢复二值神经网络的性能为前提,采用模型鲁棒性的思想来达到上述目的。然而,鲁棒性仍然是一个定义不清的概念,没有坚实的理论支持。在这项工作中,我们引入了Lipschitz连续性,一个定义良好的功能属性,作为严格的标准来定义BNN模型的鲁棒性。然后,我们建议保留Lipschitz连续性作为正则化项,以提高模型的鲁棒性。特别是,虽然流行的Lipschitz涉及的正则化方法由于其极端稀疏性而经常在BNN中崩溃,但我们设计了保留矩阵来近似目标权重矩阵的谱范数,可以将其部署为BNN的Lipschitz常数的近似,而无需精确的Lipschitz常数计算(NP-困难)。我们的实验证明,我们的BNN特定的正则化方法可以有效地增强BNN的鲁棒性(在ImageNet-C上得到了验证),在CIFAR和ImageNet上实现了最先进的性能。
2022-07-16 cs.CV cs.LG
Improving Lipschitz-Constrained Neural Networks by Learning Activation Functions
École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
针对ReLU激活的Lipschitz约束神经网络性能差的问题,证明带可学习1-Lipschitz线性样条的网络对应带二阶总变分正则化的约束泛函优化全局最优解,提出高效训练方法,性能优于现有同类架构。
2023-12-19 cs.LG
A Dynamical System Perspective for Lipschitz Neural Networks
LAMSADE, Université Paris-Dauphine, CNRS, PSL University(巴黎多芬大学LAMSADE实验室、法国国家科学研究中心、巴黎文理研究大学);ESPCI Paris(巴黎高等物理化工学院);Facebook AI Research(脸书人工智能研究院);INRIA, Ecole Normale Supérieure, CNRS, PSL University(法国国家信息与自动化研究所、巴黎高等师范学院、法国国家科学研究中心、巴黎文理研究大学)
神经网络的Lipschitz常数被确定为增强对抗性样本鲁棒性的关键量。在本文中,我们解决了建立$1$ -Lipschitz神经网络的问题.通过从连续时间动力系统的角度研究残差网络,我们提供了一种通用的方法来构建$1$ -Lipschitz神经网络,并表明以前的一些方法是这种框架的特殊情况。然后,我们扩展了这个推理,并表明从凸势导出的ResNet流定义了$1$ -Lipschitz变换,这使我们定义了{ \em凸势层}(CPL)。在几个数据集上进行的一组全面的实验证明了我们的架构的可扩展性以及作为对抗性示例的$\ell_2$可证明防御的好处。
2022-02-01 cs.LG
On the sensitivity of pose estimation neural networks: rotation parameterizations, Lipschitz constants, and provable bounds
University of Washington(华盛顿大学)
在本文中,我们的方法的任务,确定灵敏度界的姿态估计神经网络。这项任务特别具有挑战性,因为它需要表征3D旋转的灵敏度。我们开发了一个灵敏度测度,它描述了网络输出相对于其输入的欧几里得变化的最大旋转变化。我们表明,这种措施是一种类型的Lipschitz常数,它是有界的产品网络的欧几里得Lipschitz常数和旋转参数化的内在属性,我们称之为“距离比常数”。我们推导出几个旋转参数化的距离比常数,然后讨论为什么大多数这些参数化的结构使得很难构建一个姿态估计网络与可证明的灵敏度界限。然而,我们表明,灵敏度界可以计算网络参数旋转使用无约束指数坐标。然后,我们构建和训练这样一个网络,并计算它的灵敏度界限。
2022-03-16 cs.CV cs.LG
Lipschitz Thinking: Ten Years of Certifiable-by-Design Robust Neural Networks
University of Cagliari(卡利亚里大学)
本文综述了Lipschitz有界神经网络十年发展,阐述其原理、约束机制及单次前向传播获得鲁棒性认证的方法,并展望其作为设计即得稳定性通用框架的未来方向。
2026-10-06 cs.LG
Approximating Lipschitz continuous functions with GroupSort neural networks
Criteo(Criteo公司);Sorbonne Université(索邦大学)
对抗性攻击和Wasserstein GANs的最新进展提倡使用具有受限Lipschitz常数的神经网络。出于这些观察,我们研究了最近推出的GroupSort神经网络,限制的权重,并作出理论上的一步,更好地了解他们的表达能力。我们特别展示了这些网络如何表示任何Lipschitz连续分段线性函数。我们还证明了它们非常适合于近似Lipschitz连续函数,并且在深度和大小上都具有上界。总之,GroupSort网络与更标准的ReLU网络相比的效率在一组合成实验中得到了说明。
2021-02-08 cs.LG stat.ML
Uniform Convergence of Deep Neural Networks with Lipschitz Continuous Activation Functions and Variable Widths
Old Dominion University(奥尔多明尼恩大学);Sun Yat-sen University(中山大学)
本文研究可变宽度深度神经网络在层数趋于无穷时的一致收敛性,给出权重、偏置与 Lipschitz 常数的充分条件,并推广至固定、有界、无界宽度及卷积神经网络。
2023-06-02 cs.LG
Regularisation of Neural Networks by Enforcing Lipschitz Continuity
University of Edinburgh(爱丁堡大学);University of Waikato(怀卡托大学)
我们研究了明确地强制神经网络关于其输入的Lipschitz连续性的效果。为此,我们提供了一个简单的技术计算上限Lipschitz常数-为多个$p$规范-的前馈神经网络组成的常用层类型。然后,我们的技术是用来制定一个神经网络的训练与有界Lipschitz常数作为一个约束优化问题,可以解决使用投影随机梯度方法。我们的评估研究表明,所得到的模型的性能超过了其他常见的正则化训练的模型。我们还提供了证据,证明超参数是直观的调整,演示如何选择计算Lipschitz常数的范数影响所产生的模型,并表明,我们的方法提供的性能增益是特别明显的,当只有少量的训练数据可用。
2020-08-09 cs.LG stat.ML
On the Lipschitz Continuity of Set Aggregation Functions and Neural Networks for Sets
Department of Informatics and Telecommunications University of Peloponnese(信息与通信技术系希腊皮洛斯大学);Department of Computer Science & Engineering University of Ioannina(计算机科学与工程系伊奥尼亚大学)
本文研究了集合聚合函数和基于注意力的聚合函数的Lipschitz连续性,推导了处理多重集合神经网络的Lipschitz常数上界,并通过实验验证了其稳定性与泛化能力。
2026-02-27 cs.LG
Universal Lipschitz Approximation in Bounded Depth Neural Networks
Perspecta Labs(Perspecta实验室)
对机器学习模型的对抗攻击是我们越来越依赖这些模型的一个相当大的障碍。因此,可证明的鲁棒(认证)机器学习模型是一个主要的兴趣话题。Lipschitz连续模型为解决这一问题提供了一种很有前途的方法。通过利用保持低Lipschitz常数的神经网络的变体的表达能力,我们证明了使用FullSort激活函数的三层神经网络是通用Lipschitz函数逼近器(ULA)。这既解释了实验结果,也为未来创建更好的认证模型铺平了道路。最后,我们提出的实验结果表明,ULAs不仅是一个新颖的,但有竞争力的方法来提供认证的分类器,使用这些结果来激励几个潜在的主题进一步研究。
2019-04-09 cs.LG stat.ML
Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks
The University of Tokyo(东京大学);RIKEN(理化学研究所)
神经网络对输入的恶意扰动的高敏感性引起安全问题。为了向鲁棒分类器迈出稳步的一步,我们的目标是创建可证明免受扰动的神经网络模型。以前的认证工作需要对网络结构和大量计算成本进行强有力的假设,因此其应用范围受到限制。从Lipschitz常数和预测裕度之间的关系出发,提出了一种计算效率高的计算方法,用于确定欺骗网络的对抗性扰动的大小下限,该方法广泛适用于各种复杂网络.此外,我们提出了一个有效的训练过程,使网络健壮,并显着提高数据点周围的可证明的保护区域。在实验评估中,我们的方法显示出它能够提供非平凡的保证,并增强即使是大型网络的鲁棒性。
2018-10-31 cs.CV cs.LG stat.ML
Local Lipschitz Bounds of Deep Neural Networks
ETH Zürich(苏黎世联邦理工学院)
Lipschitz常数是在分析基于梯度的优化方法的收敛性时出现的重要量。通常不清楚如何估计复杂模型的Lipschitz常数。因此,本文研究的一个重要问题,可能是有用的更广泛的领域的非凸优化。主要结果给出了多层前馈神经网络的Lipschitz常数及其梯度的局部上界。此外,还建立了下界,这是用来表明,它是不可能得到的整体上界的Lipschitz常数。与以前的工作相比,我们计算的Lipschitz常数相对于网络参数,而不是相对于输入。这些常数是许多基于梯度的优化方案的步长优化器的理论描述及其收敛性分析所必需的。这个想法既简单又有效。结果被扩展到神经网络的推广,连续深度神经网络,这是由控制常微分方程描述。
2023-02-09 cs.LG q-fin.MF stat.ML
The coupling effect of Lipschitz regularization in deep neural networks
ENAC(法国国立民航学院);Université de Toulouse(图卢兹大学)
我们研究了当输入数据受到随机不确定性影响时深度前馈神经网络的鲁棒性。更具体地说,我们考虑通过Lipschitz常数对网络进行正则化,并强调其作用。我们强调这样一个事实,即这种正则化不仅是控制权重大小的一种方法,而且对跨层的网络权重具有耦合效应。我们声称并在数据集上显示了这种耦合效应带来了网络的鲁棒性和表现力之间的权衡的证据。这表明Lipschitz正则化应该小心地实现,以保持跨层耦合。
2019-04-12 cs.LG stat.ML
Nonparametric Online Learning Using Lipschitz Regularized Deep Neural Networks
Technion - Israel Institute of Technology(以色列理工学院)
深度神经网络被认为是许多离线机器学习任务中最先进的模型。然而,他们在在线学习任务中的表现和概括能力却鲜为人知。因此,我们专注于在线学习,并解决具有挑战性的问题,其中底层过程是平稳和遍历的,从而消除了独立同分布。假设和允许观察任意地相互依赖。我们证明了Lipschitz正则化深度神经网络的泛化能力,并表明通过使用这些网络,可以保证收敛到最佳预测策略。
2019-05-26 cs.LG stat.ML
Improved Scalable Lipschitz Bounds for Deep Neural Networks
University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对深度神经网络Lipschitz界计算存在的估计保守或可扩展性差的问题,提出基于LipSDP可行点通用参数化的闭式界方法,将ECLipsE-Fast纳入特例,提升了估计的精度与可扩展性。
2025-03-18 cs.LG cs.SY eess.SY
Approximation of Lipschitz Functions using Deep Spline Neural Networks
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
Lipschitz约束神经网络在机器学习中有着广泛的应用。由于设计和训练表达性Lipschitz约束网络非常具有挑战性,因此需要改进方法和更好的理论理解。不幸的是,事实证明,ReLU网络在这种情况下具有可证明的缺点。因此,我们建议使用可学习的样条激活函数,至少有3个线性区域。我们证明,这种选择是最佳的所有组件明智的$1$ -Lipschitz激活函数的意义上说,没有其他的重量约束架构可以近似一个更大的功能类。此外,这种选择至少与最近引入的用于谱范数约束权重的非分量Groupsort激活函数一样具有表达性。以前发表的数值结果支持我们的理论研究结果。
2022-04-13 cs.LG math.OC
Lipschitz constant estimation of Neural Networks via sparse polynomial optimization
EPFL(洛桑联邦理工学院)
我们介绍LiPopt,一个多项式优化框架,用于计算神经网络的Lipschitz常数的上界。基本的优化问题归结为线性(LP)或半定(SDP)规划。我们展示了如何使用网络的稀疏连接,以显着降低计算的复杂性。这对于卷积和修剪的神经网络特别有用。我们在具有随机权重的网络以及在MNIST上训练的网络上进行实验,结果表明,在$\ell_\infty$ -Lipschitz常数的特定情况下,与文献中的基线相比,我们的方法产生了更好的估计。
2020-04-18 cs.LG stat.ML
Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation
University of California, Los Angeles(加州大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学);Bosch Center for AI(博世人工智能中心)
Lipschitz常数与神经网络的许多性质有关,如鲁棒性、公平性和泛化性。现有的计算Lipschitz常数的方法要么产生相对宽松的上限,要么仅限于小型网络。在本文中,我们开发了一个有效的框架,计算$\ell_\infty$局部Lipschitz常数的神经网络通过严格的上界的规范,通过线性边界传播。我们制定的计算局部Lipschitz常数的线性有界传播过程的高阶向后图的克拉克雅可比链规则。为了使线性绑定传播,我们推导出紧密的线性松弛的特定非线性克拉克雅可比矩阵。这个公式统一了现有的ad-hoc方法,如RecurJac,它可以被看作是我们的一个特例,具有较弱的松弛。绑定传播框架还允许我们很容易地借用流行的分支定界(BaB)方法从神经网络验证,以进一步收紧Lipschitz常数。实验表明,在微小的模型上,我们的方法与无法扩展到稍大模型的精确方法相比,可以产生相当的边界;在较大的模型上,我们的方法有效地产生比现有的放松或天真的方法更严格的结果,并且我们的方法可以扩展到以前的作品无法处理的更大的实际模型。我们还展示了可证明的单调性分析的应用。代码可在https://github.com/shizhouxing/Local-Lipschitz-Constants上获得。
2022-10-13 cs.LG
Some Fundamental Aspects about Lipschitz Continuity of Neural Networks
ETH Zürich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学院学习系统中心)
本文针对神经网络Lipschitz连续性展开实证研究,通过穷尽简单通用的上下界极限在多设置下分析其行为,发现下界高保真度、上下界双下降趋势及标签噪声的相关影响,补充了该领域的基础认知。
2024-05-14 cs.LG stat.ML
Convergence Guarantees of Gradient Descent for Neural Networks via Generalized Lipschitz Smoothness
该研究针对无特殊初始化或数据集要求的一般前馈神经网络,利用激活函数的广义利普希茨光滑性,证明了梯度下降的收敛性,给出了最小平方梯度范数的收敛速率。
2026-09-29 cs.LG
LALR: Theoretical and Experimental validation of Lipschitz Adaptive Learning Rate in Regression and Neural Networks
BITS Pilani(比尔拉科学技术学院);PES University(PES大学);ML Square(ML平方)
我们提出了一个理论框架的平均绝对误差损失函数和分位数损失函数的自适应学习率政策,并评估其有效性回归任务。该框架基于Lipschitz连续性理论,特别是利用损失函数的学习率和Lipschitz常数之间的关系。基于实验,我们发现自适应学习率策略与恒定学习率策略相比,收敛速度快20倍。
2020-05-19 cs.LG stat.ML
Upper and lower bounds for the Lipschitz constant of random neural networks
Mathematical Institute for Machine Learning(机器学习数学研究所);Data Science (MIDS), Catholic University of Eichstätt--Ingolstadt (KU)(数据科学(MIDS),埃希施泰特-英戈尔施塔特天主教大学);Chair of Mathematics --- Statistics(数学-统计学教授职位)
本文针对随机ReLU神经网络,在推广的He初始化假设下推导Lipschitz常数的上下界,对深层网络给出宽度对数因子的间隙,对浅层网络则刻画到与参数无关的绝对常数精度。
2025-07-02 cs.LG math.PR stat.ML
LipBaB: Computing exact Lipschitz constant of ReLU networks
International Institute of Information Technology Bangalore(班加罗尔国际信息技术学院)
神经网络的Lipschitz常数在深度学习的多个背景下起着重要作用,从鲁棒性认证和正则化到具有神经网络控制器的系统的稳定性分析。因此,获得Lipschitz常数的紧界是很重要的。我们引入了LipBaB,这是一个分支定界框架,用于计算具有ReLU激活函数的深度神经网络的局部Lipschitz常数的经认证的界限,达到任何所需的精度。我们通过限制雅可比矩阵的范数来实现这一点,对应于输入域内引起的网络的不同激活模式。我们的算法可以提供可证明的精确计算的Lipschitz常数的任何p-范数。
2021-07-06 cs.DS cs.LG
Lipschitz Normalization for Self-Attention Layers with Application to Graph Neural Networks
École Polytechnique(巴黎综合理工学院);Huawei Technologies France(华为技术法国公司)
基于注意力的神经网络在大范围的应用中是最先进的。然而,当层数增加时,它们的性能趋于降低。在这项工作中,我们证明了通过规范化注意力分数来增强Lipschitz连续性可以显着提高深度注意力模型的性能。首先,我们表明,对于深度图注意力网络(GAT),训练过程中出现梯度爆炸,导致基于梯度的训练算法性能较差。为了解决这个问题,我们推导出注意力模块的Lipschitz连续性的理论分析,并引入LipschitzNorm,一个简单的和无参数的自注意力机制的规范化,强制模型是Lipschitz连续的。然后,我们将LipschitzNorm应用于GAT和图Transformers,并表明它们的性能在深度设置(10至30层)中得到了大幅改善。更具体地说,我们证明了具有LipschitzNorm的深度GAT模型对于表现出长期依赖性的节点标签预测任务实现了最先进的结果,同时在基准节点分类任务中显示出与未归一化对应物相比的一致改进。
2021-09-13 cs.LG stat.ML
ExLipBaB: Exact Lipschitz Constant Computation for Piecewise Linear Neural Networks
University of Bremen(不莱梅大学)
ExLipBaB提出了一种计算任意分段线性神经网络精确Lipschitz常数的方法,适用于包含多种激活函数的网络。
2026-02-17 cs.LG
Probabilistic Lipschitzness and the Stable Rank for Comparing Explanation Models
School of Electrical and Mechanical Engineering, The University of Adelaide(阿德莱德大学电气与机械工程学院);Information Sciences Division, Defence Science & Technology Group(国防科技组信息科学司)
本研究针对可解释性模型效果比较问题,证明三类模型的概率利普希茨性下界,提出归一化敏锐度指标对比鲁棒性,还揭示神经网络稳定秩与解释模型鲁棒性的启发式关联。
2024-03-08 cs.LG
Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds
California Institute of Technology(加州理工学院);NVIDIA(英伟达)
经认证的鲁棒性是安全关键应用中的深度神经网络的期望属性,并且流行的训练算法可以通过计算其Lipschitz常数的全局界限来认证神经网络的鲁棒性。然而,这样的界限通常是松散的:它往往会过度正则化神经网络并降低其自然准确性。更严格的Lipschitz边界可以在自然和认证准确性之间提供更好的权衡,但由于网络的非凸性,通常难以精确计算。在这项工作中,我们提出了一个有效的和可训练的\emph{local} Lipschitz上界考虑之间的相互作用激活函数(例如ReLU)和权重矩阵。具体来说,当计算权重矩阵的诱导范数时,我们消除了相应的行和列,其中激活函数保证在每个给定数据点的邻域中是常数,这提供了比神经网络的全局Lipschitz常数更严格的边界。我们的方法可以作为一个插件模块来收紧Lipschitz界在许多可认证的训练算法。此外,我们提出裁剪激活函数(例如,ReLU和MaxMin),具有可学习的上限阈值和稀疏性损失,以帮助网络实现更严格的局部Lipschitz边界。在实验中,我们证明了我们的方法在MNIST,CIFAR-10和TinyImageNet数据集上的清洁和认证准确性方面始终优于最先进的方法。
2021-11-02 cs.CR cs.LG stat.ML
On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory
研究了卷积神经网络的Lipschitz正则化问题。Lipschitz正则性现在被确立为现代深度学习的一个关键属性,在训练稳定性、泛化、对抗性示例的鲁棒性等方面都有影响。然而,计算神经网络的Lipschitz常数的精确值是NP困难的。最近的尝试从文献中引入上限来近似这个常数,要么是有效的,但松散或准确,但计算昂贵。在这项工作中,通过利用Toeplitz矩阵理论,我们为卷积层引入了一个新的上限,它既紧凑又易于计算。在此基础上,我们设计了一个训练Lipschitz正则化卷积神经网络的算法。
2020-11-07 cs.LG stat.ML
Learning Lipschitz Functions by GD-trained Shallow Overparameterized ReLU Neural Networks
DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
本文研究过参数化浅层ReLU神经网络通过早停GD学习带噪Lipschitz函数,从NTK近似视角证明早停规则能实现minimax最优收敛速率,并探讨了多种实用的停止规则。
2023-04-06 cs.LG stat.ML
The Lipschitz Constant of Self-Attention
DeepMind(深度思维)
神经网络的Lipschitz常数已经在深度学习的各种背景下进行了探索,例如可证明的对抗鲁棒性,估计瓦瑟斯坦距离,稳定GANs的训练,以及制定可逆的神经网络。这些工作集中在完全连接或卷积网络的Lipschitz常数的边界上,这些网络由线性映射和逐点非线性组成。在本文中,我们研究的Lipschitz常数的自我注意,一个非线性神经网络模块广泛应用于序列建模。我们证明了标准点积自注意在无界输入域上不是Lipschitz,并提出了一种替代的L2自注意是Lipschitz。我们推导出了L2自注意力Lipschitz常数的上界,并为它的渐近紧性提供了经验证据。为了证明我们的理论工作的实际相关性,我们制定了可逆的自我注意力,并将其用于基于transformer的架构中的字符级语言建模任务。
2021-06-09 cs.LG stat.ML
CLIP: Cheap Lipschitz Training of Neural Networks
Friedrich-Alexander University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
尽管近年来深度神经网络(DNN)取得了巨大成功,但大多数神经网络在稳定性方面仍然缺乏数学保证。例如,DNN容易受到小的甚至不可感知的输入扰动(所谓的对抗性示例)的影响,这可能导致错误的预测。这种不稳定性在影响人类健康和安全的应用中可能具有严重的后果,例如,生物医学成像或自动驾驶。虽然限制神经网络的Lipschitz常数可以提高稳定性,但大多数方法依赖于限制每层的Lipschitz常数,这对实际Lipschitz常数给出了较差的界限。在本文中,我们研究了一种变分正则化方法命名为CLIP控制的Lipschitz常数的神经网络,它可以很容易地集成到训练过程。我们从数学上分析了所提出的模型,特别是讨论了所选择的正则化参数对网络输出的影响。最后,我们数值评估我们的方法上的非线性回归问题和MNIST和时尚MNIST分类数据库,并比较我们的结果与权重正则化方法。
2022-10-31 cs.LG math.OC stat.ML
Limitations of the Lipschitz constant as a defense against adversarial examples
Perspecta Labs(Perspecta实验室)
最近的几篇论文讨论了利用Lipschitz常数来限制神经网络对对抗性示例的敏感性。我们分析了最近提出的计算Lipschitz常数的方法。我们表明,Lipschitz常数确实可以使对抗强大的神经网络。然而,目前用于计算它的方法受到理论和实践的限制。我们认为,解决这一缺点是未来研究认证对抗性防御的一个有希望的方向。
2018-07-25 cs.LG stat.ML
Lipschitz constant estimation for 1D convolutional neural networks
University of Stuttgart(斯图加特大学);RWTH Aachen(亚琛工业大学)
提出基于耗散性的方法,通过半定规划估计一维CNN的Lipschitz常数,利用状态空间实现提高效率,在准确性和可扩展性上优于现有方法。
2023-06-20 cs.LG cs.SY eess.SY
Training robust neural networks using Lipschitz bounds
University of Stuttgart(斯图加特大学)
由于神经网络对对抗性扰动的敏感性,其在安全关键应用中几乎没有使用。对输入中的这种扰动的鲁棒性的一个度量是由NN定义的输入-输出映射的Lipschitz常数。在这项工作中,我们提出了一个框架,训练多层神经网络,同时鼓励鲁棒性保持其Lipschitz常数小,从而解决鲁棒性问题。更具体地说,我们设计了一个优化方案的基础上的交替方向方法的乘法器,最大限度地减少不仅是一个NN的训练损失,但它的Lipschitz常数导致在半定规划为基础的训练过程,促进鲁棒性。我们设计了两个版本的训练程序。第一个包括一个正则化,惩罚一个准确的上限Lipschitz常数。第二个允许在训练过程中始终对NN强制执行所需的Lipschitz界限。最后,我们提供了两个例子来表明,所提出的框架成功地提高了神经网络的鲁棒性。
2020-09-15 cs.LG cs.SY eess.SY
Generalization of GANs and overparameterized models under Lipschitz continuity
Hanoi University of Science and Technology(河内科技大学)
生成对抗网络(GANs)非常复杂,现有的学习理论无法对GANs在实践中取得巨大成功的原因提供令人满意的解释。深度神经网络也面临同样的情况。为了填补这一空白,我们引入了Lipschitz理论来分析泛化。我们通过分析过参数化神经网络的泛化性和一致性证明了它的简单性。然后,我们使用这个理论推导出基于Lipschitz的GANs的泛化界。我们的边界表明,惩罚GAN损失的Lipschitz常数可以提高泛化能力。这一结果回答了长期以来的谜团,即为什么在没有坚实理论的情况下,对GANs普遍使用Lipschitz约束往往会取得巨大成功。最后但令人惊讶的是,我们表明,当使用Dropout或谱归一化时,\emph{truly deep}神经网络和GANs都可以很好地泛化,而不会出现维数灾难。
2022-02-14 cs.LG
Lipschitz regularized Deep Neural Networks generalize and are adversarially robust
McGill University(麦吉尔大学);University of Minnesota(明尼苏达大学)
在这项工作中,我们研究了深度神经网络的输入梯度正则化,并证明了这种正则化导致泛化证明和提高对抗鲁棒性。推广的证明并没有克服维数灾难,但它与网络中的层数无关。对抗性鲁棒性正则化结合了对抗性训练,我们证明它等价于总变差正则化和Lipschitz正则化。我们的经验表明,正则化模型是更强大的,图像的梯度范数可以用于攻击检测。
2019-09-12 cs.LG cs.NA math.NA
Lipschitz Recurrent Neural Networks
ICSI(国际计算机科学研究所);UC Berkeley(加州大学伯克利分校);Ben-Gurion University(本·古里安大学);Google Research(谷歌研究院)
将循环神经网络(RNNs)视为连续时间动力系统,我们提出了一个递归单元,它用两个部分来描述隐藏状态的演化:一个众所周知的线性分量加上一个Lipschitz非线性。这种特殊的函数形式便于使用非线性系统理论的工具对经常性单元的长期行为进行稳定性分析。反过来,这使得在实验之前就可以做出架构设计决策。给出了递归单元全局稳定的充分条件,为隐到隐矩阵的构造提供了一种新的方法。我们的实验表明,Lipschitz RNN可以在一系列基准任务上优于现有的递归单元,包括计算机视觉,语言建模和语音预测任务。最后,通过基于Hessian的分析,我们证明了与其他连续时间RNN相比,我们的Lipschitz递归单元在输入和参数扰动方面更具鲁棒性。
2021-04-24 cs.LG math.DS stat.ML
Lipschitz regularity of deep neural networks: analysis and efficient estimation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
深度神经网络因对精心选择的小扰动敏感而臭名昭著,估计这种架构的规律性对于安全和鲁棒的实际应用至关重要。在本文中,我们研究了评估这些方法的规律性的关键特征之一:深度学习架构的Lipschitz常数。首先,我们证明了,即使是两层神经网络,这个数量的精确计算是NP-困难的和国家的最先进的方法可能会显着高估it. Then,我们都扩展和改进以前的估计方法,提供AutoLip,第一个通用算法的上限Lipschitz常数的任何自动可微函数。我们提供了一个自动微分的幂方法算法,即使在大卷积上也可以进行有效的计算。其次,对于顺序神经网络,我们提出了一种改进的算法SeqLip,它利用线性计算图来分割每对连续层的计算。第三,我们在SeqLip上提出了算法,以处理非常大的网络。我们的实验表明,SeqLip可以显着提高现有的上限。最后,我们在PyTorch环境中提供了AutoLip的实现,该实现可用于更好地估计给定神经网络对小扰动的鲁棒性,或使用更精确的Lipschitz估计对其进行正则化。
2019-10-25 cs.LG stat.ML
ECLipsE-Gen-Local: Efficient Compositional Local Lipschitz Estimates for Deep Neural Networks
本文提出ECLipsE-Gen-Local框架,通过局部信息提升深度神经网络的Lipschitz估计精度与效率,结合灵活的SDP方法和线性复杂度算法,实现快速且紧致的Lipschitz界。
2026-04-07 cs.LG
Convex training of Lipschitz-regularized shallow neural networks
Polytechnique Montréal, GERAD & Mila, Montréal, QC, Canada(蒙特利尔理工学院,GERAD & Mila,加拿大魁北克省蒙特利尔市)
提出一种凸限制方法求解非凸Lipschitz正则化训练问题,可全局最优求解,并作为预训练网络的后处理步骤,提升对抗鲁棒性和准确性。
2026-06-19 cs.LG
Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant
École polytechnique fédérale de Lausanne(洛桑联邦理工学院)
本研究提出一种学习深度神经网络可训练激活函数的变分框架,在控制Lipschitz常数上界的同时提升网络容量,通过证明线性样条解的存在性将问题简化为带l1惩罚的有限维优化,实验验证其优于ReLU类激活函数。
2020-08-07 cs.LG stat.ML
Lipschitz-bounded 1D convolutional neural networks using the Cayley transform and the controllability Gramian
University of Stuttgart(斯图加特大学);The University of Sydney(悉尼大学)
本文提出基于 Cayley 变换与可控性 Gramian 的一维 CNN 逐层参数化,通过满足线性矩阵不等式实现无约束训练,并在心律失常分类中验证其鲁棒性提升。
2024-01-25 cs.LG cs.SY eess.SY
A provable control of sensitivity of neural networks through a direct parameterization of the overall bi-Lipschitzness
The University of Tokyo(东京大学);RIKEN Center for Brain Science(理化学研究所脑科学中心)
本文提出一种基于凸神经网络和Legendre-Fenchel对偶的新框架,实现对bi-Lipschitz常数的直接控制,并通过实验验证其在不确定性估计和单调问题中的有效性。
2024-12-13 cs.LG stat.ML
Lipschitz bounds for integral kernels
本文研究了积分核特征映射的Lipschitz正则性,推导了Lipschitz常数的显式公式,并探讨了不同核的Lipschitz连续性条件及神经网络中的相关行为。
2026-04-03 cs.LG stat.ML
Input Convex Lipschitz Recurrent Neural Networks for Robust and Efficient Process Modeling and Optimization
本文提出输入凸利普希茨递归神经网络,结合凸性和利普希茨连续性提升计算效率和鲁棒性,应用于流程建模与优化。
2026-03-15 cs.CE cs.LG cs.SY
System Identification Through Lipschitz Regularized Deep Neural Networks
Worcester Polytechnic Institute(伍斯特理工学院);University of Bologna(博洛尼亚大学)
在本文中,我们使用神经网络学习控制方程的数据。具体来说,我们重建的右手边的常微分方程系统$\dot{x}(t) = f(t, x(t))$直接从观察到的均匀时间采样数据使用神经网络。与其他基于神经网络的方法相比,我们增加了一个Lipschitz正则化项,我们的损失函数。在合成示例中,我们凭经验观察到,与非正则化模型相比,这种正则化导致更平滑的近似函数和更好的泛化特性,无论是在轨迹数据还是非轨迹数据上,特别是在存在噪声的情况下。与稀疏回归方法相比,由于神经网络是通用的逼近器,我们不需要任何关于ODE系统的先验知识。由于该模型是以组件方式应用的,因此它可以处理任何维度的系统,使其可用于真实世界的数据。
2020-09-07 cs.LG cs.NA math.DS