Reverse Engineering Deep ReLU Networks An Optimization-based Algorithm
McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）
本文提出一种结合输入采样、黑盒超平面查询与约束凸优化的深度 ReLU 网络逆向重构方法，并用带 L1/L2 正则化的梯度下降最小化输出差异。
2023-12-07 cs.LG
From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity
Stanford University（斯坦福大学）
本文基于几何（Clifford）代数与凸优化，证明深度ReLU网络的最优权重由训练样本楔积给出，将训练简化为楔积特征的凸优化，为理解网络内部机制与隐藏层作用提供了新视角。
2024-03-22 cs.AI cs.LG cs.NE
The Effects of Mild Over-parameterization on the Optimization Landscape of Shallow ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了温和的过度参数化对$\mathbf{x}\mapsto\sum_{i=1}^k\max\{0,\mathbf{w}_i^{\top}\mathbf{x}\}$形式的简单ReLU神经网络的优化景观的影响，在一个经过充分研究的教师-学生设置中，目标值由相同的架构生成，并且直接优化相对于高斯输入的群体平方损失。我们证明，虽然目标是强凸的全局最小值时，教师和学生网络拥有相同数量的神经元，它甚至不是\emph{locally convex}后，任何数量的过参数化。此外，相关的期望性质（例如，单点强凸性和Polyak-Schojasiewicz条件）甚至在局部也不成立。另一方面，我们建立的目标仍然是一点强凸的\emph{most}方向（适当定义），并显示在此属性下的优化保证。对于非全局最小值，我们证明了即使只添加一个神经元也会将非全局最小值变成鞍点。这在某些技术条件下是成立的，我们通过经验验证了这一点。这些结果提供了一个可能的解释，为什么恢复全局最小值变得明显更容易，当我们过度参数化，即使过度参数化的量是非常温和的。
2021-07-30 cs.LG stat.ML
Sparse Signal Estimation by Maximally Sparse Convex Optimization
NYU Polytechnic School of Engineering（纽约大学理工学院）；Istanbul Technical University（伊斯坦布尔理工大学）
本文讨论了稀疏惩罚最小二乘在稀疏信号处理中的应用问题，如稀疏反卷积。本文的目的是诱导稀疏性比L1范数正则化更强，同时避免非凸优化。为此，本文描述了设计和使用非凸罚函数（正则化）约束，以确保凸的总成本函数，F，被最小化。该方法基于参数罚函数，约束罚函数的参数以保证F的凸性。结果表明，最优参数可以通过半定规划（SDP）得到。这种最大稀疏凸（MSC）方法产生最大非凸稀疏诱导惩罚函数约束，使得总成本函数F是凸的。结果表明，迭代MSC（IMSC）可以产生比标准凸稀疏诱导方法更稀疏的解，即，L1范数最小化。
2014-01-03 cs.LG stat.ML
Recovery Guarantees for One-hidden-layer Neural Networks
UT-Austin（得克萨斯大学奥斯汀分校）；Microsoft Research, India（微软研究院（印度））；UC, Berkeley（加州大学伯克利分校）
本文研究了单隐层神经网络（1NNs）的回归问题。我们提取的激活函数，导致$\mathit{local~strong~convexity}$在附近的地面实况参数的1NN平方损失目标的一些属性。大多数流行的非线性激活函数都满足蒸馏特性，包括整流线性单元（ReLU），泄漏ReLU，平方ReLU和S形。对于激活功能，也是顺利的，我们显示$\mathit{local~linear~convergence}$保证梯度下降下的一个rescent规则。对于齐次激活，我们表明张量方法能够初始化的参数落入局部强凸区域。因此，保证张量初始化之后是梯度下降，以针对具有高概率的平滑齐次激活恢复具有样本复杂度$ d \cdot \log(1/ε) \cdot \mathrm{poly}(k,λ)$和计算复杂度$n\cdot d \cdot \mathrm{poly}(k,λ) $的基础事实，其中$d$是输入的维度，$k$（$k\leq d$）是隐藏节点的数量，$λ$是输入层和隐藏层之间的地面实况参数矩阵的条件属性，$ε$是目标精度，$n$是样本数。据我们所知，这是第一个为1NN提供恢复保证的工作，在输入维度上具有样本复杂度和计算复杂度$\mathit{linear}$，在精度上具有$\mathit{logarithmic}$。
2017-06-10 cs.DS cs.LG stat.ML
Piecewise Strong Convexity of Neural Networks
University of Toronto（多伦多大学）
我们研究了具有ReLU非线性的前馈神经网络的损失面，并使用权重衰减进行正则化。我们证明了正则化的损失函数在一个重要的开集上是分段强凸的，在一定条件下，该开集包含其所有的全局极小点。这用于证明该集合中正则化损失函数的局部极小值是孤立的，并且该集合中的每个可微临界点都是局部极小值，部分解决了2015年学习理论会议（COLT）上给出的公开问题;我们的结果也被应用于线性神经网络以表明利用权重衰减正则化，在获得低于给定阈值的训练误差的标准球中不存在非零临界点。我们还包括一个实验部分，我们验证我们的理论工作，并表明正则化的损失函数几乎总是分段强凸时，仅限于随机梯度下降轨迹为三个标准的图像分类问题。
2019-12-09 cs.LG cs.NE
Training for Faster Adversarial Robustness Verification via Inducing ReLU Stability
Massachusetts Institute of Technology（麻省理工学院）
我们探讨的概念协同设计的背景下，神经网络验证。具体来说，我们的目标是训练深度神经网络，不仅对对抗性扰动具有鲁棒性，而且其鲁棒性可以更容易地验证。为此，我们确定了网络模型的两个属性--权重稀疏性和所谓的ReLU稳定性--这两个属性会显著影响相应验证任务的复杂性。我们证明，提高权重稀疏性本身已经使我们能够把计算上棘手的验证问题变成易于处理的问题。然后，提高ReLU稳定性会导致验证时间增加4- 13倍。我们的方法的一个重要特点是它的“普遍性”，也就是说，它可以与广泛的培训程序和核查办法一起使用。
2019-04-23 cs.CR cs.LG cs.NE
Convexity in ReLU Neural Networks: beyond ICNNs?
Ens de Lyon（里昂高等师范学院）；CNRS（法国国家科学研究中心）；Université Claude Bernard Lyon 1（里昂第一大学（克洛德·贝尔纳））；Inria（法国国家信息与自动化研究所）；Université de Toulouse（图卢兹大学）；IRIT（图卢兹计算机科学、集成与系统实验室）
本文给出ReLU神经网络为凸的充分必要条件，并在路径提升框架下刻画其表达能力，证明单隐藏层凸ReLU网络均可由同架构ICNN表达而多层时不成立，并提出大规模网络的精确凸性检验数值方法。
2025-04-08 cs.LG
Gradient Descent Provably Optimizes Over-parameterized Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
神经网络成功的奥秘之一是随机初始化的一阶方法，如梯度下降，即使目标函数是非凸和非光滑的，也可以实现零训练损失。本文揭示了双层全连接ReLU激活的神经网络的这一惊人现象。对于具有ReLU激活和$n$训练数据的$m$隐藏节点浅层神经网络，我们证明了只要$m$足够大并且没有两个输入是并行的，随机初始化的梯度下降就以二次损失函数的线性收敛速度收敛到全局最优解。我们的分析依赖于以下观察：过度参数化和随机初始化共同限制每个权重向量在所有迭代中接近其初始化，这使我们能够利用强的类凸性质来表明梯度下降以全局线性速率收敛到全局最优值。我们相信这些见解在分析深层模型和其他一阶方法时也很有用。
2019-02-05 cs.LG math.OC stat.ML
Faster Accelerated First-order Methods for Convex Optimization with Strongly Convex Function Constraints
Shanghai University of Finance and Economics（上海财经大学）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们介绍了快速加速原始对偶法，以最小化一个凸函数的强凸函数的约束。在我们的工作之前，最好的复杂性界限是$\mathcal{O}(1/{\varepsilon})$，不管约束函数的强凸性。目前还不清楚强凸性假设是否可以实现更好的收敛结果。为了解决这个问题，我们开发了新的技术，逐步估计拉格朗日函数的强凸性。我们的方法，第一次，有效地利用约束强凸性，获得了改进的复杂性$\mathcal{O}(1/\sqrt{\varepsilon})$。该速率与强凸-凹鞍点优化的复杂度下界相匹配，因此是阶数最优的。我们展示了我们的方法在稀疏诱导约束优化，特别是谷歌的个性化PageRank问题的优越性能。此外，我们表明，重新启动的版本所提出的方法可以有效地确定最优解的稀疏模式在有限数量的步骤，结果似乎有独立的意义。
2024-11-27 cs.LG math.OC
Unveiling Hidden Convexity in Deep Learning: a Sparse Signal Processing Perspective
Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）
本文从稀疏信号处理角度探讨深度学习中隐藏的凸性，通过分析ReLU网络的凸等价关系，解决训练和理解神经网络的挑战。
2026-03-25 cs.LG eess.SP stat.ML
On the Nonconvexity of Push-Forward Constraints and Its Consequences in Machine Learning
Institut de Mathématiques de Toulouse, Université Paul Sabatier（图卢兹数学研究所，保罗·萨巴捷大学）；Department of Statistics, Columbia University（哥伦比亚大学统计系）
本文刻画两类推前约束的凸性与非凸性条件，证明其通常非凸，并据此揭示生成模型与分组公平预测器凸优化设计的根本局限。
2025-05-16 cs.LG math.PR stat.ML
Towards Better Generalization: Weight Decay Induces Low-rank Bias for Neural Networks
University of Delaware（特拉华大学）；University of Maryland（马里兰大学）
本文从理论和实验上证明权重衰减是训练神经网络时诱导权重矩阵低秩偏置的必要条件，并利用该偏置导出更优泛化误差界，揭示了SGD结合WD获得强泛化性能的机制。
2024-10-03 cs.LG stat.ML
More is Less: Inducing Sparsity via Overparameterization
Ludwig Maximilian University of Munich（慕尼黑大学）；RWTH Aachen University（亚琛工业大学）
为理解深度学习中的隐式偏差，本文研究稀疏恢复问题，提出过参数化平方损失泛函，证明原始梯度流可收敛至最小 $\ell_1$-范数解的良好近似，从而诱导稀疏性并显著改善压缩感知的样本复杂度。
2025-01-29 cs.IT cs.LG math.IT
Convex Formulations for Training Two-Layer ReLU Neural Networks
Umeå University（于默奥大学）；Imperial College London（帝国理工学院）
本文将无限宽两层ReLU网络训练重构为凸完全正规划，并提出可多项式时间求解的半定松弛，实验表明其在多类分类任务上具有竞争力。
2025-03-17 cs.LG math.OC
On Infinite-Width Hypernetworks
School of Computer Science（计算机学院）；Tel Aviv University（特拉维夫大学）；Microsoft Research AI（微软研究院人工智能部门）
{ \em超网络}是产生任务特定{ \em主网络}权重的体系结构。在最近的文献中，超网络的一个值得注意的应用涉及学习输出函数表示。在这些场景中，超网络学习与浅MLP的权重相对应的表示，其通常对形状或图像信息进行编码。虽然这种表示在实践中取得了相当大的成功，但在标准架构的广泛制度中，它们仍然缺乏理论保证。在这项工作中，我们研究了广泛的过参数化超网络。我们表明，与典型的架构，无限宽超网络不保证收敛到一个全局极小值下梯度下降。我们进一步表明，凸性可以通过增加超网络输出的维数来实现，以表示宽MLP。在双重无限宽制度，我们确定这些架构的功能先验推导出相应的GP和NTK内核，后者我们称为{ \em超内核}。作为这项研究的一部分，我们通过推导标准全连接ReLU网络的高阶泰勒展开项的严格界限做出了数学贡献。
2021-02-22 cs.LG stat.ML
Partition-wise Linear Models
NEC Laboratories America（NEC美国实验室）
区域特定线性模型由于其非线性但高度可解释的模型表示而在实际应用中被广泛使用。在其使用的关键挑战之一是在区域和区域特定模型的同时优化的非凸性。本文提出了新的凸区域特定的线性模型，我们称之为分区式线性模型。我们的主要思想是：1）分配线性模型，而不是区域，但分区（区域说明符）和分区特定的模型的线性组合表示特定区域的线性模型，和2）优化区域通过分区选择从大量给定的分区候选凸结构正则化。除了提供无初始化的全局最优解，我们的凸公式使得有可能推导出一个泛化界，并使用这种先进的优化技术，如邻近的方法和分解的邻近映射稀疏诱导正则化。实验结果表明，我们的分区方式的线性模型表现更好，或至少是竞争力与国家的最先进的区域特定的或局部线性模型。
2014-10-31 cs.LG stat.ML
On Space Folds of ReLU Neural Networks
Software Competence Center Hagenberg (SCCH)（哈根伯格软件能力中心）；AI at Meta（Meta人工智能部门）；Johannes Kepler University of Linz (JKU)（林茨约翰内斯·开普勒大学）
本文首次定量研究 ReLU 神经网络的空间折叠现象，提出基于极差度量的非凸折叠测度并证明输入与激活空间凸性概念等价，且在 CantorNet 与 MNIST 上进行了实证验证。
2025-02-14 cs.LG cs.NE
On the Effect of Initialization: The Scaling Path of 2-Layer Neural Networks
本文研究无限宽2层ReLU网络在不同尺度非零初始化下的正则化路径，利用非平衡最优传输理论建立无限维凸对应问题，证明缩放路径在核机制与丰富机制之间连续插值，并通过实验验证其与优化路径最终状态的一致性。
2023-08-09 cs.LG math.OC
Deep Semi-Random Features for Nonlinear Function Approximation
Massachusetts Institute of Technology（麻省理工学院）；Georgia Institute of Technology（佐治亚理工学院）；Aalto University（阿尔托大学）
我们提出了半随机特征的非线性函数逼近。半随机特征的灵活性介于深度学习中的完全可调单元和核方法中使用的随机特征之间。对于具有半随机特征的一个隐藏层模型，我们在没有不切实际的假设的情况下证明，随着宽度的增加，模型类包含任意好的函数（普适性），尽管非凸，我们仍然可以找到这样一个好的函数（优化理论），它可以推广到看不见的新数据（推广界）。对于深度模型，没有不切实际的假设，我们证明了通用的近似能力，近似误差的下限，部分优化保证和泛化界。根据问题的不同，深度半随机特征的泛化界可以指数地优于深度ReLU网络的已知界;我们的泛化误差界可以与深度、可训练权重的数量以及输入维度无关。在实验中，我们表明，半随机特征可以匹配神经网络的性能，通过使用稍多的单元，它优于随机特征，通过使用显着更少的单元。此外，我们引入了一个新的隐式集成方法，利用半随机特征。
2017-11-21 cs.LG cs.NE stat.ML
Universal Function Approximation by Deep Neural Nets with Bounded Width and ReLU Activations
Department of Mathematics, Texas A\&M, College Station, United States
本文关注的是具有ReLU激活和有界宽度的神经网络中深度的表达能力。我们对以下问题特别感兴趣：最小宽度$w_{\text{min}}(d)$是多少，以便宽度为$w_{\text{min}}(d)$（和任意深度）的ReLU网可以任意地逼近单位立方体$[0,1]^d$上的任何连续函数？对于接近这个最小宽度的ReLU网，我们可以说近似给定函数所需的深度是多少？我们对本文的方法是基于这样的观察，即由于ReLU激活的凸性，ReLU网特别适合表示凸函数。特别地，我们证明了具有宽度$d+1$的ReLU网可以任意地逼近$d$变量的任何连续凸函数。然后，这些结果给出了宽度为$d+3.$的ReLU网对$d$维立方体$[0,1]^d$上任何连续标量函数的逼近速率的定量深度估计
2017-12-20 cs.CG cs.LG math.FA
Continuous Optimization for Feature Selection with Permutation-Invariant Embedding and Policy-Guided Search
University of Kansas（堪萨斯大学）；University of Central Florida（中央佛罗里达大学）；Arizona State University（亚利桑那州立大学）
本文提出一种基于排列不变嵌入和策略引导搜索的连续优化特征选择框架，通过编码器-解码器范式和强化学习方法解决特征子集嵌入中的排列敏感性和凸性假设问题。
2026-02-27 cs.AI cs.LG
Approximation Schemes for ReLU Regression
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of Southern California（南加利福尼亚大学）
我们考虑了ReLU回归的基本问题，其目标是输出最佳拟合的ReLU，相对于从一些未知分布中提取的平方损失。我们给出了这个问题的第一个有效的常数因子近似算法，假设底层分布满足一些弱的集中和反集中条件（包括，例如，所有的对数凹分布）。这解决了Goel等人的主要开放问题，他证明了ReLU回归的任何精确算法（直到加性$ε$）的硬度结果。使用更复杂的技术，我们可以改善我们的结果，并获得多项式时间的近似方案的任何亚高斯分布。鉴于上述硬度结果，这些保证不能得到实质性的改善。我们的主要见解是一个新的表征代理损失的非凸激活。虽然以前的工作已经建立了单调激活的凸代理的存在，我们表明，基本分布的属性实际上诱导强凸的损失，使我们能够将全局最小激活的周参数。
2020-09-28 cs.DS cs.LG stat.ML
Is the Skip Connection Provable to Reform the Neural Network Loss Landscape?
Beijing Jiaotong University（北京交通大学）
残差网络现在是深度学习中最有效的结构之一，它利用跳过连接来"保证”性能不会变差。然而，神经网络的非凸性使得不清楚跳跃连接是否确实可证明地提高学习能力，因为非线性可能产生许多局部最小值。在以前的一些工作\cite{freeman2016topology}中，尽管非凸性，但当隐藏节点的数量$m$非常大时，双层ReLU网络的损失景观具有良好的特性。在本文中，我们沿着这条路线来研究拓扑（子水平集）的损失景观的深度ReLU神经网络与跳跃连接，并从理论上证明了跳跃连接网络继承了两层网络的良好性质和跳跃连接可以帮助控制子水平集的连通性，使得任何比一些双层ReLU网络的全局最小值更差的局部最小值将非常“浅”。这些局部最小值的"深度”至多是$O(m^{(η-1)/n})$，其中$n$是输入维数，$η<1$。这为深度学习中跳跃连接的有效性提供了理论解释。
2020-06-10 cs.LG stat.ML
Optimization Insights into Deep Diagonal Linear Networks
MaLGa, DIBRIS, Università degli Studi di Genova（基因瓦大学MaLGa、DIBRIS分校）；MaLGa, DIMA, Università degli Studi di Genova（基因瓦大学MaLGa、DIMA分校）；Center for Brains, Minds and Machines, MIT（MIT大脑、心智与机器中心）；Istituto Italiano di Tecnologia（意大利技术研究院）；Instituto de Alta investigaciòn (IAI), Universidad de Tarapacà（塔拉帕卡大学高级研究机构）
研究深度对角线线性网络的优化机制，揭示其在过参数化模型训练中的有效性及收敛性保证。
2026-01-19 cs.LG math.OC stat.ML
A Framework for Parallel and Distributed Training of Neural Networks
University of Perugia（佩鲁贾大学）
本文的目的是开发一个通用的框架，用于训练神经网络（NN）在分布式环境中，训练数据被划分在一组代理，通过一个稀疏的，可能随时间变化的，连接模式相互通信。在这种分布式场景中，训练问题可以被公式化为非凸社会成本函数的（正则化）优化，由局部（非凸）成本之和给出，其中每个代理贡献相对于其局部数据集定义的单个误差项。为了设计一个灵活而有效的解决方案，我们定制了最近提出的框架，在网络上的非凸优化，它取决于（原始）凸分解技术来处理非凸性，和一个动态的共识过程中传播的代理之间的信息。训练标准的几个典型选择（例如，平方损失、交叉熵等）以及正则化（例如，$\ell_2$范数、稀疏诱导惩罚等）都包含在框架中，并在本文中进行了探讨。收敛到一个固定的解决方案的社会非凸问题是保证在温和的假设。此外，我们展示了一种原则性的方式，允许每个代理利用可能的多核架构（例如，本地云），以便并行化其本地优化步骤，从而产生本质上既分布式（跨代理）又并行（在每个代理内部）的策略。一组全面的实验结果验证了所提出的方法。
2017-04-20 cs.LG stat.ML
Efficient Global Optimization of Two-Layer ReLU Networks: Quadratic-Time Algorithms and Adversarial Training
Department of Mechanical Engineering, University of California, Berkeley（机械工程系，加州大学伯克利分校）；Department of Electrical Engineering and Computer Science, University of California, Berkeley（电气工程与计算机科学系，加州大学伯克利分校）
针对人工神经网络训练的非凸优化难题，刻画ReLU网络凸训练近似解的质量，提出两种带全局收敛保证的高效算法，并构建适用于对抗训练的鲁棒凸训练公式。
2025-06-17 cs.LG
Global Minimizers of $\ell^p$-Regularized Objectives Yield the Sparsest ReLU Neural Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出了一种连续可微的训练目标，通过ℓ^p准范数最小化，保证找到最稀疏的ReLU神经网络解，为稀疏性诱导提供了理论基础。
2026-01-26 cs.LG stat.ML
Understanding Multi-phase Optimization Dynamics and Rich Nonlinear Behaviors of ReLU Networks
Peking University（北京大学）；Stanford University（斯坦福大学）
本研究对线性可分数据上梯度流训练的两层ReLU网络进行完整理论分析，揭示训练过程包含四个阶段，呈现从简化到复杂的学习趋势，并精确刻画了初始凝聚、平台逃逸等非线性行为。
2023-12-27 cs.LG math.OC
ARiA: Utilizing Richard's Curve for Controlling the Non-monotonicity of the Activation Function in Deep Neural Nets
Michigan Technological University（密歇根理工大学）；Symbiosis Centre for Medical Image Analysis（共生医学图像分析中心）；Symbiosis Institute of Technology（共生技术学院）
这项工作引入了一种新的激活单元，可以有效地用于深度神经网络（DNN），并且比传统的整流线性单元（ReLU）表现得更好。开发的函数是专门的理查德曲线的两个参数版本，我们称之为自适应理查德曲线加权激活（ARiA）。该函数是非单调的，类似于新引入的Swish，但是允许通过改变超参数来精确控制其非单调凸性。我们首先展示了两个参数ARiA的数学意义，然后将其应用于MNIST、CIFAR-10和CIFAR-100等基准问题，并将其与ReLU和Swish单元进行了性能比较。我们的研究结果表明，ARiA在所有这些数据集上都具有显著的优越性能，使其成为DNN中ReLU和其他激活的潜在替代品。
2018-05-22 cs.LG cs.NE
Query Strategies for Evading Convex-Inducing Classifiers
University of California（加利福尼亚大学）；Microsoft Research（微软研究院）；Intel Labs Berkeley（英特尔伯克利实验室）
分类器通常用于检测恶意活动。我们研究了一个对手如何系统地查询分类器，以获取信息，使对手逃避检测，同时产生一个接近最小的成本修改他们的意图渎职。我们将Lowd和Meek（2005）的理论推广到凸诱导分类器家族，该家族将输入空间划分为两个集合，其中一个是凸的。我们目前的查询算法，这个家庭，构建未被发现的情况下，大约最小的成本，只使用多项式多查询的空间的维度和近似的水平。我们的研究结果表明，接近最佳的规避可以完成没有反向工程的分类器的决策边界。我们还考虑了一般的LP成本，并表明，近最佳的规避家庭的凸诱导分类一般是有效的，为所有级别的近似，如果p=1的正凸和负凸。
2010-07-03 cs.CR cs.GT cs.LG
Complexity of Injectivity and Verification of ReLU Neural Networks
Technische Universität Berlin, Faculty IV Institute of Software Engineering and Theoretical Computer Science, Algorithmics and Computational Complexity（柏林技术大学，第四学院软件工程与理论计算机科学研究所，算法与计算复杂性）；Technische Universität Berlin, Faculty II, Institute of Mathematics, Combinatorial Optimization and Graph Algorithms（柏林技术大学，第二学院数学研究所，组合优化与图算法）
本研究证明ReLU网络单射性判定为coNP完全，提出输入维度参数化算法，并证明网络验证为coNP难，同时刻画满射性与计算凸性的联系。
2025-06-19 cs.CC cs.DM cs.LG
Robust One-Bit Recovery via ReLU Generative Networks: Near-Optimal Statistical Rate and Global Landscape Analysis
University of Michigan（密歇根大学）；Facebook, Inc.（Facebook公司）；Princeton University（普林斯顿大学）
我们研究鲁棒的一位压缩感知问题，其目标是设计一种算法，通过$m$量化的噪声测量忠实地恢复任何稀疏目标向量$θ_0\in\mathbb{R}^d$ \textit{uniformly}。具体地，我们考虑用于该问题的新框架，其中稀疏性通过将低维表示$x_0 \in \mathbb{R}^k$映射通过已知的$n$层ReLU生成网络$G:\mathbb{R}^k\rightarrow\mathbb{R}^d$来隐式地实施，使得$θ_0 = G(x_0)$。这样一个框架构成低维先验$θ_0$没有一个已知的稀疏性基础。我们建议恢复目标$G(x_0)$解决无约束的经验风险最小化（ERM）。在弱\textit{sub-exponential measurement assumption}下，我们建立了一个联合统计和计算分析。特别是，我们证明，在这个新的框架中的ERM估计达到了统计率的$m=\widetilde{\mathcal{O}}(kn \log d /\varepsilon^2)$恢复任何$G(x_0)$均匀的错误$\varepsilon$。当网络较浅时（即，$n$是小的），我们表明，这个速率匹配的信息理论下限的对数因子的$\varepsilon^{-1}$。从计算的角度，我们证明了在适当的网络权重条件下，我们提出的经验风险，尽管非凸，没有真正的表示$x_0$及其负倍数周围的小邻域外的稳定点…
2020-08-22 cs.LG math.ST stat.ML
How degenerate is the parametrization of neural networks with the ReLU activation function?
University of Vienna（维也纳大学）
神经网络训练通常通过使用随机梯度下降求解非凸优化问题来完成。尽管对网络参数进行了优化，但主损失函数通常仅取决于神经网络的实现，即它计算的函数。研究实现空间上的优化问题为理解神经网络训练开辟了新的途径。特别是，通常的损失函数，如均方误差和分类交叉熵在神经网络实现的空间上是凸的，它们本身是非凸的。神经网络的逼近能力可以用来处理后者的非凸性，这使我们能够建立，对于足够大的网络的局部极小值的正则化优化问题的实现空间几乎是最优的。然而，请注意，每个实现都有许多不同的、可能退化的参数化。特别地，参数化空间中的局部最小值不需要对应于实现空间中的局部最小值。为了建立这样的连接，需要实现映射的逆稳定性，这意味着实现的接近必须意味着相应参数化的接近。我们提出的病理，防止逆稳定的一般，并为浅网络，着手建立一个限制空间的参数化，我们有逆稳定w.r.t.索伯列夫范数此外，我们表明，通过优化这样的限制集，它仍然是可以学习任何功能，可以通过优化非限制集学习。
2023-02-08 cs.LG math.FA math.OC
Deep Neural Network Initialization with Sparsity Inducing Activations
University of Oxford（牛津大学）；The Alan Turing Institute（阿兰·图灵研究所）
本文利用大宽度高斯过程极限分析稀疏诱导激活在随机初始化时的行为，证明移位ReLU和软阈值函数存在训练不稳定问题，并提出幅度裁剪方法加以克服，实验表明在稀疏度高达85%时仍能保持接近完整的准确率。
2024-02-25 cs.LG
Can we learn gradients by Hamiltonian Neural Networks?
EPFL（洛桑联邦理工学院）
在这项工作中，我们提出了一个元学习器的基础上ODE神经网络学习梯度。这种方法使得优化器更加灵活，对给定的任务产生自动的归纳偏差。使用最简单的Hamilton神经网络，我们证明了我们的方法优于基于LSTM的元学习器，用于人工任务和MNIST数据集，并在优化中激活ReLU。此外，它也超越了人工任务的经典优化方法，并取得了类似的结果MNIST。
2021-10-31 cs.LG math.OC
Escaping the Local Minima via Simulated Annealing: Optimization of Approximately Convex Functions
The Fuqua School of Business, Duke University（德克萨斯大学福克商学院）；Department of Statistics, The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院统计系）；Department of Statistics and Department of Mathematics, University of Washington（华盛顿大学统计系和数学系）
本文研究了如何通过模拟退化方法优化近似凸函数，提出了一种基于Hit-and-Run方法的采样算法，能够有效避免局部极小值问题，并在零阶随机凸优化中实现了高效的ε-极小值求解。
2015-06-15 cs.LG cs.NA math.NA
How Does BN Increase Collapsed Neural Network Filters?
SenseTime Research（商汤科技研究院）；The University of Hong Kong（香港大学）
提高深度神经网络（DNN）的稀疏性对于网络压缩至关重要，并引起了广泛关注。在这项工作中，我们公开了一种称为过滤器崩溃的有害稀疏化过程，这在具有批量归一化（BN）和整流线性激活函数（例如ReLU，Leaky ReLU）的DNN中很常见。即使没有显式的稀疏诱导正则化，如$L_1$，它也会发生。这种现象是由BN的归一化效应引起的，它在参数空间中引入了不可训练区域，从而降低了网络容量。当网络用大的学习率（LR）或自适应LR训练器训练时，以及当网络被微调时，这种现象变得更加突出。我们分析证明，BN的参数趋于成为稀疏SGD更新与高梯度噪声和稀疏化的概率是成正比的平方学习率和成反比的尺度参数的平方BN。为了防止不期望的崩溃滤波器，我们提出了一种简单而有效的方法，称为后移位BN（psBN），它具有与BN相同的表示能力，同时能够自动使BN参数在训练期间饱和时再次可训练。使用psBN，我们可以恢复崩溃的过滤器并提高各种任务的模型性能，例如CIFAR-10上的分类和MS-COCO 2017上的目标检测。
2020-01-31 cs.LG stat.ML
Diverse Neural Network Learns True Target Functions
Georgia Institute of Technology（佐治亚理工学院）；Princeton University（普林斯顿大学）
神经网络是一类功能强大的函数，可以使用简单的梯度下降进行训练，以在各种应用中实现最先进的性能。尽管它们在实践中取得了成功，但很少有结果能为它们如此有效提供理论保证。问题的核心是分析具有潜在的许多局部极小值和鞍点的非凸损失函数的困难。与损失函数的稳定点相对应的神经网络能学习真正的目标函数吗？如果是的话，是什么关键因素促成了这样好的优化属性？在本文中，我们通过分析具有ReLU激活的一个隐藏层神经网络来回答这些问题，并表明尽管具有非凸性，但具有不同单元的神经网络没有虚假的局部极小值。我们绕过非凸性问题，直接分析一阶最优性条件，并表明，损失可以任意小，如果“扩展特征矩阵”的最小奇异值是足够大的。我们从核方法和几何差异的新技术的使用，并确定一个新的关系，连接最小的奇异值的频谱与激活函数和多样性的单位的核函数。我们的研究结果还提出了一种新的正则化函数，以促进潜在的更好的推广单位的多样性。
2017-03-03 cs.LG stat.ML
DANTE: Deep AlterNations for Training nEural networks
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
我们提出了DANTE，一种新的方法训练神经网络使用交替最小化原则。DANTE为传统的基于梯度的反向传播技术提供了另一种视角，该技术通常用于训练深度网络。它利用拟凸性的自适应性将训练神经网络转化为双拟凸优化问题。我们表明，对于具有可微（例如sigmoid）和不可微（例如ReLU）激活函数的神经网络配置，我们可以在此公式中有效地执行交替。DANTE还可以扩展到具有多个隐藏层的网络。在标准数据集上的实验中，发现使用所提出的方法训练的神经网络在解决方案的质量以及训练速度方面都比传统的反向传播技术有前途和竞争力。
2020-08-09 cs.LG stat.ML
DPN-GAN: Inducing Periodic Activations in Generative Adversarial Networks for High-Fidelity Audio Synthesis
Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究所、东部技术研究所）
本文提出DPN-GAN，通过周期性ReLU激活与可变形卷积增强生成器和判别器，在五个语音及音乐数据集上实现优于现有GAN的高保真、鲁棒音频合成。
2025-05-14 cs.AI cs.CV cs.LG
Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds
California Institute of Technology（加州理工学院）；NVIDIA（英伟达）
经认证的鲁棒性是安全关键应用中的深度神经网络的期望属性，并且流行的训练算法可以通过计算其Lipschitz常数的全局界限来认证神经网络的鲁棒性。然而，这样的界限通常是松散的：它往往会过度正则化神经网络并降低其自然准确性。更严格的Lipschitz边界可以在自然和认证准确性之间提供更好的权衡，但由于网络的非凸性，通常难以精确计算。在这项工作中，我们提出了一个有效的和可训练的\emph{local} Lipschitz上界考虑之间的相互作用激活函数（例如ReLU）和权重矩阵。具体来说，当计算权重矩阵的诱导范数时，我们消除了相应的行和列，其中激活函数保证在每个给定数据点的邻域中是常数，这提供了比神经网络的全局Lipschitz常数更严格的边界。我们的方法可以作为一个插件模块来收紧Lipschitz界在许多可认证的训练算法。此外，我们提出裁剪激活函数（例如，ReLU和MaxMin），具有可学习的上限阈值和稀疏性损失，以帮助网络实现更严格的局部Lipschitz边界。在实验中，我们证明了我们的方法在MNIST，CIFAR-10和TinyImageNet数据集上的清洁和认证准确性方面始终优于最先进的方法。
2021-11-02 cs.CR cs.LG stat.ML
Neural Slack Variables for Shape Constraints
Imperial College London（伦敦帝国理工学院）；University of St. Gallen（圣加仑大学）
提出神经松弛变量方法，将约束强制执行转化为回归问题，通过联合学习辅助网络实现零违规，应用于单调性和凸性约束及金融波动曲面学习。
2026-06-15 cs.LG
Tropical Circuits with Scalar Multiplication Gates
University of Technology Nuremberg（图恩堡技术大学）
研究带标量乘法门的热带电路，证明其计算最大权重有向生成树和最大权重二分完美匹配时的指数规模下界，得出单调和非单调最大输出神经网络的指数规模分离，揭示有强制凸性约束的神经网络模型有时需指数级更大才能表达相同函数。
2026-10-20 cs.CC cs.LG math.CO
The Goldilocks zone: Towards better understanding of neural network loss landscapes
Stanford University（斯坦福大学）
我们使用随机的低维超平面和超球体来探索全连接和卷积神经网络的损失景观。评估这些超曲面上损失函数的Hessian，$H$，我们观察到：1）$H$的正特征值的数量异常过剩，以及2）$\mathrm{Tr}(H) / ||H||$在一个定义良好的位形空间半径范围内的大值，对应于我们称为\textit{Goldilocks zone}的厚的中空球壳。我们在MNIST和CIFAR-10数据集上观察到了全连接神经网络在一系列网络宽度和深度上的这种效果，其中包括$\mathrm{ReLU}$和$\tanh$非线性，以及卷积网络的类似效果。使用我们的观察，我们证明了一个密切的联系，金发区，措施的局部凸性/患病率的正曲率，和网络初始化的适用性。我们表明，高和稳定的精度达到随机优化时，低维超曲面直接相关的超曲面和Goldilocks区之间的重叠，并作为一个推论表明，内在尺寸的概念是初始化依赖。我们注意到，常见的初始化技术初始化神经网络在这个特定的区域异常高的凸性/流行的正曲率，并提供了一个几何直观的成功。此外，我们证明，初始化一个神经网络在一些点，并选择高措施的局部凸性，如$\mathrm{Tr}(H) / ||H||$，正特征值的$H$，或低初始损失，导致统计上显着更快的训练MNIST。根据我们的观察，我们假设，适居带包含一个异常高密度的合适的初始化配置。
2018-11-12 cs.LG cs.NE stat.ML
Input convex neural networks as surrogates in mathematical optimisation
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Technical University of Denmark（丹麦技术大学）
该研究提出用输入凸神经网络（ICNN）作为数学优化的代理模型，其能得到更紧致的线性规划松弛，开发了分支定界算法，在三类案例中验证了其精度与FNN相当且求解更高效。
2026-08-11 cs.LG math.OC
Early alignment in two-layer networks training is a two-edged sword
Université Paris-Saclay, CNRS, Inria, Laboratoire de mathématiques d’Orsay（巴黎-萨克雷大学、法国国家科学研究中心、法国国家信息与自动化技术研究院、奥赛数学实验室）；TML Lab, EPFL, Switzerland（瑞士联邦理工学院（EPFL））
本文定量描述了双层网络在小初始化下的早期对齐阶段，指出该对齐虽能引发与隐式偏差相关的稀疏表示，但也会导致过参数化网络难以最小化目标并陷入虚假驻点。
2025-09-15 cs.LG stat.ML
On the Identification and Optimization of Nonsmooth Superposition Operators in Semilinear Elliptic PDEs
Technische Universität München（慕尼黑工业大学）
针对半线性椭圆PDE中非光滑叠加算子的低正则性辨识优化问题，推导了局部极小值的平稳性系统，提出梯度投影法并证明其函数空间收敛性，发现最优算子具有类激活函数特征，且通过数值实验验证了理论结果。
2024-02-02 cs.LG math.OC
Langevin dynamics based algorithm e-TH$\varepsilon$O POULA for stochastic optimization problems with discontinuous stochastic gradient
UNIST（蔚山科学技术院）；Nanyang Technological University（南洋理工大学）；The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（阿兰·图灵研究所）；National Technical University of Athens（雅典国家技术大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出基于Langevin动力学的e-TH$\varepsilon$O POULA算法，用于求解具有不连续随机梯度的优化问题，建立了非渐近误差界和期望超额风险估计，并在金融保险领域的三个应用中验证了其优于SGLD、TUSLA、ADAM和AMSGrad的性能。
2024-06-30 cs.LG cs.NA math.NA
Adam Induces Implicit Weight Sparsity in Rectifier Neural Networks
Corporate Research and Development Center, Toshiba Corporation（东芝公司企业研发中心）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
近年来，深度神经网络（DNN）已被应用于各种机器学习任务，包括图像识别、语音识别和机器翻译。然而，需要大型DNN模型来实现最先进的性能，超过边缘设备的能力。因此，实际应用中需要模型降阶。在本文中，我们指出，当在以下三个条件下训练DNN时，深度学习会自动诱导权重的组稀疏性，其中连接到输出通道（节点）的所有权重为零：（1）整流线性单元（ReLU）激活，（2）$L_2$正则化目标函数，以及（3）Adam优化器。接下来，我们从理论和实验上分析了这种行为，并提出了一种简单的模型简化方法：在训练DNN后消除零权重。在MNIST和CIFAR-10数据集上的实验中，我们展示了各种训练设置的稀疏性。最后，我们表明，我们的方法可以有效地减少模型的大小，并执行相对于使用稀疏诱导正则化的方法。
2018-12-19 cs.CV cs.LG stat.ML
Global Optimality for Constrained Exploration via Penalty Regularization
Florian Wolf: , Ilyas Fatkhullin: , Niao He: 1The Computing \& Mathematical Sciences Department, California Institute of Technology, Pasadena, CA. 2Department of Computer Science, ETH Zurich, Switzerland. 3ETH AI Center, ETH Zurich, Switzerland.
本文提出Policy Gradient Penalty方法，通过二次惩罚正则化解决约束下的探索问题，实现全局收敛性和近优策略。
2026-09-30 cs.LG math.OC
Nonconvex Regularization for Feature Selection in Reinforcement Learning
Institute of Science Tokyo, Japan Department of Information
本文针对强化学习特征选择提出基于非凸PMC惩罚的批量算法，并给出FRBS算法的新收敛条件，在噪声特征多的场景下显著优于现有方法。
2025-09-19 cs.LG
Global Optimality in Tensor Factorization, Deep Learning, and Beyond
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一个通用框架，分析非凸分解问题，证明局部最小值为全局最小值，并指导深度网络架构和正则化策略以提高优化效率。
2015-06-24 cs.LG cs.NA math.NA
Regularization vs. Relaxation: A conic optimization perspective of statistical variable selection
Department of Mathematics, Washington State University（数学系，华盛顿州立大学）；Department of Statistics, University of Connecticut（统计系，康涅狄格大学）；Department of Industrial and Systems Engineering, University of Wisconsin-Madison（工业与系统工程系，威斯康星大学麦迪逊分校）
本文从锥优化视角探讨变量选择问题，证明MCP和反Huber惩罚函数可视为视角松弛的特例，并通过半定松弛解决，结合Goemans-Williamson方法获得近似解。
2015-10-20 cs.LG cs.NA math.NA
