Linearly Constrained Weights: Reducing Activation Shift for Faster Training of Neural Networks
Toyota Central R&D Labs., Inc.（丰田中央研发实验室）
本文揭示了神经网络中预激活值非零均值的激活偏移现象，提出线性约束权重（LCW）方法减少该偏移，有效解决梯度消失问题并提升网络泛化性能。
2024-03-08 cs.LG cs.NE stat.ML
Delayed Projection Techniques for Linearly Constrained Problems: Convergence Rates, Acceleration, and Applications
Peking University（北京大学）
在这项工作中，我们研究了一类新的基于投影的线性约束问题（LCP）的算法，在统计，优化和机器学习中有很多应用。传统的基于原始梯度的LCP方法在每次（随机）梯度下降之后调用投影，导致所需的投影数量等于梯度下降（或总迭代）的数量。受分布式优化的最新进展的启发，我们提出了延迟投影技术，每隔一段时间调用一次投影，降低投影频率，提高投影效率。相应地，我们设计了一系列的随机方法的LCP使用的技术，包括方差减少的方法和加速的。我们从理论上证明了在强凸和一般凸情形下提高投影效率是可行的。我们的分析是简单和统一的，可以很容易地扩展到其他方法使用延迟投影。当我们的新算法应用到联邦优化，一个新兴的分布式优化和隐私保护的子域，我们不仅得到了一个方差减少联邦算法的收敛速度优于以往的作品，但也是第一个加速方法能够处理数据异构性的联邦优化固有的。
2021-01-05 cs.LG math.OC stat.ML
A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University（西南交通大学）；Zhejiang University City College（浙江大学城市学院）
平方根Lasso问题被证明是鲁棒回归问题。此外，具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难，提出了一种基于对偶半光滑牛顿（SSN）的增广拉格朗日方法（ALM），即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时，广义雅可比矩阵的正定性是非常重要的。因此，我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中，我们充分利用了二阶稀疏性，从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
A Single-Loop First-Order Algorithm for Linearly Constrained Bilevel Optimization
University of Virginia（弗吉尼亚大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Meta
本文提出了一种单循环一阶算法，用于解决具有线性约束的双层优化问题，通过改写问题并分析收敛率，提升了算法效率。
2026-02-04 cs.IT cs.LG math.IT
A Local-Linearly Convergent Algorithm for Nonconvex Equality-Constrained Optimization
Lehigh University（理海大学）
本文拓展了梯度-本征步算法的分析，证明其在特定条件下具备局部线性收敛速率，还可作为子问题求解器应用于渐进采样策略，以优化大样本等式约束优化的样本复杂度。
2026-08-14 cs.LG math.OC stat.ML
Randomly Initialized One-Layer Neural Networks Make Data Linearly Separable
Brandeis University（布兰迪斯大学）；MIT（麻省理工学院）
本文证明了足够宽的随机初始化单层神经网络无需训练即可高概率使两类数据线性可分，给出了两种宽度界，其中一种与输入维度无关，克服了维度灾难，证明结合了几何原理与随机矩阵集中性。
2023-10-08 cs.LG math.PR stat.ML
Adversarial Noises Are Linearly Separable for (Nearly) Random Neural Networks
Microsoft Research Asia（微软亚洲研究院）；Sun Yat-sen University（中山大学）；Stanford University（斯坦福大学）；Peking University（北京大学）
对抗性示例通常是针对特定模型的特定输入生成的，在神经网络中无处不在。在本文中，我们揭示了对抗性噪声放在一起时的一个令人惊讶的特性，即，如果配备有相应的标签，则由一步梯度方法制作的对抗性噪声是线性可分离的。我们从理论上证明了这个属性的两层网络随机初始化的条目和神经切线核设置的参数是不远处的初始化。证明的思想是表明标签信息可以有效地反向传播到输入，同时保持线性可分性。我们的理论和实验证据进一步表明，用训练数据的对抗性噪声训练的线性分类器能够很好地分类测试数据的对抗性噪声，说明对抗性噪声实际上对原始数据的分布注入了一种分布扰动。此外，我们的经验表明，当上述条件受到损害时，对抗性噪声可能变得不那么线性可分离，而它们仍然比原始特征更容易分类。
2022-06-09 cs.AI cs.LG stat.ML
Global Convergence and Geometric Characterization of Slow to Fast Weight Evolution in Neural Network Training for Classifying Linearly Non-Separable Data
University of California, Irvine（加州大学欧文分校）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
在本文中，我们研究了梯度下降的动态学习神经网络分类问题。与现有的工作不同，我们考虑线性不可分的情况下，不同类别的训练数据位于正交子空间。我们表明，当网络有足够的（但不是非常大）数量的神经元，（1）相应的最小化问题有一个理想的景观，所有的临界点是完美的分类的全局极小值;（2）梯度下降是保证收敛到全局极小值。此外，我们发现了一个几何条件的网络权重，以便当它被满足时，权重的演变过渡到一个缓慢的阶段的权重方向扩散到一个快速阶段的权重收敛。几何条件是指投影在单位球面上的权值的凸包包含原点。
2020-12-10 cs.LG math.OC stat.ML
A Barrier-Metric First-Order Method for Linearly Constrained Bilevel Optimization
University of California, Los Angeles（加州大学洛杉矶分校）；University of California, Berkeley（加州大学伯克利分校）
本文提出一种基于障碍平滑的双层优化方法，通过处理非光滑性和计算开销问题，实现高效的求解。
2026-05-12 math.OC stat.ML
SNAP: Finding Approximate Second-Order Stationary Solutions Efficiently for Non-convex Linearly Constrained Problems
针对具有光滑非凸目标和线性约束的问题，提出了一种低复杂度的求解近似二阶稳定点的算法。虽然找到（近似）SOSP是计算上棘手的，我们首先表明，通用的问题的实例可以有效地解决。更具体地说，对于一般问题实例，某些严格互补（SC）条件对所有Karush-Kuhn-Tucker（KKT）解（概率为1）成立。SC条件，然后用于建立两个不同的概念之间的等价关系的SOSP，其中之一是计算上容易验证。基于SOSP的这一特殊概念，我们设计了一种算法，称为连续负曲率梯度投影（SNAP），它连续执行传统的梯度投影或一些基于负曲率的投影步骤来寻找SOSP。SNAP及其一阶扩展SNAP $^+$需要$\mathcal{O}(1/ε^{2.5})$迭代来计算一个$(ε, \sqrtε)$ -SOSP，并且它们的每次迭代计算复杂性在约束数目和问题维数上是多项式的.据我们所知，这是第一次，一阶算法的多项式迭代复杂性和全球次线性率已被设计，以寻找SOSP的重要类的非凸问题的线性约束。
2019-07-09 cs.CC math.OC stat.ML
Hybrid Jacobian and Gauss-Seidel proximal block coordinate update methods for linearly constrained convex programming
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出混合雅可比和高斯-塞德尔块坐标更新方法，用于解决线性约束多块结构凸规划问题，通过选择合适的仿射混合矩阵实现理论收敛性，并在数值上优于随机对偶块坐标更新方法。
2018-01-03 cs.NA math.NA math.OC
Stronger Convergence Results for Deep Residual Networks: Network Width Scales Linearly with Training Data Size
ASELSAN Inc.（ASELSAN公司）
深度神经网络是具有高度表达力的机器学习模型，能够对任意数据集进行插值。深度网络通常通过一阶方法进行优化，优化过程主要取决于网络和数据集的特征。这项工作揭示了网络大小与数据集属性之间的关系，重点是深度残差网络（ResNets）。我们的贡献是，如果网络雅可比矩阵是满秩的，则二次损失和平滑激活的梯度下降收敛到全局最小值，即使ResNet的网络宽度$m$与样本量$n$成线性比例，并且与网络深度无关。据我们所知，这是第一个工作，它提供了一个理论保证神经网络的收敛在$m=Ω(n)$制度。
2019-11-11 cs.LG stat.ML
Large Deviations of Gaussian Neural Networks with ReLU activation
Quirin Vogel 1,2
本文研究了具有ReLU激活函数的高斯神经网络的大偏差原理，推导了速率函数并给出了幂级数展开。
2026-02-09 cs.LG math.PR stat.ML
Accelerated first-order primal-dual proximal methods for linearly constrained composite convex programming
University of Alabama（阿拉巴马大学）
本文提出两种加速方法解决线性约束的复合凸优化问题，通过线性化和近似项简化子问题，实现O(1/t)或O(1/t²)收敛性，优于现有方法。
2016-06-29 cs.NA math.NA math.OC
A Dual-Dimer Method for Training Physics-Constrained Neural Networks with Minimax Architecture
Woodruff School of Mechanical Engineering, Georgia Institute of Technology（佐治亚理工学院伍德拉夫机械工程学院）
数据稀疏性是训练机器学习工具（例如用于工程和科学应用的神经网络）的常见问题，其中实验和模拟是昂贵的。最近，物理约束的神经网络（PCNN）的发展，以减少所需的训练数据的量。然而，在PCNN中，根据数据和物理约束的不同损失的权重根据经验进行调整。本文提出了一种新的具有极大极小结构的物理约束神经网络（PCNN-MM），它可以系统地调整不同损失的权值。PCNN-MM的训练是搜索目标函数的高阶鞍点。提出了一种新的鞍点搜索算法--Dual-Dimer方法。它表明，双二聚体方法是计算效率比梯度下降上升方法的非凸非凹函数，并提供额外的特征值信息，以验证搜索结果。一个热传导的例子也表明，PCNN-NN的收敛速度比传统的PCNN。
2021-01-01 cs.LG stat.ML
AskewSGD : An Annealed interval-constrained Optimisation method to train Quantized Neural Networks
LISITE, Sorbonne University（索邦大学LISITE实验室）；CITI, Télécom SudParis（巴黎南电信学院CITI实验室）；CMAP, Ecole Polytechnique（巴黎综合理工学院CMAP实验室）；Mathematical and Algorithmic Sciences Lab (Huawei)（华为数学与算法科学实验室）
在本文中，我们开发了一种新的算法，Annealed Skewed SGD - AskewSGD -用于训练具有量化权重的深度神经网络（DNN）。首先，我们将量化神经网络（QNN）的训练公式化为区间约束优化问题的平滑序列。然后，我们提出了一个新的一阶随机方法，AskewSGD，解决每个约束优化子问题。与具有活动集和可行方向的算法不同，AskewSGD避免了在整个可行集下的投影或优化，并允许不可行的迭代。AskewSGD的数值复杂度与现有的训练QNN的方法相当，例如BinaryConnect中使用的直通梯度估计器或其他最先进的方法（ProxQuant，LUQ）。我们建立AskewSGD的收敛保证（在目标函数的一般假设下）。实验结果表明，AskewSGD算法的性能优于或等同于最先进的方法在经典的基准测试。
2022-12-20 cs.LG stat.ML
Approximation bounds for norm constrained neural networks with applications to regression and GANs
Wuhan University（武汉大学）；The Hong Kong University of Science and Technology（香港科技大学）
研究了权值具有范数约束的ReLU神经网络的逼近能力。我们证明了这些网络的光滑函数类的逼近误差的上界和下界。下界是通过神经网络的Rademacher复杂性导出的，这可能是独立的兴趣。我们应用这些近似界来分析使用范数约束神经网络的回归和GANs的分布估计的收敛性。特别是，我们得到了过参数化神经网络的收敛速度。研究还表明，当神经网络是一个适当选择的范数约束神经网络时，GANs可以达到最优的学习概率分布率。
2023-03-30 cs.LG cs.NA math.NA
Supply-Power-Constrained Cable Capacity Maximization Using Deep Neural Networks
Nokia Bell Labs（诺基亚贝尔实验室）；EPFL（洛桑联邦理工学院）；Nokia Corporation（诺基亚公司）；Alcatel Submarine Networks（阿尔卡特海底网络公司）；Facebook（脸书）
我们通过消除增益平坦滤波器并在大规模并行光纤环境中使用深度神经网络的机器学习优化发射功率，在12跨链路中实现了每瓦电源功率19%的容量增益。
2019-10-02 cs.LG eess.SP stat.ML
Entropy-Constrained Training of Deep Neural Networks
Fraunhofer HHI（弗劳恩霍夫海因里希·赫兹研究所）；TU Berlin（柏林工业大学）
我们提出了一个通用的框架，神经网络压缩的动机是最小描述长度（MDL）的原则。为此，我们首先推导出一个神经网络的熵的表达式，它明确地根据其位大小来衡量其复杂性。然后，我们形式化的问题的神经网络压缩作为一个熵约束的优化目标。这个目标概括了许多文献中提出的压缩技术，因为修剪或减少网络权重元素的基数可以看作是熵最小化技术的特殊情况。此外，我们推导出一个连续松弛的目标，这使我们能够使用基于梯度的优化技术，以尽量减少它。最后，我们证明了我们可以在不同的网络架构和数据集上达到最先进的压缩结果，例如在类似VGG的架构上实现x71压缩增益。
2018-12-19 cs.LG cs.NE stat.ML
HardCoRe-NAS: Hard Constrained diffeRentiable Neural Architecture Search
Alibaba Group（阿里巴巴集团）
神经网络的实际使用通常需要遵守对延迟、能量和存储器等的多个约束。找到拟合网络的一种流行方法是通过约束神经结构搜索（NAS），然而，以前的方法只能柔和地执行约束。因此，所得到的网络不完全遵守资源约束，其准确性受到损害。在这项工作中，我们解决了这个问题，通过引入硬约束可出租NAS（HardCore-NAS），这是基于一个准确的制定预期的资源需求和可扩展的搜索方法，满足整个搜索的硬约束。我们的实验表明，HardCore-NAS生成国家的最先进的架构，超越其他NAS方法，同时严格满足硬资源约束，无需任何调整。
2021-02-23 cs.AI cs.CV cs.LG
Physics-constrained 3D Convolutional Neural Networks for Electrodynamics
提出了一种物理约束的神经网络（PCNN）方法来求解强流相对论带电粒子束电磁场的麦克斯韦方程组。我们创建了一个3D卷积PCNN，将时变电流和电荷密度J（r，t）和p（r，t）映射到矢量和标量势A（r，t）和V（r，t），根据麦克斯韦方程组，我们从中生成电磁场：B=curl（A），E=-div（V）-dA/dt。我们的PCNN通过构造满足硬约束，例如div（B）=0。软约束使A和V趋向于满足洛伦兹规范。
2023-01-31 physics.acc-ph stat.ML
Forecast reconciliation with non-linear constraints
本文提出非线性约束调和（NLCR）算法，将预测调和扩展到非线性约束时间序列，通过投影到非线性表面求解约束优化问题，并在人口学与经济学数据集上显著提升预测准确性。
2025-10-24 stat.AP stat.ME stat.ML
