Tightening convex relaxations of trained neural networks: a unified approach for convex and S-shaped activations
Universidad de O’Higgins（奥希金斯大学）；Universidad de Chile（智利大学）
本文提出一种递归公式，为广泛激活函数（凸或S形）与仿射函数的组合提供紧致的凸化方法，用于高效计算分离超平面或判断是否存在。
2026-03-30 cs.LG math.OC
The curious case of developmental BERTology: On sparsity, transfer learning, generalization and the brain
Cerebras Systems（Cerebras系统公司）
在这篇文章中，我们通过大语言模型、迁移学习和网络压缩来探索深度学习和神经科学之间的交叉点。就像感知和认知神经生理学启发了有效的深层神经网络架构，这反过来又为理解大脑提供了一个有用的模型一样，在这里，我们探索生物神经发育如何激发有效和强大的优化程序，这反过来又可以作为大脑成熟和衰老的有用模型。
2020-07-07 cs.CL cs.LG q-bio.NC
The Curious Case of Hallucinations in Neural Machine Translation
Microsoft（微软）
在这项工作中，我们研究了神经机器翻译（NMT）中的幻觉，它位于NMT病理学的极端。首先，我们将源扰动下的幻觉现象与Feldman（2020）的长尾理论联系起来，并提出了一个经验验证的假说来解释源扰动下的幻觉。其次，我们考虑在语料库级噪声（没有任何源扰动）下的幻觉，并证明了两种突出类型的自然幻觉（分离和振荡输出）可以通过特定的语料库级噪声模式产生和解释。最后，我们阐明了流行的数据生成过程，如回译和序列级知识蒸馏的幻觉放大现象。
2021-04-14 cs.AI cs.CL cs.LG
A Curious Case of Remarkable Resilience to Gradient Attacks via Fully Convolutional and Differentiable Front End with a Skip Connection
Bosch Center for Artificial Intelligence（博世人工智能中心）
本文发现冻结主干分类器前添加带跳跃连接的全卷积可微前端并短时训练后，模型对梯度攻击表现出异常鲁棒性，且随机集成可在多个数据集上接近 SOTA 的 AutoAttack 准确率。
2025-08-22 cs.AI cs.CV cs.LG
A Neural-Network-Based Convex Regularizer for Inverse Problems
针对深度学习图像重建方法可靠性与可解释性不足的问题，提出由凸脊函数之和构成、梯度用单隐层可学习递增激活函数神经网络参数化的凸正则化器，可快速训练为多步高斯去噪器，在去噪、CT和MRI重建任务上优于同类可靠方法。
2023-08-25 cs.LG eess.IV
Similarity of Neural Architectures using Adversarial Attack Transferability
School of Integrated Technology, Yonsei University（延世大学整合技术学院）；BK21 Graduate Program in Intelligent Semiconductor Technology, Yonsei University（延世大学BK21智能半导体技术研究生项目）；NAVER AI Lab（NAVER人工智能实验室）
本文提出基于对抗攻击迁移性的神经架构相似性度量SAT，对69个ImageNet分类器进行大规模分析，发现模型多样性可提升集成与蒸馏性能，强调开发多样化架构的必要性。
2024-07-17 cs.CV cs.LG
Differentiable Convex Optimization Layers in Neural Architectures: Foundations and Perspectives
Yale University（耶鲁大学）
本文综述了将凸优化问题作为可微层嵌入神经网络的方法，梳理其从二次规划到一般凸优化的发展，并结合数学证明与应用案例探讨其理论基础、当前能力与未来方向。
2024-12-30 cs.LG math.OC
Piecewise convexity of artificial neural networks
Stanford University（斯坦福大学）
尽管人工神经网络在计算机视觉和语音识别等应用中显示出巨大的前景，但在优化其参数方面仍然存在相当大的实际和理论困难。梯度下降方法在最小化这些非凸函数方面看似不合理的成功仍然知之甚少。在这项工作中，我们提供了一些理论保证网络分段仿射激活函数，这在最近几年已成为常态。我们证明了三个主要结果。首先，网络是作为输入数据的函数的分段凸的。其次，网络，被认为是一个函数的参数在一个单一的层，所有其他保持不变，再次分段凸。最后，网络作为其所有参数的函数是分段多凸的，是双凸性的推广。从这里我们描述了训练目标的局部极小值和稳定点，表明它们最小化了参数空间的某些子集。然后，我们分析了两种优化算法的性能多凸问题：梯度下降，和一种方法，反复解决了一些凸子问题。我们证明了必要的收敛条件的第一个算法和必要和充分条件的第二个，引入正则化的目标。最后，我们评论的剩余困难的全局优化问题。在平方误差目标下，我们证明了通过改变训练数据，单个整流器神经元在目标值和参数空间中都允许任意远的局部极小值。
2016-12-28 cs.AI cs.CV cs.LG
Neural Collapse Meets Differential Privacy: Curious Behaviors of NoisyGD with Near-perfect Representation Learning
University of Pennsylvania（宾夕法尼亚大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of California, San Diego（加州大学圣迭戈分校）
该研究在 Neural Collapse 框架下解释了预训练增强差分隐私学习的现象，发现误分类误差与维度无关，并指出 DP 微调鲁棒性较差，提出特征归一化和 PCA 降维等策略显著提升了测试准确率。
2024-10-14 cs.CR cs.CV cs.LG
Model Weight Theft With Just Noise Inputs: The Curious Case of the Petulant Attacker
UnifyID AI Labs（UnifyID人工智能实验室）
本文探讨了攻击者可以声称“噪声和对模型softmax层的访问是您所需要的”来窃取其架构已知的卷积神经网络的权重的场景。我们能够使用被盗的MNIST模型实现96%的测试准确率，使用仅使用i.i.d.学习的被盗KMNIST模型实现82%的准确率。伯努利噪声输入。我们认为这种权重的盗窃敏感性表明了数据集的复杂性，并提出了一个新的度量标准来捕获相同的信息。这种传播的目标不仅是展示在模型窃取方面了解架构可以让你走多远，而且还提请注意由i.i.d.激发的CNN的这种相当特殊的权重可学习性方面。噪声输入我们还传播了一些初步的结果与使用伊辛概率分布代替i.i.d.伯努利分布
2019-12-19 cs.CR cs.LG stat.ML
The Curious Case of Benign Memorization
ETH Zürich（苏黎世联邦理工学院）
尽管深度学习在各种学习任务中取得了经验性的进步，但我们对其成功的理论理解仍然非常有限。其中一个关键的挑战是现代模型的过度参数化性质，即使标签是随机的，也可以实现数据的完全过度拟合，即网络可以完全\textit{memorize}所有给定的模式。虽然这样的记忆能力似乎令人担忧，但在这项工作中，我们表明，在包括\textit{data augmentation}的训练协议下，神经网络学习以一种良性的方式记忆完全随机的标签，即它们学习嵌入，导致最近邻探测下的高度非平凡性能。我们证明了深度模型具有惊人的能力，通过将记忆和特征学习的任务分配到不同的层来分离噪声和信号。因此，只有最后一层用于记忆，而前面的层编码性能特征，这些特征在很大程度上不受标签噪声的影响。我们探讨了用于训练的增强的复杂作用，并确定了记忆泛化权衡其多样性，标志着一个明确的区别，所有以前的作品。最后，我们给出了第一个解释良性记忆的出现表明，\textit{malign}记忆下数据增强是不可行的，由于容量不足的模型增加的样本量。因此，网络被迫利用增强的相关性质，从而学习有意义的特征。为了完成这幅图景，需要一个更好的深度神经网络特征学习理论来充分理解这一现象的起源。
2023-02-23 cs.LG
Convexification of Neural Graph
Tsinghua University（清华大学）
传统上，大多数复杂的智能体系结构是非常非凸的，这不能很好地执行凸优化。然而，本文将复杂结构分解为三种类型的节点：运算符，算法和函数。通过沿边从节点到节点的迭代传播，我们证明了“对于树结构的神经网络图，当其他变量固定时，它在每个变量下都是近似凸的。“事实上，非凸属性源于圆和函数，它们可以通过我们提出的\textit{\textbf{scale mechanism}}转换为凸。实验上，我们证明我们的理论分析，两个实际应用。
2018-01-13 cs.LG stat.ML
The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions
Stanford University（斯坦福大学）
我们证明了找到所有全局最优的双层ReLU神经网络可以通过求解具有锥约束的凸优化程序来执行。我们的分析是新颖的，描述了所有最优解的特征，并且没有利用最近用于将神经网络训练提升到凸空间的基于对偶的分析。给定我们的凸优化程序的解集，我们展示了如何精确地构建整个最优神经网络集。我们提供了一个详细的特征，这个最佳的设置和不变的变换。作为凸透视的附加结果，（i）我们建立了由随机梯度下降找到的Clarke平稳点对应于下采样凸问题的全局最优值（ii）我们提供了一个多项式时间算法来检查神经网络是否是训练损失的全局最小值（iii）我们提供了一个明确的结构之间的连续路径的任何神经网络和全球最小的子水平集和（iv）表征隐藏层的最小尺寸，使得神经网络优化景观没有虚假谷。总的来说，我们提供了一个丰富的框架，通过凸性研究神经网络训练损失的景观。
2022-03-13 cs.LG stat.ML
A new Input Convex Neural Network with application to options pricing
Sorbonne Université（索邦大学）；Engie Global Markets（Engie全球市场）
本文提出一种输入凸神经网络，利用凸函数可表示为支配仿射函数上确界的原理逼近凸收益期权价格，并引入打乱阶段改进训练，在篮子、百慕大和摆动期权定价中验证了有效性。
2024-11-19 cs.LG stat.ML
Optimal transport mapping via input convex neural networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Irvine（加州大学欧文分校）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
在本文中，我们提出了一种新的和原则性的方法来学习两个分布之间的最佳传输，从样本。在最优输运理论的指导下，我们学习了诱导最优输运映射的最优Kantorovich势。这涉及到学习两个凸函数，通过解决一个新的极大极小优化。基于输入凸神经网络领域的最新进展，我们提出了一个新的框架，其中一个凸函数的梯度表示最优传输映射。数值实验证实，我们学习的最佳运输映射。这种方法确保我们找到的传输映射是最优的，与我们如何初始化神经网络无关。此外，可以容易地捕获来自不连续支持的目标分布，因为凸函数的梯度自然地对{ \em不连续}传输映射进行建模。
2020-06-17 cs.LG stat.ML
Convex Formulation of Overparameterized Deep Neural Networks
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Princeton University（普林斯顿大学）；HKUST（香港科技大学）
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明，这种系统的行为像凸系统下各种restrictedsettings，如两个层次的神经网络，当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而，没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术，最初在（Fang et al.，2019 a）用于两级神经网络，以分析深度神经网络。研究表明，在合适的表示下，过参数化深度神经网络本质上是凸的，当优化时，系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致，即深度神经网络能够学习有效的特征表示。因此，这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实，我们的理论预测是一致的，在实践中观察到的结果。
2019-11-18 cs.LG stat.ML
Honest-but-Curious Nets: Sensitive Attributes of Private Inputs Can Be Secretly Coded into the Classifiers' Outputs
Imperial College London（帝国理工学院）
已知的是，被训练用于非敏感目标属性的分类的深度神经网络可以通过由分类器提取的内部表示来揭示其输入数据的敏感属性。我们向前迈出了一步，并表明可以训练深度分类器，以便在推理时将其输入数据的敏感属性秘密编码到分类器的目标属性输出中。即使用户拥有分类器的完整白盒视图，我们提出的攻击也有效，可以隐藏所有内部表示，并且只释放分类器对目标属性的估计。我们介绍了这种攻击的信息理论公式，并提出了有效的经验实现训练诚实但好奇（HBC）分类器：分类器，可以准确地预测他们的目标属性，但也可以利用他们的输出秘密编码的敏感属性。我们的工作突出了一个漏洞，恶意机器学习服务提供商可以利用该漏洞在几个看似安全的场景中攻击其用户的隐私;例如加密推理，边缘计算或私人知识蒸馏。在两个人脸图像数据集上的实验结果表明，半可信服务器可以训练出不仅完全诚实而且准确好奇的分类器。最后，我们展示了区分标准分类器和HBC分类器的困难，讨论了防御深度分类器这种脆弱性的挑战，并列举了未来研究的相关开放方向。
2021-09-14 cs.IT cs.LG math.IT
Convex Geometry and Duality of Over-parameterized Neural Networks
Stanford University（斯坦福大学）
我们开发了一种凸分析方法来分析有限宽度的双层ReLU网络。我们首先证明了正则化训练问题的最优解可以表征为凸集的极值点，其中通过其凸几何性质鼓励简单的解决方案。然后，我们利用这种特性表明，一组最佳的参数产生线性样条插值的回归问题，涉及一维或秩一数据。我们还描述了分类决策区域的核矩阵和最小$\ell_1$范数的解决方案。这与神经切线核相反，后者无法解释有限宽度网络的预测。我们的凸几何特征也提供了直观的解释隐藏的神经元作为自动编码器。在更高的维度，我们表明，培训问题可以作为一个有限维的凸问题，无限多的约束。然后，我们应用一定的凸松弛，并引入一个切割平面算法来全局优化网络。我们进一步分析了松弛的精确性，为收敛到全局最优值提供了条件。我们的分析还表明，最佳网络参数也可以被描述为可解释的封闭形式的公式，在一些实际相关的特殊情况下。
2021-08-31 cs.LG stat.ML
Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks
Stanford University（斯坦福大学）
我们开发的精确表示的训练两层神经网络与整流线性单元（ReLU）在一个单一的凸规划的变量多项式的训练样本的数量和隐藏的神经元的数量。我们的理论利用半无限对偶和最小范数正则化。我们证明了用标准权重衰减训练的ReLU网络等价于块$\ell_1$惩罚凸模型。此外，我们表明，某些标准的卷积线性网络是等价的半定规划，可以简化为$\ell_1$正则化的线性模型在一个多项式大小的离散傅立叶特征空间。
2020-08-15 cs.CC cs.LG stat.ML
Revealing the Structure of Deep Neural Networks via Convex Duality
Stanford University（斯坦福大学）
我们研究了正则化深度神经网络（DNN），并引入了一个凸分析框架来表征隐藏层的结构。我们表明，一组最佳的隐藏层权重的范数正则化DNN训练问题，可以明确地找到一个凸集的极值点。对于深度线性网络的特殊情况，我们证明了每个最优权重矩阵通过对偶与前一层对齐。更重要的是，我们将相同的特征应用于具有白化数据的深度ReLU网络，并证明了相同的权重对齐。作为推论，我们还证明了范数正则化的深度ReLU网络可以为一维数据集生成样条插值，这在以前只适用于双层网络。此外，我们提供了封闭形式的解决方案时，数据是排名一或白化的最佳层的权重。同样的分析也适用于使用批量归一化的架构，即使是针对任意数据。因此，我们得到了一个完整的解释最近的经验观察称为神经崩溃类手段崩溃的顶点的一个单一的等角紧框架。
2021-06-11 cs.LG stat.ML
Deep Connectomics Networks: Neural Network Architectures Inspired by Neuronal Networks
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；UnifyID AI Labs（UnifyID人工智能实验室）
神经元间网络拓扑结构与认知之间的相互作用已被连接组学研究者和网络科学家深入研究，这对于理解生物神经网络的显著功效至关重要。奇怪的是，复兴神经网络的深度学习革命并没有太多关注拓扑方面。深度神经网络（DNN）的架构在拓扑意义上与其生物学对应物并不相似。我们通过将深度连接组学网络（DCN）的初步结果作为DNN与现实世界神经元网络启发的拓扑结构来弥合这一差距。我们展示了由DCN获得的高分类精度，DCN的架构受到C. Elegans和小鼠视觉皮层。
2019-12-19 cs.LG cs.NE stat.ML
Dual Convexified Convolutional Neural Networks
Purdue University（普渡大学）
针对凸化卷积神经网络的计算与矩阵分解问题，提出对偶凸化卷积神经网络框架，通过对偶凸训练与创新权重恢复算法，在保留统计优势的同时实现更规范高效的训练流程。
2022-12-08 cs.LG stat.ML
Stochastic Training of Neural Networks via Successive Convex Approximations
Sapienza University of Rome（罗马大学）；University of Perugia（佩鲁贾大学）
提出了一类新的神经网络训练算法。这些都是基于非凸优化领域的最新发展，在连续凸逼近（SCA）技术的一般名称。其基本思想是迭代地用一系列（强凸）近似值替换原始（非凸，高维）学习问题，这些近似值既精确又易于优化。从类似的想法（例如，准牛顿算法），可以仅使用神经网络函数的一阶信息以随机方式构造逼近，同时利用学习问题的整体结构以实现更快的收敛。我们讨论了几个用例，基于损失函数的不同选择（例如，平方损失和交叉熵损失），以及NN权重的正则化。我们在几个中等规模的基准问题上进行了实验，并在涉及模拟物理数据的大规模数据集上进行了实验。结果表明，该算法如何优于最先进的技术，提供更快的收敛到一个更好的最小值。此外，我们展示了如何可以很容易地在多个计算单元并行化的算法，而不妨碍其性能。特别地，每个计算单元可以优化在输入变量的随机分配的子集上定义的定制的代理函数，其维度可以完全取决于可用的计算能力来选择。
2017-06-15 cs.LG stat.ML
Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers
University of Maryland, College Park（马里兰大学帕克分校）
凸松弛对于训练和验证神经网络对抗范数有界对抗攻击是有效的，但它们在可验证和经验鲁棒性之间留下了很大的差距。原则上，如果松弛问题的解对于原始非凸问题是可行的，则凸松弛可以提供紧边界。我们提出了两个正则化，可用于训练神经网络，产生更严格的凸松弛边界的鲁棒性。在我们所有的实验中，提出的正则化器比非正则化基线具有更高的认证准确性。
2020-02-22 cs.LG stat.ML
The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks
University of Warsaw（华沙大学）；ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）；Imperial College London（帝国理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）；Microsoft Research（微软研究院）
变分贝叶斯推理是一种用于近似贝叶斯神经网络权重的后验分布的流行方法。最近的工作开发这类方法探索了更丰富的参数化的近似后，希望提高性能。相反，在这里我们分享一个奇怪的实验发现，建议将变分分布限制为更紧凑的参数化。对于使用高斯平均场变分推理训练的各种深度贝叶斯神经网络，我们发现后验标准差在收敛后一致地表现出强的低秩结构。这意味着通过将这些变分参数分解为低秩因子分解，我们可以在不降低模型性能的情况下使变分近似更加紧凑。此外，我们发现，这样的因子化参数化提高了变分下界的随机梯度估计的信噪比，从而加快收敛速度。
2020-07-05 cs.LG stat.ML
Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent
Simons Institute for the Theory of Computing（西蒙斯计算理论研究所）；University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
虽然学习神经网络的优化目标是高度非凸的，但基于梯度的方法在实践中学习神经网络方面已经取得了广泛的成功。这种并置导致了最近对梯度下降训练的神经网络的可证明保证的一些研究。不幸的是，这些作品中的技术往往是高度特定于每个问题中的特定设置，使得很难在不同的设置之间进行概括。为了解决这个缺点，在文献中，我们提出了一个统一的非凸优化框架的分析神经网络训练。我们引入了代理凸性和代理Polyak-Lojasiewicz（PL）不等式的概念，如果原始目标函数导致使用梯度方法时隐式最小化的代理目标函数，则可以满足这些概念。我们表明，梯度下降的目标满足代理凸性或代理PL不等式导致有效的保证代理目标函数。我们进一步表明，通过梯度下降训练的神经网络的许多现有保证可以通过代理凸性和代理PL不等式来统一。
2022-09-13 cs.LG math.OC stat.ML
On the Convex Behavior of Deep Neural Networks in Relation to the Layers' Width
Tel Aviv University（特拉维夫大学）；Facebook AI Research（脸书人工智能研究院）
神经网络的Hessian可以分解为两个矩阵的和：（i）半正定广义高斯-牛顿矩阵G，和（ii）包含负特征值的矩阵H。我们观察到，对于更宽的网络，通过在训练开始和结束时具有正曲率的表面以及在其间接近零曲率的表面，使用梯度下降优化策略来最小化损失。换句话说，似乎在训练过程的关键部分，宽网络中的Hessian由分量G主导。为了解释这一现象，我们证明了当使用普通方法初始化时，过参数化网络的梯度近似正交于H，使得损失曲面的曲率在梯度方向上严格为正。
2020-01-14 cs.LG stat.ML
Provably Training Overparameterized Neural Network Classifiers with Non-convex Constraints
The University of Chicago（芝加哥大学）；Northwestern University（西北大学）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）
在非凸约束下训练分类器由于其算法公平性和类不平衡分类等广泛的应用，在机器学习领域得到了越来越多的关注。然而，最近的几项工作解决非凸约束只集中在简单的模型，如逻辑斯谛回归或支持向量机。神经网络是当今最流行的分类模型之一，但它缺乏理论保证。在这项工作中，我们证明了过参数化神经网络可以通过项目随机梯度下降实现非凸约束优化问题的近最优和近可行解。我们的关键成分是在overparameterization制度，这可能是独立的在线学习应用程序的兴趣，神经网络的在线学习的无悔分析。
2022-10-27 cs.LG math.OC stat.ML
Fast Convex Pruning of Deep Neural Networks
Robinson College of Business, Georgia State University（佐治亚州立大学罗宾逊商学院）；School of Electrical and Computer Engineering, Georgia Tech（佐治亚理工学院电气与计算机工程学院）
我们开发了一种快速，易于处理的技术，称为Net-Trim，用于简化经过训练的神经网络。该方法是一个凸后处理模块，它逐层修剪（稀疏化）经过训练的网络，同时保留内部响应。我们提出了一个全面的分析净修剪算法和样本的复杂性的立场，集中在一个快速，可扩展的凸优化程序。我们的分析包括Net-Trim应用之前和之后的初始和重新训练模型之间的一致性结果，并保证发现可以使用一定数量的非零项表示的网络所需的训练样本数量。具体来说，如果有一组权重最多使用$s$项，可以从层输入重新创建层输出，我们可以从$\mathcal{O}(s\log N/s)$样本中找到这些权重，其中$N$是输入大小。这些理论结果类似于使用Lasso的稀疏回归，我们的分析使用了一些最近开发的工具（即最近的测量和凸分析的集中结果）。最后，我们提出了一个算法框架的基础上交替方向的乘法器（ADMM），它允许一个快速，简单的实现网络修剪网络修剪和压缩。
2019-02-26 cs.LG stat.ML
Convexified Convolutional Neural Networks
Stanford University（斯坦福大学）
我们描述了一类凸化的卷积神经网络（CCNNs），它以凸的方式捕获卷积神经网络的参数共享。通过将非线性卷积滤波器表示为再生核希尔伯特空间中的向量，CNN参数可以表示为低秩矩阵，其可以被放松以获得凸优化问题。对于学习两层卷积神经网络，我们证明了由凸化的CNN获得的泛化误差收敛到最佳可能的CNN。为了学习更深层次的网络，我们以逐层的方式训练CCNN。从经验上讲，CCNN的性能与通过反向传播、SVM、全连接神经网络、堆叠去噪自动编码器和其他基线方法训练的CNN相比具有竞争力。
2016-09-04 cs.LG
Convex Regularization Behind Neural Reconstruction
Stanford University（斯坦福大学）
神经网络在反问题中显示出巨大的潜力，用于重建高分辨率图像。然而，神经网络的非凸和不透明性质阻碍了它们在诸如医学成像等敏感应用中的实用性。为了应对这一挑战，本文提出了一种凸对偶框架，使双层全卷积ReLU去噪网络适合凸优化。凸对偶网络不仅提供了凸解算器的最佳训练，而且便于解释训练和预测。特别是，它意味着训练神经网络与权重衰减正则化诱导路径稀疏，而预测是分段线性滤波。MNIST和fastMRI数据集的一系列实验证实了双重网络优化问题的有效性。
2020-12-09 cs.CV cs.LG eess.IV
Practical Convex Formulation of Robust One-hidden-layer Neural Network Training
University of California, Berkeley（加州大学伯克利分校）
最近的工作表明，一个隐藏层、标量输出的全连接ReLU神经网络的训练可以重新表述为有限维凸规划。不幸的是，这种凸规划的规模在数据大小上呈指数级增长。在这项工作中，我们证明了具有线性复杂性的随机过程很好地逼近精确的配方。此外，我们推导出一种凸优化方法来有效地解决“对抗性训练”问题，该问题训练对对抗性输入扰动具有鲁棒性的神经网络。我们的方法可以应用于二进制分类和回归，并提供了一种替代目前的对抗训练方法，如快速梯度符号法（FGSM）和投影梯度下降（PGD）。我们在实验中证明，该方法实现了显着更好的对抗性的鲁棒性和性能比现有的方法。
2021-05-25 cs.CC cs.LG stat.ML
Convexifying Sparse Interpolation with Infinitely Wide Neural Networks: An Atomic Norm Approach
University of Minnesota（明尼苏达大学）
这项工作探讨了通过稀疏（神经元计数），无限宽，单隐层神经网络泄漏整流线性单元激活的精确数据插值的问题。使用[Rasekaran et al.，2012]中，我们在对网络权值和偏置的几种不同约束下，推导出了该问题相应原子集的凸包的简单刻画，从而得到了这些问题的等价凸公式。一个适度的扩展，我们提出的框架，二进制分类问题。我们通过实验探索了由此产生的配方的有效性，并与通过梯度下降训练的网络进行了比较。
2020-07-15 cs.LG eess.SP stat.ML
Asymptotic convexity of wide and shallow neural networks
Department of Electrical Engineering (retd.) Indian Institute of Technology Bombay Mumbai 400076, India. Email（电气工程系（退休）印度理工学院班加罗尔 孟买 400076, 印度。电子邮件）；Centre for Machine Intelligence（人工智能中心）；Data Science Indiaan Institute of Technology Bombay Mumbai 400076, India. Email（数据科学 印度理工学院班加罗尔 孟买 400076, 印度。电子邮件）
该研究针对简单浅宽神经网络模型，证明其参数相关输入输出映射的上境图渐近逼近凸函数的上境图，为这类网络的良好性能提供了合理解释。
2025-09-04 cs.LG math.PR stat.ML
Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time
Stanford University（斯坦福大学）
具有非线性激活函数的两层神经网络的训练是一个重要的非凸优化问题，在逐层深度学习中具有许多应用和有前途的性能。本文基于半定规划理论，建立了二次多项式激励的双层神经网络的精确凸优化公式。值得注意的是，我们表明，半定提升始终是准确的，因此计算复杂性的全局优化是多项式的输入尺寸和样本大小的所有输入数据。开发的凸公式被证明可以实现相同的全局最优解集作为他们的非凸同行。更具体地说，具有多项式激活的全局最优双层神经网络可以通过求解半定规划（SDP）并使用我们称为神经分解的过程分解该解来找到。此外，正则化器的选择在神经网络训练的计算易处理性中起着至关重要的作用。我们表明，标准的权重衰减正则化制定是NP-困难的，而其他简单的凸罚款使问题易于处理的多项式时间通过凸规划。我们将结果扩展到完全连接架构之外的不同神经网络架构，包括具有向量输出的网络和具有池化的卷积架构。我们提供了大量的数值模拟表明，标准的反向传播方法往往无法实现全局最优的训练损失。所提出的方法是显着更快，以获得更好的测试精度相比，标准的反向传播过程。
2021-01-07 cs.CC cs.LG math.OC
Convex Dual Theory Analysis of Two-Layer Convolutional Neural Networks with Soft-Thresholding
Xiamen University（厦门大学）；University of Technology（理工学院）
针对带软阈值的两层卷积神经网络因非凸性难以获得全局最优解的问题，本文设计凸对偶网络，从理论和数值上验证强对偶性成立，并在拟合与去噪实验中证实其有效性，为网络凸化提供新思路。
2023-04-14 cs.LG
Scalable Computations of Wasserstein Barycenter via Input Convex Neural Networks
Georgia Institute of Technology（佐治亚理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）
Wasserstein Barycenter是一种原则性的方法来表示给定的一组概率分布的加权平均值，利用由最佳运输引起的几何形状。针对机器学习中的高维应用，提出了一种新的可扩展的Wasserstein重心近似算法。我们提出的算法是基于Kantorovich对偶公式的Wasserstein-2距离以及最近的神经网络架构，输入凸神经网络，这是已知的参数化凸函数。我们的方法的显着特点是：i）它只需要来自边缘分布的样本; ii）与现有方法不同，它用生成模型表示重心，因此可以从重心生成无限个样本，而无需查询边缘分布; iii）它在一个边缘情况下类似于生成对抗模型。我们证明了我们的算法的有效性，通过比较它与国家的最先进的方法在多个实验。
2021-11-27 cs.LG math.OC stat.ML
The Convex Geometry of Backpropagation: Neural Network Gradient Flows Converge to Extreme Points of the Dual Convex Program
Stanford University（斯坦福大学）
我们从凸几何和对偶的角度研究了用于训练两层ReLU神经网络的非凸次梯度流。我们将非正则化非凸梯度流的隐偏差刻画为等价凸模型的凸正则化。然后，我们证明了非凸次梯度流的极限点可以通过原始对偶对应在这个凸优化问题。此外，我们得到了一个关于对偶变量的充分条件，该条件确保非凸目标的平稳点是凸目标的KKT点，从而证明了非凸梯度流收敛到全局最优。对于一类规则的训练数据分布，如正交可分数据，我们证明了这一充分条件成立。因此，非凸梯度流实际上收敛于凸优化问题的最优解。我们提出的数值结果验证了我们的非凸次梯度下降理论的预测。
2021-10-13 cs.LG math.OC
Randomized Geometric Algebra Methods for Convex Neural Networks
Stanford University（斯坦福大学）
本文提出将随机算法引入Clifford几何代数，通过凸优化训练神经网络至全局最优，并验证该方法在GPT-4和BERT嵌入的文本分类迁移学习任务中比传统方法更稳定可靠。
2024-06-08 cs.LG math.OC stat.ML
Stochastic In-Face Frank-Wolfe Methods for Non-Convex Optimization and Sparse Neural Network Training
University of California, Berkeley（加州大学伯克利分校）
Frank-Wolfe方法及其扩展非常适合于提供具有理想结构属性（例如稀疏性或低秩结构）的解决方案。我们引入了一个新的变体的Frank-Wolfe方法，结合Frank-Wolfe步骤和最速下降步骤，以及一个新的修改的“Frank-Wolfe间隙”，以衡量在非凸的情况下收敛。我们进一步扩展这种方法，将在面方向保持结构化的解决方案，以及块坐标步骤，我们证明了计算保证修改后的Frank-Wolfe间隙的所有这些变体。我们特别受到这种方法的应用稀疏属性的神经网络的训练，我们将我们的块坐标方法的问题，$\ell_1$正则化神经网络的训练。我们提出了几个数值实验的结果，人工和真实的数据集证明我们的方法在训练稀疏神经网络的显着改进。
2019-06-09 cs.LG math.OC stat.ML
Parameter Convex Neural Networks
Beihang University（北京航空航天大学）；Key Laboratory of Mathematics Informatics Behavioral Semantics, Ministry of Education, China（中国教育部数学信息行为语义重点实验室）；Peng Cheng Laboratory（鹏城实验室）
利用深度神经网络（DNN）的深度学习最近在许多重要领域取得了很大成功，例如计算机视觉、自然语言处理和推荐系统。DNN缺乏凸性已被视为许多优化方法的主要缺点，例如随机梯度下降，这大大降低了神经网络应用的通用性。我们认识到凸性在神经网络中是有意义的，并提出了指数多层神经网络（EMLP），这是一类参数凸神经网络（PCNN），它在一定条件下关于神经网络的参数是凸的。此外，我们提出了两层EGCN的凸性度量，并测试了凸性度量变化时的准确性。在后期的实验中，我们使用同样的结构构造了指数图卷积网络（EGCN），并在图分类数据集上进行了实验，实验结果表明，EGCN的性能优于图卷积网络（GCN）和图注意力网络（GAT）。
2022-06-11 cs.AI cs.LG
Differentiable neural network representation of multi-well, locally-convex potentials
Sandia National Laboratories（桑地亚国家实验室）；Columbia University（哥伦比亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出LSE-ICNN可微凸神经网络表示多井势能，自动发现模式数量，应用于相变、弹性失稳、基因电路及变分推断，兼顾凸性与可微性。
2025-06-06 cond-mat.mtrl-sci cs.LG stat.ML
Vector-output ReLU Neural Network Problems are Copositive Programs: Convex Analysis of Two Layer Networks and Polynomial-time Algorithms
Stanford University（斯坦福大学）
我们描述了双层向量输出ReLU神经网络训练问题的凸半无限对偶。这个半无限对偶允许有限维表示，但它的支撑是在一个凸集上，这是很难描述的。特别地，我们证明了非凸神经网络训练问题等价于一个有限维凸共正规划。我们的工作是第一个确定这种强连接的全局最优的神经网络和那些coppositive程序。因此，我们展示了如何神经网络隐式地试图通过半非负矩阵分解来解决共正程序，并从这个公式中得出关键的见解。我们描述的第一个算法可证明找到全局最小的向量输出神经网络训练问题，这是多项式的样本数为一个固定的数据秩，但指数的维度。然而，在卷积架构的情况下，计算复杂性仅在滤波器大小方面是指数的，而在所有其他参数方面是多项式的。我们描述的情况下，我们可以找到这个神经网络的全局最优训练问题，正是与软阈值SVD，并提供了一个共正松弛，保证是准确的某些类的问题，并对应于解决随机梯度下降在实践中。
2021-12-21 cs.AI cs.CC cs.LG
Tightened Convex Relaxations for Neural Network Robustness Certification
University of California, Berkeley（加州大学伯克利分校）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
在本文中，我们考虑的问题，证明的鲁棒性的神经网络扰动和敌对的输入数据。这种认证对于神经网络在安全关键决策和控制系统中的应用是必不可少的。已经提出了使用凸优化的认证技术，但是它们经常遭受使证书无效的松弛错误。我们的工作利用ReLU网络的结构，通过一种新的基于分区的认证程序来改善松弛错误。所提出的方法被证明是收紧现有的线性规划松弛，并渐近实现零松弛误差的分区更精细。我们开发了一个有限的分区，达到零松弛误差，并使用结果来推导出一个易于处理的分区计划，最大限度地减少最坏情况下的松弛误差。使用真实数据的实验表明，分区过程是能够发出鲁棒性证书的情况下，以前的方法失败。因此，分区为基础的认证程序被发现提供了一个直观的，有效的，理论上合理的方法收紧现有的凸松弛技术。
2020-09-18 cs.LG math.OC stat.ML
GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training
Princeton University（普林斯顿大学）；Zhongguancun Haihua Institute for Frontier Information Technology（中关村海华前沿信息技术研究院）；Peking University（北京大学）；Pazhou Lab（琶洲实验室）；Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）
已知归一化有助于深度神经网络的优化。奇怪的是，不同的架构需要专门的规范化方法。在本文中，我们研究了什么样的归一化对图神经网络（GNNs）是有效的。首先，我们调整和评估现有的方法从其他领域的GNN。与BatchNorm和LayerNorm相比，InstanceNorm实现了更快的收敛。我们通过展示InstanceNorm作为GNN的预处理器来提供解释，但是由于图数据集中的批量噪声，BatchNorm的预处理效果较弱。其次，我们证明了InstanceNorm中的移位操作会导致高度正则图的GNNs的表达能力下降。我们通过提出具有可学习转变的GraphNorm来解决这个问题。经验上，与使用其他归一化的GNN相比，使用GraphNorm的GNN收敛得更快。GraphNorm还提高了GNN的泛化能力，在图分类基准测试中实现了更好的性能。
2021-06-11 cs.LG math.OC stat.ML
A Limited-Capacity Minimax Theorem for Non-Convex Games or: How I Learned to Stop Worrying about Mixed-Nash and Love Neural Nets
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；XTX Markets；DeepMind
对抗性训练是多目标优化的一种特殊情况，是一种越来越流行的机器学习技术：它的一些最显着的应用包括基于GAN的生成建模和强化学习中的自玩技术，这些技术已应用于围棋或扑克等复杂游戏。在实践中，通常训练一对\emph{single}网络，以便找到高度非凹-非凸对抗问题的近似平衡。然而，虽然博弈论中的一个经典结果表明，这样的均衡存在于凹凸博弈中，但如果收益是非凹凸的，则没有类似的保证。我们的主要贡献是提供了一个近似的极大极小定理的一大类游戏，玩家选择神经网络，包括WGAN，星际争霸II，和Blotto游戏。我们的发现依赖于这样一个事实，即尽管相对于神经网络参数是非凹-非凸的，但这些游戏相对于实际模型是凹-凸的（例如，函数或分布）由这些神经网络表示。
2021-03-15 cs.GT cs.LG stat.ML
CoNSoLe: Convex Neural Symbolic Learning
Arizona State University（亚利桑那州立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
从数据中学习基本方程是许多学科中的基本问题。最近的进展依赖于神经网络（NN），但由于NN的非凸性，在获得精确方程方面没有提供理论保证。在本文中，我们提出了凸神经符号学习（CoNSoLe）在温和的条件下寻求凸性。其主要思想是将恢复过程分解为两步，并对每一步进行凸化。在搜索正确符号的第一步中，我们凸化深度Q学习。关键是在每次迭代中保持负Q函数和负奖励函数的双凸性，从而导致负最优Q函数的可证明凸性，以学习真正的符号连接。在精确搜索结果的条件下，我们构造了一个局部凸方程学习器（LoCaL）神经网络来凸化符号系数的估计。有了这样的设计，我们量化了一个大的区域与严格的凸性损失表面的LoCaL常用的物理功能。最后，我们展示了CoNSoLe框架在不同数据集上的卓越性能。
2022-10-12 cs.AI cs.LG
Convex Optimization with an Interpolation-based Projection and its Application to Deep Learning
TU Darmstadt（达姆施塔特工业大学）；Télécom Paris（巴黎高等电信学院）
凸优化器作为深度神经架构中的可微层有许多应用。这些凸层的一个应用是将点投影到凸集中。然而，这些凸层的前向和后向传递的计算都比典型的神经网络的计算要昂贵得多。在本文中，我们调查是否一个不准确的，但更便宜的投影，可以驱动下降算法的最佳。具体来说，我们提出了一个插值为基础的投影，计算成本低，易于计算给定的凸，域定义，功能。然后，我们提出了一个优化算法，遵循梯度的组成的目标和投影，并证明其收敛性的线性目标和任意凸和Lipschitz域定义的不等式约束。除了理论上的贡献，我们证明经验的插值投影的实际利益时，结合神经网络在强化学习和监督学习设置。
2020-11-13 cs.LG math.OC stat.ML
Beating the Perils of Non-Convexity: Guaranteed Training of Neural Networks using Tensor Methods
University of California, Irvine（加州大学欧文分校）
训练神经网络是一个具有挑战性的非凸优化问题，反向传播或梯度下降可能会陷入虚假的局部最优。提出了一种基于张量分解的双层神经网络保证训练算法。我们为我们提出的方法提供了风险界，在相关参数中具有多项式样本复杂度，例如输入维度和神经元数量。虽然学习任意目标函数是NP难的，但我们为可学习性提供了函数和输入的透明条件。我们的训练方法是基于张量分解，可证明收敛到全局最优，在一组温和的非退化条件。它由简单的并行线性和多线性运算组成，在计算复杂性方面与标准随机梯度下降（SGD）具有竞争力。因此，我们提出了一种计算效率高的方法，保证风险界的训练神经网络与一个隐藏层。
2016-01-12 cs.LG cs.NE stat.ML
Exploring the loss landscape of regularized neural networks via convex duality
Stanford University（斯坦福大学）
本文通过将正则化神经网络转化为等价凸问题并利用对偶理论，系统刻画了其损失景观的驻点结构、最优解连通性与非唯一性，并证明相关结果可推广至向量值与三层网络架构。
2025-04-29 cs.LG
UnSplit: Data-Oblivious Model Inversion, Model Stealing, and Label Inference Attacks Against Split Learning
Koç University（科奇大学）；Bilkent University（比尔肯特大学）
训练深度神经网络通常会迫使用户在分布式或外包环境中工作，并伴随着隐私问题。分裂学习旨在通过在客户端和服务器之间分发模型来解决这个问题。该方案据称提供隐私，因为服务器无法看到客户端的模型和输入。我们表明，这是不正确的，通过两个新的攻击。(1)我们表明，一个诚实但好奇的分裂学习服务器，只配备了客户端神经网络架构的知识，可以恢复输入样本，并获得功能相似的模型，客户端模型，而不会被检测到。(2)我们表明，如果客户端只隐藏模型的输出层以“保护”私有标签，诚实但好奇的服务器可以以完美的准确度推断标签。我们使用各种基准数据集测试我们的攻击，并针对建议的隐私增强扩展来分割学习。我们的研究结果表明，明文分割学习可能会带来严重的风险，从数据（输入）隐私到知识产权（模型参数），并且只会提供虚假的安全感。
2022-09-16 cs.CR cs.LG
Convex training of Lipschitz-regularized shallow neural networks
Polytechnique Montréal, GERAD & Mila, Montréal, QC, Canada（蒙特利尔理工学院，GERAD & Mila，加拿大魁北克省蒙特利尔市）
提出一种凸限制方法求解非凸Lipschitz正则化训练问题，可全局最优求解，并作为预训练网络的后处理步骤，提升对抗鲁棒性和准确性。
2026-06-19 cs.LG
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models
LG AI Research（LG人工智能研究院）；Stanford Universtiy（斯坦福大学）
本研究将两层ReLU神经网络训练转化为凸的组Lasso稀疏恢复问题，证明其可多项式求解，并刻画非凸目标的驻点，实验表明凸模型优于非凸方法且对超参数不敏感。
2023-12-19 cs.AI cs.LG math.OC
Optimal Neural Network Approximation of Wasserstein Gradient Direction via Convex Optimization
Stanford University（斯坦福大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
Wasserstein梯度方向的计算是后验抽样问题和科学计算的基础。有限样本的Wasserstein梯度的近似需要解决一个变分问题。我们研究具有平方ReLU激活的两层网络族中的变分问题，并推导出半定规划（SDP）松弛。这个SDP可以被看作是一个更广泛的函数族，包括两层网络的Wasserstein梯度的近似。通过求解凸SDP，我们得到了这类函数的Wasserstein梯度方向的最佳逼近。在COVID-19建模中的数值实验包括PDE约束贝叶斯推理和参数估计，证明了所提出的方法的有效性。
2022-05-26 cs.LG math.OC stat.ML
