Emission-Aware Optimization of Gas Networks: Input-Convex Neural Network Approach
MIT Energy Initiative（麻省理工学院能源倡议）；Massachusetts Institute of Technology（麻省理工学院）；Technical University of Denmark（丹麦技术大学）
排放约束下的燃气管网规划优化以最小的CO $_2$强度优先供气。由于该问题包括气体流动的复杂物理定律，标准优化求解器不能保证收敛到可行解。为了解决这个问题，我们开发了一个输入凸神经网络（ICNN）辅助优化例程，其中包括一组训练ICNN近似的气体流量方程具有高精度。比利时天然气网络的数值试验表明，ICNN辅助优化占主导地位的非凸和松弛为基础的求解器，具有较大的最优增益与更严格的排放目标。此外，当非凸解算器失败时，ICNN辅助优化为网络规划提供了可行的解决方案。
2022-09-18 cs.LG math.OC
Convex Formulations for Training Two-Layer ReLU Neural Networks
Umeå University（于默奥大学）；Imperial College London（帝国理工学院）
本文将无限宽两层ReLU网络训练重构为凸完全正规划，并提出可多项式时间求解的半定松弛，实验表明其在多类分类任务上具有竞争力。
2025-03-17 cs.LG math.OC
Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization
Stanford University（斯坦福大学）
本研究通过将分数匹配和去噪分数匹配转化为凸优化，为基于两层神经网络的扩散模型建立了理论框架，证明了浅层网络训练可归结为单个凸程序，并在有限数据下精确刻画了预测分数函数与收敛性。
2024-05-22 cs.LG math.OC
Wasserstein Distributionally Robust Shallow Convex Neural Networks
Department of Electrical Engineering（电气工程系）；Polytechnique Montréal（蒙特利尔理工学院）；GERAD（GERAD研究中心）；Mila（Mila研究中心）
本文提出Wasserstein分布鲁棒浅层凸神经网络，将ReLU浅层网络训练重构为凸优化并纳入分布鲁棒框架，以低随机性、可扩展方式实现可靠非线性预测，并通过实验验证其在能源预测等任务中的性能与稳定性。
2025-08-21 cs.LG math.OC
Input Convex Kolmogorov Arnold Networks
EDF R&D & FiME（EDF研发与FiME）
本文提出输入凸Kolmogorov-Arnold网络，通过两种不同架构展示其在函数逼近和最优传输问题中的有效性，与经典ICNNs相比表现相似。
2026-02-10 cs.LG math.OC stat.ML
ConvexECG: Lightweight and Explainable Neural Networks for Personalized, Continuous Cardiac Monitoring
Stanford University（斯坦福大学）
ConvexECG通过凸重构两层ReLU网络，从单导联重建六导联心电图，在25名患者数据上达到与大型网络相当的精度且计算开销更低，适用于实时低资源监测。
2024-09-19 cs.LG eess.SP math.OC
Input convex neural networks as surrogates in mathematical optimisation
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Technical University of Denmark（丹麦技术大学）
该研究提出用输入凸神经网络（ICNN）作为数学优化的代理模型，其能得到更紧致的线性规划松弛，开发了分支定界算法，在三类案例中验证了其精度与FNN相当且求解更高效。
2026-08-11 cs.LG math.OC
Certifying Incremental Quadratic Constraints for Neural Networks via Convex Optimization
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
对神经网络的输入和输出进行约束抽象，可以用于神经网络分类器的分析，并导出基于优化的算法，以验证包含神经网络的反馈系统的稳定性和鲁棒性。在本文中，我们提出了一个凸规划，在线性矩阵不等式（LMI）的形式，以证明增量二次约束的神经网络在感兴趣的区域上的地图。这些证明可以捕获几个有用的性质，例如（局部）Lipschitz连续性，单侧Lipschitz连续性，可逆性和收缩性。我们说明了我们的方法在两个不同的设置中的效用。首先，我们开发了一个半定的程序来计算神经网络的局部Lipschitz常数的保证和尖锐的上界，并说明了随机网络以及MNIST训练的网络上的结果。其次，我们考虑一个线性时不变系统的反馈与近似模型预测控制器参数的神经网络。然后，我们把稳定性分析成一个半定的可行性方案，并估计一个椭球不变集的闭环系统。
2021-04-30 cs.LG math.OC
Convexified Convolutional Neural Networks
Stanford University（斯坦福大学）
我们描述了一类凸化的卷积神经网络（CCNNs），它以凸的方式捕获卷积神经网络的参数共享。通过将非线性卷积滤波器表示为再生核希尔伯特空间中的向量，CNN参数可以表示为低秩矩阵，其可以被放松以获得凸优化问题。对于学习两层卷积神经网络，我们证明了由凸化的CNN获得的泛化误差收敛到最佳可能的CNN。为了学习更深层次的网络，我们以逐层的方式训练CCNN。从经验上讲，CCNN的性能与通过反向传播、SVM、全连接神经网络、堆叠去噪自动编码器和其他基线方法训练的CNN相比具有竞争力。
2016-09-04 cs.LG
Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent
Simons Institute for the Theory of Computing（西蒙斯计算理论研究所）；University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
虽然学习神经网络的优化目标是高度非凸的，但基于梯度的方法在实践中学习神经网络方面已经取得了广泛的成功。这种并置导致了最近对梯度下降训练的神经网络的可证明保证的一些研究。不幸的是，这些作品中的技术往往是高度特定于每个问题中的特定设置，使得很难在不同的设置之间进行概括。为了解决这个缺点，在文献中，我们提出了一个统一的非凸优化框架的分析神经网络训练。我们引入了代理凸性和代理Polyak-Lojasiewicz（PL）不等式的概念，如果原始目标函数导致使用梯度方法时隐式最小化的代理目标函数，则可以满足这些概念。我们表明，梯度下降的目标满足代理凸性或代理PL不等式导致有效的保证代理目标函数。我们进一步表明，通过梯度下降训练的神经网络的许多现有保证可以通过代理凸性和代理PL不等式来统一。
2022-09-13 cs.LG math.OC stat.ML
Learning Optimal Power Flow Value Functions with Input-Convex Neural Networks
Georgia Institute of Technology（佐治亚理工学院）；Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）；PSR - Energy Consulting and Analytics（PSR能源咨询与分析公司）
针对电力系统最优潮流问题在线求解的计算挑战，本研究提出用机器学习学习凸近似解，兼顾在线分析速度与凸决策问题耦合性，以小幅精度损失换取求解效率的大幅提升。
2023-10-06 cs.LG math.OC
Provably Training Overparameterized Neural Network Classifiers with Non-convex Constraints
The University of Chicago（芝加哥大学）；Northwestern University（西北大学）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）
在非凸约束下训练分类器由于其算法公平性和类不平衡分类等广泛的应用，在机器学习领域得到了越来越多的关注。然而，最近的几项工作解决非凸约束只集中在简单的模型，如逻辑斯谛回归或支持向量机。神经网络是当今最流行的分类模型之一，但它缺乏理论保证。在这项工作中，我们证明了过参数化神经网络可以通过项目随机梯度下降实现非凸约束优化问题的近最优和近可行解。我们的关键成分是在overparameterization制度，这可能是独立的在线学习应用程序的兴趣，神经网络的在线学习的无悔分析。
2022-10-27 cs.LG math.OC stat.ML
Exact Convex Reformulations of Linear Neural Networks via Completely Positive Lifting
本文提出了一种将深度线性神经网络的训练问题精确地转化为凸优化问题的方法，利用完全正锥的提升空间，将非凸性编码在锥约束中，并展示了其与半正定规划的联系。
2026-10-08 cs.LG math.OC
Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time
Stanford University（斯坦福大学）
具有非线性激活函数的两层神经网络的训练是一个重要的非凸优化问题，在逐层深度学习中具有许多应用和有前途的性能。本文基于半定规划理论，建立了二次多项式激励的双层神经网络的精确凸优化公式。值得注意的是，我们表明，半定提升始终是准确的，因此计算复杂性的全局优化是多项式的输入尺寸和样本大小的所有输入数据。开发的凸公式被证明可以实现相同的全局最优解集作为他们的非凸同行。更具体地说，具有多项式激活的全局最优双层神经网络可以通过求解半定规划（SDP）并使用我们称为神经分解的过程分解该解来找到。此外，正则化器的选择在神经网络训练的计算易处理性中起着至关重要的作用。我们表明，标准的权重衰减正则化制定是NP-困难的，而其他简单的凸罚款使问题易于处理的多项式时间通过凸规划。我们将结果扩展到完全连接架构之外的不同神经网络架构，包括具有向量输出的网络和具有池化的卷积架构。我们提供了大量的数值模拟表明，标准的反向传播方法往往无法实现全局最优的训练损失。所提出的方法是显着更快，以获得更好的测试精度相比，标准的反向传播过程。
2021-01-07 cs.CC cs.LG math.OC
Neural Fixed-Point Acceleration for Convex Optimization
Facebook AI（脸书人工智能研究院）
定点迭代是数值计算的核心，并且通常是实时应用中的计算瓶颈，这些应用通常需要中等精度的快速解决方案。我们提出了神经定点加速，它结合了元学习和经典加速方法的思想，可以自动学习加速从分布中提取的定点问题。我们将我们的框架应用于SCS，最先进的凸锥规划求解器，设计模型和损失函数，以克服展开优化和加速不稳定性学习的挑战。我们的工作将神经加速带入任何可以用CVXPY表达的优化问题。本文的源代码可以在https://github.com/facebookresearch/neural-scs上找到
2021-07-23 cs.AI cs.LG math.OC
Eliminating Multicollinearity Issues in Neural Network Ensembles: Incremental, Negatively Correlated, Optimal Convex Blending
Purdue University（普渡大学）；University of Ioannina（约阿尼纳大学）
给定一个{features，target}数据集，我们引入了一个增量算法，该算法使用神经网络的集成来构建一个聚合回归量。众所周知，集成方法遭受多重共线性问题，这是主要由于公共训练数据集而产生的冗余的表现。在目前的增量方法中，在每个阶段，我们最佳地混合的总回归与新训练的神经网络下的凸性约束，如果必要的话，诱导负相关。在此框架下，共线性问题根本不会出现，因此该方法既准确又稳健。
2021-04-30 cs.AI cs.LG math.OC
Differentiable Convex Optimization Layers in Neural Architectures: Foundations and Perspectives
Yale University（耶鲁大学）
本文综述了将凸优化问题作为可微层嵌入神经网络的方法，梳理其从二次规划到一般凸优化的发展，并结合数学证明与应用案例探讨其理论基础、当前能力与未来方向。
2024-12-30 cs.LG math.OC
CRONOS: Enhancing Deep Learning with Scalable GPU Accelerated Convex Neural Networks
Stanford University（斯坦福大学）
提出CRONOS算法用于两层神经网络的凸优化，并扩展为CRONOS-AM以训练任意架构的多层网络，在ImageNet等大规模数据集上实现与主流深度学习优化器相当或更优的验证精度。
2024-11-02 cs.LG math.OC
Convexification of Neural Graph
Tsinghua University（清华大学）
传统上，大多数复杂的智能体系结构是非常非凸的，这不能很好地执行凸优化。然而，本文将复杂结构分解为三种类型的节点：运算符，算法和函数。通过沿边从节点到节点的迭代传播，我们证明了“对于树结构的神经网络图，当其他变量固定时，它在每个变量下都是近似凸的。“事实上，非凸属性源于圆和函数，它们可以通过我们提出的\textit{\textbf{scale mechanism}}转换为凸。实验上，我们证明我们的理论分析，两个实际应用。
2018-01-13 cs.LG stat.ML
Convex Dual Theory Analysis of Two-Layer Convolutional Neural Networks with Soft-Thresholding
Xiamen University（厦门大学）；University of Technology（理工学院）
针对带软阈值的两层卷积神经网络因非凸性难以获得全局最优解的问题，本文设计凸对偶网络，从理论和数值上验证强对偶性成立，并在拟合与去噪实验中证实其有效性，为网络凸化提供新思路。
2023-04-14 cs.LG
CQnet: convex-geometric interpretation and constraining neural-network trajectories
Computational Geosciences Inc.（计算地球科学公司）
我们介绍了CQnet，一个起源于CQ算法的神经网络，用于解决凸分裂可行性问题和向前向后分裂。CQnet的轨迹可以解释为粒子，它们通过点到集合距离函数跟踪不断变化的约束集，同时在每一层都是另一个约束集的元素。CQnet不仅仅是一种凸几何解释，它还适应学习和确定性约束，这些约束可能是样本或数据特定的，并且每个层和输出都能满足。此外，CQnet中的状态在每一层都朝着另一个约束集前进。我们提供的稳定性/非扩张性的最小假设的证明。约束处理和稳定性的结合使CQnet成为各种任务的候选者，其中先验知识存在于网络状态或输出上。
2023-02-09 cs.AI cs.LG math.OC
Convex Relaxations of Convolutional Neural Nets
Stanford University（斯坦福大学）
我们提出了一个隐藏层的卷积神经网络的凸松弛输出权重是固定的。对于凸激活函数，如整流线性单元，松弛是凸二阶锥规划，可以非常有效地解决。我们证明了放松恢复种植模型假设下的全局最小值，从高斯分布给出足够多的训练样本。我们还确定了一个相变现象，在恢复全球最低的放松。
2018-12-31 cs.LG stat.ML
A new Input Convex Neural Network with application to options pricing
Sorbonne Université（索邦大学）；Engie Global Markets（Engie全球市场）
本文提出一种输入凸神经网络，利用凸函数可表示为支配仿射函数上确界的原理逼近凸收益期权价格，并引入打乱阶段改进训练，在篮子、百慕大和摆动期权定价中验证了有效性。
2024-11-19 cs.LG stat.ML
Parameter Convex Neural Networks
Beihang University（北京航空航天大学）；Key Laboratory of Mathematics Informatics Behavioral Semantics, Ministry of Education, China（中国教育部数学信息行为语义重点实验室）；Peng Cheng Laboratory（鹏城实验室）
利用深度神经网络（DNN）的深度学习最近在许多重要领域取得了很大成功，例如计算机视觉、自然语言处理和推荐系统。DNN缺乏凸性已被视为许多优化方法的主要缺点，例如随机梯度下降，这大大降低了神经网络应用的通用性。我们认识到凸性在神经网络中是有意义的，并提出了指数多层神经网络（EMLP），这是一类参数凸神经网络（PCNN），它在一定条件下关于神经网络的参数是凸的。此外，我们提出了两层EGCN的凸性度量，并测试了凸性度量变化时的准确性。在后期的实验中，我们使用同样的结构构造了指数图卷积网络（EGCN），并在图分类数据集上进行了实验，实验结果表明，EGCN的性能优于图卷积网络（GCN）和图注意力网络（GAT）。
2022-06-11 cs.AI cs.LG
Convexity in ReLU Neural Networks: beyond ICNNs?
Ens de Lyon（里昂高等师范学院）；CNRS（法国国家科学研究中心）；Université Claude Bernard Lyon 1（里昂第一大学（克洛德·贝尔纳））；Inria（法国国家信息与自动化研究所）；Université de Toulouse（图卢兹大学）；IRIT（图卢兹计算机科学、集成与系统实验室）
本文给出ReLU神经网络为凸的充分必要条件，并在路径提升框架下刻画其表达能力，证明单隐藏层凸ReLU网络均可由同架构ICNN表达而多层时不成立，并提出大规模网络的精确凸性检验数值方法。
2025-04-08 cs.LG
Input Convex Gradient Networks
McGill University（麦吉尔大学）；University of Toronto（多伦多大学）；Facebook AI Research（Facebook AI研究院）
凸函数的梯度是非平凡向量场的表达模型。例如，Brenier定理得出，在平方距离下的欧几里得空间上的任何两个测量之间的最优传输映射被实现为凸梯度，这是最近生成流模型中使用的关键见解。在本文中，我们研究如何通过集成由神经网络参数化的雅可比向量积来建模凸梯度，我们称之为输入凸梯度网络（ICGN）。我们从理论上研究了ICGN，并将其与输入凸神经网络（ICNN）的梯度进行了比较，实证证明单层ICGN比单层ICNN更适合玩具示例。最后，我们将探索更深层次网络的扩展以及与黎曼几何结构的联系。
2021-11-23 cs.LG stat.ML
The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions
Stanford University（斯坦福大学）
我们证明了找到所有全局最优的双层ReLU神经网络可以通过求解具有锥约束的凸优化程序来执行。我们的分析是新颖的，描述了所有最优解的特征，并且没有利用最近用于将神经网络训练提升到凸空间的基于对偶的分析。给定我们的凸优化程序的解集，我们展示了如何精确地构建整个最优神经网络集。我们提供了一个详细的特征，这个最佳的设置和不变的变换。作为凸透视的附加结果，（i）我们建立了由随机梯度下降找到的Clarke平稳点对应于下采样凸问题的全局最优值（ii）我们提供了一个多项式时间算法来检查神经网络是否是训练损失的全局最小值（iii）我们提供了一个明确的结构之间的连续路径的任何神经网络和全球最小的子水平集和（iv）表征隐藏层的最小尺寸，使得神经网络优化景观没有虚假谷。总的来说，我们提供了一个丰富的框架，通过凸性研究神经网络训练损失的景观。
2022-03-13 cs.LG stat.ML
Scalable Computations of Wasserstein Barycenter via Input Convex Neural Networks
Georgia Institute of Technology（佐治亚理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）
Wasserstein Barycenter是一种原则性的方法来表示给定的一组概率分布的加权平均值，利用由最佳运输引起的几何形状。针对机器学习中的高维应用，提出了一种新的可扩展的Wasserstein重心近似算法。我们提出的算法是基于Kantorovich对偶公式的Wasserstein-2距离以及最近的神经网络架构，输入凸神经网络，这是已知的参数化凸函数。我们的方法的显着特点是：i）它只需要来自边缘分布的样本; ii）与现有方法不同，它用生成模型表示重心，因此可以从重心生成无限个样本，而无需查询边缘分布; iii）它在一个边缘情况下类似于生成对抗模型。我们证明了我们的算法的有效性，通过比较它与国家的最先进的方法在多个实验。
2021-11-27 cs.LG math.OC stat.ML
CR-LSO: Convex Neural Architecture Optimization in the Latent Space of Graph Variational Autoencoder with Input Convex Neural Networks
School of Systems Science, Beijing Normal University（北京师范大学系统科学学院）；School of System Design and Intelligent Manufacturing, Southern University of Science and Technology（南方科技大学系统设计与智能制造学院）；Department of Electrical and Computer Engineering, University of Illinois Chicago（伊利诺伊大学芝加哥分校电气与计算机工程系）
针对潜空间优化中性能映射非凸导致梯度搜索困难的问题，提出CR-LSO方法，利用输入凸神经网络正则化图变分自编码器学习凸映射，在三个NAS基准上取得有竞争力的性能与效率。
2025-04-25 cs.AI cs.LG
Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks
Stanford University（斯坦福大学）
我们开发的精确表示的训练两层神经网络与整流线性单元（ReLU）在一个单一的凸规划的变量多项式的训练样本的数量和隐藏的神经元的数量。我们的理论利用半无限对偶和最小范数正则化。我们证明了用标准权重衰减训练的ReLU网络等价于块$\ell_1$惩罚凸模型。此外，我们表明，某些标准的卷积线性网络是等价的半定规划，可以简化为$\ell_1$正则化的线性模型在一个多项式大小的离散傅立叶特征空间。
2020-08-15 cs.CC cs.LG stat.ML
Convex Regularization Behind Neural Reconstruction
Stanford University（斯坦福大学）
神经网络在反问题中显示出巨大的潜力，用于重建高分辨率图像。然而，神经网络的非凸和不透明性质阻碍了它们在诸如医学成像等敏感应用中的实用性。为了应对这一挑战，本文提出了一种凸对偶框架，使双层全卷积ReLU去噪网络适合凸优化。凸对偶网络不仅提供了凸解算器的最佳训练，而且便于解释训练和预测。特别是，它意味着训练神经网络与权重衰减正则化诱导路径稀疏，而预测是分段线性滤波。MNIST和fastMRI数据集的一系列实验证实了双重网络优化问题的有效性。
2020-12-09 cs.CV cs.LG eess.IV
Recurrent Neural Network Training with Convex Loss and Regularization Functions by Extended Kalman Filtering
IMT School for Advanced Studies（IMT高等研究院）
本文研究了使用扩展卡尔曼滤波来训练具有相当一般的凸损失函数和正则化项的递归神经网络的网络参数，包括$\ell_1$ -正则化。我们表明，学习方法是有竞争力的随机梯度下降在非线性系统辨识基准和训练线性系统的二进制输出。我们还探讨了该算法在数据驱动的非线性模型预测控制中的应用及其与无偏置闭环跟踪干扰模型的关系。
2022-11-02 cs.LG cs.SY eess.SY
Dual Certified White-Box Inference for Input Convex Neural Networks
Xi’an Jiaotong University（西安交通大学）
针对输入凸神经网络，提出双重认证推理（DCI），利用SOC-ICNN的白盒表示恢复完整次微分，结合几何结构获得精确平稳性证书和公共下降方向，实现全局收敛与局部二次收敛，实验验证其高效可靠。
2026-10-05 cs.AI cs.LG math.OC
Randomized Geometric Algebra Methods for Convex Neural Networks
Stanford University（斯坦福大学）
本文提出将随机算法引入Clifford几何代数，通过凸优化训练神经网络至全局最优，并验证该方法在GPT-4和BERT嵌入的文本分类迁移学习任务中比传统方法更稳定可靠。
2024-06-08 cs.LG math.OC stat.ML
Stochastic In-Face Frank-Wolfe Methods for Non-Convex Optimization and Sparse Neural Network Training
University of California, Berkeley（加州大学伯克利分校）
Frank-Wolfe方法及其扩展非常适合于提供具有理想结构属性（例如稀疏性或低秩结构）的解决方案。我们引入了一个新的变体的Frank-Wolfe方法，结合Frank-Wolfe步骤和最速下降步骤，以及一个新的修改的“Frank-Wolfe间隙”，以衡量在非凸的情况下收敛。我们进一步扩展这种方法，将在面方向保持结构化的解决方案，以及块坐标步骤，我们证明了计算保证修改后的Frank-Wolfe间隙的所有这些变体。我们特别受到这种方法的应用稀疏属性的神经网络的训练，我们将我们的块坐标方法的问题，$\ell_1$正则化神经网络的训练。我们提出了几个数值实验的结果，人工和真实的数据集证明我们的方法在训练稀疏神经网络的显着改进。
2019-06-09 cs.LG math.OC stat.ML
Exploring the loss landscape of regularized neural networks via convex duality
Stanford University（斯坦福大学）
本文通过将正则化神经网络转化为等价凸问题并利用对偶理论，系统刻画了其损失景观的驻点结构、最优解连通性与非唯一性，并证明相关结果可推广至向量值与三层网络架构。
2025-04-29 cs.LG
Learning Invariances with Generalised Input-Convex Neural Networks
University of Basel（巴塞尔大学）
考虑到从输入向量到连续目标的光滑映射，我们的目标是使输入域的子空间在这种映射下保持不变。因此，我们想要隐式地定义由水平集的流形。具体来说，这种表征应该是全局参数形式，这对于不同的知情数据探索任务特别有用，例如构建基于网格的近似，沿着水平曲线采样点，或在流形上找到轨迹。然而，全局参数化只能在水平集连接时存在。为了这个目的，我们引入了一种新的和灵活的类神经网络，广义输入凸网络。这些网络表示保证具有连通水平集的函数，这些连通水平集在输入空间上形成光滑流形。我们进一步表明，这些水平集的全局参数化总是可以有效地找到。最后，我们证明了我们用于表征不变性的新技术在现实世界的应用中是一个强大的生成数据探索工具，例如计算化学。
2022-04-14 cs.LG
The Curious Case of Convex Neural Networks
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；TCS Research（塔塔咨询服务公司研究院）；IIT Kanpur（印度理工学院坎普尔分校）
在本文中，我们研究的神经网络的输出是一个凸函数的输入的约束制定。我们证明了凸性约束可以在全连接层和卷积层上强制执行，使其适用于大多数架构。凸性约束包括将权重（对于除了第一层之外的所有层）限制为非负，以及使用非减凸激活函数。尽管很简单，但这些约束对网络的泛化能力有着深远的影响。我们得出了三个有价值的见解：（a）输入输出凸神经网络（IOC-NN）自正则化并减少过拟合问题;（b）尽管受到严重约束，但它们优于基本多层感知器，并实现了与基本卷积架构相似的性能;（c）IOC-NN对训练标签中的噪声具有鲁棒性。我们使用三种不同的神经网络架构对标准图像分类数据集进行了彻底的实验和消融研究，证明了所提出的想法的有效性。
2021-07-10 cs.LG stat.ML
From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity
Stanford University（斯坦福大学）
本文基于几何（Clifford）代数与凸优化，证明深度ReLU网络的最优权重由训练样本楔积给出，将训练简化为楔积特征的凸优化，为理解网络内部机制与隐藏层作用提供了新视角。
2024-03-22 cs.AI cs.LG cs.NE
Convex training of Lipschitz-regularized shallow neural networks
Polytechnique Montréal, GERAD & Mila, Montréal, QC, Canada（蒙特利尔理工学院，GERAD & Mila，加拿大魁北克省蒙特利尔市）
提出一种凸限制方法求解非凸Lipschitz正则化训练问题，可全局最优求解，并作为预训练网络的后处理步骤，提升对抗鲁棒性和准确性。
2026-06-19 cs.LG
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models
LG AI Research（LG人工智能研究院）；Stanford Universtiy（斯坦福大学）
本研究将两层ReLU神经网络训练转化为凸的组Lasso稀疏恢复问题，证明其可多项式求解，并刻画非凸目标的驻点，实验表明凸模型优于非凸方法且对超参数不敏感。
2023-12-19 cs.AI cs.LG math.OC
Tightened Convex Relaxations for Neural Network Robustness Certification
University of California, Berkeley（加州大学伯克利分校）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）
在本文中，我们考虑的问题，证明的鲁棒性的神经网络扰动和敌对的输入数据。这种认证对于神经网络在安全关键决策和控制系统中的应用是必不可少的。已经提出了使用凸优化的认证技术，但是它们经常遭受使证书无效的松弛错误。我们的工作利用ReLU网络的结构，通过一种新的基于分区的认证程序来改善松弛错误。所提出的方法被证明是收紧现有的线性规划松弛，并渐近实现零松弛误差的分区更精细。我们开发了一个有限的分区，达到零松弛误差，并使用结果来推导出一个易于处理的分区计划，最大限度地减少最坏情况下的松弛误差。使用真实数据的实验表明，分区过程是能够发出鲁棒性证书的情况下，以前的方法失败。因此，分区为基础的认证程序被发现提供了一个直观的，有效的，理论上合理的方法收紧现有的凸松弛技术。
2020-09-18 cs.LG math.OC stat.ML
Optimal transport mapping via input convex neural networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Irvine（加州大学欧文分校）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
在本文中，我们提出了一种新的和原则性的方法来学习两个分布之间的最佳传输，从样本。在最优输运理论的指导下，我们学习了诱导最优输运映射的最优Kantorovich势。这涉及到学习两个凸函数，通过解决一个新的极大极小优化。基于输入凸神经网络领域的最新进展，我们提出了一个新的框架，其中一个凸函数的梯度表示最优传输映射。数值实验证实，我们学习的最佳运输映射。这种方法确保我们找到的传输映射是最优的，与我们如何初始化神经网络无关。此外，可以容易地捕获来自不连续支持的目标分布，因为凸函数的梯度自然地对{ \em不连续}传输映射进行建模。
2020-06-17 cs.LG stat.ML
Convex Optimization with an Interpolation-based Projection and its Application to Deep Learning
TU Darmstadt（达姆施塔特工业大学）；Télécom Paris（巴黎高等电信学院）
凸优化器作为深度神经架构中的可微层有许多应用。这些凸层的一个应用是将点投影到凸集中。然而，这些凸层的前向和后向传递的计算都比典型的神经网络的计算要昂贵得多。在本文中，我们调查是否一个不准确的，但更便宜的投影，可以驱动下降算法的最佳。具体来说，我们提出了一个插值为基础的投影，计算成本低，易于计算给定的凸，域定义，功能。然后，我们提出了一个优化算法，遵循梯度的组成的目标和投影，并证明其收敛性的线性目标和任意凸和Lipschitz域定义的不等式约束。除了理论上的贡献，我们证明经验的插值投影的实际利益时，结合神经网络在强化学习和监督学习设置。
2020-11-13 cs.LG math.OC stat.ML
Convexified Message-Passing Graph Neural Networks
Bar-Ilan University（巴伊兰大学）
本文提出凸化消息传递图神经网络，通过将非线性滤波器映射到再生核希尔伯特空间，将训练转化为凸优化问题，实现高效训练和严格理论保证，显著提升性能并展现强大理论基础。
2026-01-25 cs.LG
A Globally Convergent Algorithm for Neural Network Parameter Optimization Based on Difference-of-Convex Functions
ETH Zurich（苏黎世联邦理工学院）；FAU Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；LMU Munich（慕尼黑大学）
本文针对单隐藏层神经网络参数优化，提出基于分块差分凸表示并结合分块坐标下降与DCA的全局收敛算法，并给出线性或更快收敛条件，数值实验验证其优于主流梯度求解器。
2024-01-15 cs.LG cs.NE math.OC
Convex Formulation of Overparameterized Deep Neural Networks
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Princeton University（普林斯顿大学）；HKUST（香港科技大学）
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明，这种系统的行为像凸系统下各种restrictedsettings，如两个层次的神经网络，当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而，没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术，最初在（Fang et al.，2019 a）用于两级神经网络，以分析深度神经网络。研究表明，在合适的表示下，过参数化深度神经网络本质上是凸的，当优化时，系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致，即深度神经网络能够学习有效的特征表示。因此，这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实，我们的理论预测是一致的，在实践中观察到的结果。
2019-11-18 cs.LG stat.ML
Optimal Neural Network Approximation of Wasserstein Gradient Direction via Convex Optimization
Stanford University（斯坦福大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）；University of South Carolina（南卡罗来纳大学）
Wasserstein梯度方向的计算是后验抽样问题和科学计算的基础。有限样本的Wasserstein梯度的近似需要解决一个变分问题。我们研究具有平方ReLU激活的两层网络族中的变分问题，并推导出半定规划（SDP）松弛。这个SDP可以被看作是一个更广泛的函数族，包括两层网络的Wasserstein梯度的近似。通过求解凸SDP，我们得到了这类函数的Wasserstein梯度方向的最佳逼近。在COVID-19建模中的数值实验包括PDE约束贝叶斯推理和参数估计，证明了所提出的方法的有效性。
2022-05-26 cs.LG math.OC stat.ML
TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels
University of California, Berkeley（加州大学伯克利分校）
当客户端具有不同的数据分布时，最先进的联邦学习方法的性能可能比集中式方法差得多。对于神经网络，即使当集中式SGD很容易找到对所有客户端同时执行的解决方案时，当前的联合优化方法也无法收敛到可比较的解决方案。我们发现，这种性能差异在很大程度上可以归因于非凸性带来的优化挑战。具体来说，我们发现网络的早期层确实学习了有用的特征，但最终层未能利用它们。也就是说，应用于这个非凸问题的联邦优化扭曲了最终层的学习。利用这一观察，我们提出了一个训练-凸化-训练（TCT）过程来回避这个问题：首先，使用现成的方法学习特征（例如，FedAvg）;然后，优化从网络的经验神经切线核近似获得的凸化问题。当客户端具有不同的数据时，我们的技术在FMNIST上产生了高达+36%的准确性改进，在CIFAR 10上产生了+37%的准确性改进。
2022-10-05 cs.DC cs.LG math.OC
Connecting Concept Convexity and Human-Machine Alignment in Deep Neural Networks
Technical University of Denmark（丹麦技术大学）；Technische Universität Berlin（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
该研究基于行为数据分析预训练与微调 vision transformer，发现潜在表征凸性与人机对齐相关但关系复杂，为可解释、可靠 AI 提供新视角。
2024-09-10 cs.AI cs.LG
Input Convex Neural Networks for Building MPC
ETH Zürich（苏黎世联邦理工学院）；Empa（瑞士联邦材料科学与技术实验室）
建筑物的模型预测控制可以显著降低其能耗。为建筑物创建和维护第一原理模型所需的成本和精力使得数据驱动建模成为该领域中有吸引力的替代方案。在MPC中，模型构成了优化问题的基础，该问题的解提供了应用于系统的控制信号。这个优化问题必须实时重复解决的事实意味着对可以使用的学习架构的限制。在这里，我们调整输入凸神经网络，这些网络通常只对一步预测是凸的，用于构建MPC。我们引入额外的限制，他们的结构和权重，以实现多步预测的凸输入输出关系。我们评估的后果，额外的约束模型的准确性和测试模型在现实生活中的MPC实验在瑞士的公寓。在两个为期五天的制冷实验中，MPC与输入凸神经网络能够将室温保持在舒适的限制范围内，同时最大限度地减少制冷能耗。
2020-11-26 cs.LG cs.SY eess.SY
A Convexity-dependent Two-Phase Training Algorithm for Deep Neural Networks
Institute of Computer Science, University of St.Gallen (HSG)（施普伦格尔大学计算机科学学院）；Institute of Computer Science in Vorarlberg, University of St.Gallen (HSG)（沃斯堡大学计算机科学研究所）
该研究提出基于损失函数从非凸向凸转变假设的两阶段训练算法，用Adam和CG分别对应不同阶段，实验证实可显著提升深度神经网络的收敛性与准确率。
2025-10-30 cs.AI cs.LG math.OC
Can KAN CANs? Input-convex Kolmogorov-Arnold Networks (KANs) as hyperelastic constitutive artificial neural networks (CANs)
Department of Materials Science and Engineering, Delft University of Technology（材料科学与工程系，代尔夫特理工大学）；Department of Biomechanical Engineering, Delft University of Technology（生物机械工程系，代尔夫特理工大学）
本文提出单调输入凸 Kolmogorov-Arnold 网络（ICKAN），通过可训练单调输入凸样条学习物理可接受的多凸超弹性本构模型，在无监督训练下准确捕捉非线性应力-应变行为并具备良好泛化能力。
2025-06-04 cs.LG
Non-Convex Optimizations for Machine Learning with Theoretical Guarantee: Robust Matrix Completion and Neural Network Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文针对机器学习中的黑盒问题与非凸优化易陷入局部极小值的挑战，研究了低秩矩阵补全与神经网络学习两种非凸问题，旨在设计具有理论保证的可解释学习算法。
2023-06-28 cs.LG eess.SP
