Exact Recovery with Symmetries for the Doubly-Stochastic Relaxation
图匹配或二次分配，是标记两个图的顶点，使它们尽可能相似的问题。近似求解NP难图匹配问题的一种常用方法是将其松弛为双随机矩阵集上的凸优化问题。最近的分析表明，对于几乎所有的同构和非对称图对，DS松弛成功地正确恢复图之间的同构。本文的目的是分析对称同构图的情形。这个目标是由形状匹配应用程序的兴趣图通常具有反射对称性。对于对称问题，图匹配问题有多个同构，因此凸松弛允许所有这些同构的凸组合作为可行解。如果凸松弛不允许任何额外的多余解，我们说它是凸精确的。在这种情况下，有易于处理的算法来检索同构的凸松弛。我们证明了凸正合性强烈依赖于图的对称群;对于一个固定的对称群$G$，或者DS松弛对几乎所有具有对称群$G$的同构图对都是凸正合的，或者DS松弛对所有这样的同构图对都是凸正合的.我们表明，至少有一个完整的轨道凸正合性反射群持有几乎处处，并提供了一些简单的例子，非反射对称群的凸正合性总是失败。当凸正合性成立时，图的同构是凸解集的极值点。在这种情况下，我们提出了一个有效的算法检索同构。我们还表明，在这种情况下，“凸到凹”的投影方法也将检索同构。
2017-05-22 math.OC
On the exactness of Lasserre relaxations for compact convex basic closed semialgebraic sets
考虑一个有限的非严格实多项式不等式组，假设它的解集$S\subseteq\mathbb R^n$是凸的，有非空的内部，并且是紧的。假设系统满足阿基米德条件，这个条件比$S$的紧性稍强。假设每个定义多项式满足二阶严格拟凹条件，其中它在$S$上消失（这是非常自然的，因为$S$是凸的），或者它的Hessian具有一定的矩阵平方和，证明$S$上是负半定的（由线性多项式平凡地满足）。然后我们证明了该系统具有一个精确的Lasserre松弛。在他们2009年的开创性工作中，Helton和Nie在相同条件下证明了$S$是一个光谱面体的投影，即，它具有半定表示。Helton和Nie使用的半定表示法是将许多小块的Lasserre松弛以非建设性的方式粘在一起而得到的。通过改进和改变他们的方法，我们表明，我们可以简单地采取Lasserre松弛的原始系统本身。只有在非常技术性的条件下，并在改变了对$S$的描述之后，Helton和Nie才用更多的机器提供了这样的结果。
2018-02-28 math.AG math.OC
KKT-based primal-dual exactness conditions for the Shor relaxation
本文给出了对角QCQP的Shor松弛的一些精确条件，推广了最近几篇关于同一主题的论文中所给出的条件。证明了Shor松弛等价于两个凸二次松弛。然后，从它们的KKT系统出发，导出了松弛精确的充分条件。它将表明，在某些情况下，通过这种推导，以前的条件在文献中，这可以被视为对偶条件，因为它们只涉及拉格朗日乘子出现在KKT系统，可以扩展到原始对偶条件，这也涉及原始变量出现在KKT系统。
2020-11-10 math.OC
Exactness Certificates for Closed-Form CBF Safety-Filter Projections
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
针对控制仿射系统，研究在无需求解二次规划的情况下，如何通过最小范数校正精确计算控制障碍函数条件的欧几里得投影，并给出该校正与精确投影一致的结构条件及在线验证方法。
2026-06-26 cs.SY eess.SY math.OC
On the exactness of Lasserre relaxations and pure states over real closed fields
考虑解集为$S\subseteq\mathbb R^n$的有限非严格多项式不等式组。它的Lasserre松弛度$d$是一个关于原始变量和一个附加变量的自然线性矩阵不等式，对于每个至多$d$度的非线性单项.它定义了一个投影到包含$S$的凸半代数集的谱面体。在最好的情况下，投影等于$S$的凸包。我们表明，这是非常经常的情况下，足够高的$d$，如果$S$是紧凑的和“向外凸出”的边界上的凸包。现在另外给出多项式目标函数$f$，即，考虑多项式最优化问题。它的Lasserre松弛度$d$现在是一个半定规划。在最好的情况下，多项式最优化问题的最优值和它的松弛一致。我们证明了，这经常发生，如果$S$是紧凑的和$d$超过一些限制，这取决于描述的$S$和某些characteristicae的$f$一样的相互距离的全局极小$S$。
2018-11-29 math.AG math.OC
On the exactness for polynomial optimization strengthened with Fritz John conditions
我们利用与[arXiv：2205.04254（2022）]中相同的技术，在更一般的条件下，在由多项式不等式定义的基本半代数集上提供多项式非负的一些表示。基于每一种表示，我们得到半定规划返回一个序列的值，其中的值序列的最优收敛到一个给定的多项式最优化问题的一般假设下的最优值。由此，我们可以精确地计算由凹多项式不等式定义的基本凸半代数集上任意多项式的极小值。
2022-10-11 math.AG math.OC
On exactness of SDP relaxation for the maximum cut problem
IIT Bombay（印度理工学院孟买分校）
本文研究了最大割问题SDP松弛的精确性，分析了几类图的特性，并探讨了保持解秩的图操作，揭示了在大规模图中SDP松弛保持精确性的机制。
2026-06-29 math.OC
Optimal Power Flow in Stand-alone DC Microgrids
直流微电网（DC-MG）可以在并网或独立模式下运行。特别地，独立DC-MG具有许多不同的应用。然而，独立的DC-MG的最优潮流问题本质上是非凸的。本文基于二阶锥规划（SOCP），研究了考虑凸松弛的直流-MG最优潮流（OPF）问题。为保证松弛的精确性，提出了温和的假设，只要求节点电压上界一致且网损为正。此外，还揭示了DC-MG的SOCP松弛的精确性不依赖于DC-MG的拓扑结构或操作模式，并且如果存在最优解，则该最优解必须是唯一的。如果考虑线约束，SOCP松弛的精确性可能不成立。在这方面，提出了两种启发式方法，给近似解。仿真结果验证了理论分析的正确性。
2017-08-17 math.OC
A Modification of Sufficient Conditions to Ensure the Exact Conic Relaxation
为了求解交流最优潮流问题，文献[1，2]提出，如果先消去电压和电流的相位角，然后将一组等式约束放松为二阶圆锥约束，就可以得到支路潮流模型的凸圆锥近似。特别地，只要满足一组充分条件，圆锥松弛是精确的。然而，我们注意到，这些条件并不总是保证准确性。本文分析了二次曲线公式的正确性论证，并引入了一个新的条件，即不存在负电抗线，以保证二次曲线公式的正确性。
2015-05-13 math.OC
Convex optimization of bioprocesses
我们优化的一般模型的生物过程，这是非凸的，由于微生物生长的生化反应器。我们制定了一个凸松弛，并给出条件，保证其精确的瞬态和稳态的情况下。当生长动力学模型的Monod函数下恒定的生物量或Contois函数，松弛是一个二阶锥规划，可以有效地解决在大规模。我们实现了一个基于污水处理系统的数值例子模型。
2021-07-05 math.OC
Combinatorial Optimization of AC Optimal Power Flow with Discrete Demands in Radial Networks
交流最优潮流问题是电力系统工程中最基本的问题之一。在过去的几十年里，研究人员一直依赖于未经证实的化学方法来解决OPF问题。OPF的困难源于两个问题：（1）非凸性和（2）组合约束（例如，离散功率提取约束）。最近的进展，提供了充分条件的凸松弛的OPF的精确性，可以解决问题的非凸性。为了更好地理解最优潮流，本文提出了一种多项式时间近似算法来求解以离散需求为组合约束的凸松弛最优潮流，该算法具有可证明的小参数化近似比（也称为PTAS算法）。结合凸松弛精确性的充分条件，给出了一种求解具有离散需求的最优潮流问题的有效近似算法，该算法适用于径向网络、固定规模和单馈线的情况。PTAS的运行时间是$O(n^{4m/ε}T)$，其中$T$是求解问题的凸松弛所需的时间，而$m, ε$是固定常数。根据OPF先前的硬度结果，我们的PTAS是理论上最好的。仿真结果表明，我们的算法可以产生接近最优的解决方案在实践中。
2019-10-15 cs.DS math.OC
Extending Exact Convex Relaxations of Quadratically Constrained Quadratic Programs
本文针对凸松弛精确的二次约束二次规划，在不相交二次约束条件下加入额外约束，统一扩展了三类精确凸松弛方法，并通过示例验证了结果的适用性。
2025-10-22 math.OC
Local-to-Global Exactness of SDP Relaxations for Sparse QCQPs
Chuo University（中央大学）；Ewha W. University（梨花女子大学）
研究稀疏二次约束二次规划（QCQP）的半定规划（SDP）松弛的精确性，通过弦扩展的团结构建立局部到全局的精确性验证框架。
2026-10-27 math.OC
On semidefinite descriptions for convex hulls of quadratic programs
本文研究二次约束二次规划（QCQP）上图凸包与SDP松弛投影上图重合的条件，提出了基于凸拉格朗日乘子锥几何性质的凸包精确性充分条件，并证明在额外几何假设下该条件亦为必要。
2024-03-20 math.OC
An Alternative Perspective on Copositive and Convex Relaxations of Nonconvex Quadratic Programs
研究了非凸二次规划的凸松弛问题。我们确定了一个家庭的所谓的可行性保持凸松弛，其中包括著名的正和双非负松弛，与凸松弛是可行的，当且仅当非凸二次规划是可行的。我们观察到，在这个家庭中的每一个凸松弛隐式地导致一个凸低估的目标函数上的可行域的二次规划。这种对凸松弛的另一种观点使我们能够建立相应的凸低估的几个有用的性质。特别地，当二次规划可行域的回收锥不包含任何负曲率方向时，证明了由余正松弛引起的凸低估子正是二次规划目标函数的凸包络，从而为Burer关于余正松弛的精确性的著名结果提供了又一个证明.我们还提出了一个算法配方，用于构建有限的最优值，但无界双非负松弛的二次规划的实例。
2020-05-30 math.OC
Second-Order Cone Relaxations of the Optimal Power Flow for Active Distribution Grids
交流最优潮流（OPF）问题的凸松弛不仅对于确定全局最优解是必不可少的，而且对于在双层规划和带平衡约束的数学规划（MPEC）中使用OPF公式也是必不可少的，这需要解决诸如输配电系统运营商之间的协调（TSO/DSO）或最优网络投资等问题。针对主动配电网和辐射状网络，本文介绍了一个框架，收集和比较，第一次我们所知，最有前途的凸OPF配方的实际应用的性能。我们的目标是建立一个坚实的基础，为不同的应用选择最合适的算法。本文（一）介绍了一个统一的数学和仿真框架，（二）扩展现有的方法，以保持准确性，在更广泛的情况下，（iii）考虑无功功率注入。我们进行模拟IEEE 34和123径向测试馈线与分布式能源（DER），每年的太阳辐射和负载数据。
2020-06-22 cs.SY eess.SY math.OC
Separable QCQPs and Their Exact SDP Relaxations
Chuo University（中央大学）；Ewha W. University（梨花女子大学）
本文研究了可分离二次约束二次规划的精确半正定松弛条件，通过可分离的水平连接方法保持精确性，并识别了多种满足条件的QCQP类别。
2026-04-03 math.OC
On Tractable Convex Relaxations of Standard Quadratic Optimization Problems under Sparsity Constraints
本文研究带硬稀疏约束的标准二次优化问题的可处理凸松弛，分析三类松弛的结构性质、下界质量及精确性条件，为稀疏StQPs求解提供理论支撑。
2023-10-06 math.OC
A convex reformulation for speed planning of a vehicle under the travel time and energy consumption objectives
针对预定义路径下兼顾能耗与行驶时间的车辆速度规划非凸问题，证明可行域为格结构，提出边界收紧技术，验证凸松弛的精确性，并基于其最优解性质开发时间复杂度$O(n^2)$的动态规划近似求解方法。
2025-10-28 math.OC
Exact Distribution Optimal Power Flow (D-OPF)Model using Convex Iteration Technique
配电网最优潮流（D-OPF）模型是近年来集中管理的配电网优化运行的研究热点。由于非凸公式难以求解，已经提出了几种松弛法;然而，从松弛模型获得的解的精确性仍然是一个问题。在本文中，我们确定了一个这样的问题有关的径向配电馈线二阶锥规划（SOCP）松弛不产生一个解决方案，是可行的，相对于原来的非线性OPF模型。具体来说，我们制定了一个OPF模型的光伏托管容量问题，以获得最大的光伏容量，馈线可以整合，而不违反操作限制。这个问题的SOCP松弛产生不可行的解决方案。为了解决这个问题，我们提出了一个凸迭代技术，同时实现最佳和可行的OPF解决方案的PV托管（最大化）问题。该方法在每次SOCP迭代中最大限度地减少了与原始非线性约束的可行性差距。使用IEEE-13节点和IEEE-123节点测试系统验证了所提出方法的有效性。
2019-12-06 math.OC
An Exact Convex Relaxation of the Freeway Network Control Problem with Controlled Merging Junctions
我们考虑的高速公路网络控制问题，其目的是通过匝道调节和部分主线需求控制的细胞传输模型，以优化交通网络的运作。由于非线性基本图，使用单元传输模型的最优控制问题通常是非凸的，但是经常使用放松需求和供给约束的凸松弛。以前的作品已经建立了条件下，解决方案的放松，可以成为可行的原始约束。在这项工作中，我们概括了这些条件，并表明，流量控制到合并路口是足够的，这样做，如果目标是最大限度地减少交通总时间。我们得出这个结果，通过引入一个替代的系统表示。在新的表示中，系统动力学是凹的和状态单调的。我们证明了有限时域最优控制问题的凸松弛的精确性来自于这些性质。通过系统动力学的表征推导出的主要结果允许一个处理任意单调，凹的基本图和几种类型的控制合并路口以统一的方式。推导还提出了一个简单的方法来验证，如果结果继续保持在这项工作中研究的模型的扩展或修改。
2018-05-25 math.OC
A fast-solved model for energy-efficient train control based on convex optimization
在现代轨道交通中，训练节能控制（EETC）是指在各种运营和牵引约束条件下，以最小的能量消耗为目标，寻求最优的训练速度轨迹或控制策略。本文提出了一种基于凸优化的EETC模型，使该模型能用凸优化算法快速求解。通过与混合整数线性规划（MILP）和Radau伪谱法（RPM）等主流数学规划方法的比较，验证了该方法的高计算效率和鲁棒性.基于凸优化的特点，该方法在计算效率方面具有明显的优势，在各种轨道交通自动训练控制系统的在线应用中具有广阔的应用前景。
2022-01-26 cs.SY eess.SY math.OC
Mathematical Modeling for Holistic Convex Optimization of Hybrid Trains
我们研究建模燃料电池混合动力列车的目的，优化其操作使用凸优化。模型和必要的约束条件，形成一个物理上可行的凸问题进行审查。由于广泛考虑了训练速度、能量管理系统和电池热量，因此将这项工作描述为整体性的。最小化的目标是给定目标行程时间的氢燃料消耗。提出了一种新的电池热模型，以帮助电池的热管理，从而保持电池的寿命。所有模型都是在空间域中导出的，沿着约束松弛保证了凸优化问题。第一原理知识和真实世界的数据证明了所提出的模型适用于预期的最优化问题。
2021-10-24 cs.SY eess.SY math.OC
Convex Optimization for Fuel Cell Hybrid Trains: Speed, Energy Management System, and Battery Thermals
我们使用凸优化的燃料电池混合训练的操作优化。主要目标是在考虑电池热约束的同时，最大限度地减少目标行程时间内的氢燃料消耗。状态轨迹：训练速度、能量管理系统和电池温度都在单个优化问题内同时优化。提出了一种新的热模型，以包括电池温度，但保持配方凸性。模拟显示，当温度与其他状态同时优化时，而不是随后单独优化时，可以节省燃料和更好的热管理。燃料减少是由减少的冷却努力引起的，这是由配方对主动冷却能量消耗的认识所激发的。对于需要更多冷却的较暖环境温度，该益处更为显著。
2021-11-17 cs.SY eess.SY math.OC
Natural Gas Flow Solvers using Convex Relaxation
巨大的基础设施发展，气体流动动力学，以及天然气与电力网络的复杂相互依赖性，需要先进的计算工具。求解将气体注入与压力和管道流量相关的方程是天然气网络（NGN）操作的核心，然而现有的求解器需要仔细初始化并且唯一性一直是一个悬而未决的问题。在这种情况下，这项工作认为非线性稳态版本的气体流量（GF）的问题。它首先建立的GF问题的解决方案是唯一的任意NGN拓扑结构，压缩机类型，和规范集。对于在单个（参考）节点上指定压力并且压缩器不出现在循环中的GF设置，GF任务被设定为凸最小化。为了处理更一般的设置，GF求解器依赖于一个混合整数二次约束二次规划（MI-QCQP）也被设计。该求解器可用于任何NGN的任何GF设置。它引入了二进制变量来捕捉流动方向;放松的压降方程的二次不等式约束;并使用一个精心选择的目标，以促进这种放松的准确性。松弛是可证明的精确的非重叠的周期和一个单一的固定压力节点的NGN。求解器通过McCormick线性化有效地处理所涉及的双线性项。数值试验验证了我们的要求，表明MI-QCQP求解器的规模很好，松弛是准确的，即使当充分条件被违反，如在NGN重叠的周期和多个固定压力节点。
2020-02-07 math.OC
Convex Optimization of Speed and Energy Management System for Fuel Cell Hybrid Trains
我们希望通过优化氢混合动力列车的运行，最大限度地减少氢燃料的消耗。考虑的动力系统是燃料电池充电维持混合动力。凸优化用于计算最佳速度和能量管理轨迹。障碍物法用于快速求解优化问题，整个行程约为数十秒。模拟显示，当两个轨迹-速度和能量管理-在单个优化问题中同时优化时，与以顺序方式分别优化-在优化速度之后优化能量管理相比，燃料消耗大大减少。它的结论是，并行方法大大受益于其整体动力系统的知识，同时优化所有的轨迹在一个单一的优化问题。
2021-09-28 cs.SY eess.SY math.OC
Solving Sparsity Constrained PCA, Regression, and QCQP via the Spartrahedron
Georgia Institute of Technology（佐治亚理工学院）
本文提出一种新的凸松弛框架，用于求解稀疏二次约束二次规划问题，通过Spartrahedron凸锥实现矩阵层面的稀疏性，提供全局最优的简单证书，并在多个实验中验证了方法的有效性。
2026-03-18 math.OC
Optimization over Trained Neural Networks: Difference-of-Convex Algorithm and Application to Data Center Scheduling
针对含神经网络近似的优化难题，提出带ReLU惩罚的双线性重构方法与原则性惩罚选择的凸差算法，应用于数据中心电力调度，在拥塞场景下实现显著成本节约。
2025-03-21 cs.SY eess.SY math.OC
Recurrent Neural Network Training with Convex Loss and Regularization Functions by Extended Kalman Filtering
IMT School for Advanced Studies（IMT高等研究院）
本文研究了使用扩展卡尔曼滤波来训练具有相当一般的凸损失函数和正则化项的递归神经网络的网络参数，包括$\ell_1$ -正则化。我们表明，学习方法是有竞争力的随机梯度下降在非线性系统辨识基准和训练线性系统的二进制输出。我们还探讨了该算法在数据驱动的非线性模型预测控制中的应用及其与无偏置闭环跟踪干扰模型的关系。
2022-11-02 cs.LG cs.SY eess.SY
Tightening convex relaxations of trained neural networks: a unified approach for convex and S-shaped activations
Universidad de O’Higgins（奥希金斯大学）；Universidad de Chile（智利大学）
本文提出一种递归公式，为广泛激活函数（凸或S形）与仿射函数的组合提供紧致的凸化方法，用于高效计算分离超平面或判断是否存在。
2026-03-30 cs.LG math.OC
Q-Rater: Non-Convex Optimization for Post-Training Uniform Quantization
Samsung Research（三星研究院）
各种后训练均匀量化方法通常是基于凸优化的研究。因此，大多数以前的依赖于量化误差最小化和/或二次近似。当采用大量的量化比特时，这样的方法在计算上是有效的和合理的。然而，当量化比特数相对较低时，非凸优化是不可避免的，以提高模型精度。在本文中，我们提出了一种新的后训练均匀量化技术考虑非凸性。我们的经验表明，超参数裁剪和舍入的权重和激活，可以探索通过监控任务损失。然后，冻结超参数的最佳搜索集以继续到下一层，使得能够针对后训练量化进行增量非凸优化。通过使用各种模型的广泛的实验结果，我们提出的技术提出了更高的模型精度，特别是对于低比特量化。
2021-05-05 cs.LG math.OC
Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization
Stanford University（斯坦福大学）；Google（谷歌）
本文提出一种用于两层多项式激活网络对抗训练的凸半定规划方法，并实现兼容GPU的可扩展训练方案，在CIFAR-10上重训练ResNet-18最后两层，显著提升了对抗鲁棒性。
2024-10-16 cs.LG math.OC
A Bounded Degree SOS Plus SONC Hierarchy for Polynomial Optimization
University of New South Wales（新南威尔士大学）
提出有界次数 SOS+SONC 层级 B-SOS+SONC，结合半定与稀疏结构，证明完备性并给出 SDP-REP 重构，数值上比 B-SOS 下界更紧。
2026-09-23 math.AG math.CO math.OC
Collaborative Autonomous Optimization of Interconnected Multi-Energy Systems with Two-Stage Transactive Control Framework
基于多能源集成的优点，建立了一种基于交互控制的双层两阶段框架，以实现互联多能源系统（MES）间的最优能量供应。在低层，各MES通过求解一个成本最小化问题，自主确定各可控资产的最优设定值，并采用滚动优化方法处理负荷和可再生能源的随机特性。进一步实现了一种通过松弛存储互补约束实现最优化模型凸化的技术，并通过数学证明验证了松弛的正确性。在上层，建立协调器以最小化协作互连MES的总成本，同时防止Transformer过载。这个合作问题进一步分解，并在一个两阶段的过程中迭代求解的基础上市场出清机制。该方法的一个显着特点是，它是兼容的操作时间要求，同时保留可扩展性，信息隐私和每个MES的操作权限。通过仿真实例对协同优化机制进行了详细的分析，验证了该框架的有效性。
2019-10-22 math.OC
Train faster, generalize better: Stability of stochastic gradient descent
Google（谷歌）
我们证明了用随机梯度法（SGM）训练的参数模型具有零的泛化误差。我们证明了我们的结果，认为SGM是算法稳定的Bousquet和Elisseeff的意义。我们的分析只采用凸和连续优化的基本工具。我们推导出的稳定性界限下的凸和非凸优化标准Lipschitz和光滑的假设。将我们的结果应用到凸的情况下，我们提供了新的见解，为什么多个时代的随机梯度方法推广以及在实践中。在非凸的情况下，我们对神经网络中的常见做法给出了新的解释，并正式证明了用于训练大型深度模型的流行技术确实是促进稳定性的。我们的研究结果从概念上强调了减少培训时间的重要性。
2016-02-07 cs.LG math.OC stat.ML
On the Strength of Linear Relaxations in Ordered Optimization
本文研究有序优化中线性松弛的整数性条件，发现排序增加组合复杂性，松弛强度取决于与经典问题的接近度，实验验证了条件预测价值。
2025-10-10 math.OC
The Surprising Agreement Between Convex Optimization Theory and Learning-Rate Scheduling for Large Model Training
Inria（法国国家信息与自动化技术研究所）；PSL Research University（巴黎高等师范学院研究大学）；EPFL（瑞士联邦理工学院）
本文发现大模型学习率调度与非光滑凸优化性能界高度一致，并据此提出延长训练和跨调度迁移最优学习率的调优方法，显著提升124M与210M Llama型模型训练效果。
2025-07-23 cs.LG math.OC stat.ML
Accelerated Gradient-free Neural Network Training by Multi-convex Alternating Optimization
近年来，尽管随机梯度下降（SGD）及其变体在训练神经网络方面众所周知，但它存在缺乏理论保证、梯度消失和对输入过度敏感等局限性。为了克服这些缺点，交替的最小化方法已经吸引了快速增长的关注最近。然而，作为一个新兴的开放领域，一些新的挑战需要解决，包括1）收敛性能是敏感的罚参数，2）缓慢的理论收敛速度。因此，我们提出了一种新的单调深度学习交替最小化（mDLAM）算法来应对这两个挑战。我们创新的不等式约束公式无限逼近具有非凸等式约束的原始问题，使我们的收敛性证明所提出的mDLAM算法，无论超参数的选择。我们的mDLAM算法实现了快速的线性收敛的Nesterov加速技术。在多个基准数据集上的实验证明了所提出的mDLAM算法的收敛性、有效性和效率。我们的代码可在\url{https://github.com/xianggebenben/mDLAM}上获得。
2022-02-15 math.OC
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models
LG AI Research（LG人工智能研究院）；Stanford Universtiy（斯坦福大学）
本研究将两层ReLU神经网络训练转化为凸的组Lasso稀疏恢复问题，证明其可多项式求解，并刻画非凸目标的驻点，实验表明凸模型优于非凸方法且对超参数不敏感。
2023-12-19 cs.AI cs.LG math.OC
Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
MIPT（莫斯科物理技术学院）；Research Center of the Artificial Intelligence Institute, Innopolis University（因诺波利斯大学人工智能研究所）；ISP RAS（俄罗斯科学院斯捷克洛夫数学研究所）
本文研究了在时间变化网络上非光滑随机去中心化优化问题，针对非光滑随机强凸优化和非光滑随机强凸-强凹鞍点优化提出方法，应用于深度神经网络训练和生成对抗网络训练。
2026-04-26 math.OC
A Convex-optimization-based Layer-wise Post-training Pruner for Large Language Models
The University of Hong Kong（香港大学）；Huawei Cloud（华为云）
本文提出首个基于凸优化的训练后剪枝器FISTAPruner，通过ℓ1范数凸优化模型和FISTA求解器，结合层内累积误差校正与并行剪枝，在多个LLM上优于现有方法。
2024-08-07 cs.LG math.OC
Stochastic In-Face Frank-Wolfe Methods for Non-Convex Optimization and Sparse Neural Network Training
University of California, Berkeley（加州大学伯克利分校）
Frank-Wolfe方法及其扩展非常适合于提供具有理想结构属性（例如稀疏性或低秩结构）的解决方案。我们引入了一个新的变体的Frank-Wolfe方法，结合Frank-Wolfe步骤和最速下降步骤，以及一个新的修改的“Frank-Wolfe间隙”，以衡量在非凸的情况下收敛。我们进一步扩展这种方法，将在面方向保持结构化的解决方案，以及块坐标步骤，我们证明了计算保证修改后的Frank-Wolfe间隙的所有这些变体。我们特别受到这种方法的应用稀疏属性的神经网络的训练，我们将我们的块坐标方法的问题，$\ell_1$正则化神经网络的训练。我们提出了几个数值实验的结果，人工和真实的数据集证明我们的方法在训练稀疏神经网络的显着改进。
2019-06-09 cs.LG math.OC stat.ML
SingCubic: Cyclic Incremental Newton-type Gradient Descent with Cubic Regularization for Non-Convex Optimization
本文将~ \cite{shi2015large}和~ \cite{cartis2012adaptive}最近两个完全不同的工作推广统一为一个，提出了一种优化非凸函数的循环增量牛顿型梯度下降三次正则化方法（SingCubic）.通过SingCubic的迭代，保持并求解了一个利用Hessian信息的三次正则化全局二次逼近。初步的数值实验表明，令人鼓舞的性能SingCubic算法相比，基本的增量或随机牛顿型实现。本文的结果和方法对基于三次正则化的增量牛顿型梯度下降法的研究具有一定的启发意义。本文提出的方法和原理可用于逻辑斯谛回归、自动编码器训练、独立成分分析、伊辛模型/Hopfield网络训练、多层感知器、深度卷积网络训练等。我们将很快开源部分实现。
2020-02-17 math.OC
Random Scaling and Momentum for Non-smooth Non-convex Optimization
Boston University（波士顿大学）
本文提出通过在SGDM中引入指数分布随机缩放实现非凸非光滑优化的最优收敛性，扩展了传统凸光滑优化的分析框架。
2026-03-13 cs.LG math.OC
From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity
Stanford University（斯坦福大学）
本文基于几何（Clifford）代数与凸优化，证明深度ReLU网络的最优权重由训练样本楔积给出，将训练简化为楔积特征的凸优化，为理解网络内部机制与隐藏层作用提供了新视角。
2024-03-22 cs.AI cs.LG cs.NE
A Relaxation Argument for Optimization in Neural Networks and Non-Convex Compressed Sensing
在实际应用和理论分析中已经观察到，过度参数化有助于在神经网络训练中找到好的极小值。类似地，在本文中，我们研究通过松弛参数来扩展和深化神经网络，以便扩展后的网络足够丰富，可以并行运行原始网络部分的$r$副本，而不必像在过度参数化的场景中那样实现零训练误差。部分副本可以针对层宽度$θ$以$r^θ$可能的方式组合。因此，扩大的网络可以潜在地实现$r^θ$随机初始化的最佳训练误差，但是这是否可以通过梯度下降或类似的训练方法来实现还不清楚。通过引入类似的分层结构，可以将相同的构造应用于其他最优化问题。我们将这个想法应用到非凸压缩感知，在那里我们表明，在某些情况下，我们可以实现的$r^θ$倍增加的机会，以获得一个全局最优值的尺寸$rθ$的凸优化问题。
2020-02-03 cs.NA math.NA math.OC
Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time
Stanford University（斯坦福大学）
该研究针对带权重衰减的两层ReLU网络与凸松弛的最优性间隙问题，证明随机数据下间隙为O(log n^0.5)，提出多项式时间算法，且局部梯度法高概率收敛到低损失点，较现有结果有指数提升。
2024-07-12 cs.LG math.OC
Certifiably Optimal Outlier-Robust Geometric Perception: Semidefinite Relaxations and Scalable Global Optimization
Massachusetts Institute of Technology（麻省理工学院）
我们提出了第一个通用的和可扩展的框架来设计可验证的算法，在存在离群值的情况下，鲁棒的几何感知。我们的第一个贡献是表明，估计使用常见的鲁棒成本，如截断最小二乘（TLS），最大共识，Geman-McClure，Tukey的biwight等，可以重新制定为多项式优化问题（POP）。通过关注TLS成本，我们的第二个贡献是利用POP中的稀疏性，并提出一个稀疏半定规划（SDP）松弛，它比标准的Lasserre层次结构小得多，同时保持经验精确性，即，SDP利用最优性证书恢复非凸POP的优化器。我们的第三个贡献是解决SDP松弛在一个前所未有的规模和准确性，提出STRIDE，求解器，融合了全局下降的凸SDP与快速局部搜索的非凸POP。我们的第四个贡献是六个几何感知问题，包括单次和多次旋转平均，点云和网格配准，绝对姿态估计，以及类别级对象姿态和形状估计。我们的实验表明，（i）我们的稀疏SDP松弛是经验上精确的，在应用程序中有高达60%-90%的离群值;（ii）虽然仍然远离实时，但STRIDE在中等规模问题上比现有的SDP求解器快100倍，并且是唯一可以解决具有数十万约束的大规模SDP的高精度求解器;（iii）STRIDE保障现有快速算法的可靠估计（例如，RANSAC或渐变非凸性），即，如果启发式估计是最优的，则它证明全局最优性，或者当启发式估计是次优的时，它检测并允许逃避局部最优。
2022-05-29 cs.CV cs.RO math.OC
Convex Dominance in Deep Learning I: A Scaling Law of Loss and Learning Rate
FAIR, Meta Superintelligence Labs（FAIR，Meta超智能实验室）；Independent Researcher（独立研究者）
本研究通过凸性视角构建了深度学习中损失与学习率的缩放定律，揭示了训练初期弱凸特性及学习率调度对损失预测的影响。
2026-02-06 cs.CL cs.LG math.OC
Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time
Stanford University（斯坦福大学）
具有非线性激活函数的两层神经网络的训练是一个重要的非凸优化问题，在逐层深度学习中具有许多应用和有前途的性能。本文基于半定规划理论，建立了二次多项式激励的双层神经网络的精确凸优化公式。值得注意的是，我们表明，半定提升始终是准确的，因此计算复杂性的全局优化是多项式的输入尺寸和样本大小的所有输入数据。开发的凸公式被证明可以实现相同的全局最优解集作为他们的非凸同行。更具体地说，具有多项式激活的全局最优双层神经网络可以通过求解半定规划（SDP）并使用我们称为神经分解的过程分解该解来找到。此外，正则化器的选择在神经网络训练的计算易处理性中起着至关重要的作用。我们表明，标准的权重衰减正则化制定是NP-困难的，而其他简单的凸罚款使问题易于处理的多项式时间通过凸规划。我们将结果扩展到完全连接架构之外的不同神经网络架构，包括具有向量输出的网络和具有池化的卷积架构。我们提供了大量的数值模拟表明，标准的反向传播方法往往无法实现全局最优的训练损失。所提出的方法是显着更快，以获得更好的测试精度相比，标准的反向传播过程。
2021-01-07 cs.CC cs.LG math.OC
Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization
Stanford University（斯坦福大学）
批量归一化（BN）是一种常用的技术，用于加速和稳定深度神经网络的训练。尽管其经验的成功，一个完整的理论理解BN尚未开发。在这项工作中，我们分析BN通过凸优化的镜头。我们引入了一个基于凸对偶的分析框架，以获得具有BN的权重衰减正则化ReLU网络的精确凸表示，该网络可以在多项式时间内进行训练。我们的分析还表明，最佳层的权重可以得到简单的封闭形式的公式在高维和/或overparameterized制度。此外，我们发现，梯度下降提供了一个标准的非凸BN网络上的算法偏见的影响，我们设计了一种方法来明确编码到凸目标的隐式正则化。CIFAR图像分类的实验突出了这种显式正则化的有效性，用于模仿和大幅提高标准BN网络的性能。
2022-03-21 cs.LG math.OC stat.ML
Local AdaGrad-Type Algorithm for Stochastic Convex-Concave Optimization
JD Explore Academy, JD.com Inc（京东集团京东探索研究院）；University of Chicago（芝加哥大学）
大规模的凸-凹极大极小问题出现在许多应用中，包括博弈论、鲁棒训练和生成对抗网络的训练。尽管其广泛的适用性，有效地解决这些问题是具有挑战性的，在大量的数据使用现有的随机极大极小方法。我们研究了一类随机极大极小方法，并开发了一个通信效率高的分布式随机外梯度算法，LocalAdaSEG，自适应学习率适合于解决参数服务器模型中的凸凹极大极小问题。LocalAdaSEG具有三个主要特征：（i）减少工作者和服务器之间的通信成本的周期性通信策略;（ii）本地计算的自适应学习率，并且允许无调谐实现;以及（iii）理论上，相对于主方差项的近似线性加速，由随机梯度的估计引起，在光滑和非光滑的凹凸设置中证明。利用LocalAdaSEG求解随机双线性博弈，并训练一个生成对抗网络.我们比较LocalAdaSEG对几个现有的优化极大极小问题，并通过几个实验在同质和异质设置证明其有效性。
2022-09-23 cs.DC cs.LG math.OC
