On Some Incremental Algorithms for the Minimum Sum-of-Squares Clustering Problem. Part 1: Ordin and Bagirov's Incremental Algorithm
本文分析和发展了最小平方和聚类问题的求解方法。基于DC规划中的凸函数差分算法（DCA）和最近建立的MSSC问题的定性性质，我们对Ordin和Bagirov的增量算法和Bagirov的增量算法提出了几点改进。新算法的性能得到了初步的数值试验的真实世界的数据库。本文首次给出了MSSC问题的有限收敛性、收敛性和求解方法的收敛速率。第一部分介绍Ordin和Bagirov提出的增量式启发式聚类算法及其改进算法。
2019-01-29 math.OC
A Sequential Convex Programming Approach to Free-trajectory Minimum-lap-time Optimization of Racing Cars
Eindhoven University of Technology（埃因霍温理工大学）
本文提出一种高效计算赛车最优空间轨迹和动力系统操作的建模与优化框架，通过顺序凸编程方法实现最小圈速优化，显著缩短计算时间并验证轨迹优化对圈速的提升效果。
2026-04-14 math.OC
SOS-SDP: an Exact Solver for Minimum Sum-of-Squares Clustering
最小平方和聚类问题（MSSC）包括将$n$观测划分为$k$簇，以最小化从点到其簇的质心的平方距离之和。在本文中，我们提出了一个精确算法的MSSC问题的基础上的分支定界技术。下界的计算是通过使用一个切割平面的程序，有效的不等式迭代添加到彭伟SDP松弛。上界的计算与约束版本的k均值，其中初始质心提取的SDP松弛的解决方案。在分支定界过程中，我们将实例级的必须链接和不能链接的约束，以表达知识的数据点应该或不应该被分组在一起。我们设法在每个级别上减少问题的大小，同时保留SDP问题本身的结构。所获得的结果表明，该方法允许成功地解决了第一次真实世界的实例高达4000个数据点。
2021-12-23 math.OC
Proximal Linearized Method for Sparse Equity Portfolio Optimization with Minimum Transaction Cost
在本文中，我们提出了一个稀疏的股票投资组合优化（SEPO）的均值-方差投资组合选择模型的基础上。为了通过避免小投资来最小化交易成本，该新模型包括资产权重的$\ell_0$ -范数正则化以促进稀疏性，因此首字母缩写为SEPO- $\ell_0$。选择模型也受到最小预期回报的影响。由于模型的复杂性，我们采用了近似方法，通过相应的近似算子分别处理目标项。我们开发了一个有效的ADMM类算法来寻找最优投资组合，并证明了其整体收敛。使用真实的股票数据证明了该算法的效率和模型是有前途的投资组合选择在产生更高的预期收益，同时保持良好的稀疏性水平，从而最大限度地减少交易成本。
2021-09-13 math.OC
Qualitative Properties of the Minimum Sum-of-Squares Clustering Problem
本文建立了最小平方和聚类问题的一系列基本定性性质。其中，我们阐明了解的存在性，整体解的性质，局部解的特征性质，最优值函数的局部Lipschitz性质，整体解映射的局部上Lipschitz性质，局部解映射的Aubin性质.我们证明了问题总是有一个整体解，在一个温和的条件下，整体解集是有限的，每个整体解的组件可以由一个明确的公式计算。基于一个新引入的非平凡局部解的概念，得到了质心系是非平凡局部解的必要条件。有趣的是，我们能够证明这些必要条件也是充分条件。最后，证明了在原始数据点两两不同的条件下，最优值函数是局部Lipschitz，全局解映射是局部上Lipschitz，局部解映射具有Aubin性质.由于得到的完整的非平凡的局部解的特征，可以更好地理解的性能，不仅是$k$ -均值算法，但也为最小平方和聚类问题的其他解决方案的方法。
2018-10-04 math.OC
Minimum size generating partitions and their application to demand fulfillment optimization problems
对于$n$和$k$整数，我们引入了$n$的某个分区能够生成$n$的另一个分区的概念。我们解决了寻找最小尺寸分区的问题，对于该最小尺寸分区，该分区可以生成的分区集合包含$n$的所有尺寸- $k$分区。我们描述了如何将这一结果可以应用到解决一类组合最优化问题。
2019-09-20 math.CO math.OC
Global optimality in minimum compliance topology optimization of frames and shells by moment-sum-of-squares hierarchy
由于连续截面结构固有的非凸性，其最小柔度抗弯结构的设计是一项具有挑战性的任务。我们的贡献开发了一种策略，便于计算所有保证全球最优解框架和壳结构在多个负载情况下和自重。为此，我们利用刚度矩阵通常是设计变量的多项式函数这一事实，使我们能够在半代数可行集上建立等效的非线性半定规划公式。这个公式随后使用Lasserre矩平方和层次结构求解，生成一系列外凸近似，从下面单调收敛到原始问题的最优解。全局最优解可以随后使用Curto-Fialkow平坦扩展定理提取。此外，我们表明，一个简单的修正放松问题的解决方案建立了一个可行的上界，从而推导出一个简单的充分条件的全球$\varepsilon$ -最优性。当原问题具有一个唯一的最小值，我们发现，这个解决方案的极限最优性间隙为零。这些理论研究结果说明了几个例子的拓扑优化的框架和外壳，我们观察到的层次收敛在一个有限的（相当小）的步骤。
2020-09-26 math.OC
Convergence of the Min-Sum Algorithm for Convex Optimization
我们建立了最小和消息传递算法及其异步变体收敛于一大类无约束凸优化问题。
2007-05-29 math.OC
A Sequential Descent Method for Global Optimization
提出一种序列下降方法，通过重复下降梯度搜索并利用交点集合选择最优初始点，逐步改进局部最小值，最终找到全局最小值，该方法具有单调收敛性，并在非凸多维问题上验证了有效性。
2024-02-05 math.OC
Accelerated method of finding for the minimum of arbitrary Lipschitz convex function
本文提出一种针对非光滑凸函数的加速优化方法，通过基于集值映射（SVM）的逼近构造二次连续可微的凸函数，并应用二阶方法实现了超线性收敛速率。
2023-08-02 math.OC
Enclosing minima in nonsmooth optimization via trust regions of higher-order cutting-plane models
Technical University of Munich（慕尼黑工业大学）
本文提出一种全局收敛的信赖域束法，用于求解下$C^2$函数的最小值，通过高阶切割平面模型，并在满足一定增长假设下，能计算出包含极小值的无限多个缩小信赖域。
2026-03-25 math.OC
Convex optimization via inertial algorithms with vanishing Tikhonov regularization: fast convergence to the minimum norm solution
在一个希尔伯特的框架中，对于一般凸可微函数$f$的最小化，我们引入了新的惯性动力学和算法，产生的轨迹和迭代收敛到最小的$f$与最小范数的最小值。我们的研究是基于非自治版本的Polyak重球方法，其中，在时间$t$，与强凸函数通过添加到$f$一个Tikhonov正则化项与消失系数$ε(t)$。在该动态中，阻尼系数与吉洪诺夫正则化参数$ε(t)$的平方根成比例。通过调整$ε(t)$向零收敛的速度，我们将获得向$f$的下极值的快速收敛，以及向$f$的极小元集的最小范数的轨迹的强收敛.特别是，我们得到了一个改进的版本的动态苏博伊德-坎迪斯的加速梯度法的Nesterov。这项研究自然会导致相应的一阶算法得到的时间离散化。在适当的下连续凸函数$f$的情况下，我们详细研究了近似算法，并证明了它们具有相似的性质。
2021-04-24 math.OC
On the Parameterized Computation of Minimum Volume Outer Ellipsoid of Minkowski Sum of Ellipsoids
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文研究了有限个椭球体Minkowski和的参数化最小体积外椭球体计算问题，提出两种新算法，数值结果表明其运行速度优于现有半定规划方法。
2018-06-22 cs.SY eess.SY math.OC
Minimum-Time Trajectory Optimization With Data-Based Models: A Linear Programming Approach
针对动态系统时间最优规划与控制问题，提出融合非参数化数据模型与指数加权连续优化的线性规划方法，并通过航天器相对运动规划验证有效性。
2023-12-10 cs.SY eess.SY math.OC
Minimum Manhattan Distance Approach to Multiple Criteria Decision Making in Multiobjective Optimization Problems
针对多目标最优化问题的多目标决策问题，提出了一种最小曼哈顿距离（MMD）方法。该方法从归一化的理想向量中选择具有MMD的向量所对应的最终解。这个过程是等效的膝盖选择所描述的一个分而治之的方法，涉及成对比较的迭代。MMD方法能够系统地将权系数分配给多个准则，因此等效于加权和（WS）方法。由于等价性，MMD方法具有丰富的几何解释，在进化计算领域被认为是必不可少的。MMD方法是优雅的，因为所有的评估都可以通过有效的矩阵计算来执行，而无需迭代比较。虽然WS方法可能会遇到不确定的情况下，几个解决方案产生几乎相同的WS，MMD方法是能够确定最终的解决方案有区别的。由于现有的多目标进化算法的目标是后验决策，即，在得到一组Pareto最优解后再确定最终解，MMD方法可以与它们结合起来，形成一种求解多目标优化问题的强有力的求解方法。此外，该方法还支持膝关节和膝关节解决方案的可扩展定义。
2017-05-04 math.OC
Search Optimization for Minimum Load under Detection Performance Constraints in Multifunction Radars
KAIST（韩国科学技术院）；Agency for Defence Development（国防发展局）
本文提出了一种在多功能相控阵雷达中确保所需单次和累积检测概率的搜索参数优化解决方案，通过子问题分解的半解析过程将非线性优化转换为信号噪声比的标量优化。
2013-08-10 cs.SY eess.SY math.OC
Finite-sum Composition Optimization via Variance Reduced Gradient Descent
Wang等人最近提出的随机组合优化。[2014]使用组合期望形式最小化目标：$\min_x~(\mathbb{E}_iF_i \circ \mathbb{E}_j G_j)(x).$它总结了机器学习，统计和金融中的许多重要应用。在本文中，我们考虑有限和的情况下组合优化：\[\min_x f (x) := \frac{1}{n} \sum_{i = 1}^n F_i \left(\frac{1}{m} \sum_{j = 1}^m G_j (x) \right). \]我们提出了两个算法来解决这个问题，结合随机组合梯度下降（SCGD）和随机方差降低梯度（SVRG）技术。证明了强凸优化问题的一个常数线性收敛速率，大大改善了已知算法的次线性收敛速度$O(K^{-0.8})$。
2017-05-20 math.OC
Minimum wave speeds in monostable reaction-diffusion equations: sharp bounds by polynomial optimization
许多单稳态反应扩散方程允许一维行波当且仅当波速足够高。这些最小波速的值并不确切，除了在一些简单的情况下。我们提出的方法，寻找上限和下界的最小波速。他们依赖于构造捕获边界的动力系统的异宿连接对应的行波。这种方法的简单版本可以进行分析，但往往过于保守的最小波速的界限。当所研究的反应扩散方程具有多项式非线性时，我们的方法可以通过多项式优化来实现。对于标量反应扩散方程，我们提出了一种通用的方法，然后将其应用到文献中的例子，其中最小波速是未知的。我们的方法扩展到多组分反应扩散系统，然后说明使用立方自催化模型从文献中。在所有三个示例中，使用许多不同的参数值，多项式优化计算给出的上界和下界彼此在0.1%以内，因此几乎是尖锐的。上界推导解析以及标量RD方程。
2020-09-03 math.DS math.OC
Analytical relationships for imposing minimum length scale in the robust Topology Optimization formulation
近年来，引入侵蚀和膨胀版本的设计的鲁棒拓扑优化公式越来越受欢迎，主要是因为它能够产生满足最小长度尺度的设计。尽管它在各种拓扑优化领域的成功，强大的配方提出了一些缺点。本文件特别讨论了一个问题，即实施最低长度尺度的问题。在密度框架中，必须通过定义密度过滤器和平滑Heaviside投影的参数来隐含地施加固体和空隙相的最小尺寸。查找这些参数可能既耗时又麻烦，从而阻碍了鲁棒公式的通用代码实现。出于这个问题的动机，在这篇文章中，我们提供了明确的最小长度尺度和定义它的参数相关的解析表达式。为了便于再现结果，提供了MATLAB代码。作为一个侧面发现，本文表明，要获得同时控制的固体和空隙相的最小尺寸，它是必要的，涉及3个领域（侵蚀，中间和膨胀）的拓扑最优化问题。因此，对于受体积限制的顺应性最小化问题，可以从目标函数中排除中间设计和扩张设计，但是必须将体积限制应用于扩张设计，以便将所有3个设计都包括在配方中。
2021-04-15 cs.NA math.NA math.OC
Improved Time of Arrival measurement model for non-convex optimization
由到达时间技术提供的二次系统可以解析地或通过优化算法来求解。在实践中，这两种方法被结合使用。二次优化中的一个重要问题是可能收敛到局部极小值，而不是全局极小值。本文提出了一种方法，如何可以显着降低这种风险。我们的方法的主要思想是通过增加维数，将局部极小值转化为一个鞍点。与类似的方法，如维数提升，我们的问题仍然是非凸的。
2018-01-10 eess.SP math.OC
A Bi-Level Optimization Method for Redundant Dual-Arm Minimum Time Problems
Department of Electrical, Computer, and Systems Engineering, Rensselaer Polytechnic Institute（电气、计算机与系统工程系，罗切斯特理工学院）
本文提出一种双层优化方法，通过下层凸闭式子问题最大化路径速度、上层利用单链运动学与次梯度更新关节轨迹，从而在满足位置、速度和加速度约束下最小化冗余双臂机器人沿期望相对笛卡尔路径运动的时间。
2025-06-04 cs.RO math.OC
Escaping spurious local minimum trajectories in online time-varying nonconvex optimization
跟踪时变非凸最优化问题的优化器的在线算法的一个主要限制是它们关注于特定的局部极小值轨迹，这可能导致不良的虚假局部解。在本文中，我们表明，自然的时间变化可以帮助简单的在线跟踪方法发现和跟踪随时间变化的全局最小值。为此，我们研究了具有惯性的时变投影梯度流系统的性质，它可以看作是（1）具有近似正则化的离散序列最优化问题的最优性条件和（2）在线跟踪方案的连续时间极限.我们引入的主导轨迹的概念，并表明，固有的时间变化可以重新塑造景观的拉格朗日功能，并帮助一个接近的算法逃避虚假的局部极小值轨迹，如果全局极小值轨迹是占主导地位的。对于目标函数和约束条件为二次连续可微的问题，给出了保证局部搜索法无论如何初始化，经过一定时间后都能跟踪时变全局解的充分条件.在一个具有许多局部极小值的基准示例上说明了结果。
2021-01-26 cs.SY eess.SY math.OC
A New Hybrid Classical-Quantum Algorithm for Continuous Global Optimization Problems
Grover算法可以用于全局最优化方法中，在某些情况下，它比经典算法有二次加速。本文描述了一种求解连续全局最优化问题的新方法，该方法利用经典算法寻找局部极小值，并用Grover算法跳出该局部极小值。与试验台功能和比较与文献中的算法的模拟。
2013-01-20 math.OC quant-ph
Tackling Prevalent Conditions in Unsupervised Combinatorial Optimization: Cardinality, Minimum, Covering, and More
KAIST（韩国科学技术院）；AI4CO Open-Source Community（AI4CO开源社区）；POSTECH（浦项科技大学）
针对无监督组合优化中普遍存在的条件（如基数、最小值、覆盖等），提出具体目标与理论依据，推导非平凡的目标函数和去随机化方法，并在合成及真实图上验证了优化质量与速度的优越性。
2024-05-24 cs.LG math.OC
A column generation algorithm with dynamic constraint aggregation for minimum sum-of-squares clustering
Sapienza University of Rome（罗马大学）；Department of Computer and Software Engineering（计算机与软件工程系）；Polytechnique Montréal（蒙特利尔理工学院）
本文针对大规模最小平方和聚类问题，提出将列生成与动态约束聚合相结合的精确求解算法，通过消融研究优化设计，显著超越现有最先进精确方法。
2025-07-17 cs.LG math.OC
The Importance of Good Starting Solutions in the Minimum Sum of Squares Clustering Problem
Steven G. Mihaylo College of Business and Economics（史蒂文·G·米哈伊洛商业与经济学院）；California State University-Fullerton（加州州立大学富勒顿分校）；The Royal Military College of Canada（加拿大皇家军事学院）
聚类问题在机器学习、运筹学和统计学中有许多应用。我们提出了三个算法来创建这个问题的改进算法的起始解决方案。我们测试的算法在文献中调查的72个实例。其中48个相对容易解决，我们多次找到了所有这些问题的最佳解决方案。24个中型和大型实例更具挑战性。我们找到了五个新的最佳已知解决方案，并为其余19个实例中的18个实例匹配了最佳已知解决方案。
2020-04-06 cs.LG math.OC stat.ML
Dynamic Real-time Optimization of Batch Processes using Pontryagin's Minimum Principle and Set-membership Adaptation
研究了参数模型失配下间歇过程基于模型的时间优化操作的动态实时优化问题。为了解决模型不匹配的问题，滚动时域策略通常伴随着频繁的重新优化。在这项研究中解决的主要问题是高的计算负担，通常需要这样的计划。我们提出了一种方法，使用参数化的最优条件的自适应预测控制方式。模型预测中的不确定性被显式地使用投射到最优性条件中的可达集来处理。模型参数的自适应在线使用集员估计。一类批式膜分离过程是在所提出的应用程序的范围内，其中所提出的方法的好处进行了概述。
2019-07-06 cs.SY eess.SY math.OC
Structural Segmentation of the Minimum Set Cover Problem: Exploiting Universe Decomposability for Metaheuristic Optimization
Austral University of Chile（智利南方大学）
本文提出利用宇宙分解性改进最小集合覆盖问题的求解，通过预处理策略将问题分解为子问题，结合GRASP元启发式算法提升求解质量和可扩展性。
2026-01-29 cs.AI math.OC
Solving the minimum labelling spanning tree problem using intelligent optimization
给定一个连通的无向图，其边被标记（或着色），最小标记生成树（MLST）问题寻求一个生成树，其边具有最小数量的不同标签（或颜色）。在最近的工作中，MLST问题已被证明是NP难的，并提出和分析了一些有效的算法。在本文中，我们提出了一个智能优化算法来解决这个问题。它是通过基本的可变邻域搜索启发式算法与机器学习，统计和实验算法的其他补充相结合来获得的，以产生高质量的性能并完全自动化所产生的优化策略。我们提出了随机生成的图形具有不同的统计特性的实验结果，显示了我们的智能算法的实施，鲁棒性和经验的可扩展性的关键影响。此外，计算实验表明，所提出的策略优于文献中推荐的算法，能够在较短的计算运行时间内获得最优或接近最优解。
2014-03-03 cs.DM math.CO math.OC
An Exact Algorithm for Semi-supervised Minimum Sum-of-Squares Clustering
Sapienza University of Rome（罗马第一大学）；University of Rome Tor Vergata（罗马第二大学）
最小平方和聚类（MSSC），或k均值类型聚类，传统上被认为是一个无监督的学习任务。近年来，利用背景知识提高聚类质量，促进聚类过程的可解释性，已成为数学优化与机器学习交叉研究的热点。在数据聚类中利用背景信息的问题被称为半监督或约束聚类。在本文中，我们提出了一个分支和切割算法的半监督MSSC，其中背景知识作为成对的必须链接和不能链接的约束。对于下界方法，我们解决了MSSC离散最优化模型的半定规划松弛问题，并使用了一种割平面方法来加强下界。对于上界，相反，通过使用整数规划工具，我们使用的k-均值算法的约束情况下的适应。第一次，提出的全局优化算法有效地管理，以解决现实世界的实例多达800个数据点与不同的组合必须链接和不能链接的约束条件，并与一个通用的功能。这个问题的大小大约是由最先进的精确算法解决的实例的四倍。
2022-07-24 cs.LG math.OC
Heuristics with Performance Guarantees for the Minimum Number of Matches Problem in Heat Recovery Network Design
热交换器网络合成通过整合工艺热流和冷流来利用多余的热量，并通过减少公用事业使用来提高能源效率。确定最小匹配数的可证明好解是使用顺序方法设计热回收网络的瓶颈。这个子问题是一个NP-难的混合整数线性规划，在可能的冷热流配置中表现出组合爆炸。我们从图论的角度探讨了这一具有挑战性的优化问题，并将其与其他特殊的最优化问题，如成本流网络和包装问题。在一个单一的温度区间的情况下，我们开发了一个新的优化配方没有问题的大M参数。我们开发启发式方法的性能保证使用三种方法：（i）松弛舍入，（ii）水填充，和（iii）贪婪包装。从51个实例的集合的数值结果证实了该方法的强度。
2018-04-11 cs.DS math.OC
Combining resampling and reweighting for faithful stochastic optimization
Max-Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Stanford University（斯坦福大学）
许多机器学习和数据科学任务需要解决非凸优化问题。当损失函数是多个项的和时，流行的方法是随机梯度下降。作为一个对损失函数进行采样的过程，已知随机梯度下降更喜欢平坦的最小值。虽然这对于某些优化问题是期望的，例如在深度学习中，但是当目标是找到全局最小值时，它会导致问题，特别是如果全局最小值位于陡峭的山谷中。通过一个简单的例子，我们证明了最根本的原因是损失函数中多个项的Lipschitz常数的差异导致随机梯度下降在不同的最小值处经历不同的方差.为了减轻这种影响，并执行忠实的优化，我们提出了一个组合的重采样-重加权计划，以平衡方差局部极小值，并扩展到一般的损失函数。我们解释从数值稳定性的角度来看，所提出的计划是如何更有可能选择真正的全局最小值，和局部收敛分析的角度来看，它如何收敛到一个最小值更快的香草随机梯度下降相比。从强大的统计和计算化学的实验提供了证明的理论研究结果。
2021-09-09 cs.LG math.OC
Pareto optimization of resonances and minimum-time control
本文的目的是减少一个频谱最优化问题，这涉及到最小化的衰减率$|\mathrm{Im} \, k |$的共振$k$，收集的最优控制问题的黎曼球$\widehat{\mathbb{C}}$。这种减少使我们能够应用极值合成的方法，分层光学腔的结构优化。我们从一个对偶问题的谐振器长度的最小化，并给出了几个这个问题，涉及帕累托优化的模量$|k|$的谐振，最小时间控制问题的$\widehat{\mathbb{C}}$，和相关的哈密尔顿-雅可比-贝尔曼方程。各种类型的可控性研究与优化器的存在和最小衰减和最小模的帕累托最优边界之间的关系。我们给出明确的例子，最佳共振和定性描述他们附近的帕累托边界的属性。一个特殊的表示的bang-bang控制轨迹相结合的极值分析，以获得各种界限的最佳层的宽度。提出了一种基于最小时间控制的最优对称谐振器的计算方法，并以高精度计算了几个Pareto最优前沿和高Q值谐振器。
2018-12-17 math-ph math.MP math.OC
On Line Sum Optimization
我们证明了{ \em列和最优化问题}，找到一个$(0,1)$ -矩阵与规定的行总和，最大限度地减少其列总和的评价给定的功能，可以在多项式时间内解决，无论是当所有的功能是相同的，或当所有的行总和有界的任何常数。我们猜想，更一般的{ \em行和最优化问题}，找到一个矩阵最小化的总和，给定的功能评估在其行和和列和，也可以在多项式时间内解决。
2020-12-04 cs.DM cs.DS math.CO
First-Order Optimization as Minimum-Time Control
Technion—Israel Institute of Technology（以色列理工学院）；Naval Postgraduate School（海军研究生院）；University of California, Irvine（加州大学尔湾分校）
该研究将一阶优化建模为最小时间控制问题，提出值函数作为衡量实例固有难度的基准，通过可控性指数等分析方法推导了相关特性，为一阶方法性能评估提供了新基准。
2026-08-17 cs.SY eess.SY math.OC
Saturation-aware robust optimal operation control of microgrids based on minimum-regret optimization
University of Kassel（卡塞尔大学）；TU Berlin（柏林工业大学）
针对高可再生能源渗透率微电网，提出一种结合下垂控制与能量管理系统的分层鲁棒模型预测控制方法，通过最小遗憾优化实现多场景下的最优运行。
2026-05-29 cs.SY eess.SY math.OC
Tropical optimization problems with application to project scheduling with minimum makespan
Faculty of Mathematics and Mechanics, St. Petersburg State University（圣彼得堡国立大学数学力学系）
本文研究了热带数学框架下的多维优化问题，提出两种直接解法，展示了如何通过极值性质和谱半径来求解约束优化问题，并应用于项目调度中的最小完成时间问题。
2016-06-14 cs.SY eess.SY math.OC
Finite-Sum Optimization: A New Perspective for Convergence to a Global Solution
CWI Amsterdam（阿姆斯特丹数学与计算机科学中心）；IBM Research（IBM研究院）；Cornell University（康奈尔大学）
深度神经网络（DNN）在许多机器学习任务中取得了巨大成功。它们的训练是具有挑战性的，因为网络架构的损失表面通常是非凸的，甚至是不光滑的。如何以及在何种假设下保证收敛到\textit{global}最小值？我们提出了一个重新制定的最小化问题，允许一个新的递归算法框架。通过使用有界风格的假设，我们证明了收敛到一个$\varepsilon$（全球）最小值使用$\mathcal{\tilde{O}}(1/\varepsilon^3)$梯度计算。我们的理论基础激励进一步的研究，实施和优化的新算法框架和进一步调查其非标准的有界风格的假设。这个新方向拓宽了我们对DNN训练为什么以及在什么情况下收敛到全局最小值的理解。
2022-02-07 cs.LG math.OC stat.ML
Exact Optimization via Sums of Nonnegative Circuits and Sums of AM/GM Exponentials
我们提供了两个混合的数字-符号优化算法，计算非负电路的精确和（SONC）和算术-几何-指数（SAGE）分解的总和。此外，我们提供了一个混合的数字-符号决策算法的多项式躺在内部的SAGE锥。每个框架，灵感来自以前的贡献Parrilo和Peyrl，是一个舍入投影过程。对于一个多项式躺在内部的SAGE锥，我们证明了决策算法终止于一些算术运算，这是多项式的输入项的数量，和线性的距离圆锥的边界。我们还提供了实验比较两个优化算法的实施。
2021-08-20 cs.CC cs.SC math.OC
Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations
University of Maryland（马里兰大学）
本文通过约束泛函优化发现最小化两点零阶梯度估计器渐近方差的扰动应方向对齐梯度，提出DAP方案，理论分析其收敛性并实证验证其在特定条件下优于传统方法。
2025-10-22 cs.AI cs.LG math.OC
Uniform and Monotone Line Sum Optimization
{ \em行和最优化问题}要求一个$(0,1)$ -矩阵最小化在其行和列和处评估的给定函数的和。我们证明了具有相同行函数和相同列函数的{ \em uniform}问题和具有非增行和列和的矩阵上的{ \em monotone}问题是多项式时间可解的。
2021-02-24 cs.CC cs.DM cs.DS
Sparse sum-of-squares (SOS) optimization: A bridge between DSOS/SDSOS and SOS optimization for sparse polynomials
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）
本文研究了三种可计算的松弛方法在稀疏非负多项式优化中的关系：稀疏和平方(SOS)优化、对角占优和平方(DSOS)优化以及缩放对角占优和平方(SDSOS)优化。证明了SSOS多项式集合严格包含DSOS/SDSOS多项式空间。因此，当适用时，SSOS优化比DSOS/SDSOS方法更不保守。大规模稀疏多项式优化问题的数值结果证明了这一点，并表明尽管需要求解半正定规划，SSOS优化在某些情况下比DSOS/SDSOS方法更快。
2018-07-14 cs.SY eess.SY math.OC
Topology trivialization and large deviations for the minimum in the simplest random optimization
寻找由（N-1）维球面上N个实变量的二次型和线性型之和给出的代价函数的全局最小值是最优化理论中最简单但又是典型的问题之一，称为“信赖域子问题”或“约束最小二乘问题”。当成本函数中的两项都是随机的时，这相当于研究随机磁场中最简单的球形自旋玻璃的基态能量。我们首先确定和研究两个不同的大N标度制度中的线性项（磁场）导致一个渐进的拓扑平凡化，即减少总数量N_{tot}的关键（固定）点的成本函数景观。在第一个政权N_{tot}仍然是$N$的顺序和成本函数（能量）一般有两个几乎退化的最小值与Tracy-Widom（TW）统计。在第二个政权的临界点的数量是一个单一的最低限度的有限概率的团结的顺序。在这种情况下，成本函数的极值（最小值和最大值）的平均总数由TW密度的拉普拉斯变换给出，并且全局最小能量的分布预计将采用推广TW定律的通用标度形式。虽然我们还不知道这种分布的完整形式，但它的一个远尾可以从全局极小值的大偏差理论中推断出来。在本文的其余部分，我们展示了如何使用副本的方法来获得最小能量的概率密度的大偏差近似，通过找到率函数和领先的指前因子。
2013-08-01 cond-mat.dis-nn cond-mat.stat-mech math-ph
