Well-posedness of constrained minimization problems via saddle-points
Biagio Ricceri
本文证明了一类约束极小化问题的一个非常一般的适定性结果。
In this paper, it is proved a very general well-posedness result for a class of constrained minimization problems.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Towards Robust Calculation of index-$k$ Saddle Point: Iterative Proximal-Minimization and Differential Game Model
势能面上具有给定Morse指数的鞍点是物理学和化学中与能量景观相关的重要对象。基于迭代极小化公式的有效数值方法已经以极小化子问题序列或连续动力学的形式被提出。我们在这里提出了一个微分对策解释这个提法，并从理论上探讨了建议的游戏和原来的鞍点势能面上的纳什均衡。为了定义这种微分对策，在对策的费用函数中引入了一个比二次增长更快的邻近函数，并推导出一个鲁棒的迭代邻近极小化算法（IPM）来计算鞍点.我们证明了博弈的Nash平衡点就是鞍点，并证明了新算法在保持相同的收敛速度和计算代价的同时，比以前的迭代极小化算法更鲁棒.一个二维问题和Cahn-Hillard问题进行了测试，以证明这种数值优势。
Decomposition Techniques for Bilinear Saddle Point Problems and Variational Inequalities with Affine Monotone Operators on Domains Given by Linear Minimization Oracles
求解大型凸凹鞍点问题和单调算子的变分不等式的一阶方法大多数都是近似算法，在每次迭代时都需要极小化问题区域X上的一个线性型与一个强凸函数之和。为了使这样的算法实用，X应该是近似友好的--允许一个强凸函数，容易使线性扰动最小化。作为一个副产品，X允许一个计算成本低的线性最小化Oracle（LMO），能够最小化X个线性型。然而，在一些重要的情况下，廉价的LMO确实是可用的，但是X不是邻近友好的，这促使搜索仅基于LMO的算法。对于光滑凸极小化问题，存在一种经典的基于线性最优的算法--条件梯度算法。与此相反，我们已知的其他问题的凸结构（非光滑凸最小化，凹凸鞍点问题，甚至作为简单的双线性，和变分不等式与单调算子，甚至作为简单的仿射）的基于LMO的技术是相当新的，并利用共同的方法基于Fenchel型表示的相关目标/向量场。本文的目标是开发一种替代的（似乎更简单）基于LMO的分解技术的双线性鞍点问题和变分不等式与仿射单调算子。
Saddle Point Optimization with Approximate Minimization Oracle and its Application to Robust Berthing Control
我们提出了一种方法，鞍点优化只依赖于预言机，解决近似最小化问题。我们分析了它在强凸-凹问题上的收敛性，并证明了它向全局极小-极大鞍点的线性收敛。基于收敛性分析，我们开发了一种启发式方法来适应学习率。所开发的方法，使用（1+1）-CMA-ES作为最小化的预言，即逆境-CMA-ES，实现优于现有的几种方法的测试问题。数值评估证实了理论收敛速度界的紧密性以及学习速率自适应机制的效率。作为一个实际问题的例子，建议的最优化方法应用于模型不确定性下的自动靠泊控制问题，显示其在获得解决方案的不确定性的实用性。
Saddle Point Optimization with Approximate Minimization Oracle
鞍点优化$\min_x\max_y f(x, y)$的一种主要方法是基于梯度的方法，如生成对抗网络（GANs）所推广的。相比之下，我们分析了一种替代方法，只依赖于一个甲骨文，解决了一个最小化问题近似。我们的方法将近似解$x'$和$y'$定位到给定点$(x, y)$处的$\min_{x'}f(x', y)$和$\max_{y'}f(x, y')$，并以学习率$η$向这些近似解$(x', y')$更新$(x, y)$。在局部强凸-凹光滑函数上，我们得到了$η$线性收敛于局部鞍点的条件，这揭示了最近发展的鲁棒对抗强化学习算法的一个可能的缺点.我们开发了一个启发式的方法来适应$η$导数自由和实现零阶和一阶最小化算法。数值实验表明了理论结果的严密性以及$η$自适应机制的有效性。
An Approach for Non-Convex Uniformly Concave Structured Saddle Point Problem
近年来，鞍点问题由于其强大的建模能力而受到广泛关注。这些问题的应用出现在许多应用领域，如鲁棒优化，分布式优化，对策论，以及机器学习中的许多应用，如经验风险最小化和生成对抗网络训练。因此，许多研究人员积极致力于发展数值方法来解决许多不同环境下的鞍点问题。本文致力于发展一种求解非凸一致凹背景下鞍点问题的数值方法。研究了一类具有复合结构和高阶Hölder连续导数的鞍点问题.为了解决所考虑的问题，我们提出了一种方法，在该方法中，我们减少了两个辅助最优化问题分别为每组变量，外部最小化问题w.r.t.原始变量和关于对偶变量的内极大化问题。对于解决外部最小化问题，我们使用的\textit{Adaptive Gradient Method}，这是适用于非凸问题，也与一个不精确的预言，是通过近似解决内部问题。为了解决内部最大化问题，我们使用\textit{Restarted Unified Acceleration Framework}，这是一个框架，统一的高阶加速方法，最小化一个凸函数，具有Hölder连续高阶导数。单独的复杂性界限提供了外部最小化问题和内部最大化问题的高阶预言机的一阶预言机的调用次数。此外，整个所提出的方法的复杂性，然后估计。
Primal-dual Accelerated Mirror-Descent Method for Constrained Bilinear Saddle-Point Problems
本文提出一种时变原始-对偶加速镜像下降算法，用于求解约束双线性鞍点问题，实现$O(1/t^2)$收敛率，并衍生出面向分布式优化和零和博弈的两种加速变体。
A Unified Distributed Method for Constrained Networked Optimization via Saddle-Point Dynamics
本文将最优一致性与非相同集合约束资源分配问题统一为鞍点框架，提出基于 OGDA 和 EG 的投影原始-对偶分布式算法，证明 O(1/k) 遍历收敛并通过数值算例验证。
Projection-Free Algorithms for Nonsmooth Stochastic Convex-Concave Saddle-Point Problems
本文针对非光滑随机凸-凹鞍点问题，提出模块化单循环无投影算法，利用线性最小化预言机直接处理非光滑性，达到O(ε^-2)迭代复杂度并证明极小极大最优性。
Iterative Proximal-Minimization for Computing Saddle Points with Fixed Index
针对势能面上固定Morse指标的鞍点计算，提出在迭代最小化框架的代价函数中加入超二次近端项，形成稳健的IPM算法，在不损失收敛速度且不增加计算成本的前提下提升鲁棒性，并通过二维问题和Allen-Cahn、Cahn-Hilliard方程验证。
A Newton-Based Method for Nonconvex Optimization with Fast Evasion of Saddle Points
神经网络训练、张量分解和矩阵分解等机器学习问题需要非凸函数的局部最小化。这种局部最小化受到鞍点的存在的挑战，鞍点可能有很多，并且下降法可能需要非常大量的迭代来逃避。本文提出了一种二阶的方法，修改更新的牛顿法，通过取代负特征值的海森由其绝对值，并使用截断版本的结果矩阵来占目标的曲率。所示的方法，以逃避鞍在最$1 + \log_{3/2} (δ/2\varepsilon)$迭代，其中$\varepsilon$是目标最优和$δ$特征点足够远离鞍。这个指数逃逸的基数是独立于问题常数的$3/2$。在牛顿法的基础上，证明了在$O\left(\log(1/p)) + O(\log(1/\varepsilon)\right)$迭代中以概率$1-p$收敛于局部极小值。
Exact penalty functions and global saddle points of augmented Lagrangians for well-posed constrained optimization problems
本文通过提出一种新的扩展适定性概念，将精确罚函数和增广拉格朗日函数全局鞍点的充分条件从有限维推广到无穷维约束优化问题，避免了文献中常用的严格且难以验证的假设。
Augmented Lagrangian Functions for Cone Constrained Optimization: the Existence of Global Saddle Points and Exact Penalty Property
本文建立锥约束优化增广拉格朗日函数统一理论，提出证明全局鞍点存在性的局部化原理，并构造适用于等式约束、二阶锥和半定规划的全局精确增广拉格朗日函数。
Convex minimization problems with weak constraint qualifications
回顾了求解凸极小化问题的基于共轭对偶的标准鞍点法。我们的目标是减少或删除不必要的拓扑限制的约束集。在弱或无约束规格的条件下，得到了极小元的对偶等式和特征。主要思想是使用反映目标函数的某些几何形状的内在拓扑。本文的抽象结果在其他论文中应用到Monge-Kantorovich最优输运问题和熵泛函的最小化。
A randomized Mirror-Prox method for solving structured large-scale matrix saddle-point problems
在本文中，我们推导出一个随机版本的的E-Prox方法解决一些结构矩阵鞍点问题，如最大特征值极小化问题。确定性的一阶格式，如Nesterov的平滑技术或标准的Prox-Prox方法，需要在每次迭代时精确计算矩阵指数，限制了它们可以解决的问题的大小。我们的方法允许我们使用矩阵指数的随机逼近。我们证明了我们的随机化方案显着降低了复杂性，其确定性对应的大规模矩阵鞍点问题。数值实验验证了我们的理论结果。
Mirror Prox Algorithm for Multi-Term Composite Minimization and Semi-Separable Problems
在本文中，我们开发了一个复合版本的镜像Prox算法求解凹凸鞍点问题和单调变分不等式的特殊结构，允许覆盖鞍点/变分类比通常所谓的“复合最小化”（最小化的总和的一个易于处理的非光滑和一般类型的光滑凸函数“好像”没有非光滑的组件在所有）。我们证明，复合镜近端继承了有利的（和不可改进的已经在大规模的双线性鞍点的情况下）$O(1/ε)$效率估计其原型。我们表明，所提出的方法可以自然地应用到拉索型问题与几个惩罚条款（例如，共同作用$\ell_1$和核范数正则化）和交替方向的方法中考虑的结构的问题，这意味着在这两种情况下的方法与$O(ε^{-1})$复杂性界限。
Proximal gradient descent on the smoothed duality gap to solve saddle point problems
本文提出最小化自中心平滑间隙以求解凸-凹鞍点问题，将其转化为最小化问题，算法最坏复杂度与重启平均原始对偶混合梯度法相当且在有利情形下线性收敛。
Restricted Linear Constrained Minimization of quadratic functionals
在这项工作中，一个线性约束下的最小化的一个半正定二次功能的审查。我们的结果是关于无穷维实希尔伯特空间的，其中奇异正算子与泛函有关，并考虑奇异算子作为约束。所提出的最小化和以前的工作之间的区别，这个问题，是它被认为是所有向量垂直于核的相关运营商或矩阵。
Direct Spectral Acceleration of First-Order Methods for Saddle Point Problems with Bilinear Coupling
本文提出了一种直接谱加速方法，用于解决具有双线性耦合的 saddle 点问题，实现了最优线性收敛，无需 Chebyshev 内循环或双循环设计。
Projected shrinkage algorithm for box-constrained L1-minimization
当修正框约束可用时，框约束L1最小化的性能明显优于经典L1最小化。而且许多实际的L1-极小化模型确实涉及盒约束，因为它们从某个区间取某些值。本文提出了一种有效的迭代格式，即投影收缩（ProShrink）算法，用于求解一类框约束L1-极小化问题。该方法的一个重要贡献是，在推导过程中出现的一个复杂的邻近点算子可以等价地简化为一个投影收缩算子。理论上，我们证明了ProShrink算法对原始点序列和对偶点序列都是收敛的.在数值层面上，我们证明了通过稀疏恢复实验添加框约束的好处。
Projective method of multipliers for linearly constrained convex minimization
本文提出了一种求解线性约束凸优化问题的方法，该方法是将Eckstein和Svaiter提出的求两个单调算子和的零点的已知算法应用于对偶问题.我们建立收敛速度的新方法，我们目前的应用程序，电视去噪和压缩感知问题。
Box-Constrained $L_1/L_2$ Minimization in Single-View Tomographic Reconstruction
我们提出了一个说明框约束$L_1/L_2$正则化的数值优化方法，从一个单一的投影视图进行断层重建的实施和疗效。构造了约束$L_1/L_2$最小化问题，并利用乘子的交替方向法（ADMM）求解.我们包括参数选择和数值收敛的简要讨论，以及对相关的替代方法的详细数值演示。特别是，我们在锥形和平行束（Abel）前向模型中对箱约束TVmin和无约束过滤反投影进行了基准测试。我们认为这是一个完全合成的基准，并从X射线图像数据重建。
Primal-Dual First-Order Methods for Affinely Constrained Multi-Block Saddle Point Problems
研究了凸凹鞍点问题$\min_{\mathbf{x}}\max_{\mathbf{y}}Φ(\mathbf{x},\mathbf{y})$，其中决策变量$\mathbf{x}$和/或$\mathbf{y}$具有多块结构和仿射耦合约束，且$Φ(\mathbf{x},\mathbf{y})$具有一定的可分结构.虽然这类问题的最小化对应已经在ADMM的主题下得到了广泛的研究，但这类极大极小问题却很少被研究。本文提出了$ε$ -鞍点的概念，并在此基础上分析了几种算法的收敛速度。当$\mathbf{x}$和$\mathbf{y}$中只有一个具有多块和仿射约束时，提出了ADMM的几种自然扩展来解决这个问题。根据块的数量和平滑的程度，$\mathcal{O}(1/T)$或$\mathcal{O}(1/\sqrt{T})$收敛速度推导出我们的算法。当$\mathbf{x}$和$\mathbf{y}$都有多个块和仿射约束时，提出了一种新的算法--乘子的外梯度法（EGMM）。在期望的平滑条件下，可以保证$\mathcal{O}(1/T)$收敛速率，而不管$\mathbf{x}$和$\mathbf{y}$中的块的数量。在多块最优化问题中，对EGMM（完全原-对偶方法）和ADMM（近似对偶方法）进行了深入的比较，以说明EGMM的优越性。
A New Working Set Method for Nonlinear Inequality Constrained Minimization
本项目提出一种称为工作集方法（WSM）的新有效集方法，用于求解Hilbert空间中的一般非线性不等式约束极小化问题，通过数学分析和基准问题数值实验验证了其优势与有效性。
The role of convexity on saddle-point dynamics: Lyapunov function and robustness
本文研究了与一个凹凸函数相关联的投影鞍点动力学，我们称之为鞍函数。动态由对应于凸性的变量中的鞍函数的梯度下降和对应于凸性的变量中的（投影）梯度上升组成。我们研究的作用，局部和/或全局性质的凸性-凸性的鞍函数发挥保证收敛性和鲁棒性的动态。在假设鞍函数是两次连续可微的情况下，我们用Hessian的对角块给出了该动力学的轨道的ω极限集的一个新的刻画.利用这一特征，我们建立了在鞍函数的局部强凸性下动力学的全局渐近收敛。当强凸性全局成立时，我们建立了三个结果。首先，我们确定了一个李雅普诺夫函数（沿轨迹严格减少）的投影鞍点动态时，鞍函数对应于一般的约束凸优化问题的拉格朗日。其次，当鞍函数是一个等式约束最优化问题的拉格朗日函数时，我们通过提供一个ISS李雅普诺夫函数证明了鞍点动态的输入-状态稳定性。第三，我们使用后者的结果来设计一个机会主义的状态触发的实施的动态。各种例子说明了我们的结果。
On the Arrow-Hurwicz differential system for linearly constrained convex minimization
在实希尔伯特空间中，从求解线性约束凸极小化问题的角度出发，重新考虑了经典的Arrow-Hurwicz微分系统.我们研究的微分系统的渐近性质，并提供了条件，其解决方案收敛到一个鞍点的拉格朗日与凸极小化问题。我们的收敛性分析主要依赖于一个“拉格朗日身份”，自然延伸的经典连续最速下降方法的著名的下降属性。此外，我们提出了渐近估计的衰减的解决方案和原始对偶间隙函数的拉格朗日量。这些估计进一步细化到经典阻尼谐振子的凸极小化问题的目标函数的二阶信息提供。最后，我们表明，我们的结果直接转化为解决结构凸极小化问题的情况下。数值实验进一步说明了我们的理论研究结果。
A Constrained Saddle Search Approach for Constructing Singular and Flexible Bar Frameworks
针对机器人运动学中奇异构型引发的控制失效等问题，提出将杆系框架奇异性建模为约束流形鞍点的约束鞍点搜索方法，可发现未知奇异柔性杆系框架，为机器人设计分析提供新见解。
Solution Uniqueness of Convex Piecewise Affine Functions Based Optimization with Applications to Constrained $\ell_1$ Minimization
本文研究了一类带有凸分段仿射函数和一般多面体约束的凸优化问题的解的唯一性。这类问题包含了许多重要的多面体约束$\ell_1$恢复问题所产生的稀疏优化，如基追踪，LASSO，和基追踪去噪，以及多面体规范恢复。通过利用凸分段仿射函数和凸分析工具的最大公式，我们开发了对偶变量的必要和充分的唯一性条件，通过简单而统一的方法，这些条件适用于广泛的$\ell_1$最小化问题下可能的多面体约束。提出了一种有效的线性规划方法来验证解的唯一性条件。本文所得到的结果不仅恢复了文献中已知的解的唯一性条件，通过删除限制性假设，但也产生新的唯一性条件，更广泛的约束$\ell_1$ -极小化问题。
String-Averaging Projected Subgradient Methods for Constrained Minimization
我们认为有约束的最小化问题，并建议取代投影到整个可行域，在投影次梯度法（PSM）中所需的，由投影到个人集的交集形成整个可行域。具体而言，我们建议执行这样的投影到个人集的算法制度的可行性寻求迭代投影方法。为此，我们使用最近开发的动态串平均投影（DSAP）方法，其中迭代索引因变量字符串和可变权重是允许的。这就产生了一种算法方案，从算法结构的角度来看，它概括了Helou Neto和De Pierro，Nedić，Nurminski和Ram等人的早期工作。
Gradient projection and conditional gradient methods for constrained nonconvex minimization
球面上的光滑函数的极小化，或者更一般地说，光滑流形上的光滑函数的极小化，是最简单的非凸优化问题。它有很多应用。我们的目标是提出一个版本的梯度投影算法的解决方案，并获得的结果，保证收敛的算法在一些最小的自然假设。利用流形上的Lezanski-Polyak-Lojasiewicz条件证明了算法的全局线性收敛性.另一种很好地适合这个问题的方法是条件梯度（Frank-Wolfe）算法。我们研究了一些条件，保证整体收敛的全步版本的方法与线性率。
Strong Convergence of FISTA for Affinely Constrained Convex Quadratic Minimization
本文证明了在无闭合条件假设下，FISTA在仿射二次优化中的强收敛性，并特别指出了Nesterov加速梯度法在凸二次目标函数中的强收敛性。
Stability of saddle points via explicit coderivatives of pointwise subdifferentials
利用无穷维集值映射的度量正则性，得到了希尔伯特空间中一类PDE约束优化中的非光滑最优化问题的鞍点的稳定性准则.一个主要的成分是一个明确的逐点特征的Fréchet codierative的次微分凸积分泛函。这是适用于几个稳定性性质的参数识别问题的椭圆型偏微分方程与不可微的数据拟合条款。
On Solving Minimization and Min-Max Problems by First-Order Methods with Relative Error in Gradients
本文提出了一种在梯度相对误差下保持最优线性收敛速率的加速梯度方法，并探讨了该误差与收敛速率恶化之间的权衡，同时展示了梯度下降-上升和额外梯度方法对噪声的鲁棒性。
Sparsity Constrained Minimization via Mathematical Programming with Equilibrium Constraints
稀疏约束最小化在机器学习和信号处理中具有广泛的应用。这类问题是很难解决的，因为它是NP-难的，现有的解决方案主要是基于迭代硬约束保持（IHT）。在本文中，我们考虑了一类连续优化技术的基础上的数学规划与平衡约束（MPEC）解决一般稀疏约束问题。具体来说，我们重新制定的问题作为一个等价的双凸MPEC，我们可以解决使用精确的惩罚方法或交替方向法。我们详细说明了这两种方法的优点，并分析了它们的收敛性。最后，我们证明了我们的方法的有效性和通用性的几个重要问题，包括特征选择，分段回归，MRF优化，趋势滤波和脉冲噪声去除。大量实验表明，我们基于MFEC的方法优于最先进的技术，尤其是基于IHT的技术。
Distributed saddle-point subgradient algorithms with Laplacian averaging
我们提出了分布式次梯度方法的最小最大问题的协议约束的一个子集的论点的凸和凹的部分。应用包括约束最小化问题，其中每个约束是代理的局部变量中的凸函数的和。在后一种情况下，该算法减少到原始-对偶更新使用局部次梯度和拉普拉斯平均的本地副本的乘数相关联的全球约束。对于一般的凹凸鞍点问题，我们的分析建立了局部估计的运行时间平均值在通信有向图的周期连通性下收敛到一个鞍点.具体地说，选择梯度步长在一个合适的方式，我们表明，评估误差是成正比的$1/\sqrt{t}$，其中$t$是迭代步骤。我们说明了我们的结果在模拟的优化方案与非线性约束耦合的代理，不能直接沟通的决定。
A Level Set Method with Secant Iterations for the Least-Squares Constrained Nuclear Norm Minimization
本文提出了一种高效的算法，用于解决计算上具有挑战性的最小二乘约束核范数最小化问题。该方法结合了水平集方法、塞万特迭代和近端生成方法，并证明了投影范数函数在闭凸集上的非奇异性质，从而实现了快速局部收敛。
HOUDINI: Escaping from Moderately Constrained Saddles
本文提出 HOUDINI，证明常规与随机（含噪）梯度下降可在对数数量不等式约束下逃离高维鞍点，首次在不依赖 NP 预言机的情况下取得多项式时间进展。
Global Solutions to Large-Scale Spherical Constrained Quadratic Minimization via Canonical Dual Approach
本文给出了一类球面约束下的非凸二次极小化问题的全局最优解。该问题是众所周知的置信域子问题，并已被广泛研究了几十年。主要的挑战是所谓的“困难情况”，即，该问题在球的边界上具有多个解。利用正则对偶理论，可以将这一具有挑战性的问题转化为一个没有对偶间隙的一维正则对偶问题。利用试探性理论得到了判别问题是否为困难情形的充分条件和必要条件。提出了一种扰动法和相应的算法来解决这个困难的情况。理论结果和方法得到了大规模算例的验证。
Riemannian trust-region methods for strict saddle functions with complexity guarantees
本文针对黎曼流形上的严格鞍点函数提出信赖域方法及其非精确变体，证明其迭代复杂度对数依赖于精度参数，显著优于一般非凸优化结果。
On the Convergence of Primal-Dual Proximal Incremental Aggregated Gradient Algorithms
在本文中，我们适应近似增量聚合梯度法的鞍点问题，这是由解耦线性变换的正则化经验风险极小化模型。首先，提出了带外推的原始-对偶近端增量聚集（PD-PIAG）方法。证明了平均迭代序列的原对偶间隙次线性收敛于0，且迭代序列收敛于某个鞍点。在$f$和$h^\ast$的强凸性下，证明了迭代序列线性收敛于鞍点。然后，我们提出了一个没有外推的PD-PIAG方法。在$f$的强凸性下，证明了迭代序列的原始-对偶间隙是次线性收敛的。
On complexity and convergence of high-order coordinate descent algorithms for smooth nonconvex box-constrained minimization
本文提出用于光滑非凸箱约束最小化的高阶正则化坐标下降法，证明其高阶平稳性收敛与一阶复杂度界，并通过多维标度实验和初始点策略提升性能。
Linear Convergence of a Unified Primal--Dual Algorithm for Convex--Concave Saddle Point Problems with Quadratic Growth
本文研究凸-凹鞍点问题，提出广义加速原始-对偶（GAPD）算法，在放宽强凸-强凹要求的二次增长条件下实现线性收敛，并适用于非双线性目标函数。
Accelerated Primal-dual Scheme for a Class of Stochastic Nonconvex-concave Saddle Point Problems
本文针对目标函数满足 Polyak-Łojasiewicz 条件的非凸-凹鞍点问题，提出了一种单循环加速原始-对偶算法，在随机和确定性环境下分别实现了 $\mathcal O(ε^{-4})$ 和 $\mathcal O(ε^{-2})$ 的收敛速率。
On two relaxations of quadratically-constrained cardinality minimization
本文考虑了二次约束基数最小化问题及其在数字滤波器设计、线性回归子集选择和投资组合选择中的应用。研究了两种弛豫：连续松弛的混合整数制定，和优化的对角松弛，利用一个简单的特殊情况下的问题。对于连续松弛，推导出最优成本的绝对上界，表明连续松弛往往是一个相对较差的近似。在计算实验中，对角松弛通常提供比连续松弛更强的边界，并且可以大大降低分支定界解的复杂性，即使在不是特别接近对角的情况下。相对于混合整数规划求解器CPLEX观察到类似的增益。基于这些结果，分析了对角松弛的近似性质。特别是，建立在定义的二次约束的矩阵的特征值的近似比的界限，也在对角占优和近坐标对齐的情况下。
An Adaptive Penalty Method for Inequality Constrained Minimization Problems
原始-对偶有效集方法被认为是惩罚公式序列的极限。使用这个角度来看，我们提出了一个惩罚的方法，自适应地成为有效集的方法，作为残差的减少。自适应罚方法（APM）结合了两种方法的主要优点，即罚方法易于实现和有效集方法固有的不等式约束的精确施加。该方案可以被认为是一个拟牛顿法，其中雅可比矩阵近似使用罚参数。这个空间变化的参数在每次迭代中通过求解辅助问题来选择。
Distributed Gradient Descent: Nonconvergence to Saddle Points and the Stable-Manifold Theorem
本文研究了一个分布式梯度下降（DGD）过程，并认为在非凸最优化问题，DGD通常收敛到局部极小点，而不是鞍点的问题。本文考虑光滑目标函数的无约束极小化问题。在集中式的设置中，证明梯度下降（和变体）的鞍点不收敛的问题通常通过经典动力系统理论的稳定流形定理来处理。然而，经典的稳定流形定理是不适用于分布式设置。本文发展了一个适当的稳定流形定理DGD表明，收敛到鞍点可能只发生在一个低维稳定流形。在适当的假设下（例如，但是，这个结果意味着DGD通常收敛到局部最小值而不是鞍点。
On Constrained Mixed-Integer DR-Submodular Minimization
本文研究带盒子及单调性约束的混合整数DR-次模最小化，提出有效线性不等式并给出完整凸包（多面体），设计多项式时间精确分离算法，首次证明该类问题多项式时间可解。
Multivariate Monotone Inclusions in Saddle Form
基于鞍算子的概念，提出了一种新的单调算子分裂方法。研究的是一个高度结构化的多元单调包含问题，它涉及集值、余强制和Lipschitz单调算子的混合，以及它们之间的各种单调保持运算。该模型涵盖了文献中发现的大多数制剂。现有的原始对偶法的一个局限性是，它们在一个积空间，这是太小，以实现完全分裂的问题，在这个意义上，每个运营商是单独使用。为了克服这个困难，我们将问题转化为寻找作用在更大空间上的鞍算子的零点。这导致了一种前所未有的灵活性算法，它实现了完全分裂，利用了每个操作符的特定属性，是异步的，并且在每次迭代时只需要激活操作符块，而不是激活所有操作符。后一个特征在大规模问题中至关重要。建立了主算法的弱收敛性，以及一个变式的强收敛性。各种应用程序进行了讨论，并提出了在变分不等式和最小化问题的背景下，所提出的框架的实例。
Nonsmooth convex-concave saddle point problems with cardinality penalties
研究带基数惩罚的凸约束非光滑凸-凹鞍点问题，证明局部鞍点与全局极小极大点存在性，基于下界性质定义强局部鞍点，提出基于卷积的连续松弛框架并建立松弛与原问题的关系，最后通过分布鲁棒稀疏回归等实例验证。
Unsupervised Feature Selection via Nonnegative Orthogonal Constrained Regularized Minimization
本文提出了一种基于非负正交约束正则化最小化的无监督特征选择模型，采用不精确增广拉格朗日乘子法求解并证明了其全局收敛性，实验表明该方法具有稳定性和鲁棒性且优于现有最先进方法。
Local Saddle Point Optimization: A Curvature Exploitation Approach
基于遗传算法的优化方法是寻找经典极小化和鞍点问题局部最优解的最流行的选择。在这里，我们强调了一个系统性的问题，梯度动力学出现鞍点问题，即存在不需要的稳定的稳定点，没有局部最优。我们提出了一种新的优化方法，利用曲率信息，以逃避这些不需要的固定点。我们证明了不同的优化方法，包括梯度法和Adagrad，配备曲率开发可以逃避非最优的稳定点。我们还提供了经验结果，共同的鞍点问题，证实了使用曲率开发的优势。
Riemannian Multilevel Optimization with Application to Constrained Energy Minimization Problems
针对离散能量最小化问题的多水平优化方法在流形约束下受限，本文引入基于粗模型的黎曼多水平优化扩展，含度量兼容向量转移算子，制定算法并证明收敛性，通过应用展示效果，相比单级黎曼优化显著减少计算时间。
Fejér-monotone hybrid steepest descent method for affinely constrained and composite convex minimization tasks
本文介绍了Fejér-单调混合最速下降算法（FM-HSDM），它是HSDM算法族的一个新成员，用于求解实希尔伯特空间中的仿射约束极小化问题，其中凸光滑和非光滑损失构成目标函数. FM-HSDM提供的序列的估计收敛弱，并在一定的假设下，强烈的解决方案的任务。不动点理论，变分不等式和仿射非扩张映射被用来设计一个计划，以适应仿射约束在一个更通用的方式比国家的最先进的原始-对偶技术和交替方向法的乘数做。可以调整递归以获得低计算占用，非常适合大规模优化任务，而不会影响收敛保证。与HSDM的前体相比，FM-HSDM具有Fejér单调性，步长参数在迭代过程中保持不变，以促进估计序列收敛到最小值，而仅需要光滑损失函数的导数的利普希茨连续性而不是强单调性来确保收敛。文中还给出了收敛到最优点的收敛速率的结果。
A Block Successive Upper Bound Minimization Method of Multipliers for Linearly Constrained Convex Optimization
考虑线性耦合约束下光滑凸函数与可分非光滑凸函数之和的极小化问题。这种形式的问题出现在许多当代应用中，包括信号处理、无线网络和智能电网供应。出于这些应用程序的巨大规模，我们提出了一类新的一阶原始对偶法称为块连续上限最小化方法的乘数（BSUM-M）来解决这个家庭的问题。BSUM-M通过最小化原始问题的增广拉格朗日量的局部紧上界来连续更新原始变量块，然后以封闭形式对对偶变量进行梯度类型更新。我们表明，在一定的规律性条件下，当原始块变量更新的确定性或随机的方式，BSUM-M收敛到一组最优解。此外，在没有线性约束的情况下，我们证明了BSUM-M，它减少到块连续上限最小化（BSUM）方法，是能够线性收敛没有强凸性。
A Unified Control-Theoretic Framework for Saddle-Point Dynamics in Constrained Optimization
本文通过反馈控制视角研究等式约束最小化问题，提出统一的控制论框架，展示PID反馈律作用于对偶变量诱导PID鞍点流，揭示反馈增益对优化的影响及凸问题的全局指数收敛性。
Distributed constrained optimization and consensus in uncertain networks via proximal minimization
我们提供了一个统一的框架，分布式凸优化随时间变化的网络，在约束和不确定性的存在下，功能，通常在文献中单独处理。我们采用了近端最小化的角度来看，这种设置使我们能够绕过现有算法的困难，同时简化了底层的数学分析。我们开发了一个迭代算法，并显示收敛的结果计划的一些优化集中的问题。为了处理的情况下，代理人的约束集的影响，可能是共同的不确定性向量，我们遵循一个基于EQUIPO的方法，并提供概率保证所得到的解决方案的可行性。为此，我们提供了一个分布式实现的情况下的方法，允许代理使用不同的一组不确定性的情况下，在他们的局部最优化程序。我们的算法的有效性证明了通过一个数值例子相关的回归问题的正则化。
On Well-Structured Convex-Concave Saddle Point Problems and Variational Inequalities with Monotone Operators
本文提出K-conic表示法，将凸-凹鞍点问题和变分不等式转化为锥问题，从而扩展了CVX的应用范围。
Weak and Strong Superiorization: Between Feasibility-Seeking and Minimization
我们审查的优越化方法，这可以被认为是，在某些情况下，躺在可行性寻求和约束最小化之间。它并不完全试图解决成熟的约束最小化问题;相反，任务是找到一个可行点，该可行点优于（相对于目标函数值）由可行性搜索算法返回的可行点。我们区分了优越性方法论中两个从同一个一般原理出发的研究方向：弱优越性和强优越性，并阐明了它们的性质。
Eigenvalue analysis of constrained minimization problem for homogeneous polynomial
本文引入Pareto $H$ -特征值和Pareto $Z$ -特征值的概念，研究约束极小化问题，并给出这类特征值存在的充要条件.证明了对称张量至少有一个Pareto $H$ -特征值（Pareto $Z$ -特征值）.进而证明了对称张量的最小Pareto $H$ -特征值（或Pareto $Z$ -特征值）恰好等于由该张量导出的齐次多项式的约束极小化问题的最小值，从而为求解约束极小化问题的最小值提供了一种可供选择的方法.特别地，对称张量$\mathcal{A}$是共正的当且仅当$\mathcal{A}$的每个Pareto $H$ -特征值（$Z-$特征值）是非负的。
Fast convergence of sample-average approximation for saddle-point problems
针对随机鞍点问题泛化性分析不足的现状，本文采用局部范数分析方法，在强凸-强凹设定下得到了高概率下阶为$\u27e8log(1/δ)/n\u27e9$的样本平均近似收敛结果，优于现有同场景下的收敛界，并通过矩阵博弈问题验证了结论。
Preconditioned primal-dual algorithms for saddle point problems: non-ergodic convergence rates
研究凸凹鞍点问题的预处理原始对偶算法，利用其光滑与非光滑结构，通过反对称预处理器建立非遍历收敛速率，考虑计算误差，经数值实验验证算法性能良好。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。