Relative Interior Rule in Block-Coordinate Minimization
Czech Technical University（捷克理工大学）
（块）坐标最小化是一种迭代最优化方法，其在每次迭代中在变量或变量子集上找到目标的全局极小值，同时保持其余变量恒定。而对于某些问题，坐标最小化收敛到全局极小值（例如，凸可微目标），对于一般（不可微）凸问题，情况可能并非如此。尽管有这个缺点，（块）坐标最小化可以是一个可接受的选择大规模不可微凸问题;一个例子是解决离散能量最小化问题的线性规划松弛的方法（图模型中的MAP推理）。当块坐标最小化应用于一般凸问题时，在每次迭代中，当前坐标块上的最小值不需要是唯一的，因此必须选择单个最小值。我们建议，这个极小选择从当前块的所有极小的集合的相对内部。我们证明，在某种精确的意义上，这个规则并不比任何其他规则更坏。
2019-10-21 cs.CV math.OC
Generalized Newton Algorithms for Tilt-Stable Minimizers in Nonsmooth Optimization
本文的目的是发展两个版本的广义牛顿法计算不仅是任意的局部极小值的非光滑最优化问题，但只是那些，它具有一个重要的稳定性称为倾斜稳定性。我们开始与无约束极小化的连续可微费用函数具有Lipschitzian梯度，并建议两个二阶算法的牛顿型：一个涉及的Lipschitzian梯度映射，和其他的基础上，后者的图形衍生物。然后，我们继续传播这些算法的最小化的扩展实值的prox-正则函数，同时以这种方式覆盖的问题的约束优化，通过使用Moreau算法。采用先进的技术，二阶变分分析和倾斜稳定性的特征，使我们能够建立在这两个算法的子问题的可解性，并证明其迭代的Q-超线性收敛。
2020-12-29 math.OC
Retrospective Cost-based Extremum Seeking Control with Vanishing Perturbation for Online Output Minimization
本文提出一种基于回溯代价的极值搜索控制（RC/ESC）方法，利用随时间消失的扰动实现在线输出最小化，避免稳态振荡，并通过数值示例验证其性能。
2024-02-06 math.OC
A Conditional Gradient Framework for Composite Convex Minimization with Applications to Semidefinite Programming
我们提出了一个具有广泛应用的复合凸最小化模板的条件梯度框架。我们的方法结合了平滑和同伦技术的CGM框架下，并证明达到最佳的$\mathcal{O}(1/\sqrt{k})$收敛速度。我们证明了，同样的速度举行，如果线性子问题近似解决加性或乘性误差。与相关工作相比，当非光滑项是指示函数时，我们能够刻画收敛性。我们的框架的具体应用包括非光滑最小化，半定规划，最小化与线性包含约束的紧域。数字证据证明了我们的框架的好处。
2018-08-20 math.OC
On the minimizers of energy forms with completely monotone kernel
受瞬时价格冲击下的最优资产组合清算问题的启发，我们研究了积分约束下具有完全单调位移核的能量泛函的极小化问题。相应的极小元可由具有常自由项的第二类弗雷德霍姆积分方程刻画。我们的主要结果表明，极小是解析的，并有一个幂级数的发展，甚至权力的距离的中点的定义域和非负系数。此外，我们表明，我们的最小化问题是等价的非负约束下的能量泛函的最小化。
2018-08-14 math.CA math.OC q-fin.TR
A Matrix Splitting Method for Composite Function Minimization
复合函数最小化在计算机视觉和机器学习中具有广泛的应用。它包括有界约束优化和基数正则化优化作为特殊情况。本文提出并分析了一种新的求解复合函数极小化问题的矩阵分裂法。它可以看作是经典Gauss-Seidel方法和文献中求解线性系的逐次过松弛法的推广。矩阵分裂法是一种新的高斯消去法，具有先进的性能。对于凸问题，我们证明了MSM的整体收敛性、收敛速度和迭代复杂度;对于非凸问题，我们证明了MSM的整体收敛性。最后，我们验证了我们的矩阵分裂方法在两个特定的应用：非负矩阵分解和基数正则稀疏编码的性能。大量的实验表明，我们的方法优于现有的复合函数最小化技术的效率和功效。
2016-12-07 math.OC
Harnessing structure in composite nonsmooth minimization
针对非光滑函数与光滑映射的复合极小化问题，提出结合邻近步与序列二次规划步的算法，可局部识别最优光滑子结构并实现二次收敛，在两类问题上验证了性能。
2023-03-20 math.OC
Variable Metric Composite Proximal Alternating Linearized Minimization for Nonconvex Nonsmooth Optimization
本文提出了一个最小化两个块变量的目标函数的近似算法，该目标函数由三项组成：1）光滑函数; 2）非光滑函数，它是一个严格递增的凹可微函数和一个凸非光滑函数的组合; 3）耦合两个块变量的光滑函数。我们提出了一个变尺度复合近似交替线性化极小化（CPALM）来解决这类问题。建立在强大的Kurdyka-Eschojasiewicz属性，我们得到的收敛性分析，并建立由CPALM生成的每个有界序列全局收敛到一个临界点。我们证明了CPALM方法的并行磁共振图像重建问题。数值结果表明了该方法的可行性和有效性。
2022-09-14 math.OC
Sharpness-Aware Minimization Can Hallucinate Minimizers
Department of Electrical and Computer Engineering, Seoul National University（电子与计算机工程系，首尔国立大学）；Department of Mathematics, University of California, Los Angeles（数学系，加州大学洛杉矶分校）
本文揭示了基于尖锐度的最小化方法可能产生幻觉最小值的问题，并提出通过预热 SGD 来缓解该问题。
2026-02-05 cs.LG math.OC
A Smoothing SQP Framework for a Class of Composite $L_q$ Minimization over Polyhedron
一般多面体上的复合$L_q~(0<q<1)$最小化问题在机器学习、无线通信、图像恢复、信号重构等领域有着广泛的应用。首先，我们证明了对于任何固定的$0<q<1$，找到问题的全局极小值，即使是它的无约束对应，是强NP-困难的。其次，我们得到了局部极小的Karush-Kuhn-Tucker（KKT）最优性条件。第三，我们提出了一个光滑的序列二次规划框架来解决这个问题。该框架需要一个（近似）解决方案的凸二次规划在每次迭代。最后，我们分析了返回$ε$ -KKT点的框架的最坏情况迭代复杂度;即，一个可行点，满足扰动版本的派生KKT最优性条件。据我们所知，建议的框架是第一个最坏情况下的迭代复杂性保证解决复合$L_q$最小化一般多面体。
2014-07-27 math.OC
Stochastic Three-Composite Convex Minimization
本文提出了一种求解三个凸函数之和极小化的随机最优化方法，其中一个凸函数具有Lipschitz连续梯度和限制强凸性。我们的方法是最适合的设置，它是计算上有利的处理光滑项的分解与其随机梯度估计和其他两个功能分别与他们的邻近算子，如双重正则化的经验风险最小化问题。在光滑项的随机梯度估计的标准假设下，我们证明了所提出的算法的收敛性。我们的方法在原始空间中操作，可以被认为是三算子分裂方法的随机扩展。数值证据支持我们的方法在现实世界中的问题的有效性。
2017-01-31 math.OC
Polynomial algorithm for $k$-partition minimization of monotone submodular function
对于固定的$k$，研究了具有有限集$V$和对称次模函数$f: 2^{V} \mapsto \mathbb{R}$的次模系统$(V, f)$的$k$ -划分极小化问题.我们的算法使用Queyranne（1998）算法的2-分区最小化，出现在原始$k$ -分区最小化的子集的递归分解的每一步。我们证明了这个极小化的计算复杂性是$O(n^{3(k-1)})$。
2018-03-22 math.OC
Techniques for Gradient Based Bilevel Optimization with Nonsmooth Lower Level Problems
我们提出的技术近似双层最优化问题与非光滑的低级别的问题，可以有一个非唯一的解决方案。为此，我们用一个迭代算法，保证收敛到一个极小的问题的较低级别的最小化问题的极小化的表达。使用合适的非线性邻近距离函数，这种迭代算法的更新映射可以是可微的，尽管最小化问题是非光滑的。
2016-04-26 math.OC
Existence of Minimizers for Fractional Variational Problems Containing Caputo Derivatives
研究了含Riemann-Liouville分数次积分、经典和Caputo分数阶导数的Lagrange泛函变分法的动态极小化问题。在正则性、凸性和非凸性的假设下，我们证明了解的存在性。
2012-08-11 math.OC
On convergence of solutions to nonlocal optimal control problems with quasi-minimization constraints
研究具有拟最小化约束的非局部最优控制问题，通过新约束选择，在能量最小化器可能不唯一情况下，证明解的存在性，并得到非局部最优控制问题最小化器的收敛结果，相比之前有更强收敛性。
2026-07-27 math.AP math.OC
Minimization of the buckling load of a clamped plate with perimeter constraint
本文研究任意维度下带周长约束的屈曲载荷最小化问题，证明二维最小化板为凸集，高维最优集合为开连通集，并证明高阶特征值在指定周长的凸集族中存在最小化子。
2023-07-06 math.AP math.OC
Extrapolated Hard Thresholding Algorithms with Finite Length for Composite $\ell_0$ Penalized Problems
针对带$\u2113_0$型惩罚的稀疏优化问题，提出外推硬阈值算法，证明其迭代有限长度、收敛到局部极小值点的特性及误差鲁棒性，并通过数值实验验证理论结果。
2025-01-15 math.OC
Adaptive Sequential Stochastic Optimization
引入一个框架顺序求解凸随机最小化问题，其中目标函数变化缓慢，在这个意义上，连续极小值之间的距离是有界的。最小化问题通过基于抽取样本个数顺序地应用诸如随机梯度下降（SGD）之类的所选优化算法来解决，以便进行迭代。引入两个跟踪标准来评估近似极小值的质量：一个是基于准确的平均轨迹，另一个是基于准确的高概率（IHP）。结合所选优化算法的性质，对最小值变化的界的估计被用于选择满足期望的跟踪准则所需的样本的样本个数。一种技术来估计极小值的变化提供了与分析表明，最终的估计上界的变化极小。最小值的变化的这种估计提供了样本量选择规则，其保证对于足够大数量的时间步长满足跟踪标准。仿真被用来确认的估计方法提供了所需的跟踪精度在实践中，同时是有效的，在每个时间步长中使用的样本的样本个数。
2018-03-09 math.OC
Convex minimization problems with weak constraint qualifications
回顾了求解凸极小化问题的基于共轭对偶的标准鞍点法。我们的目标是减少或删除不必要的拓扑限制的约束集。在弱或无约束规格的条件下，得到了极小元的对偶等式和特征。主要思想是使用反映目标函数的某些几何形状的内在拓扑。本文的抽象结果在其他论文中应用到Monge-Kantorovich最优输运问题和熵泛函的最小化。
2007-10-08 math.OC
Smoothing technique for nonsmooth composite minimization with linear operator
介绍并分析了一种由线性算子构成的可微项与可逼近项之和的凸函数的极小化算法。该方法建立在最近开发的平滑间隙技术。除了一个精确的收敛速度的结果，有效的，即使在存在的线性包含约束，这种新方法允许一个明确的治疗梯度的可微函数，可以增强线搜索。我们还研究了在给定频率下重新启动算法加速的后果。这些新的功能是不经典的原始-对偶方法，使我们能够解决困难的大规模凸优化问题。我们数值说明了卓越的性能的算法的基础上追求，TV正则化最小二乘回归和L1回归问题对国家的最先进的。
2017-06-19 math.OC
PANOC-lite: A simpler and more efficient algorithm for composite minimization
KU Leuven（鲁汶大学）；Kyushu University（九州大学）
本文提出了一种简单高效的线搜索方法，用于加速邻近梯度迭代，通过快速牛顿型方向实现复合最小化。算法基于简单操作，仅需标准邻近梯度 oracle，且在非光滑项为凸函数时有效。改进包括更低成本的回溯过程和更大的步长范围，证明了全局子序列收敛性和局部超线性收敛性。
2026-04-16 math.OC
Generalized entropy minimization under full marginal constraints
本文研究了具有完全指定边缘分布的路径测度集合上关于参考扩散律的广义相对熵的极小化问题。当处理实际的相对熵时，这类问题已经出现在随机力学文献中，极小化器被称为纳尔逊过程。通过凸对偶和随机控制技术，我们在主要结果中得到了极小元的充分刻画，其中包含了Cattiaux \& Léonard和Mikami的开创性工作中的相关结果作为特例.我们还建立了极小化不需要是一般的马尔可夫，并可能取决于广义相对熵的形式，如果状态空间具有大于或等于2的维度。最后，我们说明了如何广义相对熵最小化问题，这种可能被证明是有用的超越随机力学，通过两个应用程序：某些平均场游戏的分析，和一类向后的SDES的标度限制的研究。
2020-04-22 math.OC math.PR
An Inexact Proximal Newton Method for Nonconvex Composite Minimization
本文提出一种求解非凸复合问题的不精确近端牛顿型方法，在KKT残差范数下实现O(k^{-1/2})全局收敛与局部超线性收敛，无需线搜索且数值实验验证其性能媲美现有最优方法。
2024-12-21 math.OC
Linearly-constrained nonsmooth optimization for training autoencoders
针对一类两层神经网络的自编码器，提出了一种基于$l_1$范数惩罚的正则化极小化模型。我们表明，RP可以作为一个精确的惩罚模型，共享相同的全局极小，局部极小，d（方向）-平稳点与原来的正则化模型在温和的条件下。我们构造了一个有界的盒子区域，其中包含至少一个全局极小的RP，并提出了一个线性约束正则化极小化模型与$l_1$ -范数惩罚（LRP）的训练自动编码器。设计了一种光滑近似梯度算法来求解LRP。证明了算法收敛于RP和LRP的广义d-平稳点。综合数值实验令人信服地说明了所提出的算法的效率以及鲁棒性。
2022-04-21 math.OC
A New Lineserach for Accelerated Composite Minimization
Delft University of Technology（代尔夫特理工大学）；University of Toronto（多伦多大学）；Rotterdam School of Management, Erasmus University（伊拉斯姆斯大学鹿特丹管理学院）
本文提出了一种基于函数评估的新线搜索步长规则，用于加速和非加速梯度下降，适用于复合最小化和非凸最小化问题。
2026-09-04 math.OC
A smoothing proximal gradient algorithm for matrix rank minimization problem
针对损失凸非光滑、惩罚项为基数函数的低秩矩阵最小化问题，提出精确连续松弛方法与光滑近似梯度（SPG）算法，证明算法收敛于松弛问题的提升平稳点，数值实验验证了算法效率。
2021-03-17 math.OC
Bridging Identification and Second-Order Acceleration: A Fast Alternating Minimization Framework for Composite Optimization
School of Mathematics, Nanjing University（南京大学数学系）；School of Mathematics, National Key Laboratory for Novel Software Technology, Nanjing University（南京大学数学学院，软件新技术国家重点实验室）
提出一种交替最小化框架，结合近端梯度步和动态低维子空间上的三次正则牛顿更新，在KL性质下全局收敛到稳定点，并达到O(ε^{-3/2})的迭代复杂度。
2026-06-25 math.OC
Selecting Regularization Parameters for nuclear norm type minimization problems
由噪声观测值重构低秩矩阵有着广泛的应用。它可以转化为一个约束核范数最小化问题，其中约束的界$η$是明确给出的，或者可以由噪声的概率分布来估计。当应用拉格朗日方法来寻找最小值时，可以通过奇异值阈值算子来获得解，其中阈值参数$λ$与拉格朗日乘子有关。在本文中，我们首先证明了极小值和观测矩阵之间的差异的Frobenius范数是$λ$的严格递增函数。由此，我们推导出$λ$在$η$方面的封闭形式解。当$η$已知时，该结果可用于求解约束核范数型极小化问题。对于无约束核范数型正则化问题，我们的结果允许我们利用差异原理自动选择合适的正则化参数。所得到的正则化参数与Stein的无偏风险估计（SURE）方法所得到的正则化参数相当（有时甚至更好），而求解最小化问题的成本可降低11- 18倍。仿真实验和实际MRI数据进行验证所提出的方法。
2022-04-13 math.OC
A Proximal Variable Smoothing for Nonsmooth Minimization Involving Weakly Convex Composite with MIMO Application
针对含弱凸复合函数的非光滑优化问题，提出一种基于Moreau包络的时变前向-后向近端变量平滑算法，提供了平稳点收敛性分析，并应用于MIMO信号检测验证了其有效性。
2025-01-23 math.OC
Optimization Methods for Fully Composite Problems
本文提出了一种新的凸优化问题的全复合形式。它包括，作为一个特殊的情况下，问题的功能约束，最大型最小化问题，和问题的复合最小化，其中的目标可以有简单的不可微组件。我们对待所有这些配方在一个统一的方式，突出了不同顺序的非常自然的优化方案的存在。在最一般的条件下证明了方法的整体收敛速度。假设我们的目标函数的上层组件是次齐次的，我们开发了有效的修改的基本完全复合的一阶和二阶方法，并提出他们的加速变种。
2021-03-23 math.OC
Parallel coordinate descent methods for composite minimization: convergence analysis and error bounds
在本文中，我们提出了一个分布式版本的随机块坐标下降法，以最小化部分可分光滑凸函数和完全可分非光滑凸函数的总和。在光滑函数梯度块Lipschitz连续的假设下，证明了该方法具有次线性收敛速度。对于新引入的广义误差界函数类，得到了该方法的线性收敛速率。我们证明了这类广义误差界函数既包含全局/局部误差界函数，又包含光滑强凸函数.我们还表明，收敛速度的理论估计取决于随机选择的块的数量和一个自然的措施分离的目标函数。
2015-11-20 math.OC
Reiterated periodic homogenization of integral functionals with convex and nonstandard growth integrands
多尺度周期均匀化扩展到Orlicz-Sobolev设置。利用周期双尺度收敛方法证明了一类含有凸泛函的高振荡极小化问题的极小解序列收敛于具有适当凸函数的齐次化问题的极小解.
2020-02-24 math.OC
Stability Analysis for Composite Optimization Problems and Parametric Variational Systems
本文旨在为文献[1]中得到的广义实值分段线性函数的二阶变分分析提供各种应用。在这里，我们主要集中在建立完全稳定的局部极小在复合优化和罗宾逊的强正则性相关联的（线性化和非线性化）KKT系统之间的关系。最后，我们讨论了具有凸分段线性位势的参数变分系统的Lipschitz稳定性。
2016-08-18 math.OC
A Mosco sufficient condition for intrinsic stability of non-unique convex Empirical Risk Minimization
Hassan 1st University of Settat（哈桑第一大学）
本文提出一个Mosco充分条件，用于保证非唯一凸经验风险最小化问题的内在稳定性，并通过二次增长特性获得显式偏差界。
2026-01-25 cs.LG math.FA math.OC
Augmented Lagrangian methods for fully convex composite optimization
University of the Bundeswehr Munich（联邦国防大学慕尼黑）；McGill University（麦吉尔大学）；Dresden University of Technology（德累斯顿工业大学）
针对全凸复合优化问题，提出弹性保护增广拉格朗日方法，结合经典方法与保护机制的优点，实现全局原始-对偶收敛。
2026-10-07 math.OC
Large volume minimizers of a non local isoperimetric problem: theoretical and numerical approaches
我们考虑周长和里斯位势之和的体积约束极小化。我们增加了一个外部潜在的形式$\|x\|^β$，提供了一个极小的存在任何体积约束，我们研究了大极小的几何形状。然后给出了一种数值方法来解决这个变分问题。
2018-02-09 math.AP math.OC
On Coordinate Minimization of Convex Piecewise-Affine Functions
一种流行的算法来优化离散能量最小化问题的对偶LP松弛（a.k.a.图模型中的MAP推理或值约束满足）是收敛的消息传递算法，如最大和扩散，TRW-S，MPLP和SRMP。这些算法在实践中是成功的，尽管事实上，它们是一个版本的坐标最小化应用到凸分段仿射函数，这是不能保证收敛到一个全局最小。这些算法只收敛到一个局部极小，其特征在于从约束规划已知的局部一致性。我们推广的最大和扩散适用于任意凸分段仿射函数，它收敛到一个局部一致性条件的坐标最小化的版本。这个条件可以看作是全局最优性条件的符号松弛。
2017-09-14 cs.CV math.OC
Efficiency of higher-order algorithms for minimizing composite functions
针对非光滑聚合的复合最小化问题，提出了高阶主化算法框架，通过高阶替代函数替换分量，为非凸/凸及非光滑问题提供了稳定点收敛保证和基于KL性质的改进收敛速率。
2025-03-03 math.OC
An accelerated proximal iterative hard thresholding method for $\ell_0$ minimization
本文考虑一类非凸问题，它是盒约束下的$\ell_0$ -范数与凸光滑函数之和。我们提出了一种近似迭代硬阈值型方法，并利用外推步骤来加速算法，证明了它的整体收敛结果。详细地说，所提出的方法产生的序列全局收敛到局部极小的目标函数。最后，我们进行了数值实验，以显示所提出的方法的有效性与其他一些有效的方法进行比较。
2018-01-02 math.OC
Tilt stability of Ky-Fan $κ$-norm composite optimization
本文研究二次连续可微矩阵值函数与Ky-Fan $κ$-范数之和的优化问题的倾斜稳定性，通过利用二阶次导数建立充要条件，导出了识别此类非凸非光滑问题局部极小值倾斜稳定性的可验证判据。
2025-04-30 math.OC
Variable Metric Forward-Backward Algorithm for Composite Minimization Problems
We present a forward-backward-based algorithm to minimize a sum of a differentiable function and a nonsmooth function, both being possibly nonconvex. The main contribution of this work is to consider the challenging case where the nonsmooth function corresponds to a sum of non- convex functions , resulting from composition between a strictly increasing, concave, differentiable function and a convex nonsmooth function. The proposed variable metric Composite Function Forward-Backward algorithm (C2FB) circumvents the explicit, and often challenging, computation of the proximity operator of the co…
2021-01-31 math.OC
Regret Circuits: Composability of Regret Minimizers
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）
遗憾最小化是解决大规模问题的有力工具，它最近被用于解决大规模可拓形式博弈的突破性结果。这是通过将单纯形后悔最小化器组成一个扩展形式博弈策略空间的整体后悔最小化框架来实现的。在本文中，我们研究一般的可组合后悔极小化。我们推导出一个微积分构造的复合凸集，从简单的凸集上的保凸运算得到的遗憾极小。我们表明，局部遗憾最小化的简单的集合可以与额外的遗憾最小化到一个聚合遗憾最小化的复合集。作为一个应用程序，我们表明，CFR框架可以很容易地从我们的框架。我们还展示了将缩减（约束）操作纳入我们框架的方法。首先，他们能够构建CFR推广的扩展形式的游戏与一般的凸策略约束，可以跨越决策点。
2019-02-17 cs.AI cs.GT cs.LG
A proximal Newton framework for composite minimization: Graph learning without Cholesky decompositions and matrix inversions
我们提出了一个算法框架的凸最小化问题的复合函数与两项：一个自协调函数和一个可能的非光滑正则项。我们的方法是一个新的近似牛顿算法，具有局部二次收敛速度。作为我们框架的一个具体实例，我们考虑了图学习问题中的稀疏逆协方差阵估计。通过仔细的对偶公式和一个新的分析步长选择过程，我们的方法图学习避免了Cholesky分解和矩阵求逆在其迭代，使其有吸引力的并行和分布式实现。
2013-03-19 math.OC stat.ML
On the local and global minimizers of the smooth stress function in Euclidean Distance Matrix problems
本文研究欧氏距离矩阵精确恢复中四次光滑应力函数的非凸优化，证明 n≤d+1 时二阶驻点均为全局极小点，并构造或数值验证局部非全局极小点的存在。
2025-07-25 math.OC
Fejér-monotone hybrid steepest descent method for affinely constrained and composite convex minimization tasks
本文介绍了Fejér-单调混合最速下降算法（FM-HSDM），它是HSDM算法族的一个新成员，用于求解实希尔伯特空间中的仿射约束极小化问题，其中凸光滑和非光滑损失构成目标函数. FM-HSDM提供的序列的估计收敛弱，并在一定的假设下，强烈的解决方案的任务。不动点理论，变分不等式和仿射非扩张映射被用来设计一个计划，以适应仿射约束在一个更通用的方式比国家的最先进的原始-对偶技术和交替方向法的乘数做。可以调整递归以获得低计算占用，非常适合大规模优化任务，而不会影响收敛保证。与HSDM的前体相比，FM-HSDM具有Fejér单调性，步长参数在迭代过程中保持不变，以促进估计序列收敛到最小值，而仅需要光滑损失函数的导数的利普希茨连续性而不是强单调性来确保收敛。文中还给出了收敛到最优点的收敛速率的结果。
2018-04-10 math.OC
Mirror Prox Algorithm for Multi-Term Composite Minimization and Semi-Separable Problems
在本文中，我们开发了一个复合版本的镜像Prox算法求解凹凸鞍点问题和单调变分不等式的特殊结构，允许覆盖鞍点/变分类比通常所谓的“复合最小化”（最小化的总和的一个易于处理的非光滑和一般类型的光滑凸函数“好像”没有非光滑的组件在所有）。我们证明，复合镜近端继承了有利的（和不可改进的已经在大规模的双线性鞍点的情况下）$O(1/ε)$效率估计其原型。我们表明，所提出的方法可以自然地应用到拉索型问题与几个惩罚条款（例如，共同作用$\ell_1$和核范数正则化）和交替方向的方法中考虑的结构的问题，这意味着在这两种情况下的方法与$O(ε^{-1})$复杂性界限。
2014-05-21 cs.CC math.OC
Minimizers for a one-dimensional interaction energy
我们明确地解决了一定的最小化问题的概率措施，在一个维度涉及的相互作用能量，在聚集现象的建模中出现。我们表明，在一定的制度极小是绝对连续的无界密度，从而解决了一个问题，在以前的作品中留下了开放。
2021-09-18 math-ph math.AP math.MP
A Smooth Primal-Dual Optimization Framework for Nonsmooth Composite Convex Minimization
我们提出了一个新的一阶原始-对偶优化框架的凸优化模板具有广泛的应用。我们的优化算法具有最优收敛保证下的各种常见的结构假设的问题模板。我们的分析依赖于一个新的组合的三个经典的想法适用于原始对偶间隙函数：平滑，加速，同伦。由于新的方法的算法实现了最佳的已知的收敛速度的结果，特别是当模板只包括非光滑函数。我们还概述了一个重启策略的加速显着提高实际性能。我们展示了增广拉格朗日方法的关系，并展示了如何利用强凸目标与严格的收敛速度保证。我们提供了两个例子的数值证据，并说明新的方法可以优于国家的最先进的，包括Chambolle-Pock，和交替方向法的乘法器算法。
2018-02-22 math.OC
Optimal Algorithms for Stochastic Complementary Composite Minimization
针对随机互补复合最小化问题，论文提出近乎最优的算法，并给出期望与高概率超额风险界及下界证明，同时通过数值实验对比当前最优方法。
2024-01-23 cs.LG math.OC
Regularized coordinate minimization for nonconvex composite optimization with application to quantized image compression
Politehnica Bucharest（布加勒斯特理工大学）；Gheorghe Mihoc-Caius Iacob Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy（罗马尼亚科学院格奥尔基·米霍克-卡尤斯·雅各布数学统计与应用数学研究所）
本文提出一种正则化循环坐标最小化方法求解非凸复合优化问题，应用于量化图像压缩，在KODAK和CLIC 2024数据集上低比特率下优于JPEG，且分类精度无明显下降。
2026-09-09 math.OC
A proximal MM method for the zero-norm regularized PLQ composite optimization problem
研究了一类零范数正则化分段线性二次（PLQ）复合极小化问题，其中零范数正则化$\ell_1$ -损失极小化问题是其特例.对于这类非凸非光滑问题，我们证明了其等价的MPEC重构在全局最优解集上是部分平静的，并利用这一性质导出了一族等价的DC代理。然后，我们提出了一个近似的优化最小化（MM）方法，凸松弛方法不在DC算法框架，解决一个DC代理人，这是一个包含三个非光滑项的最小化问题。对于这种方法，我们建立了它的整体收敛和线性收敛速率，并在适当的条件下证明了生成序列的极限不仅是局部最优值，而且是统计意义上的好的临界点。数值实验进行了合成和真实数据的近端MM方法的子问题解决的对偶半光滑牛顿方法，以确认我们的理论研究结果，并与收敛的不定近端ADMM部分平滑DC代理验证其优越性的解决方案的质量和计算时间。
2020-01-17 math.OC
An augmented Lagrangian method for strongly regular minimizers in a class of convex composite optimization problems
本文针对一类凸复合优化问题，建立了原始/对偶二阶充分条件、非退化条件与严格 Robinson 约束规范之间的等价关系，并利用增广拉格朗日方法求解，通过 von Neumann 熵优化问题的数值实验验证了算法有效性。
2025-07-16 cs.NA math.NA math.OC
A Proximal Variable Smoothing for Minimization of Nonlinearly Composite Nonsmooth Function -- Finite-Max Minimization and MIMO Applications
Institute of Science Tokyo（东京科学大学）
针对非光滑优化问题，提出近端变量平滑算法，其具有单环结构，由两步组成。给出驻点收敛保证及收敛速率，通过数值实验验证该算法在鲁棒目标定位和MIMO信号检测场景下的有效性。
2026-07-08 eess.SP math.OC
Semi-proximal Mirror-Prox for Nonsmooth Composite Minimization
GeorgiaTech（佐治亚理工学院）；NYU（纽约大学）；Inria（法国国家信息与自动化研究所）
我们提出了一个新的一阶优化算法来解决高维非光滑复合极小化问题。这类问题的典型示例具有分解成非平滑经验风险部分和非平滑正则化惩罚的目标。所提出的算法，称为半近端双Prox，利用芬克尔型表示的一部分的目标，而通过线性最小化的域处理的其他部分的目标。该算法与更经典的平滑近似梯度算法相反，后者需要在每次迭代时计算近似算子，因此对于高维问题是不切实际的。我们建立了理论上的收敛速度的半邻近的双Prox，它表现出最佳的复杂性界，即$O(1/ε^2)$，为数量的调用线性最小化oracle。我们提出了有前途的实验结果显示的兴趣的方法相比，竞争的方法。
2015-07-06 cs.LG math.OC
