A proximal-proximal majorization-minimization algorithm for nonconvex tuning-free robust regression problems
Zhejiang University City College（浙大城市学院）；Southwest Jiaotong University（西南交通大学）；Zhejiang University（浙江大学）
针对非凸无调谐鲁棒回归问题，提出了一种近似-近似优化-最小化（PPMM）算法。其基本思想是应用邻近优化-最小化算法求解非凸问题，内子问题采用基于稀疏半光滑牛顿法的邻近点法求解。必须强调的是，算法设计的主要困难在于如何克服内子问题的奇异性困难。此外，我们还证明了PPMM算法收敛到一个d-平稳点。由于该问题的Kurdyka-Lojasiewicz（KL）性质，我们给出了PPMM算法的收敛速度。数值实验表明，我们提出的算法优于现有的国家的最先进的算法。
2021-06-25 cs.LG cs.NA math.NA
A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems
Zhejiang University City College（浙大城市学院）；Southwest Jiaotong University（西南交通大学）；The Hong Kong Polytechnic University（香港理工大学）；National University of Singapore（新加坡国立大学）
本文考虑高维非凸平方根损失回归问题，并提出了一种近似优化最小化算法。我们的关键思想，使建议的PMM是有效的是开发一个稀疏半光滑牛顿方法来解决相应的子问题。利用下划线问题中的Kurdyka-Schojasiewicz性质，证明了PMM算法收敛于d-平稳点.我们还分析了算法中初始子问题的预言性质。大量的数值实验证明了所提出的PMM算法的高效率。
2020-05-27 cs.LG cs.NA math.NA
Variable Bregman Majorization-Minimization algorithms for nonconvex nonsmooth optimization, with application to Poisson imaging
Université Paris-Saclay, CentraleSupélec, Inria, Centre pour la Vision Numérique（巴黎萨克雷大学、中央苏佩莱克学院、法国国家信息与自动化研究所、数字视觉中心）；Université Paris-Saclay, Laboratoire BioMaps, CEA（巴黎萨克雷大学、BioMaps实验室、法国原子能和替代能源委员会）
本文提出一种基于Bregman的统一最大最小化框架，用于解决非凸非光滑优化问题，通过可变Bregman散度构建替代函数，并在Kurdyka-Lojasiewicz性质下证明收敛性，应用于PET图像重建。
2026-10-06 math.OC
Complexity Analysis of Convex Majorization Schemes for Nonconvex Constrained Optimization
University of Minnesota（明尼苏达大学）；National University of Singapore（新加坡国立大学）
本文针对带不等式约束的非凸极小化问题，提出基于凸代理包络的算法，推导了凸与非凸优化模型的迭代复杂度，数值结果显示该方法具有良好潜力。
2026-07-30 math.OC
A Majorization-Minimization Algorithm for Computing the Karcher Mean of Positive Definite Matrices
基于优化-最小化（MM）原理，提出了一种计算$n$正定矩阵Karcher均值的算法.所提出的MM算法是无参数的，不需要选择步长，并具有渐近线性收敛的理论保证。
2017-01-13 math.OC
Block Alternating Bregman Majorization Minimization with Extrapolation
本文考虑了一类非光滑非凸最优化问题，其目标函数为块相对光滑函数与真下连续块可分函数之和.虽然针对块$L$ -光滑函数类的块邻近梯度（BPG）方法的分析已经成功地扩展到处理块相对光滑函数类的Bregman BPG方法，但是加速Bregman BPG方法是稀缺的并且设计具有挑战性。从Nesterov型加速和优化-最小化方案中得到启发，提出了一种带外推的块交替Bregman优化-最小化框架（BMME）.在较弱的条件下证明了BMME的渐近收敛性，并在较强的条件下研究了其整体收敛性。我们证明了BMME在惩罚正交非负矩阵分解问题上的有效性。
2021-07-09 cs.NA eess.SP math.NA
Stochastic Variance-Reduced Majorization-Minimization Algorithms
本文提出三种随机方差缩减的优化-最小化算法，用于解决非凸非光滑的大和优化问题，并证明其收敛性及最优复杂度，在稀疏分类和神经网络上验证了有效性。
2023-05-11 cs.NA math.NA math.OC
Distributed Majorization-Minimization for Laplacian Regularized Problems
我们考虑最小化块可分离的凸函数（可能不可微，并包括约束）加拉普拉斯正则化，一个问题，出现在应用程序中，包括模型拟合，正则化分层模型，和多期投资组合优化的问题。我们开发了一个分布式优化最小化方法，这个一般性的问题，并得出一个完整的，自包含的，一般的，简单的收敛性证明。我们的方法是能够扩展到非常大的问题，我们说明了我们的方法在两个应用程序，证明其可扩展性和准确性。
2018-03-30 math.OC
Joint Majorization-Minimization for Nonnegative CP and Tucker Decompositions under $β$-Divergences: Unfolding-Free Updates
本文提出了一种联合主要化-最小化方法，用于非负张量分解下的β-分歧问题，通过张量收缩实现无展开更新，提高了计算效率。
2026-03-08 cs.NA math.NA math.OC
A Look at the Generalized Heron Problem through the Lens of Majorization-Minimization
利用Majorization-Minimization原理和微分学技术，提出一种快速算法求解欧几里得范数下的广义Heron问题。
2012-05-23 cs.NA math.NA math.OC
An Inertial Block Majorization Minimization Framework for Nonsmooth Nonconvex Optimization
Huawei Belgium Research Center（华为比利时研究中心）；HCMC University of Education（胡志明市教育大学）；University of Mons（蒙斯大学）
本文介绍了一种新的求解非光滑非凸优化问题的惯性块优化极小框架TITAN。据我们所知，TITAN是块坐标更新方法的第一个框架，它依赖于优化-最小化框架，同时将惯性力嵌入到块更新的每一步。惯性力是通过一个外推算子，其中包括重球和Nesterov型加速度块近端梯度法作为特殊情况。通过选择各种替代函数，如近端，Lipschitz梯度，Bregman，二次和复合替代函数，并通过改变外推算子，TITAN产生了丰富的惯性块坐标更新方法。我们研究了TITAN生成序列的子序列收敛性和整体收敛性。我们说明了TITAN的有效性上两个重要的机器学习问题，即稀疏非负矩阵分解和矩阵完成。
2022-09-20 cs.LG eess.SP math.OC
Relaxed Majorization-Minimization for Non-smooth and Non-convex Optimization
Peking University（北京大学）；Shanghai Jiaotong University（上海交通大学）；National University of Defense Technology（国防科技大学）
本文提出了一种新的松弛主导最小化方法，用于非光滑和非凸优化问题，该方法能涵盖现有主导最小化方法。通过弱化条件，允许使用直接逼近非光滑目标函数的替代函数，在鲁棒矩阵分解问题中表现出优势。
2015-11-25 cs.LG cs.NA math.NA
Block Majorization Minimization with Extrapolation and Application to $β$-NMF
Acapela Group（Acapela集团）；Institute of data sciences（数据科学研究所）；Faculty of Engineering（工程学院）；University of Mons（蒙斯大学）；Department of Mathematics and Operational Research（数学与运筹学系）
本研究提出带自适应外推的块优化最小化方法BMMe，证明其收敛性，将其用于设计带收敛保证的β-NMF乘性更新算法，并通过实验验证了显著的加速效果。
2025-04-15 cs.LG cs.NA eess.SP
Universal Majorization-Minimization Algorithms
Google（谷歌公司）
针对传统MM算法需手工推导majorizer、适用场景有限的问题，提出基于泰勒模式自动微分推广技术的通用MM优化器，可自动推导majorizer，适用于任意问题且无需超参数调优、任意起始点均可收敛。
2023-07-31 cs.LG math.OC stat.CO
A primal-dual majorization-minimization method for large-scale linear programs
提出了一种求解大型线性规划问题的原-对偶优化-极小化方法。针对对偶线性规划问题，导出了一个具有严格凸性的光滑障碍增广拉格朗日函数。自然地引入优化最小化方法来开发SBAL函数的光滑性和凸性。该方法只依赖于常数矩阵的因子分解而不依赖于迭代过程，不需要计算任何步长，因而特别适用于大规模线性规划.该方法与线性规划的一阶方法具有相似的性质，但其收敛性分析建立在SBAL函数的可微性和凸性基础上。在不要求原线性规划或对偶线性规划可行的前提下，分析了算法的整体收敛性。在正则条件下，证明了该方法的全局线性收敛性，并给出了一个新的迭代复杂度结果。
2022-08-07 math.OC
Proximal Dogleg Opportunistic Majorization for Nonconvex and Nonsmooth Optimization
Imperial College London（帝国理工学院）
针对缩放邻近算子问题现有方法收敛慢、复杂度高的缺陷，提出一种基于混合牛顿方向与机会主化的二阶邻近算法，仅需一次海森矩阵求逆，收敛更快且能得到更优局部最优解。
2024-02-29 eess.SP math.OC
SOLVIT:A Reference-Free Source Localization Technique using Majorization Minimization
我们考虑使用距离和距离差测量定位源的问题。这两个问题都是非凸的和非光滑的，是具有挑战性的解决。在本文中，我们开发了一种迭代算法-源定位通过迭代技术（SOLVIT）定位源使用所有不同的距离差测量，即，而不选择参考传感器。SOLVIT基于优化最小化方法-在该方法中，一个新的上限被制定并最小化，以在每次迭代时获得封闭形式的解决方案。我们还解决了基于距离测量的源定位问题，并使用优化最小化方法重新推导了标准不动点算法。通过这样做，我们展示了一种不那么复杂的方法来证明标准不动点算法的收敛性。数值模拟和消声室中的实验证实，SOLVIT执行优于现有的基于参考和无参考的方法在源定位精度方面。
2020-02-07 eess.SP math.OC
Sequence Set Design With Good Correlation Properties via Majorization-Minimization
在许多主动感测和通信系统（例如，多输入多输出（MIMO）雷达系统和码分多址（CDMA）蜂窝系统。在本文中，我们考虑的问题，设计互补序列集（CSS），也具有良好的自相关和互相关特性的序列集。针对序列集设计问题中的最优化问题，提出了基于广义优化-极小化方法的求解算法。所有提出的算法都可以通过快速傅里叶变换（FFT）来实现，因此计算效率高，能够设计非常长的序列集。一些数值例子来证明所提出的算法的性能。
2015-10-07 math.OC
A Preconditioned Alternating Minimization Framework for Nonconvex and Half Quadratic Optimization
针对非凸半二次正则化模型和Ambrosio-Tortorelli近似Mumford-Shah模型，基于Kurdyka-Kazojasiewicz分析和最近的非凸近似算法，针对非线性交替极小化过程中出现的线性子问题，提出了一种有效的预处理框架.大规模线性子问题的求解一直是交替极小化算法中的一个重要而又具有挑战性的问题。通过将有效的和经典的预条件迭代法结合到非线性非凸优化问题中，证明了线性子问题只需要一次或任意有限次预条件迭代，而不需要像通常的不精确解那样控制误差.所提出的预处理框架可以为线性子问题的处理提供极大的灵活性和效率，同时保证非线性交替极小化方法的整体收敛。
2021-07-29 cs.NA math.NA math.OC
A systematic approach to general higher-order majorization-minimization algorithms for (non)convex optimization
本文提出一般高阶majorization-minimization算法框架，解决(非)凸(非)光滑优化问题，并证明了其从全局次线性到局部超线性的收敛速率及稳定点保证。
2025-03-03 math.OC
Tight Majorizations and Convergence Rates of Nuclear Norm Minimization IRLS
University of Central Florida（中佛罗里达大学）；Wirtschaftsuniversität Wien（维也纳经济大学）；KU Eichstätt-Ingolstadt（艾希施泰特-英戈尔施塔特大学）
本文针对低秩恢复的约束核范数最小化问题，通过新的上界分析证明调和均值权重算子的最优性，给出IRLS算法的收敛速率，并经数值实验验证其优于单侧重加权方案。
2026-08-26 cs.LG cs.NA math.NA
A Majorization-Minimization Based Method for Nonconvex Inverse Rig Problems in Facial Animation: Algorithm Derivation
面部动画的自动化方法是现代工业中的必要工具，因为标准的blendshape头部模型由数百个控制器组成，手动方法非常缓慢。已经提出了不同的解决方案，实时产生输出或针对不同的面部拓扑进行良好的概括。然而，所有这些现有的工作考虑的融合变形函数的线性逼近，因此不提供足够高的现代现实人脸重建的细节水平。我们建立了一个方法来解决逆钻机blendshape动画使用二次校正条款，提高精度。同时，由于所提出的目标函数的构造，与现有技术的方法相比，它产生了更稀疏的估计权向量。前一个功能意味着对解决方案的后续手动更正的需求较低，而后者表明手动修改也更容易包括在内。我们的算法是迭代的，并采用了Majorization Minimization范式，以应付增加的复杂性所产生的添加校正条款。代理函数很容易求解，并且允许在每次迭代中在组件级别上进一步并行化。本文是对随附论文Racković等人（2023）的补充，在该论文中，我们提供了详细的实验结果和讨论，包括高度逼真的动画数据，并显示了与最先进的方法相比，结果的明显优越性。
2023-03-27 math.OC
Majorization Minimization Methods for Distributed Pose Graph Optimization with Convergence Guarantees
Northwestern University（西北大学）
在本文中，我们考虑的问题，分布式位姿图优化（PGO），在多机器人同时定位和地图（SLAM）中有着广泛的应用。我们提出了优化最小化方法的分布式PGO和我们提出的方法是保证收敛到一阶临界点在温和的条件下。此外，由于我们所提出的方法依赖于分布式PGO的邻近算子，因此使用Nesterov方法可以显著加快收敛速度，更重要的是，加速不会导致理论保证的妥协。此外，我们还提出了加速优化最小化方法的分布式弦初始化，具有平方收敛，它可以用来计算初始猜测分布式PGO。通过在一些2D和3D SLAM数据集上的应用以及与现有最先进的方法的比较，验证了这项工作的有效性，这表明我们提出的方法具有更快的收敛速度，并且可以更好地解决分布式PGO问题。
2021-05-04 cs.LG cs.RO math.OC
Lower-level Duality Based Reformulation and Majorization Minimization Algorithm for Hyperparameter Optimization
针对下层非光滑的双层超参数优化问题，提出基于下层对偶的单层重构及优化最小化算法，子问题可化为锥规划高效求解，并证明收敛性与实验优越性。
2024-03-01 math.OC
Novel Algorithms based on Majorization Minimization for Nonnegative Matrix Factorization
矩阵分解是普遍存在的，并且在诸如语音处理、数据挖掘和图像处理等各种领域中具有应用。在矩阵分解下，非负矩阵分解用于将非负矩阵分解为两个非负矩阵的乘积，这给出了一些有意义的数据解释。因此，非负矩阵分解比其他分解技术更有优势。在本文中，我们提出了两个新的迭代算法的基础上的优化最小化（MM）-在其中，我们制定了一个新的上界，并尽量减少它得到一个封闭的形式的解决方案，在每一次迭代。由于算法是基于MM，它是确保所提出的方法将是单调的。所提出的算法的不同之处在于两个非负矩阵的更新方法。第一种算法-迭代非负矩阵分解（INOM）顺序更新两个非负矩阵，而第二种算法-并行迭代非负矩阵分解（PARINOM）并行更新两个非负矩阵。我们还证明了所提出的算法收敛到问题的平稳点。仿真结果表明，所提算法在计算速度和收敛性方面均优于现有算法。关键词：非负矩阵分解，优化最小化，大数据，并行，乘法更新
2019-05-11 eess.SP math.OC
Parametric Majorization for Data-Driven Energy Minimization Methods
University of Siegen（锡根大学）
能量最小化方法是众多计算机视觉应用中的经典工具。虽然它们是可解释的，也是经过充分研究的，但它们的规律性假设很难手工设计。另一方面，深度学习技术是纯粹的数据驱动，通常提供出色的结果，但很难约束到预定义的物理或安全关键模型。这两种方法之间的一种可能的组合是设计一个参数能量和训练的自由参数，以这样的方式，能量的最小值对应于一组训练示例的期望的解决方案。不幸的是，这样的公式化通常导致双层最优化问题，在该双层最优化问题上，常见的优化算法难以缩放到数据处理和效率的现代要求。在这项工作中，我们提出了一种新的策略来优化这些双层问题。我们调查代理单级问题，优化的目标问题，可以实现与现有的工具，导致高效的算法，而不会崩溃的能量函数。这种策略框架为从大数据中训练参数化能量极小化模型提供了新的途径。
2019-08-17 cs.CV cs.LG math.OC
Stochastic Majorization-Minimization Algorithms for Large-Scale Optimization
INRIA Grenoble（法国国家信息与自动化研究所格勒诺布尔分部）
优化最小化算法包括迭代地最小化目标函数的优化代理。由于它的简单性和广泛的适用性，这个原则在统计学和信号处理中非常流行。在本文中，我们打算使这一原则可扩展。我们引入了一个随机优化最小化方案，它能够处理大规模或可能无限的数据集。当适用于凸优化问题在适当的假设下，我们表明，它达到了预期的收敛速度的$O(1/\sqrt{n})$ $n$迭代后，和$O(1/n)$强凸函数。同样重要的是，我们的计划几乎肯定收敛到一个大类的非凸问题的驻点。我们开发了几个有效的算法基于我们的框架。首先，我们提出了一个新的随机邻近梯度方法，实验匹配国家的最先进的大规模$\ell_1$-逻辑斯谛回归的求解器。其次，我们提出了一个非凸稀疏估计的在线DC规划算法。最后，我们证明了我们的方法解决大规模结构矩阵分解问题的有效性。
2013-09-10 cs.LG math.OC stat.ML
An inexact proximal MM method for a class of nonconvex composite image reconstruction models
针对脉冲噪声去除的非凸非光滑图像重建问题，提出带非精确准则的近端MM算法并证明其收敛性，在图像去模糊与修复任务中验证了算法效率。
2024-03-26 math.OC
Convergence analysis of stochastic higher-order majorization-minimization algorithms
提出随机高阶Majorization-Minimization算法框架，通过随机高阶上界近似与minibatching优化大量光滑函数平均值，推导了非凸与凸问题的收敛性，并证明局部收敛速率从次线性到线性或超线性。
2024-01-10 math.OC
PDMM: A novel Primal-Dual Majorization-Minimization algorithm for Poisson Phase-Retrieval problem
本文介绍了一种新的迭代算法，用于相位恢复的问题，其中测量值仅由未知信号的线性函数的幅度组成，并且测量值中的噪声服从泊松分布。该算法是基于优化最小化（MM）的原则，然而，MM的应用在这里是非常新颖的，不同的方式MM通常被用来解决优化问题的文献。更确切地说，我们通过调用log（.）的Fenchel对偶表示将原始最小化问题重新表示为鞍点问题。泊松似然函数中的项。然后，我们提出了更紧密的代理函数的原始和对偶变量，从而在一个双循环MM算法，我们已命名为原始-对偶优化-最小化（PDMM）算法。所得到的算法的迭代步骤是简单的实现，只涉及计算矩阵向量积。我们还扩展了我们的算法来处理各种L1正则化泊松相位检索问题（利用稀疏性）。所提出的算法与以前提出的算法，如希丁格流（WF），MM（常规），和交替方向的乘法器（ADMM）的泊松数据模型。在不同实验条件下的仿真结果表明，PDMM算法在恢复原始信号方面的性能与现有算法相当，且速度快于同类算法。
2021-10-16 eess.SP math.OC stat.CO
Canonical Solutions to Nonconvex Minimization Problems over Lorentz Cone
本文提出了一种求解非凸二次极小化问题的正则对偶方法。利用正则对偶理论，可以将n维Lorentz锥上的非凸原极小化问题转化为某些只有一个对偶变量的正则对偶问题，并可以用标准的凸极小化方法求解.利用试探性理论对这些解的奇异性条件进行了分类。应用举例说明。
2012-10-19 math.OC
Incremental Majorization-Minimization Optimization with Application to Large-Scale Machine Learning
Inria（法国国家信息与自动化研究所）；Laboratoire Jean Kuntzmann（让·库茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
优化最小化算法包括连续地最小化目标函数的一系列上界。这些上界在当前估计值处很紧，并且每次迭代单调地驱动目标函数下降。这一简单的原理在各个科学领域，特别是在信号处理和统计学领域，都有着广泛的应用。在本文中，我们提出了一个增量优化最小化计划最小化大量的连续函数，在机器学习中的一个至关重要的问题。我们提出了收敛保证非凸和凸优化时的上界近似的目标到一个光滑的错误，我们称这样的上界“一阶代理函数”。更确切地说，我们研究了非凸问题的渐近稳定点保证，对于凸问题，我们提供了预期目标函数值的收敛速度。将该算法应用于复合优化问题，得到了一个新的强凸函数的具有线性收敛速率的增量邻近梯度算法。在我们的实验中，我们表明，我们的方法是有竞争力的解决机器学习问题，如逻辑斯谛回归的最先进的训练样本的数量是足够大的，我们证明了它的有用性稀疏估计与非凸处罚。
2015-02-01 cs.LG math.OC stat.ML
Block majorization-minimization with diminishing radius for constrained nonsmooth nonconvex optimization
针对约束非光滑非凸优化，提出带递减半径的块状最小化-最大化算法，改进复杂度至不依赖强凸参数，并应用于多种算法，数值验证加速收敛。
2024-11-29 math.OC stat.ML
An inertial forward-backward algorithm for the minimization of the sum of two nonconvex functions
University of Vienna（维也纳大学）；Technical University of Cluj-Napoca（克卢日-纳波卡理工大学）
本文提出一种具有惯性/记忆效应的前向-后向近端型算法，用于非凸情况下最小化非光滑函数与光滑函数之和。算法生成的序列在满足Kurdyka-Łojasiewicz不等式条件下收敛到临界点，并通过两个数值实验验证了其在非凸优化问题恢复局部最优解和恢复噪声模糊图像的能力。
2014-10-02 cs.NA math.NA math.OC
Majorization-Minimization for sparse SVMs
Graz University of Technology（格拉茨工业大学）；University of Bath（巴斯大学）；University of Trieste（的里雅斯特大学）；Inria（法国国家信息与自动化研究所）；CentraleSupélec（巴黎中央理工-高等电力学院）；University Paris Saclay（巴黎萨克雷大学）
本文提出一种基于主化-最小化方法的平滑稀疏正则化平方铰链损失来训练 SVM，利用 Lipschitz 可微性加速训练，并通过稀疏正则化选择重要特征，在三个数据集上验证了其性能优于现有方法。
2023-08-31 cs.LG math.OC
A class of null space conditions for sparse recovery via nonconvex, non-separable minimizations
对于稀疏恢复问题，非凸极小化在提高解的稀疏性方面优于$\ell_1$罚函数，这一点已被广泛接受。然而，到目前为止，理论验证，非凸处罚优于（或至少一样好）$\ell_1$最小化的精确，均匀的恢复主要限于可分离的情况下。在本文中，我们建立了一般的恢复保证，通过零空间条件的非凸，不可分的正则化，这是稍微低于要求的标准零空间属性$\ell_1$最小化。
2019-02-14 math.OC
Design of PAR-Constrained Sequences for MIMO Channel Estimation via Majorization-Minimization
PAR约束序列由于各种实际需要而广泛应用于通信系统和雷达中，具体地，要求序列是单模的或具有低峰均功率比（PAR）。对于幺模序列设计，大量的努力致力于获得良好的相关性能。然而，关于信道估计，具有这种属性的序列不一定有助于产生最优估计。特别是当考虑到信道的先验知识时，针对有关的特定标准定制的单模序列是期望的。在本文中，我们制定的最佳单模序列设计问题的最小均方误差估计的信道冲激响应和条件互信息最大化，分别。基于优化最小化框架的有效算法，提出了这两个问题的保证收敛。由于幺模约束是低PAR约束的一种特殊情况，因此也考虑了低PAR的最优序列。数值例子表明，所提出的训练序列的性能，与衍生算法的效率证明。
2016-02-29 cs.IT math.IT math.OC
Majorization-minimization procedures and convergence of SQP methods for semi-algebraic and tame programs
鉴于解决涉及复杂约束的非光滑和非凸问题（如标准NLP问题），我们研究了由强凸子问题族产生的一般最大化-最小化过程。利用半代数几何和变分分析的技巧--特别是Lojasiewicz不等式--我们建立了由这类方案产生的序列到临界点的收敛性。这个过程的广泛适用性在NLP的背景下说明。在这种情况下，临界点与KKT点重合。当数据是半代数或真正的分析，我们的方法适用于（例如）各种SQP方法的研究：移动球的方法，SL 1 QP，ESQP。在标准条件下，这提供了-据我们所知-第一个一般的收敛结果一般非线性规划问题。我们强调的事实是，与大多数关于这个问题的作品，没有二阶假设和/或凸性假设。收敛速率与一阶方法中常见的收敛速度具有相同的形式。
2015-03-30 math.OC
Regularized methods via cubic model subspace minimization for nonconvex optimization
针对非凸优化自适应三次正则化方法的试探步计算问题，提出低维子空间重复利用的三次模型最小化新方法，辅以正则化牛顿步，保留经典方法最坏情况复杂度，实验表明其相比标准实现优势显著。
2024-11-28 cs.NA math.NA math.OC
Refinement of Direction of Arrival Estimators by Majorization-Minimization Optimization on the Array Manifold
LINE Corporation（LINE公司）
我们提出了一个广义的制定波达方向估计，其中包括许多现有的方法，如转向响应功率，子空间，相干和非相干，以及语音稀疏的方法。与大多数传统的方法，完全依赖于网格搜索，我们引入了一个连续的优化算法，以改善DOA估计超出初始网格的分辨率。该算法是来自优化最小化（MM）技术。我们得到两个代理函数，一个二次和一个线性。这两种算法都可以产生高效的迭代算法，不需要超参数，如步长，并确保DOA估计永远不会离开阵列流形，而不需要投影步骤。在数值实验中，我们表明，几次迭代后的MM算法的精度几乎消除了依赖于所使用的初始网格的分辨率。我们发现，二次代理函数导致非常快的收敛，但线性算法的简单性是非常有吸引力的，性能差距小。
2021-06-02 cs.SD eess.AS eess.SP
A Stochastic Successive Minimization Method for Nonsmooth Nonconvex Optimization with Applications to Transceiver Design in Wireless Communication Networks
University of Minnesota（明尼苏达大学）
本文提出一种随机递进上界最小化方法，用于解决非光滑非凸优化问题，并应用于无线通信网络中的收发器设计，同时扩展了随机梯度方法以处理非光滑非凸目标函数。
2013-07-23 cs.NA math.NA math.OC
Accelerated Proximal Dogleg Majorization for Sparse Regularized Quadratic Optimization Problem
针对二次函数与非凸非光滑正则项之和的最小化问题，提出带外推的 PDOME 算法，通过外推混合牛顿方向和增强线搜索实现全局收敛与更快速度。
2025-08-30 math.OC
Stochastic regularized majorization-minimization with weakly convex and multi-convex surrogates
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
随机优化最小化（SMM）是一类随机最优化算法，其通过采样新数据点并最小化目标函数的代理函数的递归平均来进行。代理需要是强凸的，一般非凸设置的收敛速度分析不可用。在本文中，我们提出了一个扩展的SMM代理人只允许是弱凸或块多凸，平均代理人近似最小化与近端正则化或块最小化内半径减小，分别。对于非独立同分布的一般非凸约束情形，数据样本，我们表明，所提出的算法的一阶最优性差距衰减率$O((\log n)^{1+ε}/n^{1/2})$的经验损失和$O((\log n)^{1+ε}/n^{1/4})$的预期损失，其中$n$表示处理的数据样本的数量。在一些附加的假设下，后者的收敛速度可以提高到$O((\log n)^{1+ε}/n^{1/2})$。作为推论，我们获得了一般非凸依赖数据设置下的各种最优化方法的第一收敛速度界：双平均投影梯度下降及其推广，近点经验风险最小化，和在线矩阵/张量分解算法。我们还提供了实验验证我们的结果。
2023-03-21 cs.LG math.OC stat.ML
First-order Methods for Unconstrained Vector Optimization Problems: A Unified Majorization-Minimization Perspective
本文提出了一种统一的主导最小化方法，通过缩小替代函数与目标函数之间的差距来提升一阶方法在无约束向量优化问题中的性能。
2026-01-13 math.OC
First-order majorization-minimization meets high-order majorant: Boosted inexact high-order forward-backward method
本文提出基于高阶majorant的一阶majorization-minimization框架，开发了高阶非精确前向-后向算法（HiFBA）及其增强变体，在Kurdyka-Łojasiewicz条件下证明全局线性收敛，并在线性逆问题和NMF实验中展示高效性。
2025-10-25 math.OC
Convergence and complexity of block majorization-minimization for constrained block-Riemannian optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan（密歇根大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了一种基于块最大化解的算法，用于解决具有约束的非凸优化问题，并证明了其在黎曼流形上的收敛性和复杂性。
2024-08-06 math.OC stat.ML
Majorization-Minimization-Based Levenberg--Marquardt Method for Constrained Nonlinear Least Squares
针对带凸约束的非线性最小二乘问题，提出一种基于majorization-minimization视角的新型LM方法，通过新阻尼参数更新规则结合加速投影梯度法，兼具全局与局部收敛性，实验验证收敛更优。
2022-12-15 math.OC
Regularization of Limited Memory Quasi-Newton Methods for Large-Scale Nonconvex Minimization
本文讨论正则化牛顿法，一类灵活的无约束优化算法，线搜索和置信域方法的竞争力，并潜在地结合两者的吸引力元素。特别的重点是结合正则化与有限记忆拟牛顿法，利用有限记忆算法的特殊结构。在适当的假设下证明了正则化方法的整体收敛性，并讨论了正则化有限记忆拟牛顿更新的细节，包括它们的紧致表示.使用来自CUTEst集合的所有大规模测试问题的数值结果表明，我们的正则化版本的L-BFGS与最先进的线搜索和信赖域L-BFGS算法以及先前将L-BFGS与正则化相结合的尝试具有竞争力，同时可能优于其中一些，特别是当涉及非单调性时。
2022-07-11 cs.NA math.NA math.OC
Majorization Minimization Methods for Distributed Pose Graph Optimization
Meta AI；Northwestern University（西北大学）
研究了在多机器人同时定位与地图构建中具有重要应用的分布式位姿图优化问题。我们提出了优化最小化（MM）方法的分布式PGO（$\mathsf{MM-PGO}$），适用于广泛的一类鲁棒损失内核。$\mathsf{MM-PGO}$方法是保证收敛到一阶临界点在温和的条件下。此外，注意到$\mathsf{MM-PGO}$方法让人想起邻近方法，我们利用Nesterov的方法，并采用自适应重启来加速收敛。由此产生的加速MM方法的分布式PGO -在网络中的主节点（$\mathsf{AMM-PGO}^*$）和没有（$\mathsf{AMM-PGO}^{\#}$）-具有更快的收敛速度相比，$\mathsf{AMM-PGO}$方法，而不牺牲理论保证。特别地，不需要主节点并且完全分散的$\mathsf{AMM-PGO}^{\#}$方法以新颖的自适应重启方案为特征，并且具有与使用主节点来聚集来自所有其他节点的信息的$\mathsf{AMM-PGO}^*$方法相当的收敛速率。通过对2D和3D SLAM基准数据集的广泛应用以及与现有最先进方法的全面比较，验证了这项工作的有效性，表明我们的MM方法收敛更快，并为分布式PGO提供了更好的解决方案。
2023-01-23 cs.RO math.OC
On the convergence of Block Majorization-Minimization algorithms on the Grassmann Manifold
本文研究块主化-最小化算法在格拉斯曼流形约束下的收敛性问题，通过利用该非凸流形的几何性质，将经典块MM收敛证明扩展到至少一个优化变量块受限于格拉斯曼流形的情形。
2024-05-06 eess.SP math.OC
BDF schemes for accelerated gradient flows in projection-free approximation of nonconvex constrained variational minimization
本研究针对非凸约束二次能量最小化问题，提出结合加速梯度流、线性化无投影约束处理与BDF伪时间离散化的算法，构建通用分析框架推导约束违反估计，发现具备修正能量稳定性的BDF-k加速梯度方法族，实验验证其效率与精度优于现有方法。
2025-06-12 cs.NA math.NA math.OC
Preconditioned Three-Term Conjugate Gradient Framework for Nonconvex Finite Minimax Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆应用数学中心，重庆师范大学）
本文提出一种基于双曲主导化的预处理三项共轭梯度框架，用于非凸有限极小极大优化，通过解析对称正定度量同时实现曲率吸收、预处理和线搜索，保证充分下降、全局收敛并收敛到 Clarke 稳定点。
2026-09-15 math.OC
Variable Bregman Majorization-Minimization Algorithm and its Application to Dirichlet Maximum Likelihood Estimation
TU Berlin（柏林工业大学）；Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CentraleSupélec（中央理工-高等电力学院）；ÉTS Montréal（蒙特利尔工程学院）
本文提出可变Bregman Majorization-Minimization（VBMM）算法，通过允许Bregman函数在每次迭代中自适应变化来加速凸优化收敛，并将其成功应用于Dirichlet分布的多维参数最大似然估计，数值实验验证了其收敛速度优于现有方法。
2025-02-05 cs.LG math.OC
On duality for nonconvex minimization problems within the framework of abstract convexity
通过应用扰动函数方法，我们提出了两个一般非凸函数之和极小化问题的拉格朗日量和共轭量。主要工具是$Φ$ -凸性理论和$Φ$ -凸函数极小极大定理。我们提供的条件，确保零对偶差距，并介绍$Φ$ -Karush-Kuhn-Tucker条件，表征原始和对偶问题的解决方案。我们还讨论了本研究中引入的对偶问题与文献中存在的一些共轭型对偶问题之间的关系。
2021-10-01 math.OC
