Sequence Set Design With Good Correlation Properties via Majorization-Minimization
在许多主动感测和通信系统（例如，多输入多输出（MIMO）雷达系统和码分多址（CDMA）蜂窝系统。在本文中，我们考虑的问题，设计互补序列集（CSS），也具有良好的自相关和互相关特性的序列集。针对序列集设计问题中的最优化问题，提出了基于广义优化-极小化方法的求解算法。所有提出的算法都可以通过快速傅里叶变换（FFT）来实现，因此计算效率高，能够设计非常长的序列集。一些数值例子来证明所提出的算法的性能。
2015-10-07 math.OC
PDMM: A novel Primal-Dual Majorization-Minimization algorithm for Poisson Phase-Retrieval problem
本文介绍了一种新的迭代算法，用于相位恢复的问题，其中测量值仅由未知信号的线性函数的幅度组成，并且测量值中的噪声服从泊松分布。该算法是基于优化最小化（MM）的原则，然而，MM的应用在这里是非常新颖的，不同的方式MM通常被用来解决优化问题的文献。更确切地说，我们通过调用log（.）的Fenchel对偶表示将原始最小化问题重新表示为鞍点问题。泊松似然函数中的项。然后，我们提出了更紧密的代理函数的原始和对偶变量，从而在一个双循环MM算法，我们已命名为原始-对偶优化-最小化（PDMM）算法。所得到的算法的迭代步骤是简单的实现，只涉及计算矩阵向量积。我们还扩展了我们的算法来处理各种L1正则化泊松相位检索问题（利用稀疏性）。所提出的算法与以前提出的算法，如希丁格流（WF），MM（常规），和交替方向的乘法器（ADMM）的泊松数据模型。在不同实验条件下的仿真结果表明，PDMM算法在恢复原始信号方面的性能与现有算法相当，且速度快于同类算法。
2021-10-16 eess.SP math.OC stat.CO
Block Alternating Bregman Majorization Minimization with Extrapolation
本文考虑了一类非光滑非凸最优化问题，其目标函数为块相对光滑函数与真下连续块可分函数之和.虽然针对块$L$ -光滑函数类的块邻近梯度（BPG）方法的分析已经成功地扩展到处理块相对光滑函数类的Bregman BPG方法，但是加速Bregman BPG方法是稀缺的并且设计具有挑战性。从Nesterov型加速和优化-最小化方案中得到启发，提出了一种带外推的块交替Bregman优化-最小化框架（BMME）.在较弱的条件下证明了BMME的渐近收敛性，并在较强的条件下研究了其整体收敛性。我们证明了BMME在惩罚正交非负矩阵分解问题上的有效性。
2021-07-09 cs.NA eess.SP math.NA
A systematic approach to general higher-order majorization-minimization algorithms for (non)convex optimization
本文提出一般高阶majorization-minimization算法框架，解决(非)凸(非)光滑优化问题，并证明了其从全局次线性到局部超线性的收敛速率及稳定点保证。
2025-03-03 math.OC
Joint Majorization-Minimization for Nonnegative CP and Tucker Decompositions under $β$-Divergences: Unfolding-Free Updates
本文提出了一种联合主要化-最小化方法，用于非负张量分解下的β-分歧问题，通过张量收缩实现无展开更新，提高了计算效率。
2026-03-08 cs.NA math.NA math.OC
Universal Majorization-Minimization Algorithms
Google（谷歌公司）
针对传统MM算法需手工推导majorizer、适用场景有限的问题，提出基于泰勒模式自动微分推广技术的通用MM优化器，可自动推导majorizer，适用于任意问题且无需超参数调优、任意起始点均可收敛。
2023-07-31 cs.LG math.OC stat.CO
Variable Bregman Majorization-Minimization algorithms for nonconvex nonsmooth optimization, with application to Poisson imaging
Université Paris-Saclay, CentraleSupélec, Inria, Centre pour la Vision Numérique（巴黎萨克雷大学、中央苏佩莱克学院、法国国家信息与自动化研究所、数字视觉中心）；Université Paris-Saclay, Laboratoire BioMaps, CEA（巴黎萨克雷大学、BioMaps实验室、法国原子能和替代能源委员会）
本文提出一种基于Bregman的统一最大最小化框架，用于解决非凸非光滑优化问题，通过可变Bregman散度构建替代函数，并在Kurdyka-Lojasiewicz性质下证明收敛性，应用于PET图像重建。
2026-10-06 math.OC
Lower-level Duality Based Reformulation and Majorization Minimization Algorithm for Hyperparameter Optimization
针对下层非光滑的双层超参数优化问题，提出基于下层对偶的单层重构及优化最小化算法，子问题可化为锥规划高效求解，并证明收敛性与实验优越性。
2024-03-01 math.OC
Composite Optimization by Nonconvex Majorization-Minimization
University of Siegen（明斯特大学）
本文提出非凸majorization-minimization方法用于非凸复合函数优化，证明其能实现全局收敛，并通过实验展示其在深度超分辨率中的优越性。
2018-09-03 cs.CV cs.NA math.NA
A proximal-proximal majorization-minimization algorithm for nonconvex tuning-free robust regression problems
Zhejiang University City College（浙大城市学院）；Southwest Jiaotong University（西南交通大学）；Zhejiang University（浙江大学）
针对非凸无调谐鲁棒回归问题，提出了一种近似-近似优化-最小化（PPMM）算法。其基本思想是应用邻近优化-最小化算法求解非凸问题，内子问题采用基于稀疏半光滑牛顿法的邻近点法求解。必须强调的是，算法设计的主要困难在于如何克服内子问题的奇异性困难。此外，我们还证明了PPMM算法收敛到一个d-平稳点。由于该问题的Kurdyka-Lojasiewicz（KL）性质，我们给出了PPMM算法的收敛速度。数值实验表明，我们提出的算法优于现有的国家的最先进的算法。
2021-06-25 cs.LG cs.NA math.NA
On the Global Convergence of Majorization Minimization Algorithms for Nonconvex Optimization Problems
Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）
本文研究了主要化最小化算法在非凸正则化优化问题中的全局收敛性，引入Kurdyka-Lojasiewicz不等式理论，证明了非凸问题满足该性质并建立了相应算法的全局收敛性结果，同时扩展到著名的CCCP方法。
2015-04-30 cs.NA math.NA math.OC
Majorization Minimization Methods for Distributed Pose Graph Optimization with Convergence Guarantees
Northwestern University（西北大学）
在本文中，我们考虑的问题，分布式位姿图优化（PGO），在多机器人同时定位和地图（SLAM）中有着广泛的应用。我们提出了优化最小化方法的分布式PGO和我们提出的方法是保证收敛到一阶临界点在温和的条件下。此外，由于我们所提出的方法依赖于分布式PGO的邻近算子，因此使用Nesterov方法可以显著加快收敛速度，更重要的是，加速不会导致理论保证的妥协。此外，我们还提出了加速优化最小化方法的分布式弦初始化，具有平方收敛，它可以用来计算初始猜测分布式PGO。通过在一些2D和3D SLAM数据集上的应用以及与现有最先进的方法的比较，验证了这项工作的有效性，这表明我们提出的方法具有更快的收敛速度，并且可以更好地解决分布式PGO问题。
2021-05-04 cs.LG cs.RO math.OC
Refinement of Direction of Arrival Estimators by Majorization-Minimization Optimization on the Array Manifold
LINE Corporation（LINE公司）
我们提出了一个广义的制定波达方向估计，其中包括许多现有的方法，如转向响应功率，子空间，相干和非相干，以及语音稀疏的方法。与大多数传统的方法，完全依赖于网格搜索，我们引入了一个连续的优化算法，以改善DOA估计超出初始网格的分辨率。该算法是来自优化最小化（MM）技术。我们得到两个代理函数，一个二次和一个线性。这两种算法都可以产生高效的迭代算法，不需要超参数，如步长，并确保DOA估计永远不会离开阵列流形，而不需要投影步骤。在数值实验中，我们表明，几次迭代后的MM算法的精度几乎消除了依赖于所使用的初始网格的分辨率。我们发现，二次代理函数导致非常快的收敛，但线性算法的简单性是非常有吸引力的，性能差距小。
2021-06-02 cs.SD eess.AS eess.SP
Block Majorization Minimization with Extrapolation and Application to $β$-NMF
Acapela Group（Acapela集团）；Institute of data sciences（数据科学研究所）；Faculty of Engineering（工程学院）；University of Mons（蒙斯大学）；Department of Mathematics and Operational Research（数学与运筹学系）
本研究提出带自适应外推的块优化最小化方法BMMe，证明其收敛性，将其用于设计带收敛保证的β-NMF乘性更新算法，并通过实验验证了显著的加速效果。
2025-04-15 cs.LG cs.NA eess.SP
Majorization-minimization procedures and convergence of SQP methods for semi-algebraic and tame programs
鉴于解决涉及复杂约束的非光滑和非凸问题（如标准NLP问题），我们研究了由强凸子问题族产生的一般最大化-最小化过程。利用半代数几何和变分分析的技巧--特别是Lojasiewicz不等式--我们建立了由这类方案产生的序列到临界点的收敛性。这个过程的广泛适用性在NLP的背景下说明。在这种情况下，临界点与KKT点重合。当数据是半代数或真正的分析，我们的方法适用于（例如）各种SQP方法的研究：移动球的方法，SL 1 QP，ESQP。在标准条件下，这提供了-据我们所知-第一个一般的收敛结果一般非线性规划问题。我们强调的事实是，与大多数关于这个问题的作品，没有二阶假设和/或凸性假设。收敛速率与一阶方法中常见的收敛速度具有相同的形式。
2015-03-30 math.OC
A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems
Zhejiang University City College（浙大城市学院）；Southwest Jiaotong University（西南交通大学）；The Hong Kong Polytechnic University（香港理工大学）；National University of Singapore（新加坡国立大学）
本文考虑高维非凸平方根损失回归问题，并提出了一种近似优化最小化算法。我们的关键思想，使建议的PMM是有效的是开发一个稀疏半光滑牛顿方法来解决相应的子问题。利用下划线问题中的Kurdyka-Schojasiewicz性质，证明了PMM算法收敛于d-平稳点.我们还分析了算法中初始子问题的预言性质。大量的数值实验证明了所提出的PMM算法的高效率。
2020-05-27 cs.LG cs.NA math.NA
Stochastic Majorization-Minimization Algorithms for Large-Scale Optimization
INRIA Grenoble（法国国家信息与自动化研究所格勒诺布尔分部）
优化最小化算法包括迭代地最小化目标函数的优化代理。由于它的简单性和广泛的适用性，这个原则在统计学和信号处理中非常流行。在本文中，我们打算使这一原则可扩展。我们引入了一个随机优化最小化方案，它能够处理大规模或可能无限的数据集。当适用于凸优化问题在适当的假设下，我们表明，它达到了预期的收敛速度的$O(1/\sqrt{n})$ $n$迭代后，和$O(1/n)$强凸函数。同样重要的是，我们的计划几乎肯定收敛到一个大类的非凸问题的驻点。我们开发了几个有效的算法基于我们的框架。首先，我们提出了一个新的随机邻近梯度方法，实验匹配国家的最先进的大规模$\ell_1$-逻辑斯谛回归的求解器。其次，我们提出了一个非凸稀疏估计的在线DC规划算法。最后，我们证明了我们的方法解决大规模结构矩阵分解问题的有效性。
2013-09-10 cs.LG math.OC stat.ML
Majorization-minimization for Sparse Nonnegative Matrix Factorization with the $β$-divergence
Aix-Marseille Université（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；IRIT（图里尔信息学研究所）；Université de Toulouse（图卢兹大学）；Toulouse INP（图卢兹国立综合理工学院）
针对带β散度的稀疏非负矩阵分解优化难题，提出基于重参数化的块下降优化最小化算法，适用于任意β散度且有收敛保证，在多数据集上实现相当精度下CPU耗时显著降低。
2024-03-12 cs.LG math.OC
Majorization-Minimization for sparse SVMs
Graz University of Technology（格拉茨工业大学）；University of Bath（巴斯大学）；University of Trieste（的里雅斯特大学）；Inria（法国国家信息与自动化研究所）；CentraleSupélec（巴黎中央理工-高等电力学院）；University Paris Saclay（巴黎萨克雷大学）
本文提出一种基于主化-最小化方法的平滑稀疏正则化平方铰链损失来训练 SVM，利用 Lipschitz 可微性加速训练，并通过稀疏正则化选择重要特征，在三个数据集上验证了其性能优于现有方法。
2023-08-31 cs.LG math.OC
First-order Methods for Unconstrained Vector Optimization Problems: A Unified Majorization-Minimization Perspective
College of Mathematics, Sichuan University（四川大学数学学院）；National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学重庆应用数学国家中心）
本文提出了一种统一的主导最小化方法，通过缩小替代函数与目标函数之间的差距来提升一阶方法在无约束向量优化问题中的性能。
2026-01-13 math.OC
First-order majorization-minimization meets high-order majorant: Boosted inexact high-order forward-backward method
本文提出基于高阶majorant的一阶majorization-minimization框架，开发了高阶非精确前向-后向算法（HiFBA）及其增强变体，在Kurdyka-Łojasiewicz条件下证明全局线性收敛，并在线性逆问题和NMF实验中展示高效性。
2025-10-25 math.OC
Convergence analysis of stochastic higher-order majorization-minimization algorithms
提出随机高阶Majorization-Minimization算法框架，通过随机高阶上界近似与minibatching优化大量光滑函数平均值，推导了非凸与凸问题的收敛性，并证明局部收敛速率从次线性到线性或超线性。
2024-01-10 math.OC
Stochastic Variance-Reduced Majorization-Minimization Algorithms
本文提出三种随机方差缩减的优化-最小化算法，用于解决非凸非光滑的大和优化问题，并证明其收敛性及最优复杂度，在稀疏分类和神经网络上验证了有效性。
2023-05-11 cs.NA math.NA math.OC
Majorization-Minimization-Based Levenberg--Marquardt Method for Constrained Nonlinear Least Squares
针对带凸约束的非线性最小二乘问题，提出一种基于majorization-minimization视角的新型LM方法，通过新阻尼参数更新规则结合加速投影梯度法，兼具全局与局部收敛性，实验验证收敛更优。
2022-12-15 math.OC
Incremental Majorization-Minimization Optimization with Application to Large-Scale Machine Learning
Inria（法国国家信息与自动化研究所）；Laboratoire Jean Kuntzmann（让·库茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
优化最小化算法包括连续地最小化目标函数的一系列上界。这些上界在当前估计值处很紧，并且每次迭代单调地驱动目标函数下降。这一简单的原理在各个科学领域，特别是在信号处理和统计学领域，都有着广泛的应用。在本文中，我们提出了一个增量优化最小化计划最小化大量的连续函数，在机器学习中的一个至关重要的问题。我们提出了收敛保证非凸和凸优化时的上界近似的目标到一个光滑的错误，我们称这样的上界“一阶代理函数”。更确切地说，我们研究了非凸问题的渐近稳定点保证，对于凸问题，我们提供了预期目标函数值的收敛速度。将该算法应用于复合优化问题，得到了一个新的强凸函数的具有线性收敛速率的增量邻近梯度算法。在我们的实验中，我们表明，我们的方法是有竞争力的解决机器学习问题，如逻辑斯谛回归的最先进的训练样本的数量是足够大的，我们证明了它的有用性稀疏估计与非凸处罚。
2015-02-01 cs.LG math.OC stat.ML
Relaxed Majorization-Minimization for Non-smooth and Non-convex Optimization
Peking University（北京大学）；Shanghai Jiaotong University（上海交通大学）；National University of Defense Technology（国防科技大学）
本文提出了一种新的松弛主导最小化方法，用于非光滑和非凸优化问题，该方法能涵盖现有主导最小化方法。通过弱化条件，允许使用直接逼近非光滑目标函数的替代函数，在鲁棒矩阵分解问题中表现出优势。
2015-11-25 cs.LG cs.NA math.NA
Design of PAR-Constrained Sequences for MIMO Channel Estimation via Majorization-Minimization
PAR约束序列由于各种实际需要而广泛应用于通信系统和雷达中，具体地，要求序列是单模的或具有低峰均功率比（PAR）。对于幺模序列设计，大量的努力致力于获得良好的相关性能。然而，关于信道估计，具有这种属性的序列不一定有助于产生最优估计。特别是当考虑到信道的先验知识时，针对有关的特定标准定制的单模序列是期望的。在本文中，我们制定的最佳单模序列设计问题的最小均方误差估计的信道冲激响应和条件互信息最大化，分别。基于优化最小化框架的有效算法，提出了这两个问题的保证收敛。由于幺模约束是低PAR约束的一种特殊情况，因此也考虑了低PAR的最优序列。数值例子表明，所提出的训练序列的性能，与衍生算法的效率证明。
2016-02-29 cs.IT math.IT math.OC
A Majorization-Minimization Based Method for Nonconvex Inverse Rig Problems in Facial Animation: Algorithm Derivation
面部动画的自动化方法是现代工业中的必要工具，因为标准的blendshape头部模型由数百个控制器组成，手动方法非常缓慢。已经提出了不同的解决方案，实时产生输出或针对不同的面部拓扑进行良好的概括。然而，所有这些现有的工作考虑的融合变形函数的线性逼近，因此不提供足够高的现代现实人脸重建的细节水平。我们建立了一个方法来解决逆钻机blendshape动画使用二次校正条款，提高精度。同时，由于所提出的目标函数的构造，与现有技术的方法相比，它产生了更稀疏的估计权向量。前一个功能意味着对解决方案的后续手动更正的需求较低，而后者表明手动修改也更容易包括在内。我们的算法是迭代的，并采用了Majorization Minimization范式，以应付增加的复杂性所产生的添加校正条款。代理函数很容易求解，并且允许在每次迭代中在组件级别上进一步并行化。本文是对随附论文Racković等人（2023）的补充，在该论文中，我们提供了详细的实验结果和讨论，包括高度逼真的动画数据，并显示了与最先进的方法相比，结果的明显优越性。
2023-03-27 math.OC
A Look at the Generalized Heron Problem through the Lens of Majorization-Minimization
利用Majorization-Minimization原理和微分学技术，提出一种快速算法求解欧几里得范数下的广义Heron问题。
2012-05-23 cs.NA math.NA math.OC
Convergence and complexity of block majorization-minimization for constrained block-Riemannian optimization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan（密歇根大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了一种基于块最大化解的算法，用于解决具有约束的非凸优化问题，并证明了其在黎曼流形上的收敛性和复杂性。
2024-08-06 math.OC stat.ML
Majorization Minimization Methods for Distributed Pose Graph Optimization
Meta AI；Northwestern University（西北大学）
研究了在多机器人同时定位与地图构建中具有重要应用的分布式位姿图优化问题。我们提出了优化最小化（MM）方法的分布式PGO（$\mathsf{MM-PGO}$），适用于广泛的一类鲁棒损失内核。$\mathsf{MM-PGO}$方法是保证收敛到一阶临界点在温和的条件下。此外，注意到$\mathsf{MM-PGO}$方法让人想起邻近方法，我们利用Nesterov的方法，并采用自适应重启来加速收敛。由此产生的加速MM方法的分布式PGO -在网络中的主节点（$\mathsf{AMM-PGO}^*$）和没有（$\mathsf{AMM-PGO}^{\#}$）-具有更快的收敛速度相比，$\mathsf{AMM-PGO}$方法，而不牺牲理论保证。特别地，不需要主节点并且完全分散的$\mathsf{AMM-PGO}^{\#}$方法以新颖的自适应重启方案为特征，并且具有与使用主节点来聚集来自所有其他节点的信息的$\mathsf{AMM-PGO}^*$方法相当的收敛速率。通过对2D和3D SLAM基准数据集的广泛应用以及与现有最先进方法的全面比较，验证了这项工作的有效性，表明我们的MM方法收敛更快，并为分布式PGO提供了更好的解决方案。
2023-01-23 cs.RO math.OC
Stochastic regularized majorization-minimization with weakly convex and multi-convex surrogates
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
随机优化最小化（SMM）是一类随机最优化算法，其通过采样新数据点并最小化目标函数的代理函数的递归平均来进行。代理需要是强凸的，一般非凸设置的收敛速度分析不可用。在本文中，我们提出了一个扩展的SMM代理人只允许是弱凸或块多凸，平均代理人近似最小化与近端正则化或块最小化内半径减小，分别。对于非独立同分布的一般非凸约束情形，数据样本，我们表明，所提出的算法的一阶最优性差距衰减率$O((\log n)^{1+ε}/n^{1/2})$的经验损失和$O((\log n)^{1+ε}/n^{1/4})$的预期损失，其中$n$表示处理的数据样本的数量。在一些附加的假设下，后者的收敛速度可以提高到$O((\log n)^{1+ε}/n^{1/2})$。作为推论，我们获得了一般非凸依赖数据设置下的各种最优化方法的第一收敛速度界：双平均投影梯度下降及其推广，近点经验风险最小化，和在线矩阵/张量分解算法。我们还提供了实验验证我们的结果。
2023-03-21 cs.LG math.OC stat.ML
Variable Bregman Majorization-Minimization Algorithm and its Application to Dirichlet Maximum Likelihood Estimation
TU Berlin（柏林工业大学）；Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CentraleSupélec（中央理工-高等电力学院）；ÉTS Montréal（蒙特利尔工程学院）
本文提出可变Bregman Majorization-Minimization（VBMM）算法，通过允许Bregman函数在每次迭代中自适应变化来加速凸优化收敛，并将其成功应用于Dirichlet分布的多维参数最大似然估计，数值实验验证了其收敛速度优于现有方法。
2025-02-05 cs.LG math.OC
Parametric Majorization for Data-Driven Energy Minimization Methods
University of Siegen（锡根大学）
能量最小化方法是众多计算机视觉应用中的经典工具。虽然它们是可解释的，也是经过充分研究的，但它们的规律性假设很难手工设计。另一方面，深度学习技术是纯粹的数据驱动，通常提供出色的结果，但很难约束到预定义的物理或安全关键模型。这两种方法之间的一种可能的组合是设计一个参数能量和训练的自由参数，以这样的方式，能量的最小值对应于一组训练示例的期望的解决方案。不幸的是，这样的公式化通常导致双层最优化问题，在该双层最优化问题上，常见的优化算法难以缩放到数据处理和效率的现代要求。在这项工作中，我们提出了一种新的策略来优化这些双层问题。我们调查代理单级问题，优化的目标问题，可以实现与现有的工具，导致高效的算法，而不会崩溃的能量函数。这种策略框架为从大数据中训练参数化能量极小化模型提供了新的途径。
2019-08-17 cs.CV cs.LG math.OC
Majorization-minimization Bregman proximal gradient algorithms for NMF with the Kullback--Leibler divergence
Graduate School of Information Science and Technology, The University of Tokyo（东京大学大学院信息理工学系研究科）；Department of Statistical Inference and Mathematics, The Institute of Statistical Mathematics（统计数学研究所统计推断与数学系）；The Graduate University for Advanced Studies（日本高级研究院）
本文提出基于KL散度的非负矩阵分解算法，通过同时更新所有变量实现高效收敛，改进了传统交替更新方法。
2025-08-22 math.OC
Tight Majorizations and Convergence Rates of Nuclear Norm Minimization IRLS
University of Central Florida（中佛罗里达大学）；Wirtschaftsuniversität Wien（维也纳经济大学）；KU Eichstätt-Ingolstadt（艾希施泰特-英戈尔施塔特大学）
本文针对低秩恢复的约束核范数最小化问题，通过新的上界分析证明调和均值权重算子的最优性，给出IRLS算法的收敛速率，并经数值实验验证其优于单侧重加权方案。
2026-08-26 cs.LG cs.NA math.NA
Inertial Quadratic Majorization Minimization with Application to Kernel Regularized Learning
本文提出QMME框架，通过固定曲率二次上界最小化结合外推，在保持低迭代成本的同时提升收敛速度，并成功应用于大规模核正则化学习，提出基于Sylvester方程的核多项回归建模方法。
2025-07-06 cs.LG math.OC stat.ML
Distance Majorization and Its Applications
在应用数学中，求闭凸集交上连续可微凸函数的极小化问题是一个普遍存在的问题。当它很容易投射到每一个单独的集合上，但投射到它们的交集上时，它特别有趣。基于牛顿法的算法，如内点法，适用于小到中等规模的问题。然而，统计学、工程学和机器学习的现代应用可能会带来数万个或更多参数的问题。我们重新审视这个凸规划问题，并提出了一个算法，规模以及与维度。我们的建议是一个连续的无约束极小化技术的一个实例，并围绕着三个想法：优化最小化（MM）原则，经典的惩罚约束优化方法，拟牛顿加速定点算法。我们的距离优化算法的性能说明在几个应用程序。
2013-06-11 math.OC stat.CO stat.ML
A Majorization-Minimization Approach to Design of Power Transmission Networks
我们提出了一种优化方法来设计具有成本效益的电力传输网络。也就是说，我们的目标是选择网络结构和线路电导（线路尺寸），以优化网络效率（传输网络内的低功耗）和构建网络的成本之间的权衡。我们从基于论文“Minimizing Effective Resistance of a Graph”[Ghosh，Boyd \& Saberi]的凸优化方法开始。我们表明，这种（直流）电阻网络方法可以适应的情况下，交流功率流。然而，这并没有解决选择网络结构的组合方面。我们将这个问题视为在过完备网络中选择一个子图，假设最小化（凸）网络功耗加上线路电导的非凸成本，这鼓励稀疏网络，其中许多线路电导被设置为零。我们开发了一种启发式方法来解决这个非凸优化问题，使用：（1）连续的方法来插值从光滑，凸问题（非光滑，非凸）组合问题，（2）优化最小化算法执行必要的中间光滑，但非凸优化步骤。最终，这涉及到解决一系列的凸优化问题，其中我们迭代地重新加权线电导的线性成本，以适应实际的非凸成本。几个例子表明，整体方法是一个很好的启发式网络设计。我们还考虑如何获得稀疏网络，仍然是强大的线路和/或发电机故障。
2010-09-13 cs.CE math.OC
Block majorization-minimization with diminishing radius for constrained nonsmooth nonconvex optimization
针对约束非光滑非凸优化，提出带递减半径的块状最小化-最大化算法，改进复杂度至不依赖强凸参数，并应用于多种算法，数值验证加速收敛。
2024-11-29 math.OC stat.ML
Unsupervised Feature Selection via Nonnegative Orthogonal Constrained Regularized Minimization
本文提出了一种基于非负正交约束正则化最小化的无监督特征选择模型，采用不精确增广拉格朗日乘子法求解并证明了其全局收敛性，实验表明该方法具有稳定性和鲁棒性且优于现有最先进方法。
2024-03-25 math.OC
Equivalence and Strong Equivalence between Sparsest and Least $\ell_1$-Norm Nonnegative Solutions of Linear Systems and Their Application
许多实际问题都可以转化为具有非负约束的l0-极小化问题，它寻求欠定线性系的稀疏非负解。最近的研究表明，l1-极小化是有效的解决某些类型的l0-极小化问题。然而，从数学的角度来看，对l0-和l1-最小化之间关系的理解仍然不完整。在本文中，我们进一步讨论与这两个问题相关的几个理论问题。例如，如何完整地刻画线性系的最小l1范数非负解的唯一性，是否存在不同于现有矩阵性质的另一种矩阵性质，能够完整地刻画K-稀疏非负向量的一致恢复性？证明了线性规划的基本严格互补定理可以给出一个线性系存在唯一的最小l1-范数非负解的充要条件。这个条件自然地导致所谓的范围空间属性（RSP）和“满列秩”属性，它们共同提供了对l0-和l1-最小化之间关系的广泛理解。出于这些结果，我们引入的概念的“RSP的顺序K”，原来是一个完整的表征K-稀疏非负向量的均匀恢复。这一概念也使我们能够通过所谓的弱范围空间性质，为稀疏非负向量的非均匀恢复提供一定的条件。
2013-12-15 math.OC
Nonnegative Matrix Factorization and I-Divergence Alternating Minimization
本文考虑非负矩阵分解（NMF）问题：给定一个（按元素）非负矩阵$V \in \R_+^{m\times n}$，对指定的$k$，求非负矩阵$W\in\R_+^{m\times k}$和$H\in\R_+^{k\times n}$，使得$V=WH$ .精确的，非平凡的，非负的因子分解并不总是存在，因此提出近似NMF问题是有趣的。通常采用的准则是非负矩阵之间的I-发散。问题变成了对于指定的$k$，在I-发散中找到最接近$V$的因子分解$WH$。文献中提出了一种构造最佳对$(W, H)$的类似EM的迭代算法。在本文中，我们将该算法解释为csiszár-Tusnády的交替最小化过程，并研究其一些稳定性性质。NMF作为一种数据分析方法在与正性约束相关的应用中得到了广泛的应用。还有其他的数据分析方法，它们施加了某种形式的非负性：我们在这里讨论NMF和原型分析之间的联系。
2005-07-13 math.OC math.PR
Approximation of Nonnegative Systems by Finite Impulse Response Convolutions
基于对输入/输出信号对的重复观测，通过有限冲激响应卷积，提出了标量非负输入/输出系统的确定性、非参数逼近问题.该问题转化为一个具有特殊结构的非负矩阵分解，我们使用Csiszár的I-发散作为最优性的标准。条件给出，在输入/输出数据，保证最小值的存在性和唯一性。本文提出了一个交替极小化型的标准算法，并研究了它的渐近性质。我们还提供了一个统计版本的最小化问题，并给出其大样本性质。
2013-07-10 math.OC
Approximate Nonnegative Matrix Factorization via Alternating Minimization
本文考虑非负矩阵分解（NMF）问题：给定一个（按元素）非负矩阵$V \in \R_+^{m\times n}$，对指定的$k$，求非负矩阵$W\in\R_+^{m\times k}$和$H\in\R_+^{k\times n}$，使得$V=WH$ .精确的，非平凡的，非负的因子分解并不总是存在，因此提出近似NMF问题是有趣的。通常采用的准则是非负矩阵之间的I-发散。问题变成了对于指定的$k$，在I-发散中找到最接近$V$的因子分解$WH$。文献中提出了一种构造最佳对$(W, H)$的类似EM的迭代算法。在本文中，我们解释的算法作为一个交替的最小化过程La Csiszár-Tusnády和调查它的一些稳定性。NMF作为一种数据分析方法在与正性约束相关的应用中得到了广泛的应用。还有其他的数据分析方法，它们施加了某种形式的非负性：我们在这里讨论NMF和原型分析之间的联系。NMF的一个有趣的系统理论应用是隐马尔可夫模型的近似实现问题。
2004-02-13 math.OC math.PR
Approximation of nonnegative systems by moving averages of fixed order
基于对输入输出信号对的重复观测，提出了标量非负输入输出系统的冲激响应有穷级卷积逼近问题，即有穷级移动平均逼近问题.该问题转化为一个具有特殊结构的非负矩阵分解，我们使用Csiszár的I-发散作为最优性的标准。条件给出，在输入/输出数据，保证最小值的存在性和唯一性。本文提出了一个交替极小化型的I-散度极小化算法，并给出了它的渐近性质。对于噪声观测的情况下，我们给出了不同观测制度的最小化问题的统计版本的大样本性质。数值实验证实了所提出的算法的渐近结果和快速收敛性。
2018-10-24 math.OC
An Alternating Minimization Algorithm for Federated Sparse Orthogonal Nonnegative Matrix Factorization
School of Intelligent Systems Engineering, Sun Yat-sen University（中山大学智能系统工程学院）；School of Mechatronic Engineering and Automation, Shanghai University（上海大学机电工程与自动化学院）
本文针对联邦稀疏正交非负矩阵分解的客户端漂移问题，开发了带变量拆分和梯度校正项的交替最小化算法，理论证明其次线性收敛，实验验证了良好的收敛性与聚类性能。
2026-10-16 math.OC
Coordinate projected gradient descent minimization and its application to orthogonal nonnegative matrix factorization
针对大规模复合非凸优化问题，提出一种带自适应步长的循环坐标下降法，证明了其下降性质与最坏复杂度，并成功应用于正交非负矩阵分解。
2025-04-01 math.OC
A Second-Order Majorant Algorithm for Nonnegative Matrix Factorization
IMT Atlantique, UMR CNRS 6285 Lab-STICC（IMT Atlantique，CNRS 6285 Lab-STICC）
本文提出非负矩阵分解的二阶主导（SOM）框架及其快速变体mSOM，通过主导Hessian矩阵构造局部二次主导函数，实现线性收敛并全局收敛到稳定点，实验证明其性能优于现有算法。
2025-06-18 cs.LG math.OC
Multi-block Bregman proximal alternating linearized minimization and its application to orthogonal nonnegative matrix factorization
我们介绍并分析了BPALM和A-BPALM，这两个使用Bregman距离的多块邻近交替线性化最小化算法用于解决结构化非凸问题。目标函数是多块相对光滑函数（即，相对光滑的固定所有的块除了一个）和块可分（非光滑）的非凸函数。结果表明，我们的算法所产生的序列是逐次收敛到目标函数的临界点，而在KL不等式假设下，它们是全局收敛的。进一步分析了满足梯度不等式的函数的收敛速率.我们应用这个框架的正交非负矩阵分解（ONMF），满足我们所有的假设和相关的子问题解决封闭的形式，其中一些初步的数值结果报告。
2019-10-14 cs.NA math.NA math.OC
Recovering Sparse Nonnegative Signals via Non-convex Fraction Function Penalty
现实世界中的许多实际问题都可以转化为具有非负约束的$\ell_{0}$ -极小化问题，它寻求欠定线性系的稀疏非负信号。它们在信号与图像处理、机器学习、模式识别和计算机视觉等领域有着广泛的应用。不幸的是，这个具有非负约束的$\ell_{0}$ -极小化问题是计算性的和NP-困难的，因为$\ell_{0}$ -范数的离散和不连续的性质。本文用一个非凸分式函数代替$\ell_{0}$ -范数，研究了这种非凸分式函数在从欠定线性系恢复稀疏非负信号中的极小化问题。首先讨论了$(P_{0}^{\geq})$与$(FP_{a}^{\geq})$的等价性，以及$(FP_{a}^{\geq})$与$(FP_{a,λ}^{\geq})$的等价性。证明了在满足一定条件的情况下，通过求解正则化问题$(FP_{a,λ}^{\geq})$可以近似地得到问题$(P_{0}^{\geq})$的最优解。其次，我们提出了一个非负的迭代阈值算法来解决正则化问题$(FP_{a,λ}^{\geq})$的所有$a>0$。最后，对稀疏非负信号恢复问题的数值实验表明，与线性规划相比，该方法能有效地发现稀疏非负信号。
2017-08-26 math.OC
Efficient Algorithms for Regularized Nonnegative Scale-invariant Low-rank Approximation Models
INSA Lyon（里昂国立应用科学学院）；UCBL（里昂第一大学）；CNRS（法国国家科学研究中心）；Inserm（法国国家健康与医学研究院）；Innopolis University（因诺波利斯大学）
本文研究了齐次正则化尺度不变模型，证明了尺度不变性引发的隐式正则化效应，并提出了一种具有收敛保证的通用MM算法，用于处理非欧几里得损失下的非负低秩近似问题。
2025-01-30 cs.LG cs.NA math.NA
Inexact Newton method for minimization of convex piecewise quadratic functions
研究了凸分段二次函数数值极小化问题的一种不精确牛顿型方法，并分析了其收敛性。早些时候，一个类似的方法被成功地应用于优化问题中出现的数值网格生成。该方法可用于计算线性方程的欠定组的最小范数非负解，也可用于求凸多面体间的距离。该方法的性能进行了测试，使用的样本数据从NETLIB家庭的佛罗里达大学的稀疏矩阵收集以及准随机数据。
2019-01-10 math.OC
Quartic First-Order Methods for Low-Rank Minimization
研究了低秩极小化问题的一个推广的非凸Burer-Monteiro公式。我们使用最近的结果，非欧几里德一阶方法，提供高效和可扩展的算法。我们的方法使用的几何形状诱导的四次内核矩阵空间;对于无约束的情况下，我们引入了一个新的家庭的革兰氏内核，大大提高了数值性能。欧氏距离矩阵完成和对称非负矩阵分解的数值实验表明，我们的算法规模以及达到最先进的性能相比，专门的方法。
2021-02-17 math.OC
