On solving a rank regularized minimization problem via equivalent factorized column-sparse regularized models
本文研究秩正则化最小化的矩阵分解列稀疏模型，建立其与原问题及非凸松弛在全局极小点和强驻点意义下的等价性，并提出两种自适应高效算法。
2024-05-20 math.OC
Bregman Finito/MISO for nonconvex regularized finite sum minimization without Lipschitz gradient continuity
该研究提出两种基于相对光滑性的非凸正则化有限和最小化算法，以Bregman Moreau包络为Lyapunov函数简化分析，在不同采样和凸性条件下得到收敛结果。
2022-03-02 math.OC
Adaptive iterative singular value thresholding algorithm to low-rank matrix recovery
从线性约束中恢复低秩矩阵的问题，称为仿射矩阵秩最小化问题，近年来受到了广泛的关注。一般来说，仿射矩阵秩最小化问题是一个NP难问题。在我们的最新工作中，研究了一个非凸分式函数来近似仿射矩阵秩最小化问题中的秩函数，并将NP难仿射矩阵秩最小化问题转化为一个变换的仿射矩阵秩最小化问题。提出了一种迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。然而，我们的迭代奇异值阈值算法的缺点之一是，参数$a$，它影响的行为的非凸分数函数的正则化变换仿射矩阵秩最小化问题，需要手动确定在每个模拟。实际上，如何确定最优参数$a$并不是一个容易的问题。在这里，相反，在本文中，我们将产生一个自适应迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。当这样做时，我们的新算法对于正则化参数$λ$和参数$a$的选择都是智能的。
2020-01-30 math.OC
Group zero-norm regularized robust loss minimization: proximal MM method and statistical error bound
本文研究组零范数正则化鲁棒损失最小化问题，提出近端MM算法求解等价DC代理优化问题，证明其在KL性质下的全局收敛性并推导统计误差界，数值实验验证了其优于pADMM的计算效率。
2025-05-29 math.OC
A proximal MM method for the zero-norm regularized PLQ composite optimization problem
研究了一类零范数正则化分段线性二次（PLQ）复合极小化问题，其中零范数正则化$\ell_1$ -损失极小化问题是其特例.对于这类非凸非光滑问题，我们证明了其等价的MPEC重构在全局最优解集上是部分平静的，并利用这一性质导出了一族等价的DC代理。然后，我们提出了一个近似的优化最小化（MM）方法，凸松弛方法不在DC算法框架，解决一个DC代理人，这是一个包含三个非光滑项的最小化问题。对于这种方法，我们建立了它的整体收敛和线性收敛速率，并在适当的条件下证明了生成序列的极限不仅是局部最优值，而且是统计意义上的好的临界点。数值实验进行了合成和真实数据的近端MM方法的子问题解决的对偶半光滑牛顿方法，以确认我们的理论研究结果，并与收敛的不定近端ADMM部分平滑DC代理验证其优越性的解决方案的质量和计算时间。
2020-01-17 math.OC
A Diagonal BFGS Update Algorithm with Inertia Acceleration Technology for Minimizations
本文提出一种结合对角拟牛顿更新、增强BFGS公式、外推与惯性加速技术的算法，用于非凸约束最小化问题，保证充分下降并实现全局线性收敛。
2025-07-07 math.OC
Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization
我们考虑一个一般的凸优化问题与正则化的经验风险最小化的线性预测。问题结构允许我们将其重新表述为一个凹凸鞍点问题。我们提出了一种随机原始-对偶坐标（SPDC）方法，该方法在随机选择的对偶变量上最大化和原始变量上最小化之间交替。对原始变量执行外推步骤以获得加速的收敛速度。我们还开发了一个小批量版本的SPDC方法，便于并行计算，并与加权采样概率的对偶变量，这具有更好的复杂性比均匀采样非归一化数据的扩展。无论是理论上还是经验上，我们都证明了SPDC方法比几种最先进的最优化方法具有相当或更好的性能。
2015-09-09 math.OC stat.ML
Regularized coordinate minimization for nonconvex composite optimization with application to quantized image compression
Politehnica Bucharest（布加勒斯特理工大学）；Gheorghe Mihoc-Caius Iacob Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy（罗马尼亚科学院格奥尔基·米霍克-卡尤斯·雅各布数学统计与应用数学研究所）
本文提出一种正则化循环坐标最小化方法求解非凸复合优化问题，应用于量化图像压缩，在KODAK和CLIC 2024数据集上低比特率下优于JPEG，且分类精度无明显下降。
2026-09-09 math.OC
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
我们考虑一个复合凸最小化问题与正则化的经验风险最小化，这经常出现在机器学习。本文提出了两种新的随机梯度法，它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法，因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外，我们的方法有理论支持的强和非强凸正则化，并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
Fast Nonsmooth Regularized Risk Minimization with Continuation
Hong Kong University of Science and Technology（香港科技大学）
在正则化风险最小化中，当损失和正则化都是非光滑的时，相关的优化问题变得特别困难。现有的方法要么有缓慢或不明确的收敛特性，被限制到有限的问题子类，或需要仔细设置的平滑参数。在本文中，我们提出了一个连续算法，适用于一个大类的非光滑正则化风险最小化问题，可以灵活地使用一些现有的解决方案的基本平滑子问题，并与收敛结果的整个算法，而不仅仅是它的一个子问题。特别是，当使用加速求解器，该算法实现了最快的已知速率的$O(1/T^2)$强凸问题，和$O(1/T)$一般凸问题。非光滑分类和回归任务的实验表明，该算法优于国家的最先进的。
2016-02-25 cs.LG math.OC stat.ML
Persistent Reductions in Regularized Loss Minimization for Variable Selection
在多面体规范的正则化损失最小化的背景下，我们表明，对于广泛的损失函数类（可能是非光滑和非凸的）并且在输入数据的简单几何条件下，可以有效地识别特征的子集，该特征的子集被保证在具有来自所述类别的损失函数的所有问题中的所有最优解中具有零系数，在对原始问题执行任何迭代优化之前。此过程是独立的，只接受数据作为输入，不需要调用任何loss函数。因此，我们把这个过程作为上述一类正则化损失最小化问题的持续约简。这种减少可以有效地实现通过极端射线识别子程序应用于从数据点形成的多面体锥。我们采用现有的输出敏感算法的极端射线识别，这使得我们的保证和算法适用于超高维问题。
2020-11-30 cs.LG math.OC stat.ML
An Inexact Successive Quadratic Approximation Method for Convex L-1 Regularized Optimization
我们研究了一个牛顿式的方法来最小化一个目标函数，该目标函数是一个光滑的凸函数和一个l-1正则项的总和。该方法有时在文献中称为近似牛顿法，通过最小化目标函数的分段二次模型来计算步长。为了使这种方法在实践中有效，必须不精确地执行这种内部最小化。在本文中，我们给出了保证整体收敛和控制迭代局部收敛速率的不精确条件。我们的不精确条件是基于一个半光滑函数，它代表了问题的最优性条件的（连续）度量，并且体现了软阈值迭代。我们仔细考虑的算法内部最小化，并报告数值结果的两个测试集起源于机器学习。
2013-09-13 math.OC
Regularized methods via cubic model subspace minimization for nonconvex optimization
针对非凸优化自适应三次正则化方法的试探步计算问题，提出低维子空间重复利用的三次模型最小化新方法，辅以正则化牛顿步，保留经典方法最坏情况复杂度，实验表明其相比标准实现优势显著。
2024-11-28 cs.NA math.NA math.OC
Regularized quasi-monotone method for stochastic optimization
本文将文献[2]中的拟单调方法应用于随机背景下的复合凸极小化问题。对于所提出的数值方案，我们得出的最佳收敛速度的最后一个周期，而不是平均，因为它是标准的次梯度方法。通过对l1正则化稳健线性回归的数值实验，证实了正则化拟单调方法个体收敛的理论保证。
2021-07-08 math.OC
On two relaxations of quadratically-constrained cardinality minimization
本文考虑了二次约束基数最小化问题及其在数字滤波器设计、线性回归子集选择和投资组合选择中的应用。研究了两种弛豫：连续松弛的混合整数制定，和优化的对角松弛，利用一个简单的特殊情况下的问题。对于连续松弛，推导出最优成本的绝对上界，表明连续松弛往往是一个相对较差的近似。在计算实验中，对角松弛通常提供比连续松弛更强的边界，并且可以大大降低分支定界解的复杂性，即使在不是特别接近对角的情况下。相对于混合整数规划求解器CPLEX观察到类似的增益。基于这些结果，分析了对角松弛的近似性质。特别是，建立在定义的二次约束的矩阵的特征值的近似比的界限，也在对角占优和近坐标对齐的情况下。
2012-10-18 math.OC
RIP-based Performance Guarantee for Low Rank Matrix Recovery via $L_{*-F}$ Minimization
本文研究欠定线性系统中低秩矩阵恢复问题，提出以核范数与Frobenius范数之差为秩函数替代的 $L_{*-F}$ 最小化非凸松弛方法，并基于RIP条件分别给出无噪声和有噪声情形下的恢复误差上界与精确恢复充分条件。
2023-08-07 math.OC
Stochastic Dual Coordinate Ascent Methods for Regularized Loss Minimization
Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）
随机梯度下降算法由于其强大的理论保证，已成为解决大规模有监督机器学习优化问题（如支持向量机）的热门方法。虽然密切相关的双坐标上升（DCA）方法已在各种软件包中实现，但迄今为止缺乏良好的收敛性分析。本文提出了一种新的分析随机双坐标上升（SDCA）显示，这类方法享有强大的理论保证，是可比的或更好的SGD。该分析证明了SDCA在实际应用中的有效性。
2013-01-30 cs.LG math.OC stat.ML
A Matrix Splitting Method for Composite Function Minimization
复合函数最小化在计算机视觉和机器学习中具有广泛的应用。它包括有界约束优化和基数正则化优化作为特殊情况。本文提出并分析了一种新的求解复合函数极小化问题的矩阵分裂法。它可以看作是经典Gauss-Seidel方法和文献中求解线性系的逐次过松弛法的推广。矩阵分裂法是一种新的高斯消去法，具有先进的性能。对于凸问题，我们证明了MSM的整体收敛性、收敛速度和迭代复杂度;对于非凸问题，我们证明了MSM的整体收敛性。最后，我们验证了我们的矩阵分裂方法在两个特定的应用：非负矩阵分解和基数正则稀疏编码的性能。大量的实验表明，我们的方法优于现有的复合函数最小化技术的效率和功效。
2016-12-07 math.OC
Schatten-$p$ Quasi-Norm Regularized Matrix Optimization via Iterative Reweighted Singular Value Minimization
本文研究了Schatten-p准范数正则化的矩阵最小化问题，提出了一种迭代加权奇异值最小化方法，证明了其收敛性并展示了其在解质量和速度上的优势。
2016-10-31 cs.LG cs.NA math.NA
Iterative Reweighted Minimization Methods for $l_p$ Regularized Unconstrained Nonlinear Programming
Simon Fraser University（西蒙弗雷泽大学）
本文研究一般的$l_p$正则化无约束极小化问题。特别是，我们推导出一阶和二阶不动点的非零项的下界，因此也是局部极小的$l_p$最小化问题。我们扩展了一些现有的迭代加权$l_1$（IRL 1）和$l_2$（IRL 2）最小化方法来解决这些问题，并提出了新的变种，其中每个子问题有一个封闭的形式的解决方案。此外，我们提供了一个统一的收敛性分析，这些方法。此外，我们提出了一种新的Lipschitz连续$ε$ -逼近$\|x\|^p_p$ .利用这一结果，我们开发了新的IRL 1方法的$l_p$最小化问题，并表明，由这些方法产生的序列的任何积累点是一阶稳定点，提供的近似参数$ε$是低于一个可计算的门限值。这是一个显著的结果，因为所有现有的迭代重加权最小化方法都需要动态更新$ε$并使其接近零。我们的计算结果表明，在目标函数值和CPU时间方面，新的IRL 1方法通常比现有的IRL 1方法[21，18]更稳定。
2012-09-29 cs.LG math.OC stat.CO
Dynamic Non-Diagonal Regularization in Interior Point Methods for Linear and Convex Quadratic Programming
本文提出了一种动态非对角正则化的内点方法。该正则化的非对角方面是隐式的，因为正则化矩阵的所有非对角元素被牛顿系统中存在的那些元素抵消，这些元素在牛顿方向的计算中不贡献重要信息。这样的正则化有多个目标。最明显的一个是改善内点法每次迭代求解的牛顿系统的谱性质。另一方面，正则化矩阵向上述线性系引入稀疏性，从而允许更有效的因子分解。我们还提出了一个规则调整的正则化动态的基础上的问题的属性，使足够大的特征值的非正则化系统的扰动不显着。这说明需要通过实验来找到特定的正则化值，这是文献中最常见的方法。给出了非正则化系统矩阵特征值的扰动界，并讨论了正则化矩阵的谱性质。最后，我们证明了该方法适用于解决标准的中小型线性和凸二次规划测试问题的效率。
2019-02-13 math.OC
A Second-Order Method for Convex $\ell_1$-Regularized Optimization with Active Set Prediction
我们描述了一个有效集方法的目标函数$ϕ$，这是一个光滑的凸函数和$\ell_1$ -正则项的总和的最小化。该方法的一个显着特征是集成活动集识别和{二阶}子空间最小化步骤以结合这两种方法的预测能力的方式。在每次迭代中，该算法选择一个自由和固定变量的候选集，执行（不精确的）子空间阶段，然后评估新的活动集的质量。如果判断为不可接受，则限制自由变元的集合，并进行新的有效集预测。我们建立整体收敛我们的方法，并比较新的方法对国家的最先进的代码LIBLINEAR。
2015-05-16 math.OC
A multilevel stochastic regularized first-order method with application to finite sum minimization
本文提出了一种多级随机正则化一阶方法，用于解决非凸无约束优化问题，通过分层描述和随机模型实现更高效的收敛和计算。
2025-11-26 cs.NA math.NA math.OC
First-Order Methods for Nonconvex Quadratic Minimization
我们考虑最小化的不定二次与信赖域（范数）约束或立方正则化。尽管这些问题的非凸性，我们证明，在温和的假设下，梯度下降收敛到他们的整体解决方案，并给出了一个非渐近收敛速率的三次变量。我们还考虑Krylov子空间的解决方案，并建立信任域和正则化问题的解决方案的急剧收敛保证。我们的速率反映了这些方法在凸二次和特征向量问题上的行为，突出了它们的可扩展性。当我们使用Krylov子空间解来近似正则化牛顿步时，我们的结果恢复了已知的最强收敛保证，以近似一般光滑非凸函数的二阶稳定点。
2020-03-10 math.OC
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
Modified Block Newton Algorithm for $\ell_0$-Regularized Optimization
本文提出改进的块牛顿算法，用于解决ℓ0正则化稀疏优化问题，通过线搜索策略实现全局收敛并提高计算效率。
2025-11-25 math.OC
Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization
我们的工作主要集中在随机梯度法优化光滑非凸损失函数与非光滑非凸正则化。对这类问题的研究是相当有限的，直到最近没有非渐近收敛的结果已被报道。我们提出了两个简单的随机梯度算法，有限和一般的随机最优化问题，这具有优越的收敛复杂性相比，目前的最先进的。我们还比较了我们的算法的性能在实践中的经验风险最小化。
2019-05-14 math.OC
Alternating minimization algorithms for graph regularized tensor completion
Huawei European Research Institute（华为欧洲研究院）；LISN, INRIA, Université Paris-Saclay（法国国家信息与自动化研究所，巴黎萨克雷大学）；LSEC, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院科学与工程计算国家重点实验室）；Department of INMA, Université catholique de Louvain（鲁汶天主教大学）
针对图正则化张量补全问题，提出基于CP分解的交替最小化算法，利用块结构和共轭梯度或ADMM求解，保证全局收敛，并在合成与真实数据上提升恢复精度和时间效率。
2023-11-11 cs.LG cs.NA math.NA
Every critical point of an L0 composite minimization problem is a local minimizer
目前，L0最优化模型在许多领域追求稀疏性时显示出了其优越性。对于这类非凸问题，大多数算法只能收敛到其中一个临界点。本文考虑了一般的L0正则极小化问题，其中L0“范数”与一个连续映射合成。在一些温和的假设下，我们证明了这个问题的每个临界点都是局部极小点，从而改进了现有算法的收敛结果。令人惊讶的是，这个结论并不适用于低秩最小化，一个自然的矩阵扩展的L0“范数”的一个向量。
2019-12-10 math.OC
Linearly-constrained nonsmooth optimization for training autoencoders
针对一类两层神经网络的自编码器，提出了一种基于$l_1$范数惩罚的正则化极小化模型。我们表明，RP可以作为一个精确的惩罚模型，共享相同的全局极小，局部极小，d（方向）-平稳点与原来的正则化模型在温和的条件下。我们构造了一个有界的盒子区域，其中包含至少一个全局极小的RP，并提出了一个线性约束正则化极小化模型与$l_1$ -范数惩罚（LRP）的训练自动编码器。设计了一种光滑近似梯度算法来求解LRP。证明了算法收敛于RP和LRP的广义d-平稳点。综合数值实验令人信服地说明了所提出的算法的效率以及鲁棒性。
2022-04-21 math.OC
A New Lineserach for Accelerated Composite Minimization
Delft University of Technology（代尔夫特理工大学）；University of Toronto（多伦多大学）；Rotterdam School of Management, Erasmus University（伊拉斯姆斯大学鹿特丹管理学院）
本文提出了一种基于函数评估的新线搜索步长规则，用于加速和非加速梯度下降，适用于复合最小化和非凸最小化问题。
2026-09-04 math.OC
Decomposable Norm Minimization with Proximal-Gradient Homotopy Algorithm
研究了范数正则化线性最小二乘问题的近似梯度同伦算法的收敛速度。同伦算法在一系列步骤中减少正则化参数，并在每一步使用近似梯度算法来解决问题。如果目标函数是强凸的，并且目标函数的光滑分量的梯度是Lipschitz连续的，则近似梯度算法具有线性的收敛速率。在许多应用中，这类问题中的目标函数不是强凸的，特别是当问题是高维的并且正则化子被选择为引起稀疏性或低维性时。我们证明了，如果线性采样矩阵满足一定的假设且正则化范数是可分解的，那么即使目标函数不是强凸的，近似梯度同伦算法也能收敛于\emph{linear rate}.我们的结果推广了关于$l_1$ -正则化最小二乘问题同伦算法线性收敛性的结果。数值实验支持理论收敛速度分析。
2016-09-27 math.OC
On sparse solution of tensor complementarity problem
针对张量互补问题的最小基数稀疏解，本文揭示 Z-张量情形下可行解最小元与稀疏解的关系，并提出 p∈(0,1) 的 l_p 正则化极小化模型以逼近稀疏解。
2023-04-24 math.OC
A General Distributed Dual Coordinate Optimization Framework for Regularized Loss Minimization
Tencent AI Lab（腾讯人工智能实验室）
在现代大规模机器学习应用中，训练数据通常被划分并存储在多台机器上。通常采用“数据并行“方法，其中在不跨机器移动数据的情况下最小化聚合的训练损失。在本文中，我们介绍了一种新的分布式对偶公式的正则化损失最小化问题，可以直接处理数据并行在分布式设置。这个公式使我们能够系统地推导出对偶坐标优化程序，我们称之为分布式交替对偶最大化（DADM）。该框架扩展了（Boyd等人，2011; Ma等人，2015 a; Jaggi等人，2014; Yang，2013），并进行了严格的理论分析。此外，在新公式的帮助下，我们通过将加速技术（Shalev-Shwartz和Zhang，2014）推广到分布式设置来开发DADM的加速版本（Acc-DADM）。我们还提供了所提出的加速版本的理论结果，新结果改进了以前的结果（Yang，2013; Ma等人，2015 a），其运行时间在条件数上线性增长。我们的实证研究验证了我们的理论，并表明，我们的加速方法显着改善了以前的国家的最先进的分布式双坐标优化算法。
2017-08-25 cs.DC cs.LG math.OC
Inertial Quadratic Majorization Minimization with Application to Kernel Regularized Learning
本文提出QMME框架，通过固定曲率二次上界最小化结合外推，在保持低迭代成本的同时提升收敛速度，并成功应用于大规模核正则化学习，提出基于Sylvester方程的核多项回归建模方法。
2025-07-06 cs.LG math.OC stat.ML
Regularization of Limited Memory Quasi-Newton Methods for Large-Scale Nonconvex Minimization
本文讨论正则化牛顿法，一类灵活的无约束优化算法，线搜索和置信域方法的竞争力，并潜在地结合两者的吸引力元素。特别的重点是结合正则化与有限记忆拟牛顿法，利用有限记忆算法的特殊结构。在适当的假设下证明了正则化方法的整体收敛性，并讨论了正则化有限记忆拟牛顿更新的细节，包括它们的紧致表示.使用来自CUTEst集合的所有大规模测试问题的数值结果表明，我们的正则化版本的L-BFGS与最先进的线搜索和信赖域L-BFGS算法以及先前将L-BFGS与正则化相结合的尝试具有竞争力，同时可能优于其中一些，特别是当涉及非单调性时。
2022-07-11 cs.NA math.NA math.OC
Stochastic regularized majorization-minimization with weakly convex and multi-convex surrogates
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
随机优化最小化（SMM）是一类随机最优化算法，其通过采样新数据点并最小化目标函数的代理函数的递归平均来进行。代理需要是强凸的，一般非凸设置的收敛速度分析不可用。在本文中，我们提出了一个扩展的SMM代理人只允许是弱凸或块多凸，平均代理人近似最小化与近端正则化或块最小化内半径减小，分别。对于非独立同分布的一般非凸约束情形，数据样本，我们表明，所提出的算法的一阶最优性差距衰减率$O((\log n)^{1+ε}/n^{1/2})$的经验损失和$O((\log n)^{1+ε}/n^{1/4})$的预期损失，其中$n$表示处理的数据样本的数量。在一些附加的假设下，后者的收敛速度可以提高到$O((\log n)^{1+ε}/n^{1/2})$。作为推论，我们获得了一般非凸依赖数据设置下的各种最优化方法的第一收敛速度界：双平均投影梯度下降及其推广，近点经验风险最小化，和在线矩阵/张量分解算法。我们还提供了实验验证我们的结果。
2023-03-21 cs.LG math.OC stat.ML
Regularized unbalanced optimal transport as entropy minimization with respect to branching Brownian motion
考虑了在初始时刻和最终时刻，在密度约束下，关于分支布朗运动定律的熵最小化问题。我们把这个问题称为分支薛定谔问题，通过类比薛定谔问题，其中参考过程是布朗运动。而薛定谔问题与正则化（也称为正则化）有关。熵）最优输运，我们调查这里的分支薛定谔问题与正则化不平衡最优输运的联系。这种联系表现在两个层面上。首先，依赖于对偶的论点，这两个问题的值的变分是联系在一起的，在这个意义上，正规化的不平衡最优输运的值（被视为初始和最终措施的函数）是分支薛定谔问题的值的下半连续松弛。其次，我们还明确了这两个问题的竞争对手之间的对应关系，并为此目的，我们提供了一个很好的描述法律具有有限熵的参考分支布朗运动。我们调查的小噪声限制，当噪声强度的分支布朗运动去$0$：在这种情况下，我们表明，在水平的最优输运模型，有收敛到部分最优输运。我们还提供了正式的论点，为什么看分支布朗运动，而不是在其他测量值分支马尔可夫过程，如超过程，产生的问题最接近最优输运。最后，我们解释这个问题如何可以解决数值：正则化不平衡最优输运的动力学公式可以离散化，并通过凸优化解决。
2021-12-13 math.AP math.OC math.PR
Symplectic eigenvalues of positive-semidefinite matrices and the trace minimization theorem
对称正定矩阵的辛特征值通常通过Williamson对角形式来定义。标准本征值的许多性质，包括迹极小化定理，被推广到辛本征值的情形。本文将对称正定矩阵的Williamson对角形式推广到对称正半定矩阵的情形，从而定义了辛特征值，并证明了迹极小化定理.
2022-08-10 math.OC math.SP
KL property of exponent $1/2$ of $\ell_{2,0}$-norm and DC regularized factorizations for low-rank matrix recovery
South China University of Technology（华南理工大学）
本文研究秩正则化损失最小化问题的因式分解形式。为了满足只有粗略估计可用于真矩阵的秩的情况，将$\ell_{2,0}$范数正则化项添加到因子化的损失函数以自适应地降低秩;并且考虑因子分解中的模糊性，然后引入平衡项。对于最小二乘损失，在对采样算子的条件数作一定限制的假设下，建立了非光滑分解复合函数的指数$1/2$及其等价DC重构在其全局极小点集上的KL性质.我们还证实了理论研究结果，通过应用一个近似的线性化交替最小化方法的正则化因式分解。
2019-08-24 cs.LG math.OC stat.ML
On Fienup Methods for Regularized Phase Retrieval
交替最小化或Fienup方法在相位恢复中具有悠久的历史。我们提供了新的见解，这些算法的经验和理论分析时，与傅立叶测量和凸先验相结合。特别是，我们表明，Fienup方法可以被视为执行交替最小化的正则化非凸最小二乘问题的振幅测量。然后，我们证明，根据温和的额外的结构假设的先验（半代数），信号估计序列有一个光滑的收敛行为对非凸正则化最小二乘目标的临界点。最后，我们提出了一个扩展Fienup技术的基础上，预计梯度下降的解释和加速使用惯性条款。我们的实验表明，这种修改结合$\ell_1$之前构成了稀疏相位检索的竞争力的方法。
2017-02-27 cs.IT math.IT math.OC
Nonmonotone Barzilai-Borwein Gradient Algorithm for $\ell_1$-Regularized Nonsmooth Minimization in Compressive Sensing
Institute of Applied Mathematics, College of Mathematics and Information Science, Henan University（河南大学数学与信息科学学院应用数学研究所）；National Center for Theoretical Sciences (South), National Cheng Kung University（台湾成功大学南方理论科学中心）；Department of Applied Mathematics, Hong Kong Polytechnic University（香港理工大学应用数学系）
提出一种非单调Barzilai-Borwein梯度算法，通过局部二次模型和$\ell_1$范数结构生成下降方向，结合非单调线搜索，全局收敛，在压缩感知$\ell_1$正则化最小二乘问题上优于现有算法。
2012-07-19 cs.NA math.NA math.OC
Total-variation minimization with bound constraints
我们提出了一个强大的和易于实现的算法来解决约束最优化问题，涉及$L_1$ /全变差正则化条款，以及平等和不等式约束。我们讨论了我们的方法与Goldstein和Osher（2009）以及Chartrand和Wohlberg（2010）的早期工作的关系，并证明了我们的方法是增广拉格朗日方法与分裂和模型投影的组合。我们测试的地质力学问题的方法，并从嘈杂的表面隆起观测反演高度分隔的压力变化。最后，我们讨论了可能的扩展到广泛的一类正则化最优化问题的约束和等式约束的文件。
2015-05-21 math.OC
A Distributed Quasi-Newton Algorithm for Primal and Dual Regularized Empirical Risk Minimization
National University of Singapore（新加坡国立大学）；Wisconsin Institute for Discovery（威斯康星发现研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们提出了一个通信和计算效率的分布式优化算法，使用二阶信息解决经验风险最小化（ERM）问题的非光滑正则项。我们的算法是适用于原始和双重ERM问题。目前的二阶和拟牛顿方法，这个问题要么不工作，以及在分布式设置或工作，只有特定的正则化。我们的算法使用连续二次近似的光滑部分，我们描述了如何保持近似的（广义）海森和有效地解决子问题的分布式方式。当应用于分布式对偶ERM问题时，与仅采用Hessian的块对角部分的现有技术不同，我们的方法能够利用全局曲率信息，因此速度更快。所提出的方法具有全局线性收敛的广泛的非强凸问题，包括最常用的ERM，从而需要较低的通信复杂性。它还收敛于非凸问题，因此有可能用于深度学习等应用。计算结果表明，我们的方法显着改善了通信成本和运行时间比目前最先进的方法。
2019-12-12 cs.LG math.OC stat.ML
Iteration complexity analysis of random coordinate descent methods for $\ell_0$ regularized convex problems
本文分析了一类求解$\ell_0$正则化最优化问题的一般随机块坐标下降法，即目标函数由光滑凸函数和$\ell_0$正则化函数组成.我们的方法家族涵盖了诸如随机块坐标梯度下降和随机邻近坐标下降法等特殊情况。我们分析了必要的最优性条件，这个非凸$\ell_0$正则化问题，并设计了一个分离的局部极小值集的限制类的基础上的近似版本的目标函数。我们提供了一个统一的分析的几乎必然收敛这一家庭的块坐标下降算法，并证明，对于每个近似版本，极限点是局部极小从相应的限制类的局部极小。在强凸性假设下，我们证明了这类方法的概率线性收敛。
2014-07-18 math.OC
Exact low-dimensional reformulations for regularized spectral approximation
School of Data Science, Fudan University（复旦大学数据科学系）；State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院数学科学重点实验室）
该研究针对正则化谱近似问题及其加权变体，利用弱控制单调性、相容性与同时对角化条件建立了精确低维重构，并通过反例验证了同时对角化条件的必要性。
2026-08-28 cs.NA math.NA math.OC
Flatness of the nuclear norm sphere, simultaneous polarization, and uniqueness in nuclear norm minimization
本文通过同时极化的概念和核范数次微分的精确表达式，建立了核范数球面上存在线段（或平面）的充要条件.这是利用提供（点为基础的）充要条件和充分条件的唯一性的解决方案，最小化核范数的仿射流形。我们进一步建立了另一套充分条件的唯一性，基于核范数的次微分和问题定义的线性算子的范围的相互作用。最后，利用凸对偶，我们展示了如何将原问题的唯一性结果转化为一类具有严格凸保真度项的核范数正则化极小化问题。
2022-05-17 math.OC
A method for global minimization of nonconvex quadratic functions
Federation University Australia（联邦澳大利亚大学）；Banaaras Hindu University（贝拿勒斯印度教大学）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
针对箱约束下非凸二次函数的全局极小化问题，应用Gershgorin定理将主矩阵A约化为对角形式，通过研究DC分量的{\u03b5}-次微分设计出全局极小化该函数的方法。
2026-09-01 math.OC
Grid is Good: Adaptive Refinement Algorithms for Off-the-Grid Total Variation Minimization
提出了一种自适应精化算法来求解全变差正则化测度最优化问题。该方法基于i）离散化对偶问题的分辨率和ii）检测包含违反对偶约束的点的单元迭代地构造单位立方体的二元分区。检测是基于双证书上的上限，在分支定界法的精神。这种方法的好处在于避免了使用启发式方法来寻找双重证书的最大化者。我们证明了这种方法的收敛性温和的假设和线性收敛速率下额外的非退化假设。简单的数值实验证实了这些结果。
2023-01-18 math.OC
Learning Low-Complexity Autoregressive Models via Proximal Alternating Minimization
本文研究了在时间序列数据有限而非序列稳态数据丰富的情况下，向量自回归模型中状态转移阵的估计问题。为了利用这两个来源的数据，我们制定了最小二乘最小化问题正则化的李雅普诺夫惩罚。我们施加基数或秩约束，以减少自回归模型的复杂性。我们解决由此产生的非凸，非光滑的问题，使用邻近交替线性化方法（PALM）。我们证明了PALM是全局收敛到一个临界点，估计误差单调减小。此外，我们获得了显式的近似运算符，以方便实施的PALM。我们证明了所开发的方法的有效性合成和真实世界的数据。实验结果表明，PALM在计算效率和求解质量上都优于梯度投影法。
2018-09-19 math.OC
Smoothing technique for nonsmooth composite minimization with linear operator
介绍并分析了一种由线性算子构成的可微项与可逼近项之和的凸函数的极小化算法。该方法建立在最近开发的平滑间隙技术。除了一个精确的收敛速度的结果，有效的，即使在存在的线性包含约束，这种新方法允许一个明确的治疗梯度的可微函数，可以增强线搜索。我们还研究了在给定频率下重新启动算法加速的后果。这些新的功能是不经典的原始-对偶方法，使我们能够解决困难的大规模凸优化问题。我们数值说明了卓越的性能的算法的基础上追求，TV正则化最小二乘回归和L1回归问题对国家的最先进的。
2017-06-19 math.OC
Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
本文提出联邦学习算法 FedSMOO，通过动态正则化器与全局锐度感知最小化相结合，在优化一致性和泛化平坦性之间取得平衡，实现快速收敛和低泛化误差。
2024-04-01 cs.DC cs.LG math.OC
An Efficient ADMM Method for Ratio-Type Nonconvex and Nonsmooth Minimization in Sparse Recovery
本文针对非凸非光滑的比率型稀疏恢复问题，提出了一种高效的ADMM方法，在理论上证明了收敛性，并通过实验验证了其在稀疏恢复和神经网络稀疏化中的优越性能。
2025-09-26 math.OC
Block-Coordinate Minimization for Large SDPs with Block-Diagonal Constraints
Massachusetts Institute of Technology（麻省理工学院）
所谓的Burer-Monteiro方法是一种通过低秩分解求解大规模半定规划（SDP）的技术。其主要思想是解决排名限制，虽然非凸，代理人，而不是SDP。最近的工作表明，在一类重要的SDP优雅的几何结构，可以找到全局最优解的SDP通过寻找秩亏二阶临界点的无约束黎曼最优化问题。因此，在这样的问题中，Burer-Monteiro方法可以提供一个可扩展的和可靠的替代方案，可扩展性差的邻域点方法。在众多的黎曼最优化方法中，块坐标最小化方法因其简单性而备受关注。Erdogdu等人在他们最近的工作中提出了单位球面上笛卡儿积问题的迭代算法，并给出了算法的整体收敛速度估计。本文将Erdogdu等人的算法和整体收敛率分析从单位球面的笛卡儿积问题推广到Stiefel流形的笛卡儿积问题.后者更一般的设置有重要的应用，如同步的特殊正交（SO）和特殊欧几里德（SE）组。
2019-08-28 cs.LG math.OC
