Block Alternating Bregman Majorization Minimization with Extrapolation
本文考虑了一类非光滑非凸最优化问题，其目标函数为块相对光滑函数与真下连续块可分函数之和.虽然针对块$L$ -光滑函数类的块邻近梯度（BPG）方法的分析已经成功地扩展到处理块相对光滑函数类的Bregman BPG方法，但是加速Bregman BPG方法是稀缺的并且设计具有挑战性。从Nesterov型加速和优化-最小化方案中得到启发，提出了一种带外推的块交替Bregman优化-最小化框架（BMME）.在较弱的条件下证明了BMME的渐近收敛性，并在较强的条件下研究了其整体收敛性。我们证明了BMME在惩罚正交非负矩阵分解问题上的有效性。
2021-07-09 cs.NA eess.SP math.NA
A stochastic two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
本文提出STiBPALM算法，结合两步惯性与Bregman近端交替线性化及方差缩减随机梯度，用于求解大规模非凸非光滑优化问题，并证明其收敛性，通过稀疏非负矩阵分解和盲图像去模糊实验验证性能。
2023-07-11 math.OC
An inexact iterative Bregman method for optimal control problems
本文研究了一类带控制约束的最优控制问题的基于广义Bregman距离的非精确迭代正则化方法。我们证明了不精确Bregman方法的鲁棒性和收敛性的正则性假设下，这是一个组合的源条件和活性集的正则性假设。我们还考虑了离散化误差。数值结果证明了该算法。
2017-08-29 math.OC
Variable Bregman Majorization-Minimization Algorithm and its Application to Dirichlet Maximum Likelihood Estimation
TU Berlin（柏林工业大学）；Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CentraleSupélec（中央理工-高等电力学院）；ÉTS Montréal（蒙特利尔工程学院）
本文提出可变Bregman Majorization-Minimization（VBMM）算法，通过允许Bregman函数在每次迭代中自适应变化来加速凸优化收敛，并将其成功应用于Dirichlet分布的多维参数最大似然估计，数值实验验证了其收敛速度优于现有方法。
2025-02-05 cs.LG math.OC
Bregman Forward-Backward Operator Splitting
在自反巴拿赫空间中，建立了基于Bregman距离的两个单调算子和的前后向分裂算法的收敛性.即使在欧几里得空间中，该算法的收敛性迄今为止仅在极小化问题的情况下得到证明。所提出的框架的特点Bregman距离，随着迭代和一个新的假设，捕捉分散在文献中的各种属性的单值算子。在最小化设置，我们得到的利率比现有的更尖锐。
2020-09-28 math.OC
Bregman Finito/MISO for nonconvex regularized finite sum minimization without Lipschitz gradient continuity
该研究提出两种基于相对光滑性的非凸正则化有限和最小化算法，以Bregman Moreau包络为Lyapunov函数简化分析，在不同采样和凸性条件下得到收敛结果。
2022-03-02 math.OC
An iterative Bregman regularization method for optimal control problems with inequality constraints
研究了带控制约束的最优控制问题的迭代正则化方法。正则化方法基于广义Bregman距离。我们提供了一个源条件和正则性条件的组合下的有效集的收敛结果。我们并不假设所期望的状态是可达到的。此外，先验正则化误差估计。
2016-03-18 math.OC
A sharp regularization error estimate for bang-bang solutions for an iterative Bregman regularization method for optimal control problems
在目前的工作中，我们提出的数值结果的迭代法解决最优控制问题的不等式约束。该方法是基于广义Bregman距离。在有效集上的源条件和正则性条件的组合下，给出了收敛结果。此外，我们通过数值例子表明，所提供的先验估计是尖锐的bang-bang情况。
2016-06-06 math.OC
Bregman Proximal Gradient Algorithm with Extrapolation for a class of Nonconvex Nonsmooth Minimization Problems
在本文中，我们考虑一个加速方法解决非凸和非光滑极小化问题。我们提出了一个Bregman邻近梯度算法与外推（BPGe）。该算法扩展并加速了Bregman近似梯度算法（BPG），它绕过了近似梯度算法（PG）所需的限制性全局Lipschitz梯度连续性假设。BPGe算法比最近提出的带外推的邻近梯度算法（PGe）具有更高的通用性，并且由于外推步骤的存在，BPGe比BPG算法收敛更快。通过对收敛性的分析，证明了在适当选取参数的情况下，BPGe产生的序列的任何极限点都是问题的平稳点。此外，在Kurdyka-{K}ojasiewicz性质的假设下，证明了BPGe生成的序列整体收敛于一个平稳点.最后，为了说明新方法BPGe的潜力，我们将其应用于两个重要的实际问题，出现在许多基本的应用（不满足全局Lipschitz梯度连续性假设）：泊松线性逆问题和二次逆问题。在测试中，加速的BPGe算法显示出更快的收敛结果，给出了一个有趣的新算法。
2019-04-25 math.OC
Classical and Quantum Iterative Optimization Algorithms Based on Matrix Legendre-Bregman Projections
我们考虑Legendre-Bregman投影定义在厄米矩阵空间和设计迭代优化算法的基础上。建立了厄米矩阵上Bregman发散的一般对偶定理，它在证明迭代算法的收敛性中起着至关重要的作用.我们研究精确和近似Bregman投影算法。在Kullback-Leibler发散的特殊情况下，我们的近似迭代算法产生了用于最大熵推理的广义迭代缩放（GIS）算法和机器学习中的AdaBoost算法的非交换版本作为特殊情况。由于Legendre-Bregman投影是厄米矩阵上的简单矩阵函数，因此量子算法技术适用于在算法的每次迭代中实现潜在的加速。我们讨论了几个量子算法设计技术适用于我们的设置，包括光滑函数评估技术，两相量子最小值的发现，和NISQ吉布斯状态准备。
2022-09-28 math.OC quant-ph
A priori stopping rule for an iterative Bregman method for optimal control problems
在这篇文章中，我们继续我们的调查的迭代正则化方法的最优化问题的基础上Bregman距离。在$L^2(Ω)$中，最优化问题受逐点不等式约束。我们提供了扰动数据的噪声误差的估计，它可以用来构建一个先验的停止规则。此外，我们展示了如何实现我们的方法与半光滑牛顿法使用有限元和目前的数值结果的停止规则。
2016-08-24 math.OC
Multi-block Bregman proximal alternating linearized minimization and its application to orthogonal nonnegative matrix factorization
我们介绍并分析了BPALM和A-BPALM，这两个使用Bregman距离的多块邻近交替线性化最小化算法用于解决结构化非凸问题。目标函数是多块相对光滑函数（即，相对光滑的固定所有的块除了一个）和块可分（非光滑）的非凸函数。结果表明，我们的算法所产生的序列是逐次收敛到目标函数的临界点，而在KL不等式假设下，它们是全局收敛的。进一步分析了满足梯度不等式的函数的收敛速率.我们应用这个框架的正交非负矩阵分解（ONMF），满足我们所有的假设和相关的子问题解决封闭的形式，其中一些初步的数值结果报告。
2019-10-14 cs.NA math.NA math.OC
Accelerated Bregman gradient methods for relatively smooth and relatively Lipschitz continuous minimization problems
本文针对相对光滑与相对Lipschitz连续优化问题，提出多种带不精确oracle的加速Bregman梯度方法及自适应中间方法，并通过Poisson逆问题数值实验验证其优势。
2024-11-23 math.OC
Forward-Backward Splitting with Bregman Distances
针对一般自反巴拿赫空间中的复合极小化问题，提出了一种基于Bregman距离的前后向分裂算法.收敛性的建立使用可变的拟Bregman单调序列的概念。各种例子进行了讨论，包括一些在欧几里得空间，在那里获得新的算法。
2016-10-07 math.OC
Generalized minimizers of convex integral functionals, Bregman distance, Pythagorean identities
基于凸法向被积函数的积分泛函被最小化，受到许多矩约束。被积函数在正数上是有限的，在负数上是无限的，是严格凸的但不一定是可微的。在凸对偶的框架下，将最小化问题作为原问题与对偶问题一起研究。值函数的有效域用锥核来描述，锥核是对早期凸核概念的修正。极小化和广义极小化是显式地构造从修改的对偶问题的解决方案，不假设原始约束规格。利用Bregman距离和被积函数缺乏本质光滑性的修正项，给出了一个推广的平方关系式.结果被应用到Bregman距离的最小化。在对偶约束规格的条件下，只要对偶值是有限的，则广义对偶解的存在性成立。“不正常”情况的例子也包括在内，指出某些关键结果的普遍性的局限性。
2012-09-04 cs.IT math.IT math.OC
A Unified Bregman Alternating Minimization Algorithm for Generalized DC Programming with Application to Imaging Data
针对广义DC规划的非凸与不可分性，提出统一Bregman交替最小化算法（UBAMA），通过交替更新块变量、Fenchel-Young不等式近似和Bregman近端正则化简化子问题，并证明了其全局收敛性与局部收敛速率。
2023-08-04 math.OC
Non-smooth Non-convex Bregman Minimization: Unification and new Algorithms
Saarland University（萨尔兰大学）；Normandie Univ, ENSICAEN, CNRS, GREYC（诺曼底大学，ENSICAEN，法国国家科学研究中心，GREYC）；University of Freiburg（弗赖堡大学）
本文提出一种统一算法，用于非光滑非凸优化问题，通过近似目标函数并找到凸模型的近似Bregman近端点，结合Armijo线搜索策略，证明在弱假设下收敛到 stationary 点。
2018-06-25 cs.NA math.NA math.OC
Majorization-minimization Bregman proximal gradient algorithms for NMF with the Kullback--Leibler divergence
Graduate School of Information Science and Technology, The University of Tokyo（东京大学大学院信息理工学系研究科）；Department of Statistical Inference and Mathematics, The Institute of Statistical Mathematics（统计数学研究所统计推断与数学系）；The Graduate University for Advanced Studies（日本高级研究院）
本文提出基于KL散度的非负矩阵分解算法，通过同时更新所有变量实现高效收敛，改进了传统交替更新方法。
2025-08-22 math.OC
Separable Bregman Framework for Sparsity Constrained Nonlinear Optimization
本文研究基数约束下连续可微函数的稀疏非线性优化问题，基于光滑和相对光滑函数的新下降引理，提出了扩展硬阈值算法的最优性条件与求解框架，并将其有效应用于压缩感知问题。
2024-09-25 cs.IT math.IT math.OC
A Bregman projection method for approximating fixed points of quasi-Bregman nonexpansive mappings
我们介绍了一个抽象的算法，旨在找到Bregman投影到一个封闭的凸集。作为应用，分析了求具有不动点闭性的拟Bregman非扩张映射的不动点的一个迭代法的渐近性态.我们还证明了我们的结果适用于Bregman次梯度投影。
2013-09-25 math.FA math.OC
Global Convergence of Model Function Based Bregman Proximal Minimization Algorithms
University of Tübingen（图宾根大学）；Normandie Univ（诺曼底大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）；GREYC（卡昂格雷克计算机、图像与智能系统实验室）
连续可微函数梯度映射的Lipschitz连续性在设计各种优化算法中起着至关重要的作用。然而，在实际应用中出现的许多函数，例如低秩矩阵分解或深度神经网络问题，并不具有Lipschitz连续梯度。这导致了被称为$L$ -smad属性的广义概念的发展，该属性基于称为Bregman距离的广义邻近度量。但是，$L$ -smad属性不能处理非光滑函数，例如，像$\abs{x^4-1}$这样的简单非光滑函数以及许多实际的复合问题都不在范围之内。我们通过提出MAP属性来解决这个问题，该属性推广了$L$ -smad属性，并且对于一大类非凸非光滑复合问题也是有效的。基于所提出的MAP属性，我们提出了一个全局收敛的算法称为模型BPG，它统一了现有的几个算法。收敛性分析是基于一个新的李雅普诺夫函数。我们还数值说明了优越的性能模型BPG标准相位恢复问题，强大的相位恢复问题，和泊松线性逆问题，相比，一个国家的最先进的最优化方法，是有效的通用非凸非光滑最优化问题。
2020-12-24 cs.CV cs.LG cs.NA
A Bregman inertial iteratively regularized extragradient method for bilevel variational inequality problems
Tokyo Metropolitan University（东京都立大学）；Nagoya Institute of Technology（名古屋工业大学）；Kyoto University（京都大学）
本文提出一种Bregman惯性正则化外梯度方法求解双层变分不等式问题，在偶空间进行惯性外推，推导了广义间隙函数的非渐近收敛界，并通过交通网络和多投资组合纳什均衡实验验证了有效性。
2026-09-29 math.OC
Two-step inertial Bregman alternating structure-adapted proximal gradient descent algorithm for nonconvex and nonsmooth problems
针对实 Hilbert 空间中拟非扩张算子的多集分裂公共不动点问题，提出结合惯性技术与自适应步长的原始-对偶加速迭代算法，证明弱收敛并通过数值实验验证性能。
2023-06-07 math.OC
Delay-tolerant distributed Bregman proximal algorithms
针对机器学习中梯度非 Lipschitz 连续的优化问题，提出了一种适应任意集中式计算系统且能容忍任意长延迟的异步 Bregman 近端梯度算法，并在分布式 Poisson 逆问题上验证了其有效性。
2024-04-26 math.OC
Reverse em-problem based on Bregman divergence and its application to classical and quantum information theory
针对现有信道容量解析计算方法的局限，基于Bregman散度构建反向em问题，解决开放难题并推导非迭代公式，揭示信息几何结构，扩展无迭代计算信道容量的适用范围。
2024-03-14 cs.IT math.IT math.OC
Iterative $\ell_1$ minimization for non-convex compressed sensing
提出了一种基于凸函数差分算法（DCA）的最小化一类凹稀疏度量的压缩感知问题的算法框架。由此产生的算法迭代一系列的$\ell_1$最小化问题。建立了精确的稀疏恢复理论，证明了该方法始终在基追踪（$\ell_1$ minimization）的基础上进行改进，并继承了基追踪的鲁棒性，同时通过数值算例进一步说明了，与文献中大多数非凸压缩感知求解器不同，无论测量矩阵多么病态，该方法始终优于基追踪.此外，迭代$\ell_1$（IL $_1$）算法导致了很大的利润率的最先进的算法$\ell_{1/2}$和拟最小化的强相干（高度病态）制度，尽管相同的目标函数。最后，在磁共振成像（MRI）的应用中，IL $_1$算法只需7条线投影就可以很容易地恢复体模图像。
2016-11-01 cs.IT math.IT math.OC
Stochastic Block Bregman Projection with Polyak-like Stepsize for Possibly Inconsistent Convex Feasibility Problems
College of Science, National University of Defense Technology（国防科技大学理学院）
本文提出了一种统一的随机双层改写方法，结合了接近函数最小化和结构正则化，以解决可能不一致的凸可行性问题，并通过Polyak-like步长实现了期望精确收敛。
2026-03-31 math.OC
Robust Sublinear Convergence Rates for Iterative Bregman Projections
CNRS and ENS, Université PSL（国家科学研究中心和巴黎高等师范学院，巴黎大学）
本文提出了一种证明O(1/k)对偶收敛速率的通用框架，该速率的常数仅与1/γ线性相关，通过统一的对偶界和商范数界，为图结构运输问题提供了新的流Sinkhorn算法，实现了Wasserstein-1距离的ε-加性精度。
2026-05-08 cs.LG math.OC
Beyond Alternating Updates for Matrix Factorization with Inertial Bregman Proximal Gradient Algorithms
Saarland University（萨尔大学）
矩阵分解是一个非常流行的非凸优化问题，对于它，最常用的是交替极小化算法。他们通常遭受的主要缺点，解决方案是偏向于优化变量之一。一种补救办法是非交替方案。然而，由于在矩阵分解问题中梯度缺乏Lipschitz连续性，不能保证收敛。最近开发的方法依赖于Bregman距离的概念，它概括了标准的欧几里得距离。我们利用这一理论，提出了一种新的Bregman距离矩阵分解问题，这在同一时间，允许简单的/封闭的形式更新步骤。因此，对于非交替的计划，如最近推出的Bregman邻近梯度（BPG）方法和惯性变凸-凹惯性BPG（CoCaIn BPG），收敛的整个序列的一个稳定点被证明为矩阵分解。在几个实验中，我们观察到一个优越的性能，我们的非交替计划的速度和目标值在极限点。
2019-12-06 cs.CV cs.IR math.OC
A subspace-accelerated split Bregman method for sparse data recovery with joint l1-type regularizers
我们提出了一个子空间加速Bregman方法的线性约束最小化的形式$f(\mathbf{u})+τ_1 \|\mathbf{u}\|_1 + τ_2 \|D\,\mathbf{u}\|_1$，其中$f$是一个光滑的凸函数和$D$代表一个线性算子，例如，有限差分算子，在各向异性全变差和融合套索正则化。这种类型的问题出现在各种各样的应用，包括投资组合优化和学习的预测模型从功能磁共振成像（fMRI）的数据，并在脑电图的源检测问题。使用$\|D\,\mathbf{u}\|_1$的目的是鼓励解决方案中的结构稀疏性。选择执行加速的子空间，使得目标函数的约束是当前目标的邻域中的光滑函数。利用真实数据集对多期投资组合问题进行的数值实验表明了该方法的有效性。
2020-03-23 cs.NA math.NA math.OC
Convergence of Bregman alternating direction method with multipliers for nonconvex composite problems
带乘子的交替方向法（ADMM）是解决图像与信号处理和机器学习领域中各种凸或非凸组合问题的最有效和最成功的方法之一。在凸的设置，许多收敛性的结果已经建立了ADMM以及它的品种。然而，由于不存在凸性，非凸ADMM的收敛性分析通常是非常困难的。在本文中，我们研究的Bregman修改的ADMM（BADMM），其中包括传统的ADMM作为一个特殊的情况下，往往会导致改进的算法的性能。在一定的假设下，我们证明了由BADMM产生的迭代序列收敛到相关增广拉格朗日函数的一个稳定点。所得到的结果强调了ADMM在非凸设置下的应用的可行性。
2014-12-05 math.OC
Analysis of Generalized Bregman Surrogate Algorithms for Nonsmooth Nonconvex Statistical Learning
现代统计应用通常涉及最小化可能是非光滑和/或非凸的目标函数。本文重点介绍了一个广泛的Bregman代理算法框架，包括局部线性逼近，镜像下降，迭代阈值，DC编程和许多其他作为特殊情况。通过广义Bregman函数的重新表征，使我们能够构建合适的误差措施，并建立整体收敛率的非凸和非光滑的目标，在可能的高维。对于具有复合目标的稀疏学习问题，在一定的正则性条件下，得到的估计量作为代理的不动点，虽然不一定是局部极小值，但具有可证明的统计保证，并且迭代序列可以在所需精度内几何快速地逼近统计真值.本文还研究了如何通过控制步长和松弛因子来设计自适应的基于动量的加速度，而不需要假设凸性或光滑性。
2021-12-16 math.OC math.ST stat.CO
An accelerated randomized Bregman-Kaczmarz method for strongly convex linearly constraint optimization
本文提出一种求解线性约束下强凸优化问题的加速随机Bregman-Kaczmarz方法，利用与坐标下降法的对偶关系实现加速，理论分析与数值实验均证明其比现有方法更高效。
2025-04-01 cs.NA math.NA math.OC
Stochastic model-based minimization under high-order growth
Cornell University（康奈尔大学）；University of Washington（华盛顿大学）
给定一个非光滑非凸最小化问题，我们考虑迭代采样和最小化目标函数的随机凸模型的算法。假设单侧逼近质量和模型的变化是由Bregman分歧控制，我们表明，该计划驱动自然平稳性措施为零的速率$O(k^{-1/4})$。在附加凸性和相对强凸性假设下，函数值分别以$O(k^{-1/2})$和$\widetilde{O}(k^{-1})$的速度收敛到最小值.我们讨论随机邻近点，镜像下降，正则化高斯-牛顿，和鞍点算法的后果。
2018-07-01 cs.LG math.OC
Blind Deconvolution with Non-smooth Regularization via Bregman Proximal DCAs
The Graduate University for Advanced Studies（advanced studies高级大学）；The Institute of Statistical Mathematics（统计数学研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究院先进智能项目中心）
针对盲反卷积问题中现有一阶方法缺乏理论支撑的问题，提出基于Bregman近端DC算法及带外推的扩展版本，在L-smad性质下保证收敛，可高效求解大规模问题，图像去模糊实验效果优于现有算法。
2022-08-02 eess.SP math.OC
Split Bregman method for large scale fused Lasso
University of California Irvine（加州大学尔湾分校）
回归或分类系数的排序发生在许多实际应用中。Fused Lasso通过$\ell_1$范数正则化器显式正则化相邻系数之间的差异来利用这种排序。然而，由于正则化项的不可分离性和非光滑性，求解融合Lasso问题在计算上要求很高。现有的求解器只能处理中小规模的问题，或者预测矩阵为单位矩阵的融合Lasso问题的特殊情况。本文提出了一种基于分裂Bregman方法的迭代算法来求解一类大规模融合Lasso问题，包括广义融合Lasso问题和融合Lasso支持向量分类器问题。我们使用增广拉格朗日方法推导出我们的算法，并证明其收敛性。我们的方法的性能进行了测试，人工数据和现实世界的应用程序，包括蛋白质组数据从质谱和基因组数据阵列CGH。我们证明，我们的方法是许多倍的速度比现有的求解器，并表明，它是特别有效的大p，小n的问题。
2010-06-26 cs.LG math.OC stat.CO
Adaptive Bregman-Kaczmarz: An Approach to Solve Linear Inverse Problems with Independent Noise Exactly
针对每次访问分块都产生独立新噪声的线性反问题，本文提出带可估计自适应步长的分块 Bregman-Kaczmarz 方法，证明其可精确收敛，并通过数值实验验证有效性。
2024-05-09 cs.NA math.NA math.OC
Hessian Riemannian gradient flows in convex programming
受约束极小化问题的启发，研究了由Legendre型凸函数诱导的关于Hessian黎曼度量的梯度流。第一个结果将凸集上的Hessian Riemann结构刻画为对变分不等式具有特定积分性质的度量，为Bregman型距离的引入提供了新的动力.然后，引入一般发展问题，给出了一个微分包含形式。在拟凸性条件下证明了该方法的一般存在性，并建立了其整体收敛性，在凸极小化条件下得到了有趣的改进。这些梯度流的一些显式的例子进行了讨论。对一类具有正性和等式约束的凸规划，给出了对偶轨线的确定和对偶收敛的充分条件。一些收敛速度的结果。在线性目标函数的情况下，给出了轨道的几个最优性特征：粘性方法的最优路径，Bregman型邻近算法的连续时间模型，适当度量的测地线，Lagrange方程和完全可积哈密顿系统的$\dot q$ -轨道的投影.
2018-11-26 math.OC
Towards Robust Calculation of index-$k$ Saddle Point: Iterative Proximal-Minimization and Differential Game Model
势能面上具有给定Morse指数的鞍点是物理学和化学中与能量景观相关的重要对象。基于迭代极小化公式的有效数值方法已经以极小化子问题序列或连续动力学的形式被提出。我们在这里提出了一个微分对策解释这个提法，并从理论上探讨了建议的游戏和原来的鞍点势能面上的纳什均衡。为了定义这种微分对策，在对策的费用函数中引入了一个比二次增长更快的邻近函数，并推导出一个鲁棒的迭代邻近极小化算法（IPM）来计算鞍点.我们证明了博弈的Nash平衡点就是鞍点，并证明了新算法在保持相同的收敛速度和计算代价的同时，比以前的迭代极小化算法更鲁棒.一个二维问题和Cahn-Hillard问题进行了测试，以证明这种数值优势。
2022-12-16 math.OC
Convergent Bregman Plug-and-Play Image Restoration for Poisson Inverse Problems
Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）；IMB（数学研究所）；Washington University in St. Louis（圣路易斯华盛顿大学）
针对泊松逆问题，本文基于 BPG 提出收敛的 Bregman PnP 框架，设计 Bregman Score Denoiser 并证明两种算法收敛到显式全局泛函驻点。
2023-06-06 cs.LG eess.IV math.OC
An accelerated proximal iterative hard thresholding method for $\ell_0$ minimization
本文考虑一类非凸问题，它是盒约束下的$\ell_0$ -范数与凸光滑函数之和。我们提出了一种近似迭代硬阈值型方法，并利用外推步骤来加速算法，证明了它的整体收敛结果。详细地说，所提出的方法产生的序列全局收敛到局部极小的目标函数。最后，我们进行了数值实验，以显示所提出的方法的有效性与其他一些有效的方法进行比较。
2018-01-02 math.OC
Adaptive iterative singular value thresholding algorithm to low-rank matrix recovery
从线性约束中恢复低秩矩阵的问题，称为仿射矩阵秩最小化问题，近年来受到了广泛的关注。一般来说，仿射矩阵秩最小化问题是一个NP难问题。在我们的最新工作中，研究了一个非凸分式函数来近似仿射矩阵秩最小化问题中的秩函数，并将NP难仿射矩阵秩最小化问题转化为一个变换的仿射矩阵秩最小化问题。提出了一种迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。然而，我们的迭代奇异值阈值算法的缺点之一是，参数$a$，它影响的行为的非凸分数函数的正则化变换仿射矩阵秩最小化问题，需要手动确定在每个模拟。实际上，如何确定最优参数$a$并不是一个容易的问题。在这里，相反，在本文中，我们将产生一个自适应迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。当这样做时，我们的新算法对于正则化参数$λ$和参数$a$的选择都是智能的。
2020-01-30 math.OC
Iterative regularization for constrained minimization formulations of nonlinear inverse problems
本文将反问题表示为约束极小化问题，并利用梯度型或牛顿型迭代法求解。我们进行了收敛性分析的意义上的正则化方法，并讨论了适用性的问题，从不同的观测集识别的空间变化的扩散在椭圆型偏微分方程。其中是一种新的混合成像技术称为阻抗声层析成像，我们提供了数值实验。
2021-01-14 cs.NA math.NA math.OC
Iterative TV minimization on the graph
在图上定义了有界变差函数空间（$BV$）。利用图上流的散度概念，证明了$BV$在图上的对偶空间的单位球可以用散度算子描述为空间$\ell^{\infty}$的单位球的像.基于此结果，我们提出了一种新的迭代算法，以找到确切的最小值的全变差（TV）去噪问题的图。所提出的算法是可证明收敛的，其性能的图像去噪的例子进行了比较与分裂Bregman和原始对偶法作为基准的迭代法和BM 3D作为基准的其他国家的最先进的去噪方法。实验结果表明，该算法的经验收敛速度和视觉质量具有很强的竞争力。
2019-11-26 math.OC
A Triple-Bregman Balanced Primal-Dual Algorithm for Saddle Point Problems
针对PDHG求解凸-凹鞍点问题时原始与对偶子问题不平衡的问题，提出含三个独立Bregman近端项的TBDA框架，证明其收敛性、更大步长及改进版本，并通过实验验证性能优势。
2025-06-08 math.OC
Variable metric extrapolation proximal iterative hard thresholding method for $\ell_0$ minimization problem
本文考虑目标函数为$\ell_0$ -范数与凸可微函数之和的$\ell_0$极小化问题。将PIHT方法与拟牛顿法的技巧相结合，提出了一种变尺度型方法--变尺度外推邻近迭代硬阈值法（VMEPIHT）。然后在适当的假设下分析了它的收敛性、线性收敛速度和超线性收敛速率。最后，我们对压缩感知问题和CT图像重建问题进行了数值实验，并与其他方法进行了比较，验证了VMPIHT方法的有效性。
2021-08-07 cs.NA math.NA math.OC
Iteratively reweighted penalty alternating minimization methods with continuation for image deblurring
National University of Defense Technology（国防科技大学）；Hunan University（湖南大学）
本文研究了图像处理中经常出现的一类带线性约束的非凸问题。我们用罚函数法解决了这个问题，并提出了迭代重加权交替极小化算法。为了加快算法的速度，我们还对罚参数采用了连续策略。证明了算法的收敛性。与非凸ADMM相比，该算法具有收敛性要求低、计算速度快等优点。数值结果表明了该算法的有效性。
2019-02-09 cs.CV eess.IV math.OC
A Regret Minimization Approach to Iterative Learning Control
Google AI Princeton（谷歌人工智能普林斯顿研究院）；Princeton University（普林斯顿大学）
我们考虑设置迭代学习控制，或基于模型的策略学习存在的不确定性，时变动态。在这种情况下，我们提出了一个新的性能指标，规划遗憾，它取代了标准的随机不确定性假设与最坏情况下的遗憾。基于非随机控制的最新进展，我们设计了一个新的迭代算法，以最小化规划遗憾，是更强大的模型失配和不确定性。我们提供的理论和经验证据表明，该算法优于现有的方法在几个基准。
2021-02-26 cs.LG math.OC stat.ML
Iterative thresholding algorithm based on non-convex method for modified lp-norm regularization minimization
最近，$ł_{p}$ -范数正则化最小化问题$(P_{p}^λ)$在压缩感知领域引起了极大的关注.然而，问题$(P_{p}^λ)$中的$ł_{p}$ -范数$\|x\|_{p}^{p}$对所有$p\in(0,1)$都是非凸的和非Lipschitz的，目前还没有很多优化理论和方法被提出来解决这个问题.事实上，它对所有$p\in(0,1)$和$λ>0$都是NP难的。本文研究了两个改进的$ł_{p}$正则化极小化问题来逼近NP难问题$(P_{p}^λ)$。受Half算法和$2/3$算法在稀疏信号恢复问题中的良好性能的启发，提出了两种迭代阈值算法，分别用于解决问题$(P_{p,1/2,ε}^λ)$和$(P_{p,2/3,ε}^λ)$。数值结果表明，在某些稀疏信号恢复问题中，对于适当的$p\in(0,1)$，我们的算法可以有效地找到稀疏信号。
2018-04-25 math.OC
Nonconvex Sorted $\ell_1$ Minimization for Sparse Approximation
$\ell_1$范数是$\ell_0$ "范数"的紧凸松弛，并且已经成功地应用于恢复稀疏信号。对于采样较少的问题，需要通过非凸惩罚（例如$\ell_p$ "norm"）来增强稀疏性。作为用于求解$\ell_p$最小化问题的一种方法，迭代地重新加权的$\ell_1$最小化基于相同分量在先前迭代处的值来更新每个分量的权重。它为幅度小的分量分配大的权重，为幅度大的分量分配小的权重。在本文中，我们考虑一个加权的$\ell_1$惩罚与固定的权重集和权重分配的基础上的所有组件的大小排序。最小的权重被分配给幅度最大的分量。这种新的惩罚被称为非凸排序$\ell_1$。然后提出了两种求解非凸排序$\ell_1$极小化问题的方法：迭代加权$\ell_1$极小化和迭代排序阈值法，并证明了这两种方法都能收敛于局部最优值.我们还表明，这两种方法分别是迭代支持检测和迭代硬阈值的推广。数值实验表明，更好的性能分配权重排序相比，$\ell_p$最小化。
2014-09-29 math.OC
Iterative Reweighted Minimization Methods for $l_p$ Regularized Unconstrained Nonlinear Programming
Simon Fraser University（西蒙弗雷泽大学）
本文研究一般的$l_p$正则化无约束极小化问题。特别是，我们推导出一阶和二阶不动点的非零项的下界，因此也是局部极小的$l_p$最小化问题。我们扩展了一些现有的迭代加权$l_1$（IRL 1）和$l_2$（IRL 2）最小化方法来解决这些问题，并提出了新的变种，其中每个子问题有一个封闭的形式的解决方案。此外，我们提供了一个统一的收敛性分析，这些方法。此外，我们提出了一种新的Lipschitz连续$ε$ -逼近$\|x\|^p_p$ .利用这一结果，我们开发了新的IRL 1方法的$l_p$最小化问题，并表明，由这些方法产生的序列的任何积累点是一阶稳定点，提供的近似参数$ε$是低于一个可计算的门限值。这是一个显著的结果，因为所有现有的迭代重加权最小化方法都需要动态更新$ε$并使其接近零。我们的计算结果表明，在目标函数值和CPU时间方面，新的IRL 1方法通常比现有的IRL 1方法[21，18]更稳定。
2012-09-29 cs.LG math.OC stat.CO
Sparse Signal Reconstruction via Iterative Support Detection
Cornell University（康奈尔大学）；Rice University（莱斯大学）
提出一种新的稀疏信号重构方法ISD，通过迭代支持检测和截断l1最小化，在减少测量数目的同时实现快速重构，优于经典l1最小化及IRL1、IRLS等算法。
2010-07-05 cs.IT cs.NA math.IT
On Inexact Solution of Auxiliary Problems in Tensor Methods for Convex Optimization
本文研究了用$p$ -阶张量方法求解具有$ν$ -Hölder连续$p$阶导数的凸函数无约束极小化问题中的辅助问题.这种类型的辅助问题对应于目标的$p$阶泰勒近似的$(p+ν)$阶正则化的最小化。对于$p=3$的情况下，我们考虑使用梯度方法与Bregman距离。当正则化参数足够大时，我们证明了所提方法最多只需要$\mathcal{O}(\log(ε^{-1}))$迭代就可以找到张量模型的一个合适的近似稳定点或原目标函数的一个$ε$ -近似稳定点.
2021-06-03 math.OC
An Inertial Block Majorization Minimization Framework for Nonsmooth Nonconvex Optimization
Huawei Belgium Research Center（华为比利时研究中心）；HCMC University of Education（胡志明市教育大学）；University of Mons（蒙斯大学）
本文介绍了一种新的求解非光滑非凸优化问题的惯性块优化极小框架TITAN。据我们所知，TITAN是块坐标更新方法的第一个框架，它依赖于优化-最小化框架，同时将惯性力嵌入到块更新的每一步。惯性力是通过一个外推算子，其中包括重球和Nesterov型加速度块近端梯度法作为特殊情况。通过选择各种替代函数，如近端，Lipschitz梯度，Bregman，二次和复合替代函数，并通过改变外推算子，TITAN产生了丰富的惯性块坐标更新方法。我们研究了TITAN生成序列的子序列收敛性和整体收敛性。我们说明了TITAN的有效性上两个重要的机器学习问题，即稀疏非负矩阵分解和矩阵完成。
2022-09-20 cs.LG eess.SP math.OC
