Bregman Finito/MISO for nonconvex regularized finite sum minimization without Lipschitz gradient continuity
该研究提出两种基于相对光滑性的非凸正则化有限和最小化算法，以Bregman Moreau包络为Lyapunov函数简化分析，在不同采样和凸性条件下得到收敛结果。
2022-03-02 math.OC
Linear Convergence of Variable Bregman Stochastic Coordinate Descent Method for Nonsmooth Nonconvex Optimization by Level-set Variational Analysis
大规模非凸和非光滑问题在压缩感知、大数据优化和机器学习等领域引起了广泛的关注。探索有效的方法仍然是当今研究的主要挑战。随机坐标下降法已被广泛应用于求解大规模最优化问题。本文证明了变Bregman随机坐标下降法（VBSCD）对一类非光滑非凸最优化问题的收敛性，由VBSCD生成的序列的任何累加几乎肯定是临界点。此外，我们开发了一个新的水平集上的变分方法，旨在对收敛速度分析。如果水平集次微分误差界成立，我们推导出一个线性的收敛速率的期望值的目标函数和期望值的随机变量的VBSCD。
2019-05-27 math.OC
Approximate Bregman Proximal Gradient Algorithm for Relatively Smooth Nonconvex Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文提出近似Bregman近端梯度算法用于解决相对光滑非凸优化问题，通过简化子问题和放宽梯度连续性假设，实现了更广泛的收敛性保证和更优的数值性能。
2024-05-31 math.OC
A Variational Approach on Level sets and Linear Convergence of Variable Bregman Proximal Gradient Method for Nonconvex Optimization Problems
针对一类非光滑非凸最优化问题的变Bregman近似梯度（VBPG）方法，在水平集上提出了一种新的变分方法.利用这种新方法，我们可以将Bregman邻近映射及其相应的Bregman邻近映射、Bregman邻近间隙函数的概念推广到非凸情形.这些映射和功能的属性进行检查。本文工作的目的是为VBPG进一步设计和分析更一般的非凸最优化问题提供一个坚实的基础。另一个目的是提供一个统一的理论，线性收敛的VBPG与近端梯度法特别感兴趣。我们实现上述目标的分析的中心是水平集和次微分方面的误差界（水平集次微分误差界）及其与其他水平集误差界的联系。因此，我们取得了一些积极成果。这些新建立的结果不仅使我们能够表明，由VBPG产生的序列的任何积累至少是一个临界点的极限次微分，甚至是一个临界点的近端次微分与一个固定的Bregman函数在每次迭代，但也提供了一个新的视角，使我们能够探索许多已知的充分条件之间的内在联系线性收敛的各种一阶方法。一路上，我们能够推导出一些可验证的条件水平集误差界举行，获得VBPG的线性收敛，并推导出必要条件和充分条件的线性收敛相对于水平集的非光滑和非凸最优化问题。
2019-09-04 math.OC
A stochastic two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
本文提出STiBPALM算法，结合两步惯性与Bregman近端交替线性化及方差缩减随机梯度，用于求解大规模非凸非光滑优化问题，并证明其收敛性，通过稀疏非负矩阵分解和盲图像去模糊实验验证性能。
2023-07-11 math.OC
A Bregman forward-backward linesearch algorithm for nonconvex composite optimization: superlinear convergence to nonisolated local minima
针对两个非凸函数之和的最小化问题，提出基于Bregman前后包络的线搜索算法Bella，可在KL条件下全局收敛到平稳点，且在非孤立极小点处也能实现超线性收敛。
2020-05-01 math.OC
Inertial Proximal Difference-of-Convex Algorithm with Convergent Bregman Plug-and-Play for Nonconvex Imaging
针对现有凸差算法难以处理非凸项、收敛慢的问题，提出带收敛Bregman即插即用的惯性近端凸差算法iBPDCA及其变体，理论保证收敛，在成像任务上性能优于现有最优方法。
2024-09-18 math.OC
A Nonlinear Bregman Primal-Dual Framework for Optimizing Nonconvex Infimal Convolutions
本文研究非凸、非光滑复合最优化问题的优化问题，其目标是一个非线性映射和一个非光滑非凸函数的复合，可以写成一个下卷积（inf-conv）。为了解决这个问题类，我们建议重新制定的问题，利用其inf-conv结构，并推导出一个块坐标下降方案的Bregman增广拉格朗日，可以异步实施。我们证明了我们的计划收敛到固定点的原始模型的特定选择的罚参数。我们的框架包括各种现有的算法作为特殊情况下，如DC-规划，$k$ -均值聚类和ADMM与非线性算子，当一个特定的目标函数和下卷积分解（下反卷积）被选中。在说明性的实验中，我们提供的证据，我们的算法表现良好的低目标值和鲁棒性对初始化，相比DC编程或$k$ -手段算法。
2018-03-27 math.OC
Bregman Proximal Gradient Algorithm with Extrapolation for a class of Nonconvex Nonsmooth Minimization Problems
在本文中，我们考虑一个加速方法解决非凸和非光滑极小化问题。我们提出了一个Bregman邻近梯度算法与外推（BPGe）。该算法扩展并加速了Bregman近似梯度算法（BPG），它绕过了近似梯度算法（PG）所需的限制性全局Lipschitz梯度连续性假设。BPGe算法比最近提出的带外推的邻近梯度算法（PGe）具有更高的通用性，并且由于外推步骤的存在，BPGe比BPG算法收敛更快。通过对收敛性的分析，证明了在适当选取参数的情况下，BPGe产生的序列的任何极限点都是问题的平稳点。此外，在Kurdyka-{K}ojasiewicz性质的假设下，证明了BPGe生成的序列整体收敛于一个平稳点.最后，为了说明新方法BPGe的潜力，我们将其应用于两个重要的实际问题，出现在许多基本的应用（不满足全局Lipschitz梯度连续性假设）：泊松线性逆问题和二次逆问题。在测试中，加速的BPGe算法显示出更快的收敛结果，给出了一个有趣的新算法。
2019-04-25 math.OC
A Bregman Proximal Stochastic Gradient Method with Extrapolation for Nonconvex Nonsmooth Problems
针对可微部分缺乏全局Lipschitz连续梯度的非凸非光滑优化问题，提出带外推的Bregman近端随机梯度方法（BPSGE），在方差减少框架下分析其收敛性与复杂度，并通过实验验证其加速效果。
2024-01-04 math.OC
Two-step inertial Bregman alternating structure-adapted proximal gradient descent algorithm for nonconvex and nonsmooth problems
针对实 Hilbert 空间中拟非扩张算子的多集分裂公共不动点问题，提出结合惯性技术与自适应步长的原始-对偶加速迭代算法，证明弱收敛并通过数值实验验证性能。
2023-06-07 math.OC
Bregman Proximal Mappings and Bregman-Moreau Envelopes under Relative Prox-Regularity
本文系统地研究了Poliquin和Rockafellar提出的相对正则性下非凸函数的Bregman邻近映射的局部单值性和Bregman-Moreau包络的局部光滑性.由于Bregman距离通常是不对称的，根据Bauschke等人，考虑Bregman邻近映射的两个变体是很自然的，根据自变量的顺序，这两个变体被称为左Bregman邻近映射和右Bregman邻近映射。我们首先考虑左Bregman近端映射。然后，通过平移的结果，我们得到类似的（和部分尖锐的）结果的权利Bregman近端映射。相对近正则函数的类显着扩展了最近考虑的相对亚凸函数类。特别地，相对凸正则性允许函数具有可能的非凸域。此外，作为一个主要来源的例子和类似的经典设置，我们引入相对顺从的功能，即凸复合函数，其中内部的非线性映射是组件明智的光滑适应，最近推出的扩展Lipschitz可微。通过举例的方式，我们应用我们的理论来局部解释联合交替Bregman最小化与邻近正则化作为Bregman邻近梯度算法，适用于一个光滑的自适应函数。
2020-01-31 math.OC
Revisiting Linearized Bregman Iterations under Lipschitz-like Convexity Condition
线性化Bregman迭代（LBreI）及其变体在信号/图像处理和压缩感知中受到了相当大的关注。最近，LBreI已经扩展到更大的一类非凸函数，以及一些理论问题留给进一步研究。特别是，梯度Lipschitz连续性假设排除了它在许多实际应用中的使用。在这项研究中，我们提出了一个通用的算法框架，统一LBreI型方法。我们的主要发现是，梯度Lipschitz连续性假设可以取代的Lipschitz凸性条件在凸和非凸的情况下。所提出的框架和理论，然后应用到线性/二次反问题。
2022-03-04 math.OC
Taming Nonconvex Stochastic Mirror Descent with General Bregman Divergence
ETH Zürich（苏黎世联邦理工学院）
本文提出支持一般Bregman散度的非凸随机镜像下降收敛分析，基于标准假设建立更强收敛度量，并扩展至高概率与全局收敛，在差分隐私学习和线性神经网络训练中展示优势。
2024-02-27 cs.LG math.OC
Bregman Proximal Linearized ADMM for Minimizing Separable Sums Coupled by a Difference of Functions
本文提出一种结合Bregman距离的线性化ADMM分裂算法，用于求解由函数差耦合的非凸非光滑可分离复合优化问题，并证明了其子序列及全序列收敛性，在鲁棒PCA和最优潮流问题上验证了有效性。
2024-09-30 math.OC
A block inertial Bregman proximal algorithm for nonsmooth nonconvex problems with application to symmetric nonnegative matrix tri-factorization
我们提出了BIBPA，一个块惯性Bregman邻近算法，用于最小化块相对光滑函数（即，相对光滑的每个块）和块可分的非光滑非凸函数的总和。我们证明了在标准假设下，BIBPA生成的序列依序收敛到目标的临界点，并且当目标函数满足Kurdyka-Kazojasiewicz（Kazojasiewicz）性质时，序列全局收敛.当目标函数满足Kjojasiewicz不等式时，给出了算法的收敛速度.我们应用BIBPA对称非负矩阵三因子分解（SymTriNMF）问题，我们提出了核函数的SymTriNMF和BIBPA的子问题提供封闭形式的解决方案。
2020-05-08 cs.NA math.NA math.OC
Second-Order KKT Guarantees for Bregman ADMM in Nonconvex and Non-Lipschitz Optimization
Department of Electrical and Computer Engineering, Iowa State University（电气与计算机工程系，爱荷华州立大学）；Department of Computer Science and Engineering, Ohio State University（计算机科学与工程系，俄亥俄州立大学）；DAMO Academy, Alibaba Group US（阿里巴巴集团美国DAMO研究院）
针对非凸线性约束问题，在双侧相对光滑条件下分析Bregman ADMM，证明其不动点映射的严格鞍点不稳定，结合一阶收敛结果得到几乎必然二阶KKT点收敛。
2026-06-29 cs.LG math.OC
A Unified Bregman Alternating Minimization Algorithm for Generalized DC Programming with Application to Imaging Data
针对广义DC规划的非凸与不可分性，提出统一Bregman交替最小化算法（UBAMA），通过交替更新块变量、Fenchel-Young不等式近似和Bregman近端正则化简化子问题，并证明了其全局收敛性与局部收敛速率。
2023-08-04 math.OC
Analysis of Generalized Bregman Surrogate Algorithms for Nonsmooth Nonconvex Statistical Learning
现代统计应用通常涉及最小化可能是非光滑和/或非凸的目标函数。本文重点介绍了一个广泛的Bregman代理算法框架，包括局部线性逼近，镜像下降，迭代阈值，DC编程和许多其他作为特殊情况。通过广义Bregman函数的重新表征，使我们能够构建合适的误差措施，并建立整体收敛率的非凸和非光滑的目标，在可能的高维。对于具有复合目标的稀疏学习问题，在一定的正则性条件下，得到的估计量作为代理的不动点，虽然不一定是局部极小值，但具有可证明的统计保证，并且迭代序列可以在所需精度内几何快速地逼近统计真值.本文还研究了如何通过控制步长和松弛因子来设计自适应的基于动量的加速度，而不需要假设凸性或光滑性。
2021-12-16 math.OC math.ST stat.CO
Level-set Subdifferential Error Bounds and Linear Convergence of Variable Bregman Proximal Gradient Method
在这项工作中，我们开发了一个水平集次微分误差界条件，旨在对收敛速度分析的可变Bregman近端梯度（VBPG）方法的广泛的一类非光滑和非凸最优化问题。证明了该条件保证VBPG的线性收敛，且弱于Kurdyka-Lojasiewicz性质、弱度量次正则性和Bregman逼近误差界.一路上，我们能够推导出一些可验证的条件水平集次微分误差界举行，和线性收敛的必要条件和充分条件相对于水平集的非光滑和非凸最优化问题。新建立的结果不仅使我们能够证明VBPG产生的序列的任何聚点至少是一个临界点的极限次微分，甚至临界点的近端次微分与一个固定的Bregman函数在每次迭代，但也提供了一个新的视角，使我们能够探索的内在联系，许多已知的充分条件之间的线性收敛的各种一阶方法。
2020-08-28 math.OC
Nonconvex Stochastic Bregman Proximal Gradient Method with Application to Deep Learning
National University of Singapore（新加坡国立大学）
针对非凸复合目标中非Lipschitz梯度导致的SGD不稳定问题，提出随机Bregman近端梯度法（SBPG）及其动量变体MSBPG，达到最优样本复杂度，并在二次逆问题和深度神经网络训练中验证了鲁棒性与有效性。
2025-01-20 cs.LG math.OC
First-order primal-dual methods for nonsmooth nonconvex optimisation
我们提供了一个概述的原始对偶法的非光滑和非凹凸鞍点问题。这围绕着一个新的分析方法，使用Bregman分歧制定简化的收敛条件。
2020-08-05 math.OC
Online Nonconvex Bilevel Optimization with Bregman Divergences
Stony Brook University（石溪大学）；Bloomberg（彭博公司）；Institute for Advanced Computational Science（高级计算科学研究所）
该研究针对在线非凸-强凸双层优化问题，提出基于自适应Bregman散度的确定性OBBO和带窗口平均方差缩减的随机SOBBO算法，提升双层局部悔值速率，实验验证其在超参数优化、元学习任务上优于现有基准。
2024-09-16 cs.LG math.OC
Accelerated Bregman Proximal Gradient Methods from Dual Geometric Perspectives
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
提出一族几何加速Bregman近端梯度算法，无需三角形缩放等额外条件，通过局部回溯自适应步长，实现凸目标O(k^-2)、相对强凸线性、非凸O(k^-1)收敛，并在多个数值实验中验证了加速效果。
2026-09-29 math.OC
Provable Bregman-divergence based Methods for Nonconvex and Non-Lipschitz Problems
Colorado School of Mines（科罗拉多矿业学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
（全局）Lipschitz光滑性条件在建立大多数最优化方法的收敛性理论中是至关重要的。不幸的是，大多数机器学习和信号处理问题都不是Lipschitz光滑的。这促使我们将Lipschitz光滑性条件的概念推广到相对光滑性条件，它是由任何有限阶多项式目标函数所满足的。此外，这项工作开发了新的Bregman散度为基础的算法，保证收敛到一个二阶稳定点的任何相对光滑的问题。此外，当我们将Bregman发散度专门化为欧氏距离时，所提出的最优化方法涵盖了邻近交替最小化和邻近交替线性化最小化。因此，这项工作不仅发展保证最优化方法的非Lipschitz光滑问题，但也解决了一个公开的问题，显示二阶收敛保证这些交替最小化方法。
2019-04-22 cs.IT cs.LG math.IT
A Bregman Regularized Proximal Point Method for Solving Equilibrium Problems on Hadamard Manifolds
Technion – Israel Institute of Technology（以色列理工学院）
研究Hadamard流形上单调平衡问题，提出Bregman正则化近端点算法，通过对正则化项集合凸性的强假设及较弱的Bregman函数强制性条件，证明算法收敛，数值实验验证了该方法的有效性。
2026-11-10 math.OC
A Modified Split Bregman Algorithm for Computing Microstructures Through Young Measures
本文的目标是描述振荡的微观结构，可以出现从最小化序列的非凸能量。我们考虑积分泛函定义的实值（标量）函数$u(x)$是非凸的梯度$\nabla u$，也可能在$u$。为了表征这些非凸能量的微观结构，我们使用两种新的方法来最小化相关的弛豫能量：i）基于控制系统理论的半解析方法，ii）和一个数值方案，该方案将凸分裂与分裂Bregman算法的修改版本相结合。这些解决方案，然后用于获得有关最小化序列的原始问题和微观结构的空间分布的信息。
2020-07-31 cs.SY eess.SY math.AP
Fast Frank--Wolfe Algorithms with Adaptive Bregman Step-Size for Weakly Convex Functions
The University of Tokyo（东京大学）；Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）；RIKEN AIP（理化学研究所先进智能研究中心）
本文提出了一种适用于弱凸函数的快速Frank-Wolfe算法，通过自适应Bregman步长策略实现更宽松的收敛保证和更快的收敛速度。
2026-02-18 math.OC
A FISTA-Type First Order Algorithm on Composite Optimization Problems that is Adaptable to the Convex Situation
本文提出了一种求解复合最优化问题的FISTA型一阶算法VAR-FISTA。VAR-FISTA的一个显着特点是它能够利用问题中函数的凸性，当函数是凸函数时，与非凸函数相比，迭代复杂性有所提高。文中给出的凸和非凸情形的迭代复杂性结果与文献中已知的结果一致。
2020-08-22 math.OC
A Bregman firmly nonexpansive proximal operator for baryconvex optimization
Deep Gambit Limited（深博弈有限公司）
本文提出一种基于凸组合与极小极大系数更新的广义邻近算子，证明其关于混合欧几里得与信息几何的Bregman散度具有稳固非扩张性，并刻画其不动点与连续流。
2025-04-11 cs.LG math.OC
Global minimisation of nonconvex functions by generalising the mirror descent method
本文提出两种算法用于非凸函数的全局最小化，通过泛化镜像下降法并利用抽象Bregman距离实现收敛性证明与数值验证。
2026-01-08 math.OC
On the natural domain of Bregman operators
Kyushu University（九州大学）；University of Vienna（维也纳大学）
本文通过采用域感知视角，在由距离生成函数诱导的自然域上定义函数，重新审视了 Bregman 分析的基础方面，从而推广并简化了非凸情形下 Bregman 算子的现有结果。
2025-10-11 math.OC
Multi-block Bregman proximal alternating linearized minimization and its application to orthogonal nonnegative matrix factorization
我们介绍并分析了BPALM和A-BPALM，这两个使用Bregman距离的多块邻近交替线性化最小化算法用于解决结构化非凸问题。目标函数是多块相对光滑函数（即，相对光滑的固定所有的块除了一个）和块可分（非光滑）的非凸函数。结果表明，我们的算法所产生的序列是逐次收敛到目标函数的临界点，而在KL不等式假设下，它们是全局收敛的。进一步分析了满足梯度不等式的函数的收敛速率.我们应用这个框架的正交非负矩阵分解（ONMF），满足我们所有的假设和相关的子问题解决封闭的形式，其中一些初步的数值结果报告。
2019-10-14 cs.NA math.NA math.OC
Simple linesearch-free first-order methods for nonconvex optimization
本文提出一种用于非凸优化的自调节近端梯度方法，利用局部曲率估计步长且无需线搜索与先验参数，并在非凸假设下完成收敛分析，同时扩展至Bregman近端梯度、Frank--Wolfe及黎曼梯度方法。
2025-09-18 math.OC
Semi-Anchored Multi-Step Gradient Descent Ascent Method for Structured Nonconvex-Nonconcave Composite Minimax Problems
生成对抗网络、对抗训练、公平训练等极大极小问题，在实际中被广泛采用多步梯度下降上升（MGDA）方法来解决。然而，它的收敛保证是有限的。在本文中，受原始-对偶混合梯度法的启发，我们提出了一种新的半锚定（SA）技术的MGDA方法。这使得MGDA方法可以找到结构化非凸-非凹复合Minimax问题的一个不动点，其鞍次微分算子满足弱Minty变分不等式条件.由此产生的方法，命名为SA-MGDA，是建立在Bregman近点法。我们进一步发展其回溯线搜索版本，其非欧版本的平滑适应功能。数值实验，包括公平的分类训练，提供。
2022-06-09 math.OC
An Inertial Bregman Proximal DC Algorithm for Generalized DC Programming with Application to Data Completion
针对带可分解非凸项的广义DC规划，提出惯性Bregman近端DC算法，利用问题结构简化子问题，并证明KL条件下的全局临界点收敛，矩阵与张量补全实验验证其高效性。
2024-09-08 math.OC
A Bregman proximal linearized ADMM for fractional programming with nonlinear coupling constraints
China University of Mining and Technology（中国矿业大学）；RMIT University（皇家墨尔本理工大学）；Guangxi Minzu University（广西民族大学）
本文针对带非线性耦合约束的非凸分式规划问题，提出Bregman邻近线性化ADMM，证明其收敛性与收敛速率，数值实验验证了算法有效性。
2026-10-09 math.OC
Approximate Bregman proximal gradient algorithm with variable metric Armijo line search
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文提出了一种改进的近似Bregman近端梯度算法，用于最小化光滑非凸函数与非光滑凸函数之和。通过引入可变度量Armijo-Wolfe线搜索，算法在保证全局收敛性的同时提升了实际性能。数值实验表明该算法在ℓ_𝑝正则化最小二乘和非负线性逆问题中表现更优。
2026-10-26 math.OC
New Bregman proximal type algorithms for solving DC optimization problems
The Graduate University for Advanced Studies（高级研究大学）；University of São Paulo（圣保罗大学）；Tokyo Institute of Technology（东京工业大学）；São Paulo State Technological College（圣保罗州立技术学院）；The Institute of Statistical Mathematics（统计数学研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究院先进智能项目中心）
本文提出Bregman近端DC算法及其加速版本，用于解决不具有L-光滑性的大规模DC优化问题，通过可适应的L-光滑性提升算法性能。
2022-05-10 math.OC
Convergent Bregman Plug-and-Play Image Restoration for Poisson Inverse Problems
Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）；IMB（数学研究所）；Washington University in St. Louis（圣路易斯华盛顿大学）
针对泊松逆问题，本文基于 BPG 提出收敛的 Bregman PnP 框架，设计 Bregman Score Denoiser 并证明两种算法收敛到显式全局泛函驻点。
2023-06-06 cs.LG eess.IV math.OC
Bregman Gradient Policy Optimization
University of Pittsburgh（匹兹堡大学）
基于Bregman发散和动量技术，设计了一种新的用于强化学习的Bregman梯度策略优化框架。具体地说，我们提出了一个布雷格曼梯度策略优化（BPENS）算法的基础上的基本动量技术和镜像下降迭代。同时，我们进一步提出了一个加速的Bregman梯度策略优化算法（VR-BPENN）的基础上减少的方差技术。此外，我们提供了一个收敛性分析框架下，我们的Bregman梯度策略优化的非凸设置。我们证明，我们的BGPO达到了寻找$O(ε^{-4})$的样本复杂度$O(ε^{-4})$-每次迭代仅需要一个轨迹的静态策略，并且我们的VR-BGPO达到了已知的最佳样本复杂度$O(ε^{-3})$，这也只需要一个轨迹每次迭代。特别地，通过使用不同的Bregman分歧，我们的Battlefield框架统一了许多现有的策略优化算法，如现有的（方差减少的）策略梯度算法，如自然策略梯度算法。在多个强化学习任务上的大量实验结果证明了我们的新算法的有效性。
2022-03-16 cs.LG cs.RO math.OC
Majorization-minimization Bregman proximal gradient algorithms for NMF with the Kullback--Leibler divergence
Graduate School of Information Science and Technology, The University of Tokyo（东京大学大学院信息理工学系研究科）；Department of Statistical Inference and Mathematics, The Institute of Statistical Mathematics（统计数学研究所统计推断与数学系）；The Graduate University for Advanced Studies（日本高级研究院）
本文提出基于KL散度的非负矩阵分解算法，通过同时更新所有变量实现高效收敛，改进了传统交替更新方法。
2025-08-22 math.OC
Inertial Bregman Proximal Gradient under Partial Smoothness
本文提出了一种用于最小化两函数之和的惯性 Bregman 近端梯度算法（IBPG），在三角缩放性质和 KL 性质框架下证明了其全局收敛性，并在部分光滑性假设下确立了局部线性收敛速率。
2025-01-29 math.OC
A double iteratively reweighted algorithm for solving group sparse nonconvex optimization models
China West Normal University（西华师范大学）；Shenzhen University（深圳大学）
本文提出一种双重迭代加权算法，用于求解群体稀疏非凸优化问题，通过凹组合促进稀疏结构，并结合凸替代和交替方向乘子法实现高效求解。
2025-11-24 math.OC
Global Convergence of Model Function Based Bregman Proximal Minimization Algorithms
University of Tübingen（图宾根大学）；Normandie Univ（诺曼底大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）；GREYC（卡昂格雷克计算机、图像与智能系统实验室）
连续可微函数梯度映射的Lipschitz连续性在设计各种优化算法中起着至关重要的作用。然而，在实际应用中出现的许多函数，例如低秩矩阵分解或深度神经网络问题，并不具有Lipschitz连续梯度。这导致了被称为$L$ -smad属性的广义概念的发展，该属性基于称为Bregman距离的广义邻近度量。但是，$L$ -smad属性不能处理非光滑函数，例如，像$\abs{x^4-1}$这样的简单非光滑函数以及许多实际的复合问题都不在范围之内。我们通过提出MAP属性来解决这个问题，该属性推广了$L$ -smad属性，并且对于一大类非凸非光滑复合问题也是有效的。基于所提出的MAP属性，我们提出了一个全局收敛的算法称为模型BPG，它统一了现有的几个算法。收敛性分析是基于一个新的李雅普诺夫函数。我们还数值说明了优越的性能模型BPG标准相位恢复问题，强大的相位恢复问题，和泊松线性逆问题，相比，一个国家的最先进的最优化方法，是有效的通用非凸非光滑最优化问题。
2020-12-24 cs.CV cs.LG cs.NA
An Inexact Bregman Proximal Difference-of-Convex Algorithm with Two Types of Relative Stopping Criteria
本文针对凸差优化问题提出非精确Bregman近邻凸差算法（iBPDCA），通过引入两类相对停止准则放宽子问题精确求解要求，在Kurdyka-Łojasiewicz性质下建立全局收敛性，数值实验验证了其优越性能。
2025-04-29 math.OC
Block Alternating Bregman Majorization Minimization with Extrapolation
本文考虑了一类非光滑非凸最优化问题，其目标函数为块相对光滑函数与真下连续块可分函数之和.虽然针对块$L$ -光滑函数类的块邻近梯度（BPG）方法的分析已经成功地扩展到处理块相对光滑函数类的Bregman BPG方法，但是加速Bregman BPG方法是稀缺的并且设计具有挑战性。从Nesterov型加速和优化-最小化方案中得到启发，提出了一种带外推的块交替Bregman优化-最小化框架（BMME）.在较弱的条件下证明了BMME的渐近收敛性，并在较强的条件下研究了其整体收敛性。我们证明了BMME在惩罚正交非负矩阵分解问题上的有效性。
2021-07-09 cs.NA eess.SP math.NA
A Unified Framework for Iterate Convergence of Bregman Proximal Methods
The Chinese University of Hong Kong（香港中文大学）
该研究提出适用于广泛核函数与复合目标函数的BPM迭代收敛统一框架，确立了标准BPM在温和条件下的迭代收敛性，还得到镜像流无凸性假设的首个轨迹收敛结果，构建了BPM的统一轨迹收敛理论。
2026-08-07 math.OC
Enhanced Bilevel Optimization via Bregman Distance
University of Pittsburgh（匹兹堡大学）；Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
近年来，双层优化已经被用于许多机器学习问题，如超参数优化，策略优化和Meta学习。虽然已经提出了许多两层最优化方法，但它们仍然具有高计算复杂性，并且没有考虑更一般的非光滑正则化两层问题。本文利用Bregman距离提出了一类改进的双层最优化方法，用于求解外层子问题为非凸且可能非光滑，内层子问题为强凸的双层最优化问题.具体来说，我们提出了一个双层最优化方法的基础上Bregman距离（生物BreD）来解决确定性的双层问题，它实现了较低的计算复杂性比最好的已知结果。同时，我们还提出了一种基于随机近似梯度和Bregman距离的随机双层最优化方法（SBiO-BreD）来求解随机双层问题。此外，我们进一步提出了一个加速版本的SBiO-BreD方法（ASBiO-BreD）使用方差减少技术，它可以实现一个较低的计算复杂度比最好的已知的计算复杂性度相对于条件数$κ$和目标精度$ε$寻找一个$ε$ -平稳点。我们进行数据超清洗任务和超表示学习任务，以证明我们的新算法优于相关的双层优化方法。
2022-10-26 cs.LG math.OC
Mirror frameworks for relatively Lipschitz and monotone-like variational inequalities
机器学习中的非凸非凹鞍点优化问题已经引起了人们对非单调变分不等式的大量研究。在这项工作中，我们介绍了两个镜像框架，称为镜像外梯度方法和镜像外推方法，近似的解决方案相对Lipschitz和单调的VI。前者包括著名的Nemirovski的镜像逼近法和Nesterov的对偶外推法，以及最近提出的Bregman外梯度法;所有这些方法都可以重新表述为与外梯度法的原始形式非常相似的方案。后者包括算子外推法和Bregman外推法作为其特例。建议的镜像框架，使我们能够提出一个统一的和改进的收敛性分析，所有这些现有的方法相对Lipschitzness和单调的条件下，可能是目前最弱的假设。
2022-12-30 math.OC
On Tackling High-Dimensional Nonconvex Stochastic Optimization via Stochastic First-Order Methods with Non-smooth Proximal Terms and Variance Reduction
The University of Hong Kong（香港大学）；The University of Minnesota Twin Cities（明尼苏达大学双城分校）；University of Florida（佛罗里达大学）
针对高维非凸随机优化中样本复杂度随维度线性增长的问题，提出采用非光滑近端项的非欧几里得随机一阶方法，结合方差缩减实现近最优样本复杂度，并通过实验验证维度不敏感性。
2026-09-15 math.OC
Blind Deconvolution with Non-smooth Regularization via Bregman Proximal DCAs
The Graduate University for Advanced Studies（advanced studies高级大学）；The Institute of Statistical Mathematics（统计数学研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究院先进智能项目中心）
针对盲反卷积问题中现有一阶方法缺乏理论支撑的问题，提出基于Bregman近端DC算法及带外推的扩展版本，在L-smad性质下保证收敛，可高效求解大规模问题，图像去模糊实验效果优于现有算法。
2022-08-02 eess.SP math.OC
Spurious Stationarity and Hardness Results for Bregman Proximal-Type Algorithms
Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程与工程管理系）；Sauder School of Business, University of British Columbia（不列颠哥伦比亚大学萨德勒商学院）
本文揭示了Bregman近端类型算法（如镜像下降）在非欧几何下可能陷入伪平稳点，即使对于凸问题，若Bregman核的梯度非Lipschitz连续，停滞可无限持续，并指出该现象在非凸多面体约束问题中普遍存在，挑战了现有收敛性理论。
2026-05-25 cs.LG math.OC stat.ML
Adaptive Bregman Proximal Stochastic Gradient with a Stabilized Barzilai--Borwein Step Size
University of Utah（犹他大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）；Guangzhou Nanfang College（广州南方学院）；The Chinese University of Hong Kong（香港中文大学）
该研究提出无需线搜索的Ada-BPSG方法，结合SAGA梯度表与稳定BB步长，在凸、非凸等场景下获收敛速率保证，实验中对初始步长敏感性低且性能优于基线。
2026-08-13 cs.LG math.OC
