An iterative Bregman regularization method for optimal control problems with inequality constraints
研究了带控制约束的最优控制问题的迭代正则化方法。正则化方法基于广义Bregman距离。我们提供了一个源条件和正则性条件的组合下的有效集的收敛结果。我们并不假设所期望的状态是可达到的。此外，先验正则化误差估计。
2016-03-18 math.OC
A sharp regularization error estimate for bang-bang solutions for an iterative Bregman regularization method for optimal control problems
在目前的工作中，我们提出的数值结果的迭代法解决最优控制问题的不等式约束。该方法是基于广义Bregman距离。在有效集上的源条件和正则性条件的组合下，给出了收敛结果。此外，我们通过数值例子表明，所提供的先验估计是尖锐的bang-bang情况。
2016-06-06 math.OC
A priori stopping rule for an iterative Bregman method for optimal control problems
在这篇文章中，我们继续我们的调查的迭代正则化方法的最优化问题的基础上Bregman距离。在$L^2(Ω)$中，最优化问题受逐点不等式约束。我们提供了扰动数据的噪声误差的估计，它可以用来构建一个先验的停止规则。此外，我们展示了如何实现我们的方法与半光滑牛顿法使用有限元和目前的数值结果的停止规则。
2016-08-24 math.OC
Gradient Methods for Problems with Inexact Model of the Objective
我们考虑在目标函数的不精确信息下凸极小化问题的最优化方法。我们引入了目标的不精确模型，作为特例，它包括$(δ,L)$不精确预言和相对光滑条件。我们分析了使用这种不精确模型的梯度法，并得到了凸和强凸问题的收敛速度。为了展示我们的一般框架的潜在应用，我们考虑三个特定的问题。第一个是通过[Nesterov，2018]中引入的选举模型进行聚类。第二个是近似的最优输运距离，我们提出了一个近端Sinkhorn算法。第三部分是关于最优输运重心的近似计算，提出了一种近似迭代Bregman投影算法。我们还通过数值实验说明了我们的算法的实际性能。
2019-03-23 math.OC
Stochastic Bregman Subgradient Methods for Nonsmooth Nonconvex Optimization Problems
本文研究目标函数缺乏Clarke正则性时的随机Bregman次梯度方法，通过微分包含建立收敛性，提出非精确求解与动量集成机制，并验证其在训练非光滑神经网络中的有效性。
2025-05-29 math.OC
On Inexact Solution of Auxiliary Problems in Tensor Methods for Convex Optimization
本文研究了用$p$ -阶张量方法求解具有$ν$ -Hölder连续$p$阶导数的凸函数无约束极小化问题中的辅助问题.这种类型的辅助问题对应于目标的$p$阶泰勒近似的$(p+ν)$阶正则化的最小化。对于$p=3$的情况下，我们考虑使用梯度方法与Bregman距离。当正则化参数足够大时，我们证明了所提方法最多只需要$\mathcal{O}(\log(ε^{-1}))$迭代就可以找到张量模型的一个合适的近似稳定点或原目标函数的一个$ε$ -近似稳定点.
2021-06-03 math.OC
Classical and Quantum Iterative Optimization Algorithms Based on Matrix Legendre-Bregman Projections
我们考虑Legendre-Bregman投影定义在厄米矩阵空间和设计迭代优化算法的基础上。建立了厄米矩阵上Bregman发散的一般对偶定理，它在证明迭代算法的收敛性中起着至关重要的作用.我们研究精确和近似Bregman投影算法。在Kullback-Leibler发散的特殊情况下，我们的近似迭代算法产生了用于最大熵推理的广义迭代缩放（GIS）算法和机器学习中的AdaBoost算法的非交换版本作为特殊情况。由于Legendre-Bregman投影是厄米矩阵上的简单矩阵函数，因此量子算法技术适用于在算法的每次迭代中实现潜在的加速。我们讨论了几个量子算法设计技术适用于我们的设置，包括光滑函数评估技术，两相量子最小值的发现，和NISQ吉布斯状态准备。
2022-09-28 math.OC quant-ph
A scaled, inexact and adaptive Fast Iterative Soft-Thresholding Algorithm for convex image restoration
在这篇文章中，我们考虑了最近在（Rebegoldi，Calatroni，'21）中提出的用于强凸复合优化问题的有效解的缩放的、不精确的和自适应的广义快速迭代软保持算法（SAGE-FISTA）的一个特殊实例。特别是，我们在这里解决的唯一（非强）凸优化的情况下，这是经常遇到的许多成像应用。所提出的不精确S-FISTA算法示出了与（Bonettini，Rebegoldi，Ruggiero，'19）中研究的FISTA的可变度量和不精确版本的类比，主要区别是使用自适应（非单调）回溯策略，允许沿着迭代自动调整算法步长（参见（Scheinberg，Goldfarb，Bai，'14，Calatroni，Chambolle，'19））。给出了函数值依赖于回溯参数和变度量算子谱的上、下界的一个平方收敛结果。电视图像去模糊问题的泊松噪声的实验结果，然后报告的数值验证，显示出提高计算效率和精度。
2021-04-01 math.OC
A Bregman inertial iteratively regularized extragradient method for bilevel variational inequality problems
Tokyo Metropolitan University（东京都立大学）；Nagoya Institute of Technology（名古屋工业大学）；Kyoto University（京都大学）
本文提出一种Bregman惯性正则化外梯度方法求解双层变分不等式问题，在偶空间进行惯性外推，推导了广义间隙函数的非渐近收敛界，并通过交通网络和多投资组合纳什均衡实验验证了有效性。
2026-09-29 math.OC
Optimal inexactness schedules for Tunable Oracle based Methods
本文研究可调非精确 oracle 的一阶优化方法，提出最优非精确性调度策略，在收敛性与计算成本间取得最佳折中，并通过 Fast Gradient 算法的数值实验验证了其实际有效性。
2023-09-14 math.OC
A Bregman Splitting Algorithm for Distributed Optimization over Networks
我们考虑分布式最优化问题，其中一组代理是通过对等通信网络协作寻求全局最优值。该问题出现在各种应用领域，如资源分配，传感器融合和分布式学习。我们提出了一个通用的高效分布式算法-分布式前向-后向Bregman分裂（D-FBBS）-同时解决上述原始问题，以及它的双重Bregman方法和运营商分裂的基础上。该算法允许代理异步通信，从而使自己的随机网络。该算法属于一般的邻近点法，在处理固定网络时，与现有的一些著名算法有着密切的联系。然而，我们将表明，它通常是不同于现有的，由于其在处理随机网络的有效性。在适当的假设下，我们分别建立了D-FBBS及其不精确形式（ID-FBBS）在固定网络上的非遍历收敛速度为O（1/k）的不动点残差收敛速度和随机网络上的遍历收敛速度为O（1/k）的不动点残差收敛速度.我们还将该算法应用到传感器融合问题，以显示其优越的性能相比，现有的方法。
2016-08-29 math.OC
Two-step inertial Bregman alternating structure-adapted proximal gradient descent algorithm for nonconvex and nonsmooth problems
针对实 Hilbert 空间中拟非扩张算子的多集分裂公共不动点问题，提出结合惯性技术与自适应步长的原始-对偶加速迭代算法，证明弱收敛并通过数值实验验证性能。
2023-06-07 math.OC
Inexact Relative Smoothness and Strong Convexity for Optimization and Variational Inequalities by Inexact Model
在本文中，我们提出了一个通用的算法框架，一阶方法在广义优化，包括极小化问题，鞍点问题，和变分不等式。该框架允许获得许多已知方法作为特例，该列表包括加速梯度法、复合最优化方法、水平集方法、Bregman邻近方法。该框架的思想是基于构建一个不精确的模型的主要问题组件，即目标函数在优化或操作员在变分不等式。除了再现已知的结果，我们的框架允许构建新的方法，我们通过构建一个通用的条件梯度法和一个通用的方法与复合结构的变分不等式说明。该方法适用于光滑和非光滑问题，具有最佳的复杂性，而无需先验知识的问题的光滑性。作为我们的一般框架的一个特殊情况下，我们引入相对光滑的运营商，并提出了一个算法的变分不等式（VI）与这样的运营商。我们还推广了我们的框架相对强凸目标和强单调变分不等式。本文是[arXiv：1902.00990]的扩展和更新版本。特别地，我们对最优化和变分不等式增加了一个相对强凸性的推广。
2021-12-19 math.OC
Bregman Alternating Direction Method of Multipliers
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
镜像下降算法（MDA）通过使用Bregman散度代替平方欧几里德距离来推广梯度下降。在本文中，我们同样推广的交替方向法的乘法器（ADMM）Bregman ADMM（BADMM），它允许选择不同的Bregman分歧，利用问题的结构。BADMM为ADMM及其变体提供了一个统一的框架，包括广义ADMM，不精确ADMM和Bethe ADMM。我们建立了BADMM的整体收敛和$O(1/T)$迭代复杂性。在某些情况下，BADMM可以比ADMM快$O(n/\log(n))$倍。在求解大批量运输问题的线性规划问题时，BADMM具有大规模并行性，易于在GPU上运行。BADMM比高度优化的商业软件Guidelines快几倍。
2014-07-08 cs.LG math.OC stat.ML
Adaptive Regularized Newton Method with Inexact Hessian
本文提出了一种自适应正则化牛顿法，通过使用近似Hessian和Bregman散度，降低计算成本并实现非凸和凸问题的全局收敛。
2025-12-09 math.OC
Inexact Online Proximal Mirror Descent for time-varying composite optimization
本文研究含梯度与近端算子误差的在线近端镜像下降算法，在凸光滑条件下获得了动态遗憾精确估计，消除了先前结果的$O(T)$项并将适用域扩展至全空间$\mathbb{R}^n$。
2023-04-10 math.OC
Global Convergence of Inexact Augmented Lagrangian Method for Zero-One Composite Optimization
考虑了极小化一个光滑函数与一个零-一损失函数与一个线性算子的复合之和的问题，即零-一复合最优化问题（0/1-COP）. 0/1-COP是一种通用的模型，包括支持向量机（SVM）、多标签分类（MLC）、最大秩相关（MRC）等，但由于0/1-COP的非凸性、不连续性和NP困难性，使得其全局收敛性难以设计，直接求解的工作也很少。在本文中，我们首先定义和表征的近端平稳性，以获得最小值和强精确惩罚的李雅普诺夫函数，这是一个变体的增广拉格朗日函数的0/1-COP。在此基础上，提出了求解0/1-COP的不精确增广拉格朗日方法（IALM），其中子问题采用低计算复杂性的0/1 Bregman交替线性化极小化（0/1-BALM）算法求解.在适当的假设下，我们证明了IALM产生的整个序列收敛到0/1-COP的局部极小。作为直接应用，我们在数据矩阵为满行秩的假设下，得到了IALM求解SVM、MLC和MRC的整体收敛性。
2021-12-01 math.OC
Two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
针对非凸非光滑不可分优化问题，本文结合两步惯性外推与Bregman距离，基于PALM提出新型迭代算法，证明序列收敛性并通过信号恢复等问题验证有效性。
2023-06-13 math.OC
ACQUIRE: an inexact iteratively reweighted norm approach for TV-based Poisson image restoration
我们提出了一种方法，称为ACQUIRE，约束最优化问题建模的泊松噪声损坏的图像恢复的解决方案。目标函数是广义Kullback-Leibler发散项和TV正则化子的和，服从非负性和可能的其他约束，例如通量守恒。ACQUIRE是一种线-搜索法，其基于Huber样函数考虑TV的平滑版本，并且通过最小化问题的二次近似来计算搜索方向，所述二次近似通过利用一些二阶信息来构建。一个经典的二阶泰勒近似用于Kullback-Leibler项和迭代加权范数的平滑TV项的方法。我们证明了该方法产生的序列有一个子序列收敛到光滑问题的极小点，且任何极限点都是极小点。此外，如果问题是严格凸的，则整个序列是收敛的。我们注意到，实现收敛，而不需要精确的二次子问题的最小化，在这种最小化的低精度可以在实践中使用，如数值结果所示。参考测试问题的实验表明，我们的方法是具有竞争力的电视为基础的泊松图像恢复方法，在计算效率和图像质量。
2019-08-21 math.OC
Gradient Methods with Dynamic Inexact Oracles
我们表明，原始-对偶梯度法，也被称为梯度下降上升法，解决凸-凹极大极小问题，可以被视为一个不精确的梯度法适用于原始问题。梯度的精确计算依赖于求解内部最大化问题，通过另一种梯度法近似计算。为了模拟由迭代算法实现的近似计算例程，我们引入了动态不精确预言机的概念，这是离散时间动力系统，其输出渐近接近精确预言机的输出。我们提出了一个统一的收敛性分析一般的一阶方法实现的动态不精确预言机，并证明其使用在创建新的加速原始对偶法。
2020-07-02 math.OC
Inexact Policy Iteration Methods for Large-Scale Markov Decision Processes
本文提出参数化停止条件控制的非精确策略迭代框架，分析其收敛与收缩保证及多种内部求解器，并在传染病防控的大规模 MDP 中验证数值性能。
2024-04-09 math.OC
An inexact framework of the Newton-based matrix splitting iterative method for the generalized absolute value equation
针对广义绝对值方程求解问题，本文提出基于Newton的矩阵分裂迭代法的非精确框架INMS，证明其全局线性收敛性，数值实验验证了该方法的优越性。
2022-02-14 cs.NA math.NA math.OC
Convergence Analysis of Inexact Randomized Iterative Methods
University of Edinburgh（爱丁堡大学）；King Abdullah University of Science and Technology (KAUST)（沙特国王 Abdullah 科技大学 (KAUST)）；MIPT（莫斯科物理技术学院）
本文给出了几种随机迭代法的不精确变式的收敛速度分析。其中研究的方法有：随机梯度下降，随机牛顿，随机邻近点和随机子空间上升。这些方法的一个共同特点是，在他们的更新规则的某一个子问题需要被精确地解决。我们放宽这一要求，允许子问题得到不精确的解决。特别是，我们提出并分析了不精确随机迭代法解决三个密切相关的问题：凸随机二次最优化问题，一个最佳逼近问题及其对偶，凹二次最大化问题。我们提供迭代复杂性的结果，在几个假设的不精确误差。许多流行的和一些更奇特的方法的不精确变体，包括随机块Kaczmarz，随机高斯Kaczmarz和随机块坐标下降，可以被视为特殊情况。数值实验证明了允许不精确的好处。
2019-03-19 cs.LG cs.NA math.NA
Convergence of Bregman alternating direction method with multipliers for nonconvex composite problems
带乘子的交替方向法（ADMM）是解决图像与信号处理和机器学习领域中各种凸或非凸组合问题的最有效和最成功的方法之一。在凸的设置，许多收敛性的结果已经建立了ADMM以及它的品种。然而，由于不存在凸性，非凸ADMM的收敛性分析通常是非常困难的。在本文中，我们研究的Bregman修改的ADMM（BADMM），其中包括传统的ADMM作为一个特殊的情况下，往往会导致改进的算法的性能。在一定的假设下，我们证明了由BADMM产生的迭代序列收敛到相关增广拉格朗日函数的一个稳定点。所得到的结果强调了ADMM在非凸设置下的应用的可行性。
2014-12-05 math.OC
Well-Posedness and Efficient Algorithms for Inverse Optimal Transport with Bregman Regularization
Yau Mathematical Sciences Center, Tsinghua University（丘成桐数学科学中心，清华大学）；Department of Mathematical Sciences, Tsinghua University（数学科学系，清华大学）；Department of Mathematics, Cornell University（数学系，康奈尔大学）
本文研究了在Bregman正则化下逆最优传输问题的适定性，分析了成本矩阵的结构假设下的存在性、唯一性及稳定性，并提出了一种近似块坐标下降法以高效求解具有强凸惩罚项的问题。
2026-04-30 cs.NA math.NA math.OC
On Inexact Accelerated Proximal Gradient Methods with Relative Error Rules
最流行和最重要的一阶迭代之一是“快速迭代收缩/保持算法”（FISTA），它提供了经典的近端梯度法（PGM）的最佳复杂度。本文研究了极小化两个凸函数和的两种不精确形式的FISTA。所提出的计划不精确地解决他们的子问题，使用相对误差标准，而不是外生和减少误差的规则。当近端操作者的评估是困难的，不精确版本的FISTA是必要的，这里提出的相对误差规则可能比以前的误差规则具有一定的优势。两种算法都具有相同的FISTA最优收敛速度。一些数值实验报告，以说明新方法的数值行为。
2020-05-07 math.OC
An Inexact Feasible Interior Point Method for Linear Optimization with High Adaptability to Quantum Computers
本文提出一种非精确可行内点法IF-IPM，通过新颖线性系统生成非精确但可行的步长，并证明其具有与最优精确IPMs相当的迭代复杂度，同时结合量子线性系统算法和迭代细化方案以高效求解线性优化问题。
2025-07-03 math.OC
Fixed Point and Bregman Iterative Methods for Matrix Rank Minimization
仿射限制条件下的低秩矩阵的恢复问题广泛地出现在控制、信号处理及系统识别等许多领域中.该问题的最紧凸松弛是线性约束核范数最小化。虽然后者可以被看作是半定规划问题，但当矩阵很大时，这种方法的求解在计算上是昂贵的。本文提出了求解核范数最小化问题的不动点算法和Bregman迭代算法，并证明了第一种算法的收敛性.通过使用同伦方法和近似奇异值分解过程，我们得到了一个非常快速、鲁棒和强大的算法，我们称之为FPCA（不动点Continuation with Approximate SVD），它可以解决非常大的矩阵秩最小化问题。在随机生成矩阵和实矩阵完备化问题上的数值结果表明，与SDPT 3等半定规划求解器相比，该算法具有更快的速度和更好的可恢复性.例如，我们的算法可以在大约3分钟内恢复秩为50的1000 × 1000个矩阵，并且通过仅采样20%的元素，相对误差为1 e-5。据我们所知，没有其他方法可以实现如此好的可恢复性。在在线推荐、DNA微阵列数据集和图像修复问题上的数值实验验证了算法的有效性.
2009-05-12 cs.IT math.IT math.OC
Quantum Computing Inspired Iterative Refinement for Semidefinite Optimization
针对量子求解器精度有限的问题，本文提出首个半定优化迭代精化方案，证明其无条件二次收敛，并使量子内点法最坏情况运行时间获得指数级改进。
2023-12-18 math.OC
Robust Sublinear Convergence Rates for Iterative Bregman Projections
CNRS and ENS, Université PSL（国家科学研究中心和巴黎高等师范学院，巴黎大学）
本文提出了一种证明O(1/k)对偶收敛速率的通用框架，该速率的常数仅与1/γ线性相关，通过统一的对偶界和商范数界，为图结构运输问题提供了新的流Sinkhorn算法，实现了Wasserstein-1距离的ε-加性精度。
2026-05-08 cs.LG math.OC
Inexactness of the Hydro-Thermal Coordination Semidefinite Relaxation
水热协调是确定水、火电厂随时间变化的最优经济调度问题。水力发电的物理过程通常在文献中被简化，以解释其基本的非线性性质。在凸松弛理论的进步已经允许出现的肖尔的半定规划（SDP）松弛的二次模型的问题。本文展示了最近发表的SDP松弛如何仅在观察到关于涡轮机效率的非常严格的条件时才是准确的，否则失败。它进一步提出了使用一组凸包络作为一种策略，成功地获得一个更严格的下界的最优解。该策略与一个标准的迭代凹凸过程相结合，以恢复原来的非凸问题的一个稳定点。
2017-11-10 math.OC
Implementation of the ADMM to Parabolic Optimal Control Problems with Control Constraints and Beyond
具有控制约束的抛物型最优控制问题无论从理论分析还是算法设计的角度来看都是具有挑战性的。从概念上讲，众所周知的交替方向法的乘法器（ADMM）可以直接应用于这样的问题。这种直接ADMM应用的一个有吸引力的优点是，控制约束可以从抛物线PDE约束中解脱出来;因此，这两个固有的不同约束可以在迭代中单独处理。在ADMM的每一次迭代中，主要的计算是求解一个无约束抛物型最优控制问题。由于离散化后的高维性，每次迭代时的无约束抛物型最优控制问题只能通过内部实现某种数值格式来不精确求解，因此需要两层嵌套迭代格式。然后，重要的是要找到一个容易实现的和有效的不精确性准则来执行内部迭代，并严格证明所得到的两层嵌套迭代方案的整体收敛性。为了有效地实现ADMM，我们提出了一个不精确的标准，这是独立的网格步长的离散化，它可以自动执行，而不需要设置经验感知的恒定精度先验。不精确性准则使我们能够将无约束最优控制问题求解到中等甚至低精度，从而显著地节省了计算量，但仍能严格保证整个两层嵌套迭代格式的收敛性.这个ADMM实现的效率是有希望的初步数值结果验证。我们的方法也可以扩展到其他线性偏微分方程，如椭圆方程和双曲型方程约束的最优控制问题。
2020-05-04 math.OC
A Triple-Bregman Balanced Primal-Dual Algorithm for Saddle Point Problems
针对PDHG求解凸-凹鞍点问题时原始与对偶子问题不平衡的问题，提出含三个独立Bregman近端项的TBDA框架，证明其收敛性、更大步长及改进版本，并通过实验验证性能优势。
2025-06-08 math.OC
A Unified Bregman Alternating Minimization Algorithm for Generalized DC Programming with Application to Imaging Data
针对广义DC规划的非凸与不可分性，提出统一Bregman交替最小化算法（UBAMA），通过交替更新块变量、Fenchel-Young不等式近似和Bregman近端正则化简化子问题，并证明了其全局收敛性与局部收敛速率。
2023-08-04 math.OC
Randomized Iterative Methods for Linear Systems: Momentum, Inexactness and Gossip
University of Edinburgh（爱丁堡大学）
在大数据时代，关键挑战之一是开发新的优化算法，这些算法可以容纳大量数据，同时满足所研究问题的约束和限制。解决最优化问题的需要在人类努力的所有定量领域都是普遍存在的，包括工业和科学。在过去的十年中，机器学习、计算机视觉、人工智能、信号处理和数据科学等领域的从业者对能够应对这些新的大规模问题的新方法的需求激增。在这篇论文中，我们将集中在设计，复杂性分析和有效的实现，这样的算法。特别是，我们感兴趣的随机迭代法的发展，解决大规模线性系，随机二次最优化问题，最佳逼近问题和二次最优化问题。论文的很大一部分也致力于发展有效的方法，以获得大规模网络的平均共识。
2019-09-26 cs.LG cs.NA math.NA
Distributed Optimization with Inexact Oracle
本文研究了使用近似一阶信息的分布式最优化问题。我们假设智能体可以重复调用每个目标函数的不精确一阶预言，并与其随时间变化的邻居交换信息。在这种情况下，我们重新讨论了分布式次梯度方法，并证明了它在平方可和但不可和步长下的次优性。我们还提出了几个条件上的不精确的本地神谕，以确保精确收敛的迭代序列的全球最优解。数值算例验证了算法的有效性。
2022-08-25 cs.SY eess.SY math.OC
Inexact Newton combined approximations in the topology optimization of geometrically nonlinear elastic structures and compliant mechanisms
本文将不精确牛顿法与迭代组合逼近法（ICA）相结合，在几何非线性假设下求解拓扑最优化问题。使用顺序分段线性规划（SPLP）算法解决基于密度的问题配方。已提出五种不同的策略来控制非线性平衡方程的雅可比矩阵因式分解的频率。为了在保持近似解精度的同时加快整个迭代方案的速度，其中三种策略还将ICA方案用于与灵敏度分析相关的伴随线性系。所提出的再分析策略的鲁棒性通过四个基准问题的数值实验得到证实-两个结构和两个符合机制。除了评估考虑固定迭代预算的策略的性能外，还分析了理论上支持的SPLP算法停止准则的影响。
2021-12-16 cs.NA math.NA math.OC
A convergence proof of the split Bregman method for regularized least-squares problems
University of Michigan（密歇根大学）
分裂Bregman（SB）方法[T. Goldstein和S. Osher，SIAM J.成像科学，2（2009），pp. 323 - 43]是一种快速的基于分裂的算法，其解决了具有一般L1的图像重建问题，例如，全变分（TV）和压缩感知（CS），通过引入单个变量分裂来解耦数据拟合项和正则化项，从而产生可分离（或部分可分离）且易于最小化的简单子问题。已经提出了几个收敛性证明，这些证明要么强加一个"完整的列秩"假设的分裂或假设在所有子问题的确切更新。然而，这些假设是不切实际的，在许多应用中，如X射线计算机断层扫描（CT）图像重建，内部最小二乘问题通常不能有效地解决，由于高度移变海森。本文证明了当数据拟合项为二次项时，SB方法是一个收敛的乘子交替方向法（ADMM），并利用[J.Eckstein和D. P. Bertsekas，数学规划，55（1992），pp. 293 - 318，定理8]。此外，由于SB方法只是ADMM算法的特殊情况，因此如果适当地选择增广Largangian（AL）罚参数，则ADMM算法似乎可能比SB方法更快。为了得到一个具体的例子，我们进行了收敛速度分析的ADMM算法使用二次数据拟合项和正则化项的图像恢复问题的两个分裂。根据我们的分析，我们可以表明，两个分裂ADMM算法可以比SB方法的AL罚参数是次优的更快。数值实验验证了我们的分析。
2014-02-18 cs.LG math.OC stat.ML
Parallel Inexact Levenberg-Marquardt Method for Nearly-Separable Nonlinear Least Squares
针对地籍图精化等场景下具有近可分结构的大规模非线性最小二乘问题，提出基于经典LM方法的并行非精确方法PILM，通过块内并行求解加稀疏块间通信实现可扩展并行，兼具强收敛性与高效性。
2025-01-14 math.OC
Solutions to inexact resolvent inclusion problems with applications to nonlinear analysis and optimization
非线性分析和优化中的许多问题，如变分不等式和凸函数的极小化，都可以归结为求集值算子的零点（即根）。因此，为了实现这一任务，已经设计了许多算法。许多这些算法是不精确的，因为它们允许在迭代过程中出现扰动，因此它们使人们能够更好地处理噪声和计算错误，以及优越化。多年来，一些基本的问题仍然是开放的关于许多这些已知的不精确的算法计划在各种有限和无限维的设置，即是否存在序列满足这些不精确的计划时，错误出现。我们对这个问题提供了肯定的答案。我们的结果还表明，讨论这些不精确格式的收敛性的各种定理有一个真正的优点超出了确切的情况。作为副产品，我们解决了标准和强隐式不精确预解包含问题，引入了一类有前途的功能（完全勒让德函数），建立连续依赖（稳定）性质的解决方案的不精确预解包含问题和连续性质的原预解，并推广了强单调性的概念。
2017-08-22 math.FA math.OC
Split Bregman method for large scale fused Lasso
University of California Irvine（加州大学尔湾分校）
回归或分类系数的排序发生在许多实际应用中。Fused Lasso通过$\ell_1$范数正则化器显式正则化相邻系数之间的差异来利用这种排序。然而，由于正则化项的不可分离性和非光滑性，求解融合Lasso问题在计算上要求很高。现有的求解器只能处理中小规模的问题，或者预测矩阵为单位矩阵的融合Lasso问题的特殊情况。本文提出了一种基于分裂Bregman方法的迭代算法来求解一类大规模融合Lasso问题，包括广义融合Lasso问题和融合Lasso支持向量分类器问题。我们使用增广拉格朗日方法推导出我们的算法，并证明其收敛性。我们的方法的性能进行了测试，人工数据和现实世界的应用程序，包括蛋白质组数据从质谱和基因组数据阵列CGH。我们证明，我们的方法是许多倍的速度比现有的求解器，并表明，它是特别有效的大p，小n的问题。
2010-06-26 cs.LG math.OC stat.CO
Adaptive Bregman-Kaczmarz: An Approach to Solve Linear Inverse Problems with Independent Noise Exactly
针对每次访问分块都产生独立新噪声的线性反问题，本文提出带可估计自适应步长的分块 Bregman-Kaczmarz 方法，证明其可精确收敛，并通过数值实验验证有效性。
2024-05-09 cs.NA math.NA math.OC
Reverse em-problem based on Bregman divergence and its application to classical and quantum information theory
针对现有信道容量解析计算方法的局限，基于Bregman散度构建反向em问题，解决开放难题并推导非迭代公式，揭示信息几何结构，扩展无迭代计算信道容量的适用范围。
2024-03-14 cs.IT math.IT math.OC
Convergent Bregman Plug-and-Play Image Restoration for Poisson Inverse Problems
Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）；IMB（数学研究所）；Washington University in St. Louis（圣路易斯华盛顿大学）
针对泊松逆问题，本文基于 BPG 提出收敛的 Bregman PnP 框架，设计 Bregman Score Denoiser 并证明两种算法收敛到显式全局泛函驻点。
2023-06-06 cs.LG eess.IV math.OC
An Adaptively Inexact Method for Bilevel Learning Using Primal-Dual Style Differentiation
University of Zurich（苏黎世大学）；University of Bath（巴斯大学）；Graz University of Technology（格拉茨技术大学）
针对依赖凸下层问题极小解的双层学习，本文用 piggyback 迭代计算非精确超梯度，给出后验误差界与自适应步长方法。
2025-06-07 cs.LG math.OC
Relaxation of optimal transport problem via strictly convex functions
有限空间上的最优输运问题是一个线性规划问题。最近，通过严格凸函数，特别是通过Kullback-Leibler分歧，放松最优输运问题，为数据科学提供了新的视角。本文通过Bregman发散给出了松弛最优输运问题的数学基础和基于梯度下降的迭代过程。
2021-03-02 math.OC stat.ML
Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching
University of Chicago（芝加哥大学）；University of California, Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文针对等式约束非线性非凸优化问题，提出一种结合随机迭代草图求解器与精确增广拉格朗日线搜索的自适应非精确牛顿法，实现全局几乎必然收敛及局部超线性收敛，并在多个基准问题上验证了其优越性能。
2023-05-28 cs.LG cs.NA math.NA
A telescoping Bregmanian proximal gradient method without the global Lipschitz continuity assumption
The Technion - Israel Institute of Technology（技术Ion-以色列理工学院）
本文提出了一种无需全局Lipschitz连续性假设的近端梯度方法变体，通过在约束集上进行 telescoping 分解，并利用Bregman散度来改进收敛性分析。
2019-03-19 cs.LG cs.NA math.FA
Overrelaxed Sinkhorn-Knopp Algorithm for Regularized Optimal Transport
本文描述了一组快速计算正则化最优输运问题的解的方法。它推广和改进了广泛使用的迭代Bregman投影算法（或Sinkhorn-Knopp算法）。我们首先建议依赖于正则化的非线性加速方案。在实践中，这种方法导致快速算法，但不能确保其整体收敛。因此，我们接下来提出了一个新的算法与收敛保证。这个想法是过度放松布雷格曼投影算子，允许更快的收敛。我们提出了一个简单的方法，建立整体收敛，确保减少的李雅普诺夫函数在每一步。构造了一种基于李雅普诺夫函数的超松弛参数自适应选择方法。我们还提出了一个启发式选择一个合适的渐近超松弛参数，基于局部收敛分析。我们的数值实验表明，在某些制度的数量级的收敛速度的增益。
2021-03-31 cs.NA math.NA math.OC
An Adaptive, Parallel, and Inexact Newton Method for Large-scale Nonlinear Optimal Control
University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Georgia Institute of Technology（佐治亚理工学院）
提出自适应重叠时间分解（AOTD），一种并行SQP方法，在线调整重叠大小和求解精度，无需预设重叠，在电力系统与Burgers PDE最优控制问题上，计算量较最佳固定重叠变体减少约2.5倍。
2026-09-29 cs.SY eess.SY math.OC
