Convergence of multi-block Bregman ADMM for nonconvex composite problems
带乘子的交替方向法是求解各种复合材料问题的最有效和最成功的方法之一。传统ADMM的收敛（即，2-块）的凸目标函数的收敛性已经证明了很长一段时间，它的收敛性的非凸目标函数，然而，最近才建立。多块ADMM是ADMM的自然扩张，是一种广泛使用的方案，在解决各种非凸最优化问题中也非常有用。因此，它有望建立在非凸框架下的多块ADMM的收敛理论。本文给出了3-块ADMM的一个Bregman修正，并证明了它对一个大的非凸函数族的收敛性。我们进一步扩展的收敛结果$N$块的情况下（$N \geq 3$），这强调了多块ADMM应用程序在非凸设置的可行性。最后，我们提出了一个模拟研究和现实世界的应用程序来支持所获得的理论断言的正确性。
2015-05-12 math.OC
Forward-Backward Splitting with Bregman Distances
针对一般自反巴拿赫空间中的复合极小化问题，提出了一种基于Bregman距离的前后向分裂算法.收敛性的建立使用可变的拟Bregman单调序列的概念。各种例子进行了讨论，包括一些在欧几里得空间，在那里获得新的算法。
2016-10-07 math.OC
Composite and Stochastic Smoothed Decentralized Bregman Proximal-Gradient Methods
The Chinese University of Hong Kong（香港中文大学）；Xiangtan University（湘潭大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）；Guangzhou Nanfang College（广州南方学院）
该研究扩展了平滑去中心化Bregman邻近梯度方法，针对节点特定正则化项与随机局部梯度给出理论界，实验验证其性能并评估四次Bregman核的效果。
2026-10-14 math.OC
Variance-Based Bregman Extragradient Algorithm with Line Search for Solving Stochastic Variational Inequalities
本文的主要目的是提出一种基于方差的线搜索Bregman外梯度算法来求解随机变分不等式，该算法对未知的Lipschitz常数具有鲁棒性。我们用一种更简洁有效的方法证明了该算法的几乎必然收敛性，而不用上鞅收敛定理。此外，我们不仅得到了$\mathcal{O}(1/k)$在$X$有界时关于间隙函数的收敛速度，而且还得到了在$X$无界时关于自然剩余函数的收敛速度.在Minty变分不等式条件下，我们得到了这两种情况下的迭代复杂度$\mathcal{O}(1/\varepsilon)$和预言复杂度$\mathcal{O}(1/\varepsilon^2)$.最后，数值结果表明了该算法的优越性。
2022-08-30 math.OC
Single-loop variance reduction methods in Bregman setups for finite-sum structured variational inequalities
本文提出了一种单环方差减少算法，用于求解Bregman设置中的有限和结构变分不等式，实现了线性收敛率和最优复杂度。
2025-11-20 math.OC
A Stochastic Bregman Primal-Dual Splitting Algorithm for Composite Optimization
研究了求解实自反巴拿赫空间上凸凹鞍点问题的随机一阶原始-对偶方法，该方法利用Bregman发散和相对光滑性假设，在算法中考虑了梯度项计算的随机误差.证明了在较弱的假设下，遍历序列的每一个几乎必然弱簇点都是期望中的一个鞍点，且收敛速度为O（1/k）.在稍微严格的假设下，我们证明了逐点迭代几乎必然弱收敛到一个鞍点。在对目标函数作较强的凸性假设和对Bregman发散熵作全凸性假设的条件下，我们建立了逐点迭代几乎必然强收敛于一个鞍点的定理.我们的框架是通用的，并不需要强凸性的熵诱导Bregman分歧的算法。数值应用被认为包括熵正则化Wasserstein重心问题和正则化反问题的单纯形。
2021-12-22 math.OC stat.ML
A stochastic two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
本文提出STiBPALM算法，结合两步惯性与Bregman近端交替线性化及方差缩减随机梯度，用于求解大规模非凸非光滑优化问题，并证明其收敛性，通过稀疏非负矩阵分解和盲图像去模糊实验验证性能。
2023-07-11 math.OC
Bregman Proximal Mappings and Bregman-Moreau Envelopes under Relative Prox-Regularity
本文系统地研究了Poliquin和Rockafellar提出的相对正则性下非凸函数的Bregman邻近映射的局部单值性和Bregman-Moreau包络的局部光滑性.由于Bregman距离通常是不对称的，根据Bauschke等人，考虑Bregman邻近映射的两个变体是很自然的，根据自变量的顺序，这两个变体被称为左Bregman邻近映射和右Bregman邻近映射。我们首先考虑左Bregman近端映射。然后，通过平移的结果，我们得到类似的（和部分尖锐的）结果的权利Bregman近端映射。相对近正则函数的类显着扩展了最近考虑的相对亚凸函数类。特别地，相对凸正则性允许函数具有可能的非凸域。此外，作为一个主要来源的例子和类似的经典设置，我们引入相对顺从的功能，即凸复合函数，其中内部的非线性映射是组件明智的光滑适应，最近推出的扩展Lipschitz可微。通过举例的方式，我们应用我们的理论来局部解释联合交替Bregman最小化与邻近正则化作为Bregman邻近梯度算法，适用于一个光滑的自适应函数。
2020-01-31 math.OC
A Bregman inertial forward-reflected-backward method for nonconvex minimization
提出了求解非凸组合问题的Bregman惯性前向反射后向（BiFRB）方法。我们的分析依赖于一种新的方法，对隐式价值函数参数施加一般条件，这产生了一个步长条件，是独立的惯性参数。反过来，马利茨基和塔姆关于FRB是否可以配备Nesterov型加速的问题得到了解决。假设目标函数的二次正则化具有广义凹Kurdyka-Schojasiewicz性质，得到了BiFRB的序列收敛性，以及关于函数值和实际序列的收敛速度.我们还提出了Bregman子问题的公式，不仅补充了BiFRB，而且还补充了Boe-Csetnek-László和Boe-Csetnek的工作。数值模拟进行评估我们提出的算法的性能。
2022-07-04 math.OC
Stochastic Bregman Subgradient Methods for Nonsmooth Nonconvex Optimization Problems
本文研究目标函数缺乏Clarke正则性时的随机Bregman次梯度方法，通过微分包含建立收敛性，提出非精确求解与动量集成机制，并验证其在训练非光滑神经网络中的有效性。
2025-05-29 math.OC
Linesearch-free adaptive Bregman proximal gradient for convex minimization under local relative smoothness
Kyushu University（九州大学）；IMT School for Advanced Studies Lucca（卢卡高等研究学院）
本文提出了一种无需全局相对平滑性或强凸性假设的自适应Bregman近似梯度算法，通过局部曲率估计生成步长，避免了回溯线搜索。利用Bregman泛化的Young不等式控制关键内积，适用于局部相对平滑的可微项问题。
2026-06-05 math.OC
Approximate Bregman Proximal Gradient Algorithm for Relatively Smooth Nonconvex Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文提出近似Bregman近端梯度算法用于解决相对光滑非凸优化问题，通过简化子问题和放宽梯度连续性假设，实现了更广泛的收敛性保证和更优的数值性能。
2024-05-31 math.OC
Stochastic Bregman Proximal Gradient Method Revisited: Kernel Conditioning and Painless Variance Reduction
本文通过提出核条件化正则性和新的梯度映射，解决了随机Bregman近端梯度方法在光滑适应性条件下无法有效应用动量、洗牌和方差缩减的问题，并建立了与实例无关的 $O(\sqrt{n})$ 最优复杂度。
2025-09-22 math.OC
Bregman Gradient Policy Optimization
University of Pittsburgh（匹兹堡大学）
基于Bregman发散和动量技术，设计了一种新的用于强化学习的Bregman梯度策略优化框架。具体地说，我们提出了一个布雷格曼梯度策略优化（BPENS）算法的基础上的基本动量技术和镜像下降迭代。同时，我们进一步提出了一个加速的Bregman梯度策略优化算法（VR-BPENN）的基础上减少的方差技术。此外，我们提供了一个收敛性分析框架下，我们的Bregman梯度策略优化的非凸设置。我们证明，我们的BGPO达到了寻找$O(ε^{-4})$的样本复杂度$O(ε^{-4})$-每次迭代仅需要一个轨迹的静态策略，并且我们的VR-BGPO达到了已知的最佳样本复杂度$O(ε^{-3})$，这也只需要一个轨迹每次迭代。特别地，通过使用不同的Bregman分歧，我们的Battlefield框架统一了许多现有的策略优化算法，如现有的（方差减少的）策略梯度算法，如自然策略梯度算法。在多个强化学习任务上的大量实验结果证明了我们的新算法的有效性。
2022-03-16 cs.LG cs.RO math.OC
Stochastic Primal-Dual Coordinate Method with Large Step Size for Composite Optimization with Composite Cone-constraints
我们引入了Cohen和Zhu（1984）以及Zhao和Zhu（2018）研究的一阶原始对偶方法的随机坐标扩展，以解决具有复合锥约束的复合优化（COCC）。在这种方法中，我们根据均匀分布随机选择一组变量。对随机选择的块的线性化和Bregman样函数（核心函数）允许我们得到简单的并行COCC原始-对偶分解。我们得到了几乎必然收敛性和O（1/t）的期望收敛速度.本文还导出了高概率复杂度界。
2019-05-02 math.OC
Bregman Proximal Linearized ADMM for Minimizing Separable Sums Coupled by a Difference of Functions
本文提出一种结合Bregman距离的线性化ADMM分裂算法，用于求解由函数差耦合的非凸非光滑可分离复合优化问题，并证明了其子序列及全序列收敛性，在鲁棒PCA和最优潮流问题上验证了有效性。
2024-09-30 math.OC
A Nonlinear Bregman Primal-Dual Framework for Optimizing Nonconvex Infimal Convolutions
本文研究非凸、非光滑复合最优化问题的优化问题，其目标是一个非线性映射和一个非光滑非凸函数的复合，可以写成一个下卷积（inf-conv）。为了解决这个问题类，我们建议重新制定的问题，利用其inf-conv结构，并推导出一个块坐标下降方案的Bregman增广拉格朗日，可以异步实施。我们证明了我们的计划收敛到固定点的原始模型的特定选择的罚参数。我们的框架包括各种现有的算法作为特殊情况下，如DC-规划，$k$ -均值聚类和ADMM与非线性算子，当一个特定的目标函数和下卷积分解（下反卷积）被选中。在说明性的实验中，我们提供的证据，我们的算法表现良好的低目标值和鲁棒性对初始化，相比DC编程或$k$ -手段算法。
2018-03-27 math.OC
A Bregman proximal linearized ADMM for fractional programming with nonlinear coupling constraints
China University of Mining and Technology（中国矿业大学）；RMIT University（皇家墨尔本理工大学）；Guangxi Minzu University（广西民族大学）
本文针对带非线性耦合约束的非凸分式规划问题，提出Bregman邻近线性化ADMM，证明其收敛性与收敛速率，数值实验验证了算法有效性。
2026-10-09 math.OC
Gradient Regularization of Newton Method with Bregman Distances
在本文中，我们提出了一个第一个二阶计划的基础上任意非欧规范，纳入Bregman距离。它们被直接引入到牛顿迭代中，正则化参数与当前梯度范数的平方根成比例。对于基本方案，适用于复合最优化问题，我们建立了整体收敛速度的顺序$O(k^{-2})$的功能性剩余和次梯度的范数。我们的主要假设的光滑部分的目标是Lipschitz连续的Hessian。对三次一致凸函数证明了全局线性收敛速度，对强凸函数证明了局部超线性收敛速率。我们的方法可以被看作是一个松弛的三次正则化的牛顿方法，它保持其收敛性，而在每次迭代的辅助子问题是简单的。我们装备我们的方法与自适应线搜索过程中选择的正则化参数。我们还提出了一个加速方案的收敛速度$O(k^{-3})$，其中$k$是迭代计数器。
2021-12-06 math.OC
Convergence Rate Bounds for the Mirror Descent Method: IQCs, Popov Criterion and Bregman Divergence
本文针对凸优化中的镜像下降法，结合波波夫判据与积分二次约束框架，推导了保守性更低且可达到紧界的收敛速率界，拓展了其收敛性分析方法。
2024-09-13 math.OC
Adaptive Bregman Proximal Stochastic Gradient with a Stabilized Barzilai--Borwein Step Size
University of Utah（犹他大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）；Guangzhou Nanfang College（广州南方学院）；The Chinese University of Hong Kong（香港中文大学）
该研究提出无需线搜索的Ada-BPSG方法，结合SAGA梯度表与稳定BB步长，在凸、非凸等场景下获收敛速率保证，实验中对初始步长敏感性低且性能优于基线。
2026-08-13 cs.LG math.OC
Right Bregman proximal gradient with application to Poisson inverse problems *
INSA-Lyon（里昂国立应用科学学院）
本文提出一种右Bregman近端梯度算法，通过镜像坐标重参数化实现凸复合优化，并应用于泊松逆问题，恢复并推广了Richardson-Lucy更新，证明了单调递减和次线性收敛，实验验证了其性能。
2026-10-06 eess.IV math.OC
Semi-Anchored Multi-Step Gradient Descent Ascent Method for Structured Nonconvex-Nonconcave Composite Minimax Problems
生成对抗网络、对抗训练、公平训练等极大极小问题，在实际中被广泛采用多步梯度下降上升（MGDA）方法来解决。然而，它的收敛保证是有限的。在本文中，受原始-对偶混合梯度法的启发，我们提出了一种新的半锚定（SA）技术的MGDA方法。这使得MGDA方法可以找到结构化非凸-非凹复合Minimax问题的一个不动点，其鞍次微分算子满足弱Minty变分不等式条件.由此产生的方法，命名为SA-MGDA，是建立在Bregman近点法。我们进一步发展其回溯线搜索版本，其非欧版本的平滑适应功能。数值实验，包括公平的分类训练，提供。
2022-06-09 math.OC
A Bregman Proximal Stochastic Gradient Method with Extrapolation for Nonconvex Nonsmooth Problems
针对可微部分缺乏全局Lipschitz连续梯度的非凸非光滑优化问题，提出带外推的Bregman近端随机梯度方法（BPSGE），在方差减少框架下分析其收敛性与复杂度，并通过实验验证其加速效果。
2024-01-04 math.OC
Dual-Free Stochastic Decentralized Optimization with Variance Reduction
我们考虑以分散的方式在分布式数据上训练机器学习模型的问题。对于有限和问题，大型数据集的快速单机算法依赖于随机更新和方差减少。然而，现有的分散式随机算法要么没有获得随机更新所允许的完全加速，要么需要比常规梯度更昂贵的预言机。在这项工作中，我们介绍了一个分散的随机算法与方差减少称为DVR。DVR仅需要计算局部函数的随机梯度，并且在计算上与在数据集的$1/n$部分上运行的标准随机方差缩减算法一样快，其中$n$是节点的数量。为了得到DVR，我们使用Bregman坐标下降一个精心选择的对偶问题，并获得一个双自由算法使用特定的Bregman分歧。我们给出了一个加速版本的DVR的催化剂框架的基础上，并说明其有效性与模拟真实数据。
2020-06-25 cs.DC math.OC
A Unified Framework for Iterate Convergence of Bregman Proximal Methods
The Chinese University of Hong Kong（香港中文大学）
该研究提出适用于广泛核函数与复合目标函数的BPM迭代收敛统一框架，确立了标准BPM在温和条件下的迭代收敛性，还得到镜像流无凸性假设的首个轨迹收敛结果，构建了BPM的统一轨迹收敛理论。
2026-08-07 math.OC
Stochastic Composite Least-Squares Regression with convergence rate O(1/n)
考虑由二次函数的期望和任意凸函数组成的复合目标函数的极小化问题。我们研究了具有常数步长的随机对偶平均算法，证明了在没有强凸性假设的情况下，该算法的收敛速度为O（1/n）。因此，这将早期关于欧几里得几何的最小二乘回归的结果扩展到（a）所有凸正则化子和约束，以及（b）由Bregman发散表示的所有几何。这是通过一个新的证明技术，涉及随机和确定性递归。
2017-02-21 math.OC stat.ML
Global Convergence of Model Function Based Bregman Proximal Minimization Algorithms
University of Tübingen（图宾根大学）；Normandie Univ（诺曼底大学）；ENSICAEN（卡昂高等工程师学院）；CNRS（法国国家科学研究中心）；GREYC（卡昂格雷克计算机、图像与智能系统实验室）
连续可微函数梯度映射的Lipschitz连续性在设计各种优化算法中起着至关重要的作用。然而，在实际应用中出现的许多函数，例如低秩矩阵分解或深度神经网络问题，并不具有Lipschitz连续梯度。这导致了被称为$L$ -smad属性的广义概念的发展，该属性基于称为Bregman距离的广义邻近度量。但是，$L$ -smad属性不能处理非光滑函数，例如，像$\abs{x^4-1}$这样的简单非光滑函数以及许多实际的复合问题都不在范围之内。我们通过提出MAP属性来解决这个问题，该属性推广了$L$ -smad属性，并且对于一大类非凸非光滑复合问题也是有效的。基于所提出的MAP属性，我们提出了一个全局收敛的算法称为模型BPG，它统一了现有的几个算法。收敛性分析是基于一个新的李雅普诺夫函数。我们还数值说明了优越的性能模型BPG标准相位恢复问题，强大的相位恢复问题，和泊松线性逆问题，相比，一个国家的最先进的最优化方法，是有效的通用非凸非光滑最优化问题。
2020-12-24 cs.CV cs.LG cs.NA
Bregman-divergence-guided Legendre exponential dispersion model with finite cumulants (K-LED)
School of Liberal Arts, Korea University of Technology and Education（韩国技术教育大学文理学院）
Exponential dispersion model is a useful framework in machine learning and statistics. Primarily, thanks to the additive structure of the model, it can be achieved without difficulty to estimate parameters including mean. However, tight conditions on cumulant function, such as analyticity, strict convexity, and steepness, reduce the class of exponential dispersion model. In this work, we present relaxed exponential dispersion model K-LED (Legendre exponential dispersion model with K cumulants). The cumulant function of the proposed model is a convex function of Legendre type having continuous …
2019-10-04 cs.CV cs.IT cs.LG
Analysis of Generalized Bregman Surrogate Algorithms for Nonsmooth Nonconvex Statistical Learning
现代统计应用通常涉及最小化可能是非光滑和/或非凸的目标函数。本文重点介绍了一个广泛的Bregman代理算法框架，包括局部线性逼近，镜像下降，迭代阈值，DC编程和许多其他作为特殊情况。通过广义Bregman函数的重新表征，使我们能够构建合适的误差措施，并建立整体收敛率的非凸和非光滑的目标，在可能的高维。对于具有复合目标的稀疏学习问题，在一定的正则性条件下，得到的估计量作为代理的不动点，虽然不一定是局部极小值，但具有可证明的统计保证，并且迭代序列可以在所需精度内几何快速地逼近统计真值.本文还研究了如何通过控制步长和松弛因子来设计自适应的基于动量的加速度，而不需要假设凸性或光滑性。
2021-12-16 math.OC math.ST stat.CO
Enhanced Bilevel Optimization via Bregman Distance
University of Pittsburgh（匹兹堡大学）；Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
近年来，双层优化已经被用于许多机器学习问题，如超参数优化，策略优化和Meta学习。虽然已经提出了许多两层最优化方法，但它们仍然具有高计算复杂性，并且没有考虑更一般的非光滑正则化两层问题。本文利用Bregman距离提出了一类改进的双层最优化方法，用于求解外层子问题为非凸且可能非光滑，内层子问题为强凸的双层最优化问题.具体来说，我们提出了一个双层最优化方法的基础上Bregman距离（生物BreD）来解决确定性的双层问题，它实现了较低的计算复杂性比最好的已知结果。同时，我们还提出了一种基于随机近似梯度和Bregman距离的随机双层最优化方法（SBiO-BreD）来求解随机双层问题。此外，我们进一步提出了一个加速版本的SBiO-BreD方法（ASBiO-BreD）使用方差减少技术，它可以实现一个较低的计算复杂度比最好的已知的计算复杂性度相对于条件数$κ$和目标精度$ε$寻找一个$ε$ -平稳点。我们进行数据超清洗任务和超表示学习任务，以证明我们的新算法优于相关的双层优化方法。
2022-10-26 cs.LG math.OC
A Proximal Stochastic Gradient Method with Adaptive Step Size and Variance Reduction for Convex Composite Optimization
School of Mathematics and Statistics, Chongqing University of Posts and Telecommunications（重庆邮电大学数学与统计学院）
本文提出一种近端随机梯度算法（PSGA），通过引入方差减少技术和自适应步长策略，解决复合优化问题。证明了在光滑凸函数Lipschitz连续时方法的强收敛性，并得到O(√(1/k))的收敛速率。
2026-04-03 math.OC
Inexact Bregman Proximal Gradient Method and its Inertial Variant with Absolute and Partial Relative Stopping Criteria
针对BPGM子问题精确求解不现实的问题，本文开发带绝对/部分相对停止准则的不精确版本iBPGM及惯性变体v-iBPGM，建立收敛速率并通过数值实验验证其在不同不精确性设置下的收敛行为。
2025-04-15 math.OC
A Stochastic Variance-reduced Accelerated Primal-dual Method for Finite-sum Saddle-point Problems
本文提出了一种求解具有有限和结构和非双线性耦合函数的凸凹鞍点问题的带Bregman距离的方差缩减原始对偶法。这种类型的问题通常出现在机器学习和对策论中。在一些标准假设下，证明了该算法分别以$O\left(\frac{\sqrt n}ε\right)$和$O\left(\frac{n}{\sqrt ε}+\frac{1}{ε^{1.5}}\right)$的预言复杂度收敛，其中$n$是函数分量的个数.与现有的方法相比，我们的框架产生了显着的改善所需的原始-对偶梯度样本的数量，以实现$ε$ -原始-对偶差距的准确性。我们测试了我们的方法求解分布鲁棒最优化问题，以显示算法的有效性。
2021-06-01 math.OC
Online Nonconvex Bilevel Optimization with Bregman Divergences
Stony Brook University（石溪大学）；Bloomberg（彭博公司）；Institute for Advanced Computational Science（高级计算科学研究所）
该研究针对在线非凸-强凸双层优化问题，提出基于自适应Bregman散度的确定性OBBO和带窗口平均方差缩减的随机SOBBO算法，提升双层局部悔值速率，实验验证其在超参数优化、元学习任务上优于现有基准。
2024-09-16 cs.LG math.OC
Adaptive Third-Order Methods for Composite Convex Optimization
本文对光滑部分为三次连续可微函数且具有Lipschitz连续三阶导数的复合凸优化问题提出了三阶方法.该方法是自适应的意义上说，他们不需要的Lipschitz常数的知识。试验点计算的不精确的最小化模型，包括在非光滑的部分的目标加上四次正则化的三阶泰勒多项式的光滑部分。具体地说，辅助问题的近似解是通过使用Bregman梯度法作为内部求解器获得的。与现有的高阶方法的自适应方法不同，在我们的新方案的正则化参数调整考虑到内部求解器的进展。有了这种技术，我们表明，基本方法找到一个$ε$近似极小的目标函数执行最多$\mathcal{O}\left(|\log(ε)|ε^{-\frac{1}{3}}\right)$迭代的内部求解器。本文还提出了一种加速自适应三阶方法，其总内迭代复杂度为$\mathcal{O}\left(|\log(ε)|ε^{-\frac{1}{4}}\right)$。
2022-02-25 math.OC
Inexact Online Proximal Mirror Descent for time-varying composite optimization
本文研究含梯度与近端算子误差的在线近端镜像下降算法，在凸光滑条件下获得了动态遗憾精确估计，消除了先前结果的$O(T)$项并将适用域扩展至全空间$\mathbb{R}^n$。
2023-04-10 math.OC
Stochastic Variance-Reduced Prox-Linear Algorithms for Nonconvex Composite Optimization
我们考虑复合函数的形式$f(g(x))+h(x)$，其中$f$和$h$是凸函数（可以是非光滑的）和$g$是光滑向量映射的最小化。另外，我们还假设$g$是有限个分支映射的平均或随机分支映射族上的期望。我们提出了一类随机方差缩减的非线性算法来解决这类问题，并根据分量映射及其Jacobian的估计总数来限制其寻找$ε$-平稳点的样本复杂度.当$g$是一个有限平均的$N$组件，我们得到的样本复杂度$\mathcal{O}(N+ N^{4/5}ε^{-1})$的映射和雅可比评价。当$g$是一般期望时，我们分别得到了$\mathcal{O}(ε^{-5/2})$和$\mathcal{O}(ε^{-3/2})$关于分量映射及其Jacobian的样本复杂度.如果另外$f$是光滑的，则对于分量映射和雅可比估计，分别对于作为有限平均和一般期望的$g$，导出了$\mathcal{O}(N+N^{1/2}ε^{-1})$和$\mathcal{O}(ε^{-3/2})$的改进的样本复杂度。
2021-05-14 math.OC
Nonconvex Stochastic Bregman Proximal Gradient Method with Application to Deep Learning
National University of Singapore（新加坡国立大学）
针对非凸复合目标中非Lipschitz梯度导致的SGD不稳定问题，提出随机Bregman近端梯度法（SBPG）及其动量变体MSBPG，达到最优样本复杂度，并在二次逆问题和深度神经网络训练中验证了鲁棒性与有效性。
2025-01-20 cs.LG math.OC
Accelerated gradient sliding and variance reduction
考虑了具有光滑凸非邻近友好复合函数（第二项）的和型强凸优化问题（首项）。我们发现，这个问题的复杂性可以分为最佳数量的增量Oracle调用的第一（和型）长期和最佳数量的Oracle调用的第二（复合）长期。在这里，在“最佳数”下，我们指的是在没有另一项的情况下对应于众所周知的下界的估计。
2020-03-11 math.OC
A Stochastic Composite Gradient Method with Incremental Variance Reduction
考虑光滑（非凸）函数与光滑向量映射的最小化组合问题，其中内部映射的形式为对某个随机变量的期望或有限和.我们提出了一个随机复合梯度法，采用增量方差减少估计的内部向量映射和雅可比矩阵。我们表明，这种方法实现了相同的顺序的复杂性，最好的已知的一阶方法最小化期望值和有限和非凸函数，尽管额外的外部组成，使复合梯度估计有偏。这一发现使机器学习中更广泛的应用能够受益于增量方差缩减方法的低复杂性。
2019-06-24 math.OC stat.ML
Distributed Mirror Descent for Online Composite Optimization
在本文中，我们考虑了一个在线分布式复合最优化问题的时变多智能体网络，由多个相互作用的节点，其中每个节点的目标函数由两部分组成：一个损失函数，随着时间的推移而变化和正则化函数。这个问题自然会出现在从无线传感器网络到信号处理的许多实际应用中。提出了一类基于近似镜像下降的在线分布式优化算法，该算法利用Bregman散度作为距离度量函数，并将欧氏距离作为特例.在设计算法时，我们考虑了两种标准的信息反馈模型，即全信息反馈和强盗反馈。对于全信息反馈模型，第一个算法得到了一个平均的正则化遗憾的顺序为$\mathcal{O}(1/\sqrt{T})$与总轮数$T$。第二种算法只需要两个预测点处的损失函数的值的信息而不需要梯度信息，实现了与第一种算法相同的平均正则化遗憾。一个分布式在线正则化线性回归问题的仿真结果表明了所提出算法的性能。
2020-04-02 math.OC
Global Convergence of Inexact Augmented Lagrangian Method for Zero-One Composite Optimization
考虑了极小化一个光滑函数与一个零-一损失函数与一个线性算子的复合之和的问题，即零-一复合最优化问题（0/1-COP）. 0/1-COP是一种通用的模型，包括支持向量机（SVM）、多标签分类（MLC）、最大秩相关（MRC）等，但由于0/1-COP的非凸性、不连续性和NP困难性，使得其全局收敛性难以设计，直接求解的工作也很少。在本文中，我们首先定义和表征的近端平稳性，以获得最小值和强精确惩罚的李雅普诺夫函数，这是一个变体的增广拉格朗日函数的0/1-COP。在此基础上，提出了求解0/1-COP的不精确增广拉格朗日方法（IALM），其中子问题采用低计算复杂性的0/1 Bregman交替线性化极小化（0/1-BALM）算法求解.在适当的假设下，我们证明了IALM产生的整个序列收敛到0/1-COP的局部极小。作为直接应用，我们在数据矩阵为满行秩的假设下，得到了IALM求解SVM、MLC和MRC的整体收敛性。
2021-12-01 math.OC
Stochastic Variance Reduction for Variational Inequality Methods
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Linköping University（林雪平大学）
我们提出了求解凸凹鞍点问题、单调变分不等式和单调包含的随机方差缩减算法。我们的框架适用于外梯度，向前向后向前，向前反射向后的方法在欧几里得和布雷格曼设置。所有提出的方法收敛于相同的设置，因为他们的确定性同行，他们要么匹配或提高最知名的复杂性，解决结构化的最小最大问题。我们的结果加强了变分不等式的方差约化与极小化之间的对应关系。我们还说明了我们的方法的改进与数值计算上的矩阵对策。
2022-06-11 cs.LG math.OC stat.ML
On Accelerated Methods for Saddle-Point Problems with Composite Structure
考虑了具有一般非双线性目标函数的强凸-强凹鞍点问题，其原始变量和对偶变量具有不同的条件数。首先，我们考虑这样的问题与光滑的复合项，其中之一具有有限和结构。对于这种设置，我们提出了一个方差降低算法的复杂性估计优于现有的界限在文献中。其次，我们考虑了有限和鞍点问题的复合项，并提出了几个算法取决于复合项的性质。当复合项是光滑的，我们得到更好的复杂性界比文献中的，包括最近提出的近最优算法，不考虑复合结构的问题的界限。如果复合条款是友好的，我们提出了一个方差减少算法，一方面，加速相比，现有的方差减少算法，另一方面，在复合设置类似的复杂性范围内的接近最佳的算法，这是专为非复合设置。除此之外，我们的算法允许分离的复杂性界限，即估计，分别为目标的每一部分，Oracle调用的数量，足以达到给定的精度。这是重要的，因为不同的部分可以具有不同的算术复杂度的预言机，并且期望调用昂贵的预言机比调用廉价的预言机更少。所有这些结果的关键是我们的鞍点问题的一般框架，这可能是独立的利益。这个框架，反过来是基于我们提出的加速元算法的复合优化与概率不精确的预言和概率不精确的最接近的映射，这可能是独立的利益，以及。
2021-06-14 math.OC
An Optimal Hybrid Variance-Reduced Algorithm for Stochastic Composite Nonconvex Optimization
在本文中，我们提出了一个新的变种的混合方差减少邻近梯度法在[7]中解决一个常见的随机复合非凸最优化问题在标准的假设。我们简单地将[7]中引入的混合- SARAH估计中的独立无偏估计替换为在相同样本下估计的随机梯度，从而得到[2]中引入的相同动量-SARAH估计。与[7]相比，这允许我们每次迭代节省一个随机梯度，并且每次迭代只需要两个样本。我们的算法是非常简单的，并实现了最佳的随机预言复杂性界的随机梯度评价（一个常数因子）。我们的分析基本上受到[7]的启发，但我们没有使用两种不同的步长。
2020-08-20 math.OC stat.ML
Multi-Level Composite Stochastic Optimization via Nested Variance Reduction
本文考虑多层复合最优化问题，其中复合中的每一个映射都是随机光滑映射族或有限个光滑映射之和的期望.我们提出了一个归一化的近似梯度（NPAG）方法，其中近似梯度是通过嵌套的随机方差减少。为了找到一个近似的平稳点，其梯度映射的期望范数小于$ε$，我们的方法的总样本复杂度在期望情况下是$O(ε^{-3})$，在有限和情况下是$O(N+\sqrt{N}ε^{-2})$，其中$N$是所有组合水平上的函数总数。此外，我们的总样本复杂度对组合水平的数量的依赖是多项式的，而不是指数在以前的工作。
2021-05-10 math.OC stat.ML
ZIVR: An Incremental Variance Reduction Technique For Zeroth-Order Composite Problems
ZIVR提出了一种用于零阶复合优化问题的增量方差减少技术，通过灵活实现和纯2点零阶算法，解决了大规模问题中的计算瓶颈，并在多种优化设置中提供了与一阶方法相当的收敛保证。
2026-01-08 cs.SY eess.SY math.OC
On Nonsmooth and Relatively Weakly Convex Minimization
University of Minnesota（明尼苏达大学）
本文研究非光滑非凸复合优化问题，提出满足次梯度上界条件的确定性Bregman邻近次梯度方法，放宽正则项凸性要求，还拓展出随机场景下收敛速率为$\text{O}(\text{ε}^{-4})$的基于模型的最小化方法及随机预言机访问场景的框架。
2026-08-31 math.OC
Bregman meets Lévy: Stochastic mirror descent with heavy-tailed noise in continuous and discrete time
Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG（格拉诺布尔阿尔卑斯大学、国家科学研究中心、法国国家信息与自动化研究所、格拉诺布尔INP、实验室）
研究随机镜像下降在重尾噪声下的鲁棒性，通过引入Lévy镜像流连续时间模型，证明其在凸和强凸目标下达到ε-最优的时间复杂度，并推导出离散时间匹配保证。
2026-06-02 cs.LG math.OC math.PR
Stochastic Variable Metric Proximal Gradient with variance reduction for non-convex composite optimization
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Ecole Polytechnique（巴黎综合理工学院）
提出了一种求解有限和非凸复合优化问题的新算法--扰动邻近预处理SPIDER算法（3 P-SPIDER）。它是一种随机变度量前向-后向算法，允许近似预处理前向算子，并使用变度量邻近算子作为后向算子;它还提出了一种方差减少的小批量策略来解决有限和设置。我们表明，3 P-SPIDER扩展了一些随机预处理的梯度下降为基础的算法和一些增量期望最大化算法的复合优化和前向算子的情况下，不能计算在封闭的形式。我们还提供了一个显式的收敛控制的期望3 P-SPIDER，并研究其复杂性，以满足ε-近似平稳条件。我们的研究结果是第一个结合复合非凸优化设置，方差减少技术来解决有限和设置通过使用minibatch策略，并允许确定性或随机近似的预处理前向算子。最后，通过应用逻辑回归模型的推理随机效应，我们数值比较3 P-SPIDER其他随机向前向后算法，并讨论了一些设计参数的3 P-SPIDER的作用。
2023-03-08 cs.LG math.OC
Momentum Schemes with Stochastic Variance Reduction for Nonconvex Composite Optimization
最近提出了两个新的随机方差缩减算法SARAH和SPIDER，SPIDER已被证明可以实现非凸优化的近似最优梯度预言复杂度。然而，SPIDER的理论优势并没有导致SVRG的实际性能的实质性改善。为了解决这个问题，动量技术可以是一个很好的候选人，以提高性能的SPIDER。然而，现有的动量方案中使用的方差减少算法是专为凸优化，并不适用于非凸的情况。在本文中，我们开发了新的动量计划与灵活的系数设置，以加速SPIDER的非凸和非光滑的复合优化，并表明，由此产生的算法实现了接近最优的梯度预言复杂性，实现了广义一阶平稳条件。此外，我们将我们的算法推广到在线非凸和非光滑最优化，并建立了一个预言的复杂性结果，匹配国家的最先进的。我们广泛的实验表明，我们提出的算法优于其他随机方差减少算法。
2019-05-15 cs.LG math.OC
On Tackling High-Dimensional Nonconvex Stochastic Optimization via Stochastic First-Order Methods with Non-smooth Proximal Terms and Variance Reduction
The University of Hong Kong（香港大学）；The University of Minnesota Twin Cities（明尼苏达大学双城分校）；University of Florida（佛罗里达大学）
针对高维非凸随机优化中样本复杂度随维度线性增长的问题，提出采用非光滑近端项的非欧几里得随机一阶方法，结合方差缩减实现近最优样本复杂度，并通过实验验证维度不敏感性。
2026-09-15 math.OC
Stochastic Composition Optimization of Functions without Lipschitz Continuous Gradient
本文研究了无Lipschitz连续梯度的两层复合函数的随机最优化问题。光滑性是广义的相对光滑性的概念，它激发了Bregman梯度法。我们提出了三个随机组成Bregman梯度算法的三种可能的相对平滑的成分的情况下，并提供其样本的复杂性，以实现一个$ε$ -近似稳定点。对于相对光滑的组合，第一个算法要求$O(ε^{-2})$调用内部函数值和梯度以及外部函数梯度的随机预言机。当两个函数都相对光滑时，第二个算法要求$O(ε^{-3})$调用内部函数值随机预言机，$O(ε^{-2})$调用内部和外部函数梯度随机预言机。我们进一步改进了第二个算法的方差减少的设置，只有内部函数是光滑的。所得到的算法需要$O(ε^{-5/2})$调用内部函数值随机预言机，$O(ε^{-3/2})$调用内部函数梯度和$O(ε^{-2})$调用外部函数梯度随机预言机。最后，我们数值评估这三种算法在两个不同的例子的性能。
2023-02-23 math.OC
