Bregman algorithms for mixed-strategy generalized Nash equilibrium seeking in a class of mixed-integer games
我们考虑的问题计算的混合策略广义纳什均衡(MS-GNE)的一类游戏中,每个代理人都有连续和整数决策变量。具体来说,我们提出了一种新的Bregman前向反射后向分裂和分布式算法,利用问题的结构设计。从技术上讲,我们证明了收敛到变分MS-GNE仅仅单调性和Lipschitz连续性假设下,这是典型的连续GNE问题。最后,我们通过数值实验表明我们的算法的性能。
2022-06-13 cs.MA cs.SY eess.SY
New Bregman proximal type algorithms for solving DC optimization problems
The Graduate University for Advanced Studies(高级研究大学);University of São Paulo(圣保罗大学);Tokyo Institute of Technology(东京工业大学);São Paulo State Technological College(圣保罗州立技术学院);The Institute of Statistical Mathematics(统计数学研究所);RIKEN Center for Advanced Intelligence Project(理化学研究院先进智能项目中心)
本文提出Bregman近端DC算法及其加速版本,用于解决不具有L-光滑性的大规模DC优化问题,通过可适应的L-光滑性提升算法性能。
2022-05-10 math.OC
A Stochastic Variance Reduction Algorithm with Bregman Distances for Structured Composite Problems
本文提出了一种新的带Bregman距离的随机原始对偶分裂方法,用于求解非欧几里得空间中包含下确值卷积的结构复合问题.在一般情况下,在较弱的步长条件下,证明了原对偶间隙的期望次线性收敛性。在Bregman函数的强凸性等附加条件下,得到了算法的线性收敛速率.
2021-03-16 math.OC
Extragradient and Extrapolation Methods with Generalized Bregman Distances for Saddle Point Problems
本文介绍了求解鞍点问题的Bregman外梯度法和Bregman外推法。所提出的框架不仅包括著名的外梯度和乐观的梯度法的特殊情况下,但也产生新的变种,如稀疏外梯度和外推方法。借助于最近提出的相对Lipschitzness的概念和一些Bregman距离相关的工具,我们能够给出间隙型测度的Bregman距离的某些上界.进一步,我们利用这些界推导了求解光滑凹凸鞍点问题的Bregman外梯度和Bregman外推方法的$\cO(1/k)$的收敛速度.我们的理论恢复了在[Mokhtari et al.(2020),SIAM J. Optim.,第20页。3230-3251],用于通过概念上不同的方法具有较弱假设的更一般的算法框架。
2021-08-25 cs.NA math.NA math.OC
A sharp regularization error estimate for bang-bang solutions for an iterative Bregman regularization method for optimal control problems
在目前的工作中,我们提出的数值结果的迭代法解决最优控制问题的不等式约束。该方法是基于广义Bregman距离。在有效集上的源条件和正则性条件的组合下,给出了收敛结果。此外,我们通过数值例子表明,所提供的先验估计是尖锐的bang-bang情况。
2016-06-06 math.OC
Sinkhorn Algorithm for Lifted Assignment Problems
最近,Sinkhorn的算法被应用于近似求解线性规划出现的最优输运非常有效。这是通过将线性规划的正则化版本表述为双随机阵的多面体上的Bregman投影问题,然后使用高效的Sinkhorn算法计算投影来实现的,该算法基于行随机矩阵和列随机阵的较大多面体上的交替闭合形式Bregman投影。在本文中,我们提出了一个推广的算法求解一个著名的提升线性规划松弛的二次指派问题(QAP),这是众所周知的约翰逊亚当斯(JA)松弛。首先,设计了一个有效的算法Bregman投影到JA多面体交替封闭形式的Bregman投影到单侧局部多面体。单侧多面体可以被看作是行/列随机多面体的高维、广义版本。第二,一种新的方法来解决原来的线性规划使用的Bregman投影到JA多面体的开发和被证明是更准确和数值稳定比标准的方法驱动的正则化为零。由此产生的算法比标准的线性求解器具有更大的可扩展性,并且能够解决更大的线性规划。
2018-07-19 math.OC
Convergence of multi-block Bregman ADMM for nonconvex composite problems
带乘子的交替方向法是求解各种复合材料问题的最有效和最成功的方法之一。传统ADMM的收敛(即,2-块)的凸目标函数的收敛性已经证明了很长一段时间,它的收敛性的非凸目标函数,然而,最近才建立。多块ADMM是ADMM的自然扩张,是一种广泛使用的方案,在解决各种非凸最优化问题中也非常有用。因此,它有望建立在非凸框架下的多块ADMM的收敛理论。本文给出了3-块ADMM的一个Bregman修正,并证明了它对一个大的非凸函数族的收敛性。我们进一步扩展的收敛结果$N$块的情况下($N \geq 3$),这强调了多块ADMM应用程序在非凸设置的可行性。最后,我们提出了一个模拟研究和现实世界的应用程序来支持所获得的理论断言的正确性。
2015-05-12 math.OC
An inexact Bregman proximal point method and its acceleration version for unbalanced optimal transport
School of Mathematical Sciences, Beijing Normal University(北京师范大学数学科学学院)
本文针对非平衡最优传输中Scaling算法精度与数值稳定性不足的问题,提出非精确Bregman近端点方法及其加速版本,在保证收敛性和鲁棒正则化参数选择的同时缓解数值溢出,并给出理论与实验验证。
2024-02-26 cs.LG math.OC
Stochastic Bregman Subgradient Methods for Nonsmooth Nonconvex Optimization Problems
本文研究目标函数缺乏Clarke正则性时的随机Bregman次梯度方法,通过微分包含建立收敛性,提出非精确求解与动量集成机制,并验证其在训练非光滑神经网络中的有效性。
2025-05-29 math.OC
Two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
针对非凸非光滑不可分优化问题,本文结合两步惯性外推与Bregman距离,基于PALM提出新型迭代算法,证明序列收敛性并通过信号恢复等问题验证有效性。
2023-06-13 math.OC
Efficient sparse probability measures recovery via Bregman gradient
本文提出一种基于Bregman近端梯度、在概率单纯形约束下结合$\ell_0$-稀疏正则化的算法,用于高效恢复稀疏概率测度,并证明了其以$O(1/k)$速率收敛到局部最小值,数值实验验证了其有效性。
2024-11-24 math.OC
Linesearch-free adaptive Bregman proximal gradient for convex minimization under local relative smoothness
Kyushu University(九州大学);IMT School for Advanced Studies Lucca(卢卡高等研究学院)
本文提出了一种无需全局相对平滑性或强凸性假设的自适应Bregman近似梯度算法,通过局部曲率估计生成步长,避免了回溯线搜索。利用Bregman泛化的Young不等式控制关键内积,适用于局部相对平滑的可微项问题。
2026-06-05 math.OC
Variable Bregman Majorization-Minimization algorithms for nonconvex nonsmooth optimization, with application to Poisson imaging
Université Paris-Saclay, CentraleSupélec, Inria, Centre pour la Vision Numérique(巴黎萨克雷大学、中央苏佩莱克学院、法国国家信息与自动化研究所、数字视觉中心);Université Paris-Saclay, Laboratoire BioMaps, CEA(巴黎萨克雷大学、BioMaps实验室、法国原子能和替代能源委员会)
本文提出一种基于Bregman的统一最大最小化框架,用于解决非凸非光滑优化问题,通过可变Bregman散度构建替代函数,并在Kurdyka-Lojasiewicz性质下证明收敛性,应用于PET图像重建。
2026-10-06 math.OC
Accelerated Linearized Bregman Method
本文提出并分析了一种加速线性化Bregman(ALB)方法,用于求解基追踪及相关的稀疏最优化问题。这种加速算法是基于这样一个事实,即线性化Bregman(LB)算法是等价的梯度下降法适用于某一对偶公式。我们表明,LB方法需要$O(1/ε)$迭代,以获得$ε$ -最优解和ALB算法减少了这种迭代的复杂性,$O(1/\sqrtε)$,而需要几乎相同的计算工作量,每次迭代。压缩传感和矩阵补全问题的数值结果表明,ALB方法可以显着快于LB方法。
2011-06-27 cs.IT math.IT math.OC
Bregman Augmented Lagrangian and Its Acceleration
研究了求解带线性约束凸问题的Bregman增广拉格朗日方法(BALM)。对于经典的增广拉格朗日方法,其收敛速度及其与邻近点方法的关系是众所周知的。然而,BALM的收敛速度尚未在文献中得到深入研究。在本文中,我们分析的收敛速度的BALM的原始目标以及违反的可行性。我们还开发了,第一次,加速Bregman邻近点方法,提高了收敛速度从$O(1/\sum_{k=0}^{T-1}η_k)$到$O(1/(\sum_{k=0}^{T-1}\sqrt{η_k})^2)$,其中$\{η_k\}_{k=0}^{T-1}$是序列的邻近参数。当应用于线性约束凸规划的对偶时,这导致了加速BALM的构造,其实现了原始和对偶收敛的改进速率。
2020-02-15 math.OC
Approximate Bregman Proximal Gradient Algorithm for Relatively Smooth Nonconvex Optimization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
本文提出近似Bregman近端梯度算法用于解决相对光滑非凸优化问题,通过简化子问题和放宽梯度连续性假设,实现了更广泛的收敛性保证和更优的数值性能。
2024-05-31 math.OC
Bregman Alternating Direction Method of Multipliers
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
镜像下降算法(MDA)通过使用Bregman散度代替平方欧几里德距离来推广梯度下降。在本文中,我们同样推广的交替方向法的乘法器(ADMM)Bregman ADMM(BADMM),它允许选择不同的Bregman分歧,利用问题的结构。BADMM为ADMM及其变体提供了一个统一的框架,包括广义ADMM,不精确ADMM和Bethe ADMM。我们建立了BADMM的整体收敛和$O(1/T)$迭代复杂性。在某些情况下,BADMM可以比ADMM快$O(n/\log(n))$倍。在求解大批量运输问题的线性规划问题时,BADMM具有大规模并行性,易于在GPU上运行。BADMM比高度优化的商业软件Guidelines快几倍。
2014-07-08 cs.LG math.OC stat.ML
Box-constrained L0 Bregman-relaxations
针对L0正则化问题NP难的痛点,本文研究box约束下带通用数据项的L0精确连续Bregman松弛方法,合成数据实验验证其相较分支定界法的有效性,为稀疏优化提供更易求解的途径。
2025-03-19 math.OC
A stochastic two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
本文提出STiBPALM算法,结合两步惯性与Bregman近端交替线性化及方差缩减随机梯度,用于求解大规模非凸非光滑优化问题,并证明其收敛性,通过稀疏非负矩阵分解和盲图像去模糊实验验证性能。
2023-07-11 math.OC
Convergence of Bregman alternating direction method with multipliers for nonconvex composite problems
带乘子的交替方向法(ADMM)是解决图像与信号处理和机器学习领域中各种凸或非凸组合问题的最有效和最成功的方法之一。在凸的设置,许多收敛性的结果已经建立了ADMM以及它的品种。然而,由于不存在凸性,非凸ADMM的收敛性分析通常是非常困难的。在本文中,我们研究的Bregman修改的ADMM(BADMM),其中包括传统的ADMM作为一个特殊的情况下,往往会导致改进的算法的性能。在一定的假设下,我们证明了由BADMM产生的迭代序列收敛到相关增广拉格朗日函数的一个稳定点。所得到的结果强调了ADMM在非凸设置下的应用的可行性。
2014-12-05 math.OC
Bregman Proximal Point Algorithm Revisited: A New Inexact Version and its Inertial Variant
我们研究的是一个一般的凸优化问题,它涵盖了不同领域的各种经典问题,特别是近年来出现的许多与最优输运相关的问题。为了解决这个问题,我们重新审视了经典的Bregman邻近点法(BPPA),并引入了一个新的不精确停止条件来求解子问题,当问题具有复杂的可行集时,该条件可以避免现有不精确条件中经常出现的潜在可行性困难.我们的不精确条件也涵盖了几个现有的不精确条件作为特殊情况,因此使我们的不精确BPPA(iBPPA)更灵活,以适应不同的场景在实践中。此外,受Nesterov的加速技术的启发,我们开发了一个惯性变体的iBPPA,表示为V-iBPPA,并建立了迭代复杂度的$O(1/k^λ)$,其中$λ\geq1$是一个四边形的标度指数的核函数。特别是,当邻近参数是一个常数,核函数是强凸的Lipschitz连续梯度(因此$λ=2$),我们的V-iBPPA实现了更快的速度$O(1/k^2)$,就像现有的加速不精确邻近点法。通过求解标准OT问题的初步数值实验,验证了iBPPA和V-iBPPA在不同不精确度下的收敛性.实验也验证了我们的V-iBPPA在提高收敛速度方面的潜力。
2022-05-17 math.OC
Bregman Douglas-Rachford Splitting Method
Rice University(里士大学);University of Iowa(爱荷华大学)
本文提出Bregman Douglas-Rachford分裂方法及其变体,用于求解极大单调包含问题,并证明其与Bregman ADMM等价,同时应用于离散最优传输问题,在特定假设下证明收敛。
2025-09-10 cs.LG math.OC stat.ML
Accelerated Bregman gradient methods for relatively smooth and relatively Lipschitz continuous minimization problems
本文针对相对光滑与相对Lipschitz连续优化问题,提出多种带不精确oracle的加速Bregman梯度方法及自适应中间方法,并通过Poisson逆问题数值实验验证其优势。
2024-11-23 math.OC
Convergent Bregman Plug-and-Play Image Restoration for Poisson Inverse Problems
Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多国立理工学院);CNRS(法国国家科学研究中心);IMB(数学研究所);Washington University in St. Louis(圣路易斯华盛顿大学)
针对泊松逆问题,本文基于 BPG 提出收敛的 Bregman PnP 框架,设计 Bregman Score Denoiser 并证明两种算法收敛到显式全局泛函驻点。
2023-06-06 cs.LG eess.IV math.OC
Stochastic Block Bregman Projection with Polyak-like Stepsize for Possibly Inconsistent Convex Feasibility Problems
College of Science, National University of Defense Technology(国防科技大学理学院)
本文提出了一种统一的随机双层改写方法,结合了接近函数最小化和结构正则化,以解决可能不一致的凸可行性问题,并通过Polyak-like步长实现了期望精确收敛。
2026-03-31 math.OC
Two-step inertial Bregman alternating structure-adapted proximal gradient descent algorithm for nonconvex and nonsmooth problems
针对实 Hilbert 空间中拟非扩张算子的多集分裂公共不动点问题,提出结合惯性技术与自适应步长的原始-对偶加速迭代算法,证明弱收敛并通过数值实验验证性能。
2023-06-07 math.OC
A Stochastic Bregman Primal-Dual Splitting Algorithm for Composite Optimization
研究了求解实自反巴拿赫空间上凸凹鞍点问题的随机一阶原始-对偶方法,该方法利用Bregman发散和相对光滑性假设,在算法中考虑了梯度项计算的随机误差.证明了在较弱的假设下,遍历序列的每一个几乎必然弱簇点都是期望中的一个鞍点,且收敛速度为O(1/k).在稍微严格的假设下,我们证明了逐点迭代几乎必然弱收敛到一个鞍点。在对目标函数作较强的凸性假设和对Bregman发散熵作全凸性假设的条件下,我们建立了逐点迭代几乎必然强收敛于一个鞍点的定理.我们的框架是通用的,并不需要强凸性的熵诱导Bregman分歧的算法。数值应用被认为包括熵正则化Wasserstein重心问题和正则化反问题的单纯形。
2021-12-22 math.OC stat.ML
Single-loop variance reduction methods in Bregman setups for finite-sum structured variational inequalities
Southwest Jiaotong University(西南交通大学);National Engineering Laboratory of Integrated Transportation Big Data Application Technology(交通运输大数据应用国家工程实验室)
本文提出了一种单环方差减少算法,用于求解Bregman设置中的有限和结构变分不等式,实现了线性收敛率和最优复杂度。
2025-11-20 math.OC
Bregman Proximal Gradient Algorithm with Extrapolation for a class of Nonconvex Nonsmooth Minimization Problems
在本文中,我们考虑一个加速方法解决非凸和非光滑极小化问题。我们提出了一个Bregman邻近梯度算法与外推(BPGe)。该算法扩展并加速了Bregman近似梯度算法(BPG),它绕过了近似梯度算法(PG)所需的限制性全局Lipschitz梯度连续性假设。BPGe算法比最近提出的带外推的邻近梯度算法(PGe)具有更高的通用性,并且由于外推步骤的存在,BPGe比BPG算法收敛更快。通过对收敛性的分析,证明了在适当选取参数的情况下,BPGe产生的序列的任何极限点都是问题的平稳点。此外,在Kurdyka-{K}ojasiewicz性质的假设下,证明了BPGe生成的序列整体收敛于一个平稳点.最后,为了说明新方法BPGe的潜力,我们将其应用于两个重要的实际问题,出现在许多基本的应用(不满足全局Lipschitz梯度连续性假设):泊松线性逆问题和二次逆问题。在测试中,加速的BPGe算法显示出更快的收敛结果,给出了一个有趣的新算法。
2019-04-25 math.OC
Bregman proximal gradient method for linear optimization under entropic constraints
Univ. Rennes, CNRS, Inria, IRISA UMR 6074(雷恩大学、法国国家科学研究中心、Inria、IRISA);Universidad Técnica Federico Santa María Departamento de Matemática(费德里科·圣玛丽亚技术大学数学系)
本文提出一种高效算法解决带有熵约束的线性优化问题,通过Bregman近端梯度法分析活跃与非活跃约束,建立O(1/n)收敛率,理论支持Blahut-Arimoto算法并证明熵约束的Lagrange乘子唯一性。
2026-04-28 math.OC
An Inexact Bregman Proximal Difference-of-Convex Algorithm with Two Types of Relative Stopping Criteria
本文针对凸差优化问题提出非精确Bregman近邻凸差算法(iBPDCA),通过引入两类相对停止准则放宽子问题精确求解要求,在Kurdyka-Łojasiewicz性质下建立全局收敛性,数值实验验证了其优越性能。
2025-04-29 math.OC
A Bregman inertial iteratively regularized extragradient method for bilevel variational inequality problems
Tokyo Metropolitan University(东京都立大学);Nagoya Institute of Technology(名古屋工业大学);Kyoto University(京都大学)
本文提出一种Bregman惯性正则化外梯度方法求解双层变分不等式问题,在偶空间进行惯性外推,推导了广义间隙函数的非渐近收敛界,并通过交通网络和多投资组合纳什均衡实验验证了有效性。
2026-09-29 math.OC
Multi-block Bregman proximal alternating linearized minimization and its application to orthogonal nonnegative matrix factorization
我们介绍并分析了BPALM和A-BPALM,这两个使用Bregman距离的多块邻近交替线性化最小化算法用于解决结构化非凸问题。目标函数是多块相对光滑函数(即,相对光滑的固定所有的块除了一个)和块可分(非光滑)的非凸函数。结果表明,我们的算法所产生的序列是逐次收敛到目标函数的临界点,而在KL不等式假设下,它们是全局收敛的。进一步分析了满足梯度不等式的函数的收敛速率.我们应用这个框架的正交非负矩阵分解(ONMF),满足我们所有的假设和相关的子问题解决封闭的形式,其中一些初步的数值结果报告。
2019-10-14 cs.NA math.NA math.OC
Leveraging Two Reference Functions in Block Bregman Proximal Gradient Descent for Non-convex and Non-Lipschitz Problems
Iowa State University(爱荷华州立大学);IBM Research AI(IBM研究院人工智能部门);IBM Thomas J. Waston Research Center(IBM托马斯·J·沃森研究中心)
在信号处理和数据分析的应用中,存在广泛的一类非凸问题,其目标函数不受常见的全局Lipschitz连续梯度假设的约束(例如,非负矩阵分解(NMF)问题。近年来,Bregman近似梯度法(BPG)解决了这类具有某些特殊结构的问题。这启发我们提出了一种新的逐块两参考Bregman近端梯度(B2B)方法,该方法采用两个参考函数,从而获得Bregman投影中的封闭形式解。基于相对光滑性,我们证明了所提出的算法的整体收敛的各种块选择规则。特别地,我们建立了B2B的贪婪和随机块更新规则的$O(\frac{\sqrt{s}}{\sqrt{k}})$的整体收敛速度,其比循环变量快$O(\sqrt{s})$倍,即,$O(\frac{s}{\sqrt{k}} )$,其中$s$是块数,$k$是迭代次数。多个数值结果表明,所提出的B2B相比,在解决NMF问题的最先进的作品的优越性。
2019-12-16 cs.LG math.OC
Inexact Bregman Proximal Gradient Method and its Inertial Variant with Absolute and Partial Relative Stopping Criteria
针对BPGM子问题精确求解不现实的问题,本文开发带绝对/部分相对停止准则的不精确版本iBPGM及惯性变体v-iBPGM,建立收敛速率并通过数值实验验证其在不同不精确性设置下的收敛行为。
2025-04-15 math.OC
A Bregman-Kaczmarz method for nonlinear systems of equations
本文提出一种基于Bregman投影和自适应步长的随机镜像下降法求解非线性方程组,在凸非负函数和切锥条件下证明收敛,并在相同内存需求下优于类似方法。
2024-02-23 cs.NA math.NA math.OC
Split Bregman method for large scale fused Lasso
University of California Irvine(加州大学尔湾分校)
回归或分类系数的排序发生在许多实际应用中。Fused Lasso通过$\ell_1$范数正则化器显式正则化相邻系数之间的差异来利用这种排序。然而,由于正则化项的不可分离性和非光滑性,求解融合Lasso问题在计算上要求很高。现有的求解器只能处理中小规模的问题,或者预测矩阵为单位矩阵的融合Lasso问题的特殊情况。本文提出了一种基于分裂Bregman方法的迭代算法来求解一类大规模融合Lasso问题,包括广义融合Lasso问题和融合Lasso支持向量分类器问题。我们使用增广拉格朗日方法推导出我们的算法,并证明其收敛性。我们的方法的性能进行了测试,人工数据和现实世界的应用程序,包括蛋白质组数据从质谱和基因组数据阵列CGH。我们证明,我们的方法是许多倍的速度比现有的求解器,并表明,它是特别有效的大p,小n的问题。
2010-06-26 cs.LG math.OC stat.CO
Optimization landscape of $\ell_0$-Bregman relaxations
IRIT, CNRS, Toulouse INP, Université de Toulouse(IRIT,法国国家科学研究中心,图卢兹国立理工学院,图卢兹大学)
本文研究了线性系统及其$\ell_0$-正则化优化问题,结合通用数据保真项。通过非凸精确连续松弛方法,探讨了$\ell_0$-Bregman松弛的条件,确保稀疏性下的临界点唯一性,并分析了精确恢复性质。
2026-03-20 math.OC
A Logarithmic-dual-update Bregman ADMM for Optimal Transport
National University of Singapore(新加坡国立大学)
本文提出一种带对数对偶更新的熵Bregman ADMM算法求解离散最优传输问题,证明了其R-线性收敛性,并在二维网格上利用核结构加速,数值实验显示比HOT和HALO等求解器有显著加速。
2026-10-14 math.OC
A Triple-Bregman Balanced Primal-Dual Algorithm for Saddle Point Problems
针对PDHG求解凸-凹鞍点问题时原始与对偶子问题不平衡的问题,提出含三个独立Bregman近端项的TBDA框架,证明其收敛性、更大步长及改进版本,并通过实验验证性能优势。
2025-06-08 math.OC
A lifted Bregman strategy for training unfolded proximal neural network Gaussian denoisers
Heriot-Watt University(赫瑞瓦特大学);University College London(伦敦大学学院)
针对展开式近端神经网络训练效率受限问题,提出基于Bregman距离的提升训练公式,结合确定性小批量块坐标前向-后向方法设计定制计算策略,经图像去噪模拟验证了方法有效性。
2024-08-16 cs.CV math.OC
An accelerated randomized Bregman-Kaczmarz method for strongly convex linearly constraint optimization
本文提出一种求解线性约束下强凸优化问题的加速随机Bregman-Kaczmarz方法,利用与坐标下降法的对偶关系实现加速,理论分析与数值实验均证明其比现有方法更高效。
2025-04-01 cs.NA math.NA math.OC
Blind Deconvolution with Non-smooth Regularization via Bregman Proximal DCAs
The Graduate University for Advanced Studies(advanced studies高级大学);The Institute of Statistical Mathematics(统计数学研究所);RIKEN Center for Advanced Intelligence Project(理化学研究院先进智能项目中心)
针对盲反卷积问题中现有一阶方法缺乏理论支撑的问题,提出基于Bregman近端DC算法及带外推的扩展版本,在L-smad性质下保证收敛,可高效求解大规模问题,图像去模糊实验效果优于现有算法。
2022-08-02 eess.SP math.OC
Fixed Point and Bregman Iterative Methods for Matrix Rank Minimization
仿射限制条件下的低秩矩阵的恢复问题广泛地出现在控制、信号处理及系统识别等许多领域中.该问题的最紧凸松弛是线性约束核范数最小化。虽然后者可以被看作是半定规划问题,但当矩阵很大时,这种方法的求解在计算上是昂贵的。本文提出了求解核范数最小化问题的不动点算法和Bregman迭代算法,并证明了第一种算法的收敛性.通过使用同伦方法和近似奇异值分解过程,我们得到了一个非常快速、鲁棒和强大的算法,我们称之为FPCA(不动点Continuation with Approximate SVD),它可以解决非常大的矩阵秩最小化问题。在随机生成矩阵和实矩阵完备化问题上的数值结果表明,与SDPT 3等半定规划求解器相比,该算法具有更快的速度和更好的可恢复性.例如,我们的算法可以在大约3分钟内恢复秩为50的1000 × 1000个矩阵,并且通过仅采样20%的元素,相对误差为1 e-5。据我们所知,没有其他方法可以实现如此好的可恢复性。在在线推荐、DNA微阵列数据集和图像修复问题上的数值实验验证了算法的有效性.
2009-05-12 cs.IT math.IT math.OC
An Accelerated Newton-Dinkelbach Method and its Application to Two Variables Per Inequality Systems
我们提出了一个加速,或“前瞻性”版本的牛顿-Dinkelbach方法,一个众所周知的技术,用于解决分数和参数优化问题。这种加速在每两次迭代内将当前的最优解和最优解之间的Bregman发散减半。使用Bregman发散作为结合组合参数的势,我们在三个应用领域中获得了强多项式算法:(i)对于线性分式组合优化,我们给出了$O(m \log m)$迭代的收敛界;以前的最佳界是Wang et al.(2006)的$O(m^2 \log m)$。(ii)本文给出了求解二元线性可行不等式组(2 VPI)的一个强多项式标号校正算法。对于具有$n$变量和$m$约束的2 VPI系统,我们的算法运行在$O(mn)$迭代中。对于一般的2 VPI系统,每次迭代需要$O(mn)$时间,而对于确定性马尔可夫决策过程(DMDP)的特殊情况,每次迭代需要$O(m + n \log n)$时间。这扩展并加强了Madani(2002)的先前结果,该结果显示了用于求解DMDP的Newton-Dinkelbach方法的变体的弱多项式界。(iii)我们给出了Goemans等人(2017)的参数次模函数最小化结果的简化变体。
2021-05-21 cs.DS math.OC
Learning in Large Populations With Anticipatory Payoffs: Bregman Meets Willems and Lyapunov
University of Maryland(马里兰大学)
本文针对大规模种群动态收益机制下的演化纳什均衡学习,利用逆时针耗散性框架,通过Bregman散度构造与规则无关的Lyapunov函数,建立全局渐近稳定性,并以拥堵博弈验证。
2026-10-06 cs.GT cs.SY eess.SY
Competitive Mirror Descent
Caltech(加州理工学院)
约束竞争优化涉及多个代理试图最小化冲突的目标,受到约束。这是一种高度表达性的建模语言,包含了大部分现代机器学习。在这项工作中,我们提出了竞争镜像下降(CMD):一个通用的方法来解决这些问题的基础上,可以通过自动微分获得的一阶信息。首先,通过增加拉格朗日乘子,我们得到一个简化的约束集与相关的布雷格曼势。在每次迭代中,我们求解整个问题的正则化双线性近似的纳什均衡,以获得代理的运动方向。最后,我们根据Bregman势诱导的对偶几何,沿着这个方向得到下一个方向。通过使用对偶几何,我们获得可行的迭代,尽管在每次迭代中只求解线性系,消除了对投影步骤的需要,同时仍然考虑到约束集的全局非线性结构。作为特例,我们得到了正锥上问题的一个新的竞争乘性权算法。
2020-06-17 cs.GT cs.LG math.OC
Stochastic variance reduced extragradient methods for solving hierarchical variational inequalities
Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机学研究所);Mannheim University(曼海姆大学);Technion - Israel Institute of Technology(以色列理工学院)
本文提出了一种随机方差减少外梯度法,用于求解分层变分不等式问题,首次证明了该方法在欧几里得和Bregman设置下的收敛速率和复杂性。
2026-02-13 cs.GT cs.LG math.OC
A Decomposition Method for Solving Multicommodity Network Equilibrium
我们考虑了Rockafellar在1995年提出的多商品网络均衡问题的数值方面。我们的方法依赖于灵活的单调算子分裂框架最近提出的Combettes和Eckstein。
2021-08-07 math.OC
A Douglas-Rachford Splitting Method for Solving Equilibrium Problems
我们提出了一个分裂方法解决平衡问题,涉及两个双函数满足标准条件的总和。我们证明了这个问题等价于找到两个适当的极大单调算子的零点。我们的算法是道格拉斯-Rachford分裂适用于此辅助单调包含的后果。研究了单调包含与平衡问题之间的联系。
2012-06-27 math.OC
Stochastic Variance Reduction for Variational Inequality Methods
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Linköping University(林雪平大学)
我们提出了求解凸凹鞍点问题、单调变分不等式和单调包含的随机方差缩减算法。我们的框架适用于外梯度,向前向后向前,向前反射向后的方法在欧几里得和布雷格曼设置。所有提出的方法收敛于相同的设置,因为他们的确定性同行,他们要么匹配或提高最知名的复杂性,解决结构化的最小最大问题。我们的结果加强了变分不等式的方差约化与极小化之间的对应关系。我们还说明了我们的方法的改进与数值计算上的矩阵对策。
2022-06-11 cs.LG math.OC stat.ML
Golden ratio algorithms for solving equilibrium problems in Hilbert spaces
本文对实希尔伯特空间中的伪单调平衡问题设计了一个新的迭代算法。该算法的优点是每次迭代只需要求解一个强凸规划问题。在适当的条件下,证明了算法的强收敛性和弱收敛性.所得结果推广和改进了文献中的一些结果.通过数值算例给出了该方法的性能以及与现有方法的比较。
2018-04-05 math.OC
Mirror Descent-Ascent for mean-field min-max problems
Center for Advanced Intelligence Project, RIKEN(日本东京RIKEN先进智能项目中心);School of Mathematical and Computer Sciences, Heriot-Watt University(赫里奥特-瓦特大学数学与计算机科学学院);Maxwell Institute for Mathematical Sciences, Edinburgh, UK(爱丁堡数学科学研究所);School of Mathematics, University of Edinburgh(爱丁堡大学数学学院);The Alan Turing Institute(艾伦·图灵研究所)
本文研究了用于解决测度空间上极小-极大问题的镜像下降-上升算法的两种变体,分析了其收敛性,并提出了统一的理论基础。
2026-11-06 cs.LG math.OC math.PR
Weak and strong convergence of an inertial proximal method for solving bilevel monotone equilibrium problems
本文介绍一种求解希尔伯特空间中两个单调平衡双函数的两层问题的惯性逼近方法。在适当的条件下,在不对轨迹作任何限制性假设的情况下,证明了由迭代法产生的序列的弱收敛性和强收敛性。两个特殊的情况下,说明所提出的方法进行了讨论,相对于分层极小化问题和平衡问题下鞍点约束。最后,通过数值算例验证了算法的可实现性.该算法及其收敛性结果改进和发展了前人的结果。
2022-10-19 math.OC