A randomized Mirror-Prox method for solving structured large-scale matrix saddle-point problems
在本文中,我们推导出一个随机版本的的E-Prox方法解决一些结构矩阵鞍点问题,如最大特征值极小化问题。确定性的一阶格式,如Nesterov的平滑技术或标准的Prox-Prox方法,需要在每次迭代时精确计算矩阵指数,限制了它们可以解决的问题的大小。我们的方法允许我们使用矩阵指数的随机逼近。我们证明了我们的随机化方案显着降低了复杂性,其确定性对应的大规模矩阵鞍点问题。数值实验验证了我们的理论结果。
2011-12-06 math.OC
Target Mirror Descent: A Unifying Framework for Solving Monotone Variational Inequalities
University of California, Berkeley(加州大学伯克利分校)
本文提出目标镜像下降框架,通过双变量修正机制稳定单调流,统一了近端点算法、extragradient方法等经典算法,并改进了折扣镜像下降的均衡偏差。
2026-04-20 cs.GT math.OC
Popov Mirror-Prox for solving Variational Inequalities
针对 mirror-prox 算法在一般变分不等式中难以实现的问题,提出基于 Popov 方法更新的实现,并证明其在单调且 Lipschitz 连续条件下具有 O(1/t) 的对偶间隙收敛速率。
2024-09-26 math.OC
Enlargement of Monotone Vector Fields and an Inexact Proximal Point Method for Variational Inequalities in Hadamard Manifolds
本文对Hadamard流形上的变分不等式引入了一种不精确邻近点方法,并研究了它的收敛性。用于呈现的方法的主要工具是单调向量场的扩大的概念,其将单调算子的扩大的概念从线性设置推广到黎曼上下文。作为应用,得到了求解约束最优化问题的一个非精确邻近点方法。
2015-11-26 math.OC
Adaptive Proximal Method for Variational Inequalities
对具有Lipschitz连续域的变分不等式提出了一种新的自适应方法。估计所需的迭代次数,以达到一个给定的质量的变分不等式的解决方案。考虑的情况下,持有人连续字段的方法的推广被认为是。
2018-12-24 math.OC
Mirror Prox Algorithm for Multi-Term Composite Minimization and Semi-Separable Problems
在本文中,我们开发了一个复合版本的镜像Prox算法求解凹凸鞍点问题和单调变分不等式的特殊结构,允许覆盖鞍点/变分类比通常所谓的“复合最小化”(最小化的总和的一个易于处理的非光滑和一般类型的光滑凸函数“好像”没有非光滑的组件在所有)。我们证明,复合镜近端继承了有利的(和不可改进的已经在大规模的双线性鞍点的情况下)$O(1/ε)$效率估计其原型。我们表明,所提出的方法可以自然地应用到拉索型问题与几个惩罚条款(例如,共同作用$\ell_1$和核范数正则化)和交替方向的方法中考虑的结构的问题,这意味着在这两种情况下的方法与$O(ε^{-1})$复杂性界限。
2014-05-21 cs.CC math.OC
Popov Mirror-Prox Method for Variational Inequalities
Arizona State University(亚利桑那州立大学)
本文提出无参数的Popov mirror-prox算法,在多项式增长条件下求解随机和确定性变分不等式,实现最优收敛速率,并扩展至非单调情形,通过实验验证。
2025-10-18 math.OC
The Mirror-Prox Sliding Method for Non-smooth decentralized saddle-point problems
本文提出一种基于惩罚和滑动技术的Mirror-Prox方法,用于求解非光滑分布式鞍点问题,并在通信轮数和梯度调用次数上达到下界。
2023-12-29 math.OC
The Last-Iterate Convergence Rate of Optimistic Mirror Descent in Stochastic Variational Inequalities
ENS(巴黎高等师范学院);Univ. PSL(巴黎文理研究大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);Inria(法国国家信息与自动化研究所);Criteo AI Lab(Criteo人工智能实验室)
在本文中,我们分析了乐观镜像下降法在随机变分不等式中的局部收敛速度,这是一类在学习理论和机器学习中有重要应用的最优化问题。我们的分析揭示了算法的收敛速率和由该方法的基本Bregman函数引起的局部几何之间的复杂关系。我们量化这种关系的勒让德指数,一个概念,我们介绍来衡量的增长率的Bregman发散相对于周围的正常附近的解决方案。我们表明,这个指数决定了算法的最佳步长策略和达到的最佳速率,以这种方式解释了一些流行的Bregman函数(欧几里得投影,负熵,分数幂等)观察到的差异。
2021-07-05 cs.LG math.OC
Generalized Mirror Prox for Monotone Variational Inequalities: Universality and Inexact Oracle
引入了一类带单调算子的变分不等式(VI)的不精确预言模型,提出了求解此类VI的一种数值方法,并分析了其收敛速度.作为一个特例,我们考虑了具有Hölder连续算子的VI,并证明了我们的算法是通用的。这意味着,在不知道Hölder参数$ν$和Hölder常数$L_ν$的情况下,它具有这类VI的最佳可能的复杂性,即我们的算法具有复杂性$O\left( \inf_{ν\in[0,1]}\left(\frac{L_ν}{\varepsilon} \right)^{\frac{2}{1+ν}}R^2 \right)$,其中$R$是可行集的大小,$\varepsilon$是解决方案的期望精度。我们还考虑了具有强单调算子的VI的情形,推广了我们对具有不精确预言的VI的方法和我们对这类问题的通用方法。最后,我们展示了如何将我们的方法应用于具有Hölder连续部分次梯度的凹凸鞍点问题。
2022-02-17 math.OC
Log-Averaged Mirror Prox for Fast, Large-Scale Optimal Transport in Linear Space
University of Rochester(罗切斯特大学)
本文提出Log-Averaged Mirror Prox方法,通过跟踪平均对偶序列降低存储复杂度,同时保持GPU友好的密集运算,实现高效最优传输求解。
2026-11-17 cs.DS math.OC
Inexact Online Proximal Mirror Descent for time-varying composite optimization
本文研究含梯度与近端算子误差的在线近端镜像下降算法,在凸光滑条件下获得了动态遗憾精确估计,消除了先前结果的$O(T)$项并将适用域扩展至全空间$\mathbb{R}^n$。
2023-04-10 math.OC
Mirror-prox sliding methods for solving a class of monotone variational inequalities
本文提出了求解紧可行集上一类结构单调变分不等式问题的新算法。通过识别存在于VI算子中的梯度分量,我们证明了可以不时地跳过梯度的计算,同时仍然保持解决这些VI问题的最佳迭代复杂性。具体地说,对于涉及光滑凸函数$\nabla G$和单调算子$H$的梯度之和的确定性VI问题,我们提出了一种新的算法,称为镜像-邻近滑动方法,该算法能够计算$\varepsilon$ -近似弱解,最多具有$\nabla G$的$O((L/\varepsilon)^{1/2})$评估和$H$的$O((L/\varepsilon)^{1/2}+M/\varepsilon)$评估,其中,$L$和$M$分别是$\nabla G$和$H$的Lipschitz常数。此外,当运营商$H$只能通过其随机估计访问的情况下,我们提出了一个随机镜像-prox滑动方法,可以计算一个随机$\varepsilon$ -近似弱解的$\nabla G$和$O((L/\varepsilon)^{1/2}+M/\varepsilon + σ^2/\varepsilon^2)$样本的$H$,其中$σ$是随机样本的方差$H$的$O((L/\varepsilon)^{1/2})$评价。
2021-11-01 math.OC
Solving Variational Inequalities with Monotone Operators on Domains Given by Linear Minimization Oracles
求解大规模凸-凹鞍点问题的标准算法,或者更一般地说,求解单调算子变分不等式的标准算法,都是近似型算法,在每次迭代时都需要计算一个n-映射,即在问题的定义域$X$上最小化一个线性型和特定的凸距离生成函数之和。在实现近似算法时,作为标准要求的逆映射的相对计算简单性清楚地暗示了为$X$配备能够在$X$线性型上最小化的相对计算上便宜的线性最小化Oracle(LMO)的可能性。然而,有一个便宜的LMO确实是可用的,但在那里没有近端设置与易于计算的映射是已知的重要情况。这一事实激发了我们的目标,在本文中,这是发展技术,解决变分不等式与单调算子的区域上的线性极小化神谕。我们开发的技术可以被看作是在[5]中提出的非光滑凸最小化方法在LMO表示的域上的一个实质性的扩展。
2014-06-23 math.OC
Proximal extrapolated gradient methods for variational inequalities
研究单调变分不等式的一阶新方法。他们使用一个非常简单的线路扫描程序,考虑到当地的信息的运营商。此外,该方法不需要算子的Lipschitz连续性,并且线插值过程仅使用算子的值。而且,当算子是仿射算子时,我们的线分解变得非常简单,即只需要向量-向量乘法。对于我们所有的方法,我们建立遍历收敛速度。虽然所提出的方法是非常普遍的,有时他们可能会表现出更好的性能,甚至对最优化问题。这样做的原因是,他们通常可以使用更大的步长,而无需额外的昂贵的计算。
2016-01-15 math.OC
Prox-PINNs: A Deep Learning Algorithmic Framework for Elliptic Variational Inequalities
The Hong Kong University of Science and Technology(香港科技大学);Nanyang Technological University(南洋理工大学);Xiamen University(厦门大学);Nankai University(南开大学);Southern University of Science and Technology(南方科技大学)
本文提出Prox-PINNs框架,融合近端算子与物理信息神经网络,统一求解椭圆变分不等式,在障碍、扭转、粘塑性流动等基准问题上验证了准确性、效率与鲁棒性。
2025-10-28 math.OC
Kullback-Leibler Mirror-Prox for Measure-Valued Variational Inequalities and Mean-Field Equilibria
University of Michigan(密歇根大学);Princeton University(普林斯顿大学)
该研究针对紧致状态空间上的测度值变分不等式,提出KL镜像近端算法,结合正则化方法,在单调性假设下证明收敛性与误差界,可处理势型及非势型代价算子。
2026-08-12 math.OC
A strongly convergent inertial inexact proximal-point algorithm for monotone inclusions with applications to variational inequalities
Universidade Federal de Santa Catarina(圣卡塔琳娜联邦大学);Instituto Federal de Santa Catarina (IFSC)(圣卡塔琳娜联邦学院);Universidad de Chile(智利大学)
本文提出一种在更弱惯性参数假设下强收敛的惯性非精确邻近点算法,并给出迭代复杂度分析,将其应用于变分不等式,得到多种经典方法的强收敛惯性变体,数值实验验证了其有效性。
2025-09-23 math.OC
Proximal extrapolated gradient methods with prediction and correction for monotone variational inequalities
针对希尔伯特空间中单调变分不等式,设计了一种基于近似梯度的有效方法--近似外推梯度法.所提出的方法扩展了可接受的参数范围,以获得更大的步长。该方法利用算子的局部信息预测步长,并通过线性插值修正步长,使其满足一个很弱的条件,该条件比生成序列的有界性更弱,且当算子是凸函数的梯度时,该条件始终成立.在较大的参数范围内,我们从理论上证明了它的收敛性和遍历收敛速度。此外,我们采用所提出的方法与非单调步长,提高了数值效率,并获得了步长相关的参数的上界通过一个非常简单的例子。相关的数值实验说明了更大的步长对效率的改善。
2019-12-04 math.OC
Algorithm for solving variational inequalities with relatively strongly monotone operators
基于最近提出的一些求解含非光滑算子的变分不等式的方法,在算子的相对光滑性和相对强单调性的假设下,我们提出了一种类似于镜像Prox方法的方法来求解这类问题.
2021-06-08 math.OC
Low-Rank Mirror-Prox for Nonsmooth and Low-Rank Matrix Optimization Problems
Technion(以色列理工学院);Faculty of Data and Decision Sciences(数据与决策科学学院)
本文针对非光滑低秩矩阵优化问题,提出两种低秩镜像近端变体方法,在严格互补性条件下以O(1/t)速率收敛且每次迭代仅需两次低秩SVD,并通过实验验证了其有效性。
2025-04-09 cs.LG math.OC
Mirror-Prox SCA Algorithm for Multicast Beamforming and Antenna Selection
研究了多播波束赋形和天线选择联合优化的NP-困难问题。先前的工作集中在使用半定松弛(SDR)技术,试图获得高质量的次优解。然而,SDR具有高计算复杂性的缺点,因为SDR将问题提升到更高维空间,有效地平方变量的数量。本文提出了一种高性能、低复杂度的连续凸近似(SCA)算法,用于在总功率约束下实现最大-最小信噪比“公平”联合多播波束形成和天线选择。所提出的方法依赖于迭代逼近的非凸目标与一系列的非光滑凸子问题,然后,一个基于一阶的方法称为鞍点逼近(SP-MP)用于计算每个SCA子问题的最优解。仿真结果表明,SP-MP SCA算法提供了一个更高的质量和更低的复杂度的解决方案相比,使用SDR。
2018-03-02 cs.IT math.IT math.OC
A search-free $O(1/k^{3/2})$ homotopy inexact proximal-Newton extragradient algorithm for monotone variational inequalities
该研究提出一种基于同伦的无搜索不精确邻近牛顿外梯度算法,用于求解实希尔伯特空间中的光滑单调变分不等式,具备更优的迭代复杂度,且初步实验显示其性能优于部分已有邻近牛顿方案。
2024-04-14 math.OC
On stochastic mirror-prox algorithms for stochastic Cartesian variational inequalities: randomized block coordinate and optimal averaging schemes
受多用户最优化问题和不确定区域中的非合作Nash博弈的启发,我们考虑随机笛卡尔变分不等式(SCVI),其中集合被给定为分量集合的笛卡儿积.首先,我们考虑的情况下,组件集的数量是大的。为了解决这类问题,经典的随机逼近方法及其prox推广是计算效率低,因为每次迭代变得非常昂贵。为了解决这一挑战,我们开发了一个随机块随机镜像-prox(B-SMP)算法,在每次迭代中,只有一个随机选择的块坐标的解决方案是通过实施两个连续的投影步骤更新。在标准的假设下的问题和设置的算法,我们表明,当映射是严格的伪单调,算法产生一个序列的迭代收敛到问题的解决方案几乎肯定。为了得到速率声明,我们假设映射是强伪单调的,并得到{a}非渐近均方误差$\mathcal{O}\left(\frac{d}{k}\right)$,其中$k$是迭代次数,$d$是分量集的数目。其次,我们考虑了大规模的凸目标随机最优化问题。对于这类问题,我们开发了一个新的平均计划的B-SMP算法。与经典的平均随机镜像-prox(SMP)方法不同,在该方法中使用平均序列的权重的递减集合,在这里,我们考虑不同的权重集合,其特征在于步长和{参数}。我们表明,使用这样的权重,平均序列的目标值收敛到最优值的平均意义上的速率$\mathcal{O}\left(\frac{\sqrt{d}}{\sqrt{k}}\right)$。
2018-01-13 math.OC
On the Optimal Ergodic Sublinear Convergence Rate of the Relaxed Proximal Point Algorithm for Variational Inequalities
研究了求解单调变分不等式问题的松弛邻近点法的最优遍历次线性收敛速度。使用性能估计框架计算精确的最坏情况收敛速度。据观察,随着迭代次数越来越大,这个数值速率渐近符合现有的次线性速率,其最优性是未知的。这暗示,在没有进一步假设的情况下,次线性收敛速度可能是最佳可达率。构造了一个具体的例子,它提供了一个下界的确切的最坏情况下的收敛速度。令人惊讶的是,这个下界与通过性能估计框架计算的确切的最坏情况界限一致。这一观察结果促使我们推测,由例子提供的下界正是最坏情况下的迭代界,然后从理论上验证。因此,我们建立了一个遍历次线性收敛速度,是最佳的次线性速度的顺序和所有涉及的常数。
2019-07-12 math.OC
Deep Neural Network Structures Solving Variational Inequalities
受深度神经网络中出现的结构的启发,我们研究了在不同空间上定义的交替邻近和仿射算子的非线性复合模型。我们首先证明了神经网络中使用的各种激活算子实际上都是邻近算子。然后,我们建立条件的平均建议的复合结构,并调查其渐近性质。结果表明,所得到的过程的限制解决了一个变分不等式,在一般情况下,不来自最小化问题。
2019-03-15 math.OC
Analysis of Kernel Mirror Prox for Measure Optimization
Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机学研究所)
本文提出面向 MFNE 测度鞍点问题的原对偶 KMP 算法,并在无限维 RKHS 设置下证明确定性 O(1/N)、随机 O(1/√N) 收敛率,且用于 DRO 保证。
2024-02-29 cs.LG math.OC
Global minimisation of nonconvex functions by generalising the mirror descent method
本文提出两种算法用于非凸函数的全局最小化,通过泛化镜像下降法并利用抽象Bregman距离实现收敛性证明与数值验证。
2026-01-08 math.OC
Sensitivity analysis of variational inequalities via twice epi-differentiability and proto-differentiability of the proximity operator
本文研究Hilbert空间中参数化第二类非线性变分不等式的灵敏度分析。目前的工作的挑战是考虑到扰动的所有数据的问题。这就需要在所涉及的算子和函数的广义一阶和二阶微分的定义中进行特殊的调整。确切地说,我们扩展了R.T. Rockafellar,分别证明了参数化下半连续凸函数及其次微分的两次上可微性和两次原可微性。这两个概念之间的联系与Attouch定理和本文介绍的收敛支撑超平面的新概念有关。利用已有的工具,我们得到了参数化变分不等式的广义邻近算子的原导数的精确公式,并证明了相应解关于参数的可微性.此外,该导数是一个新的变分不等式的解决方案,涉及半和两次epi-derivatives的数据。给出了一个应用于涉及两个凸函数(其中一个是光滑的)之和的参数化凸优化问题。详细讨论了带不等式约束的光滑凸优化问题。这种方法在文献中似乎是新的,并在非线性最优化的理论和计算问题上打开了几个视角。
2018-02-25 math.OC
Accelerated Schemes For A Class of Variational Inequalities
提出了一种新的方法,即加速镜像逼近(AMP)方法,用于计算一类确定性和随机单调变分不等式(VI)的弱解.该算法的主要思想是将多步加速方案纳入镜像-邻近方法。对于确定性和随机性的VI,开发的AMP方法计算的弱解的最佳收敛速率。特别地,如果VI中的单调算子由光滑函数的梯度组成,则AMP方法的收敛速度收敛速率可以根据其对光滑函数的Lipschitz常数的依赖性来加速。对于具有有界可行集的VI,AMP方法的收敛速率的估计依赖于可行集的直径。对于无界变分问题,我们采用Monteiro和Svaiter提出的修正间隙函数求解单调包含问题,并证明了AMP方法的收敛速率依赖于从初始点到强解集的距离.
2014-03-17 math.OC
Decomposition Techniques for Bilinear Saddle Point Problems and Variational Inequalities with Affine Monotone Operators on Domains Given by Linear Minimization Oracles
求解大型凸凹鞍点问题和单调算子的变分不等式的一阶方法大多数都是近似算法,在每次迭代时都需要极小化问题区域X上的一个线性型与一个强凸函数之和。为了使这样的算法实用,X应该是近似友好的--允许一个强凸函数,容易使线性扰动最小化。作为一个副产品,X允许一个计算成本低的线性最小化Oracle(LMO),能够最小化X个线性型。然而,在一些重要的情况下,廉价的LMO确实是可用的,但是X不是邻近友好的,这促使搜索仅基于LMO的算法。对于光滑凸极小化问题,存在一种经典的基于线性最优的算法--条件梯度算法。与此相反,我们已知的其他问题的凸结构(非光滑凸最小化,凹凸鞍点问题,甚至作为简单的双线性,和变分不等式与单调算子,甚至作为简单的仿射)的基于LMO的技术是相当新的,并利用共同的方法基于Fenchel型表示的相关目标/向量场。本文的目标是开发一种替代的(似乎更简单)基于LMO的分解技术的双线性鞍点问题和变分不等式与仿射单调算子。
2015-10-02 math.OC
RLC Circuits based Distributed Mirror Descent Method
本文研究了无向连通图上光滑凸目标函数的分布式优化问题。受镜像下降法和RLC电路的启发,提出了一种新的分布式镜像下降法。与镜像-邻近方法相比,该算法在保持相同的\(\mathcal{O}(1/k)\)迭代复杂度的同时,每次迭代的计算量仅为原来的一半。我们进一步扩展我们的结果的情况下,a)梯度被破坏的随机噪声,和b)目标函数是由光滑和非光滑的条款。我们通过数值实验证明了我们的理论结果。
2020-02-22 math.OC
Accelerated Randomized Mirror Descent Algorithms For Composite Non-strongly Convex Optimization
本文考虑最小化一个由大量光滑凸分支组成的平均函数与一个一般的、可能不可微的凸函数之和的问题。虽然已经提出了许多方法来解决这个问题的假设和是强凸的,很少有方法支持的非强凸的情况。增加一个小的二次正则化是解决非强凸问题的常用方法,但它可能会导致解的稀疏性损失或削弱算法的性能。为了避免这一设计,我们提出了一种加速的随机镜像下降法来解决这个问题,没有强凸的假设。我们的方法扩展了Paul Tseng的确定性加速近端梯度法,即使在近端点计算不精确的情况下也可以应用。我们还提出了一个解决方案时,该问题的分量函数是非光滑的。
2018-12-31 math.OC stat.ML
Averaged proximal reflected gradient method for monotone variational inequalities
School of Science, Lanzhou University of Technology(兰州理工大学理学院);School of Mathematics and Statistics, Xianyang Normal University(咸阳师范学院数学与统计学院)
本文提出平均近端反射梯度方法,通过新Lyapunov函数建立收敛理论,改进黄金比例算法,采用自适应步长,在多个问题上优于现有方法。
2026-10-16 math.OC
Average-and Last-Iterate Lower Bounds for Optimistic Matrix Mirror-Prox in Quantum Zero-Sum Games
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究通过显式量子零和博弈,证明了乐观矩阵镜像近端算法在平均迭代和最后迭代收敛上的下界,并揭示了乐观梯度下降-上升和乐观矩阵乘法权重更新的收敛速率。
2026-10-01 cs.GT cs.LG math.OC
Finite Convergence Analysis and Weak Sharp Solutions for Variational Inequalities
本文研究了变分不等式问题(简称VIP)解集的弱尖锐性和某些算法产生的序列的有限收敛性。特别地,在不考虑原始或对偶间隙函数的情况下,给出了VIP解集的弱尖锐性的一些刻画。建立了由某些迭代法生成的序列有限收敛性的一个抽象结果。然后应用这个抽象结果讨论了由邻近点法、精确邻近点法和梯度投影法生成的序列的有限终止性。我们还给出了迭代次数的估计序列收敛到VIP的解决方案。
2017-05-09 math.OC
An inexact algorithm for stochastic variational inequalities
我们提出了一种新的渐进对冲算法来解决Rockafellar和Wets在2017年引入的公式中的随机变分不等式,允许生成的子问题近似求解可实现的公差条件。我们的方案基于不精确邻近点方法,并推广了Rockafellar和Sun在2019年开发的精确算法,提供了更强的收敛结果。我们还展示了一些数值实验中的两阶段纳什博弈。
2023-01-24 math.OC
Some Methods for Relatively Strongly Monotone Variational Inequalities
本文致力于发展求解具有较强单调算子的变分不等式的数值方法。考虑了两类与几年前出现的算子的利普希茨条件类似的变分不等式。其中一类与算子的相对有界性有关,另一类与类似的利普希茨条件(即相对光滑性)有关。对于具有相对有界和相对强单调算子的变分不等式,我们引入了一种改进的镜像下降法,它优化了收敛速度.我们还提出了自适应ProximalPirror算法及其重新启动的版本与线性收敛速率的问题相对光滑和相对较强的单调算子。
2022-05-24 math.OC
Right Bregman proximal gradient with application to Poisson inverse problems *
INSA-Lyon(里昂国立应用科学学院)
本文提出一种右Bregman近端梯度算法,通过镜像坐标重参数化实现凸复合优化,并应用于泊松逆问题,恢复并推广了Richardson-Lucy更新,证明了单调递减和次线性收敛,实验验证了其性能。
2026-10-06 eess.IV math.OC
Efficient Algorithms for Federated Saddle Point Optimization
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学)
我们考虑了联邦环境下的强凸-凹极大极小问题,其中通信约束是主要的瓶颈。当客户端任意异构时,简单的Minibatch代理可以实现最佳性能。随着客户端变得更加同质化,在客户端使用多个局部梯度更新通过降低通信频率显著改善了Minibatch代理。我们的目标是设计一种算法,可以利用客户端的相似性的好处,同时恢复任意异构性(最多日志因素)下的Minibatch代理性能。我们给出了第一个实现这一目标的联邦极大极小优化算法。其主要思想是结合(i)SCAFFOLD(一种在客户端之间执行凸优化方差缩减的算法)来消除对异质性的最坏情况依赖性,以及(ii)Catalyst(一种基于修改目标的加速框架)来加速收敛,而不会放大客户端漂移。我们证明了该算法实现了我们的目标,并包括实验来验证理论。
2021-02-12 cs.DC cs.LG math.OC
Inertial Accelerated Stochastic Mirror Descent for Large-Scale Generalized Tensor CP Decomposition
本文针对广义张量CP分解问题,提出基于Bregman距离的惯性加速分块随机镜像下降算法iTableSMD,证明了其O(ε^{-2})迭代复杂度和全局收敛性,并在真实数据上取得优于现有方法的性能。
2024-02-24 math.OC
The rate of convergence of Bregman proximal methods: Local geometry vs. regularity vs. sharpness
Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院);Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université de Toulouse(图卢兹大学);UPS(图卢兹第三大学);LIG(格勒诺布尔信息与信号处理实验室)
该研究分析Bregman邻近方法的最后迭代收敛速率与局部几何的关系,提出勒让德指数是关键影响因素,揭示了边界解的收敛速率二分性及线性约束下的更显著差异。
2024-12-12 cs.LG math.OC
Stochastic optimization over proximally smooth sets
本研究针对近端光滑集上的弱凸函数最小化问题,提出一类结合目标与约束简化模型及回缩操作的随机算法,证明其有限时间效率保证,并探讨在光滑流形等场景的非光滑优化应用。
2020-02-15 math.OC
Mirror Descent and Constrained Online Optimization Problems
我们考虑下面一类带函数约束的在线最优化问题。设在$n$维向量空间的闭集上给出了一个有限的凸Lipschitz连续非光滑泛函集。问题是在凸Lipschitz连续非光滑约束下极小化泛函的算术平均。此外,允许计算每个泛函的(子)梯度仅一次。本文利用最近提出的自适应镜像下降法,提出了一种求解带约束的在线最优化问题的方法,并给出了最优精度估计。对于相应的非欧结构的情况下,一组$n$维向量躺在标准的$n$维单纯形。
2021-12-29 math.OC
On the Convergence Rate of Stochastic Mirror Descent for Nonsmooth Nonconvex Optimization
本文研究了非凸优化问题的随机镜像下降(SMD)算法的非渐近平稳收敛性。我们专注于一般类的非凸非光滑随机最优化问题,其中的目标可以分解成一个相对弱的凸函数(可能非Lipschitz)和一个简单的非光滑凸正则化。我们证明了SMD,不使用mini-batch,是保证收敛到一个平稳点的收敛速度的$ \mathcal{O}(1/\sqrt{t}) $。效率估计与现有的随机次梯度方法的结果相匹配,但评估下一个更强的平稳性措施。我们的收敛性分析适用于原来的SMD和它的近端版本,以及确定性的变种,解决相对弱凸问题。
2018-06-12 math.OC
Adaptive Methods or Variational Inequalities with Relatively Smooth and Reletively Strongly Monotone Operators
本文研究了具有相对光滑和相对强单调算子的变分不等式的自适应方法,基于extragradient方法的近端变体提出自适应参数选择策略,证明了收敛速率,推广至广义光滑算子,并通过岭回归和box-simplex games的数值实验验证了有效性。
2023-08-01 math.OC
Algorithms for solving variational inequalities and saddle point problems with some generalizations of Lipschitz property for operators
本文研究求解变分不等式与强凸-凹鞍点问题,通过加速方法改进算法复杂度估计,并在任意近端结构下引入算子有界性条件类比,提出最优的镜像下降方法。
2023-11-21 math.OC
Higher-order methods for convex-concave min-max optimization and monotone variational inequalities
Toyota Technological Institute at Chicago(芝加哥丰田工业大学);Georgia Institute of Technology(佐治亚理工学院)
我们提供了改进的收敛速度的约束凸-凹极小-极大问题和单调变分不等式高阶光滑。在最小-最大设置的$p^{th}$阶导数是Lipschitz连续的,我们给出了一个算法高阶Prox,实现了迭代复杂度为$O(1/T^{\frac{p+1}{2}})$时,获得了一个Oracle的查找一个不动点的$p^{th}$阶方程。我们对弱单调变分不等式问题给出了类似的速率。对于$p>2$,我们的结果改进了Nemirovski [2004]的一阶镜像Prox方法和Monteiro和Svaiter [2012]的二阶方法的迭代复杂度。我们进一步实例化我们的整个算法在无约束的$p=2$的情况下。
2020-07-09 cs.LG math.OC stat.ML
Inexact Model: A Framework for Optimization and Variational Inequalities
本文提出了广义最优化中一阶方法的一般算法框架,包括极小化问题、鞍点问题和变分不等式。这个框架允许获得许多已知的方法作为特例,列表包括加速梯度法、复合最优化方法、水平集方法、邻近方法。该框架的思想是基于构建一个不精确的模型的主要问题组件,即目标函数在优化或操作员在变分不等式。除了再现已知的结果,我们的框架允许构建新的方法,我们通过构建一个通用的方法与复合结构的变分不等式说明。该方法适用于光滑和非光滑问题,具有最佳的复杂性,而无需先验知识的问题的光滑性。我们还推广了强凸目标和强单调变分不等式的框架。
2020-01-05 math.OC
Tikhonov regularized exterior penalty methods for hierarchical variational inequalities
针对可行集由下层变分不等式解集定义的嵌套 VI,本文在实 Hilbert 空间中提出具有强收敛保证的双循环 Tikhonov 正则化邻近惩罚算法,并通过应用与初步数值结果验证框架。
2025-08-28 math.OC
Fixed-Time Convergence of Time-Varying Neurodynamic Systems for Mixed Variational Inequalities
Aligarh Muslim University(阿利加尔穆斯林大学)
本文提出了一种新的固定时间收敛神经动力学方法,用于解决混合变分不等式问题。通过设计一类一阶近似神经动力学模型,确保从任意初始条件出发都能在固定时间内收敛到解,并通过时间变系数设计提升了收敛速度。
2026-02-14 math.DS math.OC
Regularization methods for solving hierarchical variational inequalities with complexity guarantees
University of Oxford(牛津大学);Mannheim University(曼海姆大学)
本文提出了一种基于Tikhonov正则化和近端惩罚的双循环方法,用于求解分层变分不等式问题,并提供了复杂性保证和收敛速率分析。
2026-01-05 math.OC
A Universal Algorithm for Variational Inequalities Adaptive to Smoothness and Noise
INRIA(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);ETH Zürich(苏黎世联邦理工学院)
我们考虑变分不等式来自单调算子,设置,包括凸极小化和凹凸鞍点问题。我们假设访问潜在的噪声无偏值的单调算子和评估收敛通过一个兼容的间隙函数,对应于标准的最优性标准,在上述子情况。我们提出了一个通用的算法,这些不等式的基础上的Prox-Prox算法。具体地说,我们的算法同时实现了最佳速率的平滑/非平滑,和噪声/无噪声设置。这是在没有任何先验知识的情况下完成的,并且在任意范数和相容Bregman分歧的一般设置中。对于凸极小化和凸凹鞍点问题,这导致新的自适应算法。我们的方法依赖于一个新的但简单的自适应选择的步长,这可以被看作是适当的扩展AdaGrad处理约束问题。
2019-02-05 cs.LG math.OC stat.ML
Continuous and Discrete Systems for Quasi Variational Inequalities with Application to Game Theory
针对凸集依赖解的拟变分不等式,提出三阶投影动力系统及相应惯性邻近隐式、显式迭代格式,并在温和条件下证明收敛性,应用于广义Nash均衡问题。
2025-01-09 math.DS math.OC