On proximal gradient mapping and its minimization in norm via potential function-based acceleration
以复合优化而闻名的近端梯度下降法可以完全用近端梯度映射的概念来描述。在本文中,我们强调了我们以前的两个发现邻近梯度映射-范数单调性和精细下降,我们能够扩展最近提出的基于势函数的框架从梯度下降到邻近梯度下降。
2022-12-14 math.OC
Fixed-Time Stable Proximal Dynamical System for Solving MVIPs
本文提出了一种新的修正邻近动力系统来计算混合变分不等式问题(MVIP)在固定时间内的解,其中收敛时间是有限的,并且对所有初始条件是一致有界的.在强单调性和Lipschitz连续性的假设下,证明了修正的邻近动力系统解的存在性、唯一性和在一定时间内收敛到相应的MVIP的唯一解.此外,修正投影动力系统的固定时间稳定性继续保持,即使强单调性的假设放宽到强伪单调性。最后,它表明,使用前向欧拉离散化的建议修改近端动力系统得到的解决方案收敛到一个任意小的邻域内的解决方案的相关MVIP在一个固定的时间步长,独立的初始条件。
2022-10-19 math.OC
Convergence of the Preconditioned Proximal Point Method and Douglas-Rachford Splitting in the Absence of Monotonicity
本文在无单调性条件下研究预处理近端点法和Douglas-Rachford分裂算法的收敛性,通过引入半单调算子类建立DRS与预处理PPA的联系,并给出全局收敛的充分条件。
2024-05-06 math.OC
Local convergence of an inexact proximal algorithm for weakly convex functions
针对弱凸函数提出一种非精确近端点算法变体,利用Moreau envelope证明其局部收敛性并给出复杂度结果,提升了算法在优化场景中的通用性与适用性。
2023-08-03 math.OC
Weak and strong convergence of a relaxed inertial proximal splitting algorithm for solving hierarchical equilibrium problems
National School of Applied Sciences, Sidi Mohamed Ben Abdellah University(国立应用科学学院,西迪穆罕默德·本阿卜拉大学);Cadi Ayyad university, Faculty of Sciences Semlalia(卡迪·艾雅德大学,塞姆拉拉理学院)
本文提出 RIPSA 求解分层均衡问题,分别在无收缩因子、强单调性及引入 Browder-Halpern 收缩因子条件下证明其弱收敛与强收敛性,并扩展至凸极小化和单调变分不等式。
2025-09-28 math.OC
Convergence and Stability Analysis of a Generalized Proximal Point Algorithm and Its Inexact Version
Ton Duc Thang University(胡志明市通德大学);Wayne State University(韦恩州立大学);Université de Limoges(利摩日大学)
本文在希尔伯特空间中引入自适应强单调性概念,建立广义邻近点算法(GPPA)求解非单调包含问题近似解的线性收敛性,同时研究了存在非递减误差时的不精确广义邻近点算法(IGPPA)。
2026-11-13 math.OC
Global exponential stability of primal-dual gradient flow dynamics based on the proximal augmented Lagrangian: A Lyapunov-based approach
University of Southern California(南加州大学)
针对一类带线性等式约束的非光滑复合最优化问题,利用基于Lyapunov的方法,建立了基于近似增广拉格朗日量的原始-对偶梯度流动力学的全局指数稳定性.当目标函数的可微部分是Lipschitz连续梯度的强凸函数,不可微部分是适当的、下半连续的和凸的,且线性约束中的矩阵是满行秩秩的时,结果成立.我们的二次李雅普诺夫函数推广最近的结果从强凸问题的仿射等式或不等式约束,以更广泛的一类复合最优化问题与非光滑正则化,它提供了一个最坏情况下的指数衰减率的下界。最后,我们使用计算实验来证明我们的收敛速度估计比现有的替代方案是不太保守的。
2019-10-02 cs.LG cs.SY eess.SY
Proximal gradient flow and Douglas-Rachford splitting dynamics: global exponential stability via integral quadratic constraints
University of Southern California(南加州大学)
许多大规模分布式最优化问题可以转化为一种复合形式,其中目标函数由一个光滑项和一个非光滑正则化子之和给出。这样的问题可以通过近端梯度法及其变体来解决,从而将梯度下降推广到非光滑设置。在本文中,我们将近似算法视为动力系统,并利用控制理论的技术来研究它们的全局特性。特别地,对于强凸目标函数的问题,我们利用积分二次约束理论证明了控制近端梯度和Douglas-Rachford分裂流演化的微分方程的平衡点的全局指数稳定性.在我们的分析中,我们使用的事实,这些算法可以被解释为可变度量梯度法在合适的信封和利用结构特性的非线性项,所产生的梯度的光滑部分的目标函数和邻近的运营商与非光滑正则化。我们还证明,这些信封可以从增广拉格朗日与原来的非光滑问题,并建立全球指数收敛的条件,即使在没有强凸性。
2020-06-25 cs.LG cs.SY eess.SY
Level proximal subdifferential, variational convexity, and pointwise quadratic approximation
Chongqing Normal University(重庆师范大学);University of British Columbia Okanagan(不列颠哥伦比亚大学奥肯那根分校)
本文研究了水平近似子微分的系统性质,通过局部强非扩张性或局部相对单调性刻画变分凸性,并用于分析近端梯度法的局部收敛性,同时探讨了水平近似子微分的存在性、单值性和积分性,量化了函数的点wise二次近似特性。
2026-04-21 math.OC
A hybrid proximal-extragradient algorithm with inertial effects
University of Vienna(维也纳大学)
本文提出一种结合惯性项的混合近端-反梯度算法,研究其在实希尔伯特空间中求解极大单调算子零点的收敛性,结合扩展Fejér单调性技术与Opial引理分析,并展示经典算法可嵌入该框架。
2014-07-01 cs.NA math.FA math.NA
A symmetric Gauss-Seidel based alternating proximal ALM for generalized Nash Equilibrium problems in Banach spaces
The Hong Kong Polytechnic University(香港理工大学);Tsinghua University(清华大学)
针对具有联合线性约束的单调广义纳什均衡问题,提出一种基于对称高斯-赛德尔的交替近端增广拉格朗日方法,通过交替求解无约束二次规划更新策略,在仅需伪梯度映射单调性和Lipschitz连续性条件下实现全局收敛。
2026-06-12 math.OC
${\mathcal K}$-monotonicity and feedback synthesis for incrementally stable networks
我们讨论了单调性的作用,使数字易于处理的网络化非线性系统的模块化控制设计。首先证明了单调系统的变分系统可以嵌入到正系统中。利用这种嵌入,我们展示了如何解决网络稳定问题,通过强制单调性和指数耗散的网络子组件。这种模块化的方法导致一个设计算法的基础上的一系列线性规划问题。
2023-03-04 cs.SY eess.SY math.OC
The Proximal Operator of the Piece-wise Exponential Function and Its Application in Compressed Sensing
本文修正了分段指数函数近端算子的公式,并开发了用于压缩感知的ISTA算法,与九种非凸惩罚项比较,展示了其优势。
2023-06-23 cs.NA math.NA math.OC
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy
Northwestern University(西北大学);Princeton University(普林斯顿大学)
使用神经网络参数化的演员和评论家的近端策略优化和信任域策略优化(PPO和TRPO)在深度强化学习中取得了显著的经验成功。然而,由于非凸性,PPO和TRPO的全局收敛性仍然不太清楚,这使理论与实践分离。在本文中,我们证明了一个变体的PPO和TRPO配备过参数化神经网络收敛到全局最优的政策,在一个次线性的速度。我们分析的关键是无限维镜像下降的全局收敛性的概念下的一点单调性,其中的梯度和梯度是由神经网络实例化。特别是,所需的表示能力和优化几何诱导过参数化的神经网络,使他们能够准确地近似的无穷维梯度和梯度。
2023-02-27 cs.LG math.OC stat.ML
Mixing Time of the Proximal Sampler in Relative Fisher Information via Strong Data Processing Inequality
Yale University(耶鲁大学)
本文研究了强对数凹目标分布下 Proximal Sampler 算法的混合时间,通过建立高斯信道的强数据处理不等式,证明了相对 Fisher 信息的指数收敛速率及高精度迭代复杂度保证。
2025-06-28 cs.IT cs.LG math.IT
Integral Resolvent and Proximal Mixtures
本文基于希尔伯特直积分理论提出积分预解式混合与积分近端混合,将有限族单调算子和凸函数的混合推广到任意族,并应用于复合单调包含系统的松弛。
2024-08-12 math.FA math.OC
A fully-distributed proximal-point algorithm for Nash equilibrium seeking with linear convergence rate
我们解决纳什均衡问题的部分决策信息的情况下,每个代理只能观察一些邻居的行动,而其成本可能取决于其他代理的策略。我们的主要贡献是设计一个完全分布式的,单层的,固定步骤的算法,基于一个近端的最佳反应增强共识条款。为了得到我们的算法,我们遵循算子理论方法。首先,我们将纳什均衡问题转化为寻找单调算子的零点问题。然后,我们证明,所产生的包含可以通过一个接近点的方法,由于使用了一种新的预处理矩阵,在一个完全分布式的方式来解决。在博弈映射的强单调性和Lipschitz连续性下,证明了算法的线性收敛到一个Nash均衡。此外,我们表明,我们的方法优于最快的已知的基于梯度的计划,无论是在保证收敛速度方面,通过理论分析,并在实践中,通过数值模拟。
2020-09-10 cs.DC cs.GT math.OC
Weak convergence of the stochastic proximal point method in metric spaces
Department of Computer Science, University of Bath(巴斯大学计算机系)
本文研究了在非正曲率的完备测地度量空间中,随机近点法在最小化凸积分函数的弱收敛性问题,解决了M.Bačák提出的问题,结合了新的证明方法和已有的随机准Fejér单调性理论。
2026-07-08 math.OC
Anisotropic Proximal Point Algorithm
KU Leuven(荷语鲁汶大学)
本文提出了一种各向异性近端点算法,通过非线性双空间预条件方法解决单调和相对协单调包含问题,并推导了任意阶收敛速度。
2025-12-29 math.OC
Proximal Gradient Dynamics and Feedback Control for Equality-Constrained Composite Optimization
ETH, Zürich(苏黎世联邦理工学院);Scuola Superiore Meridionale, Italy(南方高等学院);Center for Control, Dynamical Systems, and Computation, UC Santa Barbara, CA, USA(加州大学圣塔芭芭拉分校控制、动力学与计算中心);DIEM, University of Salerno, Italy(萨莱诺大学工程与管理系)
针对等式约束复合优化问题,提出比例-积分近端梯度动力学(PI-PGD),通过收缩理论证明其收敛到稳定点,并在线性-指数收敛速率下给出上界。
2026-06-23 cs.SY eess.SY math.OC
Mean-square and sublinear convergence of a stochastic proximal point algorithm in metric spaces of nonpositive curvature
Nicholas Pischke(独立研究者)
该研究在非线性Hadamard空间中提出随机邻近点算法,证明其在Hilbert-Hadamard空间的收敛性,得到高度一致的显式收敛速率,并讨论了次线性非渐近保证。
2026-08-10 cs.LG math.OC
Elastic demand dynamic network user equilibrium: Formulation, existence and computation
研究了出行需求矩阵内生确定的弹性出行需求下的动态用户均衡问题。我们提出了一个无限维的变分不等式(VI)制定是等价的条件定义一个连续时间的E-DUE问题。通过在扩展的希尔伯特空间中应用不动点存在定理(Browder,1968),建立了这个VI的存在性结果.我们提出了三个算法的基础上,上述VI和它的重新表达为微分变分不等式(DVI):投影方法,自适应投影方法,和邻近点方法。严格的收敛结果提供这些方法,它依赖于越来越宽松的广义单调性的概念,即混合的强-弱单调性的投影方法;伪单调性的自适应投影方法,和拟单调性的近点法。对这三种算法进行了测试,并对它们的解的质量、收敛性和计算效率进行了比较。我们的收敛结果,超越了这里研究的交通应用,适用于一个广泛的家庭的无限维的VI和DVI,是迄今为止最弱的报道。
2016-03-24 math.OC
On the convergence of the distributed proximal point algorithm
本文研究了分布式近端点算法在 Rd 上的收敛性与稳定性,给出了步长和代价函数的一般稳定条件,证明其以步长 η>0 指数收敛到最优解的 O(η) 邻域,并通过数值实验验证了理论结果。
2023-07-10 eess.SP math.OC
Anisotropic Proximal Gradient
本文提出一种基于双空间非线性预处理的非凸复合最小化各向异性近端梯度算法,证明了其在特定条件下的封闭性、渐近与线性收敛性,并在数值实验中展现出优于欧几里得方法的性能。
2024-12-22 math.OC
Spingarn's Method and Progressive Decoupling Beyond Elicitable Monotonicity
KU Leuven(鲁汶大学);IMT School for Advanced Studies Lucca(卢cca高等研究院(IMT))
本文提出progressive decoupling+算法,通过为链接子空间及其正交补引入独立松弛参数,证明了在非可导出单调设置下的收敛性,并基于与预处理邻近点算法的等价性提供了局部收敛分析。
2025-04-01 cs.LG math.OC
A projected semismooth Newton method for a class of nonconvex composite programs with strong prox-regularity
提出了一种求解一类非凸组合规划的牛顿型方法。特别地,非光滑部分可能是非凸的。为了解决非凸性,我们开发了一个概念,强的正则性,这是相关的单点属性,Lipschitz连续性,和单调性的相关的邻近算子,我们验证它在各种类型的功能,包括弱凸函数,指示函数的邻近光滑集,和两个特定的球相关的非凸非光滑函数。在这种情况下,我们所关心的问题类涵盖了流形上的光滑最优化问题和流形上的某些复合最优化问题。对于后者,所提出的算法是第一个二阶序型方法。结合邻近算子的半光滑性,设计了一种投影半光滑牛顿法,用于求解由邻近梯度法导出的自然残差的根。由于相应的自然残差可能不是全局单调的,一个额外的投影通常的半光滑牛顿步骤和新的标准之间的切换提出了投影半光滑牛顿步骤和邻近步骤。在强正则性下证明了算法的整体收敛。基于BD正则性条件,我们建立了局部超线性收敛.数值实验表明,我们所提出的方法相比,国家的最先进的有效性。
2023-03-09 math.OC
Linearly Convergent Variable Sample-Size Schemes for Stochastic Nash Games: Best-Response Schemes and Distributed Gradient-Response Schemes
本文研究了一个$N$ -局中人随机Nash对策,其中第一局中人$i$最小化一个复合目标$f_i(x) + r_i(x_i)$,其中$f_i$是期望值,$r_i$有一个有效的最优估计.在这方面,我们作出以下贡献。(i)在一个强单调性假设的级联梯度图,我们推导出({ \bf最优})率报表和Oracle的复杂性界限,建议可变样本量近端随机梯度响应(VS-PGR)计划;(ii)我们覆盖(VS-PGR)的共识阶段,以期发展分布式协议的聚合随机纳什博弈。值得注意的是,当样本量和共识步骤的数量在每次迭代增长在一个合适的速度,线性收敛速率可以实现;(iii)最后,根据一个合适的收缩属性与近端最佳响应(BR)地图,我们设计了一个可变的样本量近端BR(VS-PBR)计划,其中近端BR计算通过解决一个样本平均问题。如果计算样本平均值的批量大小以合适的速率提高,我们证明了所得到的迭代以线性速率收敛,并推导出预言机的复杂性。
2018-10-25 math.OC
Inducing strong convergence into the asymptotic behaviour of proximal splitting algorithms in Hilbert spaces
University of Vienna, Faculty of Mathematics(维也纳大学数学学院)
本文提出改进的Krasnosel'ski\uı--Mann算法,证明迭代序列强收敛于问题的最小范数解,并推导了带有Tikhonov正则化项的向前-向后和Douglas-Rachford算法,用于求解单调包含问题。
2017-11-18 cs.NA math.NA math.OC
A Stochastic Block-coordinate Proximal Newton Method for Nonconvex Composite Minimization
School of Mathematical Sciences, Jiangsu University(江苏大学数学科学学院);Center of Excellence for Generative AI, King Abdullah University of Science and Technology(阿卜杜拉国王科技大学生成式人工智能卓越中心)
本文提出一种随机块坐标近端牛顿方法,用于非凸复合最小化问题,通过强凸正则化二次子问题和回溯线搜索确保收敛性,并在不同条件下证明了超线性收敛率。
2026-03-24 math.OC
Directional asymptotics of Fejér monotone sequences
Fejér单调性的概念有助于统一许多迭代法的收敛性证明,如Krasnoselskiii-Mann迭代,邻近点方法,Douglas-Rachford分裂算法等。本文给出了Fejér单调序列强收敛连续性的方向渐近结果。我们还提供了一些例子来说明方向渐近聚类点的集合可以很大,并且在无限维空间中需要弱收敛。
2021-06-29 math.OC
On the Convergence of the Iterative Linear Exponential Quadratic Gaussian Algorithm to Stationary Points
风险敏感非线性控制的经典方法是迭代线性指数二次高斯算法。我们提出了它的收敛性分析,从一阶优化的观点。我们确定的目标,该算法实际上最小化,我们展示了如何增加一个近端项保证收敛到一个固定点。
2019-10-18 math.OC
Proximal methods for stationary Mean Field Games with local couplings
Universidad Técnica Federico Santa María(费德里科·圣玛丽亚技术大学);Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences(奥地利科学院约翰·拉顿计算与应用数学研究所);Institut de recherche XLIM-DMI, UMR-CNRS 7252 Faculté des sciences et techniques Université de Limoges(利摩日大学理学院XLIM-DMI研究中心)
本文研究了具有局部耦合的 stationary Mean Field Games 的数值近似,通过变分方法分析了有限差分离散化后的优化问题,并比较了多种 proximal 类型方法的性能。
2019-02-06 cs.NA math.NA math.OC
Plugging Weight-tying Nonnegative Neural Network into Proximal Splitting Method: Architecture for Guaranteeing Convergence to Optimal Point
提出一种权重共享非负神经网络架构,嵌入近端分裂方法,保证图像恢复PnP算法收敛到最优解,且去噪器无需Lipschitz约束,实验验证了训练效率和去模糊性能优势。
2025-10-24 math.OC
On the Bredies-Chenchene-Lorenz-Naldi algorithm
本文补充Bredies等人提出的算法框架分析,通过关联底层算子不动点集的投影,在线性关系下获得强收敛结果,并给出实例验证。
2025-04-23 math.FA math.OC
Proximal Algorithms for Smoothed Online Convex Optimization with Predictions
针对带预测的平滑在线凸优化问题,本文提出基于交替近端梯度下降的滚动时域算法,实现动态遗憾随前瞻窗口指数衰减,并优于梯度下降法。
2023-10-13 math.OC
An Adaptive Symplectic Proximal Point Algorithm: Faster Convergence and Improved Numerical Performance
Yunnan Normal University(云南师范大学);Yunnan Key Laboratory of Modern Analytical Mathematics and Applications(现代分析数学及其应用云南省重点实验室)
本文提出自适应辛近端点算法(ASPPA),证明其平方范数项收敛率达O(1/k^2),强单调情形下具指数收敛率,数值实验验证性能优异。
2026-10-05 math.OC
A Proximal Alternating Direction Method of Multiplier for Linearly Constrained Nonconvex Minimization
考虑多面体上非凸可微函数的极小化问题。一个流行的原始-对偶一阶方法是对增广拉格朗日函数进行梯度投影迭代,然后使用约束残差更新对偶乘子向量。然而,数值例子表明,这种方法可以表现出“振荡”,可能不会收敛。在本文中,我们提出了一个接近的交替方向法的乘法器的多块版本的这个问题。该方法的显著特征是引入了“平滑”(即,指数加权)原始迭代序列,并且在每次迭代时,将以当前平滑原始迭代为中心的二次邻近项包含到增广拉格朗日函数中。在每次迭代中,得到的近端增广拉格朗日函数被不精确地最小化(经由梯度投影步骤),而使用线性约束的残差来更新对偶乘子向量。当原始和对偶步长足够小时,我们证明了适当的“平滑”可以稳定“振荡”,并且新的近似ADMM算法的迭代在一些温和的正则性条件下收敛到一个稳定点。当目标函数为二次函数时,证明了算法的线性收敛性.我们的证明是基于一个新的势函数和一个新的使用误差界。
2020-08-04 math.OC
On the Exponential Stability of Projected Primal-Dual Dynamics on a Riemannian Manifold
凸优化、鞍点问题和变分不等式的等价性是一个很好的概念。变分不等式(VI)是在动态设置下使用称为投影动力系统的框架来研究的静态问题,其不动点与相关VI的静态解一致。VI具有关于向量值映射的单调性和解的唯一性的丰富性质,这些性质可以推广到凸优化和鞍点问题。此外,这些性质也扩展到典型的投影动力系统。本文的目的是利用代表性的投影动力系统的丰富的单调性,发展的凸优化问题和相关的鞍点问题的解决方案的概念。为此,本文研究了一个线性不等式约束的凸优化问题,并将其等价的鞍点问题建模为VI。此外,VI作为一个投影动力系统\cite{friesz1994day},这是收敛到鞍点解。以拉格朗日函数梯度的单调性为关键因素,建立了关于鞍点的指数收敛性和稳定性结果。结果表明,拉格朗日函数的梯度在欧几里得空间上是单调的,从而使得投影动力系统的稳定点仅为李雅普诺夫稳定.为了弥补这种情况,基本的投影动力系统制定的黎曼流形的黎曼度量选择,使得拉格朗日函数的梯度成为强单调。利用适当的李雅普诺夫函数,证明了投影动力系统的稳定点是全局指数稳定的,并且收敛到唯一的鞍点.
2019-05-11 math.DG math.OC
The proximal augmented Lagrangian method for nonsmooth composite optimization
Numerica Corporation(Numerica公司);University of Hong Kong(香港大学);University of Southern California(南加州大学)
本文研究了一类目标函数由可微但可能非凸部分和非可微凸正则化项之和构成的优化问题,提出了一种基于近端增广拉格朗日方法的算法,通过引入辅助变量和Moreau包络来实现连续可微,从而利用乘子法求解最优对偶变量,该方法在解决结构最优控制问题时具有更强的收敛性和更精细的步长更新规则。
2018-08-25 cs.SY eess.SY math.DS
On the computation of equilibria in monotone and potential stochastic hierarchical games
我们考虑一类分层非合作$N$ -局中人博弈,其中第$i$局中人求解一个带平衡约束的参数化随机数学规划(MPEC),并指出在给定对手决策的情况下,MPEC中第$i$局中人的隐式形式在局中人策略是凸的.我们在两个不同的制度:(a){ \em单调制度。}当局中人特定的隐式问题是凸的时,则平衡的充要条件由随机包含给出。在算子的单调性假设下,我们提出了一种方差减少的随机逼近点方案,该方案在单调/强单调制度下解决逼近点问题时达到了确定的收敛速度,并且该方案的特征在于最佳或接近最佳的样本复杂性保证。(b){ \em潜力。}当游戏的隐式形式承认一个势函数,我们开发了一个异步放松不精确平滑最近的最佳反应框架。我们考虑这个游戏的平滑对应,每个玩家的问题是通过随机平滑平滑。值得注意的是,在适当的假设下,我们证明了一个$η$ -平滑的游戏承认一个$η$ -近似纳什均衡的原始游戏。我们提出的方案产生的序列,几乎肯定收敛到一个$η$ -近似纳什均衡。平滑框架允许开发一个方差减少零阶计划,这样的问题,承认一个快速的收敛速率。对一类多领导者多跟随者对策的数值研究表明,方差减小的邻近方案提供了显着更好的精度和更低的运行时间。放松的最佳反应计划规模以及将问题的大小,一般表现出更大的稳定性比其非放松对应。
2022-02-22 math.OC
Fast generalized Nash equilibrium seeking under partial-decision information
我们解决的广义纳什均衡寻求问题的部分决策信息的情况下,每个代理只能与一些邻居交换信息,虽然其费用函数可能取决于所有代理的策略。现有的几种方法建立在投影伪梯度动力学的基础上,并且需要双层迭代或对步长的保守条件。为了克服这两个缺陷,提高效率,我们设计了第一个完全分布式的单层算法的基础上接近最佳反应。我们的计划是固定的步骤,并允许不精确的更新,这是至关重要的,以减少计算复杂性。在游戏原语的标准假设下,我们建立了收敛到变分均衡(线性速率的游戏没有耦合约束),通过重铸我们的算法作为近似点的方法,适时地预处理分配计算代理之间。由于我们的分析取决于一个受限制的单调性属性,我们还提供了新的一般结果,显着扩展域的适用性的邻近点方法。此外,算子理论的方法有利于可证明正确的加速方案,可以进一步提高收敛速度的实施。最后,我们的算法的潜力是数值证明,揭示了更快的收敛速度相对于投影伪梯度法和验证我们的理论研究结果。
2021-12-11 cs.GT cs.MA math.OC
Wasserstein Proximal Coordinate Gradient Algorithms
针对多分布上的复合测地凸优化问题,提出带三种更新方案的WPCG算法,证明其在不同条件下的收敛速率,数值结果验证了理论结论。
2024-09-17 math.OC math.ST stat.TH
Linear convergence of the generalized PPA and several splitting methods for the composite inclusion problem
对于包含两个极大单调算子的包含问题,在合成算子的度量次正则性下,得到了广义邻近点法和几种分裂算法的线性收敛,其中包括超松弛前后分裂算法、广义Douglas-Rachford分裂算法和Davis三算子分裂算法.据我们所知,这个线性收敛的条件是弱于现有的,几乎所有的要求强单调的合成算子。并给出了保证合成算子度量次正则的充分条件。最后,通过对一些小例子的初步数值分析,验证了理论分析的正确性.
2016-09-27 math.OC
The exponential turnpike phenomenon for mean field game systems: weakly monotone drifts and small interactions
针对平均场博弈与 McKean–Vlasov 控制系统,本文用压缩耦合方法在弱单调漂移和小交互条件下证明遍历问题适定性及最优状态、控制的指数快车道收敛。
2024-09-13 math.AP math.OC math.PR
A Catalyst Framework for the Quantum Linear System Problem via the Proximal Point Algorithm
本文提出一种基于近点算法的量子线性系统问题求解框架,通过可调参数和初始化控制运行时间与近似误差的平衡。
2025-11-25 cs.DS cs.LG math.OC
Accelerated Primal-Dual Proximal Gradient Splitting Methods for Convex-Concave Saddle-Point Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University(重庆师范大学应用数学中心);Chongqing Research Institute of Big Data, Peking University(北京大学重庆大数据研究院)
本文针对双线性鞍点问题,提出带自适应尺度参数与Bregman散度的加速原始-对偶邻近梯度分裂方法,结合速度校正保证稳定性,经理论证明收敛速率最优,数值结果验证了方法的实际性能。
2026-09-29 cs.NA math.NA math.OC
Distributed Variable Sample-Size Gradient-response and Best-response Schemes for Stochastic Nash Equilibrium Problems over Graphs
本文考虑了一个随机纳什对策,其中每个局中人最小化一个期望值复合目标。我们做出以下贡献。(I)在级联梯度映射上适当的单调性假设下,当样本量以几何速率增加时,我们得到了所提出的变样本量邻近随机梯度响应(VS-PGR)方案的最优速率声明和预言复杂度界.如果样本量以次数$v > 0$的多项式速率增加,则均方误差以相应的多项式速率衰减,而获得$ε$ -NE的迭代和oracle复杂性分别为$\mathcal{O}(1/ε^{1/v})$和$\mathcal{O}(1/ε^{1+1/v})$。(II)然后,我们覆盖(VS-PGR)的共识阶段,以期发展分布式协议的聚合随机纳什博弈。在所得到的方案中,当样本量和一致性步骤以几何和线性速率增长时,计算$ε$需要与具有$\mathcal{O}(\ln^2(1/ε))$的通信复杂度的(VS-PGR)类似的迭代和oracle复杂度;(III)在与邻近最佳反应(BR)图相关联的适当收缩性质下,我们设计了可变样本量邻近BR(VS-PBR)方案,其中每个参与者解决样本平均BR问题。类似于(I),我们也给出了速率语句、预言机和迭代复杂度的界. (IV)类似于(II),当每次迭代的通信轮数以线性速率增加时,分布式变体实现了与集中式(VS-PBR)类似的迭代和预言复杂度,其中通信复杂度为$\mathcal{O}(\ln^2(1/ε))$。最后,我们提出了一些初步的数字,…
2020-05-22 math.OC
Monotonicity, Uniqueness and Frank--Wolfe Dynamics in Atomic Splittable Congestion Games
University of Passau(帕绍大学)
研究原子可拆分拥堵博弈的单调性与稳定性,通过曲率不等式刻画相关变分不等式算子单调的成本类,揭示其与学习动力学联系,表明特定条件下该曲率条件刻画稳定性,还研究了单纯形上博弈的局部指数稳定性。
2026-10-08 cs.GT math.OC
A proximal subgradient method for nonconvex stochastic optimization under the Kurdyka-Łojasiewicz condition
Centro de Modelamiento Matemático(数学建模中心);Universidad de Chile(智利大学);Department of Mathematics, University of Alicante(阿利坎特大学数学系)
本研究提出满足Kurdyka-Łojasiewicz条件的邻近随机次梯度方法,可处理更通用非凸随机优化问题,保证轨迹收敛性并导出多项式收敛速率。
2026-08-10 cs.LG math.OC
Optimization of Bregman Variational Learning Dynamics
Gwinnett Technical College(格威内特技术学院);Kumoh National Institute of Technology(庆北国立工业大学);Ohio State University(俄亥俄州立大学);Prairie View A&M University(普雷里维尤农工大学);Center for Army Analysis and Simulation, Republic of Korea Army(韩国陆军军队分析与模拟中心);Seoul National University(首尔国立大学)
本文提出Bregman变分学习动力学(BVLD)的优化框架,统一贝叶斯推断、镜像下降与近端学习,证明其算子平均、压缩且指数稳定,并建立Fejer单调性与连续时间等价性,为非平稳优化提供理论基础。
2025-10-23 math.OC
A Proximal Modified Quasi-Newton Method for Nonsmooth Regularized Optimization
GERAD and Department of Mathematics and Industrial Engineering, Polytechnique Montréal(GERAD和数学与工业工程系,蒙特利尔理工学院)
本文提出了一种改进的拟牛顿方法R2N,用于非光滑正则化优化,具有全局收敛性和高效求解能力。
2025-11-27 cs.LG math.OC
Lyapunov Analysis For Monotonically Forward-Backward Accelerated Algorithms
本文通过Lyapunov分析证明单调加速算法M-NAG和M-FISTA在强凸条件下线性收敛,无需完整NAG迭代,深化了理论理解。
2025-08-05 cs.NA math.NA math.OC
Convergence of flow-based generative models via proximal gradient descent in Wasserstein space
Department of Mathematics, Duke University(杜克大学数学系);Department of Physics and Department of Chemistry, Duke University(杜克大学物理系和化学系);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院H. Milton Stewart工业与系统工程学院)
本文提出 JKO flow 模型,通过在归一化流中实现 JKO 方案,并利用 Wasserstein 空间近端梯度下降的指数收敛性,证明了其生成数据分布的 KL 误差收敛保证。
2024-07-03 cs.LG math.OC math.ST
Optimal Dividend Control with Transaction Costs under Exponential Parisian Ruin for a Refracted Levy Risk Model
Nanjing University of Science and Technology(南京理工大学);Tianjin University of Technology(天津工业大学)
本文研究了在折射莱维风险模型下,考虑交易成本的最优红利控制问题,通过巴黎指数延迟和下限破产障碍确定破产时间,并利用HJB不等式验证最优策略的最优性。
2026-01-28 math.OC math.PR