Solving Non-Convex Non-Differentiable Min-Max Games using Proximal Gradient Method
University of Southern California(南加利福尼亚大学)
极小极大鞍点对策在机器学习和信号处理中有着广泛的应用。尽管它们具有广泛的适用性,但理论研究大多局限于特殊的凹凸结构。虽然最近的一些工作将这些结果推广到特殊的光滑非凸的情况下,我们的理解非光滑的情况下仍然是有限的。本文研究了当目标函数关于局中人的决策变量之一是(强)凸时的非光滑极大极小对策的特殊形式。我们证明了一个简单的多步近似梯度下降-上升算法收敛到$ε$ -一阶纳什均衡的最小-最大游戏的梯度评价是多项式的数量在$1/ε$。我们还将表明,我们的平稳性的概念是强于现有的文献中。最后,我们评估所提出的算法的性能,通过对抗攻击的LASSO估计。
2020-03-18 cs.GT cs.LG math.OC
Distributed generalized Nash equilibria computation of monotone games via a preconditioned proximal point algorithm
本文研究了具有仿射耦合约束的单调对策的分布式广义纳什均衡(GNE)计算。每个局中人只能利用其局部目标函数、局部可行集和耦合约束的局部块,并且只能与其邻居进行通信。我们假设博弈具有单调伪次微分,没有Lipschitz连续性限制。我们分别针对等式和不等式仿射耦合约束设计了新的无中心分布式GNE搜索算法。对于等式情形,提出了一种近似乘子交替方向法;对于不等式情形,提出了一种并行分裂型算法。在这两种算法中,GNE寻求任务被分解为一个有序的NE计算的正则化子博弈和分布式更新的乘数和辅助变量,基于本地数据和本地通信。我们的两个双层GNE算法不需要指定内循环NE搜索算法,而且,只要求强单调子对策不精确求解。我们证明了它们的收敛性,表明这两个算法可以被看作是特定的情况下,预处理邻近点法}(PPPA)寻找零的单调算子。最后给出了应用实例和数值模拟。
2017-09-30 math.OC
Proximal Gradient Descent Ascent Methods for Nonsmooth Nonconvex-Concave Minimax Problems on Riemannian Manifolds
School of Mathematics, Sun Yat-sen University(中山大学数学学院);School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University(中山大学计算机科学与工程学院)
本文提出两种黎曼流形上的近端梯度下降上升算法,解决非光滑非凸-非凹极小极大问题,证明其能在O(ε⁻³)或O(ε⁻⁴)次迭代内找到ε-游戏 stationary 点和优化 stationary 点。
2026-03-21 math.OC
Proximal-like algorithms for equilibrium seeking in mixed-integer Nash equilibrium problems
我们考虑潜在的游戏与混合整数变量,我们提出了两个分布式的,近似的均衡寻求算法。具体来说,我们专注于两种情况:i)底层游戏是广义序数和代理更新通过迭代选择一个确切的最优策略; ii)游戏承认一个确切的潜力和代理采用近似的最优响应。通过利用整数兼容的正则化函数作为惩罚项的属性,我们表明,这两种算法收敛到一个精确的或$ε$ -近似平衡。我们证实了我们的研究结果的古诺寡头垄断模型的数值实例。
2022-10-27 cs.GT cs.MA cs.SY
A smoothing proximal gradient algorithm for matrix rank minimization problem
针对损失凸非光滑、惩罚项为基数函数的低秩矩阵最小化问题,提出精确连续松弛方法与光滑近似梯度(SPG)算法,证明算法收敛于松弛问题的提升平稳点,数值实验验证了算法效率。
2021-03-17 math.OC
Towards time-varying proximal dynamics in Multi-Agent Network Games
University of Groningen(格罗宁根大学);TU Delft(代尔夫特理工大学)
本文研究了多智能体网络博弈中时间变化的近端动力学,通过算子理论分析了固定通信网络下的收敛性,并考虑了具有驻留时间的时变邻接矩阵情况,通过分布式机器人探索示例进行了验证。
2018-11-11 cs.GT cs.SY eess.SY
Linearly Convergent Variable Sample-Size Schemes for Stochastic Nash Games: Best-Response Schemes and Distributed Gradient-Response Schemes
本文研究了一个$N$ -局中人随机Nash对策,其中第一局中人$i$最小化一个复合目标$f_i(x) + r_i(x_i)$,其中$f_i$是期望值,$r_i$有一个有效的最优估计.在这方面,我们作出以下贡献。(i)在一个强单调性假设的级联梯度图,我们推导出({ \bf最优})率报表和Oracle的复杂性界限,建议可变样本量近端随机梯度响应(VS-PGR)计划;(ii)我们覆盖(VS-PGR)的共识阶段,以期发展分布式协议的聚合随机纳什博弈。值得注意的是,当样本量和共识步骤的数量在每次迭代增长在一个合适的速度,线性收敛速率可以实现;(iii)最后,根据一个合适的收缩属性与近端最佳响应(BR)地图,我们设计了一个可变的样本量近端BR(VS-PBR)计划,其中近端BR计算通过解决一个样本平均问题。如果计算样本平均值的批量大小以合适的速率提高,我们证明了所得到的迭代以线性速率收敛,并推导出预言机的复杂性。
2018-10-25 math.OC
An accelerated inexact proximal point method for solving nonconvex-concave min-max problems
本文提出了光滑计划获得近似的无约束或线性约束的复合非凸-凹最小-最大(因此非光滑)问题的稳定点,通过应用著名的算法,以复合光滑近似的原始问题。更具体地说,在不受约束的(resp。约束)的情况下,原问题的近似稳定点,通过应用,其复合光滑近似,加速不精确的邻近点(分别)。二次罚分)的方法在以前的文件中提出的作者。迭代的复杂性界限,这两个平滑计划也成立。最后,数值结果证明了无约束光顺格式的有效性。
2021-06-17 math.OC
Iteration Bounds for Finding the $ε$-Stationary Points for Structured Nonconvex Optimization
在本文中,我们研究了近端条件梯度(CG)和近端梯度投影型算法的块结构约束非凸优化模型,这是自然产生的张量数据分析。首先,我们引入了一个新的概念,$ε$ -平稳性,这是适用于所考虑的结构化问题。%,与其他类似的解决方案概念相比。然后,我们提出了两种类型的一阶算法的模型的基础上的邻近条件梯度(CG)方法和邻近梯度投影法分别。如果非凸目标函数是数学期望的形式,我们讨论了如何加入随机抽样以避免精确计算期望。对于一般块优化模型,根据块坐标下降(BCD)或最大块改进(MBI)更新规则对每个块执行邻近子程序。如果目标$f$的非凸部分的梯度满足$\| \nabla f(x) - \nabla f(y)\|_q \le M \|x-y\|_p^δ$,其中$δ=p/q$与$1/p+1/q=1$,那么我们证明了新算法在寻找$ε$ -平稳解时具有$O(1/ε^q)$的总迭代复杂度界.如果$f$是凹的,则迭代复杂度降低到$O(1/ε)$。张量逼近问题的数值实验表明,新的解决方案的算法有前途的性能。
2014-10-15 math.OC
On the computation of equilibria in monotone and potential stochastic hierarchical games
我们考虑一类分层非合作$N$ -局中人博弈,其中第$i$局中人求解一个带平衡约束的参数化随机数学规划(MPEC),并指出在给定对手决策的情况下,MPEC中第$i$局中人的隐式形式在局中人策略是凸的.我们在两个不同的制度:(a){ \em单调制度。}当局中人特定的隐式问题是凸的时,则平衡的充要条件由随机包含给出。在算子的单调性假设下,我们提出了一种方差减少的随机逼近点方案,该方案在单调/强单调制度下解决逼近点问题时达到了确定的收敛速度,并且该方案的特征在于最佳或接近最佳的样本复杂性保证。(b){ \em潜力。}当游戏的隐式形式承认一个势函数,我们开发了一个异步放松不精确平滑最近的最佳反应框架。我们考虑这个游戏的平滑对应,每个玩家的问题是通过随机平滑平滑。值得注意的是,在适当的假设下,我们证明了一个$η$ -平滑的游戏承认一个$η$ -近似纳什均衡的原始游戏。我们提出的方案产生的序列,几乎肯定收敛到一个$η$ -近似纳什均衡。平滑框架允许开发一个方差减少零阶计划,这样的问题,承认一个快速的收敛速率。对一类多领导者多跟随者对策的数值研究表明,方差减小的邻近方案提供了显着更好的精度和更低的运行时间。放松的最佳反应计划规模以及将问题的大小,一般表现出更大的稳定性比其非放松对应。
2022-02-22 math.OC
A Fast Proximal Gradient Method and Convergence Analysis for Dynamic Mean Field Planning
在本文中,我们提出了一个有效的和灵活的算法来解决动态平均场规划问题的基础上加速最近梯度法。该算法除了简单易行的梯度下降步骤外,关键的投影步骤是求解一个椭圆型方程,而该方程的解可以用常规方法有效地求得。通过对算法迭代过程的归纳,我们从理论上证明了随着网格尺寸的增加,离散解收敛到连续解。此外,我们将我们的算法推广到平均场博弈问题,并使用多级和多重网格策略加速它。我们进行了全面的数值实验,以确认所提出的算法的收敛性分析,通过与最先进的方法进行比较,显示其效率和质量保持属性,并说明其处理各种平均场变分问题的灵活性。
2021-02-26 cs.NA math.NA math.OC
Asynchronous Schemes for Stochastic and Misspecified Potential Games and Nonconvex Optimization
分布式计算的均衡和最优已经看到越来越多的兴趣在广泛收集的网络问题。本文研究了由可能非凸的势函数刻画的凸随机Nash对策的平衡点的计算。我们的重点是两类随机纳什博弈:(P1):一个潜在的随机纳什博弈,其中每个玩家解决一个参数化的随机凸规划;和(P2):一个错误指定的推广,其中玩家特定的随机规划是复杂的参数错误指定。在这两种情况下,精确的近端BR解决方案通常是不可用的有限时间,因为它们需要解决参数化的随机程序。因此,我们设计了两个异步的不精确的邻近BR计划来解决问题,在每次迭代中,一个单一的球员被随机选择计算一个不精确的邻近BR解决方案与竞争对手的可能过时的信息。然而,在错误指定的制度(P2),每个球员拥有一个额外的估计错误指定的参数,并更新其估计的投影随机梯度(SG)算法。由于任何固定点的势函数是一个纳什均衡的相关游戏,我们相信本文是第一个随机非凸(但块凸)最优化问题配备了几乎必然收敛的保证。这些陈述可以扩展到允许容纳加权势博弈和广义势博弈。最后,我们提出了初步的数值应用所提出的方案的基础上,拥塞控制和纳什古诺游戏。
2019-08-02 math.OC
A splitting proximal point method for Nash-Cournot equilibrium models involving nonconvex cost functions
与凸情形不同,非凸Nash-Cournot寡头均衡问题的局部平衡点不一定是全局平衡点。找到这样一个局部的平衡点甚至是这个问题的一个稳定点并不是一件容易的事。本文讨论了具有非凸费用函数的Nash-Cournot均衡模型的一种数值方法。我们发展了一个局部方法来计算这类问题的一个稳定点。证明了算法的收敛性,并在一定的假设下估计了算法的复杂度。数值例子来说明所提出的算法的收敛行为。
2011-05-13 math.OC
The Smoothing Proximal Gradient Algorithm with Extrapolation for the Relaxation of $l_0$ Regularization Problem
本文考虑了Bian和Chen(SIAM J. Numer. Anal 58(1):858-883,2020),并针对这类问题提出了具有外推的平滑近端梯度算法(SPGE)。我们表明,由SPGE算法产生的序列的任何聚点是一个相当普遍的选择外推参数的松弛模型的提升平稳点。此外,它表明,由SPGE算法产生的整个序列收敛到一个提升的松弛模型的平稳点。建立了$o(\frac{1}{k^{1-σ}})(σ\in(0,1))$相对于平方近端残差的收敛速度。最后,我们进行了三个重要的数值实验,以说明更快的效率的SPGE算法相比,由卞和陈(SIAM J. Numer. Anal 58(1):858-883,2020)。
2021-12-02 math.OC
Bregman Proximal Method for Efficient Communications under Similarity
本文提出一种基于Bregman近端映射的随机分布式方法,利用相似性在任意问题几何下求解单调及强单调变分不等式,达到最优通信复杂度并填补了现有研究空白。
2024-10-04 math.OC
Spurious Stationarity and Hardness Results for Bregman Proximal-Type Algorithms
Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong(香港中文大学系统工程与工程管理系);Sauder School of Business, University of British Columbia(不列颠哥伦比亚大学萨德勒商学院)
本文揭示了Bregman近端类型算法(如镜像下降)在非欧几何下可能陷入伪平稳点,即使对于凸问题,若Bregman核的梯度非Lipschitz连续,停滞可无限持续,并指出该现象在非凸多面体约束问题中普遍存在,挑战了现有收敛性理论。
2026-05-25 cs.LG math.OC stat.ML
A proximal-proximal majorization-minimization algorithm for nonconvex tuning-free robust regression problems
Zhejiang University City College(浙大城市学院);Southwest Jiaotong University(西南交通大学);Zhejiang University(浙江大学)
针对非凸无调谐鲁棒回归问题,提出了一种近似-近似优化-最小化(PPMM)算法。其基本思想是应用邻近优化-最小化算法求解非凸问题,内子问题采用基于稀疏半光滑牛顿法的邻近点法求解。必须强调的是,算法设计的主要困难在于如何克服内子问题的奇异性困难。此外,我们还证明了PPMM算法收敛到一个d-平稳点。由于该问题的Kurdyka-Lojasiewicz(KL)性质,我们给出了PPMM算法的收敛速度。数值实验表明,我们提出的算法优于现有的国家的最先进的算法。
2021-06-25 cs.LG cs.NA math.NA
Bregman Proximal Gradient Algorithm with Extrapolation for a class of Nonconvex Nonsmooth Minimization Problems
在本文中,我们考虑一个加速方法解决非凸和非光滑极小化问题。我们提出了一个Bregman邻近梯度算法与外推(BPGe)。该算法扩展并加速了Bregman近似梯度算法(BPG),它绕过了近似梯度算法(PG)所需的限制性全局Lipschitz梯度连续性假设。BPGe算法比最近提出的带外推的邻近梯度算法(PGe)具有更高的通用性,并且由于外推步骤的存在,BPGe比BPG算法收敛更快。通过对收敛性的分析,证明了在适当选取参数的情况下,BPGe产生的序列的任何极限点都是问题的平稳点。此外,在Kurdyka-{K}ojasiewicz性质的假设下,证明了BPGe生成的序列整体收敛于一个平稳点.最后,为了说明新方法BPGe的潜力,我们将其应用于两个重要的实际问题,出现在许多基本的应用(不满足全局Lipschitz梯度连续性假设):泊松线性逆问题和二次逆问题。在测试中,加速的BPGe算法显示出更快的收敛结果,给出了一个有趣的新算法。
2019-04-25 math.OC
Essential Stationary Equilibria of Mean Field Games with Finite State and Action Space
平均场游戏允许描述一个连续的球员,明确的相互作用和异构状态的动态游戏的易处理的模型。因此,这些模型对于社会经济应用具有极大的意义。这些模型中的一个特殊类别是具有有限状态和动作空间的博弈,最近在Neumann(2020 a)中已经获得了所有静态平衡的半显式表示。在本文中,我们研究这些平稳平衡是否对模型扰动是稳定的。我们证明了只有本质平衡点的所有对策的集合是剩余的,并得到了本质平稳平衡点的两个刻画结果。
2020-10-19 math.OC
Proximal Gradient Method for Nonsmooth Optimization over the Stiefel Manifold
考虑Stiefel流形上的最优化问题,其目标函数是一个光滑函数与一个非光滑函数之和.现有的解决这类问题的方法可以分为三类。第一类算法依赖于目标函数的次梯度信息,因此在实践中往往收敛缓慢。第二类中的算法是邻近点法,其涉及的子问题可能与原始问题一样困难。第三类算法基于算子分裂技术,但它们通常缺乏严格的收敛保证。在本文中,我们提出了一个基于收缩的近似梯度法来解决这类问题。我们证明了所提出的方法全局收敛到一个平稳点。迭代复杂性获得$ε$ -平稳的解决方案进行了分析。求解稀疏PCA和压缩模式问题的数值结果表明,所提出的方法的优点。
2019-05-10 math.OC stat.ML
Perturbation techniques for convergence analysis of proximal gradient method and other first-order algorithms via variational analysis
我们发展了新的扰动技术进行收敛性分析的各种一阶算法的一类非光滑最优化问题。研究了构造扰动驻点集值映射算法的迭代格式,并利用两个连续迭代的差定义了扰动参数。然后,我们证明了诱导集值映射的镇定条件和局部形式的适当分离平稳值条件是保证算法线性收敛的充分条件.证明了这一镇定条件与正则扰动驻点集值映射的镇定条件的等价性,并利用变分分析中的一些最新进展导出了镇定的充分条件.这些充分条件不同于已有的结果(特别是基于误差界的结果),因为它们可以很容易地在许多具体的应用模型中得到验证。我们的分析是集中在基本的近端梯度(PG)方法,它使我们能够表明,任何积累的PG方法产生的序列必须是一个固定点的近端次微分,而不是限制次微分。该结果发现了令人惊讶的事实,即通过PG方法发现的溶液质量通常是优越的。我们的分析也导致PG方法的线性收敛结果在凸情况下的一些改进。新的扰动技术可以方便地用于推导线性收敛率的其他一些一阶方法,包括著名的交替方向法的乘子和原始-对偶混合梯度法,在温和的假设。
2018-10-23 math.OC
Nash equilibrium seeking under partial decision information: Monotonicity, smoothness and proximal-point algorithms
我们解决纳什均衡问题的部分决策信息的情况下,每个代理只能与一些邻居交换信息,而其费用函数可能取决于所有代理的策略。我们刻画了文献中假设的几个单调性和光滑性条件之间的关系。此外,我们证明了一个预处理的邻近点法的收敛性,在限制单调性属性,允许非Lipschitz,非连续对策映射。
2022-06-23 cs.GT cs.MA math.OC
Bregman proximal gradient method for linear optimization under entropic constraints
Univ. Rennes, CNRS, Inria, IRISA UMR 6074(雷恩大学、法国国家科学研究中心、Inria、IRISA);Universidad Técnica Federico Santa María Departamento de Matemática(费德里科·圣玛丽亚技术大学数学系)
本文提出一种高效算法解决带有熵约束的线性优化问题,通过Bregman近端梯度法分析活跃与非活跃约束,建立O(1/n)收敛率,理论支持Blahut-Arimoto算法并证明熵约束的Lagrange乘子唯一性。
2026-04-28 math.OC
Proximal bundle methods for hybrid weakly convex composite optimization problems
University of Rochester(罗切斯特大学);Georgia Institute of Technology(佐治亚理工学院)
本文通过统一的近邻束框架研究了混合弱凸复合优化问题的迭代复杂度,提出易于验证的站稳性度量替代传统难以检查的站稳条件。
2026-10-19 math.OC
Stationary Markov Perfect Equilibria in Discounted Stochastic Games
在称为“(可分解的)粗转移核”的一般条件下,证明了随机对策中平稳马尔可夫完美均衡的存在性.这一结果涵盖了相关平衡,噪声随机对策,随机对策有限行动和状态独立的过渡,和随机对策的混合物作为特殊情况下的各种早期存在的结果。通过建立随机对策与对应的条件期望之间的新联系,提供了一个非常简单的证明。作为说明性的例子,随机对策的新应用,包括随机对策与内生冲击和随机动态寡头模型。
2017-01-21 math.OC q-fin.GN
Convergence Rate Analysis of Proximal Iteratively Reweighted $\ell_1$ Methods for $\ell_p$ Regularization Problems
研究了求解$\ell_p$正则化问题的近似迭代重加权$\ell_1$算法的局部收敛速度,该算法广泛应用于稀疏解的诱导.证明了当满足Kurdyka-Lojasiewicz(KL)性质时,算法收敛到唯一的一阶稳定点,并且算法具有局部线性收敛或局部次线性收敛.我们得到的理论结果比迭代重加权$\ell_1$算法的现有结果强得多。
2021-01-11 math.OC
A Stay-in-a-Set Game without a Stationary Equilibrium
我们给出了一个有限状态两人回合制随机对策的例子,其中双方都有安全目标,没有固定的纳什均衡。这回答了Secchi和Sudderth的一个悬而未决的问题。
2019-09-17 cs.GT math.OC
An optimal first-order method for smooth and strongly convex composite optimization and its stationary limit
Inria, D.I. ENS, CNRS, PSL Research University(法国国家信息与自动化研究所,高等师范学院信息系,法国国家科学研究中心,巴黎文理研究大学);CMAP, École Polytechnique, Institut Polytechnique de Paris(综合理工学院数学与计算机应用中心,巴黎理工学院)
提出Prox-ITEM,一种用于最小化光滑强凸函数f与凸下半连续函数g之和的最优近端梯度方法,证明其距离收敛率达到极小极大最优,并给出其平稳极限Prox-TMM。
2026-08-25 math.OC
Stationary Mean Field Games systems defined on networks
我们考虑一个定义在网络上的平稳平均场博弈系统。在这个框架中,顶点处的过渡条件起着至关重要的作用:这里考虑的条件是基于对问题的最优控制解释。我们分别证明了构成系统的两个方程的适定性。最后,我们证明了平均场对策系统解的存在唯一性。
2015-05-19 math.AP math.OC
Proximal Quasi-Newton Method for Composite Optimization over the Stiefel Manifold
针对Stiefel流形上的复合优化问题,提出名为ManPQN的黎曼近端拟牛顿法,证明其全局与局部线性收敛性并分析迭代复杂度,数值实验验证该方法可加速近端梯度法。
2025-01-16 math.OC
On approximate and weak correlated equilibria in constrained discounted stochastic games
本文研究了具有可数生成状态空间和具有密度函数的范数连续转移概率的约束折扣随机对策。我们证明了近似平稳平衡点和平稳弱相关平衡点的存在性。我们的结果暗示了$ARAT$随机对策中稳态纳什均衡的存在性。
2022-10-20 math.OC
A Randomized Nonmonotone Block Proximal Gradient Method for a Class of Structured Nonlinear Programming
Simon Fraser University(西蒙弗雷泽大学);Microsoft Research(微软研究院)
我们提出了一个随机非单调块邻近梯度(RNBPG)方法,用于最小化光滑(可能非凸)函数和块可分(可能非凸非光滑)函数之和。在每次迭代中,该方法根据任何规定的概率分布随机选取一个块,并通常解决几个相关的邻近子问题,通常具有封闭形式的解决方案,直到目标值取得一定的进展。与通常的随机块坐标下降法[23,20]相比,我们的方法具有非单调的味道,并使用可变步长,可以部分利用目标函数的光滑分量的局部曲率信息。我们证明了该方法解序列的任何聚点都是问题的一个稳定点{ \it almost surely},并且该方法能够以很高的概率找到一个近似的稳定点.我们还建立了一个次线性的收敛速率的方法在最小期望平方范数的某些邻近梯度的迭代。当所考虑的问题是凸的,我们证明了RNBPG产生的期望目标值收敛到问题的最优值。在一些假设下,我们进一步建立了一个次线性和线性收敛速率的期望目标值产生的单调版本的RNBPG。最后,我们进行了一些初步的实验,以测试性能的RNBPG上的$\ell_1$正则化最小二乘问题和机器学习中的对偶SVM问题。计算结果表明,我们的方法大大优于随机块坐标{ \it下降}方法与固定或可变步长。
2015-03-21 cs.LG cs.NA math.NA
Proximal Quasi-Newton Methods for Multiobjective Optimization Problems
针对无约束多目标最优化问题(简称UMOP),提出了几种新的近似拟牛顿法,其中每个目标函数是一个二次连续可微强凸函数和一个适当的下连续凸但不一定是可微函数之和.我们提出了近似BFGS方法,近似自缩放BFGS方法,和近似黄BFGS方法(UMOP)与线搜索和没有线搜索的情况下。在温和的假设下,我们证明了由这些算法产生的序列的每个聚点,如果存在的话,是(UMOP)的Pareto平稳点。此外,我们还介绍了它们在约束多目标最优化问题和鲁棒多目标最优化问题中的应用。特别地,对于鲁棒多目标最优化问题,我们证明了近似拟牛顿算法的子问题可以看作是带二次不等式约束的二次极小化问题。数值实验也验证了所提出的近似拟牛顿法的有效性。
2022-04-07 math.OC
Binary Mean Field Stochastic Games: Stationary Equilibria and Comparative Statics
本文考虑了多智能体马尔可夫决策过程(MDP)框架下的平均场博弈。每个参与者都有一个连续的状态和二元的行动,并从整体人口状况的改善中受益。在正外部性条件下,基于无限水平的个体成本折现,证明了一个平稳均衡的存在性,并证明了它的唯一性。我们进一步分析了静态均衡的比较静态定量确定的努力成本的影响。
2021-01-01 math.OC
On quasi-stationary Mean Field Games of Controls
在控制的平均场博弈中,单个主体的动态不仅受到主体分布的影响,如经典理论中那样,而且还受到其最优策略的分布的影响。在本文中,我们研究了拟平稳平均场控制博弈,它不同于标准情况下的策略选择机制的代理:它不能预测人口的演变,但选择其策略的基础上,在给定的时刻,没有预期的信息。我们证明了相应的拟平稳平均场博弈系统的解的存在性和唯一性在不同的假设下,我们提供了一些属于这些假设的模型的例子。
2023-01-31 math.AP math.OC
Inertial Bregman Proximal Gradient Algorithm For Nonconvex Problem with Smooth Adaptable Property
本文研究了两个非凸函数之和的极小化问题:一个是可微的且满足光滑适应性。光滑适应性,也称为相对光滑条件,比全局梯度Lipschitz连续性弱。我们分析了一个惯性版本的Bregman邻近梯度(BPG)算法,并证明其平稳收敛。此外,我们还证明了惯性算法的次线性收敛性。此外,如果目标函数满足Kurdyka-Schojasiewicz(KL)性质,还可以保证其整体收敛到目标函数的临界点.
2019-04-09 math.OC
A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems
Zhejiang University City College(浙大城市学院);Southwest Jiaotong University(西南交通大学);The Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学)
本文考虑高维非凸平方根损失回归问题,并提出了一种近似优化最小化算法。我们的关键思想,使建议的PMM是有效的是开发一个稀疏半光滑牛顿方法来解决相应的子问题。利用下划线问题中的Kurdyka-Schojasiewicz性质,证明了PMM算法收敛于d-平稳点.我们还分析了算法中初始子问题的预言性质。大量的数值实验证明了所提出的PMM算法的高效率。
2020-05-27 cs.LG cs.NA math.NA
A note on first order quasi-stationary Mean Field Games
本文研究一阶拟平稳 Mean Field Games 系统,基于弱 KAM 理论对 Hamiltonian 和耦合成本引入假设,确保 Peierls 势垒和 Aubry 集随时间的连续性,并覆盖了受扰动的力学 Hamiltonian 等情形。
2024-09-27 math.OC
Comparing the best reply strategy and mean field games: the stationary case
平均场博弈(MFG)和最佳应答策略(BRS)是描述交互主体系统竞争优化的两种方法。后者可以被解释为相应MFG系统的近似。本文对稳态情况下的两种方法进行了系统的分析和比较。我们提供了新的存在性和唯一性结果的固定边值问题有关的MFG和BRS配方,我们提出了一个分析和数值比较的两种范式在各种建模的情况。
2019-11-11 math.AP math.OC
On the existence of solutions for stationary mean-field games with congestion
平均场博弈(Mean-field games,MFG)是一种由大量理性主体组成的模型,这些理性主体试图优化一个目标函数,该目标函数考虑了它们的位置和剩余主体的分布。在这里,我们考虑平稳的MFG与拥塞,并证明了稳定的解决方案的存在性。由于在拥挤的地区移动是困难的,代理更喜欢在非拥挤的地区移动。结果,模型在零密度附近变得奇异。由于一个非常特殊的身份,稳定的解决方案的存在性先前获得的MFG与二次哈密顿。在这里,我们开发强大的估计,给出了一般次二次哈密顿的解决方案的存在。
2016-11-24 math.AP math.OC
Stationary Mean-Field Games of Singular Control under Knightian Uncertainty
Bielefeld University(比勒费尔德大学)
研究奈特不确定性下奇异控制的平稳平均场博弈,主体通过单边奇异随机控制调整动力学以最大化奖励,利用构造性方法证明平稳平均场均衡的存在唯一性,并给出数值基准及分析不确定性对均衡的影响。
2026-07-08 math.OC
A Safeguarded Accelerated Proximal ADMM Algorithm for Solving Structured Cardinality Penalized Optimization Problems
School of Mathematics, Harbin Institute of Technology(哈尔滨工业大学数学学院)
本文针对结构化基数惩罚优化问题,提出带保障加速近端ADMM算法,证明其收敛性并建立收敛速率,经信号与图像去噪实验验证了有效性。
2026-10-14 math.OC
Efficient Regularized Proximal Quasi-Newton Methods for Large-Scale Nonconvex Composite Optimization Problems
具有复合函数的最优化问题由一个目标函数组成,该目标函数是一个光滑项和一个(凸)非光滑项之和。这种特殊的结构是利用类的近端梯度法和他们的一些推广,如近端牛顿和拟牛顿法。在本文中,我们提出了一个正则化的近似拟牛顿法,其主要特点是:(a)该方法全局收敛到稳定点,(b)全局化由正则化参数控制,不需要线搜索,(c)该方法可以基于简单的观察而非常有效地实现,该观察结合了最近用于计算准牛顿邻近算子和有限记忆拟牛顿更新的紧致表示。对凸和非凸组合最优化问题的数值算例表明,该方法优于现有的几种方法。
2022-10-14 math.OC
A proximal DC approach for quadratic assignment problem
本文证明了二次指派问题(QAP)可以转化为等价的秩约束双非负(DNN)问题。在凸函数差分(DC)方法的框架下,提出了一种求解秩约束DNN松弛问题的半邻近DC算法(DCA),该算法的子问题可以用半邻近增广拉格朗日方法(sPALM)求解.我们证明了生成的序列收敛到相应的DC问题的一个稳定点,这是可行的秩约束DNN问题。数值实验表明,对于大多数QAP问题,该算法能够有效地找到全局最优解,而对于其他问题,该算法能够在合理的时间内找到良好的可行解.
2019-08-13 math.OC
Error bound conditions and convergence of optimization methods on smooth and proximally smooth manifolds
对于非凸约束最优化问题$\min_{x \in S} f(x)$,在光滑集$S = \{x \in R^n : g(x) = 0 \}, \; g : R^n \rightarrow R^m$和光滑函数$f$的情况下,分析了梯度投影算法收敛到稳定点的收敛性.我们提出了新的误差界(EB)条件的梯度投影法,导致收敛域的牛顿法。我们证明,这些EB条件是典型的一类最优化问题。通过切换到牛顿法,可以达到算法的高收敛速度。
2019-12-10 math.OC
General Proximal Quasi-Newton Methods based on model functions for nonsmooth nonconvex problems
本文提出一种由连续矩阵生成器更新可变度量、基于局部模型函数和回溯线搜索的通用邻近拟牛顿法,用于非光滑非凸优化,并证明其聚点稳定性及 KL 性质下的全局收敛性。
2025-07-25 math.OC
Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日(NL-IAPIAL)方法,约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度(ACG)方法,然后由拉格朗日乘子更新。在一些温和的假设下,证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解,其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
An inexact $q$-order regularized proximal Newton method for nonconvex composite optimization
本文提出一种不精确$q$阶正则化近端牛顿法(含三次正则化特例),用于非凸复合优化,证明其迭代收敛至稳定点或二阶稳定点,并给出局部超线性收敛速率,首次实现实用不精确CR方法的$Q$-二次收敛。
2025-05-24 math.OC
Convergence of one-dimensional stationary mean field games with vanishing potential
考虑一维稳态的一阶平均场博弈系统,该系统的哈密顿-雅可比方程与输运方程相互耦合。在耦合随粒子数密度严格增加和减少的两种情况下,我们证明了当势为零时,MFG系统的正则解收敛于相应的可积MFG系统的正则解.进一步,我们得到了这种极限的收敛速度.
2018-05-28 math.AP math.DS math.OC
Primal-dual proximal bundle and conditional gradient methods for convex problems
Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI) and Department of Computer Science, University of Rochester(罗切斯特大学高根数据科学与人工智能研究所及计算机系)
本文提出原始-对偶近端束方法求解凸非光滑复合优化与鞍点问题,建立迭代复杂度,发现与条件梯度的对偶性,并验证其优于次梯度方法。
2025-09-25 math.OC
Stationary Discounted and Ergodic Mean Field Games of Singular Control
The Alan Turing Institute(艾伦·图灵研究所);Bielefeld University(比勒费尔德大学)
本文研究奇异控制下的平稳平均场博弈,证明贴现与遍历两种准则下均衡的存在唯一性,并通过阿贝尔极限建立二者联系,从而用贴现博弈的平均场均衡近似对称N人遍历博弈的纳什均衡。
2021-05-15 math.OC q-fin.MF
On quasi-stationary Mean Field Games models
我们探讨了近视球员在平均场比赛中的决策机制。在每一个瞬间,代理人设定一个策略,通过假设他们的环境是不变的来优化他们的预期未来成本。随着系统的发展,玩家观察系统的发展,并在没有预料的情况下适应新的环境。在特定的费用结构下,这些模型产生了准平稳性质的偏微分方程的耦合系统。我们给出了这类系统存在唯一经典解的充分条件,并从N-局中人随机微分对策模型出发,给出了这类系统的严格推导.最后,我们证明了人口可以自组织和指数快速收敛到遍历平均场博弈均衡,如果初始分布是足够接近它和哈密尔顿是二次的。
2018-02-02 math.AP math.OC
Stationary Markov Nash equilibria for nonzero-sum constrained ARAT Markov games
本文考虑了抽象可测状态空间上的非零和马氏对策,该状态空间具有紧度量行动空间。每个局中人的目标是在满足一定条件的条件下最大化各自的贴现支付函数。我们感兴趣的是纳什均衡或非合作均衡的存在性。在适当的条件下,包括转移相对于某些参考概率测度的绝对连续性,支付和转移概率的可加性(ARAT条件),以及系统转移的支付函数和密度函数的连续性,我们建立了一个约束平稳马尔可夫纳什均衡的存在性,即,每个玩家的平稳马尔可夫策略的存在产生所有历史相关的配置文件的类内的最佳配置文件。
2021-09-27 math.OC
Stationary Equilibria of Mean Field Games with Finite State and Action Space
平均场博弈将动态博弈形式化,其中玩家具有连续的玩家和明确的交互,其中玩家可以具有异质状态。由于它们还产生相应的$N$玩家游戏的近似均衡,因此它们对社会经济应用非常感兴趣。然而,用于平均场博弈的大多数技术依赖于这样的假设,即对于每个总体分布,存在唯一的哈密顿优化器。对于有限的作用空间,这只适用于平凡模型。因此,迄今为止使用的技术不适用。我们提出了一个有限的状态和行动空间的模型,其中的动态是由一个时间非齐次马尔可夫链,可能取决于当前的总体分布。我们证明了在温和的假设下,混合策略的平稳平均场平衡的存在性,并提出了计算所有这些平衡的技术。更准确地说,我们的研究结果允许-给定的发电机是不可约的-一套固定的平均场均衡的特点是一个地图的所有不动点的转移率和奖励确定性策略的特点。此外,我们提出了几个部分结果的情况下,非不可约发电机,我们证明了所提出的技术上的两个例子。
2019-09-19 math.OC