Total variation regularization for manifold-valued data
Helmholtz Center Munich(慕尼黑亥姆霍兹中心);Technische Universität München(慕尼黑工业大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文考虑流形值数据的全变差最小化问题。我们提出了一个循环邻近点法和并行邻近点法,以尽量减少电视泛函$\ell^p$型数据项在流形的情况下。这些算法是基于迭代测地线平均,这使得他们很容易适用于一个大类的数据流形。作为一个应用程序,我们考虑去噪图像,其值在一个流形。我们将我们的算法应用到扩散张量图像,干涉SAR图像以及球和柱值图像。对于一类Cartan-Hadamard流形(包括扩散张量成像中的数据空间),我们证明了所提出的TV最小化算法收敛到全局最小值。
2013-12-30 cs.CV math.OC physics.med-ph
Perturbation techniques for convergence analysis of proximal gradient method and other first-order algorithms via variational analysis
我们发展了新的扰动技术进行收敛性分析的各种一阶算法的一类非光滑最优化问题。研究了构造扰动驻点集值映射算法的迭代格式,并利用两个连续迭代的差定义了扰动参数。然后,我们证明了诱导集值映射的镇定条件和局部形式的适当分离平稳值条件是保证算法线性收敛的充分条件.证明了这一镇定条件与正则扰动驻点集值映射的镇定条件的等价性,并利用变分分析中的一些最新进展导出了镇定的充分条件.这些充分条件不同于已有的结果(特别是基于误差界的结果),因为它们可以很容易地在许多具体的应用模型中得到验证。我们的分析是集中在基本的近端梯度(PG)方法,它使我们能够表明,任何积累的PG方法产生的序列必须是一个固定点的近端次微分,而不是限制次微分。该结果发现了令人惊讶的事实,即通过PG方法发现的溶液质量通常是优越的。我们的分析也导致PG方法的线性收敛结果在凸情况下的一些改进。新的扰动技术可以方便地用于推导线性收敛率的其他一些一阶方法,包括著名的交替方向法的乘子和原始-对偶混合梯度法,在温和的假设。
2018-10-23 math.OC
Stochastic Proximal Point Methods for Monotone Inclusions under Expected Similarity
针对单调包含问题,提出带或不带方差缩减的随机近端点算法,利用算子相似性概念,在强单调条件下实现线性收敛。
2024-05-23 math.OC
An extension of the proximal point algorithm beyond convexity
我们引入并研究了一个新的广义凸性概念,称为凸性函数。这样一个函数的邻近算子是单值的,并且是强非扩张的。我们给出了(强)拟凸、弱凸和DC(凸差)函数的例子,但这些函数类都不完全包含或不包含近凸函数类,证明了当要极小化的真下连续函数的凸性松弛为近凸时,经典的邻近点法仍然收敛.
2021-04-18 cs.NA math.NA math.OC
Convergence of proximal solutions for evolution inclusions with time-dependent maximal monotone operators
本文研究了不定常微分包含的解,这是由于它们在某些物理系统建模中的应用。微分包含是由一个不定常集值映射描述的,该集值映射具有这样的性质:对于给定的时刻,该集值映射描述一个极大单调算子.在一定的温和的假设下,关于时间参数的规律性,我们构造了一个序列的功能参数的采样时间,对应于离散化的连续时间系统。使用适当的工具,从功能和变分分析,这个序列,然后收敛到原来的微分包含的唯一解决方案。结果是适用于开发条件的非光滑不定常互补关系的微分方程的适定性,使用潜在的动力学的被动性(等价地表示在线性矩阵不等式)。
2021-05-13 math.OC
Warped Proximal Iterations for Monotone Inclusions
集值算子的预解式在数学的各个分支中起着核心作用,特别是在设计和分析求解单调包含的分裂算法中。我们提出了这个概念的推广,称为翘曲预解式,这是一个辅助算子的帮助下构建的。翘曲的预解式的性质进行了调查和连接与现有的概念。提出了基于翘曲预解式的弱收敛和强收敛原理,不仅提供了分裂算法的综合视图,而且还构成了一种有效的设备,以产生新的解决方法,具有挑战性的包含问题。
2020-06-22 math.OC
Gradient Flow Algorithms for Density Propagation in Stochastic Systems
University of California, Santa Cruz(加州大学圣克鲁兹分校)
我们开发了一个新的计算框架来解决连续时间随机非线性系统中控制联合密度函数(PDF)流动的偏微分方程(PDE)。在不确定性传播、非线性滤波和随机控制中,需要计算服从先验动力学的瞬态联合PDF。我们的方法打破了传统的空间离散化或函数逼近的方法-这两种方法,在一般情况下,遭受的“维数灾难”。在该框架中,我们离散时间,但不是状态空间。我们解决了无穷维邻近递归的联合PDF,在小的时间步长限制,这在理论上相当于解决底层的运输偏微分方程的流形。由此产生的计算有一定的自由能功能的梯度流的几何解释相对于Wasserstein度量所产生的最佳质量输运理论。我们表明,随着熵正则化的对偶,导致一个锥保持不动点递归被证明是压缩的汤普森度量。提出了一种块坐标迭代格式,以保证收敛性的方式求解所得到的非线性递推式。这种方法使得非参数瞬态联合PDF传播的计算速度非常快。数值例子和各种扩展来说明所提出的方法的范围和有效性。
2019-08-06 cs.LG cs.SY eess.SY
Anchored Extra-Proximal Methods: Optimal Higher-Order Methods for Monotone Inclusion Problems
Google Research(谷歌研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
提出锚定额外近端框架,结合锚定外推与相对误差非精确近端更新,构造高阶方法,在切向残差准则下达到最优预言机复杂度,并给出匹配下界。
2026-11-10 cs.LG math.OC stat.ML
Stochastic Approximations and Perturbations in Forward-Backward Splitting for Monotone Operators
研究了在希尔伯特空间中求极大单调集值算子与余度算子和的零点的随机前后分裂算法的渐近性态.我们的一般设置功能随机逼近的cocoercive运营商和随机扰动的集值运营商的预解式的评价。此外,松弛和不一定消失的近端参数是允许的。在较弱的条件下,证明了迭代序列的弱和强几乎必然收敛性质。利用这些结果,我们还建立了复合极小化问题的原始-对偶近似分裂方法的随机变量的迭代的几乎必然收敛。
2015-07-25 math.OC
A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency
分散式优化是一种很有前途的并行计算范例,用于定义在节点网络上的大规模数据分析和机器学习问题。研究了具有总体风险或经验风险的分散非凸组合问题。特别地,网络节点的任务是找到局部的、平滑的、可能非凸的风险函数加上可能不可微的扩展值凸正则化子的平均值的近似稳定点。在这个一般配方下,我们提出了第一个可证明有效的随机邻近梯度框架,称为ProxGT。具体来说,我们构建和分析ProxGT的几个实例,分别为不同的问题类的兴趣。值得注意的是,我们表明,这些实例的样本复杂性是网络拓扑无关的,并实现线性加速相比,在一个单一的节点上实现相应的集中式优化方法。
2021-10-04 math.OC
Revisiting Stochastic Proximal Point Methods: Generalized Smoothness and Similarity
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出了一种新的phi-光滑性框架,对随机近点法进行了全面分析,并通过实验验证了其在非光滑优化中的应用扩展。
2026-02-21 math.OC
Stochastic First-Order Methods with Non-smooth and Non-Euclidean Proximal Terms for Nonconvex High-Dimensional Stochastic Optimization
The University of Hong Kong(香港大学);University of Florida(佛罗里达大学)
本文针对非凸高维随机优化提出维度不敏感的随机一阶方法DISFOMs,允许非光滑非欧几里得近端项,并证明其样本复杂度仅对数依赖于维度,显著优于线性依赖。
2024-09-29 cs.LG math.OC
Parallel and Proximal Constrained Linear-Quadratic Methods for Real-Time Nonlinear MPC
LAAS-CNRS, University of Toulouse(图卢兹大学LAAS-CNRS);ANITI, University of Toulouse(图卢兹大学ANITI)
本文提出一种求解带对偶正则化LQR问题的并行算法,通过块消元重写递归并推广至参数化问题以并发求解子问题,在ALIGATOR库中实现并成功应用于四足机器人实时NMPC。
2024-06-03 cs.RO math.OC
Block-Simultaneous Direction Method of Multipliers: A proximal primal-dual splitting algorithm for nonconvex problems with multiple constraints
Princeton University(普林斯顿大学)
我们引入了一个推广的线性化交替方向法的乘数,以优化一个实值函数$f$的多个参数与潜在的多个约束$g_\circ$对他们每个人。函数$f$可以是非凸的,只要它在每个参数上都是凸的,而约束$g_\circ$需要是凸的但不光滑。如果$f$是光滑的,建议的块同步方向乘子法(bSDMM)可以解释为一个近似的模拟不精确坐标下降法的约束。与多约束问题的联合求解器的替代方法不同,我们不要求约束函数$g(L\ \cdot)$的线性算子$L$是可逆的或彼此之间的链接。bSDMM非常适合于一系列最优化问题,特别是数据分析,其中$f$是模型的似然函数,而$L$可以是描述例如有限差分或基变换的变换矩阵。我们应用bSDMM的非负矩阵分解任务的高光谱分解问题,并证明收敛性和有效性的多个约束的两个矩阵因子。这些算法是用python实现的,并作为开源软件包发布。
2017-08-30 cs.CV cs.LG math.OC
Linearly Convergent Variable Sample-Size Schemes for Stochastic Nash Games: Best-Response Schemes and Distributed Gradient-Response Schemes
本文研究了一个$N$ -局中人随机Nash对策,其中第一局中人$i$最小化一个复合目标$f_i(x) + r_i(x_i)$,其中$f_i$是期望值,$r_i$有一个有效的最优估计.在这方面,我们作出以下贡献。(i)在一个强单调性假设的级联梯度图,我们推导出({ \bf最优})率报表和Oracle的复杂性界限,建议可变样本量近端随机梯度响应(VS-PGR)计划;(ii)我们覆盖(VS-PGR)的共识阶段,以期发展分布式协议的聚合随机纳什博弈。值得注意的是,当样本量和共识步骤的数量在每次迭代增长在一个合适的速度,线性收敛速率可以实现;(iii)最后,根据一个合适的收缩属性与近端最佳响应(BR)地图,我们设计了一个可变的样本量近端BR(VS-PBR)计划,其中近端BR计算通过解决一个样本平均问题。如果计算样本平均值的批量大小以合适的速率提高,我们证明了所得到的迭代以线性速率收敛,并推导出预言机的复杂性。
2018-10-25 math.OC
An inertial proximal splitting algorithm for hierarchical bilevel equilibria in Hilbert spaces
本文针对希尔伯特空间中的双水平均衡问题,提出一种惯性近端分裂算法,在适当条件下证明其弱与强收敛,并通过数值实验验证理论结果。
2025-02-28 math.OC
Analysing heavy-tail properties of Stochastic Gradient Descent by means of Stochastic Recurrence Equations
University of Wrocław(弗罗茨瓦夫大学);University of Hildesheim(希尔德斯海姆大学)
本文基于随机递归的概率框架研究SGD的重尾性质,通过应用不可约-近端矩阵理论,回答了前人关于线性回归设定下多元仿射随机递归模型的开放问题并扩展了其结果。
2024-03-20 cs.LG math.OC math.PR
Kullback-Leibler Mirror-Prox for Measure-Valued Variational Inequalities and Mean-Field Equilibria
University of Michigan(密歇根大学);Princeton University(普林斯顿大学)
该研究针对紧致状态空间上的测度值变分不等式,提出KL镜像近端算法,结合正则化方法,在单调性假设下证明收敛性与误差界,可处理势型及非势型代价算子。
2026-08-12 math.OC
A Generalized Newton Method for Subgradient Systems
本文提出并发展了一种新的Newton型算法来求解由广义实值近似正则函数的次梯度定义的次微分包含。该算法是制定在这样的函数,享有广泛的微积分规则,可以有效地计算广泛的类扩展的实值函数的二阶次微分。在此基础上,利用次梯度映射的度量正则性和次正则性,建立了算法适定性和局部超线性收敛的可验证条件.所得到的结果也是新的一类方程定义的连续可微函数与Lipschitz梯度(${\cal C}^{1,1}$功能),这是我们考虑的基本情况。利用邻近映射和前后向包络,给出了求解邻近正则函数及其扩展到一类结构化复合函数的算法。除了众多的说明性的例子和比较与已知的算法为${\cal C}^{1,1}$功能和广义方程,本文提出了应用所提出的算法,正则化最小二乘问题中出现的统计,机器学习,和相关学科。
2022-09-14 math.OC
Convergence guarantees for stochastic algorithms solving non-unique problems in metric spaces
University of Bath(巴斯大学)
本文研究了在度量空间中随机算法求解非唯一问题的收敛性,通过构造收敛速率并统一多种条件,为随机逼近方法提供了新的收敛保证。
2026-10-21 math.OC
A Learning Stability Profile for Finite-Dimensional Learning Dynamics
Department of Mathematics(数学系);Kabale University(卡巴尔大学)
提出一个有限维灵敏度框架,通过Lyapunov准则控制学习稳定性剖面,适用于前馈网络、残差架构、随机梯度方法和非光滑系统。
2026-11-02 cs.LG math.DS math.OC