Probably approximate Bayesian computation: nonasymptotic convergence of ABC under misspecification
CFM
近似贝叶斯计算（ABC）是贝叶斯统计中广泛使用的一种推理方法，可以绕过逐点计算似然。在本文中，我们开发的理论界限之间的距离，在ABC的统计。我们表明，ABC的某些版本是固有的强大的误指定。在有限样本量下，以Oracle不等式的形式给出了其界.明确了对参数空间的维数和统计量的依赖性。结果表明，在参数空间中，所得结果服从预言不等式。我们将我们的理论结果应用于给定的先验分布和数据生成过程，包括非参数回归模型。在本文的第二部分中，我们提出了一个顺序蒙特卡罗（SMC）从伪后验采样，改进了最先进的采样器。
2019-01-01 cs.LG math.ST stat.CO
Nonasymptotic analysis of adaptive and annealed Feynman-Kac particle models
序列和量子蒙特卡罗方法，以及遗传型搜索算法可以被解释为分布空间中的费曼-卡茨模型的平均场和相互作用粒子近似。这些群体蒙特卡罗算法的性能与非线性Feynman-Kac半群的稳定性密切相关。在本文中，我们分析了这些模型的参考马尔可夫转移和势函数的振荡的Dobrushin遍历系数。关于一致集中不等式的充分条件。时间是用这两个量来明确表示的。我们提供了一个原始的扰动分析，适用于退火和自适应费曼-卡茨模型，产生什么似乎是第一个结果，这种类型的这些类型的模型。特别注意的是专门的玻尔兹曼-吉布斯措施的抽样的特殊情况。在这种情况下，我们设计了一个显式的方式调整的马尔可夫链蒙特卡罗迭代的温度时间表的数量。我们还设计了一个替代的相互作用粒子方法的基础上，自适应策略来定义的温度增量。由于势函数和参考马尔可夫转移现在都依赖于粒子模型上的随机演化，因此对这种自适应模型的性能的理论分析要复杂得多。这些复杂自适应模型的非渐近分析是一个开放的研究问题。我们开始这项研究的浓度分析的一个简化的自适应模型的基础上参考马尔可夫过渡，符合限制数量，粒子的数量趋于无穷大。
2016-09-30 math.PR math.ST stat.TH
Some nonasymptotic results on resampling in high dimension, I: Confidence regions, II: Multiple tests
研究了具有未知依赖结构的随机向量均值的广义Bootstrap置信区域。假设随机向量是高斯分布或具有对称和有界分布。向量的维数可能远远大于观察的数量，我们专注于非渐近控制的置信水平，以下的想法启发了最近的结果在学习理论。我们考虑两种方法，第一种是基于浓度的原则（有效的一个大类的reserve权重）和第二个重新采样的分位数，特别是使用Rademacher权重。在基于浓度原则的方法中建立的几个中间结果本身就很有意义。我们还讨论了使用蒙特卡罗近似的重采样量时的精度问题。
2010-01-11 math.ST stat.TH
Langevin Monte Carlo without smoothness
University of California, Berkeley（加利福尼亚大学伯克利分校）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
朗之万蒙特卡罗（LMC）是一种迭代算法，用于从仅已知到归一化常数的分布中生成样本。它的混合时间的尺寸和目标精度的非渐近依赖性主要是在光滑（梯度Lipschitz）的对数密度，在机器学习中的应用程序的严重限制的设置理解。在本文中，我们消除了这一限制，提供多项式时间收敛保证的一个变种的LMC在非光滑的对数凹分布的设置。在高水平上，我们的结果是通过利用对数密度的隐式平滑来实现的，该对数密度来自我们添加到算法迭代中的小高斯扰动，并控制由该扰动引起的偏差和方差。
2020-02-24 cs.LG stat.CO stat.ML
Kinetic Interacting Particle Langevin Monte Carlo
Imperial College London（帝国理工学院）
本文提出动力学交互粒子兰格朗日蒙特卡洛方法，用于潜在变量模型统计推断，通过联合演化参数与潜在变量空间的扩散过程，实现非渐近收敛率和维度依赖性改进。
2026-09-16 stat.CO stat.ML
Global convergence of optimized adaptive importance samplers
本文针对一般提议分布下的优化自适应重要性采样器，利用SGLD对χ²-散度进行全局优化，并推导出均方误差的非渐近一致时间理论保证。
2024-01-28 stat.CO stat.ME stat.ML
Uphill Roads to Variational Tightness: Monotonicity and Monte Carlo Objectives
Université Côte d'Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Technical University of Denmark（丹麦技术大学）
我们重温理论的重要性加权变分推断（IWVI），一个很有前途的策略学习潜变量模型。IWVI使用新的变分界限，称为蒙特卡罗目标（MCO），通过用蒙特卡罗估计值替换难以处理的积分获得-通常简单地通过重要性抽样获得。Burda，Grosse和Salakhutdinov（2016）表明，增加重要性样本的数量可以证明缩小界限和可能性之间的差距。受这个简单的单调性定理的启发，我们提出了一系列的非渐近的结果，链接性能的蒙特卡罗估计的紧MCO。我们挑战的基本原理，较小的蒙特卡罗方差导致更好的界限。我们从理论上证实了最近几篇论文的实证研究结果表明，在一个精确的意义上，负相关减少变差。我们还推广了原来的单调性定理，考虑非均匀权重。我们讨论了我们的理论结果的几个实际后果。我们的工作借鉴了随机序理论的许多思想和结果。
2022-01-26 cs.AI cs.LG stat.CO
Theoretical guarantees for approximate sampling from smooth and log-concave densities
从各种分布中抽样是统计学中最重要的问题，因为它通常是构造估计量、检验程序或置信区间的关键成分。在许多情况下，从给定分布中进行精确采样是不可能的，或者计算成本很高，因此需要采用近似采样策略。然而，没有发达的理论提供有意义的非渐近保证的近似抽样程序，特别是在高维问题。本文在这个方向上取得了一些进展，考虑的问题，从分布具有光滑和对数凹密度定义在\(\RR^p\)，为一些整数\(p>0\)。我们建立了由朗之万蒙特卡罗方法及其变体得到的目标分布近似误差的非渐近界。我们用各种实验说明了所建立的保证的有效性。基于我们的分析是从连续时间扩散过程的理论，这可能是感兴趣的超出了在本工作中考虑的对数凹密度的框架的见解。
2016-12-03 math.ST stat.CO stat.ML
Regeneration and Fixed-Width Analysis of Markov Chain Monte Carlo Algorithms
在本论文中，我们采用分裂链的方法来分析马尔可夫链，并使用它来建立固定宽度的结果估计得到的马尔可夫链蒙特卡罗程序（MCMC）。理论结果包括再生的必要条件和充分条件的遍历马尔可夫链和再生的CLT版本的一致遍历马尔可夫链与$E_πf^2< \infty.$为了获得MCMC估计的渐近置信区间，强相合估计量的渐近方差是必不可少的。我们放宽了获得这样的估计所需的假设。此外，漂移条件下，非渐近固定宽度的MCMC估计的一般状态空间设置（不一定紧凑），不一定有界的目标函数$f$的结果。最后一章讨论了自适应蒙特卡罗模拟的思想，并给出了在过渡核的路径稳定条件下自适应过程的收敛结果和大数定律。
2009-07-27 stat.CO stat.ME
A Class of Two-Timescale Stochastic EM Algorithms for Nonconvex Latent Variable Models
Baidu Research（百度研究院）
期望最大化（EM）算法是学习潜变量模型的流行选择。EM的变体最初被引入，使用增量更新来扩展到大型数据集，并使用蒙特卡罗（MC）近似来绕过大多数非凸模型的潜在数据的棘手的条件期望。在本文中，我们提出了一个一般类的方法称为两个时间尺度EM方法的基础上的两个阶段的随机更新的方法来解决一个基本的非凸优化任务的潜变量模型。我们激励选择一个双动态调用的方差减少美德的方法的每个阶段的两个来源的噪声：增量更新和MC近似的指数采样。我们建立了有限时间和全局收敛界的非凸目标函数。各种模型的数值应用，如变形模板的图像分析或非线性模型的药代动力学也来说明我们的研究结果。
2022-03-18 cs.LG stat.ML
Nonasymptotic Gaussian Approximation for Inference with Stable Noise
一系列的理论研究的结果报告，检查不同的近似表示的$α$ -稳定分布的收敛速度。虽然它们在模拟具有跳跃和不连续性的随机过程中起着关键作用，但在推理中使用$α$ -稳定分布往往会导致分析上难以解决的问题。的LePage系列，这是在这项工作中采用的概率表示，是用来将一个棘手的，无限维的推理问题转化为条件高斯参数问题。我们的方法的一个主要组成部分是这个系列的尾部近似的高斯随机变量。然后可以应用标准统计技术，例如期望最大化、马尔可夫链蒙特卡罗和粒子滤波。除了这个系列的尾部的渐近正态性，我们建立明确的，非渐近界的近似误差。他们的证明遵循经典的傅里叶分析参数，使用了费根的平滑引理。具体地说，我们考虑的分布之间的距离：$(i)$-系列的尾部和一个适当的高斯; $(ii)$-完整的系列和截断的系列;和$(iii)$-完整的系列和截断的系列与添加高斯项。在所有这三种情况下，建立了尖锐的界限，并将理论结果与对称$α$ -稳定分布的具体例子中的实际距离（数值计算）进行了比较。这种分析有利于在实践中选择适当的截断，并提供了理论上的保证，由此产生的估计的准确性。得到的主要结论之一是，为了推断的目的，使用截断序列连同近似高斯误差项具有优越的统计特性，并且在实践中可能是优选的选择。
2020-01-01 cs.IT math.IT math.PR
Monte Carlo Simulation for Lasso-Type Problems by Estimator Augmentation
在$\ell_1$惩罚下的正则化线性回归，如Lasso，已被证明在变量选择和稀疏建模中是有效的。$\ell_1$惩罚估计量$\hatβ$的采样分布很难确定，因为估计量是由优化问题定义的，该优化问题通常只能用数值求解，并且其许多分量可能正好为零。令$S$为在$\hatβ$处评估的系数向量$β$的$\ell_1$范数的次梯度。我们发现，联合抽样分布的$\hatβ$和$S$，一起被称为一个增广估计，是更容易处理的，并在低维（$p\leq n$）和高维（$p>n$）设置的正态误差分布下具有封闭形式的密度。给定$β$和误差方差$σ^2$，可以采用标准蒙特卡罗方法，例如马尔可夫链蒙特卡罗和重要性抽样，从增广估计量的分布中抽取样本，并计算关于$\hatβ$的抽样分布的期望值。我们开发了一些具体的Monte Carlo算法，并证明了数值例子，我们的方法可以提供巨大的优势和极大的灵活性，在研究$\ell_1$惩罚线性回归的抽样分布。我们还建立了非渐近界$\hatβ$的真实抽样分布和估计值之间的差异，通过插入估计参数，这证明了蒙特卡罗模拟的有效性，即使当$p\gg n\to \infty$从估计的抽样分布。
2014-07-13 stat.ME stat.ML
Revisiting Inexact Fixed-Point Iterations for Min-Max Problems: Stochasticity and Structured Nonconvexity
University of British Columbia（不列颠哥伦比亚大学）；Wisconsin Institute for Discovery, University of Wisconsin–Madison（威斯康星大学麦迪逊分校威斯康星发现研究所）；KAIST（韩国科学技术院）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文通过锥非扩张性与精细化分析，将一阶方法在非凸-非凹极小极大问题中可容忍的$\ ho$值从$\ rac{1}{2L}$提升至$\ rac{1}{L}$，并改进随机凸-凹情形下的复杂度结果。
2026-09-29 cs.LG math.OC stat.ML
Extension of Dirac's chord method to the case of a nonconvex set by use of quasi-probability distributions
狄拉克弦法可以适用于物理学的不同领域，用于使用弦长分布的概率密度来表示凸体的某些六维积分。对于在具有相同性质的介质中具有非凸体的齐次模型，如果使用所谓的广义弦分布，则可以得到狄拉克弦方法的类似物。该函数被定义为自相关函数的归一化二阶导数。对于非凸体，该二阶导数可能具有负值，并且不能与概率密度直接相关。被认为是这样一个功能的解释使用交替的概率密度的总和。这种准概率分布可用于Monte Carlo计算的一些积分为一个单一的机构的任意形状和系统的两个或两个以上的对象和这样的应用程序也讨论了这项工作。
2011-05-24 math-ph math.MP physics.comp-ph
Logsmooth Gradient Concentration and Tighter Runtimes for Metropolized Hamiltonian Monte Carlo
University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
我们证明了$x \sim \exp(-f(x))$的梯度范数$\|\nabla f(x)\|$，其中$f$是强凸的和光滑的，紧紧地集中在它的平均值周围。这消除了一个障碍，在现有的国家的最先进的分析，充分研究的Metropolized汉密尔顿蒙特卡罗（HMC）算法从一个强对数凹分布采样。我们相应地证明了大都市化的HMC混合在$\tilde{O}(κd)$迭代中，改进了$\tilde{O}(κ^{1.5}\sqrt{d} + κd)$运行时（Dwivedi et. 18，Chen et.当条件数$κ$大时，通过因子$(κ/d)^{1/2}$来计算（例如，“等”19）。我们的混合时间分析介绍了几种技术，据我们所知，还没有出现在文献中，可能是独立的兴趣，包括限制一个非凸集具有良好的电导行为，和一个新的减少技术，以提高恒定精度的总变差保证弱暖假设。这是第一个高精度的混合时间的结果，仅使用一阶函数的信息，实现线性依赖$κ$的logconvex分布，我们也给证据表明，这种依赖可能是必要的标准Metropolized一阶方法。
2020-06-14 cs.DS cs.LG math.OC
Fast Approximation of the Sliced-Wasserstein Distance Using Concentration of Random Projections
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎综合理工学院）；ESSEC Business School（ESSEC商学院）
切片-瓦瑟斯坦距离（SW）越来越多地用于机器学习应用中作为瓦瑟斯坦距离的替代，并且提供显著的计算和统计益处。由于它被定义为随机投影上的期望，因此SW通常通过蒙特卡罗近似。我们采用了一种新的观点来近似SW，利用测量集中现象：在温和的假设下，一个高维随机向量的一维投影近似高斯。基于这一观察，我们开发了一个简单的确定性近似SW。我们的方法不需要采样的随机投影的数量，因此是准确和易于使用相比，通常的蒙特卡罗近似。我们推导出我们的方法的非渐近保证，并表明，近似误差为零，随着维数的增加，在弱依赖条件下的数据分布。我们验证了我们的理论研究结果的合成数据集，并说明了生成建模问题的建议近似。
2022-01-04 cs.LG stat.ML
Langevin Monte Carlo for strongly log-concave distributions: Randomized midpoint revisited
CREST, ENSAE, IP Paris（巴黎综合理工学院IP Paris、法国国立统计与经济管理学院ENSAE、 Crest统计与经济研究中心）；KAUST（阿卜杜拉国王科技大学）
该研究针对高维大条件数下的强对数凹分布采样问题，再探随机中点离散化方法，推导了动力学朗之万扩散中点法的Wasserstein-2误差非渐近易计算上界，还改进了欧拉离散化的相关误差保证。
2023-06-16 cs.LG math.PR math.ST
Monte-Carlo Tree Search for Policy Optimization
Stanford University（斯坦福大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Nanjing University（南京大学）
基于约束的方法通常用于深度强化学习中的策略优化，尽管容易受到局部最优和鞍点的影响。尽管无梯度方法（例如，遗传算法或演化策略）有助于缓解这些问题，初始化不良和局部最优仍然是高度非凸空间中的问题。提出了一种基于蒙特卡罗树搜索和无梯度优化的策略优化方法。我们的方法，称为蒙特卡罗树搜索策略优化（MCTSPO），提供了一个更好的探索开发权衡通过使用上置信区间启发式。与流行的基于梯度和深度遗传算法基线相比，我们在具有欺骗性或稀疏奖励函数的强化学习任务上表现出更好的性能。
2019-12-23 cs.AI cs.LG stat.ML
Improved Guarantees for Langevin Monte Carlo with Average Smoothness
L2S, CNRS, Centrale Sup\'elec, Universit\'e Paris-Saclay e2
针对强对数凹情形下的 Langevin Monte Carlo，利用平均坐标光滑常数而非全局光滑常数，改进了 Wasserstein 距离下的非渐近误差界，并推广至变步长、Laplacian-Lipschitz 势及有限和问题。
2026-05-29 cs.LG math.ST stat.TH
User-friendly guarantees for the Langevin Monte Carlo with inaccurate gradient
CREST, ENSAE（CREST，法国国立统计与经济管理学校）
本文针对光滑强对数凹分布的采样问题，为梯度不精确情形下的一阶和二阶朗之万蒙特卡罗方法建立了Wasserstein-2误差上界，其中变步长一阶LMC具有无时间范围依赖的优点，二阶LMC在病态条件下优于一阶方法。
2024-02-23 cs.LG math.PR math.ST
Deep learning surrogate interacting Markov chain Monte Carlo based full wave inversion scheme for properties of materials quantification
InstroTek Inc.（InstroTek公司）；North Carolina State University（北卡罗来纳州立大学）
全波反演（FWI）成像方案在工程、地球科学和医学等领域有着广泛的应用。本文提出了一种替代深度学习FWI方法，用于使用应力波量化材料的性能。这样的反问题，在一般情况下，是不适定的和非凸的，特别是在解决方案表现出冲击，异质性，间断，或大梯度的情况下。在这些情况下，所提出的方法被证明是有效的，以获得全局极小响应。这种方法是基于随机采样的材料属性集和局部最小值周围的采样试验进行训练的，因此，它要求正向模拟可以处理高异质性，不连续性和大梯度。采用高分辨率Kurganov-Tadmor（KT）中心有限体积法作为正演波传播算子。使用所提出的框架，2D介质的材料属性量化为几种不同的情况。结果证明了所提出的方法的可行性，用于使用深度学习方法高精度地估计材料的机械性能。
2019-12-16 cond-mat.mtrl-sci cs.LG stat.ML
Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems
University of California, Berkeley（加州大学伯克利分校）
受在线典型相关分析问题的启发，我们提出了\emph{Stochastic Scaled-Gradient Descent}（SSGD）算法，用于最小化一般黎曼流形上随机函数的期望。SSGD推广了投影随机梯度下降的思想，并允许使用缩放的随机梯度而不是随机梯度。在球约束的特殊情况下，这是在广义特征向量问题中出现的，我们建立了一个非渐近有限样本界的$\sqrt{1/T}$，并表明，这个速度是minimax最优的，相关参数的多对数因子。在渐近方面，一个新的渐近平均参数，使我们能够实现本地渐近正态性的速率相匹配的Ruppert-Polyak-Juditsky平均。我们把这些想法结合在一起的应用程序在线典型相关分析，推导出，在文献中，第一次，一个最佳的一次性规模的算法与显式速度的局部渐近收敛到正态性。典型相关分析的数值研究也提供了合成数据。
2022-01-24 cs.LG math.OC stat.ML
Fast Mixing of Multi-Scale Langevin Dynamics under the Manifold Hypothesis
MIT（麻省理工学院）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
最近，图像生成任务备受关注。特别是，最近的经验成功的马尔可夫链蒙特卡罗（MCMC）技术的朗之万动力学已经促使了一些理论上的进步，尽管如此，一些突出的问题仍然存在。首先，朗之万动力学在非凸景观上以非常高的维度运行;在最坏的情况下，由于非凸优化的NP-硬度，人们认为朗之万动力学在维度上仅以时间指数混合。在这项工作中，我们演示了如何流形假设允许混合时间的相当大的减少，从指数的环境维度，仅取决于（小得多）的内在维度的数据。其次，采样空间的高维数严重损害了Langevin Dynamics的性能;我们利用多尺度方法来帮助改善这个问题，并观察到这种多分辨率算法允许在生成图像质量和计算费用之间进行权衡。
2020-06-22 cs.LG stat.ML
Beyond Smoothness and Convexity: Optimization via sampling
该研究提出用基于MCMC（尤其是朗之万动力学）的采样方法求解非凸非光滑优化问题，分析了其收敛性质并给出迭代界与样本逼近全局最优点的概率保证，为这类难题提供了新的求解视角。
2025-05-19 math.OC math.ST stat.TH
Global Convergence of Policy Gradient Methods to (Almost) Locally Optimal Policies
策略梯度（PG）方法是一种广泛使用的强化学习方法，在许多应用中，如视频游戏，自动驾驶和机器人。尽管PG方法在经验上取得了成功，但在文献中缺乏对PG方法的整体收敛的严格理解。在这项工作中，我们关闭的差距，从非凸优化的角度来看PG方法。特别是，我们提出了一个新的变体PG方法的无限地平线的问题，使用随机推出地平线的政策梯度的蒙特卡罗估计。然后，该方法产生一个无偏估计的政策梯度有界的方差，这使得工具，从非凸优化，以建立整体收敛。采用这种观点，我们首先恢复收敛结果与利率的驻点政策在文献中。更有趣的是，在非凸优化的进步的动机下，我们通过引入周期性增大的步长来修改所提出的PG方法。在对奖励和策略参数化的温和假设下，改进的算法可以逃脱鞍点。在进一步严格的鞍点假设下，这一结果建立了收敛到基本局部最优政策的基本问题，从而弥合了现有文献中的差距PG方法的收敛性。通过倒立摆的实验结果验证了我们的理论，即通过对报酬函数进行适当的修正，可以避免不利的鞍点，从而获得更好的极限点。有趣的是，这一经验发现证明了从非凸优化的角度奖励重塑的好处。
2020-06-28 cs.LG cs.SY eess.SY
Optimal Projections in the Distance-Based Statistical Methods
本文介绍了一种新的方法来计算基于距离的统计，特别是当数据是多元的。其主要思想是预先计算给定维数的最优投影方向，并将多维变量投影到这些预先指定的投影方向上;通过随后利用Huo和Székely [2016]中为单变量开发的快速算法，计算复杂度可以从$O(m^2)$提高到$O(n m \cdot \mbox{log}(m))$，其中，$n$是投影方向的数量，$m$是样本量。当使用$n \ll m/\log(m)$时，可以节省计算量。关键的挑战是如何找到最佳的预先指定的投影方向。这可以通过最小化真实距离和近似距离之间的最坏情况差异来获得，这可以在一般设置中被公式化为非凸优化问题。在本文中，我们证明了非凸优化问题的精确解可以在两种特殊情况下导出：数据的维数等于$2$或投影方向的数目。在一般的设置，我们提出了一个算法来找到一些近似的解决方案。模拟证实了我们的方法的优势，与纯蒙特卡罗方法，其中的方向是随机选择的，而不是预先计算。
2019-11-07 stat.CO
Rigorous confidence bounds for MCMC under a geometric drift condition
我们假设一个漂移条件对一个小的集合和边界的平均值沿一个单一的轨迹的马尔可夫链蒙特卡罗算法的估计得到的均方误差。我们使用这些界限来构造固定宽度的非渐近置信区间。对于可能无界的函数$f:\stany \to R,$，令$I=\int_{\stany} f(x) π(x) dx$为目标值，$\hat{I}_{t,n}=(1/n)\sum_{i=t}^{t+n-1}f(X_i)$为其MCMC估计。准确地说，我们推导出轨迹$n$和老化时间$t$的长度的下限，其确保$$P(|\hat{I}_{t,n}-I|\leq \varepsilon)\geq 1-α.$$该界限仅明确地依赖于漂移参数，基于$f,$的$V-$范数，其中$V$是漂移函数，以及精度和置信度参数$\varepsilon, α.$接下来，我们分析基于多个较短运行的中位数的MCMC估计量，该估计量允许所需总数的更清晰界限仿真成本特别是该方法可以应用于计算贝叶斯估计在实际相关的模型。我们用一个简单的例子来说明我们的界限。
2009-08-14 stat.CO stat.ME
On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
本文首次给出双时间尺度GDA求解非凸-凹极小极大问题的非渐近复杂度分析，证明其能高效找到函数Φ的稳定点，解释了该算法在训练GANs等实际应用中的优越表现。
2024-05-03 cs.LG math.OC stat.ML
Is There an Analog of Nesterov Acceleration for MCMC?
University of California, Berkeley（加州大学伯克利分校）
本文将基于梯度的马尔可夫链蒙特卡罗（MCMC）抽样方法描述为概率测度空间上的优化问题，并以KL散度为目标函数。我们表明，欠阻尼形式的Langevin算法在这个度量进行加速梯度下降。为了刻画算法的收敛性，我们构造了一个李雅普诺夫泛函，并利用欠阻尼Langevin算法的假设性。作为应用，我们证明了利用Langevin算法可以得到一类非凸函数的加速率。
2019-10-22 cs.LG cs.NA math.NA
A sequential smoothing majorant stochastic approximation method for nonconvex nonconcave minimax problems
提出序贯平滑主化随机逼近（SMSA）方法求解非凸非凹极小极大问题，通过新主化逼近实现$O(\beta_N^2)$精度，并证明稳定点一致性与数值优势。
2026-09-11 math.OC
The computational asymptotics of Gaussian variational inference and the Laplace approximation
本文从理论上分析了高斯变分推断和拉普拉斯近似中优化问题的渐近凸性，并提出 CLA 和 CSVI 两种算法，通过可计算的初始化和局部约束梯度下降，提高在非凸问题中获得全局最优解的可能性。
2023-07-05 math.ST stat.CO stat.ML
Nonconvex Composite Functional Constraints via First-Order Augmented Lagrangian Methods under Local Regularity
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology, Atlanta, GA, USA（赫尔曼·米勒工程与系统工程学院，佐治亚理工学院，美国亚特兰大，GA）；Sauder School of Business, University of British Columbia, Vancouver, BC, Canada（萨德勒商学院，不列颠哥伦比亚大学，加拿大温哥华，BC）
研究一类非凸约束优化问题的原始对偶方法非渐近收敛性，通过限制对偶变量到辅助紧集，利用平滑近线性增广拉格朗日方法及相关机制，根据 KKT 残差建立收敛速率，正则化与非正则化下分别有\(O(K^{-1/3})\)和\(O(K^{-1/2})\)速率。
2026-10-16 cs.LG math.OC stat.ML
Data-driven Piecewise Affine Decision Rules for Stochastic Programming with Covariate Information
Department of Industrial Engineering, Tsinghua University（清华大学工业工程系）
本文提出嵌入非凸分段仿射决策规则的经验风险最小化方法，用于含协变量信息的随机规划，具有理论一致性和计算可行性，数值实验显示其成本更低、耗时更少且鲁棒性更优。
2025-09-26 cs.LG math.OC stat.ML
A stochastic smoothing framework for nonconvex-nonconcave minEmax problems with applications to Wasserstein distributionally robust optimization
Department of Applied Mathematics, Hong Kong Polytechnic University, Hong Kong, China（应用数学系，香港理工大学）；Institute for Math & AI, Wuhan (IMAI), Wuhan university, China（数学与人工智能研究院，武汉大学）；Department of Mathematical Sciences Rensselaer Polytechnic Institute, Troy, NY, USA（数学科学系，伦斯勒理工学院）
研究非凸-非凹minEmax随机优化问题，提出基于对数均值指数平滑的随机平滑近端梯度法，经非渐近分析表明该方法生成的聚点是克拉克平稳点，数值实验显示其在相关问题上与现有基线有竞争力。
2026-07-17 cs.LG math.OC
Asymptotic Lower Bounds for Continuous Optimization
University of Pittsburgh（匹兹堡大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出将非渐近下界转化为希尔伯特空间渐近下界的通用技术，证明加速梯度下降和梯度下降的已知渐近上界是紧的，并为随机凸优化建立了匹配下界。
2026-09-29 math.OC
Riemannian ascent--descent for nonconvex nonconcave minimax landscapes: convergence to basin saddle points and applications to distributionally robust optimization
UC San Diego（加州大学圣地亚哥分校）
针对非凸非凹极小极大景观，提出盆地鞍点概念及黎曼梯度上升多步下降迭代的收敛框架，应用于高斯分布鲁棒优化，获得线性或多项式收敛速率。
2026-09-15 cs.LG math.OC stat.ML
Preconditioned Gradient Descent for Overparameterized Nonconvex Burer--Monteiro Factorization with Global Optimality Certification
Electrical and Computer Engineering University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电气与计算机工程学院）；Industrial and Operations Engineering University of Michigan（密歇根大学工业与运营工程学院）
本文提出一种廉价预条件器，恢复过参数化非凸Burer-Monteiro分解中梯度下降的线性收敛速度，并使其对全局最小化器的病态条件不敏感，同时保持全局最优性认证能力。
2025-04-21 cs.LG math.OC stat.ML
Cost-aware Portfolios in a Large Universe of Assets
本文针对资产数量大于样本量的高维环境，提出考虑比例和二次交易成本的非凸惩罚投资组合构建与再平衡模型，理论分析与实证研究表明其表现优异，强调了交易成本在再平衡中的重要性。
2025-08-20 q-fin.PM stat.ME
Generalized Momentum-Based Methods: A Hamiltonian Perspective
UW-Madison（威斯康星大学麦迪逊分校）；UC Berkeley（加州大学伯克利分校）
我们采取一个基于Hamilton的角度来推广Nesterov的加速梯度下降和Polyak的重球方法的动量方法在设置（可能）约束最小化在欧几里德和非欧几里德赋范向量空间。我们的观点导致一个通用的和统一的非渐近分析这些方法的收敛性的函数值（在设置的凸优化）和规范的梯度（在设置的无约束，可能非凸，优化）。我们的方法依赖于一个随时间变化的哈密顿量，产生广义动量方法作为其运动方程。这些方法的收敛性分析是直观的，是基于守恒量的含时哈密顿量。
2020-11-15 cs.LG math.OC stat.ML
Estimation in the partially observed stochastic Morris-Lecar neuronal model with particle filter and stochastic approximation methods
只有一个坐标的多维扩散模型的参数估计在许多生物学应用中具有高度相关性，但在统计学上是一个困难的问题。在神经科学中，单个神经元的膜电位演化可以在高频率下测量，但生物物理现实模型必须包括未观察到的离子通道动力学。一个这样的模型是随机Morris-Lecar模型，由非线性二维随机微分方程定义。坐标是耦合的，也就是说，未观察到的坐标是非自治的，模型表现出振荡来模仿尖峰行为，这意味着它不是梯度型的，并且来自细胞内记录的测量噪声通常可以忽略不计。因此，隐马尔可夫模型框架是退化的，并且可用的方法失效。本文的主要贡献是在这种不适定的情况下估计的方法和方法的非渐近收敛结果。具体来说，我们提出了一个序贯蒙特卡罗粒子滤波器算法来估算未观察到的坐标，然后估计参数最大化的伪似然通过随机版本的期望最大化算法。结果表明，即使是控制未观测坐标的离子通道的打开和关闭的速率标度参数也可以合理地估计。分析了红耳龟脊髓运动神经元膜电位的细胞内记录实验数据集，并在模拟研究中进一步评估了性能。
2014-07-31 stat.AP stat.ME
Variational Policy Gradient Method for Reinforcement Learning with General Utilities
University of Minnesota（明尼苏达大学）；US Army Research Laboratory（美国陆军研究实验室）；DeepMind；University of Alberta（阿尔伯塔大学）；Princeton University（普林斯顿大学）
近年来，强化学习（RL）系统的一般目标超出了奖励的累积总和，已经获得了牵引力，例如在约束问题，探索和根据先前的经验采取行动。在本文中，我们考虑马尔可夫决策问题的政策优化，其中的目标是一个一般的凹效用函数的状态-动作占用措施，其中包括几个上述的例子作为特殊情况。这种普遍性使贝尔曼方程失效。由于这意味着动态规划不再起作用，因此我们将重点放在直接策略搜索上。类似的策略梯度定理\cite{sutton2000policy}可用于RL与累积奖励，我们推导出一个新的变分策略梯度定理RL与一般的效用，建立了参数化的策略梯度可以获得作为一个随机鞍点问题的解决方案，涉及Fenchel对偶的效用函数。提出了一种基于样本路径的变分蒙特卡罗梯度估计算法来计算策略梯度。我们证明了变分策略梯度方案全局收敛于一般目标的最优策略，尽管优化问题是非凸的。我们还建立了它的顺序$O(1/t)$的收敛速度，利用隐藏凸性的问题，并证明了它的指数收敛时，允许隐藏的强凸性的问题。我们的分析适用于标准的RL问题与累积奖励作为一个特殊的情况下，在这种情况下，我们的结果提高了可用的收敛速度。
2020-07-04 cs.LG stat.ML
LeAP-SSN: A Semismooth Newton Method with Global Convergence Rates
本文提出无参数全局化的半光滑牛顿法LeAP-SSN，结合自适应Levenberg–Marquardt正则化与回溯策略，在凸、非凸及Polyak–Łojasiewicz条件下分别获得O(1/k)、O(1/√k)和线性收敛速率，并兼具超线性局部收敛性。
2025-08-22 math.OC
On the Landscape of Synchronization Networks: A Perspective from Nonconvex Optimization
研究非凸费用函数的前景是更好地理解广泛用于信号处理、统计和机器学习的优化算法的关键。同时，著名的仓本模型已经成为研究各种网络拓扑结构下耦合振子同步现象的重要数学模型。在本文中，我们把这两个看似无关的对象，通过调查与底层网络相关的非线性函数$E(\boldsymbolθ) = \frac{1}{2}\sum_{1\leq i,j\leq n} a_{ij}(1-\cos(θ_i - θ_j))$的优化景观，并探索局部极小值的存在和网络拓扑结构之间的关系。该函数在应用于$\mathbb{Z}_2$同步以及环面上的矩阵完成的Burer-Monteiro方法中自然出现。此外，它对应于耦合振子的复杂网络上的齐次仓本模型的能量函数。我们证明了能量函数的最小值是唯一的，直到一个整体的平移确定性稠密图和Erdens-Rényi随机图的工具，从优化和随机矩阵理论。因此，相应的齐次Kuramoto模型的稳定平衡是唯一的，这些耦合振子的同步态的吸引区域是整个相空间减去一组测量零点。此外，我们的研究结果解决时，Burer-Monteiro方法恢复地面真相完全从高度不完整的观测在$\mathbb{Z}_2$同步和阐明的鲁棒性的非凸优化算法对某些类型的所谓的单调对手。数值模拟进行说明我们的结果。
2019-04-20 math.OC
Multidimensional Gradient-MUSIC: A Global Nonconvex Optimization Framework for Optimal Resolution
University of California, Davis（加州大学戴维斯分校）；City University of New York, City College（纽约市立大学城市学院）
本文提出多维梯度-MUSIC方法，用于从噪声样本中估计非谐信号频率。通过信号子空间确定的原理，构建非凸目标函数，并提供构造性全局优化框架，实现非渐近的恢复保证。
2026-03-28 cs.IT math.IT math.OC
Fast Monte Carlo Analysis for 6-DoF Powered-Descent Guidance via GPU-Accelerated Sequential Convex Programming
提出一种基于GPU加速的蒙特卡洛框架，采用SCP算法族中的prox-linear方法及PIPG求解器，在6自由度动力下降制导问题中实现了比CPU更快的非凸轨迹优化求解。
2024-04-28 math.OC
An Inexact Augmented Lagrangian Framework for Nonconvex Optimization with Nonlinear Constraints
提出了一种求解非凸非线性约束问题的实用不精确增广拉格朗日方法。我们的总计算复杂性的特征，我们的方法受到可验证的几何条件，这是密切相关的Polyak-Lojasiewicz和Mangasarian-Fromowitz条件。特别是，当一阶求解器用于内部迭代，我们证明了iALM发现一阶不动点与$\tilde{\mathcal{O}}(1/ε^4)$调用一阶Oracle。此外，如果问题是光滑的，并且二阶求解器用于内部迭代，则iALM通过对二阶oracle的$\tilde{\mathcal{O}}(1/ε^5)$调用找到二阶稳定点，这与文献中已知的理论复杂度结果相匹配。我们还提供了强有力的数值证据，大规模的机器学习问题，包括Burer-Monteiro分解的半定程序，和一种新的非凸松弛的标准基追求模板。对于这些例子，我们还展示了如何验证我们的几何条件。
2022-04-21 math.OC
Noisy Matrix Completion: Understanding Statistical Guarantees for Convex Relaxation via Nonconvex Optimization
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了噪声低秩矩阵的完备化问题：给定一个大型低秩矩阵的部分和噪声元素，目标是忠实而有效地估计底层矩阵。可以说，解决这个问题的最流行的范例之一是凸松弛，它在实践中取得了显着的效果。然而，这种方法的理论支持在噪声环境中仍然远远不是最佳的，无法解释其经验上的成功。我们取得了进展，对神秘的凸松弛与随机噪声的实际效果。当未知矩阵的秩和条件数是由一个常数的范围内，我们证明了凸规划方法实现了近最佳的估计误差--在欧氏损失，entrywise损失，和频谱范数损失-在很宽的范围内的噪声水平。所有这些都是通过将凸松弛与非凸Burer-Monteiro方法连接起来实现的，这是一种看似独特的算法范例，可证明对噪声具有鲁棒性。更具体地说，我们表明，一个近似的临界点的非凸制定作为一个非常紧密的近似凸的解决方案，从而使我们能够转移所需的统计保证的非凸的方法，其凸对应。
2019-10-07 cs.IT cs.LG math.IT
Stochastic Optimization Algorithms for Problems with Controllable Biased Oracles
Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）；The Ohio State University（俄亥俄州立大学）
本文提出了一种针对具有可控偏置Oracle问题的随机优化算法，通过调整偏置控制参数以达到 stationary 点，并在非凸情况下分析其性能。
2026-09-17 math.OC
Stochastic Approximation for Expectation Objective and Expectation Inequality-Constrained Nonconvex Optimization
针对目标函数与不等式约束均含噪声的非凸优化问题，提出基于 Ghost 框架、罚函数序贯凸规划和 Monte Carlo 估计的随机逼近方法，并证明几乎必然收敛。
2025-07-28 math.OC
Nonconvex Deterministic Matrix Completion by Projected Gradient Descent Methods
本文研究基于 Ramanujan 图采样的确定性矩阵补全，提出投影梯度下降及其缩放变体，证明在良性初始化下分别以依赖和独立于条件数的线性速率收敛，并用数值实验验证。
2024-01-12 cs.IT math.IT math.OC
Phase retrieval and matrix sensing via benign and overparametrized nonconvex optimization
CERMICS, CNRS, ENPC, Institut Polytechnique de Paris（CERMICS，法国国家科学研究中心，国立巴黎高等电信学校，巴黎理工学院）
本文研究了非凸优化算法在相位恢复及更一般的半定低秩矩阵感知问题中的应用，通过分析四次幂Burer-Monteiro因子最小二乘优化问题的非凸景观，证明适度过参数化可实现最优统计样本复杂度和误差。
2026-04-17 math.OC math.ST stat.TH
Learning-Based Surrogate Method for Stochastic Optimization under Decision-Dependent Uncertainty with Adaptive Random Designs
Tsinghua University（清华大学）
本研究提出基于学习的代理模型与自适应随机设计，解决决策依赖不确定性下的非凸非光滑随机优化问题，L-SPL算法提升样本效率并降低目标值。
2026-09-11 math.OC stat.ML
The effect of smooth parametrizations on nonconvex optimization landscapes
本文提出研究光滑参数化如何改变非凸优化景观的通用框架，证明临界点关系主要由参数化而非代价函数决定，并为低秩优化、Burer-Monteiro、神经网络训练等提供新保证。
2024-03-04 cs.NA math.NA math.OC
Local and Global Convergence of General Burer-Monteiro Tensor Optimizations
张量优化对于大规模机器学习和信号处理任务至关重要。在本文中，我们考虑张量优化与凸和良好的条件目标函数，并将其转化为一个非凸优化使用Burer-Monteiro型参数化。我们分析了将香草梯度下降应用于因子化公式的局部收敛，并在温和的假设下建立了局部正则性条件。我们还提供了一个线性收敛分析的梯度下降算法开始在附近的真正的张量因子。作为对局部分析的补充，本文还刻画了最佳秩一张量逼近问题的全局几何特征，并证明了对于正交可分张量，该问题没有虚假的局部极小值，并且除了在零处的一个三阶鞍点外，所有的鞍点都是严格的.
2022-02-17 cs.IT math.IT math.OC
