autoMALA: Locally adaptive Metropolis-adjusted Langevin algorithm
针对MALA在复杂目标分布下步长选择困难的问题，提出基于局部几何自适应调整步长的autoMALA算法，证明了其不变分布正确性，并在实验中展现出优于现有采样器的性能。
2024-02-16 stat.CO
Estimating Stable Fixed Points and Langevin Potentials for Financial Dynamics
本文将几何布朗运动推广为 q 阶多项式漂移的随机微分方程，发现 q=2 通常最优，并通过 MCMC 势函数集成揭示稳定价格的存在。
2023-11-28 physics.data-an q-fin.ST stat.AP
Discussion of "Riemann manifold Langevin and Hamiltonian Monte Carlo methods'' by M. Girolami and B. Calderhead
本技术报告是对B. R. M.朗之万和哈密顿蒙特卡罗方法的讨论的两篇文章的结合。Calderhead和M. Girolami于2010年10月13日在皇家统计学会面前发表，并将出现在皇家统计学会B系列杂志上。第一个评论建立了一个平行的和可能的相互作用与自适应蒙特卡罗方法。第二个评论暴露了一个详细的研究黎曼流形哈密顿蒙特卡罗（RMHMC）的弱可识别的模型提出了一个强脊在其几何形状。
2010-10-30 stat.CO stat.ME stat.ML
Fluctuation without dissipation: Microcanonical Langevin Monte Carlo
提出无耗散的连续时间微正则 Langevin 蒙特卡洛方法，证明其遍历性及指数收敛性，并在格点模型中展现出优于 HMC 的加速效果。
2025-05-04 cond-mat.stat-mech hep-lat stat.CO
Geometrically adapted Langevin dynamics for Markov chain Monte Carlo simulations
马尔可夫链蒙特卡罗（MCMC）是从给定的概率分布进行采样的最强大的方法之一，其中大都会调整朗之万算法（MALA）是其中使用分布的梯度以实现更快收敛的变体。然而，被设置在欧几里德的框架，MALA可能会表现不佳，在高维问题或在那些涉及各向异性密度的潜在的非欧几里德方面的几何形状的样本空间仍然没有考虑。我们利用微分几何和黎曼流形上的随机分析的概念，对一个具有非平凡漂移项的随机微分方程进行几何适应。这种适应也被称为随机发展。我们将这种方法具体应用到朗之万扩散方程，并在几何适应朗之万动力学。这种新方法远远优于MALA，MALA的某些流形变体，以及其他方法，如哈密顿蒙特卡罗（HMC），其自适应变体无U形转弯采样器（NUTS）在斯坦实现，特别是当问题的维度增加时，通常GALA实际上是唯一成功的方法。这是证明通过几个数值例子，包括参数估计的广泛的一类概率分布和逻辑斯谛回归问题。
2022-01-20 stat.AP stat.CO
Federated Averaging Langevin Dynamics: Toward a unified theory and new algorithms
École Polytechnique（巴黎综合理工学院）；Lagrange Mathematics and Computing Research Center（拉格朗日数学与计算研究中心）；Institut Polytechnique de Paris（巴黎理工学院）
本文主要研究联邦学习环境下的贝叶斯推断。虽然已经提出了几个分布式MCMC算法，很少考虑FL的具体限制，如通信瓶颈和统计异质性。最近，引入了联合平均朗之万动力学（Federated Averaging Langevin Dynamics，简称FMD），其将联合平均算法扩展到贝叶斯推断。我们得到了一个新的紧的非渐近上界的瓦瑟斯坦距离的全球后验的Wasserstein D。该界限突出了统计异质性的影响，这会导致局部更新的漂移，从而对收敛产生负面影响。我们提出了一个新的算法VR-VRND *，使用控制变量来纠正客户端漂移。我们建立了非渐近界，表明VR-ADVD * 不受统计异质性的影响。最后，我们说明了我们的结果在几个FL基准贝叶斯推断。
2022-10-31 cs.LG stat.ML
Quantifying the mini-batching error in Bayesian inference for Adaptive Langevin dynamics
CERMICS, Ecole des Ponts（巴黎桥路学校 CERMICS 实验室）；Inria Paris（法国国家信息与自动化研究所巴黎中心）
贝叶斯推断允许获得关于模型参数的有用信息，无论是在计算统计学中还是最近在贝叶斯神经网络的上下文中。在贝叶斯推断中，用于采样后验律的常用蒙特卡罗方法的计算成本与数据点的数量成线性比例。将其减少到该成本的一小部分的一个选项是采用mini-slave结合朗之万动力学的未调整离散化，在这种情况下，仅使用数据的随机部分来估计梯度。然而，这导致动态中的附加噪声，并且因此导致对由马尔可夫链采样的不变测量的偏差。我们提倡使用所谓的自适应朗之万动力学，这是一个标准的惯性朗之万动力学的修改与动态摩擦，自动纠正从迷你噪音所产生的增加。我们调查的实际相关性的假设支撑自适应Langevin（恒定协方差的梯度估计，高斯miniquisite噪声），这是不满意的贝叶斯推断的典型模型，并量化在这种情况下miniquisite引起的偏见。我们还提出了一个可能的扩展AdL，以进一步减少偏见的后验分布，通过考虑动态摩擦取决于当前值的参数样本。
2023-03-01 cs.LG stat.ML
Covariance-Controlled Adaptive Langevin Thermostat for Large-Scale Bayesian Sampling
University of Edinburgh（爱丁堡大学）
贝叶斯后验推理的蒙特卡罗抽样是机器学习中常用的方法。所使用的马尔可夫链蒙特卡罗程序通常是相关随机微分方程（SDEs）的离散时间模拟。这些随机微分方程保证所需的后验分布不变。当前研究的一个领域是在这种情况下随机梯度方法的计算优势。现有技术依赖于估计子采样误差的方差或协方差，并且通常假设方差恒定。在这篇文章中，我们提出了一个协方差控制的自适应Langevin恒温器，可以有效地消散参数相关的噪声，同时保持所需的目标分布。所提出的方法实现了大规模机器学习应用程序的流行的替代方案的大幅加速。
2020-02-12 cs.LG stat.ML
Adaptive Stochastic Gradient Langevin Dynamics: Taming Convergence and Saddle Point Escape Time
Iowa State University（爱荷华州立大学）
在本文中，我们提出了一个新的自适应随机梯度Langevin动力学（ASGLD）算法框架和它的两个专门版本，即自适应随机梯度（ASG）和自适应梯度Langevin动力学（AGLD），非凸优化问题。所有提出的算法都可以通过最多$O(\log d)$次迭代逃离鞍点，这几乎是无量纲的。此外，我们表明，ASGLD和ASG收敛到最多$O(\log d/ε^4)$迭代的局部最小值。此外，具有全梯度的ASGLD或具有缓慢线性增加的批量大小的ASGLD收敛到局部最小值，迭代以$O(\log d/ε^2)$为界，这优于现有的一阶方法。
2018-05-23 cs.AI cs.LG stat.ML
Adaptively Preconditioned Stochastic Gradient Langevin Dynamics
Columbia University（哥伦比亚大学）
随机梯度朗之万动力学将各向同性梯度噪声注入SGD，以帮助在深度网络的损失景观中导航病理曲率。噪声的各向同性性质导致较差的缩放，并且已经提出了基于高阶曲率信息的自适应方法（诸如Fisher Scoring）来预处理噪声以实现更好的收敛。在本文中，我们描述了一种自适应方法来估计噪声的参数，并进行实验，在著名的模型架构，自适应预处理SGLD方法实现收敛的速度与自适应一阶方法，如亚当，AdaGrad等。
2019-06-12 cs.CV cs.LG stat.ML
Finite-Sample Bounds for Adaptive Inverse Reinforcement Learning using Passive Langevin Dynamics
Department of Electrical & Computer Engineering, Cornell University（康奈尔大学电气与计算机工程系）
本文对用于自适应逆强化学习的被动随机梯度朗之万动力学算法开展有限样本分析，给出2-瓦瑟斯坦距离显式界与核密度估计保证，兼具理论与实践意义。
2025-01-15 cs.LG stat.ML
Adaptive Non-reversible Stochastic Gradient Langevin Dynamics
Cornell University（康奈尔大学）；University of Connecticut（康涅狄格大学）
众所周知，在朗之万动力学算法的梯度中加入任何反对称矩阵都会导致不可逆扩散，从而提高收敛速度。本文提出了一种自适应优化选择反对称矩阵的梯度算法。所得到的算法涉及一个不可逆的扩散算法交叉耦合的随机梯度算法，适应的斜对称矩阵。该算法使用与经典Langevin算法相同的数据。给出了反对称矩阵选择的最优性的弱收敛性证明。在贝叶斯学习和跟踪的例子中，该算法的收敛速度得到了改善。
2020-09-26 cs.LG cs.SY eess.SY
Adaptive Stepsizing for Stochastic Gradient Langevin Dynamics in Bayesian Neural Networks
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）
本文提出 SA-SGLD 方法，通过时间重缩放自适应调整步长，提升贝叶斯神经网络后验采样精度与稳定性。
2026-04-09 cs.LG stat.ML
Langevin Dynamics for Adaptive Inverse Reinforcement Learning of Stochastic Gradient Algorithms
Cornell University（康奈尔大学）；University of Connecticut（康涅狄格大学）
逆强化学习（IRL）旨在通过观察优化代理的响应（估计或动作）来估计优化代理的奖励函数。本文考虑IRL时，观察到多个随机梯度代理产生的奖励函数的梯度的噪声估计。我们提出了一个广义的Langevin动力学算法来估计奖励函数$R(θ)$，具体地说，由此产生的Langevin算法渐近生成样本的分布成比例的$\exp(R(θ))$。建议的IRL算法使用基于内核的被动学习计划。我们还构造了适用于高维数据的IRL的多核被动Langevin算法。所提出的IRL算法的性能示出的例子在自适应贝叶斯学习，逻辑回归（高维问题）和约束马尔可夫决策过程。我们证明了弱收敛的IRL算法使用鞅平均方法。我们还分析了IRL算法在非平稳环境中的跟踪性能，其中效用函数$R(θ)$跳跃随着时间的推移而变化，作为一个缓慢的马尔可夫链。
2021-01-18 cs.LG cs.SY eess.SY
An Adaptive Sampling Framework for Detecting Localized Concept Drift under Label Scarcity
H. Milton Stewart School of Industrial & Systems Engineering（H. Milton Stewart工业与系统工程学院）；Georgia Institute of Technology（佐治亚理工学院）；EDF Trading（EDF交易）
针对动态工业环境中标签稀缺和局部概念漂移问题，提出结合基于残差的探索与利用及EWMA监控的自适应采样框架，在标注预算约束下高效提升了漂移检测准确性与标签效率。
2025-11-04 cs.LG stat.ML
Fisher information dissipation for time inhomogeneous stochastic differential equations
Florida State University（佛罗里达州立大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of South Carolina（南卡罗来纳大学）
该研究针对时间非齐次变系数随机微分方程开展Lyapunov收敛分析，通过修正梯度流表述、选取时间依赖相对Fisher信息泛函并提出Hessian矩阵条件，证明了三类典型Langevin动力学的收敛性并通过数值算例验证。
2024-02-01 cs.LG math.PR stat.ML
Beta Distribution Drift Detection for Adaptive Classifiers
TU Darmstadt（达姆施塔特工业大学）
随着今天丰富的数据流，我们唯一可以依赖的常数是变化。对于流分类算法来说，需要适应概念漂移。这可以通过监视模型误差并在发生变化时触发反措施来实现。在本文中，我们提出了一种漂移检测机制，它将beta分布拟合到模型误差，并将异常行为视为漂移。它适用于任何给定的模型，利用有关此模型的先验知识，并允许设置特定于应用程序的置信度阈值。实验证实，它表现良好，特别是当漂移突然发生。
2018-11-27 cs.LG stat.ML
Langevin-Informed Transfer Learning: Replacing Target Samples by Black-Box Feedback
Istituto Italiano di Tecnologia（意大利理工学院）；University of Novi Sad（诺维萨德大学）；CMAP-Ecole Polytechnique（巴黎综合理工学院应用数学中心）；Télécom Sud-Paris（巴黎南电信学院）；Université Paris Nanterre（巴黎南泰尔大学）；University College London（伦敦大学学院）
提出 Langevin 信息迁移学习（LITL），利用黑盒反馈从有偏源样本恢复目标 Langevin 动力学，学习谱结构与投影漂移，具备有限样本保证，并在分子模拟、生成模型和神经网络潜在引导中验证了有效性。
2026-10-02 cs.LG stat.ML
Polygonal Unadjusted Langevin Algorithms: Creating stable and efficient adaptive algorithms for neural networks
UNIST（蔚山科学技术院）；The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（图灵研究所）；National Technical University of Athens（雅典国家技术大学）
本文提出基于 Langevin 与 SDE 多边形近似的新型自适应优化器 TheoPouLa，给出非渐近收敛保证，并通过多类深度学习实验证明其优于主流自适应优化算法。
2024-03-02 cs.LG math.OC math.PR
Taming neural networks with TUSLA: Non-convex learning via adaptive stochastic gradient Langevin algorithms
Alfréd Rényi Institute of Mathematics（阿尔弗雷德·雷尼数学研究所）；The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）；National Technical University of Athens（雅典国立技术大学）
人工神经网络（ANN）通常是高度非线性的系统，其经由其相关联的非凸损失函数的优化而被精细地调谐。在许多情况下，任何这样的损失函数的梯度具有超线性增长，使得基于欧拉数值方案的广泛接受的（随机）梯度下降方法的使用成为问题。我们提供了一个新的学习算法的基础上适当构造的流行的随机梯度Langevin动力学（SGLD），这是所谓的驯服的未调整的随机Langevin算法（TUSLA）的变体。我们还提供了一个非渐近分析的新算法的收敛特性的背景下，非凸学习问题的使用人工神经网络。因此，我们提供有限的时间保证TUSLA找到经验和人口风险的近似最小化。TUSLA算法的根源是基于\citet{tamed-euler, SabanisAoAP}中开发的超线性系数扩散过程的驯服技术和\citet{tula}中的MCMC算法。数值实验证实了理论研究结果，并说明需要使用的新算法相比，香草SGLD的框架内的人工神经网络。
2023-01-15 cs.LG math.OC math.PR
Penalized Langevin dynamics with vanishing penalty for smooth and log-concave targets
CREST（CREST（经济与统计研究中心））；ENSAE（巴黎国立统计与经济管理学院）；IP Paris（巴黎理工学院）
研究了由凸光滑势函数定义的$\mathbb R^p$上的概率分布的抽样问题。我们考虑一个连续时间的扩散型过程，被称为惩罚朗之万动力学（PLD），其中的漂移是负梯度的潜力加上线性惩罚，消失时，时间趋于无穷大。建立在时间$t$的PLD的分布与目标之间的Wasserstein-2距离的上界。该上界突出了惩罚的衰减速度对近似精度的影响。因此，考虑到低温限制，我们推断一个新的非渐近保证收敛的惩罚梯度流的最优化问题。
2020-06-24 cs.LG math.ST stat.ML
Improving the stability of the covariance-controlled adaptive Langevin thermostat for large-scale Bayesian sampling
School of Mathematics, University of Birmingham（数学系，伯明翰大学）
本文提出改进的CCAdL热力学以提升大规模贝叶斯采样中的稳定性与精度。
2025-12-30 cs.LG stat.CO stat.ME
Error estimates for tamed Euler and Randomized Euler schemes for SDEs with locally Lipschitz drift with applications to non-logconcave sampling and optimization
Archimedes, Athena Research Center（阿基米德雅典研究中心）；National Technical University of Athens（雅典国立技术大学）
针对具有局部Lipschitz超线性增长漂移的随机微分方程，提出KL加速驯服未调整Langevin算法(kTULA)和驯服随机中点方案(tRLMC)，基于移位-组合方法建立局部误差框架，得到有限时间非渐近误差估计，并在对数Sobolev不等式下实现近最优迭代复杂度。
2026-05-24 cs.NA math.NA math.OC
Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics
随机梯度朗之万动力学（SGLD）是一种用于优化非凸目标的强大算法，其中将受控且适当缩放的高斯噪声添加到随机梯度以将迭代转向全局极小值。SGLD基于过阻尼Langevin扩散，其在时间上是可逆的。通过在过阻尼Langevin扩散的漂移项上增加一个反对称矩阵，得到了一个不可逆扩散，该扩散以更快的收敛速度收敛到相同的平稳分布。本文研究了基于不可逆Langevin扩散离散化的不可逆随机梯度Langevin动力学（NSGLD）。对于求解随机非凸优化问题，我们给出了NSGLD的整体收敛的有限时间性能界。我们的研究结果导致人口和经验风险最小化问题的非渐近保证。贝叶斯独立成分分析和神经网络模型的数值实验表明，NSGLD可以优于SGLD适当选择的反对称矩阵。
2020-06-02 math.OC stat.ML
Preconditioned Stochastic Gradient Langevin Dynamics for Deep Neural Networks
深度神经网络的有效训练面临两个主要问题。首先，这些模型的参数空间表现出病态曲率。最近的方法解决这个问题，使用自适应预处理随机梯度下降（SGD）。这些方法通过适应参数空间的局部几何形状来提高收敛性。第二个问题是过度拟合，通常通过提前停止来解决。然而，最近的工作表明，贝叶斯模型平均缓解了这个问题。后验可以通过使用随机梯度朗之万动力学（SGLD）进行采样。然而，快速变化的曲率使得默认SGLD方法效率低下。在这里，我们建议将自适应预处理器与SGLD相结合。为了支持这一思想，我们给出了渐近收敛和预测风险的理论性质。我们还提供了逻辑斯谛回归、前馈神经网络和卷积神经网络的经验结果，证明了我们的预处理SGLD方法在这些模型上具有最先进的性能。
2015-12-23 stat.ML
A Contour Stochastic Gradient Langevin Dynamics Algorithm for Simulations of Multi-modal Distributions
Purdue University（普渡大学）
我们提出了一种自适应加权随机梯度Langevin动态算法（SGLD），即所谓的轮廓随机梯度Langevin动态（CSGLD），用于大数据统计中的贝叶斯学习。该算法本质上是一个\emph{scalable dynamic importance sampler}，它自动\emph{flattens}的目标分布，这样的多模态分布的模拟可以大大方便。在理论上，我们证明了一个稳定性条件，并建立了自适应参数渐近收敛于{ \it唯一不动点}，而不考虑原能量函数的非凸性;我们还给出了加权平均估计的误差分析。经验上，CSGLD算法在包括CIFAR 10和CIFAR 100在内的多个基准数据集上进行了测试。数值实验结果表明，该算法在避免深度神经网络训练中的局部陷阱问题方面具有优越性。
2022-05-23 cs.LG stat.CO stat.ML
Reservoir of Diverse Adaptive Learners and Stacking Fast Hoeffding Drift Detection Methods for Evolving Data Streams
University of Ottawa（渥太华大学）；National Research Council (NRC) of Canada（加拿大国家研究委员会）
在过去的十年中，人们对用于数据流分类的自适应学习算法的兴趣激增，其应用范围从预测臭氧水平峰值，学习股票市场指标到检测计算机安全违规行为。此外，已经开发了一些方法来检测这些流中的概念漂移。考虑一个场景，我们有许多具有不同学习风格和不同漂移检测器的分类器。直觉上，当前的“最佳”（分类器，检测器）对是依赖于应用的，并且可以作为流演进的结果而改变。我们的研究建立在这一观察基础上。我们介绍的$\mbox{Tornado}$框架，实现了不同的分类器，连同各种漂移检测算法的水库。在我们的框架中，所有（分类器，检测器）对进行，并行，构建模型对不断变化的数据流。在任何时间点，我们选择当前产生最佳性能的对。我们还将两个新的堆叠为基础的漂移检测方法，即$\mbox{FHDDMS}$和$\mbox{FHDDMS}_{add}$的方法。实验评估证实，当前的“最佳”（分类器，检测器）对不仅严重依赖于流的特性，而且这种选择随着流的流动而演变。此外，我们的$\mbox{FHDDMS}$变体可以及时准确地检测概念漂移，同时优于最先进的技术。
2017-09-07 cs.DB cs.LG stat.ML
Direct Estimation of Schrödinger Bridge Time-Series Drifts: Finite-Sample, Asymptotic, and Adaptive Guarantees
LPSM, Sorbonne Université and Université Paris Cité（巴黎-萨克雷大学LPSM及巴黎城市大学）；École Polytechnique, CMAP（巴黎政治学院CMAP）
本文研究了从单时间区间观测的i.i.d.数据中非参数估计Schrödinger桥（SB）漂移的方法，提出了一种基于核化的Nadaraya-Watson插值估计器，并在不同条件下证明了其非渐近性界、CLT和自适应带宽选择的最优性。
2026-05-06 cs.LG math.ST stat.ML
