Sufficient Descent Riemannian Conjugate Gradient Method
本文考虑带线搜索算法的充分下降黎曼共轭梯度法。提出了两类充分下降的非线性共轭梯度法，并证明了这两类方法在黎曼流形上也满足充分下降条件。一种是Fletcher-Reeves型方法与Polak-Ribiere-Polyak型方法相结合的混合方法，另一种是Hager-Zhang型方法，这两种方法都是欧几里得空间中方法的推广。同时，我们推广了欧几里得空间中两种常用的线搜索算法。此外，我们数值比较我们的广义方法通过解决几个黎曼最优化问题。结果表明，所提出的混合方法的性能很大程度上取决于线搜索的类型。同时，Hager-Zhang-type方法具有快速收敛特性，而与使用的线搜索类型无关。
2021-04-27 math.OC
Bridging the Gap between Constant Step Size Stochastic Gradient Descent and Markov Chains
我们考虑最小化的目标函数访问其梯度的无偏估计通过随机梯度下降（SGD）与恒定步长。虽然只对二次函数进行了详细的分析，但我们提供了平均SGD迭代的矩的显式渐近展开，概述了对初始条件的依赖性，噪声和步长的影响，以及在一般（非二次）情况下缺乏收敛性。为此，我们将马尔可夫链理论的工具引入到随机梯度的分析中。然后，我们表明，Richardson-Romberg外推可以用来更接近全局最优，我们展示了新的外推方案的经验改进。
2018-04-11 math.OC stat.ML
Regularized Gradient Descent Ascent for Two-Player Zero-Sum Markov Games
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工大学）
研究了两人零和马尔可夫博弈的纳什均衡问题。由于其公式化为极大极小优化程序，解决该问题的自然方法是以交替方式相对于每个玩家执行梯度下降/上升。然而，由于底层目标函数的非凸性/非线性，对该方法的理论理解是有限的。在我们的论文中，我们考虑解决马尔可夫博弈的熵正则化的变体。正则化将结构引入优化景观，使解决方案更可识别，并允许更有效地解决问题。我们的主要贡献是表明，在适当的正则化参数的选择，梯度下降上升算法收敛到原来的非正则化问题的纳什均衡。我们明确地描述了我们的算法，大大提高了现有的收敛范围的梯度下降上升算法没有正则化的最后一个周期的有限时间性能。最后，我们补充的分析与数值模拟，说明加速收敛的算法。
2022-10-12 cs.LG math.OC
Markov Chain Mirror Descent On Data Federation
Medical Big Data Research Center（医疗大数据研究中心）；Chinese PLA General Hospital（中国人民解放军总医院）
针对联邦学习中样本呈马尔可夫依赖的问题，提出 MarchOn 随机镜像下降方法及新分析框架，在凸、强凸和非凸损失下获得最优收敛速率并经实验验证。
2023-09-26 cs.LG math.OC
Markov Chain Block Coordinate Descent
National University of Defense Technology（国防科技大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
块坐标梯度下降法（BCD）是求解大规模优化问题的一种有效方法。本文考虑的BCD方法，连续更新一系列的块选择根据马尔可夫链。这种区块选择既不是独立同分布的。随机的或循环的。另一方面，它也是分布式优化和马尔可夫决策过程等应用的自然选择，其中i.i.d.随机和循环选择要么是不可行的要么是非常昂贵的。利用马尔可夫链的混合时间性质，证明了马尔可夫链BCD对极小化非凸Lipschitz可微函数的收敛性.当函数是凸的和强凸的时，我们分别建立了次线性和线性收敛速率。本文还提出了一种马尔可夫链惯性BCD方法。最后，我们讨论了潜在的应用。
2018-11-22 cs.LG math.OC stat.ML
Decentralized Markov Chain Gradient Descent
National University of Defense Technology（国防科技大学）
分散随机梯度法是解决大规模机器学习问题的一种有效方法。本文研究了分散马尔可夫链梯度下降（DMGD）算法-分散随机梯度法的一种变体，其中随机样本沿马尔可夫链的轨迹。当获得独立样本的成本很高或不可能时，这种设置是有充分动机的，这排除了传统随机梯度算法的使用。具体来说，我们考虑一阶和零阶版本的分散马尔可夫链梯度下降在一个连接的网络，其中每个节点只与它的邻居关于中间结果进行通信。所提出的算法的非遍历收敛性和遍历收敛速度已被严格建立，并已强调其关键依赖于网络拓扑结构和混合时间的马尔可夫链。数值试验进一步验证了算法的采样效率。
2021-04-13 cs.LG cs.NA math.NA
A Markov Chain Theory Approach to Characterizing the Minimax Optimality of Stochastic Gradient Descent (for Least Squares)
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
这项工作提供了一个简化的证明统计极小极大最优性（平均）随机梯度下降（SGD），为特殊情况下的最小二乘。这一结果是通过将SGD分析为随机过程并通过精确地表征该过程的平稳协方差阵而获得的。有限速率最优性表征捕获了常数因子并解决了模型错误指定。
2018-07-21 cs.LG math.OC stat.ML
Policy Mirror Descent with Temporal Difference Learning: Sample Complexity under Online Markov Data
Wenye Li（李文悦）；Hongxu Chen（陈红旭）；Jiacai Liu（刘家才）；Ke Wei（魏凯）
本文提出基于时间差学习的策略镜像下降算法，通过自适应步长实现在线马尔可夫数据下的样本复杂性优化。
2025-12-30 cs.LG math.OC
Stochastic Mirror Descent under Iterate-Dependent Markov Noise: Analysis in the Asymptotic and Finite Time Regimes
Indian Institute of Science（印度科学学院）
本文研究了在决策变量依赖的马尔可夫噪声下的随机优化问题，分析了随机镜像下降算法在凸和非凸问题中的收敛性，得出了样本复杂度和有限时间集中界。
2026-05-15 cs.SY eess.SY math.OC
A Preconditioned Descent Algorithm for Variational Inequalities of the Second Kind Involving the $p$-Laplacian Operator
Escuela Politécnica Nacional（国立理工学院）；Research Center on Mathematical Modeling (ModeMat)（数学建模研究中心）
本文提出了一种预条件下降法用于求解包含$p$-拉普拉斯算子的第二类变分不等式，并分析了该方法在函数空间中的收敛性。
2017-11-10 cs.NA math.NA math.OC
Langevin algorithms for Markovian Neural Networks and Deep Stochastic control
Sorbonne Université（索邦大学）
随机梯度下降朗之万动力学（SGLD）算法，它添加噪声到经典的梯度下降，是已知的，以改善神经网络的训练，在某些情况下，神经网络是非常深的。在本文中，我们研究了训练加速的可能性，通过梯度下降的数值分辨率的随机控制问题，其中控制参数化的神经网络。如果在许多离散化时间应用控制，则解决随机控制问题减少到最小化非常深的神经网络的损失。我们数值计算表明，朗之万算法提高了训练的各种随机控制问题，如对冲和资源管理，并为不同的选择梯度下降方法。
2023-01-13 cs.LG math.OC q-fin.CP
Online covariance estimation for stochastic gradient descent under Markovian sampling
University of California San Diego（加州大学圣迭戈分校）；University of California, Davis（加州大学戴维斯分校）
该研究针对马尔可夫采样下的SGD提出在线重叠批均值协方差估计器，推导了匹配i.i.d场景最优水平的收敛速度，还得到SGD误差矩的相关结果，并通过数值实验和策略分类应用验证了方法的有效性。
2023-11-05 cs.LG math.OC math.ST
Convergence of Markov Chains for Constant Step-size Stochastic Gradient Descent with Separable Functions
本文针对一类可分非凸目标函数的恒定步长SGD，证明其马尔可夫链满足杜布林型分解，不变测度集为全局吸引子且几何收敛，揭示了扩散近似失效、全局最小值可被迭代偏离等现象。
2025-03-24 cs.NA math.DS math.NA
Computing Stationary Distribution via Dirichlet-Energy Minimization by Coordinate Descent
Centre Inria d’Université Côte d’Azur（蔚蓝海岸大学Inria中心）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出基于优化的RLGL算法，用于大马尔可夫链平稳分布的计算，并通过坐标下降法实现指数收敛性。
2026-03-06 math.OC math.PR
First-order sensitivity of the optimal value in a Markov decision model with respect to deviations in the transition probability function
实际应用中使用的马尔可夫决策模型（MDM）通常没有底层的“真正”MDM复杂。模型复杂性的降低是出于几个原因。然而，很明显，了解哪种模型简化是合理的（关于最优值），哪种是不合理的是有意义的。在这篇文章中，我们提出了一种方法来解决这个问题。我们引入了一种最优值的导数作为转移概率的函数，它可以用来度量最优值对转移概率的（一阶）灵敏度。转移概率的变化。“可微性”是为一个相当广泛的MDM类获得的，“导数”是明确规定的。我们的理论研究结果说明了库存控制和数学金融中的最优化问题。
2019-09-17 math.OC
Optimal Convergence Rate for Exact Policy Mirror Descent in Discounted Markov Decision Processes
Imperial College London（伦敦帝国学院）；University of Oxford（牛津大学）
本文研究了精确策略评估下策略镜像下降（PMD）的收敛性，证明在自适应步长下无正则化PMD可实现与策略迭代相同的最优折扣因子$γ$速率，并扩展至不精确设置以改进样本复杂度。
2023-11-21 cs.LG math.OC math.ST
Polymatrix Competitive Gradient Descent
California Institute of Technology（加州理工学院）；Georgia Institute of Technology（佐治亚理工学院）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Nvidia（英伟达）
许多经济游戏和机器学习方法可以被视为竞争性优化问题，其中多个代理最小化其各自的目标函数，这取决于所有代理的动作。虽然梯度下降是单智能体优化的可靠的基本主力，但它经常导致竞争优化中的振荡。在这项工作中，我们提出了多矩阵竞争梯度下降（PCGD）作为一种方法来解决一般和竞争优化涉及任意数量的代理。我们的方法的更新获得的纳什均衡的局部多项式矩阵近似的二次正则化，可以有效地计算通过求解线性方程组。我们证明了局部收敛的PCGD稳定不动点的$n$球员一般和游戏，并表明，它不需要适应步长的球员的相互作用的强度。我们使用PCGD优化多智能体强化学习中的策略，并在Snake，马尔可夫足球和电力市场游戏中展示了其优势。在Snake和Markov足球比赛中，PCGD训练的代理优于同时梯度下降，辛梯度调整和extragradial训练的代理，在电力市场游戏中，PCGD训练速度比同时梯度下降和extragradial方法都快。
2021-11-16 cs.LG cs.MA math.OC
Applications of Finite Markov Chain Models to Management
马尔可夫链为研究和数学建模某种依赖于随机变量的情况提供了理想的条件。对应理论的基本概念是由马尔可夫在1907年提出的关于文学文本编码的理论。从那时起，马尔可夫链理论是由一些领先的数学家，如Kolmogorov，Feller等开发的，然而，只有从20世纪60年代的重要性，这一理论的自然，社会和大多数其他应用科学已经认识到。在这篇评论文章中，我们提出了有限的马尔可夫链的管理问题，可以解决的应用，因为大多数的问题，一般的马尔可夫链的应用，通过区分两种类型的链，遍历和吸收的。
2016-01-02 math.OC
Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs
深度学习模型通常使用梯度下降成功训练，尽管底层非凸优化问题的最坏情况困难。关键问题是在什么条件下可以证明优化会成功。这里我们提供了一个强有力的结果。我们考虑一个神经网络，它有一个隐藏层和一个没有重叠的卷积结构和一个ReLU激活函数。对于这种架构，我们表明，学习是NP完全的一般情况下，但当输入分布是高斯，梯度下降收敛到全局最优的多项式时间。据我们所知，这是在具有ReLU激活的卷积神经网络上梯度下降的第一个全局最优性保证。
2017-02-26 cs.LG math.OC stat.ML
Optimal Control of Markov Regime-Switching Stochastic Recursive Utilities
本文针对连续时间Markov状态切换随机递归效用模型描述的系统，建立了一个通用的随机最大值原理用于最优控制。假设控制域不是凸的，扩散项依赖于控制变量。为此，我们首先研究了一类经典的正向随机最优控制问题。然后，在已有结果的基础上，引入了两组新的一阶和二阶伴随方程。导出了相应的正倒向随机微分方程的变分方程。特别地，最大值原理中的生成元包含二阶伴随方程的解，这是新颖的。一些有趣的例子，以及总结。
2019-05-01 math.OC
Markovian Compression: Looking to the Past Helps Accelerate the Future
本文提出了一种基于马尔可夫链的压缩方案，用于加速分布式优化，通过在QSGD中引入马尔可夫压缩器，提高了算法效率和收敛速度，并在实验中验证了其优越性。
2026-01-12 math.OC
Primal-Dual Stochastic Mirror Descent for MDPs
研究了无限时域马尔可夫决策过程的最优策略学习问题。为此，本文对具有Lipschitz连续泛函的凸规划问题提出了随机镜像下降的一种变形。一个重要的细节是使用函数约束的不精确值和计算对偶变量值的能力。我们分析了这种算法在一般情况下，并获得估计的收敛速度，不积累错误的操作过程中的方法。使用该算法，我们得到了第一个将平均奖励MDP与生成模型混合而不减少折扣MDP的并行算法。所提出的方法的主要特征之一是在分布式集中式设置中的低通信成本，即使是非常大的网络。
2022-02-27 math.OC stat.ML
Stability of long run functionals with respect to stationary Markov controls
本文研究平稳马尔可夫控制逐点收敛时长期泛函的稳定性，考虑单位时间平均成本与长期风险敏感两类泛函，通过一致遍历性假设及其放宽，结合受控转移概率收敛性分析其依赖性。
2024-11-30 math.OC math.PR
A Fisher-Rao gradient flow for entropy-regularised Markov decision processes in Polish spaces
University of Edinburgh（爱丁堡大学）；Imperial College London（帝国理工学院）
本文针对 Polish 空间中的无限时域熵正则化 MDP，提出 Fisher-Rao 策略梯度流，并借助性能差异引理与对偶关系证明其全局适定性、指数收敛及梯度评估稳定性。
2025-06-06 cs.LG math.OC math.PR
Fast Regularized Policy Mirror Descent with One-Step TD Updates
Fudan University（复旦大学）
本研究分析结合单步TD更新的策略镜像下降算法，证明其在有限折扣MDP中全局线性收敛，并在随机设置下给出无需轨迹重置的样本复杂度保证。
2026-10-01 cs.LG math.OC
Global Convergence Using Policy Gradient Methods for Model-free Markovian Jump Linear Quadratic Control
IIT-Bombay（印度理工学院孟买分校）
由于强化学习在过去几年中的兴趣增长，基于梯度的策略控制方法也在控制问题中越来越受欢迎。这是正确的，因为梯度策略方法具有以端到端的方式优化感兴趣的度量的优势，并且在不完全了解底层系统的情况下相对容易实现。本文研究离散无模型马尔可夫跳变线性系统二次控制的基于梯度的策略优化方法的全局收敛性。我们克服了无数的挑战，因为一个以上的国家加上缺乏知识的系统动力学和显示全局收敛的政策，使用梯度下降和自然的策略梯度方法。我们还提供模拟研究来证实我们的说法。
2021-11-30 cs.LG math.OC
Markov Chain Lifting and Distributed ADMM
Boston College（波士顿学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
提升操作在扩展的状态空间上产生一个新的马尔可夫链，从而大大缩短了有限马尔可夫链收敛到稳定状态的时间。对于一类二次目标，我们展示了一个类似的行为，分布式ADMM算法可以被看作是梯度下降算法的提升。这为最优参数调整下的更快收敛速度提供了深刻的见解。我们推测，这种增益总是存在的，而不是提升的马尔可夫链，有时只提供一个边际加速。
2017-03-10 cs.DS cs.IT cs.LG
Accelerating Primal-dual Methods for Regularized Markov Decision Processes
Stanford University（斯坦福大学）；Amazon Search（亚马逊搜索）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
针对熵正则化马尔可夫决策过程原对偶问题标准一阶法收敛慢的问题，提出二次凸化原对偶表述及新插值度量，实现指数收敛与显著加速，多设置实验验证了性能。
2023-06-12 cs.LG math.OC stat.ML
First-order Policy Optimization for Robust Markov Decision Process
Georgia Institute of Technology（佐治亚理工学院）
该研究针对鲁棒马尔可夫决策过程问题，提出鲁棒策略镜像下降（RPMD）及其随机变体SRPMD，证明了二者的迭代与样本复杂度，为该领域基于策略的一阶方法提供了全新结果。
2023-06-10 cs.AI cs.LG math.OC
A Dual Approach to Constrained Markov Decision Processes with Entropy Regularization
University of California, Berkeley（加州大学伯克利分校）
本文研究了soft-max参数化下的熵正则化约束马尔可夫决策过程（CMDPs），提出了一种加速对偶下降方法，并证明其在最优性间隙和约束违反上均实现了 $\widetilde{\mathcal{O}}(1/T)$ 的全局收敛速率。
2023-04-07 cs.LG math.OC
Markov Decision Processes under Ambiguity
我们考虑统计马尔可夫决策过程中的决策者是风险厌恶对模型的模糊性。后者由影响过渡律和费用函数的未知参数给出。风险厌恶可以通过熵风险度量或平均风险值来衡量。我们展示了如何使用一般的极小极大定理来解决这类问题。在一些连续性和紧凑性的假设下，我们证明了最优（确定性）政策的存在性，并讨论其计算。我们用一个统计决策论的例子来说明我们的结果。
2019-07-04 math.OC math.ST stat.TH
Efficient Model-Based Concave Utility Reinforcement Learning through Greedy Mirror Descent
本文针对CURL问题提出MD-CURL算法，利用非标准正则化实现闭式解和低计算复杂度，并进一步提出在线版本Greedy MD-CURL，在部分未知动态下保证次线性甚至对数遗憾。
2023-11-30 math.OC physics.data-an stat.ML
Gradientless Descent: High-Dimensional Zeroth-Order Optimization
Google Brain（谷歌大脑）
零阶优化是最小化目标$f(x)$的过程，给定oracle访问自适应选择的输入$x$处的评估。在本文中，我们提出了两个简单而强大的无梯度下降（GLD）算法，不依赖于底层的梯度估计和数值稳定。我们从一个新的几何角度分析我们的算法，并提出了一种新的分析，表明收敛在一个$ε$ -球的最佳$O(kQ\log(n)\log(R/ε))$评价，任何单调变换的光滑和强凸的目标与潜在的尺寸$k < n$，其中输入尺寸是$n$，$R$是输入空间的直径和$Q$是条件数。我们的速率是同类中第一个既1）多变量依赖于维数，2）单调变换下不变。我们进一步利用我们的几何视角来表明我们的分析是最优的。单调不变性及其利用低潜在维度的能力是我们的算法取得经验成功的关键，正如BBOB和MuJoCo基准测试所证明的那样。
2020-05-18 cs.LG math.OC stat.ML
Decentralized Stochastic Gradient Descent Ascent for Finite-Sum Minimax Problems
Temple University（天普大学）
针对分布式多节点数据下的有限和极小极大优化问题，提出一种采用方差缩减梯度的去中心化随机梯度下降上升方法，在非凸-强凹情形下获得更优样本与通信复杂度，并通过AUC最大化实验验证有效性。
2024-06-11 cs.LG math.OC stat.ML
Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent
本文研究了固定步长下随机梯度下降的收敛诊断，提出一种基于耦合的动态步长方案，通过监测耦合迭代距离检测平稳性，实现更高效的收敛性能。
2024-12-15 cs.LG math.OC stat.ML
Two-Timescale Stochastic Gradient Descent in Continuous Time with Applications to Joint Online Parameter Estimation and Optimal Sensor Placement
本文在一般的噪声和稳定性条件下，建立了连续时间下两时标随机梯度下降算法的几乎必然收敛，推广了离散时间下的已知结果.我们分析了加性噪声和非加性噪声的算法。在非加性的情况下，我们的分析进行的假设下，噪声是一个连续时间的马尔可夫过程，控制的算法状态。我们考虑的算法可以应用到一个广泛的类的双层优化问题。我们详细研究了这样一个问题，即联合在线参数估计和最优传感器配置的问题的部分观测扩散过程。我们演示了如何可以制定为一个双层优化问题，并提出了一个解决方案的形式，连续时间，两个时标，随机梯度下降算法。此外，在适当的条件下的潜在信号，过滤器，和过滤器的衍生物，我们建立几乎必然收敛的在线参数估计和最佳传感器放置的渐近对数似然和渐近滤波协方差的平稳点，分别。我们还提供了数值例子，说明所提出的方法的应用程序的部分观察Beneavor方程，和部分观察到的随机平流-扩散方程。
2021-09-30 math.OC math.PR math.ST
Stochastic Gradient Descent for Non-smooth Optimization: Convergence Results and Optimal Averaging Schemes
Microsoft Research（微软研究院）；Rutgers University（罗格斯大学）
随机梯度下降（SGD）是最简单、最流行的随机优化方法之一。虽然它已经在理论上研究了几十年，经典的分析通常需要非平凡的光滑性假设，这并不适用于SGD的许多现代应用与非光滑的目标函数，如支持向量机。在本文中，我们调查的性能SGD没有这样的平滑性假设，以及一个运行平均计划转换SGD迭代的解决方案，最佳的优化精度。在这个框架中，我们证明了T轮后，最后的SGD迭代的次优性尺度为O（log（T）/ \sqrt{T}）的非光滑凸目标函数，和O（log（T）/T）的非光滑强凸的情况下。据我们所知，这些是第一种界限，几乎匹配的最小最优率可通过适当的平均计划。我们还提出了一种新的简单的平均方案，它不仅可以获得最佳速率，而且还可以很容易地实时计算（相比之下，Rakhlin等人（2011）提出的后缀平均方案并不容易实现）。最后，我们提供了一些实验说明。
2012-12-28 cs.LG math.OC stat.ML
Independent Reinforcement Learning in Discounted Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对折扣一般和马尔可夫博弈，在假设ETH与PPAD等价下证明独立学习无多项式时间算法，提出首个完全解耦的分层乐观镜像下降算法，保证次指数收敛并开发全反馈与部分反馈版本。
2026-09-02 cs.AI cs.GT cs.LG
Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
策略优化是强化学习（RL）的核心，它通过优化技术最大化价值函数来找到所需的策略。除了价值最大化之外，还出现了其他实际考虑，包括需要鼓励探索，以及由于安全、资源和操作限制而确保学习策略的某些结构属性。这些通常可以通过正则化RL来解释，正则化RL使用结构促进正则化器来增强目标价值函数。针对折扣无限时域马尔可夫决策过程，提出了一种求解正则化RL的广义策略镜像下降（GPMD）算法。作为策略镜像下降（arXiv：2102.00135）的推广，我们的算法适应了一般类的凸正则化，并促进了Bregman散度在使用中的正则化的认知。我们证明了我们的算法在整个学习率的范围内线性收敛到全局解，以无量纲的方式，即使正则化缺乏强凸性和光滑性。此外，这种线性收敛特性在面对不精确的策略评估和不完美的策略更新时是稳定的。数值实验证实了GPMD的良好性能。
2023-01-10 cs.IT cs.LG math.IT
Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent
Northeastern University（东北大学）；Michigan State University（密歇根州立大学）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文首次在梯度下降（而非梯度流）下严格证明了管状张量分解的隐式正则化，表明小随机初始化会使超参数化模型偏向低管状秩解，并通过数值模拟验证了理论动态与初始化的重要性。
2024-10-21 cs.LG math.OC math.ST
