Policy Optimization with Stochastic Mirror Descent
Zhejiang University（浙江大学）；Netease Games AI Lab（网易游戏人工智能实验室）；Nanyang Technological University（南洋理工大学）；Harvard Medical School（哈佛医学院）
提高样本效率一直是强化学习的长期目标。提出了一种基于随机镜像下降的样本有效策略梯度方法--$\mathtt{VRMPO}$算法。在$\mathtt{VRMPO}$中，提出了一种新的方差缩减策略梯度估计器，以提高样本效率。我们证明了所提出的$\mathtt{VRMPO}$只需要$\mathcal{O}(ε^{-3})$样本轨迹，以实现一个$ε$近似的一阶平稳点，匹配的最佳样本复杂度的政策优化。大量的实验结果表明，$\mathtt{VRMPO}$优于国家的最先进的策略梯度方法在各种设置。
2022-02-09 cs.LG stat.ML
Banker Online Mirror Descent
我们提出了银行家OMD，一个新的框架，推广了经典的在线镜像下降（OMD）技术在在线学习算法设计。Banker-OMD允许算法鲁棒地处理延迟反馈，并提供了在各种延迟反馈在线学习任务中实现$\tilde{O}(\sqrt{T} + \sqrt{D})$式后悔界限的一般方法，其中$T$是时间范围长度，$D$是总反馈延迟。我们展示了银行家OMD的力量与应用程序的三个重要的土匪的情况下，延迟反馈，包括延迟对抗多武装土匪（MAB），延迟对抗线性土匪，和一个新的延迟最好的两个世界MAB设置。Banker-OMD在所有三种设置中均实现了接近最佳的性能。特别是，它导致了第一个延迟对抗线性强盗算法实现$\tilde{O}(\text{poly}(n)(\sqrt{T} + \sqrt{D}))$遗憾。
2023-01-26 cs.LG stat.ML
An analysis of Mirror-Descent Soft Actor-Critic
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）；INRIA（法国国家信息与自动化研究所）
本文证明镜像下降软演员-评论家算法在连续动作空间中的收敛性，推导演员目标强凸光滑条件，获得O(N^(-1/5))最优迭代收敛率，并指出镜像下降步长控制目标漂移优于吉布斯目标。
2026-10-06 cs.LG math.OC stat.ML
Learning mirror maps in policy mirror descent
Department of Statistics University of Oxford（统计系牛津大学）；FLAIR University of Oxford（FLAIR牛津大学）
本文通过实证研究发现，传统镜像映射（如NPG）在强化学习中效果有限，利用进化策略学习更高效的镜像映射可提升PMD性能，尤其在复杂环境中表现更优。
2026-01-06 cs.LG math.OC stat.ML
Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent
Laboratory for Big Data and Decision（大数据与决策实验室）；National University of Defense Technology（国防科技大学）；Samsung AI Center Cambridge（三星AI研究中心）；Queen Mary University of London（伦敦玛丽女王大学）；Fudan University（复旦大学）；ShanghaiTech University（上海科技大学）；Shanghai Innovation Institute（上海创新研究院）
本文提出了一种随机均值流策略（SMFP），通过均值流变换将高斯噪声映射到动作，以实现可训练的生成策略，从而在离线策略镜降框架下实现探索性且稳定的改进。
2026-10-12 cs.AI cs.LG
Robust Imitation via Mirror Descent Inverse Reinforcement Learning
Seoul National University（首尔国立大学）；Artificial Intelligence Institute（人工智能研究院）
最近，对抗性模仿学习已经展示了一种用于逆强化学习（IRL）问题的可扩展奖励获取方法。然而，估计的奖励信号往往变得不确定，并不能训练一个可靠的统计模型，因为现有的方法往往直接解决困难的优化问题。受一阶优化方法镜像下降的启发，本文提出了预测一系列奖励函数，这是一个约束凸问题的迭代解。IRL的解决方案来自镜像下降是宽容的目标密度估计所引起的不确定性，因为奖励学习的量是相对于局部几何约束进行调节。我们证明，建议的镜像下降更新规则，确保鲁棒性最小化的Bregman分歧方面的一个严格的遗憾界的$\mathcal{O}(1/T)$步长$\{η_t\}_{t=1}^{T}$。我们的IRL方法应用于对抗框架之上，并且在一系列广泛的基准测试中优于现有的对抗方法。
2023-01-05 cs.LG
Efficiently Solving MDPs with Stochastic Mirror Descent
Stanford University（斯坦福大学）
提出了一个基于原始对偶随机镜像下降的统一框架，用于近似求解给定生成模型的无限时域马尔可夫决策过程（MDP）。当应用于具有$A_{tot}$总状态-动作对和混合时间界限$t_{mix}$的平均回报MDP时，我们的方法计算具有来自状态转移矩阵的预期$\widetilde{O}(t_{mix}^2 A_{tot} ε^{-2})$样本的$ε$ -最优策略，去除了现有技术的遍历依赖性。当应用于具有$A_{tot}$总状态-动作对的$γ$ -折扣MDP时，我们的方法计算具有预期$\widetilde{O}((1-γ)^{-4} A_{tot} ε^{-2})$样本的$ε$ -最优策略，与先前的最新技术水平相匹配，直到达到$(1-γ)^{-1}$因子。这两种方法都是无模型的，同时更新状态值和策略，并且在时间上与所取样本的数量成线性关系。我们实现这些结果通过一个更一般的随机镜像下降框架解决双线性鞍点问题的单纯形和盒域，我们证明了这个框架的灵活性，通过提供进一步的应用程序，以约束MDPs。
2020-08-28 cs.DS cs.LG math.OC
On the Effect of Regularization in Policy Mirror Descent
本文通过在小型强化学习环境中运行超50万训练种子的大规模实证分析，研究了PMD中距离项与MDP正则化器的相互作用，发现两者的精确组合对实现鲁棒性能至关重要。
2025-07-11 cs.LG
Heterogeneous Multi-Agent Reinforcement Learning via Mirror Descent Policy Optimization
Tarbiat Modares University（塔比阿特莫达勒斯大学）
针对异构协作 MARL 中智能体能力与策略不同的问题，提出 HAMDPO，利用多智能体优势分解和信赖域近似更新实现稳定单调改进，并在 MuJoCo、StarCraftII 上优于 HATRPO 与 HAPPO。
2023-08-13 cs.AI cs.LG cs.MA
Policy Search using Dynamic Mirror Descent MPC for Model Free Off Policy RL
Indian Institute of Science（印度科学研究所）
强化学习（RL）的最新研究将无模型（Mf）-RL算法与基于模型（Mb）-RL方法相结合，以从两者中获得最佳效果：Mf-RL的渐近性能和Mb-RL的高样本效率。受这些工作的启发，我们提出了一个分层的框架，集成了在线学习的Mb-轨迹优化与政策外的方法Mf-RL。特别地，提出了两个回路，其中基于动态镜像下降的模型预测控制（DMD-MPC）用作内环以获得最优的动作序列。这些动作又用于显著加速外环Mf-RL。我们表明，我们的配方是通用的一类广泛的MPC为基础的政策和目标，并包括一些著名的Mb-Mf方法。基于该框架，我们定义了两个算法，以提高样本效率的非策略RL和引导端到端RL算法的在线适应。因此，我们最后介绍了两种新的算法：动态镜像下降模型预测RL（DeMoRL），它使用精英分数的方法为内环和软演员-评论家（SAC）作为外环和动态镜像下降模型预测层（DeMo层）的非策略RL，层次框架的一个特殊情况，它指导使用增强随机搜索（ARS）训练的线性策略。我们的实验表明，所提出的DeMo RL的收敛速度更快，更好或同等的性能相比，其他Mf-Mb方法的基准MuJoCo控制任务。DeMo层在经典的Cartpole和使用线性策略训练的定制四足动物上进行了测试。
2021-10-23 cs.AI cs.LG cs.RO
Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
策略优化是强化学习（RL）的核心，它通过优化技术最大化价值函数来找到所需的策略。除了价值最大化之外，还出现了其他实际考虑，包括需要鼓励探索，以及由于安全、资源和操作限制而确保学习策略的某些结构属性。这些通常可以通过正则化RL来解释，正则化RL使用结构促进正则化器来增强目标价值函数。针对折扣无限时域马尔可夫决策过程，提出了一种求解正则化RL的广义策略镜像下降（GPMD）算法。作为策略镜像下降（arXiv：2102.00135）的推广，我们的算法适应了一般类的凸正则化，并促进了Bregman散度在使用中的正则化的认知。我们证明了我们的算法在整个学习率的范围内线性收敛到全局解，以无量纲的方式，即使正则化缺乏强凸性和光滑性。此外，这种线性收敛特性在面对不精确的策略评估和不完美的策略更新时是稳定的。数值实验证实了GPMD的良好性能。
2023-01-10 cs.IT cs.LG math.IT
Path-Space Mirror Descent for On-Policy Reinforcement Learning under the Generalized Schrödinger Bridge
School of Data Science, Fudan University（复旦大学数据科学学院）；Laboratory for Big Data and Decision, National University of Defense Technology（国防科技大学大数据与决策实验室）；ShanghaiTech University（上海科技大学）；College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；Shanghai Innovation Institute（上海创新研究院）
针对生成式策略在在线策略优化中终端动作密度难处理的问题，提出GSB-MDPO方法，通过将策略优化建模为广义薛定谔桥问题并利用路径空间KL散度作为近端项，实现了无需显式终端似然评估的稳定更新。
2026-05-28 cs.LG
Mirror Descent Actor Critic via Bounded Advantage Learning
IBM Research - Tokyo（IBM东京研究院）
本文提出MDAC，通过限制Actor的log-density项提升连续动作域中的强化学习性能，理论和实验均显示其优势。
2026-01-08 cs.LG
A Novel Framework for Policy Mirror Descent with General Parameterization and Linear Convergence
University of Oxford（牛津大学）；Stellantis（斯泰兰蒂斯集团）
本文提出基于镜像下降的策略优化新框架，适应一般参数化，首次保证一般参数化策略梯度方法的线性收敛，并在浅层神经网络下改进了样本复杂度。
2024-02-13 cs.LG math.OC math.ST
One-Step Flow Policy Mirror Descent
Georgia Institute of Technology（佐治亚理工学院）；Harvard University（哈佛大学）
针对扩散策略推理缓慢的问题，提出流策略镜像下降（FPMD）算法，利用流匹配模型的理论联系实现一步采样，无需蒸馏，在保持性能的同时大幅降低推理计算成本。
2025-10-16 cs.LG
Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究中心，科技研究局（A*STAR））；Singapore Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（新加坡高性能计算研究所，科技研究局（A*STAR））；College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡）
本文提出一种镜像下降策略优化方法，用于鲁棒约束马尔可夫决策过程，通过优化策略和转移核实现收敛率和鲁棒性提升。
2025-12-18 cs.LG cs.NE
On the Convergence of Policy Mirror Descent with Temporal Difference Evaluation
本文研究带时序差分评估的策略镜像下降（TD-PMD），证明其在精确评估下具有与维度无关的次线性和线性收敛性，并给出非精确情形下改善的样本复杂度。
2025-09-23 cs.LG math.OC
Population-aware Online Mirror Descent for Mean-Field Games by Deep Reinforcement Learning
UCLA（加州大学洛杉矶分校）；NYU Shanghai（纽约大学上海分校）；Cohere（Cohere公司）
针对平均场博弈中纳什均衡学习难的问题，提出一种结合Munchausen RL与在线镜像下降的深度强化学习算法，通过内环回放缓冲区缓解灾难性遗忘，在四个经典算例上收敛性优于现有最优算法。
2024-03-06 cs.GT cs.LG cs.MA
Mirrorless Mirror Descent: A Natural Derivation of Mirror Descent
Microsoft Research（微软研究院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们提出了一个原始的唯一推导镜像下降作为一个“部分”的黎曼流形上的梯度流的离散化度量张量是海森的镜像下降潜力。我们将这种离散化与自然梯度下降进行对比，后者是通过“完整”向前欧拉离散化获得的。这种观点有助于阐明方法之间的关系，并允许将镜像下降推广到一般的黎曼几何，即使度量张量是{ \em not} a Hessian，因此没有“对偶”。"
2021-07-02 cs.LG math.OC stat.ML
Reparameterizing Mirror Descent as Gradient Descent
Google Research（谷歌研究院）
最近神经网络的大多数成功应用都是基于梯度下降更新的训练。然而，对于一些小型网络，当目标稀疏时，其他镜像下降更新可以证明更有效地学习。我们提出了一个通用的框架，用于将镜像下降更新转换为不同参数集上的梯度下降更新。在某些情况下，镜像下降重新参数化可以被描述为使用标准反向传播训练修改的网络。重新参数化框架是通用的，并涵盖了广泛的镜像下降更新，即使是域受到约束的情况下。我们的重新参数化参数的构造是针对更新的连续版本完成的。寻找离散版本密切跟踪其连续的同行的一般标准仍然是一个有趣的开放问题。
2020-06-22 cs.LG stat.ML
Linear Convergence of Generalized Mirror Descent with Time-Dependent Mirrors
Massachusetts Institute of Technology（麻省理工学院）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
Polyak-Lojasiewicz（PL）不等式是建立梯度下降线性收敛的充分条件，即使在非凸设置中。虽然最近的几个作品使用PL为基础的分析，建立线性收敛的随机梯度下降方法，问题仍然是类似的分析是否可以进行更一般的优化方法。在这项工作中，我们提出了一个基于PL的分析的线性收敛的广义镜像下降（GMD），广义镜像下降与可能的时间依赖的镜像。GMD包含流行的一阶优化方法，包括梯度下降、镜像下降和预处理的梯度下降方法，例如Adagrad。由于标准的PL分析不能自然地从GMD扩展到随机GMD，我们提出了一个泰勒级数为基础的分析，建立线性收敛的充分条件随机GMD。作为推论，我们的结果建立了随机镜像下降和Adagrad线性收敛的充分条件和学习率。最后，对于局部PL* 的函数，我们的分析意味着存在一个插值解和GMD收敛到这个解决方案。
2021-10-06 cs.LG stat.ML
Variance Reduction on General Adaptive Stochastic Mirror Descent
Purdue University（普渡大学）
在这项工作中，我们调查的方差减少的想法，通过研究其性质与一般的自适应镜像下降算法在非光滑非凸有限和优化问题。我们提出了一个简单而通用的框架方差减少自适应镜像下降算法命名为SVRAMD，并提供其收敛性分析在非光滑非凸问题和P-L条件问题。我们证明了方差减少降低了自适应镜像下降算法的SFO复杂度，从而加快了收敛速度。特别是，我们的一般理论意味着，方差减少可以应用于使用时变步长的算法和自适应算法，如AdaGrad和RMSProp。此外，SVRAMD的收敛速度恢复现有的最佳速度的非自适应方差减少镜像下降算法没有复杂的算法组件。深度学习的大量实验验证了我们的理论发现。
2021-08-29 cs.AI cs.LG math.OC
Implicit Regularization in Matrix Sensing via Mirror Descent
University of Oxford（牛津大学）
我们研究离散时间镜像下降应用于矩阵传感的非正则化经验风险。在矩形矩阵的一般情况下和半正定矩阵的特殊情况下，根据Bregman散度进行的简单的基于势的分析允许我们建立镜像下降的收敛-具有不同的镜像映射选择-到一个矩阵，在经验风险的所有全局最小化中，最小化与核范数，Frobenius范数，和冯·诺依曼熵在这两种情况下，这种特征意味着镜像下降，一阶算法最小化非正则化的经验风险，恢复低秩矩阵在同一组假设下，足以保证恢复核范数最小化。当感测矩阵是对称的和可交换的，我们表明，梯度下降与满秩因子化参数化是一个一阶近似镜像下降，在这种情况下，我们得到一个明确的表征的隐式偏差梯度流作为副产品。
2021-10-27 cs.LG stat.ML
A Continuous-Time Mirror Descent Approach to Sparse Phase Retrieval
University of Oxford（牛津大学）
我们分析了连续时间镜像下降应用于稀疏相位恢复，这是从一组只测量幅度恢复稀疏信号的问题。我们应用镜像下降的无约束经验风险最小化问题（批量设置），使用平方损失和平方测量。我们提供了一个收敛性分析的算法在这个非凸设置，并证明，与hypentropy镜像映射，镜像下降恢复任何$k$ -稀疏向量$\mathbf{x}^\star\in\mathbb{R}^n$与最小（模）非零条目的顺序$\| \mathbf{x}^\star \|_2/\sqrt{k}$从$k^2$高斯测量，模对数项。这产生了一个简单的算法，不像大多数现有的方法稀疏相位检索，适应稀疏水平，不包括阈值步骤或添加正则化条款。我们的结果还为Hadamard Wirtinger流[58]提供了一个原则性的理论理解，因为应用于Hadamard参数化的经验风险问题的欧几里得梯度下降可以恢复为离散时间中镜像下降的一阶近似。
2020-10-20 cs.LG stat.ML
The Information Geometry of Mirror Descent
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Duke University（杜克大学）
信息几何将微分几何中的概念应用于概率和统计，并且对于已知参数位于黎曼流形上的指数族中的参数估计特别有用。诱导流形的几何性质和估计问题的统计性质之间的连接是建立良好的。然而，发展一阶方法，规模更大的问题一直没有一个焦点的信息几何社区。最著名的算法，包括流形结构是二阶自然梯度下降算法介绍了阿马里。另一方面，随机逼近方法已经导致了用于优化噪声目标函数的一阶方法的发展。最近由Nemirovski和Yudin开发的Robbins-Monro算法的推广称为镜像下降，是一种诱导非欧几里德几何的一阶方法。然而，目前的镜像下降分析并没有精确地描述诱导的非欧几里德几何，也没有考虑统计相对效率方面的性能。本文证明了在对偶黎曼流形上由Bregman发散引起的镜像下降算法与自然梯度下降算法是等价的。利用这个等价性，可以得出：（1）镜像下降是沿着指数族的黎曼流形的最陡下降方向;（2）应用于指数族中的参数估计的具有对数似然损失的镜像下降渐近地达到经典的Cramér-Rao下界，并且（3）对应于指数族的流形的自然梯度下降可以被实现为第一-通过镜像下降的顺序方法。
2014-04-29 cs.LG stat.ML
Active Model Aggregation via Stochastic Mirror Descent
Georgia Institute of Technology（佐治亚理工学院）；Wisconsin Institutes for Discovery（威斯康星发现研究院）
我们考虑的问题，学习凸聚集的模型，这是最好的凸聚集，为二进制分类问题。在基于流的主动学习环境中，主动学习者必须在运行中做出决定，如果它想查询流中当前看到的点的标签，我们提出了一种随机镜像下降算法，称为SMD-AMA，具有熵正则化。我们建立了一个额外的风险界限的损失的凸聚集返回的SMD-AMA的顺序为$O\left(\sqrt{\frac{\log(M)}{T^{1-μ}}}\right)$，其中$μ\in [0,1)$是一个算法相关的参数，权衡查询的标签的数量，和额外的风险。
2015-03-28 cs.AI cs.LG stat.ML
Multi-class classification: mirror descent approach
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute for Information Transmission Problems（信息传输问题研究所）
本文研究了多类分类问题及其随机优化方法，导出了随机镜像下降算法的风险界，并给出了使该算法在k误差方面有效的集合几何例子。
2016-12-08 cs.LG math.OC stat.ML
The Statistical Complexity of Early-Stopped Mirror Descent
University of Oxford（牛津大学）
最近，人们对基于梯度的迭代优化算法的隐式正则化性质的理解兴趣激增。本文研究了线性模型和核方法中应用提前停止的无约束镜像下降算法对具有平方损失的非正则化经验风险的超额风险的统计保证。通过完成一个不等式，凸的平方损失的特征，我们确定了一个内在的联系之间的偏移拉德马赫复杂度和潜在的基于镜像下降方法的收敛性分析。我们的观察立即产生超额风险保证的路径跟踪的镜像下降的迭代在偏移复杂度的某些功能类只取决于选择的镜像映射，初始化点，步长，和迭代次数。我们应用我们的理论恢复，在一个干净和优雅的方式，通过相当短的证明，最近的一些结果在隐式正则化文献，同时也显示了如何在某些设置中改进它们。
2020-08-27 cs.LG stat.ML
On the Universality of Online Mirror Descent
TTIC（丰田工业大学芝加哥分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们发现，一般类凸在线学习问题，镜像下降总是可以实现（近）最优的遗憾保证。
2011-07-20 cs.LG
Distributed Mirror Descent with Integral Feedback: Asymptotic Convergence Analysis of Continuous-time Dynamics
Texas A&M University（德克萨斯A&M大学）
这项工作解决了分布式优化，其中代理网络希望最小化全局强凸目标函数。全局函数可以写成局部凸函数的和，每个凸函数与一个代理相关联。我们提出了一个连续时间分布式镜像下降算法，使用纯粹的本地信息收敛到全局最优值。与以前的分布式镜像下降的工作不同，我们在更新中加入了积分反馈，使算法在离散化时以恒定的步长收敛。我们建立了渐近收敛的算法使用李雅普诺夫稳定性分析。我们进一步说明了数值实验，验证了采用积分反馈的优点，以提高分布式镜像下降的收敛速度。
2020-09-14 cs.LG math.OC stat.ML
Convergence of Online Mirror Descent
City University of Hong Kong（香港城市大学）
在本文中，我们考虑在线镜像下降（OMD）算法，一类可扩展的在线学习算法，通过镜像映射利用数据的几何结构。给出了OMD算法收敛于镜像映射的Bregman距离的步长序列$\{η_t\}_{t}$的充分必要条件.在正方差的情况下，条件是$\lim_{t\to\infty}η_t=0, \sum_{t=1}^{\infty}η_t=\infty$。在零方差的情况下，它被简化为$\sum_{t=1}^{\infty}η_t=\infty$，对于零方差，可以通过采用恒定步长序列来实现线性收敛。给出了几乎处处收敛的一个充分条件。我们建立严格的误差界在温和的条件下的镜像映射，损失函数，和正则化。利用镜像映射的光滑性和强凸性以及损失函数，对OMD算法的一步过程进行了新的分析。
2019-12-13 cs.AI cs.LG math.OC
Nearly Minimax-Optimal Rates for Noisy Sparse Phase Retrieval via Early-Stopped Mirror Descent
University of Oxford（牛津大学）
本文研究了应用于噪声稀疏相位恢复的早期停止镜像下降法，即从一组被次指数噪声破坏的二次高斯测量中恢复出$k$ -稀疏信号$\mathbf{x}^\star\in\mathbb{R}^n$的问题。我们认为（非凸）非正则化的经验风险最小化问题，并表明，早期停止镜像下降，当配备了双曲熵镜像映射和适当的初始化，实现了近最小最大最优的收敛速度，提供的样本大小至少是为了$k^2$（模对数项）和最小（模）非零条目的信号是在$\|\mathbf{x}^\star\|_2/\sqrt{k}$的顺序。我们的理论导致一个简单的算法，不依赖于显式正则化或阈值步骤，以促进稀疏性。更一般地说，我们的研究结果建立了镜像下降和稀疏性之间的连接，在噪声稀疏相位恢复的非凸问题，增加了早期停止的文献，主要集中在非稀疏，欧几里德，和凸设置通过梯度下降。我们的证明结合了潜在的分析，镜像下降与定量控制的变分相干性，我们建立沿镜像下降的路径，直到规定的停止时间。
2021-05-08 cs.LG eess.SP stat.ML
Implicit Bias of Gradient Descent on Reparametrized Models: On Equivalence to Mirror Descent
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
作为理解过度参数化模型中梯度下降的隐式偏差的努力的一部分，一些结果表明过度参数化模型上的训练轨迹如何被理解为不同目标上的镜像下降。这里的主要结果是一个表征这种现象下的概念称为交换参数化，其中包括所有以前的结果在这种设置。它表明，梯度流与任何交换参数化是等价的连续镜像下降与相关的勒让德函数。相反，具有任何勒让德函数的连续镜像下降可以被视为具有相关的交换参数化的梯度流。后一个结果依赖于纳什嵌入定理。
2022-07-08 cs.LG math.OC
Unifying mirror descent and dual averaging
我们介绍和分析了一个新的家庭的一阶优化算法的推广和统一的镜像下降和双平均。在这个家庭的框架内，我们定义了新的约束优化算法，结合了镜像下降和双平均的优点。我们的初步模拟研究表明，这些新的算法显着优于现有的方法在某些情况下。
2022-06-10 cs.LG math.OC
Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent
在机器学习和统计数据分析中，我们经常遇到目标函数是求和：求和中的项数可能等于样本量，这可能是巨大的。在这样的设置中，随机镜像下降（SMD）算法是一种数值上有效的方法-每次迭代涉及数据的一个非常小的子集。方差减少版本的SMD（VRSMD）可以通过诱导更快的收敛来进一步改善SMD。另一方面，梯度下降和随机梯度下降等算法具有隐式正则化特性，这导致在泛化误差方面具有更好的性能。很少有人知道这样的属性是否适用于VRSMD。本文证明了离散VRSMD估计序列收敛于线性回归中的最小镜像插值。这建立了VRSMD的隐式正则化属性。作为上述结果的应用，我们导出了当真实模型稀疏时的设置中的模型估计精度结果。我们用数值例子来说明VRSMD的经验功率。
2022-04-29 cs.LG stat.ML
A Mirror Descent Perspective of Smoothed Sign Descent
Northwestern University（西北大学）
本文从镜像下降视角研究平滑符号下降在回归问题中的动力学，提出镜像映射建立对偶等价性，并将收敛解刻画为最小化Bregman散度型函数的近似KKT点，揭示了调节稳定性常数可降低KKT误差。
2024-10-18 cs.LG math.OC
Mirror Descent Meets Fixed Share (and feels no regret)
Università degli Studi di Milano（米兰大学）；Ecole Normale Supérieure, Paris（巴黎高等师范学院）；ICREA（加泰罗尼亚研究与高级研究机构）；Universitat Pompeu Fabra, Barcelona（庞培法布拉大学（巴塞罗那））；HEC Paris（巴黎高等商学院）
镜像下降与熵正则化子是已知的，以实现移动的遗憾界是对数的维度。这是使用精心设计的投影或通过权重共享技术来完成的。通过一个新的统一的分析，我们表明，这两种方法提供了基本上等同的界限上的概念，遗憾概括转移，自适应，折扣，和其他相关的遗憾。我们的分析还捕获和扩展了Bousquet和Warranty的广义权重共享技术，并且可以通过多种方式进行改进，包括对小损耗的改进和参数的自适应调整。
2012-09-27 cs.LG stat.ML
Mirror descent of Hopfield model
Seoul National University（首尔国立大学）；Korea Institute for Advanced Study（韩国高等研究院）
本研究提出利用镜像下降初始化神经网络参数，以Hopfield模型为原型，证明该方法训练性能显著优于随机初始化的传统梯度下降，凸显其作为优化增强技术的潜力。
2023-05-09 cs.LG math.OC
Sinkhorn Algorithm as a Special Case of Stochastic Mirror Descent
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们提出了一个新的观点，著名的Sinkhorn算法显示，这是一个特殊的情况下，增量/随机镜像下降。为了看到这一点，我们应该简单地在镜像映射和目标函数中插入Kullback-Leibler散度。由于问题具有无界区域，目标函数既不光滑也没有有界梯度。然而，人们仍然可以使用相对光滑的概念来处理这个问题，得到随机目标是1-相对光滑的。发现的等价性使我们能够提出1）新的方法来优化运输，2）Sinkhorn算法的扩展超出两个约束。
2019-09-16 cs.LG math.OC stat.ML
Variational Principles for Mirror Descent and Mirror Langevin Dynamics
Columbia University（哥伦比亚大学）；University of Illinois（伊利诺伊大学）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
镜像下降法是由Nemirovski和Yudin在20世纪70年代提出的一种原始-对偶凸优化方法，它可以通过选择强凸势函数来适应当前最优化问题的几何形状。它在各种应用中作为基本的原语出现，包括大规模优化，机器学习和控制。本文提出了一种变分形式的镜像下降及其随机变量，镜像朗之万动力学。受Brezis和Ekeland关于梯度流的变分原理的经典工作的启发，本文的主要思想是证明镜像下降是作为某个最优控制问题的闭环解出现的，而Bellman值函数是由初始条件和目标函数的全局极小值之间的Bregman发散给出的。
2023-03-16 cs.LG math.OC
Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias
University of Vienna（维也纳大学）
本文提出了一种改进的熵镜下降法，通过引入Polyak型步长变体，解决了线性系统求解中的收敛性问题，并获得了亚线性和线性收敛结果。
2026-03-06 cs.LG math.OC stat.ML
Mirror Descent with Relative Smoothness in Measure Spaces, with application to Sinkhorn and EM
Ecole normale supérieure（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA Paris（法国国家信息与自动化研究所巴黎分所）；CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）；IP Paris（巴黎理工学院）
机器学习中的许多问题都可以表述为在测度的向量空间上优化凸泛函。本文研究了无限维情形下镜像下降算法的收敛性。定义Bregman发散通过方向导数，我们推导出该计划的相对光滑和凸的泛函对的收敛性。这样的假设允许处理非光滑泛函，如Kullback-Leibler（KL）分歧。应用我们的结果到联合分布和KL，我们证明了连续情形下熵最优输运的Sinkhorn原迭代对应于镜像下降，并得到了它的（次）线性收敛的新证明.我们还表明，期望最大化（EM）总是可以正式书面作为一个镜像下降。当只优化的潜在分布，而固定的混合物参数-这对应于Richardson-露西反卷积方案在信号处理-我们得到次线性收敛率。
2022-10-11 cs.LG math.OC stat.ML
Implicit Bias and Convergence of Matrix Stochastic Mirror Descent
本文研究了矩阵随机镜像下降法在过参数化 regime 中的收敛性，揭示了矩阵镜像函数对高维多输出问题归纳偏置的影响。
2026-02-27 cs.LG math.OC stat.ML
Mirror Descent Algorithms for Minimizing Interacting Free Energy
Stanford University（斯坦福大学）
本文考虑了最小化相互作用自由能的问题。受镜像下降算法的启发，对于给定的相互作用自由能，我们提出了一个下降动力学与一个新的度量，考虑到参考措施和相互作用项。这个度量自然地暗示了概率测度的单调重新参数化。利用显式欧拉法离散重参数化下降动力学，得到了一个新的镜像下降型算法。数值结果表明，所提出的算法的效率。
2020-04-08 cs.LG cs.NA math.NA
General Tail Bounds for Non-Smooth Stochastic Mirror Descent
University of Milan（米兰大学）
本文针对凸利普希茨目标，将随机镜像下降的优化误差尾界从次高斯轻尾噪声拓展至指数、多项式重尾场景，无需定义域直径上界，还通过实验对比了迭代平均与末次迭代的重尾表现。
2023-12-12 cs.LG stat.ML
Mirror Descent on Riemannian Manifolds
School of Mathematical Sciences, Fudan University, Shanghai 200433, China（复旦大学数学学院，上海200433，中国）；Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University, Shanghai 200433, China（上海当代应用数学重点实验室，复旦大学，上海200433，中国）
将镜像下降推广到黎曼流形，通过重参数化提出黎曼镜像下降（RMD）及其随机变体，并建立非渐近收敛保证，在Stiefel流形上退化为曲线梯度下降（CGD）。
2026-06-12 cs.LG math.OC stat.ML
Parameter-free Mirror Descent
University of Alberta（阿尔伯塔大学）；Boston University（波士顿大学）
提出改进的在线镜像下降框架，用于无界域中的自适应无参数算法，实现首个达到最优动态遗憾界的无约束在线线性优化，并构建新的无参数隐式更新及简化改进的无约束无尺度算法。
2024-02-08 cs.LG math.OC stat.ML
Homeomorphic-Invariance of EM: Non-Asymptotic Convergence in KL Divergence for Exponential Families via Mirror Descent
University of British Columbia（不列颠哥伦比亚大学）；Cornell University（康奈尔大学）；Amii（阿尔伯塔机器智能研究所）
期望最大化（EM）是用于拟合具有缺失变量或潜变量的概率模型的默认算法，然而我们缺乏对其非渐近收敛性质的充分理解。以前的作品显示的结果沿着线“EM收敛至少一样快的梯度下降“通过假设的条件适用于EM的梯度下降的收敛。这种方法不仅是松散的，因为它没有捕捉到EM可以比梯度步骤取得更多的进展，而且假设对于像高斯混合的EM的教科书示例不成立。在这项工作中，我们首先表明，对于指数族分布的常见设置，将EM视为镜像下降算法会导致Kullback-Leibler（KL）发散的收敛速度。然后，我们展示了KL分歧是如何通过Bregman分歧与一阶平稳性相关的。与以前的作品相比，分析是不变的参数化的选择，并保持最小的假设。我们还展示了这些想法的应用程序的局部线性（和超线性）收敛速度，广义EM，和非指数族分布。
2022-02-28 cs.LG stat.ML
Stochastic Gradient/Mirror Descent: Minimax Optimality and Implicit Regularization
California Institute of Technology（加州理工学院）；Department of Computing and Mathematical Sciences（计算与数学科学系）；Department of Electrical Engineering（电气工程系）
随机下降方法（梯度和镜像变种）在优化中变得越来越流行。事实上，现在人们普遍认识到，深度学习的成功不仅是由于模型的特殊深度架构，而且还由于所使用的随机下降方法的行为，这些方法在达到“好”解决方案方面发挥了关键作用，这些解决方案可以很好地推广到看不见的数据。为了解释为什么会这样，我们重新审视了线性模型平方损失的随机梯度下降（SGD）的一些极小极大性质-最初是在20世纪90年代开发的-并将其扩展到一般损失函数和非线性模型的一般随机镜像下降（SMD）算法。特别是，我们表明，有一个基本的身份，它适用于SMD（和SGD）在非常一般的条件下，这意味着极小极大最优的SMD（和SGD）足够小的步长，并为一般类的损失函数和一般的非线性模型。我们进一步表明，这个身份可以用来自然地建立其他属性的SMD（和SGD），即收敛性和隐式正则化的过参数化的线性模型（在现在被称为“插值制度”），其中一些已经在某些情况下，在以前的文献。我们还讨论了如何在所谓的“高度过度参数化”非线性设置（参数的数量远远超过数据点的数量）中使用这个恒等式，以深入了解为什么SMD（和SGD）可能具有类似的收敛性和隐式正则化属性，用于深度学习。
2019-01-17 cs.AI cs.LG math.OC
Stochastic Mirror Descent in Average Ensemble Models
California Institute of Technology（加州理工学院）；Google（谷歌）
随机镜像下降（SMD）算法是一类通用的训练算法，其中包括著名的随机梯度下降（SGD），作为一种特殊情况。它利用镜像电位来影响训练算法的隐式偏差。在本文中，我们探讨的平均场系综模型的SMD迭代的性能。我们的结果推广了早期的SGD在这样的模型。参数分布的演化被映射为概率分布空间中的连续时间过程。我们的主要结果给出了一个非线性偏微分方程的连续时间过程收敛于大型网络的渐近制度。镜像势的影响通过一个乘法项出现，这个乘法项等于它的海森函数的倒数，可以解释为在一个适当定义的黎曼流形上定义梯度流。我们提供了数值模拟，使我们能够研究和表征的镜像电位对SMD训练的网络的性能与一些二进制分类问题的影响。
2022-10-27 cs.LG math.AP math.OC
Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；ServiceNow Research（ServiceNow研究院）
本文研究随机镜像下降在插值条件下的收敛性，提出自适应步长方案mSPS，在无需梯度有界和方差有界假设下给出收敛保证，并通过实验验证其有效性。
2023-05-24 cs.LG math.OC
Provable Bayesian Inference via Particle Mirror Descent
Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
贝叶斯方法在复杂数据建模中的灵活性和捕获参数不确定性的能力方面很有吸引力。然而，当贝叶斯规则不导致易处理的封闭形式时，大多数近似推理算法缺乏可扩展性或严格的保证。为了解决这一挑战，我们提出了一个简单但可证明的算法，\emph{Particle Mirror Descent}（PMD），迭代近似后验密度。PMD的灵感来自于随机函数镜像下降，其中在每次迭代时使用一小批数据点在密度空间中下降，以及粒子滤波，其中使用样本来近似函数。我们证明了第一种结果，与$m$粒子，PMD提供了一个后验密度估计，收敛在$KL$ -发散率$O(1/\sqrt{m})$的真实后验。我们展示了竞争力的经验性能PMD相比，在混合模型，逻辑回归，稀疏高斯过程和潜在的Dirichlet分配在大规模数据集的几个近似推理算法。
2016-05-05 cs.LG stat.CO stat.ML
Alternating Mirror Descent for Constrained Min-Max Games
Yale University（耶鲁大学）；Georgia Institute of Technology（佐治亚理工学院）；Singapore University of Technology and Design（新加坡科技设计大学）
本文研究策略空间受限的两人双线性零和对策。这种约束的自然发生的一个实例是当使用混合策略时，其对应于概率单纯形约束。我们提出并分析了交替镜像下降算法，其中每个球员轮流采取行动后，镜像下降算法的约束优化。我们解释交替镜像下降作为一个交替离散的斜梯度流的对偶空间，并使用凸优化和修改的能量函数的工具，建立一个$O(K^{-2/3})$界后，$K$迭代的平均遗憾。这定量地验证了该算法的更好的行为比镜像下降算法的同时版本，这是已知的发散，并产生一个$O(K^{-1/2})$平均遗憾界。在无约束的特殊情况下，我们的结果恢复了零和博弈的交替梯度下降算法的行为（Bailey et al.，COLT 2020）。
2022-06-08 cs.GT cs.LG math.DS
Establishing Boundary KKT Convergence of Mirror Descent through Reparameterization
School of Industrial Engineering, Purdue University（普渡大学工业工程学院）；National University of Singapore（新加坡国立大学）
本文通过度量扁平化重参数化S，证明镜像下降法在非凸问题中可收敛到KKT点，还将该框架应用于Shannon熵等示例，为后续扩展Bregman型方法奠定基础。
2026-08-31 cs.LG math.OC
