Stochastic Mirror Descent: Convergence Analysis and Adaptive Variants via the Mirror Stochastic Polyak Stepsize
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Johns Hopkins University(约翰斯·霍普金斯大学);ServiceNow Research(ServiceNow研究院)
本文研究随机镜像下降在插值条件下的收敛性,提出自适应步长方案mSPS,在无需梯度有界和方差有界假设下给出收敛保证,并通过实验验证其有效性。
2023-05-24 cs.LG math.OC
Establishing Boundary KKT Convergence of Mirror Descent through Reparameterization
School of Industrial Engineering, Purdue University(普渡大学工业工程学院);National University of Singapore(新加坡国立大学)
本文通过度量扁平化重参数化S,证明镜像下降法在非凸问题中可收敛到KKT点,还将该框架应用于Shannon熵等示例,为后续扩展Bregman型方法奠定基础。
2026-08-31 cs.LG math.OC
MirrorCBO: A consensus-based optimization method in the spirit of mirror descent
Department of Computing and Mathematical Sciences, Caltech(计算与数学科学系,加州理工学院);Helmholtz Imaging, Deutsches Elektronen-Synchrotron DESY(海德堡成像,德意志电子同步辐射研究中心(DESY))
提出MirrorCBO方法,通过将共识优化与镜像下降结合,实现无导数非凸优化,并推广到约束优化问题,理论证明指数收敛速率,实验展示稀疏诱导和约束优化的竞争力。
2025-07-16 cs.LG math.OC
Markov Chain Mirror Descent On Data Federation
Medical Big Data Research Center(医疗大数据研究中心);Chinese PLA General Hospital(中国人民解放军总医院)
针对联邦学习中样本呈马尔可夫依赖的问题,提出 MarchOn 随机镜像下降方法及新分析框架,在凸、强凸和非凸损失下获得最优收敛速率并经实验验证。
2023-09-26 cs.LG math.OC
Meta Mirror Descent: Optimiser Learning for Fast Convergence
University of Edinburgh(爱丁堡大学);KAIST(韩国科学技术院);Samsung AI Research, Cambridge(三星剑桥人工智能研究院)
优化器是训练机器学习模型的重要组成部分,其设计影响学习速度和泛化能力。一些研究试图通过解决一个两级优化问题,其中泛化误差最小化相对于优化参数学习更有效的梯度下降优化。然而,大多数现有的优化学习方法是直观的动机,没有明确的理论支持。我们从镜像下降而不是梯度下降开始采取不同的视角,并元学习相应的Bregman发散。在这种范式下,我们正式提出了一个新的元学习目标,最大限度地减少学习的遗憾。由此产生的框架,称为Meta Mirror Descent(MetaMD),学习加快优化速度。与许多元学习优化器不同,它还支持收敛和泛化保证,并且在不需要验证数据的情况下独特地做到这一点。我们评估我们的框架在各种任务和架构的收敛速度和泛化误差,并表现出强大的性能。
2022-03-05 cs.LG math.OC
On the Convergence of Policy in Unregularized Policy Mirror Descent
Academy for Advanced Interdisciplinary Studies, Peking University(北京大学前沿交叉学科研究院);School of Mathematical Sciences, Peking University(北京大学数学科学学院)
本文分析了无正则化策略镜像下降在广义Bregman散度下的策略收敛率,发现多种Bregman散度(如欧几里得距离)可实现向最优策略的有限步收敛。
2024-06-02 cs.LG math.OC
Multi-class classification: mirror descent approach
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Institute for Information Transmission Problems(信息传输问题研究所)
本文研究了多类分类问题及其随机优化方法,导出了随机镜像下降算法的风险界,并给出了使该算法在k误差方面有效的集合几何例子。
2016-12-08 cs.LG math.OC stat.ML
Mirror Descent and the Information Ratio
DeepMind(深度思维)
我们在Russo和Van Roy [2014]中建立了镜像下降的稳定性和信息比之间的联系。我们的分析表明,镜像下降与适当的损失估计和探索性分布享有相同的界限上的对抗性遗憾的贝叶斯遗憾信息导向抽样的界限。一路上,我们开发的理论信息导向的采样,并提供了一个有效的算法对抗土匪的遗憾上界完全匹配的最佳已知的信息理论上界上界。
2020-09-25 cs.LG math.OC stat.ML
On the Universality of Online Mirror Descent
TTIC(丰田工业大学芝加哥分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们发现,一般类凸在线学习问题,镜像下降总是可以实现(近)最优的遗憾保证。
2011-07-20 cs.LG
Policy Mirror Descent with Temporal Difference Learning: Sample Complexity under Online Markov Data
Wenye Li(李文悦);Hongxu Chen(陈红旭);Jiacai Liu(刘家才);Ke Wei(魏凯)
本文提出基于时间差学习的策略镜像下降算法,通过自适应步长实现在线马尔可夫数据下的样本复杂性优化。
2025-12-30 cs.LG math.OC
Distributed Mirror Descent with Integral Feedback: Asymptotic Convergence Analysis of Continuous-time Dynamics
Texas A&M University(德克萨斯A&M大学)
这项工作解决了分布式优化,其中代理网络希望最小化全局强凸目标函数。全局函数可以写成局部凸函数的和,每个凸函数与一个代理相关联。我们提出了一个连续时间分布式镜像下降算法,使用纯粹的本地信息收敛到全局最优值。与以前的分布式镜像下降的工作不同,我们在更新中加入了积分反馈,使算法在离散化时以恒定的步长收敛。我们建立了渐近收敛的算法使用李雅普诺夫稳定性分析。我们进一步说明了数值实验,验证了采用积分反馈的优点,以提高分布式镜像下降的收敛速度。
2020-09-14 cs.LG math.OC stat.ML
Analysis of Dual-Based PID Controllers through Convolutional Mirror Descent
Columbia Business School(哥伦比亚商学院);Google Research(谷歌研究院);The University of Chicago, Booth School of Business(芝加哥大学布斯商学院)
本文通过建立双闭环PID控制器与卷积镜像下降(CMD)算法的联系,首次为在线分配问题中的PID控制器提供了遗憾界,并给出了CMD在对抗性输入下的低遗憾充分条件及非光滑凸优化的首个遗憾界。
2023-12-19 cs.LG math.OC
Mirror Descent Algorithms for Minimizing Interacting Free Energy
Stanford University(斯坦福大学)
本文考虑了最小化相互作用自由能的问题。受镜像下降算法的启发,对于给定的相互作用自由能,我们提出了一个下降动力学与一个新的度量,考虑到参考措施和相互作用项。这个度量自然地暗示了概率测度的单调重新参数化。利用显式欧拉法离散重参数化下降动力学,得到了一个新的镜像下降型算法。数值结果表明,所提出的算法的效率。
2020-04-08 cs.LG cs.NA math.NA
Mirror Descent Search and its Acceleration
Tokyo University of Agriculture and Technology(东京农工大学)
近年来,黑箱优化问题与强化学习问题之间的关系一直是研究的热点。在这项研究中,我们提出了镜像下降搜索(MDS)算法,这是适用于黑箱优化问题和强化学习问题。我们的方法是基于镜像下降法,这是一个通用的优化算法。这项研究的贡献大致是双重的。我们提出了两个基本的算法,称为MDS和加速镜像下降搜索(AMDS),和两个更近似的算法:高斯镜像下降搜索(G-MDS)和高斯加速镜像下降搜索(G-AMDS)。这一研究表明,在镜像下降研究背景下开发的先进方法可以应用于强化学习问题。我们还澄清了现有的强化学习算法和我们的方法之间的关系。通过两个评估实验,我们表明我们提出的算法比一些最先进的方法收敛得更快。
2018-05-12 cs.LG
Reparameterizing Mirror Descent as Gradient Descent
Google Research(谷歌研究院)
最近神经网络的大多数成功应用都是基于梯度下降更新的训练。然而,对于一些小型网络,当目标稀疏时,其他镜像下降更新可以证明更有效地学习。我们提出了一个通用的框架,用于将镜像下降更新转换为不同参数集上的梯度下降更新。在某些情况下,镜像下降重新参数化可以被描述为使用标准反向传播训练修改的网络。重新参数化框架是通用的,并涵盖了广泛的镜像下降更新,即使是域受到约束的情况下。我们的重新参数化参数的构造是针对更新的连续版本完成的。寻找离散版本密切跟踪其连续的同行的一般标准仍然是一个有趣的开放问题。
2020-06-22 cs.LG stat.ML
Linear Convergence of Generalized Mirror Descent with Time-Dependent Mirrors
Massachusetts Institute of Technology(麻省理工学院);University of California, San Diego(加利福尼亚大学圣地亚哥分校)
Polyak-Lojasiewicz(PL)不等式是建立梯度下降线性收敛的充分条件,即使在非凸设置中。虽然最近的几个作品使用PL为基础的分析,建立线性收敛的随机梯度下降方法,问题仍然是类似的分析是否可以进行更一般的优化方法。在这项工作中,我们提出了一个基于PL的分析的线性收敛的广义镜像下降(GMD),广义镜像下降与可能的时间依赖的镜像。GMD包含流行的一阶优化方法,包括梯度下降、镜像下降和预处理的梯度下降方法,例如Adagrad。由于标准的PL分析不能自然地从GMD扩展到随机GMD,我们提出了一个泰勒级数为基础的分析,建立线性收敛的充分条件随机GMD。作为推论,我们的结果建立了随机镜像下降和Adagrad线性收敛的充分条件和学习率。最后,对于局部PL* 的函数,我们的分析意味着存在一个插值解和GMD收敛到这个解决方案。
2021-10-06 cs.LG stat.ML
Adaptive Mirror Descent Bilevel Optimization
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
本文针对非凸双层优化问题,基于镜像下降提出了自适应方法AdaPAG与AdaVSPAG,分别用于确定性和随机场景,并证明了其具有已知最佳的梯度复杂度和快速收敛速率。
2023-11-18 cs.LG math.OC
On the convergence of mirror descent beyond stochastic convex programming
Stanford University(斯坦福大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
在本文中,我们研究了一类随机最优化问题的镜像下降的收敛性,这些问题不一定是凸的(甚至是拟凸的),我们称之为变分相干的。由于标准技术的“遍历平均”提供没有实际的好处以外的凸规划,我们直接专注于算法的最后生成的样本(其“最后一个”),我们表明,它收敛的概率$1$,如果根本的问题是一致的。我们进一步考虑了一个局部版本的变分相干,它确保随机镜像下降(SMD)的局部收敛的高概率。这些结果表明(准)凸性对于收敛到全局极小值并不是必需的,从而为非凸随机最优化的前景做出了贡献:相反,变分相干性(一个弱得多的要求)就足够了。最后,在上述基础上,我们揭示了一个关于SMD收敛速度的有趣见解:在具有尖锐极小值的问题(如一般线性规划或凹极小化问题)中,SMD在有限步数(a.s.)中达到极小点,即使存在持续的梯度噪声。这一结果是对比现有的黑盒收敛速度估计,只有渐近。
2018-07-16 cs.LG math.OC
Variance Reduction on General Adaptive Stochastic Mirror Descent
Purdue University(普渡大学)
在这项工作中,我们调查的方差减少的想法,通过研究其性质与一般的自适应镜像下降算法在非光滑非凸有限和优化问题。我们提出了一个简单而通用的框架方差减少自适应镜像下降算法命名为SVRAMD,并提供其收敛性分析在非光滑非凸问题和P-L条件问题。我们证明了方差减少降低了自适应镜像下降算法的SFO复杂度,从而加快了收敛速度。特别是,我们的一般理论意味着,方差减少可以应用于使用时变步长的算法和自适应算法,如AdaGrad和RMSProp。此外,SVRAMD的收敛速度恢复现有的最佳速度的非自适应方差减少镜像下降算法没有复杂的算法组件。深度学习的大量实验验证了我们的理论发现。
2021-08-29 cs.AI cs.LG math.OC
Sinkhorn Algorithm as a Special Case of Stochastic Mirror Descent
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
我们提出了一个新的观点,著名的Sinkhorn算法显示,这是一个特殊的情况下,增量/随机镜像下降。为了看到这一点,我们应该简单地在镜像映射和目标函数中插入Kullback-Leibler散度。由于问题具有无界区域,目标函数既不光滑也没有有界梯度。然而,人们仍然可以使用相对光滑的概念来处理这个问题,得到随机目标是1-相对光滑的。发现的等价性使我们能够提出1)新的方法来优化运输,2)Sinkhorn算法的扩展超出两个约束。
2019-09-16 cs.LG math.OC stat.ML
The Last-Iterate Convergence Rate of Optimistic Mirror Descent in Stochastic Variational Inequalities
ENS(巴黎高等师范学院);Univ. PSL(巴黎文理研究大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);Inria(法国国家信息与自动化研究所);Criteo AI Lab(Criteo人工智能实验室)
在本文中,我们分析了乐观镜像下降法在随机变分不等式中的局部收敛速度,这是一类在学习理论和机器学习中有重要应用的最优化问题。我们的分析揭示了算法的收敛速率和由该方法的基本Bregman函数引起的局部几何之间的复杂关系。我们量化这种关系的勒让德指数,一个概念,我们介绍来衡量的增长率的Bregman发散相对于周围的正常附近的解决方案。我们表明,这个指数决定了算法的最佳步长策略和达到的最佳速率,以这种方式解释了一些流行的Bregman函数(欧几里得投影,负熵,分数幂等)观察到的差异。
2021-07-05 cs.LG math.OC
Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias
University of Vienna(维也纳大学)
本文提出了一种改进的熵镜下降法,通过引入Polyak型步长变体,解决了线性系统求解中的收敛性问题,并获得了亚线性和线性收敛结果。
2026-03-06 cs.LG math.OC stat.ML
Mirror Descent Linearized Augmented Lagrangian Methods for Nonconvex Constrained Stochastic Zeroth-Order Optimization
Sun Yat-sen University(中山大学);Pengcheng Laboratory(鹏城实验室);ShanghaiTech University(上海科技大学)
针对可获取约束精确信息及目标带噪值的非凸约束随机零阶优化问题,提出结合随机零阶梯度估计器与方差缩减技术的Bregman线性化增广拉格朗日方法,分析其oracle复杂度,在高维场景下复杂度优于现有方法且与文献最低ε阶复杂度匹配,数值实验验证其性能。
2026-09-01 cs.LG math.OC
Mirror Descent with Relative Smoothness in Measure Spaces, with application to Sinkhorn and EM
Ecole normale supérieure(巴黎高等师范学院);Université PSL(巴黎文理研究大学);CNRS(法国国家科学研究中心);INRIA Paris(法国国家信息与自动化研究所巴黎分所);CREST(经济与统计研究中心);ENSAE(法国国立统计与经济管理学院);IP Paris(巴黎理工学院)
机器学习中的许多问题都可以表述为在测度的向量空间上优化凸泛函。本文研究了无限维情形下镜像下降算法的收敛性。定义Bregman发散通过方向导数,我们推导出该计划的相对光滑和凸的泛函对的收敛性。这样的假设允许处理非光滑泛函,如Kullback-Leibler(KL)分歧。应用我们的结果到联合分布和KL,我们证明了连续情形下熵最优输运的Sinkhorn原迭代对应于镜像下降,并得到了它的(次)线性收敛的新证明.我们还表明,期望最大化(EM)总是可以正式书面作为一个镜像下降。当只优化的潜在分布,而固定的混合物参数-这对应于Richardson-露西反卷积方案在信号处理-我们得到次线性收敛率。
2022-10-11 cs.LG math.OC stat.ML
On the Convergence of Policy Mirror Descent with Temporal Difference Evaluation
本文研究带时序差分评估的策略镜像下降(TD-PMD),证明其在精确评估下具有与维度无关的次线性和线性收敛性,并给出非精确情形下改善的样本复杂度。
2025-09-23 cs.LG math.OC
Implicit Bias and Convergence of Matrix Stochastic Mirror Descent
本文研究了矩阵随机镜像下降法在过参数化 regime 中的收敛性,揭示了矩阵镜像函数对高维多输出问题归纳偏置的影响。
2026-02-27 cs.LG math.OC stat.ML
Mirror Descent Under Generalized Smoothness
State Key Laboratory of Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);School of Software Technology, Zhejiang University(浙江大学软件技术学院);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江)区块链与数据安全研究院)
本文提出一种新的 $\ell_*$-光滑性概念,将经典光滑性推广到一般范数空间,并证明镜像下降类算法在此条件下收敛率与经典光滑性一致。
2026-05-30 cs.LG math.OC
On exploration of an interior mirror descent flow for stochastic nonconvex constrained problem
School of Industrial Engineering, Purdue University(工业工程学院,普渡大学)
本文构造统一 Hessian barrier 与 mirror descent 的内点黎曼次梯度流,分析伪稳定点成因,并给出规避条件、随机扰动策略及两类推广迭代算法。
2025-07-25 cs.LG math.OC
DeGroot-Friedkin Map in Opinion Dynamics is Mirror Descent
本文通过变分解释将DeGroot-Friedkin映射视为在标准单纯形上的镜像下降,其关联的Bregman散度等于广义Kullback-Leibler散度,即熵的镜像下降,揭示了DeGroot-Friedkin映射在最小化互补意见的熵的同时,使个体的社会影响力接近其社会权力。
2019-02-17 cs.LG cs.SY eess.SY
Mirror Descent on Riemannian Manifolds
School of Mathematical Sciences, Fudan University, Shanghai 200433, China(复旦大学数学学院,上海200433,中国);Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University, Shanghai 200433, China(上海当代应用数学重点实验室,复旦大学,上海200433,中国)
将镜像下降推广到黎曼流形,通过重参数化提出黎曼镜像下降(RMD)及其随机变体,并建立非渐近收敛保证,在Stiefel流形上退化为曲线梯度下降(CGD)。
2026-06-12 cs.LG math.OC stat.ML
Parameter-free Mirror Descent
University of Alberta(阿尔伯塔大学);Boston University(波士顿大学)
提出改进的在线镜像下降框架,用于无界域中的自适应无参数算法,实现首个达到最优动态遗憾界的无约束在线线性优化,并构建新的无参数隐式更新及简化改进的无约束无尺度算法。
2024-02-08 cs.LG math.OC stat.ML
Non-KKT Accumulation in Entropic Mirror Descent
School of Industrial Engineering, Purdue University(普渡大学工业工程学院);National University of Singapore(新加坡国立大学)
该研究针对有界镜像下降序列的KKT积累问题,构造反例证明其积累点可为非KKT点,揭示边界Bregman几何退化是该问题的根源。
2026-08-19 cs.LG math.DS math.OC
Implicit Regularization in Matrix Sensing via Mirror Descent
University of Oxford(牛津大学)
我们研究离散时间镜像下降应用于矩阵传感的非正则化经验风险。在矩形矩阵的一般情况下和半正定矩阵的特殊情况下,根据Bregman散度进行的简单的基于势的分析允许我们建立镜像下降的收敛-具有不同的镜像映射选择-到一个矩阵,在经验风险的所有全局最小化中,最小化与核范数,Frobenius范数,和冯·诺依曼熵在这两种情况下,这种特征意味着镜像下降,一阶算法最小化非正则化的经验风险,恢复低秩矩阵在同一组假设下,足以保证恢复核范数最小化。当感测矩阵是对称的和可交换的,我们表明,梯度下降与满秩因子化参数化是一个一阶近似镜像下降,在这种情况下,我们得到一个明确的表征的隐式偏差梯度流作为副产品。
2021-10-27 cs.LG stat.ML
A Continuous-Time Mirror Descent Approach to Sparse Phase Retrieval
University of Oxford(牛津大学)
我们分析了连续时间镜像下降应用于稀疏相位恢复,这是从一组只测量幅度恢复稀疏信号的问题。我们应用镜像下降的无约束经验风险最小化问题(批量设置),使用平方损失和平方测量。我们提供了一个收敛性分析的算法在这个非凸设置,并证明,与hypentropy镜像映射,镜像下降恢复任何$k$ -稀疏向量$\mathbf{x}^\star\in\mathbb{R}^n$与最小(模)非零条目的顺序$\| \mathbf{x}^\star \|_2/\sqrt{k}$从$k^2$高斯测量,模对数项。这产生了一个简单的算法,不像大多数现有的方法稀疏相位检索,适应稀疏水平,不包括阈值步骤或添加正则化条款。我们的结果还为Hadamard Wirtinger流[58]提供了一个原则性的理论理解,因为应用于Hadamard参数化的经验风险问题的欧几里得梯度下降可以恢复为离散时间中镜像下降的一阶近似。
2020-10-20 cs.LG stat.ML
Sparse Q-learning with Mirror Descent
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本文提出了一种基于在线凸优化的强化学习新框架,特别是镜像下降算法及其相关算法。镜像下降可以被看作是一种增强的梯度方法,特别适合于高维空间中凸函数的最小化。与传统的梯度方法不同,镜像下降在对偶空间和原始空间中进行权重的梯度更新,它们使用勒让德变换连接在一起。镜像下降可以被看作是一种近似算法,其中使用的距离生成函数是Bregman发散。基于不同的Bregman发散性,提出了一类新的基于近似梯度的时间差分(TD)方法,它比常规TD学习更强大。研究的Bregman分歧的例子包括p-范数函数和基于样本梯度协方差的Mahalanobis距离。提出了一种新的稀疏镜像下降强化学习方法,该方法能够以比基于二阶矩阵方法的方法更少的计算代价找到l1正则化Bellman方程的稀疏不动点.镜像下降强化学习的实验研究提出了使用离散和连续马尔可夫决策过程。
2012-10-16 cs.LG stat.ML
High Probability Convergence for Accelerated Stochastic Mirror Descent
Boston University(波士顿大学);Northeastern University(东北大学)
在这项工作中,我们描述了一个通用的方法来显示收敛的高概率随机凸优化。在以往的工作中,要么收敛只是在预期或边界依赖于区域的直径。相反,我们表现出高概率收敛的界限取决于初始距离的最优解,而不是域直径。该算法使用类似于标准设置的步长,并且对于Lipschitz函数、光滑函数及其线性组合是通用的。
2022-10-03 cs.DS cs.LG math.OC
An analysis of Mirror-Descent Soft Actor-Critic
School of Mathematics, University of Edinburgh(爱丁堡大学数学学院);INRIA(法国国家信息与自动化研究所)
本文证明镜像下降软演员-评论家算法在连续动作空间中的收敛性,推导演员目标强凸光滑条件,获得O(N^(-1/5))最优迭代收敛率,并指出镜像下降步长控制目标漂移优于吉布斯目标。
2026-10-06 cs.LG math.OC stat.ML
The Information Geometry of Mirror Descent
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Duke University(杜克大学)
信息几何将微分几何中的概念应用于概率和统计,并且对于已知参数位于黎曼流形上的指数族中的参数估计特别有用。诱导流形的几何性质和估计问题的统计性质之间的连接是建立良好的。然而,发展一阶方法,规模更大的问题一直没有一个焦点的信息几何社区。最著名的算法,包括流形结构是二阶自然梯度下降算法介绍了阿马里。另一方面,随机逼近方法已经导致了用于优化噪声目标函数的一阶方法的发展。最近由Nemirovski和Yudin开发的Robbins-Monro算法的推广称为镜像下降,是一种诱导非欧几里德几何的一阶方法。然而,目前的镜像下降分析并没有精确地描述诱导的非欧几里德几何,也没有考虑统计相对效率方面的性能。本文证明了在对偶黎曼流形上由Bregman发散引起的镜像下降算法与自然梯度下降算法是等价的。利用这个等价性,可以得出:(1)镜像下降是沿着指数族的黎曼流形的最陡下降方向;(2)应用于指数族中的参数估计的具有对数似然损失的镜像下降渐近地达到经典的Cramér-Rao下界,并且(3)对应于指数族的流形的自然梯度下降可以被实现为第一-通过镜像下降的顺序方法。
2014-04-29 cs.LG stat.ML
Learning mirror maps in policy mirror descent
Department of Statistics University of Oxford(统计系牛津大学);FLAIR University of Oxford(FLAIR牛津大学)
本文通过实证研究发现,传统镜像映射(如NPG)在强化学习中效果有限,利用进化策略学习更高效的镜像映射可提升PMD性能,尤其在复杂环境中表现更优。
2026-01-06 cs.LG math.OC stat.ML
Robust Imitation via Mirror Descent Inverse Reinforcement Learning
Seoul National University(首尔国立大学);Artificial Intelligence Institute(人工智能研究院)
最近,对抗性模仿学习已经展示了一种用于逆强化学习(IRL)问题的可扩展奖励获取方法。然而,估计的奖励信号往往变得不确定,并不能训练一个可靠的统计模型,因为现有的方法往往直接解决困难的优化问题。受一阶优化方法镜像下降的启发,本文提出了预测一系列奖励函数,这是一个约束凸问题的迭代解。IRL的解决方案来自镜像下降是宽容的目标密度估计所引起的不确定性,因为奖励学习的量是相对于局部几何约束进行调节。我们证明,建议的镜像下降更新规则,确保鲁棒性最小化的Bregman分歧方面的一个严格的遗憾界的$\mathcal{O}(1/T)$步长$\{η_t\}_{t=1}^{T}$。我们的IRL方法应用于对抗框架之上,并且在一系列广泛的基准测试中优于现有的对抗方法。
2023-01-05 cs.LG
Mirror Descent Strikes Again: Optimal Stochastic Convex Optimization under Infinite Noise Variance
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of California, Davis(加州大学戴维斯分校)
研究了噪声方差为无穷大时的随机凸优化问题。具体地说,当随机梯度是无偏的且具有一致有界的$(1+κ)$阶矩时,对于某些$κ\in (0,1]$,我们根据优化问题的迭代次数、维数和相关的几何参数,量化了具有一类特殊的一致凸镜映射的随机镜像下降算法的收敛速度.有趣的是,该算法不需要任何显式的梯度裁剪或归一化,这已被广泛用于最近的几个经验和理论工作。我们补充我们的收敛结果与信息理论的下限表明,没有其他算法只使用随机一阶预言机可以实现提高利率。我们的研究结果有几个有趣的后果,设计在线/流随机逼近算法的鲁棒统计和机器学习中出现的问题。
2022-02-23 cs.LG math.OC stat.ML
Stochastic Mirror Descent in Average Ensemble Models
California Institute of Technology(加州理工学院);Google(谷歌)
随机镜像下降(SMD)算法是一类通用的训练算法,其中包括著名的随机梯度下降(SGD),作为一种特殊情况。它利用镜像电位来影响训练算法的隐式偏差。在本文中,我们探讨的平均场系综模型的SMD迭代的性能。我们的结果推广了早期的SGD在这样的模型。参数分布的演化被映射为概率分布空间中的连续时间过程。我们的主要结果给出了一个非线性偏微分方程的连续时间过程收敛于大型网络的渐近制度。镜像势的影响通过一个乘法项出现,这个乘法项等于它的海森函数的倒数,可以解释为在一个适当定义的黎曼流形上定义梯度流。我们提供了数值模拟,使我们能够研究和表征的镜像电位对SMD训练的网络的性能与一些二进制分类问题的影响。
2022-10-27 cs.LG math.AP math.OC
A Generalized Online Mirror Descent with Applications to Classification and Regression
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);The Technion(以色列理工学院);Università degli Studi di Milano(米兰大学)
在线学习算法速度快,内存效率高,易于实现,适用于许多预测问题,包括分类,回归和排名。在过去的几十年里,提出了几种在线算法,一些基于加法更新,如Perceptron,一些基于乘法更新,如Winnow。在线镜像下降提供了在线算法的设计和分析的统一观点,这是一种通用的预测策略,大多数一阶算法可以作为特例获得。我们将在线镜像下降推广到具有通用更新的时变正则化器。与标准的镜像下降,我们更一般的配方也捕获二阶算法,复合损耗算法和自适应滤波算法。此外,我们恢复,有时改善,已知的遗憾界作为我们的分析使用特定的正则化的特殊情况。最后,我们通过推导出一个新的二阶算法的遗憾界不变量相对于任意重新缩放的个人功能,我们的方法的力量。
2014-07-14 cs.LG
Mirror descent algorithms with logarithmic barriers
University of the Bundeswehr Munich(慕尼黑联邦国防军大学);University of Vienna(维也纳大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
本研究推导了采用对数障碍作为距离生成函数时镜像下降等算法的收敛性,提出处理发散的新技术,解决相对光滑性理论缺口,证明其收敛速率为 $O(\log k / k)$ 且与内点法可比。
2026-10-27 cs.LG cs.NA math.NA
Transformers Learn Latent Mixture Models In-Context via Mirror Descent
TML Lab, EPFL(EPFL TML实验室)
本文提出通过镜像下降学习上下文中的潜在混合模型,探讨了Transformer在确定上下文相关性及重要性时的机制,并展示了其在预测和注意力模式上的有效性。
2026-04-12 cs.LG
The Statistical Complexity of Early-Stopped Mirror Descent
University of Oxford(牛津大学)
最近,人们对基于梯度的迭代优化算法的隐式正则化性质的理解兴趣激增。本文研究了线性模型和核方法中应用提前停止的无约束镜像下降算法对具有平方损失的非正则化经验风险的超额风险的统计保证。通过完成一个不等式,凸的平方损失的特征,我们确定了一个内在的联系之间的偏移拉德马赫复杂度和潜在的基于镜像下降方法的收敛性分析。我们的观察立即产生超额风险保证的路径跟踪的镜像下降的迭代在偏移复杂度的某些功能类只取决于选择的镜像映射,初始化点,步长,和迭代次数。我们应用我们的理论恢复,在一个干净和优雅的方式,通过相当短的证明,最近的一些结果在隐式正则化文献,同时也显示了如何在某些设置中改进它们。
2020-08-27 cs.LG stat.ML
Convergence of Online Mirror Descent
City University of Hong Kong(香港城市大学)
在本文中,我们考虑在线镜像下降(OMD)算法,一类可扩展的在线学习算法,通过镜像映射利用数据的几何结构。给出了OMD算法收敛于镜像映射的Bregman距离的步长序列$\{η_t\}_{t}$的充分必要条件.在正方差的情况下,条件是$\lim_{t\to\infty}η_t=0, \sum_{t=1}^{\infty}η_t=\infty$。在零方差的情况下,它被简化为$\sum_{t=1}^{\infty}η_t=\infty$,对于零方差,可以通过采用恒定步长序列来实现线性收敛。给出了几乎处处收敛的一个充分条件。我们建立严格的误差界在温和的条件下的镜像映射,损失函数,和正则化。利用镜像映射的光滑性和强凸性以及损失函数,对OMD算法的一步过程进行了新的分析。
2019-12-13 cs.AI cs.LG math.OC
Exact-Form Regret for Gradient Descent, Mirror Descent and Follow-the-Regularized-Leader
MIT(麻省理工学院)
本文提出精确性作为统一原则,几何刻画了梯度下降、镜像下降和FTRL无遗憾的偏差类别,并引入保守相关均衡,揭示不同一阶方法控制不同偏差类。
2026-09-23 cs.GT cs.LG math.OC
Nearly Minimax-Optimal Rates for Noisy Sparse Phase Retrieval via Early-Stopped Mirror Descent
University of Oxford(牛津大学)
本文研究了应用于噪声稀疏相位恢复的早期停止镜像下降法,即从一组被次指数噪声破坏的二次高斯测量中恢复出$k$ -稀疏信号$\mathbf{x}^\star\in\mathbb{R}^n$的问题。我们认为(非凸)非正则化的经验风险最小化问题,并表明,早期停止镜像下降,当配备了双曲熵镜像映射和适当的初始化,实现了近最小最大最优的收敛速度,提供的样本大小至少是为了$k^2$(模对数项)和最小(模)非零条目的信号是在$\|\mathbf{x}^\star\|_2/\sqrt{k}$的顺序。我们的理论导致一个简单的算法,不依赖于显式正则化或阈值步骤,以促进稀疏性。更一般地说,我们的研究结果建立了镜像下降和稀疏性之间的连接,在噪声稀疏相位恢复的非凸问题,增加了早期停止的文献,主要集中在非稀疏,欧几里德,和凸设置通过梯度下降。我们的证明结合了潜在的分析,镜像下降与定量控制的变分相干性,我们建立沿镜像下降的路径,直到规定的停止时间。
2021-05-08 cs.LG eess.SP stat.ML
Alternating Mirror Descent for Constrained Min-Max Games
Yale University(耶鲁大学);Georgia Institute of Technology(佐治亚理工学院);Singapore University of Technology and Design(新加坡科技设计大学)
本文研究策略空间受限的两人双线性零和对策。这种约束的自然发生的一个实例是当使用混合策略时,其对应于概率单纯形约束。我们提出并分析了交替镜像下降算法,其中每个球员轮流采取行动后,镜像下降算法的约束优化。我们解释交替镜像下降作为一个交替离散的斜梯度流的对偶空间,并使用凸优化和修改的能量函数的工具,建立一个$O(K^{-2/3})$界后,$K$迭代的平均遗憾。这定量地验证了该算法的更好的行为比镜像下降算法的同时版本,这是已知的发散,并产生一个$O(K^{-1/2})$平均遗憾界。在无约束的特殊情况下,我们的结果恢复了零和博弈的交替梯度下降算法的行为(Bailey et al.,COLT 2020)。
2022-06-08 cs.GT cs.LG math.DS
End-to-end Learning of LDA by Mirror-Descent Back Propagation over a Deep Architecture
Microsoft Research(微软研究院);University of Washington(华盛顿大学)
我们使用反向传播(即,BP-sLDA),其最大化给定输入文档的预测变量的后验概率。与传统的变分学习或吉布斯采样方法不同,所提出的学习方法应用(i)镜像下降算法进行最大后验推理,以及(ii)在深度架构上的反向传播以及随机梯度/镜像下降进行模型参数估计,从而实现模型的可扩展和端到端的判别学习。作为副产品,我们还应用该技术为传统的无监督LDA模型开发了一种新的学习方法(即,BP-LDA)。三个真实世界的回归和分类任务的实验结果表明,所提出的方法显着优于以前的监督主题模型,神经网络,并与深度神经网络。
2015-11-01 cs.LG
Rank-Induced PL Mirror Descent: A Rank-Faithful Second-Order Algorithm for Sleeping Experts
本文提出RIPLM算法,直接在秩诱导的Plackett–Luce参数化中更新,首次在睡眠专家设定中同时实现秩忠实性与方差自适应性。
2025-09-14 cs.LG
Multitask Online Mirror Descent
University of Milan(米兰大学);Istituto Italiano di Tecnologia(意大利技术研究院);University College London(伦敦大学学院)
我们介绍和分析MT-OMD,一个多任务泛化的在线镜像下降(OMD),通过共享任务之间的更新。我们证明了MT-OMD的后悔是$\sqrt{1 + σ^2(N-1)}\sqrt{T}$阶的,其中$σ^2$是根据正则化子诱导的几何形状的任务方差,$N$是任务数,$T$是时间范围.当任务相似时,即$σ^2 \le 1$,我们的方法改进了通过在每个任务上运行独立的OMD获得的$\sqrt{NT}$界限。我们进一步提供了一个匹配的下限,并表明,我们的多任务扩展的在线梯度下降和指数梯度,两个主要的实例OMD,享受封闭形式的更新,使他们易于在实践中使用。最后,我们提出了支持我们的理论研究结果的实验。
2022-11-01 cs.LG
Block-Norm Geometries for Online Mirror Descent with Sparse Losses
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出通过组合镜像映射改进在线镜像下降的后悔保证,展示基于块范数的镜像映射在稀疏损失函数中取得多项式级别的后悔改进。
2026-09-14 cs.DS cs.LG math.OC