Reinterpreting EMML as Mirror Descent for Constrained Maximum Likelihood Estimation
Technische Universität Berlin（柏林工业大学）；Univ. Bordeaux, CNRS, Bordeaux INP, IMB, UMR 5251（波尔多大学、法国国家科学研究中心、波尔多国立高等电子与计算机学院、IMB）
本文将EMML算法重新解释为镜像下降法，通过重新参数化的目标函数引入凸约束，保持EMML更新的乘法结构以提高效率，并证明算法收敛性，实验表明其在超光谱解混中收敛更快。
2026-07-13 math.OC
Accelerated Primal-Dual Mirror Dynamics for Centrailized and Distributed Constrained Convex Optimization Problems
本文研究了两种原-对偶镜像动力学加速算法，分别用于求解具有仿射约束和闭凸集约束的光滑和非光滑凸优化问题。在光滑情形下，提出了一种基于加速镜下降和原-对偶框架的加速原-对偶镜动力学方法（APDMD），并利用李雅普诺夫分析方法推导了原-对偶间隙、可行性测度和目标函数值随APDMD轨迹的加速收敛性质.然后，我们将APDMD扩展为两种分布式动力学方法，分别处理两类分布式光滑最优化问题，即，分布式约束一致性问题（DCCP）和分布式扩展单调优化（DEMO）与加速收敛保证。此外，在非光滑情形下，我们提出了一种光滑加速原对偶镜像动力学方法（SAPDMD），该方法利用光滑近似技术和上述APDMD。通过选取适当的光滑逼近参数，证明了SAPDMD的原-对偶间隙、目标函数值和可行性测度具有与APDMD相同的加速收敛性质.之后，我们提出了两个平滑加速分布式动力学方法来处理非光滑DEMO和DCCP，以获得加速和有效解。最后，数值实验证明了所提出的加速镜动力学方法的有效性。
2022-09-14 math.OC
Some Analogue of Quadratic Interpolation for a Special Class of Non-Smooth Functionals and One Application to Adaptive Mirror Descent for Constrained Optimization Problems
许多著名的梯度型最优化方法的收敛速度的理论估计是基于二次插值，只要满足梯度的利普希茨条件。本文在局部Lipschitz拟凸泛函类中，利用本文所引入的非光滑条件（Lipschitz连续次梯度），得到了构造类似插值的可能性.作为应用，本文给出了自适应镜像下降法求解具有多个凸泛函约束的拟凸局部Lipschitz泛函极小化问题的收敛速率的估计.
2018-12-16 math.OC
Distributed Randomized Gradient-Free Mirror Descent Algorithm for Constrained Optimization
本文研究多主体最优化问题。在非欧Bregman发散的镜像下降算法中引入一个随机无梯度预言，发展了一种分布式随机无梯度镜像下降算法（DRGIMD）.在不利用目标函数的次梯度信息的情况下，推广了经典的梯度下降法。该算法是第一个分布式非欧零阶方法，它实现了$O(1/\sqrt{T})$收敛速度，恢复了分布式紧约束凸优化的最优速度。此外，DRFMD算法实现了强凸约束优化情况下的$O(\ln T/T)$收敛速度。该速率匹配最佳已知的非紧凑约束结果。研究了一种分散倒数加权平均逼近序列，并首次将其应用于分布式算法中。同时给出了加权平均算法（DRGFMD-WA）的一类收敛速度。分散加权平均序列的构造技术为分布式算法中极小值的搜索提供了新的思路。
2019-03-11 math.OC
Mirror descent for constrained stochastic control problems
University of Edinburgh（爱丁堡大学）
本文提出连续时间镜像下降动力学求解约束随机控制问题，在哈密顿量凸性条件下证明线性或指数收敛，并给出基于模型和无模型的数值算法验证理论结果。
2026-09-09 math.OC
A Particle-Based Algorithm for Distributional Optimization on \textit{Constrained Domains} via Variational Transport and Mirror Descent
University of Tsukuba（筑波大学）
本文提出镜像变分传输（mirrorVT）算法，通过镜像映射将约束域上的分布优化问题转换到无约束对偶域进行Wasserstein梯度下降，并验证了其在单纯形和欧几里得球约束域上的有效性与收敛性。
2022-08-03 cs.AI math.OC
Mirror Descent for Constrained Optimization Problems with Large Subgradient Values
基于arXiv：1710.06612的思想，考虑了具有非正凸（一般为非光滑）Lipschitz连续泛函约束的Holder连续非光滑泛函$f$的极小化问题.我们提出了一些新的策略的步长和自适应停止规则镜像下降算法考虑类问题。结果表明，该方法适用于各种光滑程度的目标泛函。将重新开始技术应用于镜像下降算法，提出了一种求解目标函数为强凸的最优化问题的优化方法。所考虑的算法的收敛速度收敛速率的目标函数的平滑程度的依赖。这些估计表明的最优性考虑的方法从理论的角度下预言界。此外，考虑了目标泛函和约束条件均为拟凸的情况。
2021-12-29 math.OC
Mirror Descent Methods with Weighting Scheme for Outputs for Constrained Variational Inequality Problems
本文针对经典及带函数约束的变分不等式问题，提出带输出加权方案的镜像下降法，通过给近期点更大权重提升收敛速度，并证明了有界单调算子下的最优收敛速率，数值实验显示其显著优于改进投影法。
2025-06-02 math.OC
Extended Triangle Inequalities for Nonconvex Box-Constrained Quadratic Programming
针对非凸盒约束二次规划对应的$\rm{QPB}_n$凸包刻画难题，本文基于$\rm{QPB}_3$的析取刻画提出新的有效线性不等式及二阶锥强化形式，实验证明其可求解部分原有约束无法精确求解的非凸算例。
2025-01-15 math.OC
Adaptive fast gradient method in stochastic optimization tasks
本文提出了一种基于镜像变形相似三角形方法的随机自适应快速梯度下降法。据我们所知，这是第一次尝试使用自适应随机方法。另外，还从大偏差概率的角度证明了一个主要结果.
2017-11-30 math.OC
Mirror Descent Linearized Augmented Lagrangian Methods for Nonconvex Constrained Stochastic Zeroth-Order Optimization
Sun Yat-sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）；ShanghaiTech University（上海科技大学）
针对可获取约束精确信息及目标带噪值的非凸约束随机零阶优化问题，提出结合随机零阶梯度估计器与方差缩减技术的Bregman线性化增广拉格朗日方法，分析其oracle复杂度，在高维场景下复杂度优于现有方法且与文献最低ε阶复杂度匹配，数值实验验证其性能。
2026-09-01 cs.LG math.OC
Unifying mirror descent and dual averaging
我们介绍和分析了一个新的家庭的一阶优化算法的推广和统一的镜像下降和双平均。在这个家庭的框架内，我们定义了新的约束优化算法，结合了镜像下降和双平均的优点。我们的初步模拟研究表明，这些新的算法显着优于现有的方法在某些情况下。
2022-06-10 cs.LG math.OC
On exploration of an interior mirror descent flow for stochastic nonconvex constrained problem
School of Industrial Engineering, Purdue University（工业工程学院，普渡大学）
本文构造统一 Hessian barrier 与 mirror descent 的内点黎曼次梯度流，分析伪稳定点成因，并给出规避条件、随机扰动策略及两类推广迭代算法。
2025-07-25 cs.LG math.OC
MirrorCBO: A consensus-based optimization method in the spirit of mirror descent
Department of Computing and Mathematical Sciences, Caltech（计算与数学科学系，加州理工学院）；Helmholtz Imaging, Deutsches Elektronen-Synchrotron DESY（海德堡成像，德意志电子同步辐射研究中心（DESY））
提出MirrorCBO方法，通过将共识优化与镜像下降结合，实现无导数非凸优化，并推广到约束优化问题，理论证明指数收敛速率，实验展示稀疏诱导和约束优化的竞争力。
2025-07-16 cs.LG math.OC
Optimal Convergence Rate for Mirror Descent Methods with special Time-Varying Step Sizes Rules
本文针对具有特殊时变步长的镜像下降算法，通过新的加权方案消除了对数因子，证明了最优收敛速率 $O(N^{-1/2})$，并在数值实验中验证了其优于现有方法。
2025-06-02 math.OC
Zeroth-order randomized block methods for constrained minimization of expectation-valued Lipschitz continuous functions
我们考虑最小化的$L_0$ -Lipschitz连续和期望值的功能，表示为$f$和定义为$f(x)\triangleq \mathbb{E}[\tilde{f}(x,ω)]$，在笛卡尔积的封闭和凸集的观点，对获得两个渐近以及速度和复杂性的保证计算一个近似的稳定点（在克拉克意义上）。我们采用了一种基于平滑的方法依赖于最小化$f_η$其中$f_η(x) \triangleq \mathbb{E}_{u}[f(x+ηu)]$，$u$是一个随机变量定义在一个单位球，和$η> 0$。事实上，它是观察到的$η$ -平滑问题的一个稳定点是一个$2η$ -稳定点的原始问题在克拉克意义。在这样的设置中，我们推导出一个合适的残差函数，提供了一个度量平稳的平滑问题。通过利用零阶框架依赖于利用采样功能评估实现的块结构的制度，我们提出的计划所产生的序列的两组贡献。(i)平滑问题的残差函数几乎肯定会沿着生成的序列趋于零;（ii）为了计算$x$，确保$η$平滑问题的残差的预期范数在$ε$内，需要不大于$\mathcal{O}(\tfrac{1}{ηε^2})$投影步骤和$\mathcal{O}\left(\tfrac{1}{η^2 ε^4}\right)$函数评估。这些陈述似乎是新颖的，似乎很少有结果，以抗衡一般非光滑，非凸，随机制度通过零阶方法。
2021-07-15 math.OC
On Connections between Constrained Optimization and Reinforcement Learning
Google Research（谷歌研究院）
动态规划（DP）提供了求解马尔可夫决策过程的标准算法。然而，这些算法通常不优化标量目标函数。在本文中，我们绘制DP和（约束）凸优化之间的联系。具体而言，我们显示了明确的链接，在算法结构之间的DP计划和优化算法。我们将保守策略迭代与Frank-Wolfe联系起来，将D-Descent修改策略迭代与Mirror Descent联系起来，将Politex（使用专家预测的策略迭代）与双平均联系起来。这些抽象DP方案代表了许多（深度）强化学习（RL）算法。通过强调这些联系（其中大部分已经注意到，但以分散的方式），我们希望鼓励进一步研究将RL和凸优化联系起来，这可能会导致设计新的，更有效的，更好地理解RL算法。
2019-10-29 cs.LG math.OC stat.ML
Stochastic First-Order Algorithms for Constrained Distributionally Robust Optimization
本文针对约束分布鲁棒优化问题提出一种随机一阶元算法，分别用近似随机镜像下降和赌博机镜像下降更新决策变量与分布参数，使迭代次数与变量维度无关、对约束数仅呈对数依赖，并通过实验验证其在高维分布参数下的有效性。
2023-05-26 math.OC
Hessian informed mirror descent
受最近论文的启发（L。Ying，用于最小化相互作用自由能的镜像下降算法，科学计算杂志，84（2020），pp. 1-14），我们探讨了镜像下降和变度量法之间的关系。当镜像下降中的度量由凸函数诱导，且其Hessian与目标函数的Hessian接近时，该方法既具有镜像下降的鲁棒性，又具有牛顿型方法的超线性收敛性.当应用于线性约束极小化问题时，我们证明了在连续和离散情况下的全局和局部收敛。作为应用，我们计算了Wasserstein梯度流和具有退化迁移率的Cahn-Hillard方程。当制定这些问题使用一个最小化的运动计划相对于一个可变的度量，我们的镜像下降算法提供了一个快速的收敛速度为下划线的最优化问题，同时保持总质量和解决方案的界限。
2021-06-25 cs.NA math.NA math.OC
On Modification of an Adaptive Stochastic Mirror Descent Algorithm for Convex Optimization Problems with Functional Constraints
针对多个凸泛函约束条件下的约束凸优化问题，对最近提出的自适应随机镜像下降算法进行了新的改进。算法，标准和建议的修改，被认为是非光滑Lipschitz连续凸目标函数和凸泛函约束的问题类型。这两种算法，具有近似解的问题的精度$\varepsilon$，是最佳的估计的下界方面，并具有复杂性$O\left( \varepsilon^{-2} \right)$。在这两种算法中，与目标函数的（次）梯度和函数约束有关的精确一阶信息被其无偏随机估计所代替。这意味着在每次迭代中，我们仍然可以使用研究点处的目标函数和函数约束的值，但我们计算它们的随机（子）梯度，而不是它们的（子）梯度。由于考虑到非生产性步骤上的非所有功能约束，所提出的修改允许节省算法的运行时间。估计的收敛速率的建议修改后的算法。数值实验的结果表明所提出的修改的优点和效率的一些例子也给出。
2020-01-21 math.OC
Distributed Constrained Optimization with Delayed Subgradient Information over Time-Varying Network under Adaptive Quantization
本文研究了时变通信网络中具有延迟次梯度信息的分布式约束最优化问题，其中每个智能体只能与其邻居通信，通信信道具有有限的数据速率.我们提出了一种自适应量化方法来解决这个问题。基于Bregman发散理论，建立了一种带延迟次梯度信息的镜像下降算法。该方法采用非欧几里德Bregman投影算法，从本质上推广了许多经典的基于欧几里德投影的分布式算法。通过所提出的自适应量化方法，可以获得无任何量化误差的最优值。对算法的收敛性进行了综合分析，结果表明，在适当的条件下，可以得到最优的收敛速度$O(1/\sqrt{T})$。最后，数值例子证明了我们的算法和理论结果的有效性。
2021-06-15 math.OC
On global convergence of area-constrained formations of hierarchical multi-agent systems
本文研究了二维空间中点智能体的编队成形问题，其中控制避免了反射模糊的可能性。这种类型的问题的一个解决方案，首先给出了三个或四个代理考虑潜在的功能，其中包括的距离误差和签署的面积条款。然后，通过利用这种潜在的功能的分层控制策略，该方法最近被扩展到任何数量的代理。然而，必须在那里使用有符号面积项的特定增益，并且它不能保证全局收敛。为了克服这个问题，本文给出了一个全局收敛的充分必要条件，约束条件是所需的编队由等腰三角形。这阐明了这种情况下有符号面积上增益的容许范围。此外，对于由任意三角形组成的编队，证明了符号区域上的高增益对于全局收敛是允许的。
2020-09-04 cs.SY eess.SY math.OC
Solving the Heilbronn Triangle Problem using Global Optimization Methods
Sharif University of Technology（谢里夫理工大学）；Sabancı University（萨班哲大学）
本文提出使用全局优化方法解决海因布伦三角问题，通过改进的公式和计算方法，实现了n=9点的最优解，计算效率显著提升。
2025-12-16 cs.CG math.OC
UniXGrad: A Universal, Adaptive Algorithm with Optimal Guarantees for Constrained Optimization
EPFL（洛桑联邦理工学院）；Technion（以色列理工学院）；INRIA（法国国家信息与自动化研究所）
针对随机约束凸优化问题，提出了一种新的自适应加速算法.我们的方法，这是受启发的Prox-Prox方法，\emph{simultaneously}实现了最佳的速度光滑/非光滑问题的确定性/随机一阶预言。这是在没有任何关于平滑度或问题的噪声特性的先验知识的情况下完成的。据我们所知，这是第一个自适应的，统一的算法，在约束设置中实现最佳速率。我们通过大量的数值实验证明了我们的框架的实际性能。
2019-10-30 cs.LG math.OC
Distributed Stochastic Constrained Composite Optimization over Time-Varying Network with a Class of Communication Noise
研究了一类带有通信噪声的时变网络上分布式随机多智能体约束最优化问题。本文考虑的问题，在复合优化设置，这是更普遍的文献中的噪声网络优化。值得注意的是，现有的主流噪声网络优化方法是基于欧几里德投影。基于Bregman投影的镜像下降格式，提出了一种非欧方法，并研究了其收敛性。这种方法是分布式随机复合镜像下降型方法（DSCMD-N），它提供了一个更通用的算法框架。得到了DSCMD-N的一些新的误差界。据我们所知，这是第一个工作，分析和推导的收敛速度的优化算法在噪声网络优化。在适当的通信噪声条件下，我们还证明了该方法在非光滑凸优化下可以得到一个最优的$O(1/\sqrt{T})$速率。在期望收敛性、高概率收敛性和几乎必然收敛性方面得到了新的收敛结果。
2022-12-19 cs.SY eess.SY math.OC
Asymptotic properties of dual averaging algorithm for constrained distributed stochastic optimization
考虑时变随机网络上的约束随机最优化问题，其中智能体在一个共同的约束集下共同最小化目标函数之和.与现有的分布式对偶平均算法主要研究其非渐近性质不同，本文不仅证明了算法的几乎必然收敛和几乎必然收敛的速度，而且证明了算法的渐近正态性和渐近有效性。首先，对于分布在随机网络上的一般约束凸优化问题，证明了可以实现几乎必然一致性，且各智能体的估计收敛于同一最优点。对于线性约束凸优化问题，我们证明了平均对偶序列的镜像映射以概率1识别最优解的积极约束，这有助于我们证明算法的几乎必然收敛率，进而建立算法的渐近正态性.此外，我们还证明了该算法是渐近最优的。据我们所知，这似乎是约束分布优化算法的第一个渐近正态性结果。最后，通过数值算例验证了理论分析的正确性.
2020-09-06 math.OC
Policy Optimization for Constrained MDPs with Provable Fast Global Convergence
Texas A&M University（得克萨斯农工大学）
我们解决的问题，找到一个有约束的马尔可夫决策过程（CMDP）使用梯度下降为基础的算法的最优策略。以前的结果表明，原始-对偶方法可以实现$\mathcal{O}(1/\sqrt{T})$全局收敛速度的最优性差距和约束违反。我们提出了一种新的算法称为策略镜像下降原始对偶（PMD-PD）算法，可以证明实现更快的$\mathcal{O}(\log(T)/T)$收敛速度的最优性差距和约束违反。对于原始（策略）更新，PMD-PD算法利用修改的价值函数并执行自然的策略梯度步骤，其等效于具有适当正则化的镜像下降步骤。对于双重更新，PMD-PD算法使用修改的拉格朗日乘子，以确保更快的收敛速度。我们还提出了这种方法的两个扩展的设置与零约束违反和基于样本的估计。实验结果表明，与现有的基于策略梯度的算法相比，PMD-PD算法具有更快的收敛速度和更好的性能。
2022-02-03 cs.AI cs.LG math.OC
Kinetic Optimization of Magnetic Mirror Confinement: Beyond Classical Loss-Cone Theory
Universität Innsbruck（因斯布鲁克大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Google Research（谷歌研究）
该研究将磁镜设计建模为PDE约束优化问题，发现经典损失锥理论未涵盖的自洽电场效应及模型对最优磁场构型的影响，指出需考虑等离子体非线性动力学以优化磁镜。
2026-07-30 math.OC physics.plasm-ph
Mirror Descent-Type Algorithms for the Variational Inequality Problem with Functional Constraints
Innopolis University, Innopolis, Universitetskaya Str., 1, 420500, Russia. Moscow Institute of Physics；Technology, 9 Institutsky lane, Dolgoprudny, 141701, Russia. V.\,I.\,Vernadsky Crimean Federal University, 4 Academician Vernadsky Avenue, Simferopol, 295007, Republic of Crimea, Russia.
本文提出了一种镜像下降型算法，根据功能约束值在迭代中的变化切换生产与非生产步骤，以提高求解带功能约束的变分不等式问题的效率和收敛速度。
2026-02-24 cs.LG math.OC
Optimal Design of Coatings for Mirrors of Gravitational Wave Detectors: Analytic Turbo Solution via Herpin Equivalent Layers
本文给出了引力波探测器反射镜介质膜优化设计问题的解析解，该方法基于Herpin等效层，给出了一个简单的、构造性的解析解。Herpin型设计的性能超过了周期性设计的性能，并且几乎等于通过蛮力获得的数值、非建设性优化设计的性能。请注意，约束优化问题的显式解析构造解的存在性一般不能保证，当找到这样的解时，我们称之为Turbo最优解。
2021-12-08 astro-ph.IM gr-qc math.OC
Distributing points uniformly on the unit sphere under a mirror reflection symmetry constraint
在许多科学和工程应用中，都发现了单位球面上均匀分布的点集（有对称约束和无对称约束）。在这里，提出了一种新的变体的汤姆森问题，并制定为一个无约束优化问题。虽然汤姆逊问题的目标是找到最低能量配置的$N$电子约束在表面上的单位球，这种新的变体施加了一个新的对称约束-镜像反射对称的$x$ - $y$平面作为对称平面。定性特征的二维投影的最佳配置的简要提及和比较的基态配置的二维系统的带电粒子横向限制的抛物型势阱。
2014-04-15 math.OC physics.class-ph physics.comp-ph
Competitive Mirror Descent
Caltech（加州理工学院）
约束竞争优化涉及多个代理试图最小化冲突的目标，受到约束。这是一种高度表达性的建模语言，包含了大部分现代机器学习。在这项工作中，我们提出了竞争镜像下降（CMD）：一个通用的方法来解决这些问题的基础上，可以通过自动微分获得的一阶信息。首先，通过增加拉格朗日乘子，我们得到一个简化的约束集与相关的布雷格曼势。在每次迭代中，我们求解整个问题的正则化双线性近似的纳什均衡，以获得代理的运动方向。最后，我们根据Bregman势诱导的对偶几何，沿着这个方向得到下一个方向。通过使用对偶几何，我们获得可行的迭代，尽管在每次迭代中只求解线性系，消除了对投影步骤的需要，同时仍然考虑到约束集的全局非线性结构。作为特例，我们得到了正锥上问题的一个新的竞争乘性权算法。
2020-06-17 cs.GT cs.LG math.OC
Distributionally Constrained Black-Box Stochastic Gradient Estimation and Optimization
我们认为随机梯度估计只使用黑盒函数的评价，其中函数参数位于概率单纯形。这个问题是从梯度下降优化程序在多个应用程序中的分布鲁棒分析和逆模型校准涉及决策变量的概率分布的动机。我们特别感兴趣的是获得梯度估计，其中一个或几个样本观测或模拟运行同时适用于所有方向。传统的零阶梯度方案，如同时扰动面临的挑战，因为所需的矩条件，允许“取消”高阶偏差不能满足，而不违反单纯形约束。我们研究了一组新的随机扰动发生器所需的条件，这使我们一类可实现的梯度估计使用Dirichlet混合。我们研究了这些估计的统计特性和它们在约束随机逼近中的效用，包括Frank-Wolfe和镜像下降更新方案。我们证明了我们的程序的有效性，并通过几个数值例子与基准比较。
2021-05-19 math.OC math.PR stat.ME
The Birkhoff Geometry of Manifold-Constrained Hyper-Connections: Two Channels, Vertex Viscosity, and Sinkhorn as a Retraction
University of New South Wales（新南威尔士大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；City University of Hong Kong（香港城市大学）
本文从Birkhoff几何角度分析流形约束超连接（mHC），揭示其双通道动力学、Sinkhorn作为回缩的几何性质，并证明梯度流与镜像下降的收敛速率差异。
2026-10-06 cs.LG math.OC stat.ML
