Communication-Efficient Decentralized Optimization via Double-Communication Symmetric ADMM
University of Science and Technology of China（中国科学技术大学）；Princeton University（普林斯顿大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出了一种通过双通信对称ADMM实现高效去中心化优化的方法，通过减少总迭代次数和通信成本，提升了去中心化优化的效率。
2026-03-04 math.OC
Double Well Potential Function and Its Optimization in The n-dimensional Real Space -- Part I
研究了一类特殊的多元四次多项式，称为双阱势函数。当函数有界时，它有一个非常独特的性质，即两个或多个局部极小值解被一个局部极大值解或一个鞍点分隔开。本文的目的是对双阱势函数的所有可能组态进行数学分类。在第一部分中，我们开始研究从广义Ginzburg-Landau泛函的数值估计推导双阱势函数。然后，通过引入一种几何非线性测度，即柯西-格林应变，从对偶的角度求解了该问题的全局极小值解。我们证明了对偶问题的对偶是一个线性约束凸极小化问题，它等价地映射到原双井问题的一部分，受到额外的线性约束。数值例子来说明问题的重要特征和之间的映射。
2014-10-22 math.OC
Distributed Convex Optimization for Continuous-Time Dynamics with Time-Varying Cost Function
研究了连续时间多智能体系统的时变分布凸优化问题。控制算法的情况下，单积分器和双积分器的动态设计。在每种情况下，提出了两种基于符号函数的不连续算法来解决问题。然后，在双积分动力学的情况下，两个连续的算法的基础上，分别提出了一个时变和固定的边界层连续近似的signum函数。此外，考虑到代理间碰撞的物理代理，一个分布式的群体跟踪行为的凸优化问题的单积分器和双积分器的动态。
2016-09-06 math.OC
On unconstrained optimization problems solved using CDT and triality theory
DY Gao单独或与他的一些合作者应用他的规范对偶理论（CDT）解决了一类无约束最优化问题，得到了所谓的“triality定理”。不幸的是，2010年之前发表的这些结果中的“双极小对偶性”被证明是错误的，即使高岱年在2003年宣布获得它需要“某些附加条件”。2010年之后，高岱年和他的一些合作者发表了几篇论文，其中他们在triality定理中增加了获得“双极小”和“双极大”对偶性的附加条件。本文的目的是严格地处理这类问题，并讨论迄今为止有关“三重性理论”的几个结果。
2018-10-21 math.OC
Decentralized Constrained Optimization: Double Averaging and Gradient Projection
本文研究了强连通有向图上带凸约束的凸有限和极小化问题。该约束是一个交集的几个凸集，每个已知的只有一个节点。为了解决这个问题，我们提出了一种新的分散投影梯度格式的基础上局部平均和证明其收敛性仅使用局部函数的光滑性。
2021-06-21 cs.DC math.OC
On the Triality Theory for a Quartic Polynomial Optimization Problem
本文给出了一类四阶多项式最优化问题的试探性定理的详细证明。该方法是基于线性代数，但它解决了一个开放的问题上的双闵对偶在2003年离开。结果表明，当原问题与其标准对偶具有相同维数时，三重性理论在三重对偶形式下强成立;当原问题与其标准对偶具有相同维数时，标准极大极小对偶和双极大对偶仍然强成立，但双极小对偶在对称形式下弱成立.四个算例表明，该理论不仅可以识别全局极小值，而且可以识别最大的局部极小值和局部极大值。
2011-10-03 math.OC
The Boosted Double-Proximal Subgradient Algorithm for Nonconvex Optimization
本文提出BDSA算法解决一般结构化非光滑非凸优化问题，结合次梯度与近端步骤并集成线搜索，在Kurdyka--Lojasiewicz性质下证明收敛性并分析收敛速率，实验验证其逃离非最优临界点的能力及实际应用有效性。
2023-06-29 math.OC
Distributed Nonconvex Optimization with Double Privacy Protection and Exact Convergence
School of Information Science and Technology, Shanghaitech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Energy Efficient and Custon AI IC（上海能效与定制人工智能集成电路工程研究中心）；Engineering and Technology Institute (ENTEG), University of Groningen（格罗宁根大学工程与技术研究所）
针对分布式非凸优化中的隐私缺失问题，提出双重隐私保护分散式近端原始-对偶算法$\ ext{DPP}^2$，通过变量变换与随机扰动实现零信息泄露，在保证差分隐私的同时实现精确收敛。
2025-11-04 math.OC
Distributed Adaptive Gradient Optimization Algorithm
本文研究了单积分器和双积分器多智能体系统中具有一般可微凸目标函数的分布式最优化问题。介绍了两种分布式自适应优化算法，该算法利用相关信息构造交互作用项的增益。基于李雅普诺夫函数、系统解的分析和局部目标函数的凸性进行了分析。结果表明，对于单积分和双积分的多智能体系统，只要凸目标函数的梯度连续，则团队凸目标函数都能随时间的变化而最小化.数值例子显示所得到的理论结果。
2017-03-27 math.OC
Double Quantization for Communication-Efficient Distributed Optimization
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
机器学习模型的现代分布式训练遭受用于同步随机梯度和模型参数的高通信开销。在本文中，为了减少通信的复杂性，我们提出了\emph{double quantization}，一个通用的计划量化模型参数和梯度。三个通信效率的算法提出了这个一般计划。具体而言，（i）我们提出了一个低精度算法AsyLPG异步并行，（ii）我们探索了结合梯度稀疏化与双量化和开发稀疏AsyLPG，（iii）我们表明，双量化也可以加速动量技术和设计加速AsyLPG。我们建立了严格的性能保证的算法，并进行多服务器测试床上的实验，以证明我们的算法可以有效地节省传输的比特，而不会降低性能。
2019-05-26 cs.LG math.OC stat.ML
$μ^2$-SGD: Stable Stochastic Optimization via a Double Momentum Mechanism
Technion（以色列理工学院）
针对随机凸优化问题，提出结合双动量机制的梯度估计器并设计SGD及加速算法，证明了其在固定学习率下对无噪声和有噪声情况均能取得最优收敛率且对学习率选择具有鲁棒性。
2025-03-05 cs.LG math.OC
Extremum Seeking with Double Integrators in the Presence of Local Extrema
本文提出了一种在存在局部极值情况下利用双重积分器进行全局极值寻求的方法，并通过平均分析证明了其稳定性。
2026-09-03 math.OC
A forward-reflected-anchored-backward splitting algorithm with double inertial effects for solving non-monotone inclusion problems
本文将带双重惯性效应的前向-反射-锚定-后向分裂算法推广到广义单调的非单调包含问题，证明了序列的强收敛性，并展示了其在约束优化、混合变分不等式和变分不等式中的应用。
2025-03-11 math.OC
Multi-Agent Reinforcement Learning via Double Averaging Primal-Dual Optimization
Chinese University of Hong Kong（香港中文大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；University of Minnesota（明尼苏达大学）
尽管单智能体强化学习取得了成功，但由于智能体之间的复杂交互，多智能体强化学习（MARL）仍然具有挑战性。受传感器网络、群机器人和电网等分散式应用的启发，我们研究了MARL中的策略评估，在MARL中，具有联合观察状态-动作对和私有局部奖励的代理合作学习给定策略的值。在本文中，我们提出了一个双平均方案，每个代理迭代执行平均在空间和时间，分别将相邻的梯度信息和本地奖励信息。我们证明了该算法以全局几何速度收敛到最优解。特别是，这样的算法是建立在原始-对偶的均方投影贝尔曼误差最小化问题，这引起了一个分散的凸-凹鞍点问题的重新制定。据我们所知，提出的双重平均原始-对偶优化算法是第一个实现快速有限时间收敛的分散凹凸鞍点问题。
2019-01-09 cs.LG math.OC stat.ML
Dynamic Weight Optimization for Double Linear Policy: A Stochastic Model Predictive Control Approach
National Tsing Hua University（国立清华大学）
本文提出随机模型预测控制方法，解决双线性策略时间变化权重的优化问题，通过风险调整收益最大化和生存约束，提升风险调整性能和回撤控制。
2026-04-01 cs.SY eess.SY math.OC
DSA: Decentralized Double Stochastic Averaging Gradient Algorithm
本文考虑网络节点可访问全局目标的和式的凸优化问题。进一步假设这些局部目标中的每一个是函数的有限集的平均。这种设置的动机是解决大规模机器学习问题，其中训练集的元素被分配到多个计算元素。分散的双随机平均梯度（DSA）算法被提出作为一种解决方案的替代方案，依赖于：（i）使用局部随机平均梯度。(ii)将下降步长确定为连续随机平均梯度的差。证明了局部函数的强凸性和局部梯度的Lipschitz连续性保证了DSA生成的序列按期望值的线性收敛。局部迭代进一步示出接近几乎所有实现的最优参数。DSA的预期线性收敛性与现有分散随机最优化方法的次线性速率特性形成对比。对逻辑斯谛回归问题的数值实验表明，相对于这些其他替代方案，收敛时间和处理的特征向量的数量减少，直到收敛。
2015-06-13 math.OC
Distributed Convex Optimization of Time-Varying Cost Functions with Swarm Tracking Behavior for Continuous-time Dynamics
研究了连续时间多智能体系统中具有群体跟踪行为的分布式凸优化问题。智能体的任务是通过局部交互来驱动其中心跟踪最优轨迹，该最优轨迹使局部时变费用函数之和最小化，同时保持连通性并避免智能体之间的碰撞。每个局部费用函数仅为单个代理所知，并且团队的最优解是时变的。这里考虑两种情况，单积分器动态和双积分器动态。对于每种情况下，提出了一种分布式的群体跟踪行为的凸优化算法，每个代理只依赖于自己的位置和相对位置（和速度在双积分的情况下）之间的本身和它的邻居。结果表明，智能体的中心跟踪最优轨迹，智能体之间的连通性将保持和避免智能体间的碰撞。最后，数值例子进行说明。
2015-07-16 math.OC
On the Role of Optimization in Double Descent: A Least Squares Study
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）；University College London（伦敦大学学院）
从经验上看，随着模型规模的增加，深度神经网络的性能稳步提高，这与经典的过拟合和泛化观点相矛盾。最近，双下降现象已被提出来调和这一观察与理论，这表明，测试误差有一个第二次下降时，模型变得充分overparameterized，作为模型大小本身作为一个隐式正则化。在本文中，我们增加了在这个空间中不断增长的工作，提供了一个学习动态的最小二乘场景的模型大小的函数的仔细研究。我们展示了最小二乘目标的梯度下降解的超额风险界。通过具有双下降行为的函数形式，边界取决于输入特征的协方差矩阵的最小非零特征值。这为文献中报道的双下降曲线提供了一个新的视角。我们的过度风险的分析允许解耦的优化和泛化误差的影响。特别是，我们发现，在无噪声回归的情况下，双下降是唯一的解释优化相关的数量，这是错过了专注于摩尔-彭罗斯伪逆解的研究。我们相信，我们的推导提供了一个替代的观点相比，现有的工作，揭示了这种现象的可能原因，至少在考虑最小二乘设置。我们从经验上探索我们的预测是否适用于神经网络，特别是中介隐藏激活的协方差是否与我们的推导所预测的行为相似。
2021-07-27 cs.LG math.OC stat.ML
A Double Tracking Method for Optimization with Decentralized Generalized Orthogonality Constraints
针对分散广义正交约束优化，本文利用约束溶解算子建立无约束惩罚模型，并提出同时跟踪目标梯度与约束 Jacobian 的双重跟踪算法，证明其全局收敛与迭代复杂度，且经合成及真实数据验证有效。
2024-09-08 cs.DC math.OC stat.ML
Double Momentum Method for Lower-Level Constrained Bilevel Optimization
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）
本文针对下层约束双层优化提出基于非光滑隐函数定理的新超梯度，并设计单循环单时间尺度的双动量自适应步长算法，证明其达到$(δ, ε)$-稳定点仅需$\tilde{\mathcal{O}}(d_2^2ε^{-4})$次迭代。
2024-06-25 cs.AI cs.LG math.OC
Computer-Assisted Design of Accelerated Composite Optimization Methods: OptISTA
University of California, Los Angeles（加州大学洛杉矶分校）；Rice University（莱斯大学）
OptISTA通过双函数步长优化PEP方法，在复合优化中设计出精确最优的一阶方法，解决了最优一阶方法的搜索问题。
2025-11-22 math.OC
Optimization of the Railcar Assignment Problem Using Zone-based Double Deep Reinforcement Learning
Wm Michael Barnes ’64 Department of Industrial and Systems Engineering, Texas A&M University（德克萨斯农工大学）
针对平面调车场铁路车辆分配问题，提出Zone-DDQN启发式方法，在大型实例上求解效率远超MIP模型，平均运行时间214.42秒，最优性差距5.71%。
2026-08-20 math.OC
CompressedScaffnew: The First Theoretical Double Acceleration of Communication from Local Training and Compression in Distributed Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence (SDAIA-KAUST AI)（SDAIA-KAUST数据科学与人工智能卓越中心）；Brno University of Technology（布尔诺理工大学）；Kempelen Institute of Intelligent Technologies (KInIT)（肯佩伦智能技术研究所）
本文提出CompressedScaffnew算法，结合减少通信频率和压缩信息传输两种策略，实现分布式优化的线性收敛与双重加速。
2026-04-02 cs.DC cs.LG math.OC
Double Variance Reduction: A Smoothing Trick for Composite Optimization Problems without First-Order Gradient
School of Management, Xi’an Jiaotong University（西安交通大学管理学院）；State Grid Corporation of China（中国国家电网有限公司）；International Business School, Beijing Foreign Studies University（北京外国语大学国际商学院）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；College of Computing and Data Science, NTU（南洋理工大学计算机与数据科学学院）
针对复合优化问题中零阶方法的坐标方差，提出ZPDVR方法，利用平均技巧同时降低采样与坐标方差，实现最优查询复杂度，实验验证线性收敛与优越性。
2024-05-28 cs.LG math.OC
Double Averaging and Gradient Projection: Convergence Guarantees for Decentralized Constrained Optimization
针对静态有向网络下的去中心化约束优化问题，提出基于双重平均与梯度投影的DAGP算法，结合分布式零空间投影实现全局最优，建立次线性收敛速率，还提出聚合下界分析方法并验证算法在多类问题中的有效性。
2023-11-08 cs.DC cs.MA math.OC
Gradient-free two-points optimal method for non smooth stochastic convex optimization problem with additional small noise
利用双光滑技术和随机镜像下降法，建立了两点无梯度非光滑随机凸规划的一个最优算法。我们调查了多少可以是噪声的水平（这种噪声的性质是不必要的随机）的收敛速率保持（乘法因子）。
2017-08-13 math.OC
Enhancing Unsupervised Feature Selection via Double Sparsity Constrained Optimization
Shanghai University（上海大学）；Northeastern University（东北大学）；Sun Yat-sen University（中山大学）
本文提出 DSCOFS 方法，在 PCA 框架中引入 $\ell_{2,0}$-范数和 $\ell_0$-范数双重稀疏约束，并设计邻近交替极小化算法，以提升无监督特征选择的判别力、稳定性和聚类性能。
2025-01-01 cs.LG math.OC
A Near-Optimal Algorithm for Stochastic Bilevel Optimization via Double-Momentum
University of Minnesota（明尼苏达大学）；The Chinese University of Hong Kong（香港中文大学）；Northwestern University（西北大学）；Princeton University（普林斯顿大学）
本文提出了一种新的求解无约束双层优化问题的算法--\underline{S}单时标Do \underline{u} ble-momentum \underline{St} ochastic \underline{A} pprox \underline{i} matio \underline{n}（SUSTAIN）.我们专注于两层问题，其中下层子问题是强凸的，上层目标函数是光滑的。不同于以往的作品，依赖于\emph{two-timescale}或\emph{double loop}技术，我们设计了一个随机动量辅助梯度估计的上层和下层更新。后者使我们能够控制由于两个子问题的解不准确而导致的随机梯度更新中的误差。如果上面的目标函数是光滑的，但可能是非凸的，我们表明，{ \aname }~需要$\mathcal{O}(ε^{-3/2})$迭代（每个使用${\cal O}(1)$样本），以找到一个$ε$ -固定的解决方案。$ε$ -稳态解定义为外函数梯度的平方范数小于或等于$ε$的点。上层和下层目标函数所需的随机梯度样本的总数与单级随机梯度算法的最佳已知复杂度相匹配。我们还分析了当上层目标函数是强凸的情况。
2021-06-15 cs.LG math.OC stat.ML
Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
针对约束凸MDP的挑战，提出基于模型的VPDPO算法，利用拉格朗日与Fenchel对偶性转化为无约束原始-对偶优化，结合OFU价值迭代与梯度上升更新，在核化非线性调节器与低秩MDP中实现次线性遗憾与约束违反，并获全局最优策略。
2024-02-16 cs.LG math.OC stat.ML
A Single-Loop Regularized Newton Method for Nonconvex-Strongly-Concave Minimax Optimization
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
针对光滑非凸-强凹极小极大问题，提出一种基于等价正则化最小化重构的单循环框架，通过自适应三次-二次主化处理非Lipschitz Hessian分量，实现全局复杂度匹配双循环二阶方法，并自动获得局部超线性收敛率。
2026-06-05 math.OC
D-ripALM: A Tuning-friendly Decentralized Relative-Type Inexact Proximal Augmented Lagrangian Method
Sun Yat-sen University（中山大学）；Shenzhen Technology University（深圳理工大学）；The University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
D-ripALM是一种适用于多智能体网络共识凸优化的去中心化算法，通过相对型误差准则提升调优友好性和数值鲁棒性。
2026-02-06 math.OC
Improving Online-to-Nonconvex Conversion for Smooth Optimization via Double Optimism
Department of Electrical and Computer Engineering, The University of Texas at Austin（电气与计算机工程系，德克萨斯大学奥斯汀分校）；Google Research（谷歌研究）
本文提出了一种基于双乐观提示函数的在线乐观梯度方法，解决了非凸优化中在线到非凸转换框架的局限性，实现了统一的算法复杂度。
2026-02-08 cs.LG math.OC
From Dual Tracking to Clipping: Provably Faster Distributionally Robust Multi-Objective Optimization
Department of Computer Science（计算机科学系）；Texas A& M University（德克萨斯A&M大学）；University of Maryland（马里兰大学）
本文提出分布鲁棒多目标优化（DR-MOO），通过多梯度下降算法（MGDA）在非凸设定下实现ε-Pareto- stationary点，改进样本复杂度至O(ε^{-4})。
2026-10-07 cs.LG math.OC
Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy
University of Basel（巴塞尔大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
本文提出Clip21-SGD2M方法，结合剪裁、动量和误差反馈，实现非凸问题中的最优收敛率和近最优差分隐私保障。
2026-03-05 cs.LG math.OC stat.ML
On the Triality Theory in Global Optimization
证明了一般无约束全局最优化问题的试探性定理。所采用的方法简单但数学上严格。结果表明，如果原问题和它的标准对偶具有相同的维数，则三重性理论在三重对偶形式下强成立。除此之外，标准极大极小对偶和双极大对偶仍然强成立，但双极小对偶如预期的那样以超对称形式弱成立。此外，还发现了一个互补弱鞍极小极大对偶定理。从而彻底解决了2003年关于该语句的一个未决问题。该理论不仅可以识别全局极小值，而且可以识别最大的局部极小值、极大值和鞍点。应用举例说明。讨论了最优化中的一些基本概念和正则对偶理论中存在的一些挑战性问题。
2012-02-20 cs.CC math.AC math.OC
A Closer Look at Double Backpropagation
University of Bremen（不来梅大学）
近年来，越来越多的神经网络模型在其损失函数中包含关于输入的导数，从而导致所谓的用于一阶优化的双反向传播。然而，到目前为止，还没有对所涉及的衍生物的一般描述。在这里，我们涵盖了一个非常一般的希尔伯特空间框架中的各种特殊情况，这使我们能够为许多现实世界的场景提供优化的反向传播规则。这包括对局部线性激活函数的雅可比行列式的Frobenius范数罚函数的计算减少约三分之一。此外，我们还在输入和参数中描述了ReLU网络的不连续损失面，并演示了为什么不连续性在现实中不会造成大问题。
2019-06-16 cs.LG math.OC stat.ML
Achieving double-logarithmic precision dependence in optimization-based quantum unstructured search
Beijing International Center for Mathematical Research, Peking University（北京大学数学中心）；Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）
提出黎曼修正牛顿法求解量子搜索问题，利用梯度与Hessian特征向量关系，实现复杂度O(√(N/M)+loglog(1/ε))的双对数精度依赖，且保持Grover兼容性。
2026-06-16 math-ph math.MP math.OC
Hyperbolic Optimization over the Integer Efficient Set of MOILFP
本文研究的目的是在不产生所有有效解的情况下，求出线性分式函数在多目标线性分式整数规划有效集上的最优解。就其本质而言，它是一个全局最优化问题，因为有效集是离散的，因此不是凸的。为此，本文提出了一种基于分枝定界的方法，该方法具有双重任务，即对给定的线性分式函数进行最优解搜索，并且对于多目标线性分式整数规划问题是有效的.在随机生成的实例上执行的测试最多可成功生成120个变量、100个约束和6个标准。
2019-07-03 math.CO math.MG math.OC
