Inertial Primal-Dual Dynamics Methods Featuring Implicit Hessian-Driven Damping for Convex Optimization Problems in Continuous and Discrete Time
Chongqing Technology and Business University（重庆工商大学）；Sichuan University（四川大学）；Sunway University（双威大学）
本文针对带线性等式约束的强凸优化问题，提出带隐式海森驱动阻尼的惯性原始-对偶动力学，推导对应的离散算法，证明其收敛速率与连续系统一致，还扩展到非光滑情形并通过数值实验验证。
2026-09-01 math.OC
Inertial dynamical systems and accelerated algorithms with implicit Hessian-driven damping for nonconvex optimization
Chongqing Technology and Business University（重庆工商大学）；Sichuan University（四川大学）
本文提出了一种基于隐式Hessian驱动阻尼的惯性动力系统，用于解决强拟凸优化问题，并通过显式时间离散化和扰动项设计，实现了加速算法并验证了其收敛性。
2026-02-26 math.OC
Variable-Stepsize Implicit Peer Triplets in ODE Constrained Optimal Control
本文针对ODE约束最优控制问题，构造了变步长隐式Peer三元组方法，通过满足额外阶数条件实现超收敛，并严格证明了收敛阶，数值实验验证了其有效性。
2024-04-21 math.OC
Implicit Third-Order Peer Triplets with Variable Stepsizes for Gradient-Based Solutions in Large-Scale ODE-Constrained Optimal Control
Technical University Darmstadt（达姆施塔特工业大学）；Philipps-Universität Marburg（马尔堡菲利普大学）
本文提出了一种隐式三阶同伴三元组方法，用于高效求解大规模ODE约束最优控制问题，通过可变步长和高阶一致性提升计算精度。
2026-02-11 math.OC
Reduced variable optimization methods via implicit functional dependence with applications
最优化方法已广泛应用于两类对象，即（i）数据的建模和描述以及（ii）函数的稳定点的确定。在这里，开发的理论基础，优化任意数量的变量类（i）和（ii）的一个单一变量的函数的最小化。专注于减少变量集的算法也避免了与由于大量参数而出现的多个最小值和最大值相关联的问题。所描述的方法可以在物理科学中具有应用，其中一个物理上重要的变量的优化优先于其他变量。对于（i），我们开发了一个近似的，但计算更容易处理的方法和一个精确的方法，其中所有其他变量（P，k）的单个控制变量k通过最小二乘（LS）度量的局部平稳点。对于（ii），一个精确的理论是开发，从而一个独立的变化的所有参数的优化功能相一致，由于单一的参数最优化。必须进一步限定隐函数定理才能得到这个结果。所有方法都考虑了目标或费用函数的常数值曲面的拓扑结构。上述隐式方法在现实世界中的应用，根据已公布的数据确定一级和二级化学反应的速率常数和最终浓度参数。这项工作是不同的，更普遍的比所有的减少计划的条件线性参数，也不是一个子集的Adomian分解方法（ADM）用于估计解的微分方程，这仍然需要边界条件，不专题（i）和（ii）。
2013-06-21 math.OC
Implicit Euler approximation and Optimization of one-sided Lipschitzion differntial inclusions
研究了一类状态变量受各种非光滑端点约束的微分包含所支配的广义博尔扎问题，该微分包含满足所谓的“松弛单边Lipschitz”（ROSL）条件.通过使用隐式欧拉格式逼近时间导数，我们构造了具有ROSL右侧的微分包含的离散逼近，然后证明了此类逼近的适当适定性。我们的主要结果建立了强逼近（在$W^{1,2}$范数收敛的意义下）的“中间”（强和弱极小）的局部最优解的连续时间Bolza问题下的ROSL假设的隐式离散有限差分系统的最优解。最后，通过变分分析中适当的广义微分构造，得到了离散Bolza问题的必要最优性条件.所得到的离散近似的适定性和必要的最优性条件的结果，使我们证明了数值方法来解决广义博尔扎问题的单边Lipschitz微分包含通过使用离散逼近通过隐式欧拉格式构造。
2015-06-01 math.OC
Implicit augmented Lagrangian and generalized optimization
本文将增广拉格朗日框架扩展到无凸性假设的广义非线性规划，通过隐式表述和参数优化建立定制平稳性概念，推导乘子更新规则并证明收敛性，数值例子验证了该方法的建模灵活性和实际效益。
2023-08-02 math.OC
On the role of semismoothness in the implicit programming approach to selected nonsmooth optimization problems
Institute of Information Theory and Automation, Czech Academy of Sciences（捷克科学院信息论与自动化研究所）；Johann Radon Institute for Computational and Applied Mathematics (RICAM), Austrian Academy of Sciences（奥地利科学院约翰·拉登计算与应用数学研究所）；School of Mathematics, University of Birmingham（伯明翰大学数学学院）
本文研究隐式规划方法求解一类具有平衡约束的数学规划（MPEC）和双层规划问题，采用非光滑优化的束方法，利用SCD映射提供易计算的伪次梯度，确保收敛到满足平稳条件的点，并通过三个算例验证方法的有效性。
2026-05-30 math.OC
Implicit Regularization and Entrywise Convergence of Riemannian Optimization for Low Tucker-Rank Tensor Completion
本文研究了低Tucker秩张量补全问题，在近乎最优的采样复杂度下，利用留一法技术证明了原始黎曼梯度方法的逐元素收敛性并揭示了其隐式正则化现象。
2023-08-02 math.OC
Complexity analysis of regularization methods for implicitly constrained least squares
针对隐式约束非线性最小二乘问题，提出基于二次正则化的算法框架，利用伴随公式量化达到近似驻点的最坏情况成本，经PDE约束优化实验验证了效率，为优化复杂度研究提供新见解。
2024-09-13 math.OC
Optimization Workshop Notes for Mathematical Programming with Equilibrium Constraints Algorithms: Penalty Interior-Point, Implicit-Programming, and Piecewise SQP
College of Engineering, Boston University（波士顿大学工程学院）
本文探讨了处理带均衡约束的数学规划问题（MPECs）的几种算法，包括罚内点法、单调线性互补问题变体、隐式编程下降法和分段SQP方法，分析了其模型、搜索方向子问题、全局化机制及收敛性。
2026-04-17 math.OC
First-order approximations of multifunctions defined implicitly by "split" feasibility problems with applications to optimization
Università di Milano-Bicocca（米兰比可卡大学）
本文研究参数化“分裂”可行性问题的解映射（多值函数）的一阶微分性质，给出其图形导数的内外近似，并探讨其在带“分裂”可行性约束的数学规划最优性条件构建中的应用。
2026-08-31 math.OC
Beyond backpropagation: bilevel optimization through implicit differentiation and equilibrium propagation
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
本文综述了基于梯度的双层优化方法，重点介绍隐式微分与均衡传播两类方法的数学基础、梯度估计算法及其竞争优势。
2022-10-27 cs.LG math.OC
Amortized Implicit Differentiation for Stochastic Bilevel Optimization
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
研究了一类内层目标为强凸的随机和确定两层最优化问题的求解算法。具体来说，我们考虑基于不精确隐式微分的算法，我们利用一个热启动策略来摊销精确梯度的估计。然后，我们引入了一个统一的理论框架的启发，奇异摄动系统（Habets，1974年）的研究，分析这样的摊销算法。通过使用这个框架，我们的分析表明，这些算法，以匹配的计算复杂性的Oracle方法，有机会获得一个无偏估计的梯度，从而优于许多现有的结果为双层优化。我们说明了这些研究结果的合成实验，并证明了这些算法的效率超参数最优化实验涉及数千个变量。
2022-07-11 cs.LG math.OC
Implicit bulk-surface filtering method for node-based shape optimization and comparison of explicit and implicit filtering techniques
本文研究了基于卷积（显式）和基于偏微分方程（隐式）的形状滤波技术，并引入了一种隐式体曲面滤波方法，在体（实体）形状优化过程中同时控制边界光滑度和保持内部网格质量。为此，体积网格通过求解伪固体控制方程来过滤，伪固体控制方程由网格雅可比矩阵加强并被赋予Robin边界条件，该Robin边界条件涉及网格边界上的Laplace-Beltrami算子。其优越的性能，从非同时（顺序）处理边界和内部网格的复杂固体结构的形状优化。建立明确的过滤器，即高斯和线性，和亥姆霍兹/Sobolev为基础的（隐式）过滤器严格审查的一致性（刚体运动生产），几何特征和计算成本。结果表明，隐式滤波是更有效的数值和无条件一致的，相比显式。在数值实验的支持下，引入了正则化格林函数作为Helmholtz/Sobolev滤波器的等价显式形式。此外，我们给予特别注意，以获得基于节点的形状优化与非均匀网格的网格无关的过滤灵敏度。它表明，网格无关的过滤可以实现通过缩放离散灵敏度与网格质量矩阵的逆。
2022-08-01 cs.NA math.NA math.OC
On the Surprising Robustness of Sequential Convex Optimization for Contact-Implicit Motion Planning
The Hong Kong University of Science and Technology（香港科技大学）；Harvard University（哈佛大学）
提出仅关注原始问题的序列凸规划求解器CRISP，通过自适应信赖域和加权惩罚效用函数解决接触隐式运动规划中的互补约束问题，在朴素甚至全零初始化下展现出令人惊讶的鲁棒性。
2025-04-26 cs.RO math.OC
Process flowsheet optimization with surrogate and implicit formulations of a Gibbs reactor
本文提出用代理模型和隐式函数替代Gibbs反应器方程，提高化工流程优化收敛可靠性，并比较四种公式在求解时间、精度与收敛性上的权衡。
2024-04-19 cs.NA math.NA math.OC
Constrained Optimization via Constraint-Induced Geometry: Implicit Feasible Dynamics and Optimality from Stationarity
该研究提出几何感知约束优化框架Gravidy，针对不同可行集设计适配几何与隐式算法，实验表明其收敛快且能保持迭代可行性，可利用稀疏性。
2026-08-04 math.OC
Optimization of a Perturbed Implicit Sweeping Process by Constrained Discontinuous Controls
San Diego State University（圣地亚哥州立大学）；Wayne State University（韦恩州立大学）
本文针对具有状态和速度依赖约束的隐式扫掠过程最优控制问题，采用离散逼近与变分分析工具推导最优性条件，扩展了扫掠过程最优控制理论。
2026-10-16 math.CA math.OC
Implicit Trajectory Planning for Feedback Linearizable Systems: A Time-varying Optimization Approach
我们开发了一个基于优化的框架，用于联合实时轨迹规划和反馈线性化系统的反馈控制。为了实现这一目标，我们定义了一个目标轨迹的时变优化问题的最优解。然而，一般来说，这种轨迹可能是不可行的，例如，非完整约束为了解决这个问题，我们设计了一个控制律，产生可行的轨迹，渐近收敛到目标轨迹。更确切地说，对于（动态）全状态线性化的系统，所提出的控制律隐式地将非线性系统转换为足够高阶的优化算法。我们证明了全局指数收敛到目标轨迹的优化算法和原系统。我们说明了我们提出的方法的有效性多目标或多代理跟踪问题的约束。
2020-03-13 cs.SY eess.SY math.OC
Deep Neural Network Accelerated Implicit Filtering
在本文中，我们说明了一种新的方法来解决最优化问题时，衍生物是不是显式可用。我们表明，将隐式滤波（IF），一种现有的无导数优化（DFO）方法与深度神经网络全局逼近器相结合，可以得到一种加速的DFO方法。无导数最优化问题出现在各种各样的应用中，包括基于仿真的优化和随机过程的优化，并且当目标函数可以被视为黑箱时，例如计算机仿真，自然出现无导数最优化问题。我们强调了我们的方法的实用价值，我们称之为深度神经网络加速隐式过滤（DNNAIF），通过展示其帮助解决覆盖定向生成（CDG）问题的能力。解决CDG问题是新电子电路设计和验证过程的关键部分，包括为现代服务器和智能手机提供动力的芯片。
2021-05-19 cs.SY eess.SY math.OC
Nonsmooth Implicit Differentiation for Machine Learning and Optimization
Univ. Toulouse（图卢兹大学）；IRIT, CNRS（法国国家科学研究中心信息与自动化研究所）
针对训练日益复杂的学习结构，我们用运算微积分建立了一个非光滑隐函数定理。我们的结果适用于大多数实际问题（即，可定义的问题），只要满足经典可逆性条件的非光滑形式。这种方法允许正式的次微分：例如，在通常的微分公式中，用克拉克雅可比矩阵取代导数对于广泛的一类非光滑问题是完全合理的。此外，该演算与算法微分（例如，反向传播）。我们提供了几个应用程序，例如训练深度平衡网络，训练具有圆锥优化层的神经网络，或非光滑Lasso型模型的超参数调整。为了显示我们的假设的尖锐性，我们提出了数值实验，展示了在没有任何假设的情况下应用隐式算法微分时可能遇到的极端病态梯度动力学。
2022-04-05 cs.AI cs.LG math.OC
Alternating Implicit Projected SGD and Its Efficient Variants for Equality-constrained Bilevel Optimization
Rensselaer Polytechnic Institute（伦斯勒理工学院）；DAMO Academy, Alibaba US（阿里巴巴美国达摩院）
随机双层优化，它捕捉固有的嵌套结构的机器学习问题，是越来越受欢迎，在许多最近的应用。现有的两层优化研究大多考虑无约束问题或有约束上层问题。本文研究了上下两层都带有等式约束的随机双层优化问题。利用等式约束问题的特殊结构，本文首先提出了一种交替隐式投影SGD方法，并建立了与ALSET \citep{chen2021closing}最新复杂度相匹配的$\tilde{\cal O}(ε^{-2})$样本复杂度.为了进一步节省投影代价，提出了两种交替的隐式投影有效SGD算法，其中一种算法具有$\tilde{\cal O}(ε^{-2}/T)$上、$\tilde{\cal O}(ε^{-1.5}/T^{\frac{3}{4}})$下两级投影复杂度，${\cal O}(T)$下一级批大小;另一种算法具有$\tilde{\cal O}(ε^{-1.5})$上、下两级投影复杂度，${\cal O}(1)$下一级批大小.联邦双层优化的应用程序已经展示了我们的算法的经验性能。我们的研究结果表明，等式约束双层优化与强凸下层问题可以有效地解决随机单级优化问题。
2023-02-13 cs.LG math.OC stat.ML
Implicit Neural Optimal Transport via Fixed-Point Optimization
Department of Mathematics, University of California, Los Angeles（加州大学洛杉矶分校数学系）；Department of Applied Mathematics and Statistics, Colorado School of Mines（科罗拉多矿业学院应用数学与统计系）
提出隐式神经最优传输公式，通过单个势函数和近端不动点问题避免对抗训练，实现稳定高效的单网络框架，同时恢复前向和后向传输映射。
2026-06-05 cs.LG math.OC
Implicit Bilevel Optimization: Differentiating through Bilevel Optimization Programming
NEC Laboratories Europe（NEC欧洲实验室）
Bilevel Optimization Programming用于对智能体之间复杂和冲突的交互进行建模，例如在Robust AI或Privacy-Preserving AI中。因此，在深度学习中集成双层数学规划是机器学习社区的一个重要目标。以前提出的方法只考虑单级规划。在本文中，我们扩展了现有的单级优化编程方法，从而提出了通过双层优化编程（BiGrad）进行区分，用于使用双层规划作为层的模型的端到端学习。BiGrad具有广泛的适用性，可以用于现代机器学习框架。BiGrad适用于连续和组合双层优化问题。我们描述了一类梯度估计的组合的情况下，降低了计算复杂性方面的要求;连续变量的情况下，梯度计算利用推回的方法（即向量雅可比积）的有效实现。实验结果表明，BiGrad成功地扩展了现有的单级方法的双层规划。
2023-02-28 cs.LG math.CO math.OC
Global Convergence of an SQP Method for Contact-Implicit Trajectory Optimization
meta
本文针对约束丰富的动态系统的接触隐式轨迹优化，证明了带自适应时间步长细化的线搜索SQP方法的全局收敛性，该方法可有限终止于力参数化平稳点。
2026-08-14 cs.RO math.OC
Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization
Meiji University（明治大学）
本文提出了一种通过调整学习率和批量大小来平滑非凸函数的渐进优化算法，并放宽了σ- nice属性以扩大收敛保证的适用范围。
2026-01-24 cs.LG math.OC
Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth
Massachusetts Institute of Technology (MIT)（麻省理工学院）；The University of Maryland（马里兰大学）；Harvard University（哈佛大学）
图神经网络（GNNs）已经通过表达能力和泛化的镜头进行了研究。然而，他们的优化性能不太好理解。我们通过研究GNN的梯度动态来分析GNN训练的第一步。首先，我们分析了线性化的GNNs，并证明了尽管训练的非凸性，但在我们在现实世界的图上验证的温和假设下，可以保证以线性速率收敛到全局最小值。其次，我们研究了可能影响GNN训练速度的因素。我们的研究结果表明，GNN的训练通过跳过连接、更深和/或良好的标签分布来隐式加速。实验结果证实，我们对线性GNN的理论结果与非线性GNN的训练行为一致。我们的研究结果为具有跳过连接的GNN在优化方面的成功提供了第一个理论支持，并表明具有跳过连接的深度GNN在实践中很有前途。
2021-05-26 cs.CV cs.LG math.OC
Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization
Stanford University（斯坦福大学）
批量归一化（BN）是一种常用的技术，用于加速和稳定深度神经网络的训练。尽管其经验的成功，一个完整的理论理解BN尚未开发。在这项工作中，我们分析BN通过凸优化的镜头。我们引入了一个基于凸对偶的分析框架，以获得具有BN的权重衰减正则化ReLU网络的精确凸表示，该网络可以在多项式时间内进行训练。我们的分析还表明，最佳层的权重可以得到简单的封闭形式的公式在高维和/或overparameterized制度。此外，我们发现，梯度下降提供了一个标准的非凸BN网络上的算法偏见的影响，我们设计了一种方法来明确编码到凸目标的隐式正则化。CIFAR图像分类的实验突出了这种显式正则化的有效性，用于模仿和大幅提高标准BN网络的性能。
2022-03-21 cs.LG math.OC stat.ML
Implicit regularization in AI meets generalized hardness of approximation in optimization -- Sharp results for diagonal linear networks
University of Oslo（奥斯陆大学）；University of Cambridge（剑桥大学）
本文研究过参数化对角线性网络梯度流的隐式正则化，证明其逼近基追踪的ℓ₁最小化子并给出依赖初始化的尖锐收敛界，且所选最小化子由网络深度决定。
2023-07-13 cs.LG math.OC stat.ML
Implicit differentiation for fast hyperparameter selection in non-smooth convex learning
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Université de Bourgogne（勃艮第大学）；Institut Mathématique de Bourgogne（勃艮第数学研究所）；Università degli Studi di Genova（热那亚大学）；Google Research（谷歌研究院）；CNRS（法国国家科学研究中心）；Université de Montpellier（蒙彼利埃大学）
寻找模型的最优超参数可以被视为一个双层优化问题，通常使用零阶技术来解决。在这项工作中，我们研究的一阶方法时，内部优化问题是凸的，但不光滑。我们表明，前向模式分化的近端梯度下降和近端坐标下降产生序列的雅可比收敛到确切的雅可比。使用隐式微分，我们证明了利用内部问题的非光滑性来加速计算是可能的。最后，我们提供了一个边界上的误差时，内部优化问题近似解决的超梯度。回归和分类问题的结果揭示了超参数优化的计算优势，特别是当需要多个超参数时。
2022-08-08 cs.LG math.OC stat.ML
Implicit shock tracking using an optimization-based high-order discontinuous Galerkin method
一个新的框架解决守恒律的间断解，例如，接触线，冲击波和界面，使用隐式跟踪和高阶不连续Galerkin（DG）离散在[38]中介绍。该框架的核心是一个最优化问题，其解决方案是一个不连续对齐的网格和相应的高阶近似的流动，不需要明确的网格未知的不连续表面。该方法被证明是提供高精度的解决方案，粗，高阶离散无非线性稳定和恢复最佳的收敛速度，甚至与间断解的问题。这项工作扩展了隐式跟踪框架，从而提高了鲁棒性并加快了收敛速度。特别是，我们引入了一个改进的制定的中央最优化问题和相关的序列二次规划（SQP）求解器。新的基于误差的目标函数惩罚违反DG残留在丰富的测试空间，并具有良好的跟踪性能。SQP求解器同时将网格的节点坐标和DG解收敛到其最优值，并配备了许多功能，以确保稳健，快速收敛：加权椭圆正则化的Hessian的Levenberg-Marquardt近似，回溯线搜索和严格的收敛标准。我们使用所提出的方法来解决一系列不同难度的无粘守恒律。我们表明，该方法是能够提供精确的解决方案，粗糙，高阶网格和SQP求解器是强大的，通常能够驱动一阶最优系统的紧公差。
2020-03-04 cs.NA math.NA math.OC
Fiber bundle topology optimization for surface flows
本文提出了一种变设计域表面流动的拓扑优化方法。通过这种方法，可以优化表面流的模式和用于定义模式的2-流形之间的匹配，其中2-流形隐式地定义在另一个称为基础流形的固定2-流形上。利用纤维丛的微分几何概念，在描述表面流拓扑结构的基础上，提出了纤维丛拓扑优化方法。采用物质分布法实现了表面流场的演化。隐式2-流形的演化是通过同胚映射实现的。通过两个顺序实现的表面PDE滤波器，表面流和隐式2-流形的图案的设计变量被正则化。这两个表面PDE滤波器是耦合的，因为它们分别定义在隐式2-流形和基流形上。采用隐式二维流形上的表面Navier-斯托克斯方程来描述表面流动。在一阶索伯列夫空间上利用连续伴随方法分析了纤维丛拓扑最优化问题。已经提供了几个数值例子来证明这种方法，其中粘性耗散和压降的组合被用作设计目标。
2022-07-28 cs.NA math.NA math.OC
Implicit Tracking-Based Distributed Constraint-Coupled Optimization
针对带全局耦合等式约束与局部约束集的分布式优化问题，提出隐式跟踪方法构建IDEA及其投影变体Proj-IDEA，在更弱条件下实现收敛，填补了相关算法研究的空白。
2024-03-29 cs.SY eess.SY math.OC
Derivative-Free Policy Optimization for Linear Risk-Sensitive and Robust Control Design: Implicit Regularization and Sample Complexity
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
直接策略搜索是现代强化学习的主要方法之一，其在连续控制任务中的应用近年来受到越来越多的关注。在这项工作中，我们研究了学习线性风险敏感和鲁棒控制器的策略梯度（PG）方法的收敛理论。特别是，我们开发的PG方法，可以实现在一个衍生的自由的方式通过采样系统轨迹，并建立整体收敛和样本复杂性的结果在解决方案的两个基本设置在风险敏感和鲁棒控制：有限时域线性指数二次高斯，和有限时域线性二次扰动衰减问题。作为一个副产品，我们的研究结果还提供了第一个样本的复杂性PG方法的整体收敛性解决零和线性二次动态游戏，一个非凸-非凹极大极小最优化问题，作为一个基线设置在多智能体强化学习（MARL）与连续空间。我们的算法的一个特点是，在学习阶段，一定程度的鲁棒性/风险敏感性的控制器，我们称之为隐式正则化属性，是在安全关键控制系统的基本要求。
2021-12-30 cs.AI cs.LG cs.SY
