A version of the inexact Levenberg-Marquardt method for constrained nonsmooth equations
本文提出了一种变形的投影不精确Levenberg-Marquardt方法（ILMM）求解约束非光滑方程。由于到可行集的正交投影可能是计算昂贵的，我们提出了一个本地ILMM可行的不精确的投影。利用半光滑性假设和弱于标准满秩假设的误差界条件，我们建立了它的收敛性结果，包括速度的结果。最后给出了一些计算结果，以说明新格式的优点。
2021-05-04 math.OC
Regularized Nonsmooth Newton Algorithms for Best Approximation
针对多面体集合最佳逼近及大规模线性规划求解问题，提出雅可比奇异的正则化非光滑牛顿算法，实验显示其性能优于经典HLWB投影法，还衍生出垫脚石外部路径跟踪算法及多种应用，并引入缩放方法提升效率鲁棒性。
2023-06-09 math.OC
On the optimal control of some nonsmooth distributed parameter systems arising in mechanics
变分不等式是模拟自由边界问题的一个重要数学工具。由于所得模型的复杂非光滑结构，其分析和优化是一项困难的任务，几十年来一直引起研究人员的注意。本文研究了一类变分不等式，称为第二类变分不等式。首先，我们的目的是在这些类型的变分不等式在力学中的一些最突出的应用，以及相关的分析和数值困难的一瞥。其次，我们考虑这些变分不等式约束的最优控制问题，并提供了一个彻底的讨论的存在性的拉格朗日乘子和不同类型的最优性系统，可以得到局部极小值的特征。文章最后讨论了这个重要问题类的主要挑战和未来的前景。
2017-11-22 math.OC
A Relaxed-Projection Splitting Algorithm for Variational Inequalities in Hilbert Spaces
在希尔伯特空间中，给出了求解非光滑极大单调算子和的变分不等式的松弛投影分裂算法，其中可行集由非线性非光滑连续凸函数不等式定义.在我们的方案中，可行集上的正交投影被替换为分离超平面上的投影。此外，所提出的方法的每次迭代由简单的次梯度样步骤，这不需要一个非平凡的子问题的解决方案，只使用个别运营商，这利用了问题的结构。在算子单调性和解的存在性的假设下，证明了生成的序列弱收敛于解。
2015-12-29 math.OC
Distributed Mirror Descent Algorithm with Bregman Damping for Nonsmooth Constrained Optimization
为了有效地解决分布式优化与各种约束和非光滑函数，我们提出了一个分布式镜像下降算法嵌入Bregman阻尼，作为传统的分布式投影算法的推广。事实上，我们的连续时间算法很好地继承了镜像下降方法的良好性能，可以快速计算具有某些特定约束结构的问题的显式解。此外，我们严格证明了我们的算法的收敛性，以及轨迹的有界性和解决方案的准确性。
2021-08-27 math.OC
Projection onto simplicial cones by Picard's method
利用Moreau的投影到锥上的分解定理，将投影到单纯锥上的问题归结为求非光滑方程组的唯一解。它表明，皮卡德的方法适用于方程组的问题，投影到一个单纯锥产生一个序列，线性收敛到系统的解决方案。数值实验比较了Picard法和半光滑牛顿法求解点投影到单纯锥上的非光滑方程组的结果。
2015-03-10 math.OC
Projection Efficient Subgradient Method and Optimal Nonsmooth Frank-Wolfe Method
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research, India（微软研究院印度分院）；University of Washington, Seattle（华盛顿大学西雅图分校）
我们考虑经典的设置优化一个非光滑Lipschitz连续凸函数在凸约束集，当有一个（随机）的一阶预言（FO）的功能和投影预言（PO）的约束集。众所周知，为了在高维中实现$ε$ -次优性，$Θ(ε^{-2})$ FO调用是必要的。这是通过投影次梯度法（PGD）实现的。然而，PGD还需要$O(ε^{-2})$ PO调用，其在计算上可能比FO调用更昂贵（例如，核范数约束）。改善这种PO调用复杂性的PGD是在很大程度上未探索，尽管这个问题的基本性质和广泛的文献。我们首先提出这样的改进。这只需要一个温和的假设，即当扩展到约束集的稍大的邻域时，目标函数仍然保持Lipschitz并且可以通过FO访问。特别是，我们介绍了MOPES方法，它仔细结合Moreau-Yosida平滑和加速一阶格式。这保证仅使用$O(ε^{-1})$ PO调用和最优$O(ε^{-2})$ FO调用找到可行的$ε$ -次优解决方案。此外，如果我们只有一个线性最小化oracle（LMO，a la Frank-Wolfe）来访问约束集，则不是PO，我们的方法MOLES的扩展使用$O(ε^{-2})$调用和FO调用找到了一个可行的$ε$ -次优解-两者都匹配已知的下界，解决了自White（1993）以来一直悬而未决的问题。我们的实验证实，这些方法实现了显着的加速比国家的最先进的，昂贵的PO和LMO调用的问题。
2020-10-05 cs.LG math.OC stat.ML
Novel Distributed Algorithms Design for Nonsmooth Resource Allocation on Weight-Balanced Digraphs
研究了强连通有向图上的分布式资源分配问题，其中每个Agent的决策被限制为满足耦合网络资源约束和异构一般凸集.此外，局部费用函数可以是非平滑的。为了求解非光滑资源分配问题的精确最优解，提出了一种基于梯度下降法和微分投影算子的连续时间分布式算法.借助集值LaSalle不变原理和非光滑分析，证明了算法渐近收敛于全局最优分配.此外，对于不涉及局部约束和费用函数可由Lipschitz梯度微分的情形，算法收敛到精确最优解的速度是指数级的.最后通过仿真实例验证了所提算法的有效性。
2022-03-09 math.OC
Fast projection onto the intersection of simplex and singly linear constraint and its generalized Jacobian
本文针对单纯形与单个线性不等式约束交集上的投影问题，提出结合 Lagrange 对偶与改进割线法的 LRSA，并推导其广义 HS-Jacobian，实验表明其优于 SSN 与 Gurobi。
2025-02-17 math.OC
Nonsmooth Herglotz variational principle
本文将光滑作用依赖拉格朗日力学扩展至非光滑碰撞情境，提出非光滑 Herglotz 变分原理以在碰撞时保持能量与动量，并通过 Legendre 变换推导出非光滑哈密顿方程，最后应用于耗散台球问题。
2022-09-28 cs.SY eess.SY math-ph
Proximal Point Algorithms for Nonsmooth Convex Optimization with Fixed Point Constraints
考虑了定义在实希尔伯特空间上的非扩张映射的不动点集的交集上的非光滑凸目标函数之和的极小化问题，在该不动点集上的投影不能有效地计算.使用邻近点法，使用邻近算子的目标函数和增量优化技术提出了解决问题。重点研究了不动点逼近技术，设计了两种算法来求解该问题。一种是将增量次梯度法与Halpern型不动点迭代算法相结合，增量次梯度法是求解非光滑凸优化问题的一种有效算法。另一种是基于增量次梯度法和Krasnosel'ski \u-Mann不动点算法。证明了Halpern型算法生成的序列的弱序列聚点属于问题的解集，而Krasnosel'ski \u-Mann型算法生成的序列存在一个弱序列聚点也属于问题的解集.数值结果表明，本文提出的两种算法与已有的次梯度法在求解具体的非光滑凸优化问题时具有更快的收敛速度.
2016-02-05 math.OC
A Coupled Nonsmooth Dynamical System: Global Well-Posedness, Stability and Sensitivity Analysis
Department of Mathematics and Statistics, University of North Dakota（北达科他大学数学与统计系）
研究耦合非光滑动力系统，通过变换变量将代数律转化为变分不等式，在特定假设下分析其性质，结合多种方法证明解的全局存在唯一性等，推导稳定性准则并通过实例说明相关问题。
2026-07-29 math.DS math.OC
Optimal Algorithms for Nonsmooth Nonconvex Stochastic Optimization with Constraints
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
针对带凸约束的非光滑非凸随机优化问题，提出新算法，首次在多种场景下达到最优收敛速率，证明约束与非光滑性不会降低收敛速率，分析基于无约束优化相关技术的推广。
2026-10-12 cs.LG math.OC
ADMM for Nonsmooth Composite Optimization under Orthogonality Constraints
针对正交约束下含光滑、凹与弱凸项的非凸非光滑复合优化，提出 OADMM 及其 EP、RR 变体，并证明遍历与 KL 条件下的非遍历收敛保证。
2025-01-11 math.OC
An Optimization algorithm for nonsmooth nonconvex problems with upper-C^2 objective
提出并分析了一种求解非光滑非凸约束最优化问题的上C2目标函数优化算法。上C2是存在于凸（DC）函数的差中的弱凹性质，并且在许多应用中自然出现，特别是参数最优化问题的某些类别的解[34，4]，例如，随机规划的追索[36]和投影到闭集[34]。该算法可以看作是一个专门用于上C2问题的束方法，是全局收敛的有界算法参数。与传统的束方法相比，所提出的方法是简单和计算效率更高。该算法处理一般光滑的约束类似于顺序二次规划（SQP）的方法，并使用线搜索，以确保进展。潜在的不一致的线性化的约束，通过惩罚的方法来解决。该算法的能力证明了解决简单的上C2问题和现实世界中的最优潮流问题在当前电网行业的做法。
2022-04-20 math.OC
Solving Nonsmooth Resource Allocation Problems with Feasibility Constraints through Novel Distributed Algorithms
研究了多智能体网络上的分布式非光滑资源分配问题，其中每个智能体都受到全局耦合的网络资源约束和用一般凸集描述的局部可行性约束.针对这一问题，提出了两类基于微分包含和投影算子的分布式连续时间算法。利用李雅普诺夫泛函理论和非光滑分析对算法的收敛性进行了分析。我们证明了当交互有向图是权平衡的且局部费用函数是强凸的时，第一种算法可以全局收敛到问题的精确最优解。此外，该算法的完全分布式实现研究了连通无向图与严格凸局部费用函数。此外，针对第一种算法需要初始化的缺点，我们设计了第二种算法，该算法无需初始化就能实现对具有强凸费用函数的连通无向图的最优解的整体收敛。最后，通过几个数值模拟对结果进行了验证。
2022-03-10 math.OC
Stochastic halfspace approximation method for convex optimization with nonsmooth functional constraints
针对带非光滑泛函约束的凸优化问题，提出随机半空间近似方法SHAM，通过梯度步与随机约束半空间投影步迭代，并给出凸和强凸情形下的统一收敛速率及数值验证。
2024-12-03 math.OC
Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization
Google Research（谷歌研究）
本文提出两种高效方法，通过平滑技术实现自适应矩阵在线学习，解决了传统方法中二次投影的高成本问题，并在非光滑非凸优化中提供收敛保证。
2026-02-09 cs.LG math.OC stat.ML
Optimality Conditions and Numerical Algorithms for A Class of Linearly Constrained Minimax Optimization Problems
众所周知，求解非光滑极大极小问题的数值算法已经有很多，但求解具有联合线性约束的非光滑极大极小问题的数值算法还很少见。本文旨在讨论具有联合线性约束的极大极小问题的最优性条件并给出实用的数值算法。首先，我们利用邻近映射和KKT系统的性质建立了最优性条件最优性条件。其次，我们提出了一个求解极大极小问题的交替坐标算法框架，并分析了其收敛性。第三，我们提出了一种近似梯度多步上升下降法（PGmsAD）作为数值算法，并证明该方法可以在${\cal O}(ε^{-2}\logε^{-1})$迭代中找到此类非光滑非凸非凹问题的$ε$ -稳定点。最后，我们将PGmsAD应用于广义绝对值方程、广义线性投影方程和线性回归问题，并报告了PGmsAD在大规模优化问题上的效率。
2022-04-20 math.OC
Efficient and provably convergent end-to-end training of deep neural networks with linear constraints
Department of Applied Mathematics, The Hong Kong Polytechnic University（应用数学系，香港理工大学）
本文提出一种高效且可证明收敛的端到端训练方法，通过引入HS-Jacobian解决线性约束下的反向传播难题，适用于金融、计算机视觉和网络架构设计等应用。
2026-05-12 cs.AI cs.LG math.OC
Convergence Analysis of Iterative Methods for Nonsmooth Convex Optimization over Fixed Point Sets of Quasi-Nonexpansive Mappings
本文考虑一个有限用户的网络系统，假设每个用户都试图在其私有约束集上最小化其私有目标函数。假设每个用户的约束集可以表示为某个拟非扩张映射的不动点集。这使我们能够考虑无法有效计算到约束集的投影的情况。本文给出了在实希尔伯特空间中求拟非扩张映射的不动点集的交上的不可微凸目标函数之和极小化问题的两种方法.一种方法是并行次梯度方法，其可以在每个用户可以与其他用户通信的假设下实现。另一种是增量次梯度方法，可以在假设每个用户都可以与其邻居通信的情况下实现。对这两种方法在恒定步长下的收敛性的研究表明，在较小的恒定步长下，它们近似于问题的解。考虑的情况下，其中的步长序列是递减表明，由这两种方法中的每一个产生的序列强烈收敛到一定的假设下的问题的解决方案。通过对两种方法在一定条件下的收敛速度分析，说明了两种方法的有效性。本文还讨论了凸函数子水平集上的非光滑凸优化问题，并通过数值比较证明了所提方法的有效性。
2015-10-21 math.OC
On the Identification and Optimization of Nonsmooth Superposition Operators in Semilinear Elliptic PDEs
Technische Universität München（慕尼黑工业大学）
针对半线性椭圆PDE中非光滑叠加算子的低正则性辨识优化问题，推导了局部极小值的平稳性系统，提出梯度投影法并证明其函数空间收敛性，发现最优算子具有类激活函数特征，且通过数值实验验证了理论结果。
2024-02-02 cs.LG math.OC
A survey of numerical methods for hemivariational inequalities with applications to Contact Mechanics
本文研究半变分不等式的数值方法，提出抽象非光滑优化问题并展示数值求解方案，将其应用于弹性体摩擦接触问题，最后比较三种计算方法。
2023-09-15 cs.NA math.NA math.OC
Sparse stabilization of mean-field agent dynamics through a three-operator splitting method
Imperial College London（帝国理工学院）
针对平均场框架下的大规模非线性多智能体系统稀疏镇定问题，提出基于三算子分裂的非光滑优化求解方法，结合随机批次蒙特卡洛离散化实现可扩展计算，在Cucker-Smale模型上验证了方法可通过稀疏局部控制高效驱动群体达成一致。
2025-11-17 math.OC
The splitting algorithms by Ryu and by Malitsky-Tam applied to normal cones of linear subspaces converge strongly to the projection onto the intersection
寻找极大单调算子和的零点是现代最优化和非光滑分析中的一个基本问题。假设算子的预解式是可用的，这个问题可以用Douglas-Rachford算法来解决。然而，当处理三个或更多个算子时，必须在具有与算子一样多的因子的积空间中工作。在Ryu和Malitsky和Tam最近的开创性工作中，表明因子的数量可以减少一个。这些分裂方法保证弱收敛到基本和问题的某个解;强收敛在一致单调性的存在下成立。在本文中，我们提供了一个案例研究时，涉及的运营商是正规锥运营商的子空间，因此，解决方案集是交叉的子空间。即使这些运营商缺乏严格的凸性，我们表明，在这种情况下，惊人的结论是：强（而不是弱）收敛和解决方案得到的是（不是任意的，但）投影到交叉。数值实验来说明我们的结果也提供
2021-09-22 math.OC
Constrained Nonconvex Stochastic Optimization with One Projection
Columbia University（哥伦比亚大学）；Univ Rennes, Ensai, CNRS, CREST–UMR 9194（雷恩大学、ENSAI、法国国家科学研究中心、CREST-UMR 9194）；Pennsylvania State University（宾夕法尼亚州立大学）
针对约束非凸随机优化，提出仅需一次投影的惩罚近端方法，达到$\widetilde O(\epsilon^{-4})$随机次梯度复杂度，返回精确可行点并保证平稳性度量。
2026-09-29 math.OC
A Projection-Free Algorithm for Variational Inequalities in Hilbert Spaces with Strong Convergence
Deakin University（迪肯大学）
提出一种无投影算法，通过半空间投影和Slater修正处理变分不等式，实现强收敛到初始点在解集上的投影，并给出残差估计。
2026-06-17 math.OC
The splitting algorithms by Ryu, by Malitsky-Tam, and by Campoy applied to normal cones of linear subspaces converge strongly to the projection onto the intersection
针对极大单调算子之和零点求解问题，本文研究三种改进分裂算法在线性子空间法锥场景下的表现，证明其强收敛到子空间交上的投影，并通过数值实验验证结论。
2022-12-19 math.OC
Variable Projected Augmented Lagrangian Methods for Generalized Lasso Problems
University of Insubria（因苏布里亚大学）；Sun Yat-sen University, School of Mathematics (Zhuhai)（中山大学数学学院（珠海））；Harbin Institute of Technology, School of Mathematics（哈尔滨工业大学数学学院）；Emory University, Department of Mathematics（埃默里大学数学系）
本研究提出求解广义非线性Lasso问题的变量投影增广拉格朗日方法，通过软阈值转化为光滑问题，开发线性模型预处理变体，证明收敛性，在多种逆问题任务中实现最先进的重建效果。
2026-11-10 cs.NA math.NA math.OC
First-order methods for Stochastic Variational Inequality problems with Function Constraints
Southern Methodist University（南卫理公会大学）；Shanghai University of Finance and Economics（上海财经大学）
本文针对带函数约束的单调变分不等式问题，提出了一阶方法AdOpEx、P-OpEx和OpConEx，分别达到最优或改进的收敛速率，并扩展到鞍点问题。
2024-05-24 cs.LG math.OC
A Retraction-free Method for Nonsmooth Minimax Optimization over a Compact Manifold
Penn State University（宾夕法尼亚州立大学）；Tsinghua University（清华大学）；Peking University（北京大学）
本文提出了一种无回退方法，用于在紧凑流形上解决非光滑极小极大优化问题，通过精确惩罚和凸约束，结合平滑流形梯度下降-上升算法，实现了高效的 stationary 点生成。
2025-12-08 math.OC
