Subgradient methods for non-smooth optimization problems with some relaxation of sharp minimum
在本文中，我们提出了一个广义的条件尖锐的最小值，有点类似于最近提出的Devolder-Glineur-Nesterov的不精确的预言。所提出的方法使得有可能扩展类的次梯度方法的适用性与Polyak步长，的最小值的不精确信息的情况下，以及未知的Lipschitz常数的目标函数。此外，局部类似物的使用的全局特性的目标函数，使得有可能将这种类型的结果应用到更广泛的类的问题。我们证明了该方法应用于强凸非光滑问题的可能性，同时，我们与已知的最优次梯度方法对这类问题进行了实验比较。此外，还得到了一些结果连接到所提出的技术的适用性，一些类型的问题与凸松弛：最近提出的概念，弱$β$ -拟凸性和普通拟凸性。此外，在本文中，我们研究了所描述的技术的情况下，假设的$δ$ -次梯度的目标函数是可用的，而不是通常的次梯度的推广。对于所考虑的方法之一，条件下发现，在实践中，它是可能逃脱的投影所考虑的迭代序列的可行集的问题。
2022-12-12 math.OC
Projected Subgradient Methods for a Class of Nonsmooth and Nonconvex Optimization Problems
University of Würzburg（维尔茨堡大学）
本文针对非空闭集上的非光滑非凸优化问题，提出带两种全局化策略的投影次梯度方法，证明其收敛到更强平稳性解，并在MPEC式问题、MAXCUT和Robust PCA上取得良好数值结果。
2026-09-03 math.OC
Mirror Descent for Constrained Optimization Problems with Large Subgradient Values
基于arXiv：1710.06612的思想，考虑了具有非正凸（一般为非光滑）Lipschitz连续泛函约束的Holder连续非光滑泛函$f$的极小化问题.我们提出了一些新的策略的步长和自适应停止规则镜像下降算法考虑类问题。结果表明，该方法适用于各种光滑程度的目标泛函。将重新开始技术应用于镜像下降算法，提出了一种求解目标函数为强凸的最优化问题的优化方法。所考虑的算法的收敛速度收敛速率的目标函数的平滑程度的依赖。这些估计表明的最优性考虑的方法从理论的角度下预言界。此外，考虑了目标泛函和约束条件均为拟凸的情况。
2021-12-29 math.OC
Accelerated first-order methods for large-scale convex minimization
本文讨论了具有Lipschitz连续梯度的光滑问题、具有次梯度有界变差的非光滑问题、具有Hölder连续梯度的弱光滑问题的几种（子）梯度法的最优复杂性.所提出的计划是最佳的光滑强凸问题的Lipschitz连续梯度和最佳的对数因子的非光滑问题的有界变化的次梯度。更具体地说，我们提出了两个估计序列的目标，并给出了两个迭代计划，为他们每个。在这两种情况下，第一个方案需要平滑参数和Hölder常数，而第二个方案是无参数的（除了强凸性参数，如果它不可用，我们设置为零），代价是应用非单调回溯线搜索。所有建议的计划的复杂性分析。在稀疏优化和机器学习中的一些应用的数值结果报告，证实了理论基础。
2016-04-29 math.OC
Dual subgradient algorithms for large-scale nonsmooth learning problems
经典的一阶凸优化算法，如镜像下降算法或Nesterov光滑凸优化算法，具有不依赖于问题维数的最优（理论）复杂度估计。然而，为了达到最优，问题的域应该允许一个“好的近似设置”。后者本质上意味着1）问题域应满足“有利几何”的某些几何条件，以及2）这些方法的实际使用取决于我们在每次迭代时以适度成本计算{ \em邻近变换}的能力。在计算学习中出现的最优化问题中，这两个条件往往都得到满足，这就解释了为什么最近近端型FO方法成为解决各种学习问题的首选方法。然而，他们满足他们的限制，在几个重要的问题，如多任务学习与大量的任务，其中的问题域并没有表现出良好的几何形状，和学习和矩阵完成问题与核范数约束，当计算的数值成本接近变换成为大规模的问题。我们提出了一种新的方法来解决非光滑最优化问题中出现的学习应用程序中的Fenchel型表示的目标函数。该方法是基于应用FO算法的对偶问题，并使用{ \em精度证书}的方法来恢复原始的解决方案。虽然次优的准确性，所提出的方法并不依赖于“良好的邻近设置”的原始问题，但需要的问题域承认一个线性最优化预言-的能力，有效地最大限度地提高线性型域的原始问题。
2013-08-26 math.OC
First-Order Methods for Nonsmooth Nonconvex Functional Constrained Optimization with or without Slater Points
本文针对非光滑非凸泛函约束优化问题，提出一种一阶方法，无需紧性与约束规范即可达到O(ε⁻⁴)收敛速率，还给出切换次梯度法的全新非Lipschitz分析。
2025-01-15 math.OC
Inner Moreau envelope of nonsmooth conic chance constrained optimization problems
约束条件不确定的最优化问题在许多应用中都存在。特别地，概率函数呈现出处理这种情况的自然形式。然而，在某些情况下，所得到的概率函数是非光滑的。这促使我们提出一个正则化采用的Moreau信封的标量表示的向量不等式。更确切地说，我们考虑一个概率函数，它涵盖了大多数的一般类的概率约束：$$φ(x)=\mathbb{P}(Φ(x,ξ)\in -\mathcal{K}),$$其中$\mathcal{K}$是一个凸锥的Banach空间。圆锥包含$Φ(x,ξ) \in - \mathcal{K}$表示一个抽象的不等式组，而$ξ$是一个随机向量。我们提出了一个正则化的应用莫罗包络的函数$Φ$的标量化。在本文中，我们证明，在温和的假设下，这样的正则化的光滑性，它满足一种类型的变分收敛到原来的概率函数。因此，当考虑一个适当结构的问题，涉及概率约束，我们可以因此导致收敛的最小值的正则化近似问题的最小值的原始问题。最后，我们用例子和应用领域（非光滑）联合，半定和概率机会约束最优化问题说明我们的结果。
2023-01-24 math.OC
Conic Optimization via Operator Splitting and Homogeneous Self-Dual Embedding
本文介绍一种求解大型凸锥规划的一阶方法。该方法使用算子分裂方法，交替方向的乘法器，解决齐次自对偶嵌入，一个等价的可行性问题，涉及到找到一个非零点的交叉子空间和锥。这种方法具有几个有利的特性。与边界点方法相比，一阶方法可以扩展到非常大的问题，代价是需要更多的时间来达到非常高的精度。与其他一阶锥规划方法相比，我们的方法发现原始和对偶解时，可用或证书的不可行性或无界性，否则，是无参数的，和每迭代成本的方法是相同的，单独应用分裂方法的原始或对偶。我们详细讨论了该方法的有效实现，包括计算投影到子空间的直接和间接方法，缩放原始问题数据和停止标准。我们描述了一个开源的实现，它处理通常的（对称）非负，二阶，半定锥以及（非自对偶）指数和幂锥和它们的双锥。我们报告的数值结果表明，加速比邻点锥求解器的大型问题，并扩展到非常大的一般锥程序。
2016-07-25 math.OC
New Computational Guarantees for Solving Convex Optimization Problems with First Order Methods, via a Function Growth Condition Measure
受Renegar最近工作的启发，我们提出了新的计算方法和相关的计算保证，用一阶方法求解凸优化问题。我们感兴趣的问题是一般的凸最优化问题$f^* = \min_{x \in Q} f(x)$，我们假设知识的严格下限$f_{\mathrm{slb}} < f^*$。[事实上，当优化统计和机器学习中的许多损失函数（最小二乘、逻辑损失、指数损失、总变差损失等）时，$f_{\mathrm{slb}}$自然是已知的。以及标准圆锥最优化问题的Renegar变换版本;在所有这些情况下，都有$f_{\mathrm{slb}} = 0 < f^*$。]我们引入了一个新的功能措施称为增长常数$G$为$f(\cdot)$，衡量如何快速的水平集的$f(\cdot)$增长相对于函数值，并在复杂性分析中发挥了重要作用。当$f(\cdot)$是非光滑的，我们提出了新的计算保证的次梯度下降法和平滑方法，可以提高现有的计算保证在几个方面，最显着的是当初始的梯度$x^0$是远离最优解集。当$f(\cdot)$是顺利的，我们提出了一个计划，定期重新启动的加速梯度法，也可以提高现有的计算保证时，$x^0$是远离最优解集，并在添加的结构的存在下，我们提出了一个计划，使用参数增加平滑，进一步提高了相关的计算保证。
2016-11-09 math.OC
Decentralized Resource Allocation via Dual Consensus ADMM
我们考虑一个无向网络的代理，网络的边缘定义的通信链路的资源分配问题。目标是最小化特定于代理的凸目标函数的总和，而代理的决策通过凸圆锥约束耦合。我们推导出两种方法，通过应用交替方向法的乘法器（ADMM）分散共识优化我们的资源分配问题的对偶。这两种方法都是完全并行和分散的，在这个意义上，每个代理只与网络中的邻居交换信息，只需要自己的数据来更新决策。我们证明了所提出的方法的收敛性，并证明了它们的有效性与数值例子。
2019-03-04 math.OC
Exact Solution to Data-Driven Inverse Optimization of MILPs in Finite Time via Gradient-Based Methods
NEC Corporation（日本电气株式会社）
本文研究了混合整数线性规划中驱动数据反优化问题，揭示了子最优损失的几何结构，并证明了基于梯度的优化方法可以在有限次迭代内达到观测数据的一致性，同时给出了投影子梯度下降法的迭代次数上界。
2026-07-24 cs.AI cs.LG math.OC
An Adaptive Parameter-free and Projection-free Restarting Level Set Method for Constrained Convex Optimization Under the Error Bound Condition
针对约束凸优化，提出一种基于无投影次梯度的无参数水平集方法，通过动态重启各水平参数副本以适配误差界条件，实现加速收敛，数值实验优于基准方法。
2025-10-15 math.OC
Disciplined Bilevel Programming
IMBIT；BrainLinks-BrainTools；Department of Computer Science, University of Freiburg（弗莱堡大学计算机科学系）
本文提出约束双层规划（DBLP）框架，在CVXPY扩展包BLVPY中实现，可让用户用少量代码指定求解乐观双层优化问题，无需相关先验专业知识。
2026-10-02 cs.CE cs.LG cs.MS
BBCPOP: A Sparse Doubly Nonnegative Relaxation of Polynomial Optimization Problems with Binary, Box and Complementarity Constraints
BBCPOP软件包是一类具有二元、盒和互补（BBC）约束的多项式优化（最小化）问题（POP）的稀疏双非负（DNN）松弛的层次结构的MATLAB实现。给定类中的POP和松弛阶，BBCPOP构造一个简单的圆锥最优化问题（COP），其用作POP的DNN松弛，然后通过应用二分法和投影（BP）方法求解COP。COP用线性目标函数表示，约束用一个超平面和两个锥表示，这两个锥是由BBC约束导出的半正定锥和多面体锥的笛卡儿积. BBCPOP的目的是计算一个严格的下界的最优值的大规模POP类，是超出了现有的软件包的舒适区。BBCPOP的鲁棒性，可靠性和效率相比，证明了最先进的软件SDP包SDPNAL+随机生成的稀疏持久性有机污染物的程度2和3高达几千个变量，和度4，5，6。和8个最多有几百个变量。与其他BBC持久性有机污染物的组合最优化问题，如二次指派问题的比较也有报道。软件包BBCPOP可在https://sites.google.com/site/bbcpop1/上获得。
2018-04-02 math.OC
Exact Convex Reformulations of Linear Neural Networks via Completely Positive Lifting
本文提出了一种将深度线性神经网络的训练问题精确地转化为凸优化问题的方法，利用完全正锥的提升空间，将非凸性编码在锥约束中，并展示了其与半正定规划的联系。
2026-10-08 cs.LG math.OC
Nonsmooth Implicit Differentiation for Machine Learning and Optimization
Univ. Toulouse（图卢兹大学）；IRIT, CNRS（法国国家科学研究中心信息与自动化研究所）
针对训练日益复杂的学习结构，我们用运算微积分建立了一个非光滑隐函数定理。我们的结果适用于大多数实际问题（即，可定义的问题），只要满足经典可逆性条件的非光滑形式。这种方法允许正式的次微分：例如，在通常的微分公式中，用克拉克雅可比矩阵取代导数对于广泛的一类非光滑问题是完全合理的。此外，该演算与算法微分（例如，反向传播）。我们提供了几个应用程序，例如训练深度平衡网络，训练具有圆锥优化层的神经网络，或非光滑Lasso型模型的超参数调整。为了显示我们的假设的尖锐性，我们提出了数值实验，展示了在没有任何假设的情况下应用隐式算法微分时可能遇到的极端病态梯度动力学。
2022-04-05 cs.AI cs.LG math.OC
A Compositional Framework for First-Order Optimization
本文提出基于操作子代数的一阶优化组合框架，可分层组合超图优化问题并自动生成分布式算法，推导了分解可解性充分条件，实现了Julia包并验证分层对偶分解在分层流网络上性能更优。
2024-03-08 math.CT math.OC
Explicit Iteration Complexity of Exact Data-Driven Inverse Optimization for Integer Linear Programs
NEC Corporation（日本电报电话株式会社）
研究整数线性规划的数据驱动逆优化问题，通过将基于梯度的优化方法应用于次优性损失求解，给出投影次梯度下降实现与观测数据精确一致所需迭代次数，是样本数量等的显式函数。
2026-07-27 cs.AI cs.LG math.OC
