An Approximate Conjugate Subgradient Algorithm with Matrix Parameter for Derivative-Free Nonsmooth Optimization Problems
Fakultät für Mathematik, Universität Wien（维也纳大学）；Faculty of Engineering, Free University of Bozen–Bolzano（博岑-博尔扎诺自由大学）；Université Catholique de Louvain (UCLouvain)（天主教鲁汶大学）
提出一种无导数矩阵共轭次梯度方法，通过离散梯度采样和最小范数元素计算，结合矩阵记忆校正与线搜索，求解局部Lipschitz函数的无约束非光滑优化问题，数值实验表明算法鲁棒性强。
2026-06-27 math.OC
A modified double inertial subgradient extragradient algorithm for non-monotone variational inequality with applications
Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）
本文提出了一种改进的双惯性迭代方法，用于解决非单调变分不等式问题，通过自适应步长规则在不预先知道算子Lipschitz常数的情况下实现弱收敛，并讨论了不同算子类型的收敛性及线性收敛性。
2026-03-18 math.FA math.OC
Subgradient Ellipsoid Method for Nonsmooth Convex Problems
本文提出了一种新的椭球型算法，用于求解具有凸结构的非光滑问题。这类问题的例子包括非光滑凸极小化问题、凸凹鞍点问题和带有单调算子的变分不等式。我们的算法可以看作是标准次梯度和椭球方法的组合。然而，与后者相比，所提出的方法具有合理的收敛速度，即使当问题的维数足够大。为了在我们的算法中生成准确性证书，我们提出了一种有效的技术，它改善了以前已知的配方。
2021-06-24 math.OC
Regularized quasi-monotone method for stochastic optimization
本文将文献[2]中的拟单调方法应用于随机背景下的复合凸极小化问题。对于所提出的数值方案，我们得出的最佳收敛速度的最后一个周期，而不是平均，因为它是标准的次梯度方法。通过对l1正则化稳健线性回归的数值实验，证实了正则化拟单调方法个体收敛的理论保证。
2021-07-08 math.OC
Convergence of first-order methods via the convex conjugate
本文对无约束凸极小化问题的次梯度法、梯度法和加速梯度法的$O(1/\sqrt{k}), O(1/k),$和$O(1/k^2)$收敛速度给出了一个统一而简洁的方法。在这三种情况下的收敛性证明如下从一个通用的范围定义的凸共轭的目标函数。
2017-07-28 math.OC
Subgradient-based Lavrentiev regularisation of monotone ill-posed problems
本文提出一种基于次梯度的Lavrentiev正则化方法，用于求解单调线性与非线性不适定问题，避免了伴随算子的使用，适用于时间因果问题，并在Banach空间中证明了适定性与收敛率。
2024-09-30 cs.NA math.NA math.OC
Subgradient evolution of value functions in discrete-time optimal control
该研究针对离散时间凸Bolza问题，构建了Rockafellar与Wolenski特征方法的离散时间版本，证明值函数次梯度演化对应离散Hamiltonian系统轨迹，验证了线性二次调节器等经典问题满足所需限定条件。
2024-02-01 math.OC
The Stochastic Conjugate Subgradient Algorithm For Kernel Support Vector Machines
University of Southern California（南加利福尼亚大学）
本文针对核支持向量机提出随机共轭次梯度算法，通过自适应采样和参数选择与误差估计的分解，在保持可扩展性的同时提升收敛速度与优化精度。
2024-07-30 cs.LG math.OC
Barzilai and Borwein conjugate gradient method equipped with a non-monotone line search technique and its application on non-negative matrix factorization
University of Lethbridge（莱斯布里奇大学）
本文提出了一种新的求解无约束非线性最优化问题的非单调共轭梯度法。我们首先通过引入一个新的三角函数来计算非单调参数，从而改进了非单调线搜索法，这对算法的效率起着至关重要的作用。然后，我们应用一个凸组合的Barzilai-Borwein方法的计算值的步长在每次迭代。在适当的假设下，证明了新算法具有整体收敛性质。通过将该算法应用于标准测试问题和非负矩阵分解问题，验证了该算法的有效性和效率。
2021-09-13 cs.LG math.OC
A new old class of maximal monotone operators
在最近的一篇论文中凸分析杂志的作者研究，在非自反巴拿赫空间，一类极大单调算子，其特征在于存在一个函数的Fitzpatrick的家庭的运营商的共轭以上的对偶产品。这个性质被用来证明这类算子满足Brondsted-Rockafellar性质的一个限制版本。本文证明了：如果极大单调算子的单个Fitzpatrick函数在对偶积上有共轭，则该算子的所有Fitzpatrick函数在对偶积上都有共轭.因此，具有此性质的极大单调算子族就是Simons以前定义和研究的NI类。我们还将证明，作者用来证明限制Brondsted-Rockafellar属性的辅助条件等价于Fitzpatrick函数的共轭优化对偶积的假设。
2008-05-29 math.FA math.OC
Two-stage stochastic algorithm for solving large-scale (non)-convex separable optimization problems under affine constraints
Université Paris-Saclay, CNRS, CentraleSupélec, Inria, Laboratoire des Signaux et Systèmes（巴黎萨克雷大学）；Fédération de Mathématiques de CentraleSupélec France（中央理工-高等电力学院数学联合会）；EDF R&D（法国电力集团研发中心）；Inria, Ecole Normale Supérieure, PSL Research University（法国国家信息与自动化研究所）
本文提出了一种两阶段随机算法，用于求解带仿射约束的大规模（非）凸分离优化问题，在凸情况下达到ε-最优解，非凸情况下获得近似解。
2026-02-06 math.OC
Spectral conjugate gradient projection methods for large-scale monotone equations without Lipschitz continuity
King Fahd University of Petroleum and Minerals（阿卜杜勒阿齐兹国王石油矿产大学）；Islamic University in Uganda（乌干达伊斯兰大学）
本文提出两种无导数投影方法，用于求解带凸约束的大规模非线性单调方程。两种方法均引入自适应谱参数，分别改进了共轭梯度框架，且搜索方向满足独立于线搜索的充分下降条件。第一种方法在无利普希茨连续性假设下具有全局收敛性，第二种方法在标准单调性和利普希茨连续性假设下具有全局收敛性。
2026-05-15 cs.NA math.NA math.OC
A diagonal PRP-type projection method for convex constrained nonlinear monotone equations
Bayero University（拜鲁科大学）
本文提出一种对角PRP共轭梯度型方法，用于求解具有凸约束的非线性单调方程，结合了多元谱方法和改进的PRP共轭梯度法，证明了其全局收敛性。
2018-08-08 cs.NA math.NA math.OC
Nearly Convex Optimal Value Functions and Some Related Topics
在本文中，我们引入了关于近凸集、函数和集值映射的相对内部演算的新性质。这些性质对于对偶理论在最优化中的发展是重要的。然后研究了由近凸函数和近凸集值映射定义的最优值函数，并在一个限定条件下导出了最优值函数的近凸性。我们还开发了这类函数的次梯度和Fenchel共轭公式，并探讨了它们在对偶理论中的应用。
2023-03-14 math.OC
Symbolic computation with monotone operators
我们考虑一类适合于计算机代数系统中的符号表示和操作的单调算子。类的各种结构属性（例如，封闭下取逆，预解式）进行了研究，以及类内的最大单调性所发挥的作用。特别是，我们表明，有一个自然的对应关系，我们的类的单调算子和凸函数的次微分属于一类的凸函数被认为适合于符号计算的Fenchel共轭，以前研究的Bauschke和冯Moenschildt和Borwein和Hamilton。提供了利用所引入的一类算子的一些说明性示例，包括邻近算子的计算、与硬阈值算子相关联的凸罚函数的恢复以及超期望、超分布和超分位数的计算，其中超期望、超分布和超分位数具有针对风险度量的专门化。
2017-03-17 math.OC
On the Characteristics of the Conjugate Function Enabling Effective Dual Decomposition Methods
本文提出FGOR特性，用于改进对偶分解方法的效率和通信效率，通过简单步长规则和减少通信开销提升性能。
2025-12-03 math.OC
Stability results for regularized least-squares problems via generalized Hessian expressions and monotone generalized equations
McGill University（麦吉尔大学）；Oakland University（奥克兰大学）
通过广义Hessian核刻画和单调算子隐函数定理，建立了凸正则化最小二乘问题解映射的Lipschitz连续性、方向可微性和半光滑性条件，并推广到加权多面体支撑函数和分段线性二次罚函数等广泛模型。
2026-05-30 math.OC
A Unified Analysis Method for Online Optimization in Normed Vector Space
China University of Petroleum-Beijing（中国石油大学（北京））
本文从高层次统一理论的角度研究在线优化问题。本文不仅在赋范向量空间中推广了Optimistic-DA和Optimistic-MD，而且统一了它们的动态后悔分析方法。由于引入了$ϕ$ -convex，遗憾边界是最严格的。作为实例，归一化指数次梯度和贪婪/懒惰投影的遗憾界优于目前已知的最优结果。通过用单调算子代替在线博弈中的损失，并扩展后悔算子的定义，即后悔$^n$，将在线凸优化问题推广到在线单调优化问题。
2022-02-13 cs.LG math.OC
On the maximal monotonicity of the sum of a maximal monotone linear relation and the subdifferential operator of a sublinear function
单调算子理论中最重要的公开问题是关于两个极大单调算子之和在Rockafellar的约束规格成立的条件下的极大单调性。本文给出了一个新的关于极大单调关系与真的下连续次线性函数的次微分算子之和的极大单调性结果。证明依赖于Rockafellar的公式的Fenchel共轭的总和以及一些结果的菲茨帕特里克功能。
2010-01-01 math.FA math.OC
On the analysis of variance-reduced and randomized projection variants of single projection schemes for monotone stochastic variational inequality problems
经典的外梯度格式及其随机格式是求解单调变分不等式问题的基石。然而，这样的方案具有到凸集上的两个投影的每次迭代复杂度，并且需要对映射进行两次评估，如果$X$是复杂的集合，则前者可能相对昂贵。我们考虑两个相关的途径，其中每迭代的复杂性显着降低：（i）一个随机投影反射梯度法需要一个单一的评价的地图和一个单一的投影;和（ii）一个随机次梯度extragradial方法，需要两个评价的地图，一个单一的投影到$X$，和一个显着便宜的投影（到一个半空间）可计算的封闭形式。在一个方差缩减的框架下，我们证明了几乎必然（a.s.）迭代收敛到两种方案的解集中的随机点。此外，这两种方案都显示出$\mathcal{O}(1/K)$的非渐近速率，其中$K$表示迭代次数;值得注意的是，这两种速率都与确定性机制中获得的速率相匹配。为了解决由大量凸约束的交集给出的可行性集，我们将上述两种方案都适应于随机投影框架。然后，我们表明，这两个方案的随机投影类似物也显示a.s.收敛弱清晰度的要求下;此外，不强加的弱清晰度的要求，这两个计划的特点是证明率$\mathcal{O}(1/\sqrt{K})$方面的间隙函数的平均序列的投影到$X$，以及该序列的不可行性。初步的数值支持理论研究结果和计划优于标准的extragradiation计划的每迭代的复杂性。
2020-12-19 math.OC
A linesearch projection algorithm for solving equilibrium problems without monotonicity in Hilbert spaces
提出了一种求解希尔伯特空间中非单调非Lipschitz平衡问题的线性投影算法。在Minty平衡问题解集非空的假设下，证明了该算法产生的序列强收敛于平衡问题的解.与已有的方法相比，我们没有使用Fejér单调性的证明策略的收敛性。这来自于在每次迭代时将一个不动点而不是当前点投影到可行集的子集上。此外，采用Armijo线性搜索没有次梯度在CPU时间有很大的优势。数值实验证明了该算法的有效性和强度。
2021-03-03 math.OC
On the Lebesgue Property of Monotone Convex Functions
利用（1）共轭函数在序连续对偶空间上的弱下紧性，（2）对偶表示中上确界由序连续线性泛函得到，刻画了可测函数的实向量空间上单调凸函数的Lebesgue性质（序连续性）.这推广和统一的凸风险措施的背景下获得的几个最近的结果。
2013-12-07 math.FA math.OC math.PR
Generalized Conjugate Gradient Methods for $\ell_1$ Regularized Convex Quadratic Programming with Finite Convergence
Simon Fraser University（西蒙弗雷泽大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出了一种广义共轭梯度方法，用于求解带有ℓ₁正则化的凸二次规划问题，在有限次迭代内达到最优解。方法通过比较子梯度的分量大小选择步骤类型，并结合精确线搜索和共轭梯度子程序，具有较低的计算复杂度。
2016-02-12 cs.LG cs.NA math.NA
Discrete choice prox-functions on the simplex
我们从离散选择的加性随机效用模型中导出了单纯形上的新的随机函数。它们是相应剩余函数的凸共轭。特别是，我们明确地推导出与广义极值模型，特别是与广义嵌套logit模型的离散选择函数的凸性参数。纳入次梯度计划，离散的选择，导致自然概率解释的迭代步骤。作为例证，我们讨论了消费者理论中离散选择函数的经济应用。来自凸规划的双平均方案自然地调整消费周期内的需求。
2019-09-12 econ.TH math.OC
Convex Analysis in Spectral Decomposition Systems
Curtin University（科廷大学）；University of Graz（格拉茨大学）
本文提出谱分解系统概念，通过简化最小化原理，将谱函数的凸分析问题转化为更简单的不变函数问题。
2026-03-10 math.OC
Convergence analysis for a primal-dual monotone + skew splitting algorithm with applications to total variation minimization
Faculty of Mathematics, Chemnitz University of Technology（德累斯顿工业大学数学系）
本文分析了Combettes和Pesquet提出的原始-对偶分裂方法在求解复合、Lipschitz和并行和类型算子单调包含问题时的收敛行为，通过共轭对偶技术推导了凸最小化问题中目标函数值的收敛速率，并提出了两种加速原始和/或对偶迭代的新方案，最后应用于全变差正则化的图像恢复问题。
2012-11-07 cs.NA math.NA math.OC
Nonmonotone Trust-Region Methods for Optimization of Set-Valued Mapping of Finite Cardinality
本文针对有限基数集值映射优化问题，提出最大值型和平均值型两种非单调信赖域方法，通过向量化和有向距离标量化寻找K-临界点，并证明其全局收敛性，数值实验表明其优于现有方法。
2025-09-22 math.OC
Monotone Lipschitz-Gradient Denoiser: Explainability of Operator Regularization Approaches Free From Lipschitz Constant Control
本文证明单调Lipschitz梯度去噪器等价于弱凸函数的单值邻近算子，并基于此提出无需控制Lipschitz常数的算子正则化框架，其算法弱收敛到隐式正则化代价函数的最小值点。
2025-09-25 eess.SP math.OC
Fenchel-Moreau identities on convex cones
一个尖的凸锥自然地导出了一个偏序，并进一步导出了函数的非减性概念。我们考虑定义在锥上的广义实值函数。这些函数的单调共轭可以用类似于标准凸共轭的方法定义。唯一的区别是上确界是在锥上而不是在整个空间上。我们给出了锥上定义的正常、凸、下连续和非减函数的相应Fenchel-Moreau双共轭恒等式成立的充分条件。此外，我们表明，这些条件是满足一类锥称为完美锥。
2022-06-25 math.CA math.FA math.OC
Sliding Methods for Hölder-Smooth Convex--Concave Minimax Optimization with Bilinear Coupling
MIRIAI；Innopolis University（因诺波利斯大学）
本文针对具有双线性耦合的Hölder光滑凸-凹极小极大优化问题，提出基于单调变分不等式递归滑动方案的滑动方法，建立收敛保证并通过数值实验验证其有效性。
2026-10-09 math.OC
Global Nash Equilibrium in Non-convex Multi-player Game: Theory and Algorithms
JD Explore Academy, JD.com Inc（京东集团京东探索研究院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Research Institute for Intelligent Autonomous Systems, Tongji University（同济大学智能自主系统研究院）；Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）；AGH University of Science and Technology（AGH科技大学）
广泛的机器学习任务可以被表述为非凸多人游戏，其中纳什均衡（NE）是所有玩家都可以接受的解决方案，因为没有人可以从单方面改变策略中受益。由于非凸性，获得全局NE的存在条件是具有挑战性的，更不用说设计理论上有保证的实现算法。对非凸多人对策的形式进行共轭变换，将互补问题转化为具有连续伪梯度映射的变分不等式问题.然后我们证明了整体NE的存在条件：VI问题的解满足一个对偶关系。基于此VI公式，我们设计了一个基于共轭的常微分方程（ODE）来逼近全局NE，并证明了它具有指数收敛速度。为了使动力学更容易实现，我们进一步推导出一个离散化的算法。我们将我们的算法应用到两个典型的场景：多人广义单调博弈和多人势博弈。在这两个设置中，我们证明了步长设置需要$\mathcal{O}(1/k)$和$\mathcal{O}(1/\sqrt k)$，分别产生$\mathcal{O}(1/ k)$和$\mathcal{O}(1/\sqrt k)$的收敛速度。在鲁棒神经网络训练和传感器定位中的广泛实验与我们的理论完全一致。
2023-01-19 cs.GT cs.LG math.OC
