An extension of the proximal point algorithm beyond convexity
我们引入并研究了一个新的广义凸性概念,称为凸性函数。这样一个函数的邻近算子是单值的,并且是强非扩张的。我们给出了(强)拟凸、弱凸和DC(凸差)函数的例子,但这些函数类都不完全包含或不包含近凸函数类,证明了当要极小化的真下连续函数的凸性松弛为近凸时,经典的邻近点法仍然收敛.
2021-04-18 cs.NA math.NA math.OC
Broximal Alignment for Global Non-Convex Optimization
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
针对现有非凸优化仅能保证平稳性、难以实现全局收敛的问题,提出Broximal对齐结构条件,证明其可让BPM算法无凸性等假设下收敛至全局极小值,泛化了多类现有非凸框架。
2026-04-15 math.OC
Inertial dynamical systems and accelerated algorithms with implicit Hessian-driven damping for nonconvex optimization
Chongqing Technology and Business University(重庆工商大学);Sichuan University(四川大学)
本文提出了一种基于隐式Hessian驱动阻尼的惯性动力系统,用于解决强拟凸优化问题,并通过显式时间离散化和扰动项设计,实现了加速算法并验证了其收敛性。
2026-02-26 math.OC
On duality for nonconvex minimization problems within the framework of abstract convexity
通过应用扰动函数方法,我们提出了两个一般非凸函数之和极小化问题的拉格朗日量和共轭量。主要工具是$Φ$ -凸性理论和$Φ$ -凸函数极小极大定理。我们提供的条件,确保零对偶差距,并介绍$Φ$ -Karush-Kuhn-Tucker条件,表征原始和对偶问题的解决方案。我们还讨论了本研究中引入的对偶问题与文献中存在的一些共轭型对偶问题之间的关系。
2021-10-01 math.OC
Strong Convexity for Risk-Averse Two-Stage Models with Fixed Complete Linear Recourse
本文推广了具有线性补偿的两阶段均值风险模型的强凸性结果。引入(限制)部分强凸的概念,对关于决策变量和门限参数的期望超额泛函进行了深入的分析.这些结果允许推导出充分条件的强凸性的模型建立在条件风险价值,由于其变分表示。通过Kusuoka表示这些结转共单调和失真的风险措施,在那里我们得到可验证的条件的失真函数。对于随机优化模型,我们指出的影响,定量稳定的扰动的基础概率测度。最近在\cite{Ba14}和\cite{WaXi17}中的工作也证明了强凸性对于现代随机次梯度下降算法的收敛速度和机器学习的重要性。
2018-12-19 math.OC
Weak sharp minima at infinity and solution stability in mathematical programming via asymptotic analysis
该研究利用渐近锥与广义渐近函数推导非光滑优化问题无穷远弱尖锐极小值的充分条件,证明其可用于非凸优化线性扰动下的解稳定性分析,并给出在一类含凸函数的拟凸函数子类中的应用。
2024-10-07 math.OC
Convex analysis for composite functions without K-convexity
Google Research(谷歌研究院)
本文提出了一种无需K-凸性的复合函数凸分析方法,通过扰动函数对偶性理论扩展了现有结果,并提供了更宽松的共轭和子微分公式条件。
2026-01-15 math.OC
Iteration Complexity Analysis of Multi-Block ADMM for a Family of Convex Minimization without Strong Convexity
乘子交替方向法因其优越的实用性能而被广泛应用于求解结构凸优化问题。然而,在理论方面,[7]中示出了一个反例,该反例表明用于最小化具有由线性约束链接的$N$块变量的$N$ $(N\geq 3)$凸函数的和的多块ADMM可能发散。因此,进一步研究输入侧上的充分条件以保证多块ADMM的收敛性是非常有意义的。现有的结果通常需要强凸性的部分目标。在本文中,我们提出的收敛性和收敛速度的多块ADMM适用于解决某些$N$块$(N\geq 3)$凸极小化问题,而不需要强凸性。具体地说,我们证明了以下两个结果:(1)多块ADMM通过对原问题求解一个相关的扰动,在$O(1/ε^2)$迭代内返回一个$ε$ -最优解;(2)当多块ADMM被应用于解决某个共享问题时,多块ADMM在$O(1/ε)$迭代内返回$ε$最优解,在增广拉格朗日函数满足Kurdyka-Lojasiewicz性质的条件下,该性质基本上覆盖了除某些病态情况外的大多数凸优化模型.
2015-05-19 math.OC
Line Search for Convex Minimization
Google DeepMind(谷歌DeepMind)
针对一般凸函数缺乏原理性精确线搜索算法的问题,提出利用凸性加速收敛的 $Δ$-Bisection 和 $Δ$-Secant 算法,并设计准精确线搜索替代回溯线搜索,实验证明其更高效且提供收敛保证。
2023-07-31 cs.LG math.OC
Sensitivity Analysis in Parametric Convex Vector Optimization
该文针对参数化凸向量优化的有效集开展灵敏度分析,定义三类集值扰动映射,基于凸分析工具推导其剖面Fréchet余导数的计算公式,所得条件更简洁且直接基于问题数据。
2023-06-12 math.OC
New Duality Results for Evenly Convex Optimization Problems
我们提出了新的结果最优化问题所涉及的功能是均匀凸的。利用Rockafellar引入的扰动理论和广义共轭方法,对定义在分离局部凸拓扑空间上的一般优化问题提出了一个可供选择的对偶问题.给出了包含扰动函数偶凸性和$c$ -次微分的逆对偶和全对偶的充分条件。给出了一般最优化问题目标函数的$c$ -次微分和双共轭公式。我们还刻画了总的对偶性也通过鞍点理论的拉格朗日适应所考虑的框架的概念。
2019-04-23 math.OC
Duality Between Lagrangians and Rockafellians
在他的专著\emph{Conjugate Duality and Optimization}中,Rockafellar提出了一种“扰动+对偶”的方法来获得一个原始极小化问题的对偶问题。首先,将极小化问题嵌入到一类扰动问题中(从而给出一个所谓的扰动函数);要极小化的原始函数的扰动最近被称为罗克费利。第二,当扰动变量属于一个原始向量空间,通过双线性型与一个对偶向量空间配对时,我们可以从一个洛克费利函数建立一个拉格朗日函数;我们还可以得到一个所谓的对偶函数(和一个对偶问题)。该方法已从Fenchel对偶扩展到广义凸性:当扰动属于一个原始集配对,通过耦合函数,与一个对偶集,一个也建立了一个Rockafellian从拉格朗日。遵循这些路径,我们强调拉格朗日和Rockafellians之间的二元性。在上面提到的材料主要集中在从洛克费利到拉格朗日的移动中,我们平等地对待它们并显示两种方式的公式。我们提出了一个定义的Lagrangian-Rockafellian夫妇。我们的特点,后者作为对偶函数,关于耦合,也在广义凸函数。微扰和对偶函数之间的对偶性并不那么清楚。
2023-03-10 math.OC
A Study of Condition Numbers for First-Order Optimization
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Concordia University(康考迪亚大学)
本研究提出*-范数扰动框架,证明光滑性与强凸性对扰动不连续,导致保守调整;引入连续替代度量并给出梯度下降的保证收敛率,提升一阶优化鲁棒性。
2020-12-25 cs.LG math.OC
The generalized Lax conjecture is true for topological reasons related to compactness, convexity and determinantal deformations of increasing products of pointwise approximating linear forms
本文通过拓扑方法证明了广义Lax猜想,利用行列变形和刚性凸集的性质,但有效证明仍难以实现。
2026-01-18 math.AG math.OC
Zero-Convex Functions, Perturbation Resilience, and Subgradient Projections for Feasibility-Seeking Methods
凸可行性问题(CFP)是各个科学领域中许多问题建模的核心。次梯度投影方法是求解CFP的重要工具,因为它们允许使用次梯度计算而不是正交投影到问题的各个集合上。在实希尔伯特空间中,我们证明了序列次梯度投影方法是抗扰动的。我们的意思是,在适当的条件下,由该方法产生的序列弱收敛,有时也强收敛到可行性问题的给定子集的交叉点,尽管在每个迭代步骤中允许某些扰动。与以往的工作解决凸可行性问题,涉及的功能,导致可行性问题的子集,不需要是凸的。相反,我们允许它们属于满足较弱条件的更广泛和更丰富的函数类,我们称之为“零凸性”。这个类,这是介绍和讨论这里,持有承诺,以解决最优化问题在各个领域,特别是在非光滑和非凸优化。这项研究的相关性,近似最小化和最近的优越化方法约束优化的解释。
2014-05-07 math.OC
Data Informativity under Data Perturbation
Department of Information Physics and Computing, Graduate School of Information Science and Technology, the University of Tokyo(东京大学大学院信息理工学研究科信息物理与计算学系)
本文研究了在噪声影响下数据信息性的理论基础,提出了一种新的噪声模型,通过二次矩阵不等式推导出可处理的线性矩阵不等式条件,扩展了现有分析并放松了先前工作的假设。
2026-10-01 cs.SY eess.SY math.OC
"Second-Order Primal'' + "First-Order Dual'' Dynamical Systems with Time Scaling for Linear Equality Constrained Convex Optimization Problems
二阶动力系统是求解最优化问题的重要工具,现有的研究主要集中在无约束最优化问题上。针对线性等式约束凸优化问题,提出了一个具有常粘性阻尼和时间尺度的惯性原-对偶动力系统,它由原变量的二阶常微分方程和对偶变量的一阶常微分方程组成.当尺度变换满足一定条件时,在不假设强凸性的情况下,证明了它的收敛性。当缩放指数增长时,甚至收敛速度也可以变成指数。我们还证明了所得到的动力系统的收敛性在小扰动下是保持的。
2022-05-20 math.OC
Differentially Private Distributed Convex Optimization via Functional Perturbation
我们研究了一类分布式凸约束最优化问题,其中一组代理的目标是最小化个人目标函数的总和,而每个愿望,任何有关其目标函数的信息是保密的。我们证明了不可能实现差分隐私使用策略的基础上扰动的代理间的消息与噪声时,基本的无噪声动态渐近稳定。这证明了我们的算法解决方案的基础上的扰动与拉普拉斯噪声的个别功能。为此,我们建立了一个通用的框架,差异私人处理的功能数据。我们进一步设计了后处理步骤,确保扰动函数恢复原始函数的光滑性和凸性,同时保留函数扰动步骤的差分私有保证。这种方法允许我们使用任何分布式协调算法来解决噪声函数上的最优化问题。最后,我们显式地约束扰动和真正的优化器之间的预期距离的大小,从而导致隐私准确性权衡曲线上的上界。模拟结果说明了我们的结果。
2016-09-28 math.DS math.OC
Optimal Regularization Under Uncertainty: Distributional Robustness and Convexity Constraints
本文提出分布鲁棒最优正则化框架,利用凸对偶转化优化问题,并研究凸性约束下的计算与稳定性,为不确定环境中的可靠正则化设计提供理论基础。
2025-10-03 math.MG math.OC math.ST
Singular perturbation in heavy ball dynamics
该研究针对实数域o-极小结构中可定义的下有界$C^{1,1}_\text{loc}$函数,证明重球系统的奇异摄动$ε\searrow 0$可保持解的全局有界性,补充了有限时间范围的相关研究,无需凸性或强制性假设。
2024-12-11 math.DS math.OC
Stochastic Subgradient Descent on a Generic Definable Function Converges to a Minimizer
Davis和Drusvyatskiy以前证明了一般的、半代数的(更一般地说,可以在o-极小结构中定义)、弱凸函数的每个Clarke临界点都位于活动流形上,并且是局部极小值或活动严格鞍。在这项工作的第一部分,我们表明,当弱凸性假设失败的第三种类型的点出现:一个急剧排斥临界点。此外,我们证明了相应的活动流形满足我们在以前的工作中引入的Verdier和角度条件。在这项工作的第二部分中,我们表明,在扰动序列的密度假设下,随机次梯度下降(SGD)避免急剧排斥临界点的概率为1。我们表明,这样一个密度样的假设,可以得到后添加一个小的随机扰动(例如,一个非退化高斯)在算法的每次迭代。这些结果,结合我们以前的工作,避免积极的严格鞍,表明SGD对一个通用的可定义(如半代数)的功能收敛到一个局部极小值。
2022-02-10 math.OC stat.ML