Perturbed Fenchel Duality and Primal-Dual Convergence of First-Order Methods
本文基于扰动Fenchel对偶性质,推导了对偶平均法、束方法等更多一阶方法在凸优化中的原对偶收敛性,并提出鞍点问题的单割束方法且证明其收敛性。
2024-12-03 math.OC
Multinomial and empirical likelihood under convex constraints: directions of recession, Fenchel duality, perturbations
研究了概率单形凸闭子集上多项式似然极大化的原问题。与普遍持有的观点相反,这个问题的解决方案可能会将正质量分配给零计数的结果。在简化的拉格朗日和Fenchel对偶问题,这是因为经济衰退的方向被忽略,出现相关的缺陷,确定和纠正。原始问题的解可以通过PP(扰动原始)算法获得,即作为扰动原始问题的解序列的极限。PP算法可以通过简化的Fenchel对偶来实现。结果允许我们指定线性集和数据,使得经验似然最大化分布存在,并且与多项式似然最大化分布相同。多项式似然比通常得出与经验似然比不同的结论。最小的歧视信息,成分数据分析,林赛几何,引导辅助信息,和拉格朗日乘子检验的影响进行了讨论。
2014-08-24 math.OC math.ST stat.AP
Representation of Weak Solutions of Convex Hamilton-Jacobi-Bellman Equations on Infinite Horizon
本文给出了一类发展Hamilton-Jacobi-Bellman方程在无穷水平上的弱解的一个表示结果,其中Hamiltonian在时间上是可测的,且是纤维凸的.这样的哈密顿与一个忠实的表示,即涉及两个功能可测量的时间和当地Lipschitz的状态和控制。我们的研究结果涉及恢复的表示凸哈密顿下放松假设的Fenchel变换的哈密顿相对于纤维。应用它们研究了一类含时Hamilton-Jacobi-Bellman方程在无穷远处消失的弱解的唯一性。假设上述Fenchel变换域上的生存条件,这些弱解被视为状态约束下的无限时域控制问题的适当值函数。
2022-08-18 math.OC
Regularity conditions via generalized interiority notions in convex optimization: new achievements and their relation to some classical statements
对于凸优化中强对偶的存在性,正则性条件起着无可争议的作用。本文主要讨论由集合内部概念的不同推广所形成的正则性条件。我们调查的原始对偶对是一个一般的表达语言的扰动函数,并通过使用其Fenchel-Moreau共轭。在对已有的广义邻点条件进行综述之后,我们引入了几个新的由拟内部和拟相对内部所构造的条件。我们强调的优点,新的条件相对于经典的,并说明我们的调查,通过大量的例子。我们关闭的文件,具体化的一般方法的经典Fenchel和拉格朗日对偶概念。
2009-06-02 math.OC
A Perturbation Approach to Vector Optimization Problems: Lagrange and Fenchel-Lagrange Duality
本文研究定义在局部凸Hausdorff拓扑向量空间中的一般极小向量问题(P),其中WInf表示关于凸锥$K$生成的序的弱下确界.建立了扰动映射的共轭映射的上图的几种表示。从这些,变种向量Farkas引理,然后证明。利用这些基本工具,定义了(P)的{ \it dual}和所谓的{ \it loose dual问题},并建立了这对原对偶问题之间稳定的强对偶结果.然后将所得结果应用于一类带锥约束的组合向量最优化问题。对于这类问题,提出了四种扰动映射。这些映射产生几种形式的向量Farkas引理和两种形式的对偶问题(CCVP)。具体地说,其中一个扰动映射给出了(CCVP)的著名的{ \it Lagrange}和{ \it loose Lagrange对偶问题},而另外三个扰动映射分别给出了(CCVP)的两类Fenchel-Lagrange对偶问题.证明了这些原对偶问题的稳定强对偶性。本文最后还讨论了(CCVP)的几种特殊情况,包括:无约束向量组合问题、锥约束向量组合问题和标量组合问题。本文中的结果,当具体到上述两个向量问题时,推广了最近出现的一些Lagrange对偶结果,并导出了稳定的强Fenchel-Lagrange对偶的新结果,据作者所知,这在文献中是第一次出现.
2021-05-29 math.OC
Two-stage stochastic algorithm for solving large-scale (non)-convex separable optimization problems under affine constraints
Université Paris-Saclay, CNRS, CentraleSupélec, Inria, Laboratoire des Signaux et Systèmes(巴黎萨克雷大学);Fédération de Mathématiques de CentraleSupélec France(中央理工-高等电力学院数学联合会);EDF R&D(法国电力集团研发中心);Inria, Ecole Normale Supérieure, PSL Research University(法国国家信息与自动化研究所)
本文提出了一种两阶段随机算法,用于求解带仿射约束的大规模(非)凸分离优化问题,在凸情况下达到ε-最优解,非凸情况下获得近似解。
2026-02-06 math.OC
No-Regret Dynamics in the Fenchel Game: A Unified Framework for Algorithmic Convex Optimization
Yale University(耶鲁大学);Georgia Institute of Technology(佐治亚理工学院);Technion - Israel Institute of Technology(以色列理工学院)
我们开发了一个算法框架,用于解决凸优化问题,使用无悔博弈动力学。通过将最小化凸函数的问题转化为以顺序方式求解最小-最大博弈的辅助问题,我们可以考虑两个必须一个接一个地选择行动的玩家中的每一个的一系列策略。这些策略的共同选择是所谓的无遗憾学习算法,我们描述了一些这样的,并证明他们的遗憾的界限。然后,我们表明,许多经典的一阶凸优化方法-包括平均梯度梯度下降,弗兰克-沃尔夫算法,Nesterov的加速方法,和加速邻近的方法-可以被解释为我们的框架的特殊情况下,只要每个球员作出了正确的选择无悔的策略。在这个框架中证明收敛率变得非常简单,因为它们可以通过插入适当的已知后悔界限来实现。我们的框架还产生了一些新的一阶方法的特殊情况下,凸优化,以前不知道。
2023-02-18 cs.GT cs.LG math.OC
Qualitative and Generalized Differentiation Properties of Optimal Value Functions with Applications to Duality
本文研究扰动优化问题最优值函数的定性与广义微分性质,建立近凸集与函数的基本结果,推导ε-次微分计算法则,并利用集值Fenchel共轭构建约束优化问题的对偶框架。
2025-10-23 math.OC
A Suitable Conjugacy for the l0 Pseudonorm
R d上的所谓l0计数向量的非零分量的数量。众所周知,l0的双共轭不是凸的,因为它的Fenchel双共轭是零。在本文中,我们引入了一个合适的共轭,诱导一种新的耦合,Caprac,具有沿原始射线是常数的性质,像l0的π。Caprac耦合属于我们介绍的单侧线性耦合类。我们表明,他们诱导共轭共享良好的性能与经典的Fenchel共轭。对于由耦合Caprac诱导的Caprac共轭,我们证明了l0的共轭性等于它的双共轭性:因此,l0的共轭性在广义凸意义下是Caprac-凸的.作为一个推论,我们表明,l0重合,在球面上,凸lsc函数。我们还提供了两个家庭的对偶规范,2-k-对称规范规范和k-支持规范的共轭表达式。
2019-02-13 math.OC
Constructive reachability for linear control problems under conic constraints
针对锥约束下的线性无限维控制问题,本文利用Fenchel对偶提出构造性方法,统一处理近似与精确可达性,并给出凸情形充要条件及非凸情形的充分条件。
2024-05-13 math.OC
Fenchel Duality Theory and A Primal-Dual Algorithm on Riemannian Manifolds
本文将Fenchel共轭推广到黎曼流形,建立相应对偶理论,并据此提出黎曼原始-对偶算法,证明其在Hadamard流形上收敛,数值实验显示该算法在非正曲率流形上可与Douglas-Rachford算法竞争,且在正曲率流形上也能收敛。
2020-10-09 cs.NA math.NA math.OC
A double smoothing technique for solving unconstrained nondifferentiable convex optimization problems
本文的目的是在有限维空间中提出一种求解一类无约束不可微凸优化问题的有效算法。为此,我们制定第一Fenchel对偶问题和正规化它在两个步骤成为一个可微的强凸Lipschitz连续梯度。然后通过快速梯度法求解双重正则化对偶问题,目的是加速所得的收敛方案。最后将理论结果应用于图像处理中的l1正则化问题。
2012-03-09 math.OC
Duality theory for optimistic bilevel optimization
本文利用二层最优化问题的价值函数重构,得到了该问题的对偶结果。我们的方法建立在Fenchel-Lagrange型对偶建立合适的结果的双层最优化问题。首先,我们概述了一些标准的对偶结果,以表明它们不适用于我们的问题。其次,通过部分平静的概念,我们建立了弱和强对偶结果。特别是,拉格朗日,Fenchel-Lagrange和Toland-Fenchel- Lagrange对偶概念的研究,这类问题在一些适当的条件下。第三,基于我们的双层规划的一些正则化的使用,我们建立了充分条件,确保强的对偶结果下的广义Slater型条件,没有凸性假设和部分平静条件。最后,在不考虑Slater条件的情况下,对带几何约束的双层最优化问题构造了一个强对偶结果。
2022-05-22 math.OC
Fenchel-Young Estimators of Perturbed Utility Models
University of Michigan(密歇根大学)
本文提出基于芬谢尔-扬损失的统一估计框架,解决PUMs中MLE的非凸性和稀疏性问题,通过参数基估计法提升预测性能。
2026-10-02 math.OC stat.ME
Solutions of Nonlinear Optimal Control Problems Using Quasilinearization and Fenchel Duality
本文考虑一类特殊的非线性最优控制问题,其中控制变量是箱约束的,目标泛函对应于控制变量是强凸的,且关于状态变量和控制变量是可分的.利用拟线性化方法,将求解原非线性问题转化为求解一系列约束线性二次型最优控制问题。为了有效地求解每个线性二次型问题,我们转而研究其对偶问题。利用Fenchel对偶方法构造对偶问题,证明了对偶问题的强对偶性和原问题与对偶问题对应的鞍点性质,从而保证了对偶问题求解的有效性.这样,用求解控制约束线性二次型最优控制问题的对偶问题代替了用拟线性化方法求解控制约束线性二次型最优控制问题的对偶问题。通过求解对偶问题的序列,利用鞍点性质得到了原始控制约束线性二次型问题的解。证明了每个子问题的解最终收敛于原非线性问题的最优性条件的解。在此基础上,我们利用本文的方法进行了数值实验,对于每个子问题,我们用欧拉离散格式将原问题和对偶问题离散化。数值结果验证了该方法的有效性。
2022-01-19 math.OC
Lp-norms, Log-barriers and Cramer transform in Optimization
我们表明,LP-模的上确界的拉普拉斯逼近在优化中具有有趣的后果。例如,对数障碍函数(LBF)的原始凸问题P和它的对偶自然出现时,使用这种简单的逼近技术的值函数g的P或其Legendre-Fenchel共轭。此外,最小化对偶的LBF只是评估g的拉普拉斯近似的Cramer变换。最后,这种技术允许有时定义一个明确的对偶问题的情况下,Legendre-Fenchel共轭的g不能明确地从其定义。
2010-05-31 math.OC
Anderson Acceleration for Distributed Constrained Optimization over Time-varying Networks
Southern University of Science and Technology(南方科技大学)
本文提出一种基于安德森加速的分布式约束优化方法,用于时间变化网络中的优化问题,通过改进FDGM实现更高效的收敛速度。
2026-01-18 math.OC
Incremental proximal gradient scheme with penalization for constrained composite convex optimization problems
本文研究了凸可微函数的极小元集约束下的凸函数有限和的极小化问题。为了解决这一问题,提出了一种将增量最近梯度法与平滑惩罚技术相结合的算法。我们证明了生成的迭代序列收敛到最优化问题的最优解,只要满足通过约束函数的Fenchel共轭表示的条件。最后,通过数值实验说明了该方法的功能,解决图像修复问题和广义Heron问题与最小二乘约束。
2020-04-20 math.OC
A Best-of-Both-Worlds Proof for Tsallis-INF without Fenchel Conjugates
KAUST(卡塔尔科技大学)
针对Tsallis-INF多臂老虎机算法,本文采用在线凸优化工具,无需Fenchel共轭即推导得出其两全最优保证,给出了更精简的证明过程。
2025-11-14 cs.LG math.OC stat.ML
Convex Analysis and Duality
凸性是非线性最优化理论和无穷维泛函分析中的一个重要概念。正如下面将看到的,非常简单和强大的工具将来自基本的对偶参数(这是Moreau-Fenchel变换和Hahn Banach定理的副产品)。我们将着重于对大范围的变分问题的应用。测度论的一些论点将被跳过。
2020-04-20 math.FA math.OC
Foundations of gauge and perspective duality
我们重新审视规范对偶的基础,并证明它可以用现代的方法来解释对偶的基础上的扰动框架。因此,我们把规范对偶和Fenchel-Rockafellar对偶平等的基础上,包括解释规范对偶变量的灵敏度措施,并显示如何恢复原始的解决方案,从那些规范对偶。这个有利的观点允许直接证明规范对偶的Fenchel-Rockafellar对偶的最优解正是由最优值重新标度的原始解。我们扩展规范对偶框架的设置中的功能组件是一般的非负凸函数,包括问题与分段线性二次函数和约束所产生的广义线性模型回归。
2018-06-18 math.OC
On the acceleration of the double smoothing technique for unconstrained convex optimization problems
在这篇文章中,我们探讨了加速双光滑技术解决无约束不可微凸优化问题的可能性。这种方法依赖于在两个步骤中的Fenchel对偶问题的正则化,所述Fenchel对偶问题与要被解决成具有可微强凸目标函数和Lipschitz连续梯度的最优化问题的问题相关联。然后通过快速梯度法求解双重正则化对偶问题。本文的目的是显示如何做的功能,在目标的原始问题的影响双重平滑方法的实施和它的收敛速率。利用不同的正则化泛函,将理论结果应用于线性反问题。
2012-05-03 math.OC
Convex analysis on Hadamard spaces and scaling problems
本文利用凸分析推广 Hadamard 空间上的渐近斜率函数,建立测地凸优化有界/无界判定理论,并将其应用于算子缩放及群轨道优化问题。
2023-05-31 math.OC
A Universal Primal-Dual Convex Optimization Framework
我们提出了一个新的原始-对偶算法框架的原型约束凸优化模板。我们的框架的算法实例是通用的,因为它们可以自动适应未知的霍尔德连续度和常数的对偶公式。他们也保证有最佳的收敛速度的目标残差和可行性差距为每个霍尔德平滑度。与现有的原始对偶法相比,我们的框架避免了目标函数的邻近算子。相反,我们利用计算成本更低的Fenchel型算子,这是广义条件梯度(GCG)型方法的主要工具。与GCG类方法相比,该框架不要求目标函数是可微的,并且可以处理额外的一般线性包含约束,同时保证了原问题的收敛速度
2015-11-06 math.OC
Accelerated Douglas-Rachford methods for the solution of convex-concave saddle-point problems
研究了一类求解与Fenchel-Rockafellar对偶相关的凸凹鞍点问题的Douglas-Rachford方法的加速策略和预处理策略.虽然基本迭代在希尔伯特空间中弱收敛,但限制原始-对偶间隙的$\mathcal{O}(1/k)$遍历收敛,在强凸性假设下可以实现加速。也就是说,如果在鞍点公式中的原始或对偶泛函是强凸的,则可以修改该方法以产生$\mathcal{O}(1/k^2)$遍历收敛。在两个泛函都是强凸的情况下,类似的修正导致了对于某些$0 < {\vartheta} < 1$,$\mathcal{O}({\vartheta}^k)$的渐近收敛性.所有方法特别允许预处理,即,在保持所有收敛速度的情况下,用线性分裂方法得到了隐式线性步长的不精确解。所提出的方法的效率进行了验证和数值比较,特别是显示相对于国家的最先进的加速算法的竞争力。
2016-04-21 math.OC
Nonsmooth Analysis and Optimization
这些研究生课程的课堂讲稿涵盖了广义导数概念,这些概念在推导逆问题、成像和偏微分方程约束优化中不可微优化问题的必要最优性条件和数值算法时非常有用。处理凸函数和次微分,Fenchel对偶,单调算子和预解式,Moreau-Yosida正则化,近点和(一些)一阶分裂方法,Clarke次微分,和半光滑牛顿方法。从功能分析和变分法所需的背景也简要概述。
2022-03-15 math.OC
Convex duality contracts for production-grade mathematical optimization
Google Research(谷歌研究院)
本文提出了一种基于简化弗恩切尔对偶性方案的抽象对偶对,用于统一MathOpt中各类问题的对偶解和不可行性证书,提升优化问题的清晰度和可操作性。
2026-02-03 math.OC
Solution Set Dimensions in Convex Optimization and Primal-Polar Facial Signatures
Department of Applied Mathematics, The Hong Kong Polytechnic University(香港理工大学应用数学系)
该研究探讨线性扰动凸优化问题的解集维数与凸对偶行为,证明有限超强制凸函数的两类维数集合可独立指定,解决了Roshchina和Tunçel的两个开放问题。
2026-10-14 math.OC
${\varepsilon}$-optimality in reverse convex optimization
本文研究了反凸优化问题的近似全局最优解,通过将其转化为无约束双准则DC规划,并利用Fenchel的${\varepsilon}$-次微分给出最优性条件,扩展并改进了已有精确解的结果。
2025-05-31 math.OC
Duality-Based Algorithm and Numerical Analysis for Optimal Insulation Problems on Non-Smooth Domains
本文给出了一个非局部凸非光滑极小化问题的数值逼近。该物理问题涉及确定由$h\colon Γ_I\to [0,+\infty)$给出的、附着到导热体$Ω\subseteq \mathbb{R}^d$、$d \in \mathbb{N}$的边界部分$Γ_I\subseteq \partialΩ$的给定量的绝缘材料的最佳分布。为了解决问题的非局部性和非光滑性,本文引入了一个(Fenchel)对偶框架:(a)在连续层次上,利用(Fenchel)对偶关系,我们得到了一个后验误差恒等式,它可以处理凸非局部非光滑极小化问题的原始和对偶公式的任意可容许逼近;(b)在离散水平上,使用离散(Fenchel)对偶关系,我们推导出适用于原始公式的Crouzeix-Raviart离散化和对偶公式的Raviart-Thomas离散化的先验误差恒等式。所提出的框架导致的错误衰减率是最佳的特定规律的极小。此外,我们证明了收敛的数值逼近下的最小正则性假设。由于离散对偶公式可以写成一个二次规划,它是用半光滑牛顿法解释的原始对偶有效集策略求解的。离散原始配方的解决方案是重建的离散对偶配方的解决方案,通过逆广义马里尼公式。这是第一个这样的公式,这类凸非局部和非光滑极小化问题。
2025-05-07 cs.NA math.AP math.NA
Testing composite hypotheses via convex duality
我们研究的问题,测试复合假设与复合替代品,使用凸对偶的方法。与Krafft和Witting(Z.华什弗鲁Gebiete 7(1967)289- 302),其中充分的最优性条件是通过Lagrange对偶得到的,我们在紧性假设下通过Fenchel对偶得到了充要的最优性条件.这一方法也不同于Cvitanić和Karatzas(Bernoulli 7(2001)79- 97)所采用的方法。
2010-11-26 math.OC math.PR math.ST
ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
我们提出了ADOM -一个加速的方法,光滑和强凸分散优化随时间变化的网络。ADOM使用双oracle,即,我们假设可以访问各个损失函数的Fenchel共轭的梯度。在一个常数因子下,它的通信复杂度与加速Nesterov梯度法(Nesterov,2003)的通信复杂度相同。据我们所知,只有Rogozin等人(2019)的算法具有类似性质的收敛速度。然而,他们的算法在非常严格的假设下收敛,即网络变化的次数不能大于迭代次数的大于微小百分比。这一假设在实际中很难满足,因为网络拓扑结构的变化通常是无法控制的。相比之下,ADOM只需要网络在整个时间内保持连接。
2021-02-18 cs.LG math.OC
An inertial alternating direction method of multipliers
University of Vienna(维也纳大学)
本文提出一种惯性交替方向乘子法,通过引入惯性效应改进经典ADMM算法,深入研究其收敛性,并扩展至求解具有有限和凸函数目标的优化问题。
2014-04-17 cs.NA math.NA math.OC
Fenchel-Young Duality Gaps: Certified Early Stopping for Regularized Inverse Problems
CERMICS, CNRS, ENPC, Institut Polytechnique de Paris(法国国家科学研究中心,国立桥路学校,巴黎理工学院);Institut Camille Jordan, École Centrale Lyon, CNRS UMR 5208(里昂中央理工学院,法国国家科学研究中心);Institut Universitaire de France (IUF)(法国高等研究院)
本文提出基于 Fenchel-Young 对偶间隙的可计算误差界与提前停止准则,用于正则化逆问题,并应用于广义 Beurling-Lasso 及深度学习优化器认证。
2026-09-17 math.OC math.ST stat.ML