Proximity for Sums of Composite Functions
Patrick L. Combettes, Dinh Dung, Bang Cong Vu
提出了一种计算希尔伯特空间中复合凸函数和的邻近算子的算法，并研究了其渐近性质。应用程序的最佳逼近和图像恢复。
We propose an algorithm for computing the proximity operator of a sum of composite convex functions in Hilbert spaces and investigate its asymptotic behavior. Applications to best approximation and image recovery are described.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
A splitting primal-dual proximity algorithm for solving composite optimization problems
研究了非光滑凸函数与有限族复合凸函数之和的优化问题，其中每一个复合凸函数都由一个凸函数和一个有界线性算子组成.这种类型的问题与图像恢复和图像重建领域中遇到的许多有趣的挑战相关联。我们开发了一个分裂原始-对偶邻近算法来解决这个问题。此外，我们提出了一种预条件方法，该方法的迭代参数是在不需要事先知道某些特定的算子范数的情况下获得的。理论收敛定理。然后，我们应用所提出的方法来解决全变差正则化模型，其中L2数据误差函数被添加到L1数据误差函数。该模型的主要优点是它能够组合不同的损失函数。计算机断层扫描（CT）图像重建得到的数值结果表明，该算法能够重建图像的投影视图少，稀疏，同时保持图像质量。
Variable Metric Forward-Backward Algorithm for Composite Minimization Problems
We present a forward-backward-based algorithm to minimize a sum of a differentiable function and a nonsmooth function, both being possibly nonconvex. The main contribution of this work is to consider the challenging case where the nonsmooth function corresponds to a sum of non- convex functions , resulting from composition between a strictly increasing, concave, differentiable function and a convex nonsmooth function. The proposed variable metric Composite Function Forward-Backward algorithm (C2FB) circumvents the explicit, and often challenging, computation of the proximity operator of the co…
Harnessing structure in composite nonsmooth minimization
针对非光滑函数与光滑映射的复合极小化问题，提出结合邻近步与序列二次规划步的算法，可局部识别最优光滑子结构并实现二次收敛，在两类问题上验证了性能。
Primal-dual splitting algorithm for solving inclusions with mixtures of composite, Lipschitzian, and parallel-sum monotone operators
我们提出了一个原始-对偶分裂算法求解单调包含涉及的混合和，线性组合，并平行和集值和Lipschitz算子。该算法的一个重要特征是，在制定中存在的Lipschitzian算子可以通过显式步骤单独处理，而集值算子通过其预解式单独处理。此外，该算法是高度并行的，因为它的大多数步骤可以同时执行。这项工作汇集并显着扩展了各种类型的结构化单调包含问题及其解决方法。特别注意凸极小化问题的应用。
A stochastic coordinate descent splitting primal-dual fixed point algorithm and applications to large-scale composite optimization
受Chen，Huang和Zhang最近的结果的启发，从基于邻近算子的不动点算法的角度考虑了求两个凸函数之和的极小值以及另一个凸函数与连续线性算子的复合的极小值问题.利用坐标下降的思想，设计了一种随机坐标下降分裂原始-对偶不动点算法.基于随机Krasnosel'skii mann迭代和邻近算子的强非扩张性质，我们证明了算法的收敛性。
Deep Neural Network Structures Solving Variational Inequalities
受深度神经网络中出现的结构的启发，我们研究了在不同空间上定义的交替邻近和仿射算子的非线性复合模型。我们首先证明了神经网络中使用的各种激活算子实际上都是邻近算子。然后，我们建立条件的平均建议的复合结构，并调查其渐近性质。结果表明，所得到的过程的限制解决了一个变分不等式，在一般情况下，不来自最小化问题。
Resolvent of the parallel composition and proximity operator of the infimal postcomposition
本文给出了极大单调算子与线性算子的并行复合的预解式计算。提供了与翘曲预解式的修改的连接。在凸优化的背景下，我们得到了凸函数的下底后复合由线性算子表示的邻近算子，并将关于线性算子的满值域条件推广到了较弱的限定条件.我们还介绍了一个广义的邻近算子，涉及到一个一般的线性有界算子，导致合成凸优化的Moreau分解的推广。
An inertial primal-dual fixed point algorithm for composite optimization problems
我们考虑惯性原始-对偶不动点算法（IPDFP）来计算以下问题（1.1）的最小化。这是一个完整的分裂方法，在这个意义上，非光滑函数通过其邻近算子单独处理。IPDFP的收敛性是通过将问题（1.1）转化为三个凸函数的和来获得的。这项工作汇集并显着扩展了几个经典的分裂方案，如Chambolle和Pock提出的原始对偶方法，以及Charles A.等设计的L1/TV图像去噪模型。该迭代算法用于求解图像处理中的不可微凸优化问题。实验结果表明，所提出的IPDFP迭代算法表现良好，相对于国家的最先进的方法。
A stochastic coordinate descent primal-dual algorithm with dynamic stepsize for large-scale composite optimization
本文考虑了两个凸函数之和与另一个凸函数与一个连续线性算子的复合的极小化问题。利用坐标下降的思想，设计了一种具有动态步长的随机坐标下降原对偶分裂算法。基于随机化的修正Krasnosel'skiii-Mann迭代和邻近算子的强非扩张性，我们证明了算法的收敛性.此外，我们给出了我们的方法的两个应用。
Efficient Regularized Proximal Quasi-Newton Methods for Large-Scale Nonconvex Composite Optimization Problems
具有复合函数的最优化问题由一个目标函数组成，该目标函数是一个光滑项和一个（凸）非光滑项之和。这种特殊的结构是利用类的近端梯度法和他们的一些推广，如近端牛顿和拟牛顿法。在本文中，我们提出了一个正则化的近似拟牛顿法，其主要特点是：（a）该方法全局收敛到稳定点，（b）全局化由正则化参数控制，不需要线搜索，（c）该方法可以基于简单的观察而非常有效地实现，该观察结合了最近用于计算准牛顿邻近算子和有限记忆拟牛顿更新的紧致表示。对凸和非凸组合最优化问题的数值算例表明，该方法优于现有的几种方法。
Proximal Comixture Minimization Models for Image Recovery and Data Analysis
本文提出基于近端混合的图像恢复与数据分析模型，通过显式计算近端算子提升优化效率。
Efficient First Order Methods for Linear Composite Regularizers
在机器学习和统计学中，一类广泛的正则化问题使用正则化项，该正则化项通过将简单的凸函数ω与线性变换组合而获得。此设置包括Group Lasso方法、Fused Lasso和其他全变差方法、多任务学习方法等等。在本文中，我们提出了一种计算这类正则化子的邻近算子的一般方法，假设函数ω的邻近算子是已知的。我们的方法建立在最佳一阶优化方法的最新研究路线，并使用不动点迭代数值计算的邻近算子。它比目前的方法更一般，正如我们所示的数值模拟，计算效率比现有的一阶方法，没有达到最佳的速度。特别是，我们的方法优于最先进的O（1/T）方法重叠组Lasso和匹配最佳O（1/T^2）方法融合Lasso和树结构组Lasso。
A Proximal Variable Smoothing for Nonsmooth Minimization Involving Weakly Convex Composite with MIMO Application
针对含弱凸复合函数的非光滑优化问题，提出一种基于Moreau包络的时变前向-后向近端变量平滑算法，提供了平稳点收敛性分析，并应用于MIMO信号检测验证了其有效性。
A stochastic coordinate descent inertial primal-dual algorithm for large-scale composite optimization
考虑一种惯性原始对偶法，用于计算两个凸函数之和与另一个凸函数与一个连续线性算子的复合的极小化。利用坐标下降的思想，设计了一种随机坐标下降惯性原对偶分裂算法。此外，为了证明所提出的惯性算法的收敛性，我们首先构造了随机Krasnosel'skiii-Mann迭代算法的惯性版本，用于逼近非扩张算子的不动点集，并研究了它的收敛性。然后将随机Krasnosel'skiii-Mann迭代的惯性形式应用于邻近算子的合成，得到了随机坐标下降惯性原对偶分裂算法的收敛性.
A splitting algorithm for dual monotone inclusions involving cocoercive operators
考虑了含复合平行和型算子和的对偶单调包含问题的解。这项工作的一个特点是明确利用的cocoercivity的一些运营商出现在模型中。几个分裂算法最近提出的文献中恢复的特殊情况。
Bregman Proximal Linearized ADMM for Minimizing Separable Sums Coupled by a Difference of Functions
本文提出一种结合Bregman距离的线性化ADMM分裂算法，用于求解由函数差耦合的非凸非光滑可分离复合优化问题，并证明了其子序列及全序列收敛性，在鲁棒PCA和最优潮流问题上验证了有效性。
Exact Series and Error-Controlled Evaluation of the Nonconvex $\ell_p$ Proximity Operator
针对非凸 $\ell_p$ 拟范数 ($0<p<1$) 的邻近算子，提出显式标量近端映射、一致收敛级数和 Mellin-Barnes 积分表示，并设计具有可计算先验误差界的认证混合评估器，用于近阈值区域的精确计算。
Convex Optimization in Sums of Banach Spaces
我们描述了解决一类广泛的凸优化问题，解决了从有限数量的线性测量函数的重建。基本的假设是，解决方案是可分解为一个有限的组件，其中每个组件属于自己规定的巴拿赫空间的总和;此外，该问题是正规化的惩罚一些复合范数的解决方案。我们建立一般的存在条件，并推导出通用的参数表示的解决方案组件。这些表示根据底层正则化范数分为三类：（i）当分量空间是再生核希尔伯特空间（RKHS）时根据预定义“核”的线性展开，（ii）当分量巴拿赫空间是严格凸时测量泛函的线性组合的非线性（对偶）映射，以及，（iii）当巴拿赫空间的组成部分不是严格凸时，在一个较大的字典中用少量的原子进行自适应扩展.我们的方法概括和统一了一些多内核（RKHS）和稀疏字典学习技术的压缩感知在文献中。它也产生了自然扩张的经典样条拟合技术在（半）RKHS抽象的Banach空间设置。
A variable metric extension of the forward--backward--forward algorithm for monotone operators
本文提出了在希尔伯特空间中求极大单调算子与Lipschitz单调算子之和的零点的前-后-前算法的变度量推广。反过来，这个框架提供了一个可变的度量分裂算法解决单调包含涉及合成算子的总和。几个分裂算法最近提出的文献中恢复的特殊情况。
Proximity Operator of the $\ell_1$ over $\ell_2$ Function
本文提出了一种计算$\ell_1$ over $\ell_2$函数邻近算子的精确方法，通过数学变换和优化策略，实现了高效且准确的计算，优于传统稀疏性猜测和球投影方法。
A first-order splitting method for solving a large-scale composite convex optimization problem
前向后算子分裂算法是求解两个凸函数之和的最优化问题的重要方法之一，其中一个凸函数是Lipschitz连续梯度可微的，另一个凸函数可能是非光滑但可逼近的.将某些最优化问题转化为对偶问题或原-对偶问题的形式进行求解是很方便的。这两种方法在理论上都是成熟的。本文构造了几个求解多块复合凸最优化问题的有效一阶分裂算法。目标函数包括具有Lipschitz连续梯度的光滑函数、可以是非光滑的可逼近凸函数、以及可逼近函数和有界线性算子的合成的有限和。为了解决这样的最优化问题，我们通过定义一个合适的内积空间，将其转化为三个凸函数的和。在对偶前后向分裂算法和原始对偶前后向分裂算法的基础上，我们发展了几种只需要计算可微函数的梯度和相关凸函数的邻近算子的迭代算法。这些迭代算法是矩阵求逆的自由和完全分裂的算法。最后，我们采用所提出的迭代算法来解决一个正则化的一般先验图像约束压缩感知（PICCS）模型，该模型来自稀疏采样下的投影测量的计算机断层扫描（CT）图像重建。数值结果表明，所提出的迭代算法优于其他算法。
A Proximal Variable Smoothing for Minimization of Nonlinearly Composite Nonsmooth Function -- Finite-Max Minimization and MIMO Applications
针对非光滑优化问题，提出近端变量平滑算法，其具有单环结构，由两步组成。给出驻点收敛保证及收敛速率，通过数值实验验证该算法在鲁棒目标定位和MIMO信号检测场景下的有效性。
A Fast Proximal Gradient Algorithm for Decentralized Composite Optimization over Directed Networks
针对有向网络多智能体系统中的一致性优化问题，提出了一种快速分散算法，其中局部目标函数具有光滑+非光滑的复合形式，并且可能是非凸的.这类问题的例子包括分散压缩感知和约束二次规划问题，以及许多分散正则化问题。我们扩展现有的算法PG-EXTRA和ExtraPush到一个新的算法PG-ExtraPush复合共识优化有向网络。该算法利用PG-EXTRA中的邻近运算符来处理非平滑项，并采用ExtraPush中的推和协议来解决有向网络引入的偏差。在适当的步长下，我们证明了PG-ExtraPush算法在一些常规假设下以线性速度收敛到最优解。我们进行了一系列的数值实验，以证明所提出的算法的有效性。具体来说，通过适当的步长，PG-ExtraPush在大多数情况下执行线性速率，即使在一些非凸情况下，也比Subgradient-Push快得多，即使后者使用手动优化的步长。数值结果也验证了所建立的理论结果。
Stochastic Variable Metric Proximal Gradient with variance reduction for non-convex composite optimization
提出了一种求解有限和非凸复合优化问题的新算法--扰动邻近预处理SPIDER算法（3 P-SPIDER）。它是一种随机变度量前向-后向算法，允许近似预处理前向算子，并使用变度量邻近算子作为后向算子;它还提出了一种方差减少的小批量策略来解决有限和设置。我们表明，3 P-SPIDER扩展了一些随机预处理的梯度下降为基础的算法和一些增量期望最大化算法的复合优化和前向算子的情况下，不能计算在封闭的形式。我们还提供了一个显式的收敛控制的期望3 P-SPIDER，并研究其复杂性，以满足ε-近似平稳条件。我们的研究结果是第一个结合复合非凸优化设置，方差减少技术来解决有限和设置通过使用minibatch策略，并允许确定性或随机近似的预处理前向算子。最后，通过应用逻辑回归模型的推理随机效应，我们数值比较3 P-SPIDER其他随机向前向后算法，并讨论了一些设计参数的3 P-SPIDER的作用。
On the convergence rate of the three operator splitting scheme
三算子分裂方案最近由[Davis and Yin，2015]提出，作为优化具有一个凸光滑项和两个凸（可能是非光滑）项的复合目标函数的方法，我们可以访问它们的邻近算子。在这个简短的说明中，我们提供了另一种证明这种方法的次线性收敛速度。
Composite Logconcave Sampling with a Restricted Gaussian Oracle
我们考虑从复合密度$\mathbb{R}^d$的形式$dπ(x) \propto \exp(-f(x) - g(x))dx$的采样良好的条件$f$和凸（但可能是非光滑）$g$，一个家庭推广到一个凸集的限制，通过抽象的限制高斯预言。对于条件数为$κ$的$f$，我们的算法在$O \left(κ^2 d \log^2\tfrac{κd}ε\right)$迭代中运行，每次查询$f$的梯度和受限的高斯预言，以实现总变化距离$ε$。限制高斯预言机，从分布的负对数似然总和二次和$g$，以前已经研究过，是一个自然的扩展，在复合优化中使用的邻近预言机。我们的算法是概念上简单，并获得更强的可证明的保证和更大的通用性比现有的复合抽样方法。我们进行的实验表明，我们的算法大大提高了打了就跑算法采样的限制（非对角）高斯的正正交。
A Variable Smoothing for Weakly Convex Composite Minimization with Manifold Constraint via Parametrization
本文提出了一种通过参数化实现弱凸复合最小化的变量平滑方法，结合约束转化与平滑替代函数，无需迭代求解器，具有渐近收敛性分析和有效性验证。
A primal-dual fixed-point algorithm for minimization of the sum of three convex separable functions
图像处理和信号恢复中的许多问题都可以归结为三个凸可分函数之和的最小化问题。通常，目标函数包括具有Lipschitz连续梯度的光滑函数、线性复合非光滑函数和非光滑函数。在本文中，我们提出了一个原始-对偶不动点（PDFP）计划来解决上述问题。当非光滑函数可以通过其邻近算子（如$\ell_1$型正则化）求解时，该算法是一种完全分裂的对称格式，只涉及显式梯度算子和线性算子，不需要内迭代.我们研究了该算法的收敛性，并通过融合LASSO和图像恢复与非负约束和稀疏正则化的例子来说明它的效率。
Iteration-Complexity of a Generalized Forward Backward Splitting Algorithm
在本文中，我们分析了广义向前-向后（GFB）分裂算法，提出了\cite{gfb2011}，最小化一个大类的复合目标$f + \sum_{i=1}^n h_i$在希尔伯特空间，其中$f$具有Lipschitz连续梯度和$h_i$的简单（\ie，它们的邻近算子是容易计算的）的迭代复杂性。我们推导出迭代复杂性边界（逐点遍历）的不精确版本的GFB获得一个近似解的基础上，一个容易验证的终止标准。一路上，我们证明了复杂性界的放松和不精确的不动点迭代构建的非扩张平均运营商的组合。这些结果适用于更普遍的GFB时，用来找到一个零的总和$n > 0$极大单调算子和一个co-coercive运营商的希尔伯特空间。的理论研究结果与视频处理的实验举例说明。
Structured Logconcave Sampling with a Restricted Gaussian Oracle
我们给出了算法的抽样几个结构logconcave家庭的高精度。我们进一步开发了一个约简框架，灵感来自凸优化中的近点方法，该方法可以引导正则化密度的采样器，以提高对问题条件的依赖性。在我们的框架中的一个关键成分是一个“限制高斯oracle”（RGO）的概念$g: \mathbb{R}^d \rightarrow \mathbb{R}$，这是一个采样器的分布，其负对数似然总和二次和$g$。通过将我们的约简框架与我们的新采样器相结合，我们获得了以下对结构化分布进行采样到总变差距离的界$ε$。对于复合密度$\exp(-f(x) - g(x))$，其中$f$的条件数$κ$和凸（但可能是非光滑）$g$承认一个RGO，我们得到一个混合时间的$O(κd \log^3\frac{κd}ε)$，匹配国家的最先进的非复合约束;没有复合采样器具有更好的混合比通用logconvex采样器是以前已知的。对于logconvex有限和$\exp(-F(x))$，其中$F(x) = \frac{1}{n}\sum_{i \in [n]} f_i(x)$的条件数$κ$，我们给了一个采样器查询$\widetilde{O}(n + κ\max(d, \sqrt{nd}))$梯度神谕$\{f_i\}_{i \in [n]}$，没有高精度的采样器与非平凡的梯度查询复杂性是以前已知的。对于密度与条件数$κ$，我们给出了一个算法…
A $\mathcal{VU}$-calculus for composite functions and the $\mathcal{U}$-Hessian of partly smooth functions
本文为外凸复合非光滑函数建立有限维$\mathcal{VU}$-演算，推导$\mathcal{U}$-Hessian与倾斜稳定性及强度量正则性的等价条件，并在铰链复合上验证。
The Boosted Double-Proximal Subgradient Algorithm for Nonconvex Optimization
本文提出BDSA算法解决一般结构化非光滑非凸优化问题，结合次梯度与近端步骤并集成线搜索，在Kurdyka--Lojasiewicz性质下证明收敛性并分析收敛速率，实验验证其逃离非最优临界点的能力及实际应用有效性。
Global Convergence of Model Function Based Bregman Proximal Minimization Algorithms
连续可微函数梯度映射的Lipschitz连续性在设计各种优化算法中起着至关重要的作用。然而，在实际应用中出现的许多函数，例如低秩矩阵分解或深度神经网络问题，并不具有Lipschitz连续梯度。这导致了被称为$L$ -smad属性的广义概念的发展，该属性基于称为Bregman距离的广义邻近度量。但是，$L$ -smad属性不能处理非光滑函数，例如，像$\abs{x^4-1}$这样的简单非光滑函数以及许多实际的复合问题都不在范围之内。我们通过提出MAP属性来解决这个问题，该属性推广了$L$ -smad属性，并且对于一大类非凸非光滑复合问题也是有效的。基于所提出的MAP属性，我们提出了一个全局收敛的算法称为模型BPG，它统一了现有的几个算法。收敛性分析是基于一个新的李雅普诺夫函数。我们还数值说明了优越的性能模型BPG标准相位恢复问题，强大的相位恢复问题，和泊松线性逆问题，相比，一个国家的最先进的最优化方法，是有效的通用非凸非光滑最优化问题。
Minimizing a low-dimensional convex function over a high-dimensional cube
对于矩阵$W \in \mathbb{Z}^{m \times n}$、$m \leq n$和凸函数$g: \mathbb{R}^m \rightarrow \mathbb{R}$，我们感兴趣的是在集合$\{0,1\}^n$上最小化$f(x) = g(Wx)$。我们将研究可分凸函数和尖锐凸函数$g$。此外，矩阵$W$是未知的。仅显示$m \leq n$和$\|W\|_{\infty}$的行数。复合函数$f(x)$仅由零阶和一阶oracle表示。我们的主要结果是一个邻近定理，确保可分凸和尖锐凸函数的积分最小值和连续最小值总是“接近”。这将是开发用于检测整数最小值的算法的关键成分，该算法实现了大约$(m \| W \|_{\infty})^{\mathcal{O}(m^3)} \cdot \text{poly}(n)$的运行时间。在特殊情况下，当$(i)$ $W$明确给出和$(ii)$ $g$是可分离的凸也可以适应Hochbaum和Shanthikumar的算法。该算法的运行时间与我们的通用算法的运行时间相匹配。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。