Asynchronous Decentralized Successive Convex Approximation
我们研究分散的异步多智能体优化网络，建模为静态（可能有向）图。最优化问题包括最小化一个（可能是非凸的）光滑函数--代理的局部成本之和--加上一个凸的（可能是非光滑的）正则化器，受凸约束。代理可以执行本地计算，以及与他们的近邻在任何时候进行通信，没有任何形式的协调或集中调度;此外，当解决他们的本地子问题，他们可以使用过时的信息，从他们的邻居。我们提出了第一个分布式异步算法，称为ASY-DSCA，收敛于R-线性速率的凸问题的最优解，其目标函数满足一般的误差界条件，这个条件是弱于更常用的强凸性，它是由几个经验的风险函数，不是强凸的，例子包括LASSO和逻辑斯谛回归问题。当目标函数为非凸函数时，ASY-DSCA以次线性速度收敛于问题的稳态解。
2020-01-30 math.OC
Alternating conditional gradient method for convex feasibility problems
研究了有限维欧几里得空间中的经典凸可行性问题。我们对两个案子感兴趣。首先，我们假设知道如何计算到其中一个集合上的精确投影，而另一个集合是紧的，这样条件梯度（CondG）方法可以用于有效地计算在它上面的不精确投影;其次，我们假设两个集合都是紧的，这样CondG方法可以用于有效地计算在它们上面的不精确投影。将交替投影法与CondG方法相结合，设计了一种新的交替投影法，它可以看作是交替投影法的一种不精确可行形式。所提出的方法产生两个不同的序列属于每一个涉及的集合，这收敛到一个点，在他们的交集时，它不是空的。如果交集为空，则序列收敛到相应集合中的点，其距离等于所考虑的集合之间的距离。
2019-12-09 math.OC
Minibatch stochastic subgradient-based projection algorithms for solving convex inequalities
本文研究了凸可行性问题，其中可行集是一个（可能是无限个）闭凸集的交集。我们假设每个集合代数地指定为凸不等式，其中相关的凸函数是一般的（可能是不可微的）。为了找到一个点满足所有的凸不等式，我们设计和分析随机投影算法使用特殊的次梯度迭代和外推步长。此外，基于多个约束分量的并行随机观测来执行更新。对于这些小批量随机次梯度投影方法，我们证明了次线性收敛结果，并在一定的线性正则性条件下的功能约束，我们证明了线性收敛速率。我们还推导出条件下，这些速率显式依赖于minibatch大小。据我们所知，这项工作是第一个推导条件，表明当小批量随机次梯度为基础的投影更新有一个更好的复杂性比他们的单样本的变体。
2019-09-26 math.OC
Relaxed Lagrangian duality in convex infinite optimization: reducibility and strong duality
我们与每个凸优化问题，提出了一些局部凸空间，无限多的约束指标的集合T，和一个给定的非空家庭H的有限子集的T，一个合适的拉格朗日-哈尔对偶问题。得到了H-约化的充要条件，即等价于用H的某个元素替换整个指标集T所得到的某个子问题。特别注意的是线性最优化，无限和半无限，并与可数家庭的约束凸问题。给出了零H-对偶间隙和H-（稳定）强对偶的结果。文中给出的例子说明了结果的意义。
2021-06-03 math.OC
A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency
分散式优化是一种很有前途的并行计算范例，用于定义在节点网络上的大规模数据分析和机器学习问题。研究了具有总体风险或经验风险的分散非凸组合问题。特别地，网络节点的任务是找到局部的、平滑的、可能非凸的风险函数加上可能不可微的扩展值凸正则化子的平均值的近似稳定点。在这个一般配方下，我们提出了第一个可证明有效的随机邻近梯度框架，称为ProxGT。具体来说，我们构建和分析ProxGT的几个实例，分别为不同的问题类的兴趣。值得注意的是，我们表明，这些实例的样本复杂性是网络拓扑无关的，并实现线性加速相比，在一个单一的节点上实现相应的集中式优化方法。
2021-10-04 math.OC
Parallel Successive Convex Approximation for Nonsmooth Nonconvex Optimization
考虑最小化包含大量变量的光滑（可能非凸）和凸（可能非光滑）函数之和的问题。解决这个问题的一种流行方法是块坐标下降（BCD）方法，在每次迭代中，只有一个变量块被更新，而其余变量保持不变。随着多核并行处理技术发展的最新进展，希望通过允许在算法的每次迭代中同时更新多个块来并行化BCD方法。在这项工作中，我们提出了一个不精确的并行BCD方法，在每次迭代中，一个子集的变量被更新并行最小化凸近似的原始目标函数。我们研究了随机变量和循环变量选择规则的并行BCD方法的收敛性。我们分析了算法对凸和非凸目标函数的渐近和非渐近收敛行为。数值实验表明，对于Lasso极小化问题的一种特殊情况，循环块选择规则的性能优于随机化规则。
2014-10-31 math.OC
Algebraic Lipschitz and Subdifferential Calculus in General Vector Spaces
本文的主要贡献是在没有任何附加拓扑约束的情况下，证明了每个定义域的相对代数内部为非空的凸函数在某种代数意义下是Lipschitz次可微的.所提出的方法使用稍微修改克拉克的次微分定义的凸对称集和Lipschitz相对于闵可夫斯基功能的功能。在此之后，克拉克的次微分广义向量空间，连续性要求，拓扑向量空间。
2016-11-08 math.OC
On global solvability of a class of possibly nonconvex QCQP problems in Hilbert spaces
我们提供的条件，确保KKT型条件的特点的全局最优性的二次约束（可能非凸）的二次规划QCQP问题在希尔伯特空间。关键属性是凸性的图像类型集相关的功能出现在制定的问题。主要结果的证明依赖于希尔伯特空间中（Jakubovich）S-引理的推广形式.作为应用，我们考虑一类具有特殊形式的二次项约束的QCQP问题。
2023-02-14 math.OC
Regularity and stability for a convex feasibility problem
考虑两个闭凸集序列$\{A_n\}$和$\{B_n\}$分别收敛于$A$和$B$的Attouch-Wets收敛性。给定一个起点$a_0$，我们考虑通过在“扰动”集上投影获得的点序列，即，由$b_n=P_{B_n}(a_{n-1})$和$a_n=P_{A_n}(b_n)$归纳定义的序列$\{a_n\}$和$\{b_n\}$。假设$A\cap B$（或者如果$A \cap B=\emptyset$是适当的替代）是有界的，我们证明了如果偶$(A,B)$是（有界）正则的，那么偶$(A,B)$是$d$ -稳定的，即，对于如上所述的每个$\{a_n\}$和$\{b_n\}$，我们有$\mathrm{dist}(a_n,A\cap B)\to 0$和$\mathrm{dist}(b_n,A\cap B)\to 0$。
2020-07-23 math.OC
A counterexample to De Pierro's conjecture on the convergence of under-relaxed cyclic projections
凸可行性问题在于找到一个点的交集的有限家庭的封闭凸集。当交集为空时，最好的折衷方法是搜索一个点，使到集合的平方距离之和最小。在2001年，de Pierro证明了当$\varepsilon\downarrow 0$向最小二乘解收敛时，由$\varepsilon$ -欠松弛循环投影法产生的极限环收敛。虽然该猜想已被证实在相当一般的条件下，我们表明，它是假的一般通过构建一个系统的三个紧凸集在$\mathbb{R}^3$的$\varepsilon$下松弛循环不收敛。
2018-05-06 math.OC
The Intrinsic Riemannian Proximal Gradient Method for Convex Optimization
Norwegian University of Science and Technology（挪威科技大学）；RWTH Aachen University（亚琛工业大学）；Universität Potsdam（波茨坦大学）
研究哈达玛流形上的凸优化问题，提出内在凸黎曼近端梯度法，该方法在非光滑步骤使用流形近端映射，无需在嵌入或切空间操作，建立了收敛速率并推导不等式，数值实验显示其相对于现有方法有计算优势。
2026-07-28 cs.NA math.DG math.NA
Distributed Stochastic Nonconvex Optimization and Learning based on Successive Convex Approximation
Sapienza University of Rome（罗马萨皮恩扎大学）
研究了多智能体网络中的分布式随机非凸优化问题。我们引入了一个新的算法框架的分布最小化的平滑（可能非凸）函数（代理的总和效用）加上凸（可能非平滑）正则化的期望值的总和。所提出的方法取决于连续凸近似（SCA）技术，利用动态共识作为一种机制来跟踪代理之间的平均梯度，递归平均恢复的总和效用函数的预期梯度。几乎必然收敛到（平稳）的非凸问题的解决方案。最后，将该方法应用于神经网络的分布式随机训练。数值结果证实了理论的要求，并说明了所提出的方法相对于文献中的其他方法的优势。
2020-05-12 cs.LG eess.SP math.OC
iPiano: Inertial Proximal Algorithm for Non-Convex Optimization
University of Freiburg（弗莱堡大学）；BIOSS Centre for Biological Signalling Studies（BIOSS生物信号研究中心）；Graz University of Technology（格拉茨工业大学）
在本文中，我们研究了一个算法求解由一个可微（可能非凸）和一个凸（可能不可微）函数组成的极小化问题。iPiano算法将前后分裂与惯性力相结合。它可以被看作是Polyak的Heavy-ball方法的非光滑分裂版本。对所提出的一类问题的算法进行了严格的分析，得到了函数值和参数的全局收敛性。这使得该算法对于非凸问题的使用具有鲁棒性。基于\KL不等式，得到了该算法的收敛性结果.这是一个非常弱的限制，用于证明其他几种梯度方法的收敛性。首先证明了遗传算法的一个抽象收敛定理，然后证明了iPiano算法满足该定理的要求。此外，收敛速度建立一般问题类。我们展示了iPiano在计算机视觉问题上的应用：学习先验的图像去噪和基于扩散的图像压缩。
2014-04-18 cs.CV math.OC
Generalized Uniformly Optimal Methods for Nonlinear Programming
在本文中，我们提出了一个通用的框架来扩展现有的一致最优凸规划算法，以解决更一般的非线性，可能非凸，最优化问题。其基本思想是在这些一致最优凸规划方法中加入一个局部搜索步骤（梯度下降或拟牛顿迭代），然后使计算的函数值沿轨迹单调递减.这些类型的算法将实现最佳已知的复杂性为非凸问题，和凸的最佳复杂性，而不需要任何问题参数。这样，对于一般的非线性规划问题，无论其凸性和光滑性如何，我们都可以得到统一的处理。特别是，我们表明，加速梯度和水平的方法，原来只为解决凸优化问题，可以用来解决凸和非凸问题的一致。在类似的静脉，我们表明，一些良好的研究技术非线性规划，例如，拟牛顿迭代可以嵌入到最优凸优化算法中，以进一步提高其数值性能。我们的理论和算法的发展得到了补充，一些有前途的数值结果解决了一些重要的非凸和非线性数据分析问题的文献。
2015-09-12 math.OC stat.ML
Theory of generating spaces of convex sets and their applications to solvability of convex programs in Banach spaces
当优化理论家考虑无限维空间中的最优化问题时，需要处理闭凸子集（通常是锥），而这些闭凸子集的内部大多是空的。这些子集经常妨碍优化理论家应用强大的技术来研究这些最优化问题。本文利用非支撑点给出了巴拿赫空间与其凸闭子集的非支撑点相关的生成空间。然后，对于无限维空间中的最优化问题，在某些一般情况下，我们用包含解的生成空间代替原空间。因此，这种方法使我们能够将强大的经典技术应用于非常一般的无穷维空间类中的最优化问题。基于泛函分析，从经典的巴拿赫空间到可分的巴拿赫空间，从巴拿赫格到格化，给出了生成空间的特征，证明了生成空间实际上线性等距于$L_\infty$（$\ell _\infty$）或其闭子空间.因此，这些技术中涉及的连续线性泛函可以从$L_\infty^*$（$\ell_\infty^*$）中选择。在此基础上，进一步研究了该方法在罚原理、Lagrange对偶和标量化函数中的应用。
2022-10-18 math.FA math.OC
Inequalities for the lattice width of lattice-free convex sets in the plane
如果$K$的内部与$\mathbb{Z}^2$不相交，则称$\mathbb{R}^2$中具有非空内部的闭凸集$K$是无格的.本文研究了一般中心对称平面无格凸集的面积与格宽之间的关系。一方面格宽和另一方面覆盖极小值之间的对应关系，使我们能够用Kannan和Lovász引入的覆盖极小值来重新表述我们的结果。我们得到了一个尖锐的上界的面积为任何给定的值的晶格宽度。刻画了满足上界的无格凸集。研究了其下界。我们的部分结果应用在一份文件中的作者和Weismartel切割平面生成混合整数线性最优化，这是本文的原始诱因。我们进一步修正了Kannan和Lovász的一个结果，给出了一个新的证明.
2010-07-13 math.MG math.OC
NEXT: In-Network Nonconvex Optimization
University of Perugia（佩鲁贾大学）；Purdue University（普渡大学）
本文提出了一种用于多智能体网络中非凸分布式优化的算法框架，通过动态共识机制分配计算，结合递推凸近似技术，实现非凸问题的渐近收敛。
2016-02-01 cs.DC cs.SY eess.SY
Distributed Continuous-time Approximate Projection Protocols for Shortest Distance Optimization Problems
本文研究了多智能体网络中分布式最短距离优化问题，提出基于近似投影的连续时间动态协议以解决投影不确定性问题，并分别给出了非空交集和空交集情况下保证最优收敛的步长和近似角条件。
2016-02-03 cs.SY eess.SY math.OC
Distributed Big-Data Optimization via Block-Iterative Convexification and Averaging
Università del Salento（萨莱诺大学）；Purdue University（普渡大学）
本文研究多智能体网络中的分布式大数据非凸优化问题，提出基于块迭代凸化和平均的算法，通过局部优化和通信子集，解决非凸性问题并保证渐近收敛。
2018-05-02 cs.DC cs.SY eess.SY
