A Primal-Dual-Critic Algorithm for Offline Constrained Reinforcement Learning
University of Michigan(密歇根大学)
本文提出PDCA算法,通过在评论家估计的拉格朗日函数上运行原始-对偶算法解决离线约束强化学习问题,仅需可集中性和可实现性假设即可实现样本高效学习并找到近似最优鞍点。
2023-10-19 cs.LG stat.ML
Accelerated Dual-Averaging Primal-Dual Method for Composite Convex Minimization
WeBank AI Group(微众银行AI集团);Tencent Inc.(腾讯公司);University of California, Davis(加州大学戴维斯分校);The Hong Kong University of Science and Technology(香港科技大学)
双平均型方法由于其促进解结构(例如,稀疏性)有效地。本文提出了一种新的求解复合凸函数最小化问题的加速双平均原始对偶法。我们还得到了一个随机版本的方法,解决了经验风险最小化,其优势在处理稀疏数据的理论和经验证明。
2020-01-15 cs.LG math.OC stat.ML
On the Complexity of a Practical Primal-Dual Coordinate Method
UW-Madison(威斯康星大学麦迪逊分校);EPFL(洛桑联邦理工学院)
我们证明了随机外推和坐标下降的原始对偶法(PURE-CD)的复杂性界,该算法已被证明在求解具有双线性耦合的凸-凹Min-Max问题时具有良好的实际性能。我们的复杂性界限匹配或改善文献中最知名的结果,密集和稀疏(强)凸(强)凹问题。
2022-01-19 cs.LG math.OC stat.ML
Drago: Primal-Dual Coupled Variance Reduction for Faster Distributionally Robust Optimization
University of Washington(华盛顿大学);University of Wisconsin(威斯康星大学)
针对含闭合凸不确定性集的惩罚分布式鲁棒优化(DRO)问题,提出随机原对偶算法Drago,结合循环与随机组件及正则化原更新实现对偶方差减少,在强凸-强凹DRO问题上获线性收敛速率,数值基准验证了理论结果。
2025-02-11 cs.LG math.OC stat.ML
NESTT: A Nonconvex Primal-Dual Splitting Method for Distributed and Stochastic Optimization
Iowa State University(爱荷华州立大学);Johns Hopkins University(约翰斯·霍普金斯大学);Princeton University(普林斯顿大学)
我们研究了一个随机和分布式算法的非凸问题,其目标包括一个总和的$N$非凸$L_i/N$ -光滑函数,加上一个非光滑正则化。提出的NonconvEx原始-对偶分裂(NESTT)算法将问题分解为$N$子问题,并利用基于增广拉格朗日的原始-对偶方案以分布式和随机的方式求解。通过特殊的非均匀采样,NESTT的一个版本使用$\mathcal{O}((\sum_{i=1}^N\sqrt{L_i/N})^2/ε)$梯度评估来实现$ε$ -稳态解,其可以比(邻近的)梯度下降方法好$\mathcal{O}(N)$倍。对于带多面体约束的非凸二次$\ell_1$惩罚问题,也达到了Q-线性收敛速率.此外,我们揭示了原始对偶的方法和一些原始的方法,如IAG/SAG/SAGA之间的根本联系。
2016-11-07 cs.LG math.OC stat.ML
Stochastic Primal-Dual Algorithms with Faster Convergence than $O(1/\sqrt{T})$ for Problems without Bilinear Structure
The University of Iowa(爱荷华大学);Nanjing University(南京大学)
以往的研究随机原始对偶算法求解极小极大问题的收敛速度更快,严重依赖于双线性结构的问题,这限制了他们的适用范围狭窄的问题。本文的主要贡献是设计和分析新的随机原始对偶算法,使用混合的随机梯度更新和对数数量的确定性的双重更新解决一个家庭的凹凸问题,没有双线性结构假设。在原变量和对偶变量上所涉及的函数满足一定条件的情况下,得到了比随机梯度更新次数为$T$的$O(1/\sqrt{T})$更快的收敛速度.例如,对于一类原变量具有弱强凸性且对偶变量具有强凹函数的问题,算法的收敛速度为$O(1/T)$ .我们还研究了所提出的算法学习鲁棒模型和经验AUC最大化的有效性。
2019-12-18 cs.LG math.OC stat.ML
Primal-dual residual networks
TU Braunschweig(布伦瑞克工业大学)
在这项工作中,我们提出了一个深神经网络架构的原始-对偶分裂方法从凸优化的动机。我们从理论上证明了导出的结构和剩余网络之间存在着密切的关系,并在数值实验中进一步研究了这种联系。此外,我们展示了我们的方法可以用来展开优化算法的某些问题的硬约束。使用语音去量化的例子,我们表明,我们的方法可以优于经典的分裂方法时,都适用于相同的任务。
2018-06-15 cs.LG math.OC stat.ML
ELF: Federated Langevin Algorithms with Primal, Dual and Bidirectional Compression
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
联邦采样算法最近在机器学习和统计学领域得到了广泛的应用。本文研究了这种算法的变种称为误差反馈Langevin算法(ELF)。特别是,我们分析了EF 21和EF 21-P的组合与联邦朗之万蒙特卡洛。我们提出了三种算法:P-ELF,D-ELF和B-ELF,分别使用原始,对偶和双向压缩器。在Log-Sobolev不等式下分析了所提出的方法,并给出了非渐近收敛保证.
2023-03-08 cs.LG math.OC stat.ML
Random extrapolation for primal-dual coordinate descent
EPFL(洛桑联邦理工学院);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
我们引入了一种随机外推的原始-对偶坐标下降法,该方法适应于数据矩阵的稀疏性和目标函数的有利结构。我们的方法只更新原始和对偶变量的一个子集与稀疏的数据,它使用大的步长与密集的数据,保留的好处,为每种情况下设计的具体方法。除了适应稀疏性,我们的方法达到快速收敛的保证在有利的情况下\textit{without any modifications}。特别地,我们证明了度量次正则下的线性收敛性,它适用于强凸-强凹问题和分段线性二次函数。在一般的凸-凹情形下,我们证明了序列的几乎必然收敛和原始-对偶间隙和目标值的最佳次线性收敛速度。数值证据证明了我们的方法在稀疏和密集环境中的最先进的经验性能,匹配和改进了现有的方法。
2020-07-13 cs.LG math.OC stat.ML
Linear Convergence of the Primal-Dual Gradient Method for Convex-Concave Saddle Point Problems without Strong Convexity
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
本文考虑凸-凹鞍点问题$\min_{x}\max_{y} f(x)+y^\top A x-g(y)$,其中$f$是光滑凸的,$g$是光滑强凸的.证明了当耦合矩阵$A$具有满列秩时,即使$f$不是强凸的,vanilla原-对偶梯度法也能达到线性收敛.我们的结果推广了以前的工作,要么要求$f$和$g$是二次函数,或要求$f$和$g$的邻近映射。我们采用了一种新的分析技术,在每次迭代中使用“鬼”更新作为参考,并显示在原始-对偶梯度法的迭代收敛到这个“鬼”序列。利用同样的技巧,我们进一步分析了具有有限和结构的凸凹鞍点问题的原始-对偶随机方差约减梯度(SVRG)方法。
2019-02-03 cs.LG math.OC stat.ML
A Kernelizable Primal-Dual Formulation of the Multilinear Singular Value Decomposition
Delft University of Technology(代尔夫特理工大学)
本文为多线性奇异值分解(MLSVD)建立了原始-对偶表述,统一了PCA与SVD,并通过特征映射提出核化非线性扩展,从而在信号分析和深度学习中实现计算增益与非线性建模能力。
2024-10-21 cs.LG cs.NA math.NA
Deep Primal-Dual Reinforcement Learning: Accelerating Actor-Critic using Bellman Duality
Princeton University(普林斯顿大学)
我们开发了一种基于深度神经网络的参数化原始-对偶$π$学习方法,用于具有大状态空间和离线强化学习的马尔可夫决策过程。与基于非线性Bellman方程的逐次逼近的流行Q学习和演员-评论家方法相比,我们的方法利用基本的线性Bellman对偶对策略和价值函数进行原始-对偶更新。使用深度神经网络的原始-对偶$π$学习方法的朴素参数化将遇到两个主要挑战:(1)每次更新都需要计算状态空间上的概率分布,并且是难以处理的;(2)迭代是不稳定的,因为参数化的拉格朗日函数不再是线性的。我们解决这些挑战,提出了一个放松的拉格朗日公式与正则化惩罚使用的优势函数。我们表明,在我们的方法中的双策略更新步骤是等价的策略梯度更新的行动者-批评者的方法在某些特殊情况下,而价值的更新有很大的不同。原始-对偶$π$学习方法的主要优点在于使用Bellman对偶将值和策略更新紧密耦合在一起,因此信息量更大。一个简单的推车极点问题的实验表明,该算法显着优于一步的时间差actor-critic方法,这是最相关的基准方法进行比较。我们相信,对价值和政策函数的原始-对偶更新将加快学习过程。所提出的方法可能为更有效的算法和更清晰的理论分析打开一扇大门。
2017-12-07 cs.LG
Primal and Dual Combinatorial Dimensions
Tilburg University(蒂尔堡大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文给出了多值函数类的伪维数、脂肪分解维数等组合维数的原维数与对偶维数之间关系的严格界。这些维度的概念在学习理论领域起着重要的作用。我们首先回顾了一些(民间传说)的结果,约束的对偶维数的函数类,其原始的,并在此之后,给(几乎)匹配的下界。特别是,我们给出了一个适当的推广,以多值函数类的一个众所周知的界限,由于Assouad(1983),它涉及到一个二元函数类的原始和对偶VC-维。
2021-08-23 cs.DM cs.LG math.CO
Mini-Batch Primal and Dual Methods for SVMs
University of Edinburgh(爱丁堡大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们解决的问题,使用小批量随机优化的支持向量机。我们发现,相同的数量,谱范数的数据,控制的并行化加速获得原始随机次梯度下降(SGD)和随机双坐标上升(SCDA)的方法,并使用它来获得新的变种的小批量SDCA。我们的保证,这两种方法表示在原来的非光滑原始问题的基础上的铰链损失。
2013-03-10 cs.LG math.OC
Primal-Dual Rates and Certificates
IBM Research(IBM研究院);ETH Zürich(苏黎世联邦理工学院);Lehigh University(理海大学)
我们提出了一个算法独立的框架,以装备现有的优化方法与原始双重证书。这种证书和相应的收敛率保证对于从业者诊断进展非常重要,特别是在机器学习应用中。我们得到了新的原始-对偶收敛速度,例如,Lasso以及许多L1,弹性网络,群Lasso和TV正则化问题。该理论适用于任何范数正则化的广义线性模型。我们的方法提供了有效的可计算的二元差距,这是全球性的定义,而不修改原来的问题在感兴趣的区域。
2016-06-02 cs.LG math.OC
Accelerated Primal-Dual Methods for Convex-Strongly-Concave Saddle Point Problems
Southern Methodist University(南卫理公会大学)
针对凸-强凹鞍点问题,提出单循环加速线性化原始-对偶方法(ALPD)及其非精确版本,通过结合加速梯度下降特性克服次优依赖,在半线性和一般非线性耦合下实现最优或显著改善的梯度复杂度。
2023-05-18 cs.LG math.OC
Online Primal-Dual Algorithms with Predictions for Packing Problems
University Paris-Saclay(巴黎萨克雷大学);Sorbonne University(巴黎索邦大学);IBISC(IBISC(需注意:IBISC是巴黎萨克雷大学下属研究机构,此处按原文提取));CNRS(法国国家科学研究中心);LIP6(LIP6(巴黎索邦大学下属实验室,此处按原文提取))
具有预测的在线算法的领域已经被广泛地研究用于不同的应用,例如调度、缓存(分页)、集群、滑雪板租赁等。以统一的方法为目标,为线性覆盖问题提供了一个原始-对偶框架。他们通过合并预测来扩展在线原始-对偶方法,以实现超出最坏情况分析的性能。在本文中,我们认为这条研究路线,并提出了一个框架,设计算法的预测非线性包装问题。我们说明了我们的框架在子模块化最大化,特别是广告拍卖最大化的最佳界限,并提供支持实验的适用性。
2021-10-01 cs.DS cs.LG
Primal-Dual UNet for Sparse View Cone Beam Computed Tomography Volume Reconstruction
University of Magdeburg(马格德堡大学)
在本文中,原始-双重UNet稀疏视图CT重建修改适用于锥束投影和执行重建的整个体积,而不是切片。实验结果表明,在仅使用23个投影的情况下,该方法的PSNR比直接FDK重建提高了10 dB,比改进的原始-对偶网络提高了近3dB。所提出的网络不是优化的wrt。存储器消耗或超参数,而仅仅用作概念的证明,并且限于低分辨率投影和体积。
2022-05-11 cs.CV cs.LG eess.IV
Variance Reduction via Primal-Dual Accelerated Dual Averaging for Nonsmooth Convex Finite-Sums
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了结构化非光滑凸有限和优化,它广泛地出现在机器学习应用中,包括支持向量机和最小绝对偏差。对于这个问题的原始-对偶公式,我们提出了一种新的算法称为\emph{Variance Reduction via Primal-Dual Accelerated Dual Averaging (\vrpda)}。在非光滑和一般凸设置中,\vrpda ~具有根据原始-对偶间隙的总体复杂度$O(nd\log\min \{1/ε, n\} + d/ε)$,其中$n$表示样本的数量,$d$表示原始变量的维度,并且$ε$表示期望的精度。在非光滑和强凸的情况下,\vrpda ~的整体复杂性在原始-对偶间隙和最优解与最优解之间的距离方面都变成了$O(nd\log\min\{1/ε, n\} + d/\sqrtε)$. \vrpda ~的这两个结果都以更简单和直接的方式显着改善了最先进的复杂性估计,即非光滑和一般凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/ε)$和非光滑和强凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/\sqrtε)$。此外,这两个复杂性都优于\emph{lower}边界的一般凸有限和,缺乏特定的(共同的)结构,我们认为。我们的理论结果得到了数值实验的支持,证实了\vrpda ~的竞争力的性能相比,国家的最先进的。
2021-04-07 cs.LG cs.NA math.NA
Playing with Duality: An Overview of Recent Primal-Dual Approaches for Solving Large-Scale Optimization Problems
Laboratoire d’Informatique Gaspard Monge(加斯帕尔·蒙日信息实验室);CNRS(法国国家科学研究中心)
本文综述了近期用于解决大规模优化问题的对偶方法,探讨了对偶问题在信号处理、计算机视觉和机器学习中的应用,强调了对偶算法在求解凸优化和离散问题中的优势。
2014-12-03 cs.CV cs.LG cs.NA
Random matrix approach for primal-dual portfolio optimization problems
Tokyo Metropolitan University(东京都立大学);Tamagawa University(玉川大学)
本文在资产收益率方差相同的情况下,重新研究了在预算和投资集中度约束下投资风险最小化/最大化(原始问题)和在预算和投资风险约束下投资集中度最大化/最小化(对偶问题)的投资组合优化问题。我们用拉格朗日乘子法和随机矩阵法分析这两个优化问题。此后,我们比较从我们提出的方法与在以前的工作中获得的结果。此外,我们使用数值实验来验证从副本方法和随机矩阵方法作为分析原始和对偶投资组合优化问题的方法所获得的结果。
2017-09-20 cond-mat.dis-nn cs.CE cs.LG