Lsh-sampling Breaks the Computation Chicken-and-egg Loop in Adaptive Stochastic Gradient Estimation
Rice University(莱斯大学)
随机梯度下降(SGD)算法是求解大规模优化问题的一种常用算法。SGD通过样本大小为1的均匀采样来估计梯度。有几个其他的工作,建议更快的逐时收敛,通过使用加权非均匀采样更好的梯度估计。不幸的是,为梯度估计维护这种自适应分布的每次迭代成本超过了计算完整梯度本身,我们称之为鸡和蛋循环。结果,迭代中收敛更快的假象,实际上导致了时间上的收敛更慢。在本文中,我们打破了这一障碍,提供了第一个演示方案,局部敏感哈希(LSH)采样随机梯度下降(LGD),这导致优越的梯度估计,同时保持每次迭代的采样成本类似于均匀采样。这样的算法是可能的,由于LSH的采样视图,这是最近曝光。由于优越和快速的估计,我们减少了所有现有的梯度下降算法的运行时间,依赖于梯度估计,包括亚当,Ada-grad等,我们证明了我们的建议的有效性与线性模型以及非线性BERT,这是最近流行的深度学习为基础的语言表示模型的实验。
2019-10-30 cs.LG math.OC stat.ML
Variance Reduction for Faster Non-Convex Optimization
Princeton University(普林斯顿大学)
本文研究了非凸优化中有效到达稳定点的基本问题。与凸情况相反,在这个基本问题的长期历史中,关于一阶非凸优化的唯一已知的理论结果仍然是对于光滑目标在$O(1/\varepsilon)$迭代中收敛的全梯度下降,以及对于作为光滑函数之和的目标在$O(1/\varepsilon^2)$迭代中收敛的随机梯度下降。我们提供了这一研究领域的第一个改进。我们的结果是基于最近引入凸优化的方差减少技巧,以及一个全新的适合于非凸优化的方差减少方差分析。对于光滑函数和的目标,我们的一阶小批量随机方法以$O(1/\varepsilon)$速率收敛,并且比$Ω(n^{1/3})$的全梯度下降快。我们证明了我们的方法的有效性经验风险最小化与非凸损失函数和训练神经网络。
2016-08-25 cs.DS cs.LG cs.NE
Stochastic Optimization with Bandit Sampling
EPFL(洛桑联邦理工学院)
许多随机优化算法通过从训练集中均匀随机地采样数据点来动态地估计成本函数的梯度。然而,估计器可能具有较大的方差,这无意中减慢了算法的收敛速度。减少这种差异的一种方法是从精心选择的非均匀分布中对数据点进行采样。在这项工作中,我们提出了一种新的非均匀采样方法,使用多臂强盗框架。理论上,我们表明,我们的算法渐近近似的最佳方差的一个因素内的3。经验上,我们表明,使用这种数据点选择技术的结果显着减少收敛时间和方差的几个随机优化算法,如SGD,SVRG和SAGA。这种采样数据点的方法是通用的,可以与任何使用无偏梯度估计的算法结合使用-我们希望它具有广泛的适用性,超出了本工作中探索的具体示例。
2017-08-09 cs.AI cs.LG math.OC
SGDA with shuffling: faster convergence for nonconvex-PŁ minimax optimization
随机梯度下降-上升法是求解有限和极小极大最优化问题的主要方法之一。SGDA的大多数实际实现都随机重新排列组件并顺序使用它们(即,无替换抽样);然而,对于极大极小算法,特别是在分析者分析(强)单调设置之外,关于这种方法的理论结果很少。为了缩小这一差距,我们研究了SGDA与随机重排(SGDA-RR)的光滑非凸非凹目标与Polyak-Jasojasiewicz(Pennsylvania)几何的收敛界。我们分析了同时和交替SGDA-RR的非凸的PINK和原始的PINK-PINK目标,并获得收敛速度快于替换SGDA。我们的速率扩展到小批量SGDA-RR,恢复了全批量梯度下降-上升(GDA)的已知速率。最后,我们提出了一个全面的下界的GDA与任意的步长比,它匹配的全批次上界的primal-Penguin-Penguin的情况下。
2023-02-20 math.OC stat.ML
Faster Rates for Policy Learning
本文改进了已有的最优策略估计中后悔衰减率的证明。我们给出了一个保证金的结果表明,估计类内最优策略的遗憾衰减是二阶经验风险最小化的Donsker类,遗憾衰减的速度比标准误差的有效估计值的最优策略。我们还给出了一个结果,从分类文献表明,更快的后悔衰减是可能的,通过插件估计提供了保证金条件成立。四个例子被认为是。在这些例子中,后悔用平均值或中值来表示;可能的行动的数量是两个或两个以上;抽样方案是独立同分布的或顺序的,后者代表一个上下文强盗抽样方案。
2017-04-21 math.ST stat.TH
Swarming for Faster Convergence in Stochastic Optimization
我们研究了随机最优化的分布式框架,该框架受到自然界中发现的集体运动模型的启发(例如,具有温和的通信要求。具体而言,我们分析了一个方案,其中每一个$N > 1$独立的线程,实现在一个分布式和非同步的方式,随机梯度-下降算法,这是由一个群集电位扰动。假设同步引起的开销是不可忽略的,我们展示了基于群集的方法在(实时)收敛速度方面表现出比集中式算法(基于$N$观测的平均值)更好的性能。我们还得到了一个误差界,是单调递减的网络大小和连接。我们描述了该方案对于凸和非凸目标函数的有限时间性能。
2018-08-06 cs.DC cs.MA cs.SI
Extragradient with player sampling for faster Nash equilibrium finding
Princeton University(普林斯顿大学);NYU CIMS(纽约大学库朗数学科学研究所);Samsung SAIT AI Lab(三星先进技术研究院人工智能实验室);ENS(巴黎高等师范学校)
数据驱动的建模越来越需要在多玩家游戏中找到纳什均衡,例如在训练GANs时。在本文中,我们分析了一个新的额外的梯度方法的纳什均衡发现,执行梯度外推和更新的随机子集的球员在每次迭代。对于带噪声梯度预言的非光滑凸博弈,该方法可证明具有比完全额外梯度更好的收敛速度。我们提出了一个额外的方差减少机制,以获得光滑凸游戏的加速。我们的方法使得外推适合大规模的多人游戏设置,并带来了经验的加速,特别是当使用启发式循环采样方案。最重要的是,它允许训练更快更好的GANs和GANs的混合。
2020-07-21 cs.LG math.OC stat.ML
Sampling without Replacement Leads to Faster Rates in Finite-Sum Minimax Optimization
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Google Research(谷歌研究院)
我们分析了光滑有限和极大极小优化的随机梯度算法的收敛速度,并表明,对于许多这样的算法,采样的数据点没有更换导致更快的收敛速度相比,放回抽样更换。对于光滑和强凸-强凹的设置,我们考虑梯度下降上升和近点方法,并提出了一个统一的分析两个流行的无替换采样策略,即随机重排(RR),洗牌的数据,每一个时代,和单洗牌或洗牌一次(SO),洗牌只在开始。我们获得了紧收敛速度RR和SO,并证明这些策略导致更快的收敛速度比均匀采样。超越凸性,我们得到了类似的结果,光滑的非凸非凹目标满足双边Polyak-Jasojasiewicz不等式。最后,我们证明了我们的技术是足够一般的数据排序攻击,其中对手操纵数据点提供给优化器的顺序的影响进行分析。我们的分析还恢复了增量梯度法的紧速率,其中数据点根本不混洗。
2022-10-10 cs.GT cs.LG math.OC
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们提供了一个新的收敛性分析随机梯度Langevin动力学(SGLD)的抽样从一类分布,可以是非对数凹的。在我们的方法的核心是一个新的电导分析SGLD使用辅助时间可逆马尔可夫链。在一定条件下的目标分布,我们证明了$\tilde O(d^4ε^{-2})$随机梯度评价足以保证$ε$ -抽样误差的总变异距离,其中$d$是问题的尺寸。这改进了SGLD收敛速度的现有结果(Raginsky等人,2017年; Xu等人,2018年)。我们进一步表明,提供了一个额外的Hessian Lipschitz条件的对数密度函数,SGLD保证实现$ε$ -采样误差内$\tilde O(d^{15/4}ε^{-3/2})$随机梯度评价。我们的证明技术提供了一种新的方法来研究基于Langevin算法的收敛性,并揭示了一些基于随机梯度的快速采样算法的设计。
2021-02-23 cs.LG math.ST stat.ML
Computational Separations between Sampling and Optimization
Google Brain(谷歌大脑)
贝叶斯学习中两个常见的计算任务是优化(最大后验估计)和采样(从后验分布)。在凸的情况下,这两个问题是有效地减少到对方。最近的工作(Ma et al. 2019)表明,在非凸的情况下,采样有时可以证明更快。我们提出了一个更简单和更强大的分离。然后,我们更详细地比较了采样和优化,并证明它们是不可比拟的:有些连续函数族的优化很容易,但采样是NP难的,反之亦然。此外,我们展示了函数家庭,表现出急剧的相变在采样的计算复杂性,作为一个不同的自然温度参数。我们的研究结果借鉴了连接到类似的分离,在离散设置,这是很好的研究。
2019-11-05 cs.LG stat.ML
Stochastic Optimization with Importance Sampling
Rutgers University(罗格斯大学)
训练数据的均匀采样通常用于传统的随机最优化算法中,例如近端随机梯度下降(Proximal Stochastic Gradient Descent,简称SGD)和近端随机双坐标上升(Proximal Stochastic Dual Coordinate Ascent,简称SDCA)。虽然均匀采样可以保证采样的随机量是相应真实量的无偏估计,但所得估计量可能具有相当高的方差,这对底层优化过程的收敛性产生负面影响。本文研究了具有重要性抽样的随机最优化问题,通过减小随机方差来提高收敛速度。具体地说,我们研究了具有重要性抽样的随机镜像下降(SGD)和具有重要性抽样的随机镜像下降(SDCA)。对于非线性随机梯度算法,该算法采用重要性抽样来最小化随机梯度的方差,而不是在整个训练过程中采用均匀抽样。对于SDCA算法,提出的重要性抽样方案的目标是在每一个对偶坐标上升步骤获得更高的期望对偶值。我们提供了广泛的理论分析表明,建议的重要性抽样方法的收敛速度可以显着提高在适当的条件下,无论是对EST-SGD和EST-SDCA。实验结果验证了理论分析的正确性。
2015-01-02 cs.LG stat.ML
Faster Sampling via Stochastic Gradient Proximal Sampler
Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学);University of California San Diego(加利福尼亚大学圣迭戈分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出随机近端采样器(SPS)用于非对数凹分布采样,基于SGLD和MALA实现两种变体,在总变差距离内达到ε-采样误差,梯度复杂度优于已知最佳结果至少$\tilde{\mathcal{O}}(d^{1/3})$因子,并通过实验验证了效率。
2024-05-27 cs.LG stat.ML
A Faster Sampler for Discrete Determinantal Point Processes
CNRS(法国国家科学研究中心);Univ Grenoble-Alpes(格勒诺布尔阿尔卑斯大学);Gipsa-lab(Gipsa实验室(格勒诺布尔自动化、信号与图像处理实验室));France(法国(注:根据上下文,此处“France”是国家,非机构,原句“Thanks: All three authors are with CNRS, Univ Grenoble-Alpes, Gipsa-lab, France.”中“France”是国家,不应作为机构提取,正确机构应为前三个)}]}修正后:{)
离散行列式点过程(DPP)在二次采样数据集上有着广泛的潜在应用。然而,在某些情况下,由于抽样费用高昂,它们受到阻碍。在最坏的情况下,采样成本为O(n^3),其中n是基集的元素数。对于这种高昂的成本,一种流行的解决方法是对低秩内核定义的DPP进行采样。在这种情况下,标准采样算法的成本为O(np^2 + nm^2),其中m是DPP的(平均)样本数(通常m << n),p是用于定义DPP的内核的秩(m \leq p \leq n)。第一项,O(np^2),来自一个类似SVD的步骤。我们在这里关注的是这个成本的第二项,O(nm^2),并表明它可以降低到O(nm + m^3 log m),而不会损失采样的准确性。在实践中,只要n > 1000,我们就观察到与经典算法相比非常显著的加速。这里描述的算法是用于对连续DPP进行采样的标准算法的紧密变体,并且使用拒绝采样。在投影DPP的特定情况下,我们还证明了任何额外的样本都可以在时间O(m^3 log m)内抽取。最后,分析的一个有趣的副产品是,DPP的实现通常包含在使用杠杆得分i.i.d.形成的大小为O(m log m)的子集中。取样.
2023-02-22 cs.LG stat.ML
BOSH: Bayesian Optimization by Sampling Hierarchically
Lancaster University(兰卡斯特大学)
贝叶斯优化(BO)用于具有随机评估的函数的部署,例如通过交叉验证和仿真优化的参数调整,通常优化目标函数的固定噪声实现集合的平均值。然而,以这种方式忽略真正的目标函数会找到错误函数的高精度最优值。为了解决这个问题,我们提出了贝叶斯优化分层采样(BOSH),一种新的BO例程配对的分层高斯过程与信息理论框架,以生成一个不断增长的实现池的优化进展。我们证明了BOSH在综合基准测试、仿真优化、强化学习和超参数调整任务中提供了比标准BO更高效、更高精度的优化。
2020-07-02 cs.LG stat.ML
Faster Coordinate Descent via Adaptive Importance Sampling
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
坐标下降法采用随机部分更新的决策变量,以解决大规模的凸优化问题。在这项工作中,我们引入了新的自适应规则,随机选择他们的更新。所谓自适应,我们的意思是我们的选择规则是基于对偶残差或原始-对偶间隙估计,并且可以在每次迭代时改变。我们从理论上描述了我们的选择规则的性能,并证明了最先进的改进,并将我们的理论和算法扩展到一般的凸目标。用铰链损失支持向量机和Lasso的数值实验证实了理论与实践的一致性。
2017-03-07 cs.CV cs.LG math.OC
Designing over uncertain outcomes with stochastic sampling Bayesian optimization
National Institute of Standards and Technology(美国国家标准与技术研究院)
优化在科学和工程领域变得越来越普遍。通常,这些问题涉及各种程度的随机性或不确定性,在产生建议的解决方案。因此,在这些情况下的优化必须考虑这种随机性,以正确指导未来实验的设计。在这里,我们适应贝叶斯优化来处理不确定的结果,提出了一个新的框架,称为随机抽样贝叶斯优化(SSBO)。我们发现,在SSBO的置信上限搜索的预期遗憾的界限类似于早期的贝叶斯优化方法,由于随机生成的输入增加了处罚。此外,我们适应现有的批处理优化技术,以适当地限制近视决策时,可能会出现选择多个实例反馈之前。最后,我们表明,SSBO技术适当地优化了一组标准的优化问题,以及生物工程启发的应用问题。
2020-06-03 cs.LG stat.ML
Variance Reduction in Stochastic Particle-Optimization Sampling
Fudan University(复旦大学);SUNY at Buffalo(纽约州立大学布法罗分校)
随机粒子优化采样(SPOS)是最近发展起来的可扩展贝叶斯采样框架,它统一了基于Wasserstein梯度流的随机梯度MCMC(SG-MCMC)和Stein变分梯度下降(SVGD)算法。SPOS算法采用严格的非渐近收敛理论,避免了SVGD算法的粒子坍缩缺陷。然而,SPOS的方差减少从未被研究过。在本文中,我们提出了几个方差减少技术SPOS弥合差距。具体来说,我们提出了三种变体的方差减少SPOS,称为SAGA粒子优化采样(SAGA-POS),SVRG粒子优化采样(SVRG-POS)和SVRG-POS的变体,它避免了完整的梯度计算,表示为SVRG-POS $^+$。重要的是,我们根据2-Wasserstein度量为这些算法提供了非渐进收敛保证,并分析了它们的复杂性。值得注意的是,结果表明,我们的算法比随机Langevin动力学的现有方差减少变体产生更好的收敛速度,即使需要更多的空间来存储训练中的粒子。我们的理论与合成和真实数据集上的实验结果一致。
2018-11-20 cs.LG stat.ML
Sampling Acquisition Functions for Batch Bayesian Optimization
University of Oxford(牛津大学);UC Berkeley(加州大学伯克利分校);IBM Research, Zurich(IBM研究院苏黎世分部)
我们提出了采集汤普森采样(ATS),一种新的技术,批量贝叶斯优化(BO)的基础上,从一个随机过程中采样多个采集功能的想法。我们通过一组模型超参数上的采集函数的依赖性来定义这个过程。ATS在概念上是简单的,直接实现,并且与其他批处理BO方法不同,它可以用于并行化任何顺序采集功能或使现有的并行方法进一步扩展。我们提出了各种基准函数和超参数优化的一个流行的梯度提升树算法的实验。这些证明了ATS的优势,经典的并行汤普森采样BO,其竞争力与两个国家的最先进的批BO方法,其有效性,如果应用于现有的并行BO算法。
2019-10-16 cs.LG stat.ML
Diversified Sampling for Batched Bayesian Optimization with Determinantal Point Processes
ETH Zurich(苏黎世联邦理工学院)
在贝叶斯优化(BO)中,我们研究了带有噪声点评估和贝叶斯先验的黑盒函数优化。BO的收敛速度可以大大加快,其中黑盒函数的多个评估在单轮中执行。在这种情况下,主要困难是同时提出各种各样的、内容丰富的评价要点。在这项工作中,我们介绍了DPP-Batch Bayesian Optimization(DPP-BBO),一个通用的框架,用于通过利用行列式点过程(DPP)的排斥特性来诱导基于BO的抽样中的批次多样性,从而自然地使批次抽样过程多样化。通过将DPP-Thompson Sampling(DPP-TS)算法作为Thompson Sampling(TS)算法的一种变体,引入Markov Chain Monte Carlo方法进行抽样,证明了经典批量TS和DPP-TS算法的贝叶斯简单遗憾界,后者的界更紧.我们的真实世界,以及合成,实验表明,改进的性能DPP-BBO在经典的高斯过程和Cox过程模型的方法。
2022-02-08 cs.LG stat.ML
Subsampled Optimization: Statistical Guarantees, Mean Squared Error Approximation, and Sampling Method
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of California, Davis(加利福尼亚大学戴维斯分校)
对于大规模数据的优化,由于数据的大小,精确计算其解可能在计算上是困难的。在本文中,我们考虑子采样优化快速逼近精确解。该方法通过对全部数据进行抽样得到一个代理数据集,然后基于该代理数据集进行二次抽样优化,得到一个近似解。一个主要的理论贡献是提供的渐近性质的近似解的精确解作为统计保证,并严格推导出一个精确的近似的均方误差(MSE)和近似无偏的MSE估计。这些结果有助于我们更好地诊断子采样优化的上下文中,一个置信区域上的精确解提供使用的近似解。我们的结果的另一个后果是提出一个最佳的抽样方法,海森为基础的抽样,其概率是成比例的牛顿方向的范数。最小二乘和逻辑斯谛回归的数值实验显示出良好的性能,与我们的结果一致。
2018-04-10 cs.LG stat.ML
Leverage Score Sampling for Faster Accelerated Regression and ERM
Computer Science, Princeton University(普林斯顿大学计算机科学系);University of Washington, Seattle(华盛顿大学西雅图分校);Microsoft Research, India(微软研究院印度);Stanford University(斯坦福大学)
给定一个矩阵$\mathbf{A}\in\mathbb{R}^{n\times d}$和一个向量$b \in\mathbb{R}^{d}$,我们展示了如何计算一个$ε$ -近似解的回归问题$ \min_{x\in\mathbb{R}^{d}}\frac{1}{2} \|\mathbf{A} x - b\|_{2}^{2} $在时间$ \tilde{O} ((n+\sqrt{d\cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1}) $,其中$κ_{\text{sum}}=\mathrm{tr}\left(\mathbf{A}^{\top}\mathbf{A}\right)/λ_{\min}(\mathbf{A}^{T}\mathbf{A})$和$s$是最大数量的非零条目中的一行$\mathbf{A}$。我们的算法改进了以前的最佳运行时间的$ \tilde{O} ((n+\sqrt{n \cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1})$。我们通过杠杆分数抽样技术,近点方法和加速坐标下降的精心组合来实现我们的结果。我们的方法不仅匹配以前的方法的性能,但进一步提高时,杠杆分数的行是小的(多对数因子)。我们还提供了一个非线性推广这些结果,提高了运行时间解决更广泛的一类ERM问题。
2017-11-22 cs.LG math.OC stat.ML
Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling
Northeastern University(东北大学);Google Research(谷歌研究院)
许多当代的机器学习模型需要大量的超参数调整才能表现良好。各种方法,如贝叶斯优化,已被开发来自动化和加快这一过程。然而,调优仍然非常昂贵,因为它通常需要反复完全训练模型。我们提出了加速贝叶斯优化方法的超参数调整的神经网络,考虑到每个训练样本贡献的相对信息量。为此,我们利用了重要性采样(IS);这显著提高了黑盒函数计算的质量,但也提高了它们的运行时间,因此必须小心完成。将超参数搜索作为超参数和重要性采样设计的多任务贝叶斯优化问题,实现了两全其美:通过学习IS的参数化,权衡评估复杂性和质量,我们改进了贝叶斯优化最先进的运行时间和最终验证错误,跨越各种数据集和复杂的神经架构。
2020-02-23 cs.LG stat.ML
Faster Diffusion Sampling with Randomized Midpoints: Sequential and Parallel
UT Austin(德克萨斯大学奥斯汀分校);Princeton University(普林斯顿大学);Harvard SEAS(哈佛大学工程与应用科学学院)
受对数凹采样随机化中点方法启发,提出一种新的扩散采样方案,在全变差距离下实现了最佳的维度依赖性,并首次为扩散模型并行采样提供了可证明保证。
2024-10-17 cs.DS cs.LG math.ST
Faster logconcave sampling from a cold start in high dimension
Georgia Tech(佐治亚理工学院)
本文提出一种更快的热启动生成算法,首次为近各向同性位置的对数凹分布实现亚立方时间采样,通过放宽热启动距离要求至 q-Rényi 散度并推广对数 Sobolev 不等式,突破了长期存在的立方时间障碍。
2025-05-03 cs.DS cs.LG math.FA
Adaptive Importance Sampling for Finite-Sum Optimization and Sampling with Decreasing Step-Sizes
McGill University(麦吉尔大学)
已知减小梯度估计器的方差以提高基于随机梯度的优化和采样算法的收敛速度。实现方差减小的一种方法是设计重要性采样策略。最近,设计这样的方案的问题被公式化为一个在线学习问题与强盗反馈,和算法与次线性静态遗憾的设计。在这项工作中,我们建立在这个框架,并提出Avare,一个简单而有效的算法,自适应重要性采样有限和优化和采样的步长减小。在标准的技术条件下,我们表明,Avare实现$\mathcal{O}(T^{2/3})$和$\mathcal{O}(T^{5/6})$动态遗憾SGD和SGLD分别运行时,与$\mathcal{O}(1/t)$步长。我们实现这个动态的遗憾约束,利用我们的知识的动态定义的算法,并结合思想从在线学习和方差减少随机优化。我们经验验证我们的算法的性能,并确定设置中,它导致显着的改善。
2021-03-23 cs.LG math.OC stat.ML
Higher-Order Accelerated Methods for Faster Non-Smooth Optimization
Princeton University(普林斯顿大学);Google AI Princeton(谷歌人工智能普林斯顿分部);Georgia Tech(佐治亚理工学院);Microsoft Research Redmond(微软研究院雷德蒙德分院)
通过高阶加速方法,我们为各种\emph{non-smooth}最优化问题提供了改进的收敛速度。在$\ell_\infty$回归的情况下,我们实现了$O(ε^{-4/5})$迭代复杂性,打破了$O(ε^{-1})$障碍,目前为止,为以前的方法。我们到达一个类似的速度为问题的$\ell_1$ -SVM,超越了可达到的一阶方法与非光滑非强凸问题的Oracle访问。我们进一步展示了如何通过引入高阶正则化来实现更快的速率。我们的研究结果依赖于高阶光滑凸优化的近最优加速方法的最新进展。特别是,我们扩展Nesterov的平滑技术表明,标准的softmax近似不仅在通常意义上是光滑的,而且\emph{higher-order}光滑。有了这个观察在手,我们提供了高阶加速技术产生更快的速度为\emph{non-smooth}优化的第一个例子,尽我们所知。
2019-06-04 cs.LG math.OC stat.ML
Faster saddle-point optimization for solving large-scale Markov decision processes
Universitat Pompeu Fabra(庞培法布拉大学)
我们考虑平均报酬马尔可夫决策过程中计算最优策略的问题。这个经典问题可以被公式化为直接服从鞍点最优化方法的线性规划,尽管具有在状态数上是线性的多个变量。为了解决这个问题,最近的工作已经考虑了一个线性松弛的版本所产生的鞍点问题。我们的工作旨在实现更好地理解这个放松的最优化问题的特征收敛到最优策略的必要条件,并设计一个优化算法享受快速的收敛速度,是独立的状态空间的大小。值得注意的是,我们的表征指出了以前工作的一些潜在问题。
2020-01-10 cs.LG math.OC stat.ML
Geom-SPIDER-EM: Faster Variance Reduced Stochastic Expectation Maximization for Nonconvex Finite-Sum Optimization
CNRS(法国国家科学研究中心);Ecole Polytechnique(巴黎综合理工学院);The Chinese University of Hong Kong(香港中文大学)
期望最大化(EM)算法是隐变量模型中推理的关键参考;不幸的是,其计算成本在大规模学习设置中是过高的。在本文中,我们提出了一个扩展的随机路径集成微分估计EM(SPIDER-EM),并推导出复杂性界限,这种新的算法,旨在解决光滑非凸有限和优化问题。我们表明,它达到了相同的国家的最先进的复杂性界限的SPIDER-EM,并提供了线性收敛速度的条件。数值结果支持我们的研究结果。
2020-11-24 cs.LG stat.ME stat.ML
Policy Gradient Optimization of Thompson Sampling Policies
Columbia University(哥伦比亚大学)
我们研究了使用策略梯度算法优化一类广义Thompson抽样策略。我们的核心观点是将Thompson采样的后验参数视为一种伪作用。策略梯度方法然后可以被可追踪地应用于在一类采样策略上进行搜索,其确定伪动作上的概率分布(即,采样参数)作为观测数据的函数。我们还提出和比较专门贝叶斯强盗问题的策略梯度估计。数值实验表明,直接策略搜索的汤普森采样自动纠正了一些算法的已知缺点,并提供了有意义的改进,即使在长时间的问题,标准的汤普森采样是非常有效的。
2020-06-30 cs.AI cs.LG stat.ML
Faster high-accuracy log-concave sampling via algorithmic warm starts
NYU(纽约大学);MIT(麻省理工学院)
从实践和理论的角度来看,理解从$\mathbb{R}^d$上的强对数凹和对数平滑分布$π$到高精度的采样的复杂性是一个基本问题。在实践中,高精度的采样器,如经典的大都会调整的朗之万算法(MALA)仍然是事实上的黄金标准;在理论上,通过近端采样器减少,可以理解,这样的采样器是关键的采样,甚至超过对数周期(特别是,对于满足等周假设的分布)。在这项工作中,我们改进了这个采样问题的尺寸依赖$\tilde{O}(d^{1/2})$,而以前最好的结果为MALA是$\tilde{O}(d)$。这结束了关于MALA复杂性的长期工作,并且还导致了在强对数和更高条件下对高精度采样的最新保证(由于上述减少)。我们的出发点是,MALA的复杂性提高到$\tilde{O}(d^{1/2})$,但仅在热启动(初始化时具有恒定的Rényi散度w.r.t. $π$)。以前的算法需要更长的时间来找到一个温暖的开始比使用它,并关闭这个差距仍然是一个重要的开放问题在该领域。我们的主要技术贡献解决了这个问题,建立了第一个$\tilde{O}(d^{1/2})$ Rényi混合率的离散欠阻尼朗之万扩散。为此,我们开发了新的差分隐私启发技术的基础上雷尼分歧与Orlicz-Wasserstein的变化,这使我们能够回避长期的挑战,证明快速收敛的hypocorctive微分方程。
2023-02-20 cs.DS cs.LG math.AP
Drago: Primal-Dual Coupled Variance Reduction for Faster Distributionally Robust Optimization
University of Washington(华盛顿大学);University of Wisconsin(威斯康星大学)
针对含闭合凸不确定性集的惩罚分布式鲁棒优化(DRO)问题,提出随机原对偶算法Drago,结合循环与随机组件及正则化原更新实现对偶方差减少,在强凸-强凹DRO问题上获线性收敛速率,数值基准验证了理论结果。
2025-02-11 cs.LG math.OC stat.ML
Learning-based Optimization of the Under-sampling Pattern in MRI
Cornell University(康奈尔大学);Massachusetts General Hospital(麻省总医院)
磁共振成像(MRI)扫描的采集可以通过k空间中的欠采样(即,傅立叶域)。在本文中,我们考虑在数据驱动的方式优化的子采样模式的问题。由于重建模型的性能取决于子采样模式,我们结合这两个问题。对于给定的稀疏性约束,我们的方法优化的子采样模式和重建模型,使用端到端的学习策略。我们的算法从回顾性欠采样的全分辨率数据中学习,产生一个子采样模式和重建模型,这些模型是根据训练数据中表示的图像类型定制的。所提出的方法,我们称之为LOUPE(基于学习的欠采样PattErn优化),是通过修改U-Net来实现的,U-Net是一种广泛使用的卷积神经网络架构,我们附加了编码欠采样过程的前向模型。我们的T1加权结构脑MRI扫描的实验表明,优化的子采样模式可以产生更准确的重建相比,标准的随机均匀,可变密度或均匀的欠采样方案。该代码可在https://github.com/cagladbahadir/LOUPE上获得。
2019-04-30 cs.LG eess.IV stat.ML
Reheated Gradient-based Discrete Sampling for Combinatorial Optimization
University of Toronto(多伦多大学);Purdue University(普渡大学)
本文针对梯度离散采样在组合优化中“等高线徘徊”导致的低效探索问题,提出受物理学临界温度与比热启发的重加热机制,并在多种组合优化问题上验证其优于现有采样与数据驱动方法。
2025-03-06 cs.LG math.OC stat.ML
Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
扩散模型最近在社区内获得了显着的兴趣,由于其强大的性能作为生成模型。此外,它的反问题的应用已经证明了国家的最先进的性能。不幸的是,扩散模型有一个关键的缺点-它们本质上采样缓慢,需要几千步迭代才能从纯高斯噪声中生成图像。在这项工作中,我们表明,从高斯噪声是不必要的。相反,从具有更好初始化的单个前向扩散开始显著减少了反向条件扩散中的采样步骤的数量。这种现象可以用随机差分方程的收缩理论来正式解释,就像我们的条件扩散策略一样--反向扩散的交替应用,然后是非扩展性数据一致性步骤。新的采样策略被称为“靠近扩散更快”(CCDF),还揭示了关于如何将现有的逆问题前馈神经网络方法与扩散模型协同结合的新见解。超分辨率,图像修复,和压缩感知MRI的实验结果表明,我们的方法可以实现国家的最先进的重建性能在显着减少采样步骤。
2022-03-19 cs.CV cs.LG eess.IV
Faster Sampling without Isoperimetry via Diffusion-based Monte Carlo
Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学);University of California San Diego(加利福尼亚大学圣迭戈分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文针对 Diffusion-based Monte Carlo 梯度复杂度过高的问题,提出基于递归得分估计的 RS-DMC 算法,通过片段分解使采样子问题只需处理强对数凹分布,将梯度复杂度从指数级降为拟多项式级,并证明在耗散条件下优于 Langevin 类算法。
2024-01-12 cs.LG math.OC stat.CO
Model Guided Sampling Optimization for Low-dimensional Problems
非常昂贵的黑盒函数的优化需要利用优化过程中收集的最大信息。模型引导采样优化(MGSO)形成了一个更强大的替代琼斯的高斯过程为基础的EGO算法。而不是EGO的最大化预期的改善,MGSO使用采样的概率改善,这是有助于防止陷入局部极小值。此外,MGSO可以达到接近最佳的解决方案比标准的优化算法在低维或光滑的问题。
2015-08-31 cs.NE stat.ML
Adaptive Sampling Quasi-Newton Methods for Derivative-Free Stochastic Optimization
我们考虑随机零阶最优化问题,它出现在设置从模拟优化强化学习。我们提出了一种自适应采样拟牛顿法,我们估计的梯度的随机函数使用有限差分内一个共同的随机数框架。我们采用修改后的版本的范数检验和内积拟牛顿检验来控制样本量中使用的随机逼近。我们提供了初步的数值实验来说明所提出的方法的潜在性能优势。
2019-10-29 math.OC stat.ML
Sampling from Gaussian Processes: A Tutorial and Applications in Global Sensitivity Analysis and Optimization
University of Houston(休斯顿大学)
本文介绍了两种高效采样方法,用于在降低计算成本的同时从高斯过程中生成后验样本,并应用于全局敏感性分析和优化问题。
2025-12-31 cs.LG math.OC stat.AP
Faster Differentially Private Convex Optimization via Second-Order Methods
Google(谷歌);University of Toronto(多伦多大学);Vector Institute(向量研究所);Google Research–Brain Team(谷歌研究院大脑团队)
本研究提出利用损失函数二阶信息加速差分隐私凸优化的方法,开发了正则化三次牛顿法的隐私变体,在强凸损失函数上实现二次收敛与最优超出损失,且比DP-GD/DP-SGD快10-40倍。
2023-05-22 cs.CR cs.LG math.OC
Quantized Frank-Wolfe: Faster Optimization, Lower Communication, and Projection Free
Yale University(耶鲁大学);Massachusetts Institute of Technology(麻省理工学院);University of Pennsylvania(宾夕法尼亚大学)
我们如何有效地减轻分布式优化中梯度通信的开销?这个问题是训练可扩展的机器学习模型的核心,并且主要在无约束设置中进行了研究。在本文中,我们提出了量化弗兰克-沃尔夫(QFW),第一个投影自由和通信效率的算法,用于解决约束优化问题的规模。我们考虑凸和非凸目标函数,表示为有限和或更一般的随机优化问题,并提供强有力的理论保证QFW的收敛速度。这是通过提出新的量化方案,有效地压缩梯度,同时控制在此过程中引入的噪声方差。最后,我们实证验证QFW的效率,在沟通和返回的解决方案的质量对自然基线。
2019-05-30 cs.DC cs.DS cs.LG
Convergence Rate of Riemannian Hamiltonian Monte Carlo and Faster Polytope Volume Computation
我们给出了第一个严格的证明的收敛性的黎曼哈密顿蒙特卡罗,一般(和实用)的方法抽样吉布斯分布。我们的分析表明,收敛速度是有界的自然光滑参数的一个相关联的黎曼流形。然后,我们应用的方法与流形定义的对数障碍函数的问题(1)均匀采样的多面体和(2)计算其体积,后者通过扩展高斯冷却的流形设置。在这两种情况下,所需的总步骤数是O^{*}(mn^{ \frac{2}{3} }),提高了现有技术。我们分析的一个关键成分是证明流形上吉布斯分布的KLS猜想的模拟。
2017-10-17 cs.DS math.FA stat.ML
Faster polytope rounding, sampling, and volume computation via a sublinear "Ball Walk"
Worcester Polytechnic Institute(伍斯特理工学院);Yale University(耶鲁大学)
研究了多面体$K\subset\mathbb{R}^n$的“各向同性舍入”问题,即计算一个线性变换,使多面体上的均匀分布具有大致相同的协方差矩阵。我们假设$K$是由$m$线性不等式定义的,并保证$rB\subset K\subset RB$,其中$B$是单位球。我们引入了一个新的变种的球走马尔可夫链,并表明,粗略地说,该马尔可夫链的每一步的算术运算的预期数量是$O(m)$是次线性的输入大小$mn$-每一步的时间,所有先验马尔可夫链。随后,我们给出了一个舍入算法,成功的概率$1-\varepsilon$在$\tilde{O}(mn^{4.5}\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r}))$算术运算。这给出了$\sqrt{n}$对用于舍入的$\tilde{O}(mn^5\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r}))$的先前界限的改进因子,其使用打了就跑算法。由于四舍五入的预处理步骤在许多情况下,在提高采样或体积计算的瓶颈,我们的研究结果意味着这些任务也可以实现在大致$\tilde{O}(mn^{4.5}\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r})+mn^4δ^{-2})$操作计算$K$的体积高达一个因素$1+δ$和$\tild…
2019-09-15 cs.DS cs.LG math.PR
Sampling as optimization in the space of measures: The Langevin dynamics as a composite optimization problem
Department of Electrical & Computer Engineering University of Wisconsin – Madison(威斯康星大学麦迪逊分校电气与计算机工程系)
我们研究的措施空间中的最优化抽样。我们专注于梯度流为基础的优化与朗之万动力学作为案例研究。本文研究了离散时间下的非调整Langevin算法(NGA)的偏差来源,并考虑了如何消除或减小偏差。我们指出,困难在于热流是精确可解的,但它的前向和后向方法一般都是不可实现的,除了高斯数据。我们提出了对称化的Langevin算法(SLA),它应该有一个较小的偏差比ESTA,在空间上实现一个近端梯度步骤的价格。我们发现SLA实际上是一致的高斯目标的措施,而不一致。我们还说明了各种算法显式高斯目标测量,包括梯度下降,近端梯度,和Forward-Backward,并表明他们都是一致的。
2018-06-06 cs.IT cs.LG math.IT
Nonconvex sampling with the Metropolis-adjusted Langevin algorithm
Yale University(耶鲁大学)
朗之万马尔可夫链算法是在具有挑战性的高维和非凸统计和机器学习应用中从分布中采样的广泛部署的方法。尽管如此,目前的界限朗之万算法是慢于竞争的算法在许多重要的情况下,例如,当采样从弱对数凹分布,或当采样或优化非凸对数密度。在本文中,我们得到了改进的边界在许多这些情况下,表明大都会调整的朗之万算法(MALA)是快于最佳的边界,其竞争对手的算法时,目标分布满足弱的第三和第四阶正则性与输入数据。在许多情况下,我们的正则性条件弱于通常的欧几里德算子范数正则性性质,使我们能够比通常的欧几里德算子范数方法更快地显示更大类别的分布的边界,包括在统计和机器学习应用中,数据满足一定的不一致性条件。特别是,我们表明,使用我们的正则性条件,可以获得更快的应用程序,其中包括抽样问题的贝叶斯逻辑回归弱凸先验,和非凸优化问题的学习线性分类器的零-一损失函数的界限。我们在本文中的主要技术贡献是我们的分析的大都会接受概率的MALA在其“能量守恒误差”,我们的界限,这个错误的第三和第四阶正则性条件。我们将能量守恒误差的高阶分析与电导方法相结合,是获得非强对数凹设置中对维度$d$具有次线性依赖性的界限的关键。
2019-04-09 cs.DS cs.LG math.PR
Adaptive randomized pivoting and volume sampling
University of California Berkeley(加州大学伯克利分校);Caltech(加州理工学院)
本文将自适应随机 pivoting 算法与体积采样分布及线性回归主动学习算法联系起来,提出新的分析和更高效的实现方法。
2026-04-03 cs.DS cs.LG cs.NA
Sampling with Barriers: Faster Mixing via Lewis Weights
本文提出Lewis权重障碍与对数障碍的混合方法,将多面体采样中RHMC的混合速率上界从$\tilde O(mn^{2/3})$改进至$\tilde O(m^{1/3}n^{4/3})$,并建立了黎曼流形上马尔可夫链分析的通用框架。
2023-04-19 cs.DS cs.LO cs.NA
On the Robustness of Median Sampling in Noisy Evolutionary Optimization
进化算法是一种受自然启发的元进化算法,在各种实际优化问题中有着广泛的应用。在这些问题中,客观的评价往往是不准确的,因为噪声在现实世界中几乎是不可避免的,如何减弱噪声带来的负面影响是一个至关重要的问题。抽样是一种流行的策略,它对目标进行多次评估,并将这些评估结果的平均值用作目标值的估计。在这项工作中,我们引入了一种新的采样方法,中位数采样,到EA,并说明其性质和实用性理论上解决OneMax,最大化的1的数量在一个位串的问题。中位数抽样采用评价结果的中位数作为估计数,而不是平均数。通过对OneMax在常用的1比特噪声下的严格理论分析,我们表明中值采样以指数方式降低了预期的运行时间。其次,通过两个特殊的噪声模型,证明了当噪声适应度的2分位数随真实适应度的增加而增加时,中值抽样优于均值抽样;反之,中值抽样可能失效,均值抽样优于均值抽样。研究结果对实际应用中如何正确使用中值抽样有一定的指导意义。
2022-11-28 cs.CC cs.NE stat.ML
Adaptive Sampling Quasi-Newton Methods for Zeroth-Order Stochastic Optimization
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Argonne National Laboratory(阿贡国家实验室)
考虑了无梯度信息的无约束随机最优化问题。这些问题出现在从无导数模拟优化到强化学习的设置中。我们提出了一种自适应采样拟牛顿法,我们估计的梯度的随机函数使用有限差分内一个共同的随机数框架。我们开发了修改后的版本的范数测试和内积拟牛顿测试,以控制在随机逼近中使用的样本大小,并提供整体收敛结果的最优解的邻域。我们提出了模拟最优化问题的数值实验来说明所提出的算法的性能。当与经典的零阶随机梯度法相比,我们观察到,我们的策略,适应样本大小显着提高性能的随机函数评估所需的数量。
2021-09-24 cs.AI math.OC stat.ML