Riemannian Proximal Sampler for High-accuracy Sampling on Manifolds
Rice University(莱斯大学);University of California, Davis(加利福尼亚大学戴维斯分校)
提出黎曼近端采样器用于黎曼流形密度采样,依赖MBI和RHK预言机,建立KL散度O(log(1/ε))、总变差O(log²(1/ε))的高精度保证,给出预言机实现并通过数值验证有效性。
2025-02-11 cs.LG math.ST stat.ML
A Separation in Heavy-Tailed Sampling: Gaussian vs. Stable Oracles for Proximal Samplers
该研究分离了重尾采样中基于高斯与稳定预言机的近端采样器,证明前者仅能实现低精度,而后者可实现高精度,并给出不可改进的下界。
2024-05-27 math.ST stat.ML stat.TH
Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
我们引入有偏梯度预言机来捕获一个设置,其中函数测量具有可以通过批量大小参数控制的估计误差。我们提出的预言是有吸引力的,在几个实际情况下,例如,风险度量估计从一批独立同分布(i.i.d.)样本或模拟优化,其中函数测量由于计算约束而“有偏”。在任何一种情况下,增加批量大小都会减少估计误差。我们强调了我们的有偏梯度预言在风险敏感的强化学习环境中的适用性。在随机非凸优化的背景下,我们分析了一个变种的随机梯度(RSG)算法与有偏梯度预言。我们量化该算法的收敛速度,通过推导其性能的非渐近界。接下来,在随机凸优化设置,我们推导出非渐近界的随机梯度下降(SGD)算法的最后一个有偏梯度预言。
2021-05-16 cs.LG math.OC stat.ML
The Hardness Analysis of Thompson Sampling for Combinatorial Semi-bandits with Greedy Oracle
Shanghai Jiao Tong University(上海交通大学);Microsoft Research(微软研究院)
汤普森抽样(TS)在强盗领域引起了人们的极大兴趣。它在20世纪30年代被引入,但直到最近几年才在理论上得到证明。所有的分析组合多臂强盗(CMAB)设置需要一个精确的预言机提供任何输入的最优解。然而,这样的预言通常是不可行的,因为许多组合优化问题是NP-难的,只有近似预言可用。一个例子(Wang和Chen,2018)表明TS无法使用近似预言机进行学习。但是,这种oracle并不常见,它只针对特定的问题实例而设计。TS算法的收敛性分析是否可以扩展到CMAB算法的精确预言之外,仍然是一个悬而未决的问题。在本文中,我们研究这个问题下的贪婪预言机,这是一个常见的(近似)预言机与理论保证,以解决许多(离线)组合优化问题。我们给出了一个问题相关的后悔下界,其阶数为$Ω(\log T/Δ^2)$,用来量化TS在贪婪预言机下求解CMAB问题的难度,其中$T$是时间范围,$Δ$是奖励间隔.我们还提供了一个几乎匹配的后悔上限。这是TS用一个通用的近似预言机求解CMAB的第一个理论结果,打破了TS不能用近似预言机的误解。
2021-11-08 cs.DS cs.LG stat.ML
Composite Logconcave Sampling with a Restricted Gaussian Oracle
University of Washington(华盛顿大学);Stanford University(斯坦福大学);Microsoft Research(微软研究院)
我们考虑从复合密度$\mathbb{R}^d$的形式$dπ(x) \propto \exp(-f(x) - g(x))dx$的采样良好的条件$f$和凸(但可能是非光滑)$g$,一个家庭推广到一个凸集的限制,通过抽象的限制高斯预言。对于条件数为$κ$的$f$,我们的算法在$O \left(κ^2 d \log^2\tfrac{κd}ε\right)$迭代中运行,每次查询$f$的梯度和受限的高斯预言,以实现总变化距离$ε$。限制高斯预言机,从分布的负对数似然总和二次和$g$,以前已经研究过,是一个自然的扩展,在复合优化中使用的邻近预言机。我们的算法是概念上简单,并获得更强的可证明的保证和更大的通用性比现有的复合抽样方法。我们进行的实验表明,我们的算法大大提高了打了就跑算法采样的限制(非对角)高斯的正正交。
2020-06-10 cs.DS cs.LG cs.NA
Low-rank matrix recovery with non-quadratic loss: projected gradient method and regularity projection oracle
University of Washington(华盛顿大学);Rutgers University(罗格斯大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
现有的低秩矩阵恢复的结果主要集中在二次损失,它享有良好的性质,如限制强凸性/光滑性(RSC/RSM)和良好的条件所有低秩矩阵。然而,许多有趣的问题涉及更一般的,非二次损失,不满足这些属性。对于这些问题,标准的非凸方法,如秩约束投影梯度下降(a.k.a.迭代硬阈值)和Burer-Monteiro分解可能具有较差的经验性能,并且没有令人满意的理论保证这些算法的全局和快速收敛。在本文中,我们证明了在可证明的低秩恢复与非二次损失的关键组成部分是一个正则投影预言。这个预言限制迭代到一个适当的有界集合内的低秩矩阵,在该集合上,损失函数表现良好,并满足一组近似RSC/RSM条件。相应地,我们分析了(平均)投影梯度法配备这样的预言,并证明它的全局收敛性和线性。我们的研究结果适用于广泛的非二次低秩估计问题,包括一位矩阵传感/完成,个性化的秩聚合,更广泛的广义线性模型秩约束。
2021-11-15 cs.LG math.OC math.ST
When Combinatorial Thompson Sampling meets Approximation Regret
Idemia(亿达美)
研究了近似后悔条件下组合多臂强盗问题的组合Thompson抽样策略。虽然CTS吸引了很多人的兴趣,但它有一个缺点,这是其他常见的CMAB策略在考虑非精确预言时所没有的:对于某些预言,CTS具有较差的近似遗憾(与时间范围$T$线性缩放)[Wang和Chen,2018]。然后,有必要进行研究,以区分CTS可以学习的神谕。该研究由Kong et al. [2021]开始:他们给出了贪婪预言机CTS的一次近似后悔分析,获得了$\mathcal{O}(\log(T)/Δ^2)$阶的上界,其中$Δ$是某个最小奖励差距。在本文中,我们的目标是推动这项研究进一步比简单的情况下,贪婪的甲骨文。我们提供了第一个$\mathcal{O}(\log(T)/Δ)$近似遗憾的上限CTS,在一个特定的条件下获得的近似甲骨文,允许减少到确切的甲骨文分析。因此,我们把这个条件称为REDUCE2EXACT,并观察到它在许多具体的例子中得到满足。此外,它可以扩展到概率触发的武器设置,从而捕获更多的问题,如在线影响最大化。
2023-02-22 cs.LG stat.ML
(Bandit) Convex Optimization with Biased Noisy Gradient Oracles
University of Alberta(阿尔伯塔大学);Indian Institute of Technology Madras(马德拉斯印度理工学院);Imperial College London(伦敦帝国理工学院)
用于凸优化和在线学习的算法通常依赖于构造噪声梯度估计,然后在适当调整的一阶算法中使用该噪声梯度估计,以代替实际梯度。依赖于要优化的函数的性质和在强盗反馈中的“噪声”的性质,梯度估计的偏差和方差表现出各种折衷。在本文中,我们提出了一个新的框架,取代了具体的梯度估计方法与抽象的预言。在新框架的帮助下,我们统一了以前的作品,再现他们的结果在一个干净和简洁的方式,同时,也许更重要的是,该框架还允许我们正式表明,要实现最佳的根$n$率的算法,使用现有的梯度估计,或证明技术来分析他们必须超越今天存在的。
2020-07-04 cs.LG stat.ML
Posterior Sampling with Denoising Oracles via Tilted Transport
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心);Flatiron Institute(弗莱堡研究所)
本文提出倾斜传输技术,利用去噪预言机和对数似然的二次结构将线性逆问题的后验采样转化为更易采样的强对数凹后验,并验证了其在高维模型上的有效性。
2024-06-30 cs.LG math.PR stat.CO
Gradient-Based Empirical Risk Minimization using Local Polynomial Regression
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们考虑光滑,强凸损失函数的经验风险最小化(ERM)的问题,使用迭代梯度为基础的方法。这篇文献的一个主要目标是比较不同的算法,如梯度下降(GD)或随机梯度下降(SGD),通过分析他们的速度收敛到$ε$ -近似的解决方案。例如,GD的oracle复杂度是$O(n\log(ε^{-1}))$,其中$n$是训练样本的数量。当$n$很大时,这在实践中可能是昂贵的,并且SGD由于其$O(ε^{-1})$的Oracle复杂性而被优选。这样的标准分析仅利用被优化的参数中的损失函数的平滑性。相比之下,我们证明了当损失函数在数据中是平滑的时,我们可以在每次迭代中学习预言,并在重要的制度中击败GD和SGD的预言复杂性。具体来说,在每次迭代中,我们提出的算法执行局部多项式回归来学习损失函数的梯度,然后估计ERM目标函数的真实梯度。我们建立了我们的算法的甲骨文复杂性规模像$\tilde{O}((p ε^{-1})^{d/(2η)})$(忽略次主导因素),其中$d$和$p$分别是数据和参数空间维度,损失函数的梯度属于$η$ -Hölder类的数据。我们的证明扩展了非参数统计中的局部多项式回归分析,以提供多变量设置中的插值保证,并且还利用了不精确GD文献中的工具。与GD和SGD不同,我们的方法的复杂性取决于$d$和$p$。然而,当$d$很小,损失函数在数据中表现出适度的平滑性时,我们的算法在非常广泛…
2020-11-04 cs.LG math.OC math.ST
On the Oracle Complexity of Interpolation-Based Gradient Descent
Purdue University(普渡大学)
提出分段多项式插值梯度下降(PPI-GD)方法,通过数据域等距点查询一阶预言构造多项式插值近似全梯度,在强凸和非凸损失下分析预言复杂度,证明在数据维数受限且损失足够光滑时优于多种GD变体。
2026-06-19 cs.LG math.OC stat.ML
Greedy k-Center from Noisy Distance Samples
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本文研究了度量空间中顶点集上的典型k-中心问题的一个变形,其中基本距离是先验未知的。相反,我们可以查询一个oracle,它提供了任何一对顶点之间距离的噪声/不完整估计。我们考虑两种Oracle模型:维度采样,其中对oracle的每个查询返回一维中一对点之间的距离;以及噪声距离采样,其中oracle返回被噪声破坏的真实距离。我们提出了主动算法,基于思想,如UCB,汤普森采样和跟踪和停止开发的密切相关的多臂强盗问题,自适应地决定哪些查询发送到甲骨文,并能够解决的k-中心问题的近似比内的两个高概率。我们分析了我们算法的实例相关查询复杂性,并通过对两个真实数据集(Tiny ImageNet和UT Zappos 50 K)的数值评估,证明了对朴素实现的显着改进。
2022-04-04 cs.DS cs.LG stat.ML
Mini-Batch Covariance, Diffusion Limits, and Oracle Complexity in Stochastic Gradient Descent: A Sampling-Design Perspective
Muma College of Business, University of South Florida(佛罗里达州立大学马纳学院);McCombs School of Business, University of Texas at Austin(德克萨斯大学奥斯汀分校麦克纳学院)
本文从采样设计角度研究了随机梯度下降中最小批量梯度噪声的协方差特性,推导了扩散极限与Oracle复杂度的理论边界,并通过数值实验验证了相关结论。
2026-04-15 cs.LG math.OC stat.ML
Design by adaptive sampling
University of California, Berkeley(加州大学伯克利分校)
我们提出了一个概率建模框架和自适应采样算法,其中无监督生成模型与黑盒预测模型相结合,以解决输入设计的问题。在输入设计中,给出一个或多个随机“oracle”预测函数,每个预测函数从输入设计空间(例如DNA序列或图像)映射到感兴趣的属性(例如蛋白质荧光或图像内容)上的分布。给定这样的随机预言,问题是找到期望最大化一个或多个属性的输入,或者实现一个或多个属性的指定值,或者其任何组合。我们的实验表明,我们的方法大大优于其他最近提出的方法来解决这个问题的一个特定版本,即最大化时,甲骨文被假定为确定性和公正的。我们还证明了我们的方法可以解决更一般的版本的问题。
2020-02-10 cs.LG q-bio.QM stat.ML
Heavy-tailed Sampling via Transformed Unadjusted Langevin Algorithm
我们分析了从多项式衰减的重尾目标密度采样的预言复杂性的基础上运行的未调整的朗之万算法的某些转换版本的目标密度。我们构造的封闭形式的变换映射的特定类被证明是同构的,并且特别适合于开发高效的基于扩散的采样器。我们的特点是精确类的重尾密度多项式阶的预言复杂性(在尺寸和逆目标精度)可以得到,并提供说明性的例子。我们强调我们的假设和功能的不平等(超级和弱Poincaré不等式)之间的关系的基础上定义的非局部Dirichlet形式通过分数拉普拉斯算子,用于表征重尾平衡密度的某些稳定驱动的随机微分方程。
2022-01-20 math.ST stat.CO stat.ML
Optimal Guarantees for Algorithmic Reproducibility and Gradient Complexity in Convex Optimization
ETH Zurich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学院学习系统中心);Yale University(耶鲁大学);Google Research(谷歌研究院)
本研究挑战了凸优化中可复现性与收敛速度必须权衡的观点,提出基于正则化的算法在多种易错预言机设置下,同时实现了最优可复现性和近最优梯度复杂度。
2024-01-09 cs.LG math.OC stat.ML
Constrained and Composite Sampling via Proximal Sampler
Department of Computer Science, University of Rochester(计算机科学系,罗切斯特大学);Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI)(数据科学与人工智能研究所(GIDS-AI))
本文提出通过近端采样器解决约束和复合采样问题,利用epigraph变换和切割平面方法实现高效采样,无需了解约束集几何结构。
2026-11-17 cs.DS cs.LG math.OC
Information-Theoretic Lower Bounds for Zero-Order Stochastic Gradient Estimation
Purdue University(普渡大学)
本文分析了零阶随机预言模型中任意多维光滑(可能非凸)函数的梯度估计所需的样本数。在该模型中,估计器可以访问函数的噪声值,以便产生梯度的估计。我们还提供了一个分析的足够数量的样本的有限差分方法,在数值线性代数的经典技术。对于$T$样本和$d$维数,我们的信息论下限是$Ω(\sqrt{d/T})$。我们表明,有限差分方法的有界方差预言率$O(d^{4/3}/\sqrt{T})$的功能,零三阶和高阶导数。这些速率对于高斯预言机来说是紧的。因此,有限差分方法不是最小最大最优的,因此有空间开发更好的梯度估计方法。
2020-10-27 cs.LG stat.ML
Tight Complexity Bounds for Optimizing Composite Objectives
Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们提供严格的上限和下界的复杂性最小化的平均$m$凸函数使用梯度和prox预言的组件功能。我们发现确定性与随机优化的复杂性之间存在显着的差距。对于光滑函数,我们表明,加速梯度下降(AGD)和SVRG的加速变体分别是最佳的确定性和随机设置,梯度预言是足够的最佳速率。对于非光滑函数,有接近预言机的访问降低了复杂性,我们提出了最佳的方法的基础上平滑,提高了方法,只使用梯度访问。
2019-04-04 cs.LG math.OC stat.ML
The Complexity of Making the Gradient Small in Stochastic Convex Optimization
MIT(麻省理工学院);Cornell University(康奈尔大学);Weizmann Institute(魏茨曼科学研究所);TTI Chicago(芝加哥技术创新研究所(TTI Chicago))
本文给出了随机凸优化问题中寻找$ε$-平稳点($\| \nabla F(x) \| \leqε$)的预言复杂性的近似匹配上、下界。我们共同分析了本地随机预言机模型和全局预言机(或统计学习)模型的预言机复杂性。这使我们能够将寻找近稳定点的复杂性分解为优化复杂性和样本复杂性,并揭示了随机优化与学习的复杂性之间的一些令人惊讶的差异。值得注意的是,我们表明,在全球预言机/统计学习模型中,只有对数依赖于光滑度需要找到一个近平稳点,而多项式依赖于光滑度是必要的,在当地的随机预言机模型。换句话说,这两个模型之间的复杂性分离可以是指数级的,并且民间认为找到稳定点需要平滑度的理解对于统计学习来说只是弱正确的。我们的上界是基于Allen-Zhu(2018)提出的最近的"递归正则化"技术的扩展。我们将展示如何扩展该技术以实现接近最优的速率,特别是展示如何利用全球Oracle模型中的额外信息。我们的算法的全球模型可以有效地实现通过有限和方法,并提出了一个有趣的新的计算统计权衡。
2019-02-14 cs.LG math.OC stat.ML
On the Gradient Complexity of Private Optimization with Private Oracles
Department of Computer Science, University of Toronto(多伦多大学计算机科学系);Vector Institute(向量研究所)
研究Lipschitz凸损失的差分隐私经验/总体风险最小化在一阶预言机查询方面的运行时间,在非光滑和光滑损失等不同情况下给出下界,表明差分隐私优化器有维度相关运行时代价,还展示了信息有限预言机交互的下界及梯度量化技术局限性。
2026-07-10 cs.CR cs.LG math.OC
Structured Logconcave Sampling with a Restricted Gaussian Oracle
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Stanford University(斯坦福大学)
我们给出了算法的抽样几个结构logconcave家庭的高精度。我们进一步开发了一个约简框架,灵感来自凸优化中的近点方法,该方法可以引导正则化密度的采样器,以提高对问题条件的依赖性。在我们的框架中的一个关键成分是一个“限制高斯oracle”(RGO)的概念$g: \mathbb{R}^d \rightarrow \mathbb{R}$,这是一个采样器的分布,其负对数似然总和二次和$g$。通过将我们的约简框架与我们的新采样器相结合,我们获得了以下对结构化分布进行采样到总变差距离的界$ε$。对于复合密度$\exp(-f(x) - g(x))$,其中$f$的条件数$κ$和凸(但可能是非光滑)$g$承认一个RGO,我们得到一个混合时间的$O(κd \log^3\frac{κd}ε)$,匹配国家的最先进的非复合约束;没有复合采样器具有更好的混合比通用logconvex采样器是以前已知的。对于logconvex有限和$\exp(-F(x))$,其中$F(x) = \frac{1}{n}\sum_{i \in [n]} f_i(x)$的条件数$κ$,我们给了一个采样器查询$\widetilde{O}(n + κ\max(d, \sqrt{nd}))$梯度神谕$\{f_i\}_{i \in [n]}$,没有高精度的采样器与非平凡的梯度查询复杂性是以前已知的。对于密度与条件数$κ$,我们给出了一个算法…
2021-10-22 cs.DS cs.LG math.OC
Iteration and Stochastic First-order Oracle Complexities of Stochastic Gradient Descent using Constant and Decaying Learning Rates
Meiji University(明治大学)
本文研究深度学习非凸优化中批量大小对SGD迭代复杂度和随机一阶预言机复杂度的影响,证明使用临界批量大小可最小化SFO复杂度,并通过数值实验验证了理论估计的准确性。
2024-02-23 cs.LG stat.ML
Improved Complexities for Stochastic Conditional Gradient Methods under Interpolation-like Conditions
University of California, Davis(加州大学戴维斯分校);University of Waterloo(滑铁卢大学)
我们分析了随机条件梯度法的约束最优化问题在过参数化机器学习。我们表明,人们可以利用这样的模型所满足的插值样条件,以获得改进的预言复杂性。具体而言,当目标函数是凸的,我们表明,条件梯度法需要$\mathcal{O}(ε^{-2})$调用随机梯度预言找到一个$ε$ -最优解。此外,通过包括一个梯度滑动步骤,我们表明,电话的数量减少到$\mathcal{O}(ε^{-1.5})$。
2022-01-26 cs.LG math.OC stat.ML
Conditioning by adaptive sampling for robust design
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);Institute for Protein Design(蛋白质设计研究所)
我们提出了一种新的设计问题的方法,其中的目标是最大限度地提高或指定的一个或多个属性的值的兴趣。例如,在蛋白质设计中,人们可能希望找到使荧光最大化的蛋白质序列。我们假设访问一个或多个潜在的黑盒随机“oracle”预测函数,每个预测函数都从输入映射(例如,蛋白质序列)设计空间到感兴趣的特性(例如蛋白质荧光)上的分布。乍一看,这个问题可以被视为一个关于输入优化预言的问题。然而,许多最先进的预测模型,如神经网络,已知遭受病理,特别是对于远离训练分布的数据。因此,我们需要用关于什么是“现实”输入的先验知识来调节对预言输入的优化(例如,稳定折叠的蛋白质)。在这里,我们提出了一种新的方法来解决这个问题,条件自适应采样,产生最先进的结果,蛋白质荧光问题,相比其他最近发表的方法。形式上,我们的方法通过使用基于模型的自适应采样来估计给定所需属性的输入序列的条件分布来实现其成功。
2021-05-12 cs.LG stat.ML
Learning to Learn by Zeroth-Order Oracle
Zhejiang University(浙江大学);UCLA(加州大学洛杉矶分校);Google Research(谷歌研究院)
在学习学习(L2L)框架中,我们将优化算法的设计视为机器学习问题,并使用深度神经网络来学习更新规则。在本文中,我们将L2L框架扩展到零阶(ZO)优化设置,其中没有显式的梯度信息。我们的学习优化器,建模为递归神经网络(RNN),首先通过ZO梯度估计器近似梯度,然后利用以前迭代的知识产生参数更新。为了减少由于ZO梯度估计引起的高方差效应,我们进一步引入另一个RNN来学习高斯采样规则并动态引导查询方向采样。我们学习的优化器在合成和实际ZO优化任务(特别是黑箱对抗攻击任务,这是ZO优化最广泛使用的任务之一)的收敛速度和最终解方面优于手工设计的算法。最后,我们进行了广泛的分析实验,以证明我们提出的优化器的有效性。
2020-02-07 cs.LG stat.ML
EE-Grad: Exploration and Exploitation for Cost-Efficient Mini-Batch SGD
我们提出了一个通用的框架,用于权衡保真度和成本计算随机梯度时,获取不同质量的随机梯度的成本是不知道的先验。我们考虑一个小批量的甲骨文,分布在一些随机梯度有限的查询预算和聚合它们来估计真正的梯度。由于最佳的小批量大小取决于未知的成本保真度函数,我们提出了一种算法,{ \it EE-Grad},依次探索的性能的小批量预言机和利用积累的知识来估计一个实现最佳性能的成本效率。我们提供的性能保证EE-Grad相对于最佳的小批量Oracle,并说明这些结果的情况下,强凸目标。我们还提供了一个简单的数值例子,证实了我们的理论研究结果。
2017-05-19 cs.LG stat.ML
Gradient Descent is Pareto-Optimal in the Oracle Complexity and Memory Tradeoff for Feasibility Problems
Massachusetts Institute of Technology(麻省理工学院)
该研究针对带分离预言机的可行性问题,推导了确定性与随机算法在内存约束下的预言机复杂度下界,证明梯度下降在预言机复杂度与内存的权衡中是帕累托最优的,并揭示了内存从次二次到二次时预言机复杂度的相变。
2024-04-10 cs.CC cs.DS cs.LG
Optimizing the Preconditioner: A Black-box Online-to-Nonconvex Conversion with Static Regret Minimization Oracles
Center for Computational Science and Engineering, MIT(麻省理工学院计算科学与工程中心);Department of Civil and Environmental Engineering, MIT(麻省理工学院土木与环境工程系);Institute for Data, Systems, and Society, MIT(麻省理工学院数据、系统与社会研究所)
研究随机非凸优化能否黑盒简化为在线凸优化的静态遗憾最小化,提出维护梯度跟踪器并由在线学习器选预处理器的方法,对光滑和非光滑非凸目标均适用,解决了相关开放问题,还为理解自适应优化方法提供新视角。
2026-11-04 cs.LG math.OC stat.ML
Private (Stochastic) Non-Convex Optimization Revisited: Second-Order Stationary Points and Excess Risks
Google Research(谷歌研究院);University of Washington(华盛顿大学)
我们考虑的问题,最小化的非凸目标,同时保持隐私的例子中的训练数据。在以前的方差减少算法SpiderBoost的基础上,我们引入了一个新的框架,利用两种不同的梯度预言。第一种预言机可以估计一个点的梯度,第二种预言机,精度较低,成本较低,可以估计两点之间的梯度差。SpiderBoost定期使用第一种,每隔几步使用一次,而我们的框架建议在总漂移变大时使用第一个预言,否则依赖于第二个预言。这种新的框架确保梯度估计始终保持准确,从而提高了找到二阶稳定点的速度。此外,我们解决了一个更具挑战性的任务,找到一个非凸目标的全局最小值使用指数机制。我们的研究结果表明,正则化的指数机制可以密切匹配以前的经验和人口的风险界限,而不需要平滑假设的算法与多项式运行时间。此外,通过忽略运行时间的考虑,我们表明,指数机制可以实现一个很好的人口风险界,并提供一个几乎匹配的下限。
2023-02-20 cs.CR cs.LG math.OC
PILAF: Optimal Human Preference Sampling for Reward Modeling
NYU(纽约大学);Meta FAIR
本文提出PILAF响应采样策略,将偏好学习与最大化潜在真实奖励对齐,并从优化和统计角度证明其最优性,在迭代和在线RLHF中表现优异。
2025-02-06 cs.LG stat.ML
On Acceleration of Gradient-Based Empirical Risk Minimization using Local Polynomial Regression
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Rice University(莱斯大学)
我们研究了最近提出的基于局部多项式插值的梯度下降法(LPI-GD)的经验风险最小化问题(ERM)的近似解的加速。我们专注于损失函数是强凸的,光滑的条件数$σ$。我们还假设损失函数对于数据是$η$ -Hölder连续的。对于期望的精度$\varepsilon$,LPI-GD的预言复杂度是$\tilde{O}\left(σm^d \log(1/\varepsilon)\right)$,其中$d$是参数空间的维度,并且$m$是近似网格的基数。因子$m^d$可以显示为按比例缩放为$O((1/\varepsilon)^{d/2η})$。LPI-GD已被证明具有更好的预言复杂度比梯度下降(GD)和随机梯度下降(SGD)的某些参数制度。我们提出了两种基于LPI-GD的ERM问题的加速方法,并给出了$\tilde{O}\left(\sqrtσ m^d \log(1/\varepsilon)\right)$的预言复杂度。此外,我们提供了基于局部多项式插值的梯度方法的第一个实证研究,并证实LPI-GD在某些情况下具有比GD和SGD更好的性能,并且所提出的方法实现了加速。
2022-04-16 cs.LG math.OC stat.ML
Fundamental Limitations of Fixed-Budget Best-Arm Identification
Yale University(耶鲁大学)
研究固定预算最佳臂识别问题,对比算法与静态预言机,证明对于任意\(K\geq3\)及特定奖励,任何算法至少在一个实例中的错误衰减率至多为静态预言机的\((1 + \frac{\log(K)}{8})^{-1}\)倍,回答了相关开放问题。
2026-07-14 cs.LG stat.ML
Thompson Sampling for Stochastic Bandits with Noisy Contexts: An Information-Theoretic Regret Analysis
University of Birmingham(伯明翰大学);Iowa State University(爱荷华州立大学)
针对带噪声上下文的随机线性老虎机问题,提出一种基于贝叶斯框架的Thompson Sampling算法,并通过信息论分析证明其贝叶斯遗憾,发现延迟观测真实上下文可降低遗憾,实证表明算法优于基线。
2024-03-22 cs.LG stat.ML
Second-order Conditional Gradient Sliding
Technische Universität Berlin(柏林技术大学)
针对约束二阶凸优化需精确求解二次子问题的成本问题,提出无投影的SOCGS算法,在多胞体可行域下经有限线性收敛迭代后进入二次收敛,降低了高精度求解时的计算成本。
2025-06-11 cs.LG math.OC stat.ML
The gradient complexity of linear regression
Princeton University(普林斯顿大学);Google AI Princeton(谷歌AI普林斯顿);UC Berkeley(加州大学伯克利分校);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们调查的计算复杂性的几个基本的线性代数原语,包括最大的特征向量计算和线性回归,在计算模型,允许访问的数据,通过矩阵向量产品的oracle。我们表明,多项式的准确性,$Θ(d)$调用的Oracle是必要的和足够的,即使是一个随机算法。我们的下界是基于减少估计随机Wishart矩阵的最小特征值。这个简单的分布使得能够利用随机Wishart集合的一些关键属性来进行简洁的证明。
2021-05-23 cs.DS cs.LG math.OC
A Projection-free Algorithm for Constrained Stochastic Multi-level Composition Optimization
提出了一种无投影条件梯度型光滑随机多层复合优化算法,其中目标函数为$T$函数的嵌套复合,约束集为闭凸集.我们的算法假设访问嘈杂的评价的功能和它们的梯度,通过一个随机的一阶预言满足一定的标准无偏性和二阶矩假设。我们表明,该算法所需的随机一阶预言机和线性最小化预言机的调用次数,以获得$ε$ -固定的解决方案,分别为$\mathcal{O}_T(ε^{-2})$和$\mathcal{O}_T(ε^{-3})$,其中$\mathcal{O}_T$隐藏常数$T$。值得注意的是,这些复杂性边界对$ε$和$T$的依赖性是分开的,因为改变一个不影响边界对另一个的依赖性。此外,我们的算法是无参数的,不需要任何(增加)的顺序小批量收敛不同于常见的做法,在随机条件梯度型算法的分析。
2022-10-09 math.OC math.ST stat.ML
A Simple Proximal Stochastic Gradient Method for Nonsmooth Nonconvex Optimization
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
我们分析随机梯度算法优化非凸,非光滑有限和问题。特别地,目标函数由可微(可能非凸)分量与可能不可微但凸的分量的总和给出。我们提出了一个近似的随机梯度算法的基础上减少方差,称为ProxSVRG+。我们的主要贡献在于ProxSVRG+的分析。它恢复了几个现有的收敛结果,并改善/推广它们(随机梯度Oracle调用和邻近Oracle调用的数量)。特别地,ProxSVRG+概括了最近由[Lei等人,[2017]第一个非线性方程。ProxSVRG+也比SCSG更简单,分析更简单。此外,ProxSVRG+对于大范围的小批量大小优于确定性近端梯度下降(ProxGD),这部分地解决了在[Reddi等人,2016年b]。此外,ProxSVRG+使用比ProxSVRG少得多的邻近oracle调用[Reddi等人,2016年b]。此外,对于满足Polyak-Chaojasiewicz条件的非凸函数,我们证明了ProxSVRG+具有全局线性收敛速率,且不需要重新启动.因此,只要目标函数在某些区域局部满足PL条件,\emph{automatically}就可以在这些区域切换到更快的线性收敛。ProxSVRG+还改进了ProxGD和ProxSVRG/SAGA,并在这种情况下推广了SCSG的结果。最后,进行了实验研究,实验结果与理论分析结果基本一致。
2018-12-01 cs.DS cs.LG math.OC
Policy Gradient Optimization of Thompson Sampling Policies
Columbia University(哥伦比亚大学)
我们研究了使用策略梯度算法优化一类广义Thompson抽样策略。我们的核心观点是将Thompson采样的后验参数视为一种伪作用。策略梯度方法然后可以被可追踪地应用于在一类采样策略上进行搜索,其确定伪动作上的概率分布(即,采样参数)作为观测数据的函数。我们还提出和比较专门贝叶斯强盗问题的策略梯度估计。数值实验表明,直接策略搜索的汤普森采样自动纠正了一些算法的已知缺点,并提供了有意义的改进,即使在长时间的问题,标准的汤普森采样是非常有效的。
2020-06-30 cs.AI cs.LG stat.ML
Neon2: Finding Local Minima via First-Order Oracles
Microsoft Research AI(微软研究院AI);Princeton University(普林斯顿大学)
我们提出了一个非凸优化的约简,它可以(1)把一个稳定点寻找算法变成一个局部最小值寻找算法,(2)用梯度计算代替海森向量积计算。它在随机和确定性设置下都可以工作,而不会损害算法的性能。作为应用,我们的约简将Natasha 2转化为一阶方法,而不会影响其性能。它还将SGD,GD,SCSG和SVRG转换为寻找近似局部最小值的算法,优于一些最知名的结果。
2018-04-20 cs.DS cs.LG cs.NE
A Hybrid Variance-Reduced Method for Decentralized Stochastic Non-Convex Optimization
Carnegie Mellon University(卡内基梅隆大学);Tufts University(塔夫茨大学)
本文考虑$n$节点网络上的分散随机最优化问题,其中每个节点具有光滑的非凸局部费用函数,网络节点的目标是找到局部代价之和的$ε$精确一阶平稳点.我们专注于在线设置,每个节点访问其本地成本仅通过随机一阶预言机,返回一个嘈杂的版本的确切梯度。在这种情况下,我们提出了一种新的单循环分散混合方差减少随机梯度法,称为GT-HSGD,优于现有的方法,在甲骨文的复杂性和实际实现。GT-HSGD算法实现了专门的局部混合随机梯度估计器,这些估计器在网络上融合以跟踪全局梯度。值得注意的是,GT-HSGD实现了$O(n^{-1}ε^{-3})$的网络拓扑无关的预言复杂性时,所需的容错$ε$是足够小的,导致相对于集中式最佳在线方差减少的方法,在一个单一的节点上操作的线性加速。数值实验来说明我们的主要技术成果。
2021-06-14 cs.DC cs.LG cs.MA
Smoothed Score Queries and the Complexity of Sampling
Department of Statistics, University of Illinois Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校统计学系)
本文研究利用梯度信息从高维高斯分布中采样的查询复杂度,通过引入平滑得分查询(即高斯卷积密度的对数梯度)将条件数依赖从√κ降低到对数级别,并给出近乎匹配的上下界。
2026-11-10 cs.DS cs.IT cs.LG
Accelerating Quantum Reinforcement Learning with a Quantum Natural Policy Gradient Based Approach
Purdue University, West Lafayette, IN, USA(普渡大学)
针对无模型量子强化学习问题,提出量子自然策略梯度(QNPG)算法,用确定性梯度估计替代经典随机采样,实现$\tilde{\mathcal{O}}(\varepsilon^{-1.5})$样本复杂度,显著优于经典下界。
2025-06-30 cs.AI quant-ph stat.ML