Generalization through variance: how noise shapes inductive biases in diffusion models
Harvard Medical School(哈佛医学院)
针对扩散模型泛化机制不明的问题,本文基于DSM目标的噪声特征提出数学理论,利用路径积分方法分析其泛化现象,揭示噪声目标协方差结构对归纳偏置的影响及与特征偏置的相互作用。
2025-04-16 cond-mat.dis-nn cs.AI cs.LG
Learning Gradually Non-convex Image Priors Using Score Matching
University Hospital Bonn(波恩大学医院);Graz University of Technology(格拉茨技术大学)
在本文中,我们提出了一个统一的框架去噪得分为基础的模型的背景下,渐进的非凸能量最小化。我们表明,足够大的噪声方差,相关的负对数密度-能量-成为凸。因此,基于去噪分数的模型基本上遵循分级非凸性启发式。我们应用这个框架来学习广义领域的专家图像先验近似的联合密度的噪声图像及其相关的方差。这些先验可以很容易地被纳入到现有的优化算法求解反问题,自然实现了快速和强大的渐进非凸性机制。
2023-02-21 cs.CV cs.LG
An Improved Analysis of (Variance-Reduced) Policy Gradient and Natural Policy Gradient Methods
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们重新审视和改进的收敛性策略梯度(PG),自然PG(NPG)的方法,以及他们的方差减少变种,一般光滑的政策参数化。更具体地说,与政策的Fisher信息矩阵是正定的:i)我们表明,一个国家的最先进的方差减少PG方法,这已经被证明是收敛到平稳点,收敛到全局最优值的一些固有的函数逼近误差,由于政策参数化; ii)我们表明,NPG享有较低的样本复杂性; iii)我们提出了SRVR-NPG,它将方差缩减纳入NPG更新。我们的改进来自于一个观察,即(方差缩减)PG和NPG方法的收敛性可以相互改善:PG的平稳收敛性分析可以应用于NPG,以及和NPG的全局收敛性分析可以帮助建立(方差缩减)PG方法的全局收敛性。我们的分析仔细地结合了这两种作品的优点。由于这一改进,我们也使得NPG的方差减少成为可能,具有全局收敛性和有效的有限样本复杂性。
2022-11-16 cs.LG
Variance-Reduced Diffusion Sampling via Target Score Identity
The Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校奥登计算工程与科学研究所)
本文提出通过目标分数身份实现扩散采样中的方差缩减,结合非参数重要性采样和状态依赖的混合规则,提升样本质量。
2026-01-22 cs.LG stat.ML
Variance-Reduced Off-Policy Memory-Efficient Policy Search
Auburn University(奥本大学);University of Iowa(爱荷华大学);Facebook AI Research(Facebook 人工智能研究院);Huawei Inc.(华为公司)
非策略策略优化是强化学习(RL)中一个具有挑战性的问题。针对该问题设计的算法通常在其估计量中具有高方差,这导致差的样本效率,并且具有收敛问题。最近已经提出了一些方差减小的策略上策略梯度算法,其使用来自随机优化的方法来减小REINFORCE算法中的梯度估计的方差。然而,这些算法并不是为非策略设置而设计的,并且是存储效率低的,因为它们需要不时地收集和存储大量的“参考”样本。为了实现方差减少的关闭政策稳定的政策优化,我们提出了一个算法家族,是内存效率,随机方差减少,并能够从关闭的政策样本学习。实证研究验证了所提出的方法的有效性。
2020-09-14 cs.LG stat.ML
Loaded DiCE: Trading off Bias and Variance in Any-Order Score Function Estimators for Reinforcement Learning
University of Oxford(牛津大学);Facebook AI Research(脸书人工智能研究院)
在具有未知或难以处理的动态的随机设置中,用于优化目标的基于导数的方法需要导数的估计。我们推导出一个目标,在自动微分,产生低方差无偏估计的衍生工具在任何顺序。我们的目标是兼容的任意优势估计,它允许控制的偏差和方差的任何阶导数时,使用函数逼近。此外,我们提出了一种方法来权衡偏差和方差的高阶导数贴现的影响,更遥远的因果关系。我们证明了我们的目标的正确性和实用性,在分析听话的MDP和元强化学习连续控制。
2019-09-23 cs.LG stat.ML
Variance-reduced Domain Adaptation using Paired Sampling
University of Southampton(南安普顿大学)
针对无监督域适应中分布匹配框架损失方差高且缺乏有限和结构的问题,提出PSDA技术,通过在域内和域间配对观测值形成四元组,最小化预期梯度方差,经实验验证该方法能降低方差并提高目标域准确性。
2026-07-23 cs.LG
On the Ineffectiveness of Variance Reduced Optimization for Deep Learning
Facebook AI Research(脸书人工智能研究院)
随机方差缩减在优化中的应用在最近的理论和实践中都取得了显著的成功。这些技术对现代深度神经网络训练过程中遇到的硬非凸优化问题的适用性是一个悬而未决的问题。我们表明,天真的应用SVRG技术和相关的方法失败,并探讨原因。
2019-11-20 cs.LG stat.ML
Variance Reduction for Score Functions Using Optimal Baselines
Cornell University(康奈尔大学)
许多问题涉及使用模型,这些模型学习概率分布或以某种方式包含随机性。在这样的问题中,因为计算真实的期望梯度可能是棘手的,梯度估计器被用来更新模型参数。当模型参数直接影响概率分布时,梯度估计将涉及得分函数项。本文研究基线,得分函数的方差减少技术。动机主要是由强化学习,我们推导出第一次的最佳状态相关的基线,基线的结果在梯度估计与最小方差的表达式。虽然我们表明,存在的例子中,最佳基线可能是任意优于一个价值函数基线,我们发现,价值函数基线通常执行类似的最佳基线的方差减少。此外,价值函数也可以用于收益的自举估计,从而导致额外的方差减少。我们的研究结果提供了新的见解和理由,为什么价值函数基线和广义优势估计(GAE)的工作以及在实践中。
2022-12-27 cs.LG cs.SY eess.SY
Toward the Evaluation of Large Language Models Considering Score Variance across Instruction Templates
Nara Institute of Science and Technology(奈良科学技术研究所)
针对现有评估方法忽略提示词差异导致不公平的问题,本研究提供英日跨语言数据集并提出考虑模板间分数方差的Sharpe score指标,揭示了模板高方差对LLMs公平评估的显著影响。
2024-08-22 cs.AI cs.CL cs.LG
A Variance Reduced Stochastic Newton Method
ETH Zürich(苏黎世联邦理工学院)
拟牛顿法在求解凸损失最小化问题中有着广泛的应用。这些方法在各种各样的任务上表现出良好的经验性能,并具有超线性收敛到最优解的特性。对于大规模学习问题,最近提出了随机拟牛顿方法。然而,这些通常仅实现次线性收敛率,并且在实践中没有表现出一贯的良好表现,因为有噪声的Hessian近似会加剧高方差随机梯度估计的影响。在这项工作中,我们提出了Vite,一种新的随机拟牛顿算法,使用现有的一阶技术,以减少这种变化。在不利用具体形式的近似Hessian,我们表明,维特达到最佳的几何速度与恒定的步长时,处理光滑的强凸函数。经验上,我们证明了现有的随机拟牛顿和方差减少随机梯度方法的改进。
2015-06-09 cs.LG
Variance-Reduced Stochastic Learning under Random Reshuffling
UCLA(加州大学洛杉矶分校);Swiss Federal Institute of Technology (EPFL)(瑞士联邦理工学院(洛桑))
几个有用的方差减少的随机梯度算法,如SVRG,SAGA,RANTO,和SAG,已被提出来最小化经验风险与线性收敛性能的确切的最小值。现有的收敛结果假设均匀的数据采样与替换。然而,它已被观察到在相关的作品中,随机重排可以提供优越的性能,均匀采样,然而,没有正式的证据或保证的精确收敛存在方差减少算法随机重排。本文有两个贡献。首先,它解决了这个开放的问题,并提供了第一个理论保证的线性收敛下随机改组SAGA的参数也适用于其他方差减少算法。其次,在随机重排下,本文提出了一种新的摊销方差降低梯度(AVRG)算法,与SAGA相比具有恒定的存储需求,与SVRG相比具有平衡的梯度计算。AVRG也被解析地示出为线性收敛。
2018-02-16 cs.LG math.OC stat.ML
ReVar: Strengthening Policy Evaluation via Reduced Variance Sampling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究了马尔可夫决策过程中用于政策评估的数据汇集问题。在策略评估中,我们被赋予一个目标策略,并被要求估计它在形式化为MDP的环境中将获得的预期累积回报。我们开发理论的最佳数据汇集类的树结构的MDP首先推导出一个Oracle数据汇集策略,使用知识的回报分布的方差。然后,我们介绍了减少方差采样(ReVar)算法,该算法近似的预言机策略时,奖励方差是未知的先验和约束其次优的预言机策略相比。最后,我们经验验证,ReVar导致政策评估的均方误差与Oracle策略相当,并显着低于简单地运行目标策略。
2022-06-17 cs.LG
Variance Reduced Coordinate Descent with Acceleration: New Method With a Surprising Application to Finite-Sum Problems
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
我们提出了一个加速版本的随机方差减少坐标下降- ASVRCD。与SEGA或SVRCD等其他方差减少的坐标下降法一样,我们的方法可以处理包括不可分离和非光滑正则化子的问题,同时在每次迭代中仅访问随机块的偏导数。然而,ASVRCD结合了Nesterov的动量,它提供了优于SEGA和SVRCD的迭代复杂度保证。作为我们理论的一个副产品,我们证明了Allen-Zhu(2017)的一个变体是ASVRCD的一个特定案例,恢复了有限和目标的最佳预言复杂度。
2020-02-11 cs.LG math.OC
PAGE-PG: A Simple and Loopless Variance-Reduced Policy Gradient Method with Probabilistic Gradient Estimation
ETH Zurich(苏黎世联邦理工学院);University of Texas at Dallas(德克萨斯大学达拉斯分校)
尽管策略梯度方法取得了成功,但它们的梯度估计方差很高,这可能导致样本复杂度不令人满意。最近,许多方差减少扩展的策略梯度方法已被提出,证明更好的样本复杂性和竞争力的数值性能。经过紧凑的调查,一些主要的方差减少REINFORCE型方法,我们提出了概率梯度估计策略梯度(PAGE-PG),一种新的无环方差减少策略梯度方法的基础上,两种类型的更新之间的概率切换。我们的方法受到了监督学习的PAGE估计的启发,并利用重要性采样来获得无偏梯度估计。我们发现,PAGE-PG享有一个$\mathcal{O}\left( ε^{-3} \right)$平均样本复杂度达到$ε$ -固定的解决方案,它匹配的样本复杂度,其最具竞争力的同行在相同的设置。数值评估证实了我们的方法对经典控制任务的竞争力。
2022-02-01 cs.LG math.OC
Improved Optimization of Finite Sums with Minibatch Stochastic Variance Reduced Proximal Iterations
University of Chicago(芝加哥大学);Tencent AI Lab(腾讯人工智能实验室)
针对经验风险最小化问题,提出了一种新的小批量随机最优化方法,该方法有效地利用了方差约化的一阶和子采样高阶信息,加快了收敛速度.对于二次目标,我们证明了在合理的假设下,改进的迭代复杂性。我们还提供了经验证据的优势,我们的方法相比,现有的方法在文献中。
2017-10-11 cs.LG math.OC stat.ML
Variance Reduced Stochastic Proximal Algorithm for AUC Maximization
University of Pennsylvania(宾夕法尼亚大学)
随机梯度下降已经被广泛研究,分类精度作为一个性能指标。然而,当使用不可分解的成对性能度量时,这些随机算法不能直接使用,例如ROC曲线下面积(AUC),这是类不平衡时的常见性能度量。已经提出了几种算法来优化AUC作为性能指标,最近的一个是随机近端梯度算法(SPAM)。但随机方法的缺点是,他们遭受高方差导致收敛速度较慢。为了解决这个问题,已经提出了几种方差缩减方法,其收敛保证比香草随机梯度下降更快。同样,当使用不可分解的性能测量时,这些方差减小的方法不直接适用。在本文中,我们开发了一个方差减少随机邻近算法的AUC最大化(\textsc{VRSPAM}),并进行了理论分析以及实证分析表明,我们的算法收敛速度比SPAM,这是以前的状态,最先进的AUC最大化问题。
2020-12-04 cs.LG stat.ML
Stochastic Variance-Reduced Policy Gradient
Politecnico di Milano(米兰理工大学);Inria(法国国家信息与自动化研究所)
在本文中,我们提出了一种新的强化学习算法,包括在随机方差减少版本的策略梯度解决马尔可夫决策过程(MDP)。随机方差缩减梯度(SVRG)方法在监督学习中已被证明是非常成功的。然而,它们对策略梯度的适应并不简单,需要考虑I)非凹目标函数; II)全梯度计算中的近似值;以及III)非平稳采样过程。其结果是SVRPG,一种随机方差减少的策略梯度算法,利用重要性权重来保持梯度估计的无偏性。根据标准假设,sumptions上的MDP,我们提供了收敛保证SVRPG的收敛速度是线性增加批量大小。最后,我们建议SVRPG的实际变体,我们经验性地评估他们对连续MDPs。
2018-06-14 cs.LG stat.ML
Building Fast, Evaluating Slow: Pipeline Choices Dominate Autointerpretability Score Variance
ETH Zürich(苏黎世联邦理工学院)
研究稀疏自动编码器可解释性得分的跨论文比较,通过多指标、多模型及方法变化轴的实验发现方法方差主导得分方差,排名不稳定,基于得分的比较可能反映管道差异,贡献评估方法以推动可解释性研究。
2026-07-23 cs.CL cs.LG
Sampling and Update Frequencies in Proximal Variance-Reduced Stochastic Gradient Methods
Lund University(隆德大学)
方差缩减随机梯度法近年来得到了广泛的应用。存在几种变体,具有不同的梯度存储和采样策略,这项工作涉及这两个方面之间的相互作用。我们提出了一种通用的邻近方差-约化梯度法,并在强凸性假设下对其进行了分析。该算法的特殊情况包括SAGA,L-SVRG及其近端变体。我们的分析揭示了历元长度的选择以及平衡迭代收敛与梯度存储频率的需要。该分析改善了文献中发现的其他收敛速度,并产生了一个新的和更快的收敛采样策略SAGA。预测率与实际率相同的问题实例与基于现实世界数据的问题一起提出。
2022-10-18 cs.LG math.OC
Stochastic Variance-Reduced Cubic Regularized Newton Method
University of Virginia(弗吉尼亚大学)
提出了一种求解非凸优化问题的随机方差缩减的三次正则化牛顿法。我们的算法的核心是一个新的半随机梯度以及一个半随机Hessian,这是专门为立方正则化方法设计的。我们表明,我们的算法是保证收敛到一个$(ε,\sqrtε)$ -近似局部最小值内$\tilde{O}(n^{4/5}/ε^{3/2})$二阶Oracle调用,这优于国家的最先进的立方正则化算法,包括子采样立方正则化。我们的工作也揭示了应用方差减少技术高阶非凸优化方法。对各种非凸优化问题的深入实验支持了我们的理论。
2018-02-13 cs.LG math.OC
A Stochastic Variance Reduced Gradient using Barzilai-Borwein Techniques as Second Order Information
Kyoto University(京都大学)
在本文中,我们考虑通过引入目标函数的曲率信息来改进随机方差降低梯度(SVRG)方法。我们建议使用计算效率高的Barzilai-Borwein(BB)方法将其纳入SVRG,以减少随机梯度的方差。我们还将BB-步长作为其变体。我们证明了它的线性收敛定理,不仅适用于所提出的方法,但也适用于其他现有的变种SVRG与二阶信息。在基准数据集上进行的数值实验表明,在某些测试问题上,该方法在恒定步长下的性能优于现有的方差缩减方法.
2022-08-23 cs.LG math.OC stat.ML
Reanalysis of Variance Reduced Temporal Difference Learning
The Ohio State University(俄亥俄州立大学);The University of Utah(犹他大学)
时间差分(TD)学习是强化学习中用于策略评估的流行算法,但是普通TD实质上会受到固有优化方差的影响。Korda和La(2015)提出了一种方差缩减TD(VRTD)算法,该算法将方差缩减技术直接应用于马尔可夫样本的在线TD学习。在这项工作中,我们首先指出了Korda和La(2015)在VRTD分析中的技术错误,然后提供了VRTD非渐近收敛及其方差减少性能的数学分析。我们证明了VRTD保证以线性收敛速度收敛到TD不动点解的邻域。此外,方差误差(对于i.i.d.\和马尔可夫抽样)和偏差误差(马尔可夫抽样)的VRTD显着降低了批量的方差减少相比,香草TD。结果表明,VRTD获得给定精确解的总体计算复杂性优于马尔可夫采样下的TD,优于独立同分布下的TD。抽样为一个足够小的条件数。
2020-01-10 cs.LG stat.ML
All Sparse PCA Models Are Wrong, But Some Are Useful. Part I: Computation of Scores, Residuals and Explained Variance
University of Granada(格拉纳达大学);University of Amsterdam(阿姆斯特丹大学);Wageningen University & Research(瓦赫宁根大学及研究中心)
稀疏主成分分析(sPCA)是一种基于主成分分析(PCA)的流行矩阵因子分解方法,它将方差最大化和稀疏性与改善数据解释的最终目标相结合。当从PCA转移到sPCA时,从业者需要意识到一些影响。一个相关的问题是sPCA中的得分和负载可能不是正交的。由于这个原因,在经典PCA中使用的计算分数、残差和方差的传统方法不能直接应用于sPCA模型。这也会影响sPCA组件的可视化方式。在本文中,我们说明了这个问题的理论和数值模拟几个国家的最先进的sPCA算法,并提供适当的计算提到的不同元素。我们表明,sPCA方法在建模无噪声,稀疏数据时表现出不同的和有限的性能。在后续的论文中,我们讨论了导致这个问题的理论性质。
2019-07-09 cs.LG stat.ML
A Minimum Variance Path Principle for Accurate and Stable Score-Based Density Ratio Estimation
School of Mathematics, South China University of Technology(华南理工大学数学学院);School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院);Department of Electrical Engineering, Columbia University(哥伦比亚大学电气工程系);Department of Electrical and Computer Engineering, University of Waterloo(滑铁卢大学电气与计算机工程系)
本文提出最小方差路径原理,通过减少路径方差提升分数基密度比估计的准确性与稳定性,基于Kumaraswamy混合模型实现数据自适应路径学习。
2026-05-09 cs.AI cs.LG stat.ML
Stochastic variance reduced multiplicative update for nonnegative matrix factorization
Graduate School of Informatics and Engineering, The University of Electro-Communications(信息与工程研究生院,东京电波通信大学)
本文提出一种随机方差缩减乘法更新算法,改进非负矩阵分解的收敛速度,通过数值实验验证其在不同数据集上的优越性。
2018-04-03 cs.CV cs.LG cs.NA
Stochastic Variance Reduced Ensemble Adversarial Attack for Boosting the Adversarial Transferability
Huazhong University of Science and Technology(华中科技大学);Cornell University(康奈尔大学)
黑盒对抗攻击因其在深度学习安全领域的实际应用而引起了广泛关注。同时,这是非常具有挑战性的,因为无法访问目标模型的网络架构或内部权重。基于样本对多个模型保持对抗性,则更有可能将攻击能力转移到其他模型的假设,基于集合的对抗攻击方法是一种有效的黑盒攻击方法,被广泛应用。然而,集成攻击的方式是相当少的研究,和现有的集成攻击简单地融合所有模型的输出均匀。在这项工作中,我们把迭代集成攻击作为一个随机梯度下降优化过程,在不同的模型上的梯度的方差可能会导致不良的局部最优。为此,我们提出了一种新的攻击方法称为随机方差减少集成(SVRE)攻击,它可以减少集成模型的梯度方差,并充分利用集成攻击。在标准ImageNet数据集上的实验结果表明,该方法可以提高对抗性可转移性,并显着优于现有的集成攻击。代码可在https://github.com/JHL-HUST/SVRE上获得。
2022-04-23 cs.CR cs.CV cs.LG
A Stochastic Variance Reduced Nesterov's Accelerated Quasi-Newton Method
Shonan Institute of Technology(湘南工科大学);Shizuoka University(静冈大学)
近年来,结合二阶曲率信息的算法在训练神经网络中变得流行。Nesterov的加速拟牛顿(NAQ)方法通过引入动量项和Nesterov的加速梯度向量,有效地加速了BFGS拟牛顿方法。针对大规模问题的训练,提出了一种随机形式的NAQ方法。然而,这种方法会引起高随机方差噪声。本文提出了一种全记忆形式(SVR-NAQ)和有限记忆形式(SVRLNAQ)的随机方差缩减Nesterov加速拟牛顿法。在Tensorflow中对四个基准问题-两个回归问题和两个分类问题-进行了性能评估。结果表明,改进的性能相比,传统的方法。
2019-10-17 cs.LG stat.ML
Stochastic Variance-Reduced Iterative Hard Thresholding in Graph Sparsity Optimization
Texas A&M University(德克萨斯农工大学)
针对复杂非凸图稀疏模型,本文提出两种基于随机方差缩减梯度的优化方法GraphSVRG-IHT和GraphSCSG-IHT,并构建理论框架证明其具有线性收敛速度。
2024-07-24 cs.AI cs.LG stat.ML
A Simple Stochastic Variance Reduced Algorithm with Fast Convergence Rates
The Chinese University of Hong Kong(香港中文大学);Xidian University(西安电子科技大学)
近年来,在随机方差约化梯度方法的研究中取得了令人兴奋的进展(例如,SVRG,SAGA),它们的加速变体(例如,喀秋莎)以及它们在许多不同环境中的扩展(例如,在线、稀疏、异步、分布式)。其中,加速方法具有改进的收敛速度,但具有复杂的耦合结构,这使得它们难以扩展到更多的设置(例如,稀疏和异步)。在本文中,我们介绍了一个简单的随机方差减少算法(MiG),它享有最好的已知的强凸和非强凸问题的收敛速度。此外,我们还提出了其有效的稀疏和异步的变种,并从理论上分析其收敛速度在这些设置。最后,广泛的实验,各种机器学习问题,如逻辑回归,以说明在串行和异步设置的实际改进。
2018-06-28 cs.LG stat.ML
Federated Learning Using Variance Reduced Stochastic Gradient for Probabilistically Activated Agents
University of California Irvine(加州大学欧文分校)
本文提出一种双层结构的联邦学习算法,结合随机方差缩减梯度(SVRG)进行本地更新,在智能体任意概率被选中的设置下,将收敛速率从 $O(\frac{1}{\sqrt{K}})$ 提升至 $O(\frac{1}{K})$。
2023-04-01 cs.LG
MURANA: A Generic Framework for Stochastic Variance-Reduced Optimization
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
我们提出了一个通用的方差减少算法,我们称之为多重随机化算法(MURANA),最小化的几个光滑函数加上正则化,在一个顺序或分布式的方式。我们的方法是制定与一般的随机算子,这使我们能够模拟各种策略,以减少计算复杂性。例如,MURANA支持梯度的稀疏激活,并且还通过压缩更新向量来减少通信负载。这种多功能性使MURANA能够在一个统一的框架内涵盖许多现有的随机化机制,这也使得设计新方法成为可能。
2023-03-06 cs.LG math.OC
Optimal Variance Control of the Score Function Gradient Estimator for Importance Weighted Bounds
Technical University of Denmark(丹麦技术大学);University of Copenhagen(哥本哈根大学);Rigshospitalet, Copenhagen University Hospital(哥本哈根大学医院国立医院)
本文介绍了重要加权变分界(IWAE)的得分函数梯度估计的新结果。我们证明,在大的$K$(重要性样本数)的限制,可以选择控制变量,使信号噪声比(SNR)的估计增长为$\sqrt{K}$。这与标准路径梯度估计器相反,在标准路径梯度估计器中,SNR随着$1/\sqrt{K}$而减小。基于我们的理论研究结果,我们开发了一种新的控制变量,扩展到VIMCO。经验上,对于连续和离散生成模型的训练,所提出的方法产生优异的方差减小,从而导致IWAE的SNR随着$K$而增加,而不依赖于重新参数化技巧。在训练生成模型时,新的估计器与最先进的无重新参数化梯度估计器(如重新加权唤醒-睡眠(RWS)和热力学变分目标(TVO))具有竞争力。
2020-12-08 cs.LG stat.ML
On the Convergence and Sample Efficiency of Variance-Reduced Policy Gradient Method
Princeton University(普林斯顿大学);National University of Singapore(新加坡国立大学);University of Alberta(阿尔伯塔大学);Deepmind(深度思维)
策略梯度(PG)产生了丰富的一类强化学习(RL)方法。最近,已经出现了通过\emph{variance reduction}技术来加速现有PG方法(诸如REINFORCE)的趋势。然而,所有现有的方差减少PG方法严重依赖于一个不可检查的重要性权重假设的算法的每一个单一的迭代。本文提出了一种简单的梯度截断机制来解决这个问题。此外,我们设计了一个截断随机增量方差减少的策略梯度(TSIVR-PG)方法,它不仅能够最大化的累积奖励和,但也是一个一般的效用函数的政策的长期访问分布。我们展示了一个$\tilde{\mathcal{O}}(ε^{-3})$样本的复杂性TSIVR-PG找到一个$ε$平稳的政策。通过假设策略的过参数化和利用问题的隐凸性,我们进一步证明了TSIVR-PG在$\tilde{\mathcal{O}}(ε^{-2})$样本下收敛于全局$ε$ -最优策略.
2021-05-27 cs.LG stat.ML
Convergence of Distributed Stochastic Variance Reduced Methods without Sampling Extra Data
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research Asia(微软亚洲研究院)
随机方差缩减方法由于其运行时间复杂性,近年来在经验风险最小化方面得到了广泛的关注。当数据量很大并且不相交地存储在不同的机器上时,分布这种方差减少方法的实现就变得势在必行。在本文中,我们考虑了一个一般的框架,直接分布流行的随机方差减少的方法在主/从模型,通过分配外循环的参数服务器,和工人机器的内循环。这个框架是自然和友好的实现,但其理论上的收敛性还没有得到很好的理解。我们获得了一个全面的了解算法收敛性的数据同质性,通过测量本地和全球损失函数之间的差异的平滑度。我们建立了一个家庭的随机方差减少算法,包括那些使用加速和递归梯度更新,最小化强凸损失的分布式版本的线性收敛。我们的理论捕捉了分布式算法的收敛如何随着机器数量和本地数据大小的变化而变化。此外,我们表明,当数据不平衡时,正则化可以用来确保以较慢的速度收敛。我们还证明,我们的分析可以进一步扩展到处理非凸损失函数。
2020-07-09 cs.LG math.OC stat.ML
Variance-Reduced Off-Policy TDC Learning: Non-Asymptotic Convergence Analysis
University of Utah(犹他大学);University at Buffalo(布法罗大学)
本文针对离策略设定下的双时间尺度TDC算法提出方差缩减方案,分析了其在i.i.d.和马尔可夫样本下的非渐近收敛速率,在两种设定下分别达到匹配最佳下界和接近最优的样本复杂度,且实验表明其渐近收敛误差更小。
2023-05-22 cs.LG math.OC
Minimising quantifier variance under prior probability shift
对于先验概率漂移下的二元患病率量化问题,我们确定了极大似然估计量的渐近方差。我们发现,它是一个函数的Brier分数的回归的类标签的功能下的测试数据集分布。这一观察结果表明,优化基本分类器的准确性,如通过Brier分数测量的,在训练数据集上有助于减少测试数据集上相关量词的方差。因此,我们还指出了基础分类器的训练标准,这意味着训练和测试数据集上的Brier分数都得到了优化。
2021-09-22 cs.LG math.ST stat.ML
Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
扩散概率模型(DPM)代表了一类功能强大的生成模型。尽管他们的成功,DPM的推理是昂贵的,因为它通常需要在数千个时间步长上进行迭代。该方法的一个关键问题是估计逆过程中各时间步的方差。在这项工作中,我们提出了一个令人惊讶的结果,无论是最佳的反向方差和相应的最佳KL分歧的一个共同点有解析形式w.r.t.其评分功能。在此基础上,我们提出了Analytic-Risk,这是一个免训练的推理框架,它使用Monte Carlo方法和预训练的基于分数的模型来估计方差和KL散度的解析形式。此外,为了纠正由基于分数的模型引起的潜在偏差,我们推导出最佳方差的上下界,并剪切估计值以获得更好的结果。从经验上讲,我们的分析算法提高了各种DPM的对数似然性,产生了高质量的样本,同时获得了20倍至80倍的速度提升。
2022-05-03 cs.LG
Variance-Reduced and Projection-Free Stochastic Optimization
Princeton University(普林斯顿大学)
Frank-Wolfe优化算法由于其无投影特性和处理结构化约束的能力,最近在机器学习应用中重新流行起来。然而,在随机学习环境中,与梯度下降对应物相比,它仍然相对研究不足。在这项工作中,利用最近的方差减少技术,我们提出了两个随机弗兰克-沃尔夫变种,大大提高了以前的结果,需要实现$1-ε$精度的随机梯度评估的数量。例如,如果目标函数是光滑的和强凸的,我们从$O(\frac{1}ε)$改进到$O(\ln\frac{1}ε)$,如果目标函数是光滑的和Lipschitz的,我们从$O(\frac{1}{ε^2})$改进到$O(\frac{1}{ε^{1.5}})$。在多类分类应用程序的真实世界数据集上的实验中也观察到了理论上的改进。
2017-09-14 cs.LG
Oracle Complexity Reduction for Model-free LQR: A Stochastic Variance-Reduced Policy Gradient Approach
Columbia University in the City of New York(纽约市哥伦比亚大学)
本文针对无模型LQR问题,提出一种结合单点与两点估计的双环随机方差缩减策略梯度方法,将两点成本查询复杂度降至O(log(1/ε)^β)。
2023-09-19 cs.LG math.OC
Improved Sample Complexity for Stochastic Compositional Variance Reduced Gradient
UC Berkeley(加州大学伯克利分校);Google(谷歌);Princeton University(普林斯顿大学)
凸组合优化是一个新兴的课题,涵盖了随机最优控制,强化学习和多阶段随机规划的广泛应用。现有的算法由于忽略了算法设计中的凸性结构,存在样本复杂度不理想和实际问题。本文提出了一种新的随机组合方差缩减梯度算法,其样本复杂度为$O((m+n)\log(1/ε)+1/ε^3)$,其中$m+n$是总的样本个数.我们的算法是接近最佳的依赖于$m+n$是最佳的对数因子。在真实数据集上的实验结果证明了该算法的有效性和高效性。
2020-08-29 cs.LG math.OC
Variance-Reduced Conservative Policy Iteration
Google Research(谷歌研究院);Princeton(普林斯顿大学);Purdue University(普渡大学);Carnegie Mellon University(卡内基梅隆大学)
我们研究了将强化学习简化为一系列政策空间上的经验风险最小化问题的样本复杂性。这种基于约简的算法在函数空间中表现出局部收敛,而不是在策略梯度算法的参数空间中,因此不受策略类的可能非线性或不连续参数化的影响。我们提出了一个方差减少的保守策略迭代,提高了样本的复杂性产生的$\varepsilon$功能局部最优从$O(\varepsilon^{-4})$到$O(\varepsilon^{-3})$。在状态覆盖和策略完备性假设下,该算法在$O(\varepsilon^{-2})$次采样后具有$\varepsilon$ -全局最优性,改进了先前建立的$O(\varepsilon^{-3})$采样要求.
2023-01-25 cs.AI cs.LG
Variance Reduced Advantage Estimation with $δ$ Hindsight Credit Assignment
University of Alberta(阿尔伯塔大学);Department of Computing Science(计算机科学系)
后见之明信用分配(HCA)是指最近提出的一系列方法,用于在强化学习中产生更有效的信用分配。这些方法的工作原理是明确估计在给定当前信息的情况下过去采取某些行动的概率。先前的工作已经研究了这些方法的特性,并以经验证明了它们的行为。我们延长这项工作,通过引入一个特定的HCA算法,可证明具有较低的方差比传统的蒙特卡罗估计时,必要的功能可以准确地估计。这一结果为HCA的广泛应用提供了强有力的理论基础。
2020-09-28 cs.AI cs.LG
Byzantine-Robust Loopless Stochastic Variance-Reduced Gradient
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
具有开放协作的分布式优化是一个热门领域,因为它为小型团体/公司/大学和个人提供了共同解决大规模问题的机会。然而,标准优化算法在这种设置中是脆弱的,因为可能存在所谓的拜占庭工作者-参与者可以发送(有意或无意)不正确的信息,而不是协议规定的信息(例如,发送反梯度而不是随机梯度)。因此,设计分布式方法的问题与可证明的鲁棒性拜占庭工人最近受到了很多关注。特别是,一些作品认为一个非常有前途的方式来实现拜占庭宽容,通过利用方差减少和强大的聚合。现有的方法使用SAGA-和SARAH-型方差减少估计,而另一种流行的估计- SVRG -没有研究的背景下拜占庭鲁棒性。在这项工作中,我们填补了这方面的空白,在文献中,并提出了一种新的方法-拜占庭鲁棒无环随机方差约简梯度(BR-LSVRG)。我们推导出非渐近收敛保证的新方法在强凸的情况下,并比较其性能与现有的方法在数值实验。
2023-03-08 cs.LG math.OC
Variance-reduced $Q$-learning is minimax optimal
UC Berkeley(加州大学伯克利分校);Voleon Group(沃利恩集团)
我们介绍并分析了一种形式的方差减少$Q$学习。对于具有有限状态空间$\mathcal{X}$和有限动作空间$\mathcal{U}$的$γ$折扣MDP,我们证明了在$\ell_\infty$ -范数下,使用$\mathcal{O} \left(\left(\frac{D}{ ε^2 (1-γ)^3} \right) \; \log \left( \frac{D}{(1-γ)} \right) \right)$样本,得到最优$Q$ -函数的$ε$ -精确估计,其中$D = |\mathcal{X}| \times |\mathcal{U}|$ .这个保证匹配已知的极小极大下界,直到折扣复杂度的对数因子。相比之下,我们过去的工作表明,普通的$Q$ -学习的折扣复杂度的最坏情况下的四次缩放。
2019-08-08 cs.LG math.OC stat.ML
Divergence Results and Convergence of a Variance Reduced Version of ADAM
Industrial Engineering and Management Sciences, Northwestern University, Evanston, IL, USA, 60201(工业工程与管理科学,西北大学,伊利诺伊州埃文斯顿,60201)
本文提出了一种方差减少的ADAM变体,证明其在方差减少条件下收敛,解决了原始ADAM在特定问题上的发散问题。
2026-01-29 cs.LG math.OC
Variance reduced Shapley value estimation for trustworthy data valuation
Virginia Tech(弗吉尼亚理工大学);China Aerospace Academy of Systems Science and Engineering(中国航天系统科学与工程研究院);Southern University of Science and Technology(南方科技大学)
针对数据估值中排列采样算法方差过大的问题,提出基于分层采样的方差缩减数据 Shapley(VRDS)方法,并从理论上分析了其分层策略与样本复杂度,实验证明其在多类数据集和数据移除应用中有效。
2023-05-22 cs.LG stat.ML
Variance-reduced Language Pretraining via a Mask Proposal Network
Peking University(北京大学)
自监督学习,也就是预训练是自然语言处理中的一个重要环节。大多数预训练方法首先随机掩蔽句子中的某些位置,然后训练模型以恢复掩蔽位置处的标记。通过这种方式,模型可以在没有人工标记的情况下进行训练,并且可以使用数十亿个参数的海量数据。因此,优化效率变得至关重要。在本文中,我们从梯度方差降低的角度来解决这个问题。特别是,我们首先提出了一个原则性的梯度方差分解定理,它表明语言预训练的随机梯度的方差可以自然地分解为两项:来自批量数据样本的方差,以及来自掩码采样的方差。第二个术语是自监督学习和监督学习之间的关键区别,这使得预训练速度较慢。为了减少第二部分的方差,我们利用重要性采样策略,其目的是根据建议分布而不是均匀分布对掩码进行采样。可以表明,如果建议分布与梯度范数成比例,则采样的方差减小。为了提高效率,我们引入了MAck建议网络(MAPNet),它近似于最佳掩码建议分布,并与模型一起进行端到端训练。实验结果表明,与传统的BERT模型相比,该模型具有更快的收敛速度和更高的性能。
2020-08-16 cs.CL cs.LG
Variance Reduced Training with Stratified Sampling for Forecasting Models
Cornell University(康奈尔大学);Amazon Web Services (AWS) AI Labs(亚马逊云科技(AWS)人工智能实验室);Amazon Research(亚马逊研究院);University of Pennsylvania(宾夕法尼亚大学)
在大规模的时间序列预测中,人们经常会遇到这样的情况,即时间序列的时间模式随着时间的推移而漂移,在同一数据集中彼此不同。在本文中,我们证明了在这种异质性下,使用常用的随机优化器(例如SGD)训练预测模型可能会在梯度估计上遭受较大的方差,从而导致长时间的训练。我们表明,这个问题可以有效地缓解通过分层,它允许优化器从预先分组的时间序列层采样。为了更好地权衡梯度方差和计算复杂性,我们进一步提出了SCott(随机分层控制变量梯度下降),方差减少SGD风格的优化器,利用分层采样通过控制变量。在理论上,我们提供了光滑非凸目标上SCott的收敛保证。从经验上讲,我们评估SCott和其他基线优化合成和现实世界的时间序列预测问题,并证明SCott收敛速度更快的迭代和挂钟时间。
2021-06-11 cs.LG stat.ML
Communication-efficient Variance-reduced Stochastic Gradient Descent
KTH Royal Institute of Technology(瑞典皇家理工学院)
我们考虑的通信效率的分布式优化问题,多个节点交换重要的算法信息,在每次迭代,以解决大的问题。特别是,我们专注于随机方差降低梯度,并提出了一种新的方法,使其通信效率。也就是说,我们将通信信息压缩到几个比特,同时保持原始未压缩算法的线性收敛速度。通过对真实数据集的理论分析和数值计算表明,该算法可以显著降低通信复杂性,降低幅度高达95%,且几乎没有明显的损失.此外,它是更强大的量化(在保持真正的最小值和收敛速度方面)比最先进的算法解决分布式优化问题。我们的研究结果对于在物联网和移动网络上使用机器学习具有重要意义。
2020-03-10 cs.DC cs.LG
A Bias-Variance-Covariance Decomposition of Kernel Scores for Generative Models
German Cancer Research Center (DKFZ)(德国癌症研究中心);German Cancer Consortium (DKTK)(德国癌症联盟);Goethe University Frankfurt(法兰克福大学);Frankfurt Cancer Institute (FCI)(法兰克福癌症研究所)
针对生成模型缺乏不确定性评估理论框架的问题,提出核分数的偏差-方差-协方差分解,推导核方差与熵的无偏一致估计量,经多模态实验验证其性能优于基线且适用于闭源模型。
2024-07-10 cs.LG stat.ML
Bias-Variance Reduced Local SGD for Less Heterogeneous Federated Learning
NTT DATA Mathematical Systems Inc.(NTT数据数学系统公司);The University of Tokyo(东京大学);RIKEN(理化学研究所)
近年来,局部SGD算法在分布式学习领域得到了广泛的研究,以克服分布式学习中的通信瓶颈问题。然而,本地SGD的优越性,minibatch SGD只在相当有限的情况下举行。本文研究了一种新的求解非凸分布优化问题的局部算法--偏差方差缩减局部SGD(Bias-Variance Reduced Local SGD,BVR-L-SGD)。从理论上讲,我们提出的偏差和方差减少的局部梯度估计器充分利用了局部目标的二阶异质性,并建议随机选取一个局部模型,而不是在工人同步时取其平均值。理论上,在局部目标的异质性较小的情况下,我们证明了BVR-L-SGD在温和的条件下比以前的非局部方法和局部方法具有更好的通信复杂性,特别是BVR-L-SGD是第一个在异质性较小和局部计算预算较大的情况下,突破一般非凸光滑目标通信复杂性度$Θ(1/\varepsilon)$障碍的方法.数值结果验证了理论结果,并给出了经验证据的优越性,我们的方法。
2021-06-14 cs.LG math.OC
Stochastic Variance-Reduced ADMM
Hong Kong University of Science and Technology(香港科技大学)
交替方向乘子法(ADMM)是机器学习中一种有效的优化求解方法。最近,随机ADMM已经与随机梯度的方差缩减方法相结合,导致SAG-ADMM和SDCA-ADMM具有快速收敛速度和低迭代复杂度。但是,它们的空间要求仍然很高。在本文中,我们提出了一个集成的ADMM与随机方差约减梯度(SVRG)的方法。与SCAS-ADMM不同的是,该算法保留了SAG-ADMM和SDCA-ADMM的快速收敛优点,但其存储要求非常低,甚至与样本大小$n$无关。我们还将所提出的方法推广到非凸问题,并得到了$O(1/T)$的收敛速度。实验结果表明,该算法与SAG-ADMM和SDCA-ADMM一样快,比SCAS-ADMM快得多,并且可以用于更大的数据集。
2016-10-16 cs.LG math.OC stat.ML
Stochastic variance reduced extragradient methods for solving hierarchical variational inequalities
Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机学研究所);Mannheim University(曼海姆大学);Technion - Israel Institute of Technology(以色列理工学院)
本文提出了一种随机方差减少外梯度法,用于求解分层变分不等式问题,首次证明了该方法在欧几里得和Bregman设置下的收敛速率和复杂性。
2026-02-13 cs.GT cs.LG math.OC