Improved Analysis and Rates for Variance Reduction under Without-replacement Sampling Orders
University of Pennsylvania(宾夕法尼亚大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Tsinghua University(清华大学)
当应用随机算法时,必须选择一个顺序来抽取样本。实际的选择是无替换采样顺序,这是经验上更快,更缓存友好比均匀iid采样,但往往有较差的理论保证。无替换抽样仅适用于无方差缩减的SGD。本文改进了复合有限和最小化问题在无替换抽样序下的收敛性分析和方差缩减率。我们的结果是双重的。首先,我们开发了一个阻尼的变种,称为Prox-Dendo,并建立其收敛速度与随机重排,循环采样,洗牌一次,凸和强凸的情况下。这些速率与全批次梯度下降匹配,并且与方差缩减的无替换采样的现有结果相比是最先进的。其次,我们的分析可以衡量循环顺序将如何影响循环采样率,因此,允许我们导出最佳固定顺序。在数据高度异构的情况下,最佳循环采样的Prox-Daptto可以获得与样本大小无关的收敛速度,据我们所知,这是第一个可以与方差减少的均匀iid采样相匹配的结果。我们还提出了一个实用的方法来发现最佳的循环顺序数值。
2021-10-26 cs.LG math.OC
On the Importance of Sampling in Training GCNs: Tighter Analysis and Variance Reduction
Pennsylvania State University(宾夕法尼亚州立大学)
图卷积网络(GCN)在各种半监督节点分类任务中取得了令人印象深刻的经验进步。尽管它们取得了巨大的成功,但在大型图上训练GCN存在计算和内存问题。规避这些障碍的一个潜在途径是基于采样的方法,其中在每一层对节点的子集进行采样。虽然最近的研究已经从经验上证明了基于采样的方法的有效性,但这些工作在现实环境下缺乏理论上的收敛保证,并且不能充分利用优化过程中不断变化的参数的信息。在本文中,我们描述和分析了一个一般的双方差减少模式,可以加速任何采样方法下的内存预算。所提出的模式的激励动力是仔细分析的抽样方法的方差,它表明,诱导方差可以分解成节点嵌入近似方差(零阶方差)在前向传播和分层梯度方差(一阶方差)在后向传播。我们从理论上分析了所提出的模式的收敛性,并表明它享有$\mathcal{O}(1/T)$收敛速度。我们补充我们的理论结果,将所提出的模式在不同的采样方法,并将其应用到不同的大型现实世界的图。
2021-11-01 cs.AI cs.CV cs.LG
Variance Reduction in Stochastic Particle-Optimization Sampling
Fudan University(复旦大学);SUNY at Buffalo(纽约州立大学布法罗分校)
随机粒子优化采样(SPOS)是最近发展起来的可扩展贝叶斯采样框架,它统一了基于Wasserstein梯度流的随机梯度MCMC(SG-MCMC)和Stein变分梯度下降(SVGD)算法。SPOS算法采用严格的非渐近收敛理论,避免了SVGD算法的粒子坍缩缺陷。然而,SPOS的方差减少从未被研究过。在本文中,我们提出了几个方差减少技术SPOS弥合差距。具体来说,我们提出了三种变体的方差减少SPOS,称为SAGA粒子优化采样(SAGA-POS),SVRG粒子优化采样(SVRG-POS)和SVRG-POS的变体,它避免了完整的梯度计算,表示为SVRG-POS $^+$。重要的是,我们根据2-Wasserstein度量为这些算法提供了非渐进收敛保证,并分析了它们的复杂性。值得注意的是,结果表明,我们的算法比随机Langevin动力学的现有方差减少变体产生更好的收敛速度,即使需要更多的空间来存储训练中的粒子。我们的理论与合成和真实数据集上的实验结果一致。
2018-11-20 cs.LG stat.ML
ReVar: Strengthening Policy Evaluation via Reduced Variance Sampling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究了马尔可夫决策过程中用于政策评估的数据汇集问题。在策略评估中,我们被赋予一个目标策略,并被要求估计它在形式化为MDP的环境中将获得的预期累积回报。我们开发理论的最佳数据汇集类的树结构的MDP首先推导出一个Oracle数据汇集策略,使用知识的回报分布的方差。然后,我们介绍了减少方差采样(ReVar)算法,该算法近似的预言机策略时,奖励方差是未知的先验和约束其次优的预言机策略相比。最后,我们经验验证,ReVar导致政策评估的均方误差与Oracle策略相当,并显着低于简单地运行目标策略。
2022-06-17 cs.LG
Variance Reduction in SGD by Distributed Importance Sampling
Université de Montréal(蒙特利尔大学)
人类能够通过选择信息量最大且难度适当的培训材料来加速学习。我们提出了一个分布式深度学习的框架,其中一组工作人员并行搜索信息量最大的示例,而单个工作人员根据重要性抽样选择的示例更新模型。这导致模型使用梯度的无偏估计来更新,当采样建议与梯度的L2范数成比例时,该梯度的无偏估计也具有最小方差。我们的实验表明,这种方法降低梯度方差,即使在机器之间的同步成本不能忽略的情况下,其中的重要性抽样的因素没有立即更新整个训练集。
2016-04-16 cs.LG stat.ML
Zeroth-Order Non-Log-Concave Sampling with Variance Reduction and Applications to Inverse Problems
Elmore School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA(电子工程学院,普渡大学,西拉法叶,美国);Weldon School of Biomedical Engineering, Purdue University, West Lafayette, USA(生物医学工程学院,普渡大学,西拉法叶,美国)
针对黑盒设置下非对数凹分布采样中梯度不可访问且经典零阶估计器方差大的问题,提出方差缩减的零阶朗之万采样方法,首次建立非渐近收敛保证,并应用于逆问题后验采样。
2026-05-28 cs.LG
Variance Matters: Improving Domain Adaptation via Stratified Sampling
Institute of Sound and Vibration Research(声学与振动研究所);University of Southampton(南安普顿大学)
本文提出VaRDASS方法,通过分层抽样减少领域适应中的方差,提升领域差异估计精度和目标领域性能。
2025-12-04 cs.LG
Low Variance Off-policy Evaluation with State-based Importance Sampling
Agency for Science, Technology and Research(新加坡科技研究局);Manning College of Information and Computer Sciences(曼宁信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出基于状态的重要性采样方法,通过在计算重要性权重时丢弃部分状态来降低方差,并展示了其在多种离线策略评估估计器中的变体,实验证明该方法能一致降低方差并提升准确性。
2024-05-04 cs.AI cs.LG
Stable Thompson Sampling: Valid Inference via Variance Inflation
本文提出稳定汤普森采样方法,通过方差膨胀实现有效参数推断,尽管数据非独立同分布,仍能获得渐近正态估计,同时仅小幅增加后悔值。
2026-03-15 cs.LG stat.ML
Sampling and Update Frequencies in Proximal Variance-Reduced Stochastic Gradient Methods
Lund University(隆德大学)
方差缩减随机梯度法近年来得到了广泛的应用。存在几种变体,具有不同的梯度存储和采样策略,这项工作涉及这两个方面之间的相互作用。我们提出了一种通用的邻近方差-约化梯度法,并在强凸性假设下对其进行了分析。该算法的特殊情况包括SAGA,L-SVRG及其近端变体。我们的分析揭示了历元长度的选择以及平衡迭代收敛与梯度存储频率的需要。该分析改善了文献中发现的其他收敛速度,并产生了一个新的和更快的收敛采样策略SAGA。预测率与实际率相同的问题实例与基于现实世界数据的问题一起提出。
2022-10-18 cs.LG math.OC
Efficient Backpropagation with Variance-Controlled Adaptive Sampling
Tsinghua University(清华大学);Tsinghua-Bosch Joint ML Center(清华-博世联合机器学习中心)
本文提出方差控制的自适应采样方法 VCAS,通过逐层重要性采样和杠杆分数采样加速反向传播,并在训练中联合学习采样比例以控制方差,在保持训练精度和损失轨迹的同时显著降低 FLOPs。
2024-02-27 cs.LG
Importance Sampling Placement in Off-Policy Temporal-Difference Methods
University of Alberta(阿尔伯塔大学)
将许多非策略强化学习算法应用于现实世界问题的一个核心挑战是由重要性采样引入的方差。在离策略学习中,代理学习与正在执行的策略不同的策略。为了说明差异,通常使用重要性采样比率,但是这会增加算法中的方差并降低学习速率。已经提出了重要性采样的几种变体来减少方差,其中每决策重要性采样是最流行的。然而,在文献中的更新规则,大多数政策外的算法离开每决策重要性采样在一个微妙的方式,他们纠正整个TD的错误,而不仅仅是TD的目标。在这项工作中,我们展示了如何将这种轻微的变化解释为TD目标的控制变量,减少方差并提高性能。在广泛的算法上的实验表明,这种微妙的修改会提高性能。
2022-06-16 cs.LG
Only Pay for What Is Uncertain: Variance-Adaptive Thompson Sampling
Apple ML Research(苹果机器学习研究院);TTI, Chicago(芝加哥丰田理工学院);AWS AI Labs(亚马逊云科技人工智能实验室)
针对奖励方差未知且异构的高斯赌博机问题,提出方差自适应汤普森采样算法,利用先验知识实现更低的贝叶斯遗憾,并通过实验验证其优越性与鲁棒性。
2023-10-12 cs.LG
Understanding the Curse of Horizon in Off-Policy Evaluation via Conditional Importance Sampling
Stanford University(斯坦福大学);Mila - University of Montreal(米拉研究所 - 蒙特利尔大学)
使用重要性采样(IS)的非策略策略估计器可能会在长时间域中遭受高方差,并且对利用马尔可夫决策过程结构的新IS方法特别兴奋。我们通过条件蒙特卡罗的观点分析了最流行的方法的方差。令人惊讶的是,我们发现在有限时域MDP中,每决策重要性采样或平稳重要性采样与普通重要性采样相比,没有严格的方差减少。然后,我们提供了充分的条件下,每决策或平稳估计将可证明减少方差重要性采样有限的视野。对于渐近(在地平线$T$)的情况下,我们开发的上限和下限的方差的估计产生的充分条件下,存在一个指数与。重要性采样方差与预决策估计量方差或平稳估计量方差之间的多项式间隙。这些结果有助于推进我们的理解,如果和新类型的IS估计将提高离政策估计的准确性。
2020-06-06 cs.LG stat.ML
Online Variance Reduction with Mixtures
ETH Zurich(苏黎世联邦理工学院)
自适应重要性采样是一种很有前途的随机优化方法,通过减少方差来提高收敛性。在这项工作中,我们提出了一个新的方差减少框架,使混合物的使用超过预定义的采样分布,它可以自然地编码有关数据的先验知识。虽然这些采样分布是固定的,但在优化过程中会调整混合权重。我们提出了VRM,一种新的和有效的自适应方案,渐近恢复最好的混合权重在事后,也可以适应采样分布在点集。我们以经验证明了VRM在一系列应用中的多功能性。
2019-03-29 cs.LG stat.ML
Constant Step Size Least-Mean-Square: Bias-Variance Trade-offs and Optimal Sampling Distributions
École Normale Supérieure(巴黎高等师范学院)
我们考虑最小二乘回归问题,并提供了一个详细的渐近分析的性能平均恒定步长随机梯度下降(又名。最小均方)。在强凸的情况下,我们提供了一个渐近展开显式指数衰减条款。我们的分析导致新的见解随机近似算法:(a)它给出了一个更严格的限制,允许的步长;(b)泛化误差可以分为一个方差项,这是衰减为O(1/n),独立于步长$γ$,和一个偏差项,衰减为O(1/n(1/ $γ$ 2 n 2);(c)当允许非均匀采样时,好的采样密度的选择取决于方差或偏差项是否占主导地位。特别是,当方差项占主导地位时,最佳采样密度不会带来太多增益,而当偏差项占主导地位时,我们可以选择更大的步长,从而带来显着的改善。
2014-11-29 cs.LG math.OC stat.ML
Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University(斯坦福大学)
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中,我们探讨了一种技术,使用相关的,但更有代表性的样本,以减少估计方差。具体来说,我们将展示如何生成对偶样本,匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合,我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Clustered Sampling: Low-Variance and Improved Representativity for Clients Selection in Federated Learning
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);Accenture Labs(埃森哲实验室)
研究了联邦学习中服务器和客户端之间通信的优化问题。当前FL中的采样方法在服务器-客户端通信和训练稳定性方面要么是有偏差的,要么是非最优的。为了克服这个问题,我们引入了\textit{clustered sampling}用于客户端选择。我们证明,聚类抽样导致更好的客户端的代表性和降低方差的客户端随机聚集的权重FL。与我们的理论相一致,我们提供了两种不同的聚类方法,使客户端聚集的基础上1)样本大小,和2)模型的相似性。通过在非iid和不平衡场景下的一系列实验,我们证明了与标准采样方法相比,通过聚类采样的模型聚合始终导致更好的训练收敛性和可变性。我们的方法不需要在客户端进行任何额外的操作,并且可以无缝集成到标准FL实现中。最后,聚类采样与用于隐私增强的现有方法和技术兼容,并且通过模型压缩用于通信减少。
2021-05-21 cs.AI cs.LG
Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance
University of Electronic Science and Technology of China(电子科技大学);Fudan University(复旦大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Meta AI;The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出首个采用独立采样过程的自适应客户端采样器 K-Vib,通过在线方差缩减提升联邦学习收敛速度,在通信预算内实现线性加速,实验显示其速度较基线算法提升一倍。
2024-08-31 cs.LG
Hierarchical Estimation for Effective and Efficient Sampling Graph Neural Network
Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS)(中国科学院计算技术研究所)
提高GNN的可扩展性对于大型图至关重要。现有的方法利用三种抽样范式,包括逐点抽样,逐层抽样和子图抽样,然后设计无偏估计的可扩展性。然而,高方差仍然严重阻碍了GNN的性能。针对以往研究缺乏方差分析或只关注某一特定抽样范式的问题,提出了一个统一的节点抽样方差分析框架,分析了最小方差抽样的核心挑战“循环依赖”,即最小方差抽样的循环依赖性。例如,采样概率取决于节点嵌入,而节点嵌入直到采样完成才能计算。现有的研究要么忽略节点嵌入,要么引入外部参数,导致缺乏一种既高效又有效的方差缩减方法。因此,我们提出了基于\textbf{S}的\textbf{H}算法\textbf{E}估计的广义广义图神经网络(HE-SGNN),第一层估计节点嵌入的采样概率,以打破循环依赖,第二层利用采样GNN算子估计节点在整个图上的表示.考虑到技术上的差异,我们提出了不同的第一层估计,即,分层采样的时间序列模拟和子图采样的基于特征的模拟。在7个有代表性的数据集上的实验结果证明了该方法的有效性和效率。
2022-11-16 cs.AI cs.LG
Ranked Set Sampling-Based Multilayer Perceptron: Improving Generalization via Variance-Based Bounds
Institute of Big Data Science and Industry(大数据科学与产业研究院);Shanxi University(山西大学);Key Laboratory of Evolutionary Science Intelligence of Shanxi Province(山西省进化智能重点实验室)
本文提出基于秩次集抽样的 RSS-MLP,通过在训练集中引入有序结构降低经验损失方差,并在十二个基准数据集上验证其泛化性能。
2025-08-28 cs.LG
Minimal Variance Sampling in Stochastic Gradient Boosting
Yandex(Yandex(俄罗斯搜索引擎公司,可译为扬德克斯));Moscow Institute of Physics and Technology(莫斯科物理技术学院);Sberbank(俄罗斯联邦储蓄银行)
随机梯度提升(SGB)是一种广泛使用的基于决策树的提升模型正则化方法。结果表明,在许多情况下,在每次迭代随机抽样可以导致更好的泛化性能的模型,也可以减少学习时间。提出了不同的抽样方法,其中概率不统一,目前还不清楚哪种方法最有效。在本文中,我们制定的随机化问题,在SGB的抽样概率的优化,以最大限度地提高估计精度的分裂评分用于训练决策树。这个优化问题有一个封闭形式的近似最优解,它导致了一种新的采样技术,我们称之为最小方差采样(MVS)。与现有的采样方法相比,该方法既减少了每次提升迭代所需的示例数量,又显著提高了模型的质量。该算法的优越性通过将MVS引入CatBoost中作为子采样的新默认选项得到了证实,CatBoost是一种梯度提升库,可在各种机器学习任务中实现最先进的质量。
2019-10-29 cs.LG stat.ML
Gaussian Flow-Matching Schedules: Implications for Sampling and Training
CNRS(法国国家科学研究中心);ENS Paris(巴黎高等师范学院);Capital Fund Management(资本基金管理公司);Laboratoire de Mathématiques d’Orsay(奥赛数学实验室);Université Paris-Saclay(巴黎萨克雷大学);Institut Universitaire de France(法国大学研究院);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
本文研究流匹配调度对采样与训练的影响,将调度分解为方差路径和分解,推导采样精度界及最优训练分解。
2026-09-23 cs.LG
Optimizing Chain-of-Thought Reasoners via Gradient Variance Minimization in Rejection Sampling and RL
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Salesforce AI Research(Salesforce人工智能研究)
本文提出 GVM-RAFT 动态样本分配策略,通过监测提示接受率与梯度范数最小化随机梯度方差,在数学推理上较 RAFT 实现 2-4 倍加速和准确率提升,并可推广至 GRPO 等强化学习算法。
2025-05-05 cs.AI cs.CL cs.LG
Histogram-Based Federated XGBoost using Minimal Variance Sampling for Federated Tabular Data
Corporate Research and Development DENSO Automotive Deutschland GmbH(电装德国有限公司企业研发部门)
本文提出基于直方图的联邦XGBoost方法,引入最小方差采样(MVS)替代随机采样,在联邦表格数据上同时提升局部与全局准确率和回归性能,并在一半案例中优于集中式XGBoost。
2024-05-03 cs.LG
Case-Base Neural Networks: survival analysis with time-varying, higher-order interactions
McGill University(麦吉尔大学);University of Manitoba(曼尼托巴大学)
提出Case-Base神经网络(CBNNs),结合Case-Base采样与深度学习,通过设计估计时变效应和复杂基线风险,为单事件生存分析提供简单灵活的数据驱动建模框架。
2024-01-09 cs.LG stat.ML
Sampling-free Epistemic Uncertainty Estimation Using Approximated Variance Propagation
Technical University Munich(慕尼黑工业大学);Autonomous Intelligent Driving GmbH(自主智能驾驶有限公司);Google(谷歌)
提出了一种计算神经网络认知不确定性的无采样方法。认知不确定性是在安全关键型应用中部署深度神经网络的重要数量,因为它代表了人们可以在多大程度上信任对新数据的预测。最近提出了有前途的工作,使用噪声注入结合蒙特卡洛采样在推理时间来估计这个数量(例如蒙特卡洛dropout)。我们的主要贡献是近似的认识不确定性估计这些方法,不需要采样,从而显着降低了计算开销。我们将我们的方法应用于大规模的视觉任务(即,语义分割和深度回归),以证明我们的方法相比,基于采样的方法在质量的不确定性估计以及计算开销方面的优势。
2019-12-02 cs.LG stat.ML
Thompson Sampling Algorithms for Mean-Variance Bandits
Institute of Operations Research and Analytics, National University of Singapore(新加坡国立大学运筹学与分析研究所);Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系);Department of Mathematics, National University of Singapore(新加坡国立大学数学系)
多臂强盗(MAB)问题是一个经典的学习任务,它体现了探索与开发的权衡。但是,标准制剂未考虑{ \em风险}。在在线决策系统中,风险是首要关注的问题。在这方面,均值-方差风险度量是最常见的目标函数之一。在MAB问题的背景下,现有的均值-方差优化算法对奖励分布有不切实际的假设。我们开发了均值方差MAB的汤普森采样式算法,并提供了更少的假设高斯和伯努利土匪全面的遗憾分析。我们的算法实现了最著名的遗憾界的均值方差MABs,也达到了信息理论界在某些参数制度。实证模拟表明,我们的算法显着优于现有的基于LCB的算法的所有风险容忍度。
2020-08-03 cs.IT cs.LG math.IT
Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling
Amazon Music ML(亚马逊音乐机器学习部门)
Plackett-Luce(PL)模型在学习排名(LTR)中无处不在,因为它提供了一个有用且直观的概率模型来对排名列表进行采样。反事实离线评估和优化排名指标是在生产中使用LTR方法的关键。当采用PL模型作为排名策略时,这两个任务都需要计算模型的期望值。这些通常是近似通过蒙特卡洛(MC)抽样,因为组合缩放的项目数量进行排名,使他们的分析计算棘手。尽管最近在通过Gumbel top-k技巧提高采样过程的计算效率方面取得了进展,但MC估计可能会受到高方差的影响。我们开发了一种新的方法,以产生更多的样本有效的期望在PL模型的估计相结合的Gumbel top-k技巧与准蒙特卡罗(QMC)抽样,一个行之有效的技术减少方差。我们从理论上和经验上使用来自亚马逊音乐和雅虎学习排名挑战的真实推荐数据来说明我们的发现。
2022-05-12 cs.IR cs.LG stat.CO
Sampling-Free Variational Inference of Bayesian Neural Networks by Variance Backpropagation
Heidelberg University(海德堡大学);Özyeğin University(厄兹耶因大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
我们提出了一个新的贝叶斯神经网络制定,提供变分推断的证据下限是分析易处理的紧近似。我们通过(i)将ReLU非线性分解为恒等式和Heaviside阶跃函数的乘积,(ii)引入一个单独的路径,将神经网络期望从其方差中分解出来。我们正式证明,引入单独的潜在的二进制变量的激活允许代表的神经网络的可能性作为一个链的线性操作。执行变分推断上的这种结构,使一个采样自由计算的证据下限,这是一个更有效的近似比广泛应用的蒙特卡罗采样和CLT相关技术。我们评估了一系列回归和分类任务对BNN推理替代模型,表现出竞争力或改进的性能超过目前最先进的。
2019-06-12 cs.LG stat.ML
Variance Reduction for Better Sampling in Continuous Domains
Facebook Artificial Intelligence Research (FAIR)(Facebook人工智能研究院(FAIR));PSL, Université Paris-Dauphine(巴黎文理研究大学巴黎多菲纳大学);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
实验设计、随机搜索、基于群体的方法的初始化或进化算法的一个时期内的采样都使用根据某种概率分布抽取的样本来近似最优位置。最近的论文表明,用于抽样的最佳搜索分布可能比先验分布更接近分布中心,而先验分布则模拟了我们对最佳位置的不确定性。我们证实了这一说法,提供明确的价值观,这种重塑的搜索分布取决于人口规模$λ$和尺寸$d$,并验证我们的实验结果。
2020-04-24 cs.LG cs.NE stat.ML
Variance-Tilted Diffusion Models for Diverse Sampling
Department of Statistics, University of Oxford, Oxford, UK(牛津大学统计学系)
提出方差加权批分布,通过Doob h-变换导出交互粒子采样器,在扩散模型中实现多样化采样,具有透明概率目标。
2026-06-23 cs.LG stat.ML
Online Variance Reduction for Stochastic Optimization
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系)
现代随机最优化方法通常依赖于均匀采样,这对数据的基本特征是不可知的。这可能会降低收敛性,因为会产生具有高方差的估计值。一种可能的补救方法是采用非均匀重要性抽样技术,该技术考虑了数据集的结构。在这项工作中,我们研究了最近提出的设置,构成方差减少作为一个在线优化问题与强盗反馈。我们设计了一种新的和有效的算法,这种设置,找到一个序列的重要性抽样分布的竞争力与最好的固定分布在事后,这种结果的第一个。虽然我们提出了对数据点进行采样的方法,但它自然地扩展到选择坐标甚至其块。经验验证强调了我们的方法在几种情况下的好处。
2018-06-06 cs.LG stat.ML
Variance Reduced Training with Stratified Sampling for Forecasting Models
Cornell University(康奈尔大学);Amazon Web Services (AWS) AI Labs(亚马逊云科技(AWS)人工智能实验室);Amazon Research(亚马逊研究院);University of Pennsylvania(宾夕法尼亚大学)
在大规模的时间序列预测中,人们经常会遇到这样的情况,即时间序列的时间模式随着时间的推移而漂移,在同一数据集中彼此不同。在本文中,我们证明了在这种异质性下,使用常用的随机优化器(例如SGD)训练预测模型可能会在梯度估计上遭受较大的方差,从而导致长时间的训练。我们表明,这个问题可以有效地缓解通过分层,它允许优化器从预先分组的时间序列层采样。为了更好地权衡梯度方差和计算复杂性,我们进一步提出了SCott(随机分层控制变量梯度下降),方差减少SGD风格的优化器,利用分层采样通过控制变量。在理论上,我们提供了光滑非凸目标上SCott的收敛保证。从经验上讲,我们评估SCott和其他基线优化合成和现实世界的时间序列预测问题,并证明SCott收敛速度更快的迭代和挂钟时间。
2021-06-11 cs.LG stat.ML
Variance Reduction for Non-Log-Concave Sampling with Applications to Inverse Problems
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院);School of Electrical and Computer Engineering, University of Southern California(南加州大学电气与计算机工程学院);School of Biomedical Engineering, Purdue University(普渡大学生物医学工程学院)
针对非对数凹分布采样中随机梯度高方差问题,提出统一分析动量、STORM和PAGE等方差缩减方法,证明其在相对Fisher信息和非平方总变差距离下的改进收敛率,并扩展至基于得分的生成先验逆问题求解。
2026-06-16 cs.AI cs.LG
From Importance Sampling to Doubly Robust Policy Gradient
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们表明,对政策的策略梯度(PG)和它的方差减少变量可以通过采取有限差分的功能评估提供的估计从重要性采样(IS)家庭的政策外评估(OPE)。从双重稳健(DR)估计量(Jiang & Li,2016)开始,我们提供了一种非常通用和灵活的PG形式的简单推导,其中包含了最先进的方差缩减技术(Cheng et al.,2019年)作为其特例,并立即暗示了现有文献所忽视的进一步降低方差的机会。我们分析了新的DR-PG估计的方差,将其与现有的方法以及策略梯度的Cramer-Rao下界进行了比较,并实证表明了其有效性。
2020-06-24 cs.LG stat.ML
Hierarchical graph sampling based minibatch learning with chain preservation and variance reduction
Xiamen University Tan Kah Kee College(厦门大学嘉庚学院);Xiamen University(厦门大学)
本文提出HIS_GCNs,一种基于层次重要性采样的图卷积网络小批量学习方法,通过保留核心中心与外围链并最大化Ollivier-Ricci曲率,实现低节点嵌入方差和高收敛速度,在节点分类任务上取得更优的准确率与训练效率。
2025-07-05 cs.LG
Reanalysis of Variance Reduced Temporal Difference Learning
The Ohio State University(俄亥俄州立大学);The University of Utah(犹他大学)
时间差分(TD)学习是强化学习中用于策略评估的流行算法,但是普通TD实质上会受到固有优化方差的影响。Korda和La(2015)提出了一种方差缩减TD(VRTD)算法,该算法将方差缩减技术直接应用于马尔可夫样本的在线TD学习。在这项工作中,我们首先指出了Korda和La(2015)在VRTD分析中的技术错误,然后提供了VRTD非渐近收敛及其方差减少性能的数学分析。我们证明了VRTD保证以线性收敛速度收敛到TD不动点解的邻域。此外,方差误差(对于i.i.d.\和马尔可夫抽样)和偏差误差(马尔可夫抽样)的VRTD显着降低了批量的方差减少相比,香草TD。结果表明,VRTD获得给定精确解的总体计算复杂性优于马尔可夫采样下的TD,优于独立同分布下的TD。抽样为一个足够小的条件数。
2020-01-10 cs.LG stat.ML
Finite-Sample Unbiased Variance of MMD under Unbalanced Sampling: Exact Estimation and Quasi-Linear Computation
Taihang Laboratory(太行实验室)
本文提出了一种统一的MMD方差估计方法,通过U统计量和Hoeffding分解,实现对不平衡数据和不同假设下的鲁棒有限样本性能,并在单变量情况下通过拉普拉斯核将计算复杂度降低到O(n log n)。
2026-09-17 cs.LG stat.ML
Variance-Reduction Guidance: Sampling Trajectory Optimization for Diffusion Models
College of Computing;Data Science, Nanyang Technological University Singapore;Institute for Infocomm Research (I2R) \& Centre for Frontier AI Research, A STAR Singapore liu\
针对扩散模型采样中预测误差累积导致生成质量下降的问题,提出方差缩减引导(VRG)方法,无需微调即可优化采样轨迹,显著提升生成质量。
2025-10-20 cs.AI cs.LG
Variance-Reduced Diffusion Sampling via Target Score Identity
The Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校奥登计算工程与科学研究所)
本文提出通过目标分数身份实现扩散采样中的方差缩减,结合非参数重要性采样和状态依赖的混合规则,提升样本质量。
2026-01-22 cs.LG stat.ML
Bandit Samplers for Training Graph Neural Networks
Ant Financial Services Group(蚂蚁金融服务集团);Georgia Institute of Technology(佐治亚理工学院)
为了加快图卷积网络的训练速度,提出了几种具有方差缩减的采样算法。然而,由于最优采样分布的棘手计算,这些采样算法对于GCN是次优的,并且不适用于更一般的图神经网络(GNN),其中消息聚合器包含学习的权重而不是固定的权重,例如图注意力网络(GAT)。其根本原因在于,最佳采样分布中涉及的邻居或学习权重的嵌入在训练期间发生变化,并且先验未知,但在采样时仅部分观察到,因此使得最佳方差减少的采样器的推导非平凡。在本文中,我们制定的采样方差的优化作为一个对手的强盗问题,其中的奖励与节点嵌入和学习的权重,并可以不断变化。因此,一个好的采样器需要获取更多邻居的方差信息(探索),同时优化即时采样方差(利用)。我们从理论上表明,我们的算法渐近接近最佳方差的一个因素内的3。我们展示了我们的方法在多个数据集上的效率和有效性。
2020-06-11 cs.LG stat.ML
ReSWD: ReSTIR'd, not shaken. Combining Reservoir Sampling and Sliced Wasserstein Distance for Variance Reduction
Stability AI;University of Tübingen(图宾根大学)
针对高维分布下SWD蒙特卡洛估计器方差高、梯度噪声大、收敛慢的问题,提出结合加权储层采样的ReSWD方法,自适应保留信息投影方向,在无偏前提下稳定梯度,在合成基准和色彩校正等任务中表现优于现有方法。
2025-10-01 cs.CV cs.GR cs.LG
Stochastic Gradient Estimate Variance in Contrastive Divergence and Persistent Contrastive Divergence
Aalto University(阿尔托大学)
对比发散(CD)和持续对比发散(PCD)是训练受限玻尔兹曼机权值的常用方法。然而,这两种方法都使用近似方法从模型分布中进行采样。作为一个副作用,这些近似产生显着不同的偏差和方差的随机梯度估计的个别数据点。众所周知,CD产生有偏梯度估计。然而,在本文中,我们的经验表明,CD具有较低的随机梯度估计方差比精确采样,而随后的PCD估计的平均值具有较高的方差比精确采样。结果给出了一个解释的发现,CD可以使用更小的小批量或更高的学习率比PCD。
2014-02-14 cs.LG cs.NE stat.ML
Stochastic Optimization with Bandit Sampling
EPFL(洛桑联邦理工学院)
许多随机优化算法通过从训练集中均匀随机地采样数据点来动态地估计成本函数的梯度。然而,估计器可能具有较大的方差,这无意中减慢了算法的收敛速度。减少这种差异的一种方法是从精心选择的非均匀分布中对数据点进行采样。在这项工作中,我们提出了一种新的非均匀采样方法,使用多臂强盗框架。理论上,我们表明,我们的算法渐近近似的最佳方差的一个因素内的3。经验上,我们表明,使用这种数据点选择技术的结果显着减少收敛时间和方差的几个随机优化算法,如SGD,SVRG和SAGA。这种采样数据点的方法是通用的,可以与任何使用无偏梯度估计的算法结合使用-我们希望它具有广泛的适用性,超出了本工作中探索的具体示例。
2017-08-09 cs.AI cs.LG math.OC
Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
我们研究分布式优化算法,最大限度地减少平均分布在几台机器上的\emph{heterogeneous}功能,重点是通信效率。在这样的设置中,天真地使用经典的随机梯度下降(SGD)或其变体(例如,SVRG)的机器的均匀采样通常会产生较差的性能。这往往导致收敛速度依赖于跨设备梯度的最大Lipschitz常数。在本文中,我们提出了一种新的\emph{adaptive}采样的机器专门迎合这些设置。我们的方法依赖于一个自适应估计的局部Lipschitz常数的基础上过去的梯度信息。我们表明,新的方法提高了收敛速度的依赖性从最大Lipschitz常数\emph{average} Lipschitz常数跨机器,从而显着加快收敛。我们的实验表明,我们的方法确实加快了标准SVRG算法在异构环境中的收敛速度。
2020-11-17 cs.LG math.OC stat.ML
Efficient and Unbiased Sampling from Boltzmann Distributions via Variance-Tuned Diffusion Models
University of Cambridge(剑桥大学);Ångström AI(安格斯特罗姆人工智能)
本文提出方差调谐扩散重要性采样(VT-DIS),通过最小化前向扩散与反向去噪轨迹间的 $α$-散度来调整预训练扩散模型的噪声协方差,以极低计算开销实现玻尔兹曼分布的无偏高效采样。
2025-11-07 cs.LG stat.ML
Self-Repellent Random Walks on General Graphs -- Achieving Minimal Sampling Variance via Nonlinear Markov Chains
IQVIA Inc.(艾昆纬公司);North Carolina State University(北卡罗来纳州立大学)
该研究提出一般图上的自排斥随机游走(SRRW),证明其经验分布收敛于目标平稳分布,且排斥性越强渐近采样方差越小,还通过数值模拟验证了时变α版本的综合优势。
2024-01-28 cs.LG math.PR
A Unified Theory of SGD: Variance Reduction, Sampling, Quantization and Coordinate Descent
MIPT, Russia(莫斯科国立研究型大学, 俄罗斯);KAUST, Saudi Arabia(卡塔尔科技大学, 卡塔尔)
本文提出了一种统一分析大规模近端随机梯度下降(SGD)变体的框架,涵盖了方差减少、重要采样、小批量采样、量化和坐标子采样等技巧及其组合,首次统一了SGD和随机坐标下降(RCD)方法、方差减少和非方差减少SGD方法以及量化和非量化方法的理论。
2019-05-27 cs.LG cs.NA math.NA
Diversify Diffusion with Temperature Sampling and Variance-Corrective Time Shifting
ETH Zurich(苏黎世联邦理工学院);Google(谷歌)
研究针对扩散模型难以达到罕见模式的问题,提出方差校正时间偏移方法,并结合温度采样,无需重新训练就能提升样本多样性,在多个模型中以低成本实现质量和保真度提升,还能实现从粗到细的控制。
2026-07-14 cs.CV cs.LG
Uncertainty-Aware Learning from Demonstration using Mixture Density Networks with Sampling-Free Variance Modeling
Seoul National University(首尔国立大学);Korea University(高丽大学)
在本文中,我们提出了一种不确定性感知的示教学习方法,提出了一种新的不确定性估计方法,利用混合密度网络建模复杂和嘈杂的人类行为。建议的不确定性采集可以用一个单一的前向路径,而无需蒙特卡罗采样,是适合于实时机器人应用。通过三个不同的合成例子,没有数据,重测量噪声,和组合功能的情况下,建议的不确定性度量的属性进行了分析。我们表明,每种情况下,可以区分使用所提出的不确定性措施,并提出了一个不确定性意识的学习,从演示方法的自动驾驶使用此属性。所提出的不确定性感知的示教学习方法在使用复杂的真实世界驾驶数据集的安全性方面优于其他比较方法。
2017-09-08 cs.AI cs.CV cs.LG
Sample Dropout: A Simple yet Effective Variance Reduction Technique in Deep Policy Optimization
Tencent Inc.(腾讯公司);University of Manchester(曼彻斯特大学)
最近在深度强化学习(DRL)方法中的成功已经表明,通过重要性采样相对于偏离策略分布的策略优化对于样本重用是有效的。在本文中,我们表明,使用重要性采样可能会引入高方差的客观估计。具体来说,我们表明,在一个原则性的方式,重要性采样估计的方差增长的重要性比率和大的比率,从而可能危及代理目标优化的有效性。然后,我们提出了一种称为样本丢弃的技术,以约束估计方差的比例偏差太高时,丢弃样本。我们在代表性的策略优化算法(包括TRPO,PPO和ESPO)上实例化了这种示例辍学技术,并证明了它在连续和离散动作控制(包括MuJoCo,DMControl和Atari视频游戏)上始终提高了这些DRL算法的性能。我们的代码在\url{https://github.com/LinZichuan/sdpo.git}上是开源的。
2023-02-05 cs.AI cs.LG
Adaptive Importance Sampling for Finite-Sum Optimization and Sampling with Decreasing Step-Sizes
McGill University(麦吉尔大学)
已知减小梯度估计器的方差以提高基于随机梯度的优化和采样算法的收敛速度。实现方差减小的一种方法是设计重要性采样策略。最近,设计这样的方案的问题被公式化为一个在线学习问题与强盗反馈,和算法与次线性静态遗憾的设计。在这项工作中,我们建立在这个框架,并提出Avare,一个简单而有效的算法,自适应重要性采样有限和优化和采样的步长减小。在标准的技术条件下,我们表明,Avare实现$\mathcal{O}(T^{2/3})$和$\mathcal{O}(T^{5/6})$动态遗憾SGD和SGLD分别运行时,与$\mathcal{O}(1/t)$步长。我们实现这个动态的遗憾约束,利用我们的知识的动态定义的算法,并结合思想从在线学习和方差减少随机优化。我们经验验证我们的算法的性能,并确定设置中,它导致显着的改善。
2021-03-23 cs.LG math.OC stat.ML
Variance-Aware Feel-Good Thompson Sampling for Contextual Bandits
本文提出FGTSVA算法,通过扩展解耦系数技术,为一般奖励函数的上下文bandit实现了最优的方差感知Thompson Sampling的regret界。
2025-11-03 cs.LG math.OC stat.ML