Variance-Aware Baselines and Adaptive Learning Rates for Reinforcement Learning with Verifiable Rewards
University of California, Berkeley（加州大学伯克利分校）
OBLR-PO通过理论框架优化学习率和基线，提升大型语言模型后训练的稳定性与性能。
2026-08-04 cs.LG stat.ML
MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients
University of Maryland（马里兰大学）；Microsoft（微软）；Tsinghua University（清华大学）
自适应梯度方法如RMSProp和Adam使用平方梯度的指数移动估计来计算自适应步长，在面对噪声目标时实现比SGD更好的收敛性。然而，由于不稳定或极端的自适应学习率，Adam可能具有不期望的收敛行为。已经提出了AMSGrad和AdaBound等方法来稳定Adam在训练后期的自适应学习率，但在训练Transformers \cite{transformer}等实际任务中，它们并没有超过Adam。在本文中，我们提出了一个自适应学习率原则，其中亚当的梯度平方的运行平均值被替换为加权平均值，权重选择为最大化每个坐标的估计方差。这导致对局部梯度方差的更快适应，这导致比Adam更理想的经验收敛行为。我们证明了所提出的算法收敛非凸随机优化问题在温和的假设下，并证明了我们的自适应平均方法在机器翻译，自然语言理解和大批量预训练的BERT的改进功效。该代码可在https://github.com/zhuchen03/MaxVA上获得。
2021-07-04 cs.LG stat.ML
Adaptive Step Sizes in Variance Reduction via Regularization
University of Minnesota - Twin Cities（明尼苏达大学双城分校）
本文的主要目标是用Barzilai-Borwein（BB）步长来配置凸和非凸问题。由于BB步长的自适应性，当目标函数不是强凸时，它们可能会失败。为了克服这个挑战，这里的关键思想是通过正则化来桥接（非）凸问题和强凸问题。所提出的正则化方案是\textit{simple}，但有效的。将BB步长与方差缩减方法（称为SARAH）相结合，与凸问题中的香草SARAH相比，提供了免费的午餐。BB步长在非凸问题中的收敛性也得到了证明，其复杂性并不比AdaGrad等自适应步长差。作为一个副产品，我们的正则化SARAH方法凸函数确保的复杂性，找到$\mathbb{E}[\| \nabla f(\mathbf{x}) \|^2]\leq ε$是${\cal O}\big( (n+\frac{1}{\sqrtε})\ln{\frac{1}ε}\big)$，改善$ε$依赖于现有的结果。数值试验进一步验证了所提出的方法的优点。
2019-10-15 cs.LG stat.ML
Variance-Aware Adaptive Weighting for Diffusion Model Training
本文提出一种基于方差意识的自适应加权策略，用于改进扩散模型的训练稳定性与生成性能。
2026-03-11 cs.CV cs.LG
DVAO: Dynamic Variance-adaptive Advantage Optimization for Multi-reward Reinforcement Learning
Alibaba Cloud Computing（阿里巴巴云 computing）
针对多奖励强化学习中奖励组合导致训练不稳定、优势组合依赖静态超参数的问题，提出动态方差自适应优势优化方法，通过基于经验奖励方差动态调整组合权重，实现稳定训练与多目标帕累托前沿优化。
2026-05-25 cs.CL cs.LG
Only Pay for What Is Uncertain: Variance-Adaptive Thompson Sampling
Apple ML Research（苹果机器学习研究院）；TTI, Chicago（芝加哥丰田理工学院）；AWS AI Labs（亚马逊云科技人工智能实验室）
针对奖励方差未知且异构的高斯赌博机问题，提出方差自适应汤普森采样算法，利用先验知识实现更低的贝叶斯遗憾，并通过实验验证其优越性与鲁棒性。
2023-10-12 cs.LG
Best-of-Three-Worlds Linear Bandit Algorithm with Variance-Adaptive Regret Bounds
NEC Corporation（日本电气股份有限公司）
本文提出了一种线性强盗算法，是自适应的环境中的两个不同层次的层次。在更高的层次上，该算法适应各种类型的环境。更准确地说，它达到了三个世界中最好的后悔界限，即，针对对抗性环境的${O}(\sqrt{T \log T})$和针对具有对抗性破坏的随机环境的$O(\frac{\log T}{Δ_{\min}} + \sqrt{\frac{C \log T}{Δ_{\min}}})$，其中$T$、$Δ_{\min}$和$C$分别表示时间范围、最小次优间隙和破坏总量。注意，这里省略了维度中的多项式因子。在较低的层次上，在每一个对抗和随机制度，所提出的算法适应某些环境特征，从而表现得更好。该算法具有数据依赖的遗憾界，取决于所有的累积损失的最佳行动，总的二次变异，和路径长度的损失向量序列。此外，对于随机环境，该算法具有方差自适应遗憾界$O(\frac{σ^2 \log T}{Δ_{\min}})$，其中$σ^2$表示反馈损失的最大方差。该算法是基于SCRiBLe算法。通过将一种我们称之为按比例放大抽样的新技术纳入其中，我们获得了高水平的适应性，通过将乐观在线学习技术纳入其中，我们获得了低水平的适应性。
2023-02-24 cs.LG stat.ML
The Power of Adaptivity in SGD: Self-Tuning Step Sizes with Unbounded Gradients and Affine Variance
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们研究AdaGrad-Norm的收敛速度作为自适应随机梯度方法（SGD）的一个范例，其中步长根据观察到的随机梯度变化，以最小化非凸，光滑的目标。尽管他们的流行，自适应SGD的分析落后于非自适应方法在这种情况下。具体地说，所有先前的工作都依赖于以下假设的某个子集：（i）均匀有界的梯度范数，（ii）均匀有界的随机梯度方差（甚至噪声支持），（iii）步长和随机梯度之间的条件独立性。在这项工作中，我们表明，AdaGrad-Norm表现出$\mathcal{O}\left(\frac{\mathrm{poly}\log(T)}{\sqrt{T}}\right)$阶最优收敛速度的$T$迭代后，最优调谐非自适应SGD（无界梯度范数和仿射噪声方差缩放）相同的假设下，关键的是，不需要任何调整参数。因此，我们建立自适应梯度方法表现出更广泛的制度比以前理解的顺序最优收敛。
2022-07-25 cs.LG math.OC stat.ML
EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training
Peking University（北京大学）；Fudan University（复旦大学）；Shanghai Qiji Zhifeng Co., Ltd.（上海启智科技有限公司）；Shanghai AI Lab（上海人工智能实验室）
本文提出EVPO，通过监控批量方差并自适应切换基于批评者或批量均值估计，证明在每一步都能达到更小的方差。在四个任务中，EVPO优于PPO和GRPO。
2026-04-21 cs.AI cs.CL cs.LG
Online Variance Reduction with Mixtures
ETH Zurich（苏黎世联邦理工学院）
自适应重要性采样是一种很有前途的随机优化方法，通过减少方差来提高收敛性。在这项工作中，我们提出了一个新的方差减少框架，使混合物的使用超过预定义的采样分布，它可以自然地编码有关数据的先验知识。虽然这些采样分布是固定的，但在优化过程中会调整混合权重。我们提出了VRM，一种新的和有效的自适应方案，渐近恢复最好的混合权重在事后，也可以适应采样分布在点集。我们以经验证明了VRM在一系列应用中的多功能性。
2019-03-29 cs.LG stat.ML
Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum Minimization
EPFL（洛桑联邦理工学院）
我们提出了一种自适应方差缩减方法，称为AdaSpider，用于最小化具有有限和结构的$L$ -光滑非凸函数。本质上，AdaSpider结合了AdaGrad启发的[Duchi等人，2011，McMahan & Streeter，2010]，但是在[Fang等人，2018年]。据我们所知，Adaspider是第一个无参数非凸方差缩减方法，因为它不需要问题相关参数的知识，例如平滑常数$L$，目标精度$ε$或梯度范数的任何界限。在这样做的时候，我们能够计算一个$ε$ -固定点与$\tilde{O}\left(n + \sqrt{n}/ε^2\right)$ oracle-calls，它匹配相应的下界的对数因子。
2022-11-03 cs.LG math.OC
Online Adaptive Principal Component Analysis and Its extensions
University of Minnesota（明尼苏达大学）
我们提出了在线主成分分析（PCA）和方差最小化自适应设置的算法。以往的研究主要集中在静态对抗性后悔的上界上，其比较对象是事后最优固定行为。然而，当潜在环境发生变化时，静态后悔并不是一个合适的指标。相反，我们采用自适应遗憾度量从以前的文献中，并提出在线自适应算法PCA和方差最小化，具有次线性自适应遗憾的保证。我们从理论上和实验上证明，所提出的算法可以适应不断变化的环境。
2019-05-13 cs.LG stat.ML
Adaptive Accelerated (Extra-)Gradient Methods with Variance Reduction
Boston University（波士顿大学）；Northeastern University（东北大学）
本文主要研究一般凸情形下的有限和凸优化问题。近年来，方差缩减（VR）方法及其加速变体的研究取得了令人兴奋的进展。然而，在现有的VR算法中使用的步长通常取决于平滑度参数，该平滑度参数通常是未知的并且需要在实践中进行调整。为了解决这个问题，我们提出了两种新的自适应VR算法：自适应方差减少加速外梯度（AdaVRAE）和自适应方差减少加速梯度（AdaVRAG）。我们的算法不需要光滑参数的知识。AdaVRAE使用$\mathcal{O}\left(n\log\log n+\sqrt{\frac{nβ}ε}\right)$梯度评估，AdaVRAG使用$\mathcal{O}\left(n\log\log n+\sqrt{\frac{nβ\logβ}ε}\right)$梯度评估，以获得$\mathcal{O}(ε)$次优解，其中$n$是有限和中的函数数，$β$是平滑参数。该结果与非自适应VR方法的最佳收敛速度相匹配，并且它改进了现有技术的自适应VR方法AdaSVRG的收敛。我们展示了优越的性能，我们的算法与以前的方法相比，在现实世界的数据集上的实验。
2022-01-28 cs.DS cs.LG math.OC
Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）；Columbia University（哥伦比亚大学）
序列生成模型通常通过强化学习在用户定义的指标上进行改进。然而，高梯度方差阻碍了该方法的实际应用。为了稳定这种方法，我们适应上下文生成的分类序列的政策梯度估计，评估一组相关的蒙特卡罗（MC）推出方差控制。由于相关性，唯一卷展栏的数量是随机的，并适应模型的不确定性;这些卷展栏自然会成为彼此的基线，因此可以组合在一起，以有效地降低梯度方差。我们还演示了使用相关MC推出的二叉树softmax模型，它通过将每个分类动作分解为一系列二进制动作来降低大词汇量场景中的高生成成本。我们评估我们的神经程序合成和图像字幕的方法。所提出的方法产生较低的梯度方差和一致的改善相关的基线。
2020-06-17 cs.LG stat.ML
Beyond ReinMax: Low-Variance Gradient Estimators for Discrete Latent Variables
Australian National University（澳大利亚国立大学）
本文提出ReinMax-Rao和ReinMax-CV估计器，通过Rao-Blackwellisation和控制变量技术降低方差，提升离散潜在变量模型的训练效率。
2026-03-09 cs.LG stat.ML
Optimal Variance and Covariance Estimation under Differential Privacy in the Add-Remove Model and Beyond
LY Corporation（LY 公司）
本文针对增删模型下的差分隐私方差与协方差估计，提出基于贝塞尔机制的高效方法，证明其在高隐私区间极小极大最优，并展示其在其他统计任务中的适用性。
2025-09-05 cs.DS cs.LG stat.ML
Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们研究分布式优化算法，最大限度地减少平均分布在几台机器上的\emph{heterogeneous}功能，重点是通信效率。在这样的设置中，天真地使用经典的随机梯度下降（SGD）或其变体（例如，SVRG）的机器的均匀采样通常会产生较差的性能。这往往导致收敛速度依赖于跨设备梯度的最大Lipschitz常数。在本文中，我们提出了一种新的\emph{adaptive}采样的机器专门迎合这些设置。我们的方法依赖于一个自适应估计的局部Lipschitz常数的基础上过去的梯度信息。我们表明，新的方法提高了收敛速度的依赖性从最大Lipschitz常数\emph{average} Lipschitz常数跨机器，从而显着加快收敛。我们的实验表明，我们的方法确实加快了标准SVRG算法在异构环境中的收敛速度。
2020-11-17 cs.LG math.OC stat.ML
A General Weighting Theory for Ensemble Learning: Beyond Variance Reduction via Spectral and Geometric Structure
Rochester Institute of Technology（罗切斯特技术学院）
本文提出了一种集成学习的通用加权理论，通过几何和谱约束，展示结构化加权在提升模型性能中的作用。
2025-12-25 cs.LG stat.ML
Federated Learning for Non-IID Data via Client Variance Reduction and Adaptive Server Update
HCL Technologies（HCL科技公司）
联邦学习（FL）是一种新兴技术，用于协作训练全局机器学习模型，同时保持数据在用户设备上本地化。FL实际实现的主要障碍是用户之间的非独立和相同（非IID）数据分布，这会减慢收敛速度并降低性能。为了解决这个根本问题，我们提出了一种方法（ComFed），它可以增强客户端和服务器端的整个训练过程。ComFed的核心思想是同时利用客户端方差减少技术来促进服务器聚合和全局自适应更新技术来加速学习。我们在Cifar-10分类任务上的实验表明，ComFed可以改进专用于非IID数据的最先进算法。
2022-07-29 cs.DC cs.LG
Improved Regret Analysis for Variance-Adaptive Linear Bandits and Horizon-Free Linear Mixture MDPs
Gachon University（加川大学）；Seoul National University（首尔国立大学）；University of Arizona（亚利桑那大学）
在在线学习问题中，利用低方差在获得严格的性能保证方面发挥着重要作用，但由于方差通常事先未知，因此具有挑战性。最近，Zhang等人（2021）取得了相当大的进展，他们在不知道方差的情况下获得了线性强盗的方差自适应遗憾界，以及线性混合马尔可夫决策过程（MDP）的无水平遗憾界。在本文中，我们提出了新的分析，提高他们的遗憾边界显着。对于线性强盗，我们实现了$\tilde O(\min\{d\sqrt{K}, d^{1.5}\sqrt{\sum_{k=1}^K σ_k^2}\} + d^2)$，其中$d$是特征的维度，$K$是时间范围，$σ_k^2$是时间步长$k$处的噪声方差，并且$\tilde O$忽略了多对数依赖性，这是$d^3$改进的一个因素。对于线性混合MDP，假设在$[0,1]$中的事件中的最大累积奖励，我们实现了$\tilde O(d \sqrt{K} + d^2)$的无水平后悔界，其中$d$是基础模型的数量，$K$是事件的数量。这是前导项中的$d^{3.5}$和低阶项中的$d^7$改善的因素。我们的分析严重依赖于一个新的剥离为基础的遗憾分析，利用椭圆形潜在的“计数”引理。
2023-02-04 cs.LG math.ST stat.ML
Adaptive Prompting for Continual Relation Extraction: A Within-Task Variance Perspective
Hanoi University of Science and Technology（河内理工大学）
针对持续关系抽取中的灾难性遗忘，提出基于任务内方差视角的自适应提示方法，利用提示池和生成模型，无需存储数据，性能优于现有方法。
2025-01-18 cs.CL cs.LG
Gaussian Kernel Variance For an Adaptive Learning Method on Signals Over Graphs
University of California Irvine（加州大学欧文分校）
本文讨论了一种特殊的简单但可能强大的算法，称为单核Gradraker（SKG），这是一种自适应学习方法预测未知的节点值在网络中使用已知的节点值和网络结构。我们的目的是找出如何配置的特殊类型的模型中应用的算法。更具体地说，我们专注于具有高斯内核的SKG，并指定如何为内核找到合适的方差。为此，我们引入了两个变量，我们能够设置对高斯内核方差的要求，以实现（接近）最佳性能，并可以更好地理解SKG的工作原理。我们的贡献是，我们引入了两个变量作为分析工具，说明了预测将如何受到不同的高斯内核的影响，并提供了一个算法，找到一个合适的高斯内核SKG与知识的训练网络。提供了真实数据集上的模拟结果。
2022-04-26 cs.LG eess.SP
SGD with Variance Reduction beyond Empirical Risk Minimization
CNRS（法国国家科学研究中心）；Ecole Polytechnique（巴黎综合理工学院）；Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学）
我们引入了一个双随机邻近梯度算法优化的有限平均光滑凸函数，其梯度依赖于数值昂贵的期望。我们的主要动机是加速正则化Cox偏似然（生存分析中使用的核心模型）的优化，但我们的算法也可以用于不同的设置。所提出的算法是双重随机的，在这个意义上，梯度步骤是使用随机梯度下降（SGD）方差减少，其中内部的期望近似的蒙特卡洛马尔可夫链（MCMC）算法。我们得到了MCMC迭代次数保证收敛的条件，并得到了强凸性下的线性收敛速度和次线性收敛速度。我们说明了这样一个事实，我们的算法提高了国家的最先进的求解器正则化Cox偏似然从生存分析的几个数据集。
2016-11-08 cs.LG stat.ML
Adaptive Optimization via Momentum on Variance-Normalized Gradients
MVN-Grad通过动量优化变分归一化梯度，在稳定性和性能上优于Adam等优化器，适用于图像分类和语言模型任务。
2026-08-18 cs.LG math.OC
Adaptive Bayesian Learning with Action and State-Dependent Signal Variance
Columbia Business School（哥伦比亚商学院）
本文提出将动作和状态依赖的信号方差纳入贝叶斯学习决策模型的新框架，并通过多个示例展示其在不同经济决策场景中的通用性。
2023-11-28 cs.LG econ.EM math.ST
Multi-Metric Adaptive Experimental Design Under a Fixed Budget with Validation
University of Michigan（密歇根大学）；Amazon（亚马逊）
针对在线实验中多指标测试的统计功效及AED推断统计量不足的问题，提出固定预算多指标AED框架，含探索与验证两阶段。提出SHRVar方法，其错误概率指数级降低，数值实验验证了该方法的性能与鲁棒性。
2026-07-13 cs.LG stat.ML
AdaFlow: Imitation Learning with Variance-Adaptive Flow-Based Policies
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
AdaFlow提出基于流模型的模仿学习框架，利用方差自适应ODE求解器动态调整推理步长，在保持动作多样性的同时实现快速决策，并在单模态分布下自动退化为一步生成器。
2024-11-22 cs.AI cs.LG
Adaptive Variance-Penalized Continual Learning with Fisher Regularization
Indian Institute of Technology Bombay（印度理工学院孟买学院）
本文提出一种在变分学习框架中引入Fisher加权非对称方差正则化的持续学习方法，通过根据参数不确定性动态调节正则化强度，在多个标准基准上有效缓解灾难性遗忘并提升模型性能。
2025-08-15 cs.AI cs.LG
Diffusion Alignment Beyond KL: Variance Minimisation as Effective Policy Optimiser
Imperial College London（帝国理工学院伦敦分校）；Samsung R&D Institute UK（三星英国研发中心）
本文提出方差最小化策略优化方法，通过最小化对数重要权重的方差来实现扩散对齐，超越传统KL优化，提供新的设计方向。
2026-02-12 cs.LG
TRSVR: An Adaptive Stochastic Trust-Region Method with Variance Reduction
Department of Mathematics, University of California, Berkeley, CA, USA（加州大学伯克利分校数学系）；Boston University, MA, USA（波士顿大学）；Department of IEOR, University of California, Berkeley, CA, USA（加州大学伯克利分校工业工程与运筹学系）
TRSVR 通过结合 SVRG 和信任区域方法，在非凸优化中实现加速收敛，并利用 Hessian 信息提升性能。
2026-01-21 cs.LG math.OC stat.ML
Adaptive Variance Reduction for Stochastic Optimization under Weaker Assumptions
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文针对STORM自适应方差缩减方法在强假设和额外对数项方面的局限，提出新的自适应方法，在更弱假设下实现非凸优化最优收敛速率，并扩展至复合优化和有限和问题。
2024-10-23 cs.LG math.OC
Adaptive Multi-Fidelity Reinforcement Learning for Variance Reduction in Engineering Design Optimization
Carnegie Mellon University（卡内基梅隆大学）
针对传统层级式多保真强化学习在模型异质误差下策略学习方差大的问题，提出自适应非层级多保真RL框架，基于策略对齐度动态利用低保真模型，在八旋翼设计优化中有效降方差、提收敛，且无需手动调度保真度。
2025-03-23 cs.AI cs.LG
Decoupling Variance and Scale-Invariant Updates in Adaptive Gradient Descent for Unified Vector and Matrix Optimization
Department of Computer Science, Purdue University, West Lafayette, USA（计算机科学系，普渡大学，西拉法叶，美国）；Edwardson School of Industrial Engineering, Purdue University, West Lafayette, USA（工业工程学院，普渡大学，西拉法叶，美国）
提出DeVA框架，通过解耦AdaGrad更新中的方差适应项和尺度不变项，统一向量自适应方法与矩阵谱优化，在语言建模和图像分类中优于Muon和SOAP，减少约6.6%的token使用。
2026-05-26 cs.LG
VGAS: Variance-Reduced Guidance and Adaptive Selection for Training-Free Reward Alignment in Discrete Diffusion
Gwangju Institute of Science and Technology (GIST)（光州科学技术院）
本文提出GRAS方法，通过降方差提议与自适应重采样温度改进离散扩散模型无训练奖励对齐，在调控DNA和蛋白质设计任务中表现优于现有无训练方法，效果接近或超越奖励微调模型。
2026-09-18 cs.CE cs.LG q-bio.QM
Balancing Signal and Variance: Adaptive Offline RL Post-Training for VLA Flow Models
针对VLA流模型模仿学习后训练难以理解数据质量分布的问题，提出离线RL算法ARFM，通过自适应缩放因子平衡RL信号与梯度方差，提升微调稳定性及泛化、鲁棒、少样本与持续学习性能。
2025-09-04 cs.LG cs.RO
Adam$^+$: A Stochastic Method with Adaptive Variance Reduction
Boston University（波士顿大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；University of Iowa（爱荷华大学）
Adam是一种广泛用于深度学习应用的随机优化方法。虽然实践者更喜欢Adam，因为它需要较少的参数调整，但从理论角度来看，它的使用是有问题的，因为它可能不会收敛。Adam的变体已经被提出，并具有可证明的收敛性保证，但它们在实际性能上往往不能与Adam竞争。在本文中，我们提出了一个新的方法命名为亚当$^+$（发音为亚当加）。Adam $^+$保留了Adam的一些关键组件，但也有几个明显的差异：（i）它不保持二阶矩估计的移动平均值，而是计算外推点处的一阶矩估计的移动平均值;（ii）它的自适应步长不是通过除以二阶矩估计的平方根，而是通过除以一阶矩估计的范数的根来形成。因此，Adam $^+$需要很少的参数调整，但它享有可证明的收敛保证。我们的分析进一步表明，亚当$^+$享有自适应方差减少，即，随机梯度估计器的方差随着算法收敛而减小，因此具有自适应收敛性。我们还提出了一个更一般的变体亚当$^+$不同的自适应步长，并建立其快速收敛速度。我们对各种深度学习任务（包括图像分类、语言建模和自动语音识别）的实证研究表明，Adam $^+$的性能明显优于Adam，并在最佳SGD和动量SGD的情况下实现了相当的性能。
2020-11-24 cs.LG math.OC
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework
Singapore University of Technology and Design（新加坡科技设计大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Sichuan University（四川大学）；The Hong Kong Polytechnic University（香港理工大学）
联邦学习（FL）作为一种新型的分布式学习范式，在处理具有异构数据分布、计算和通信资源的海量客户端时面临着严峻的挑战。各种客户方差减少计划和客户抽样策略已分别引入，以提高FL的鲁棒性。其中，原始-对偶算法，如交替方向的方法乘数（ADMM）已被发现是弹性的数据分布和优于大多数的原始-唯一FL算法。然而，背后的原因仍然是一个谜。在本文中，我们首先揭示了一个事实，即联邦ADMM本质上是一个客户方差减少算法。虽然这解释了联邦ADMM固有的健壮性，但它的普通版本缺乏适应客户机异构程度的能力。此外，在客户端采样的服务器端的全局模型是有偏的，这减缓了实际收敛。为了超越ADMM，我们提出了一种新的原始-对偶FL算法，称为FedVRA，它允许一个自适应控制方差减少水平和全局模型的偏差。此外，FedVRA统一了几种典型的FL算法，它们要么是FedVRA的特殊实例，要么是接近FedVRA的实例，并将FedVRA扩展到半/无监督学习。基于（半）监督图像分类任务的实验表明，FedVRA在具有大量异构客户端和客户端采样的学习场景中优于现有方案。
2023-01-18 cs.LG
Adaptive Variance Reduction across Smoothness and Noise Conditions
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）
本文提出两种无需知晓平滑性常数或方差界的自适应方差缩减方法，可适配平均平滑性、标准平滑性及无噪声场景，分别在梯度预算已知和未知时达到对应收敛速率。
2026-11-09 cs.LG math.OC
Adaptive Experience Selection for Policy Gradient
Warwick Manufacturing Group (WMG), University of Warwick（华威大学华威制造集团（WMG））；University of Warwick（华威大学）；United Kingdom（英国（注意：英国是国家，非机构，这里可能是原文本中地址信息，按要求不提取））
策略梯度强化学习（RL）算法在连续控制等具有挑战性的学习任务中取得了令人印象深刻的性能，但受到高样本复杂度的影响。经验重放是一种常用的方法来提高样本效率，但梯度估计使用过去的轨迹通常有很高的方差。现有的经验重放采样策略，如均匀采样或优先经验重放，并没有明确地试图控制梯度估计的方差。在本文中，我们提出了一个在线学习算法，自适应经验选择（AES），自适应学习的经验采样分布，显式地最小化这个方差。使用遗憾最小化方法，AES迭代更新的经验抽样分布，以匹配的竞争对手分布的性能假设有最佳的方差。样本的非平稳性提出了一个动态的（即随时间变化）竞争对手的分布，提出了一个封闭的解决方案。我们证明，AES是一个低遗憾算法与合理的样本复杂度。从经验上讲，AES已经实现了深度确定性策略梯度和软演员评论算法，并在OpenAI Gym库的8个连续控制任务上进行了测试。我们的研究结果表明，AES导致显着提高性能相比，目前可用的经验采样策略的政策梯度。
2020-02-17 cs.LG cs.RO stat.ML
Statistical Inference for Stochastic Gradient Descent: Beyond Finite Variance
Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）
针对随机梯度下降中梯度方差可能无限的问题，提出一种基于联合弱收敛和自正则化统计量的模型无关置信域构建方法，并通过子采样校准实现渐近有效推断。
2026-08-03 cs.LG stat.ME stat.ML
Non-Convex Optimization in Federated Learning via Variance Reduction and Adaptive Learning
University of Calabria（卡拉布里亚大学）；Missouri University of Science & Technology（密苏里科技大学）
本文提出一种基于动量方差缩减与自适应学习的联邦学习算法，在异构数据非凸场景下将通信复杂度从O(ε⁻²)降至O(ε⁻¹)，并在MNIST和CIFAR-10上验证了其有效性。
2024-12-16 cs.LG
Efficient Backpropagation with Variance-Controlled Adaptive Sampling
Tsinghua University（清华大学）；Tsinghua-Bosch Joint ML Center（清华-博世联合机器学习中心）
本文提出方差控制的自适应采样方法 VCAS，通过逐层重要性采样和杠杆分数采样加速反向传播，并在训练中联合学习采样比例以控制方差，在保持训练精度和损失轨迹的同时显著降低 FLOPs。
2024-02-27 cs.LG
Stable Thompson Sampling: Valid Inference via Variance Inflation
本文提出稳定汤普森采样方法，通过方差膨胀实现有效参数推断，尽管数据非独立同分布，仍能获得渐近正态估计，同时仅小幅增加后悔值。
2026-03-15 cs.LG stat.ML
Fast Stochastic Ordinal Embedding with Variance Reduction and Adaptive Step Size
University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Jiangxi Normal University（江西师范大学）；Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
从相对相似性比较中学习表示，通常称为有序嵌入，近年来越来越受到关注。现有的方法大多是基于半定规划（\textit{SDP}）的，这种方法一般耗时较长，且可扩展性较差，特别是面对大规模数据时。为了克服这一挑战，我们提出了一种称为\textit{SVRG-SBB}的随机算法，该算法具有以下特点：i）通过丢弃半正定（\textit{PSD}）约束作为快速算法来实现良好的可扩展性，即，随机方差降低梯度（\textit{SVRG}）方法，以及ii）通过引入称为稳定的Barzilai-Borwein（\textit{SBB}）步长的新的自适应步长的自适应学习。理论上，在一些自然的假设下，我们证明了所提出的算法的$\boldsymbol{O}(\frac{1}{T})$收敛到一个稳定点的速度，其中$T$是总迭代次数。在进一步的Polyak-Jasojasiewicz假设下，我们可以证明全局线性收敛（即，指数快速收敛到全局最优）的算法。大量的仿真和实际数据实验表明，与现有方法相比，该算法具有更低的计算成本和更好的预测性能。
2019-12-01 cs.LG math.OC stat.ML
On the Distributional Properties of Adaptive Gradients
School of Statistics, Xi’an University of Finance and Economics（西安财经大学统计学院）；Department of Physics, University of Tokyo（东京大学物理系）
自适应梯度方法在训练各种任务的深度神经网络方面取得了显着的成功。然而，对这一系列方法的数学和统计特性知之甚少。这项工作的目的是提供一系列的理论分析，其统计特性的实验证明。特别是，我们表明，当底层梯度服从正态分布，方差的大小的\textit{update}是一个递增和有界的时间函数，不发散。这项工作表明，方差的分歧是不是亚当优化器需要热身的原因，相反，在目前的文献中所认为的。
2021-05-15 cs.LG stat.ML
Adaptive Signal Variances: CNN Initialization Through Modern Architectures
Gunma University（群马大学）
深度卷积神经网络（CNN）在图像处理任务上的性能已经达到了坚定不移的信心。CNN架构由各种不同类型的层组成，包括卷积层和最大池化层。CNN从业者广泛了解这样一个事实：学习的稳定性取决于如何初始化每一层中的模型参数。如今，没有人怀疑，事实标准方案的初始化是所谓的Kaiming初始化，已开发的He等。Kaiming计划是从一个更简单的模型比目前使用的CNN结构已经演变以来的Kaiming计划的出现。Kaiming模型仅由卷积层和全连接层组成，忽略了最大池化层和全局平均池化层。在这项研究中，我们再次不是从简化的Kaiming模型中推导出初始化方案，而是精确地从现代CNN架构中推导出初始化方案，并实证研究了新的初始化方法与当今广泛使用的事实标准相比的性能。
2020-08-29 cs.LG cs.NE stat.ML
Adaptive Symmetric Reward Noising for Reinforcement Learning
Rafael ltd（拉斐尔公司）
最近的强化学习算法，虽然在各个领域取得了令人印象深刻的结果，遭受脆弱的训练效果，如回归的结果和高敏感性的初始化和参数。我们声称，一些脆性源于方差差异，即当不同的环境领域-状态和/或行动-有不同的奖励方差。这导致两个问题：首先，Q学习等算法中的“无聊区域陷阱”，在区域之间移动取决于当前区域的方差，并且由于其方差较低，因此很难摆脱无聊区域。第二，“操纵顾问”问题，当在DQN和Actor-Critic算法中使用的值估计函数影响代理更喜欢无聊的区域时，无论平均回报如何，因为它们最大化估计精度而不是奖励。这为探索如何有助于培训提供了新的视角，因为它有助于应对这两个挑战。人类的认知实验表明，噪音奖励信号可能会矛盾地提高表现。我们使用上述两个问题来解释这一点，声称人类和算法可能面临类似的挑战。受这一结果的启发，我们提出了自适应对称奖励噪声（ASRN），即根据奖励的状态估计方差向奖励添加高斯噪声，从而避免了这两个问题，同时不影响环境的平均奖励行为。我们进行了我们的实验中的多臂强盗问题的方差差异。我们证明了Q-学习算法在这个问题中表现出脆性效应，并且ASRN方案可以显着改善结果。我们表明，ASRN有助于DQN算法训练过程达到更好的结果，在端到端的自动驾驶任务使用AirSim驾驶模拟器。
2019-05-24 cs.AI cs.LG stat.ML
What causes the test error? Going beyond bias-variance via ANOVA
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）
现代机器学习方法往往过于参数化，允许在精细的水平上适应数据。这似乎令人费解;在最坏的情况下，这样的模型不需要推广。这个难题激发了大量的工作，争论过度参数化何时会减少测试错误，这种现象称为“双下降”。最近的工作旨在更深入地理解为什么过度参数化有助于泛化。这导致发现作为参数化水平的函数的方差的单峰性，并将方差分解为训练数据中的标签噪声、初始化和随机性所产生的方差，以理解误差的来源。在这项工作中，我们对这一领域有了更深入的了解。具体来说，我们提出使用方差分析（ANOVA），以对称的方式分解的方差的测试误差，研究某些两层线性和非线性网络的泛化性能。方差方差分析的优点是它比以前的方法更清楚地揭示了初始化、标签噪声和训练数据的影响。此外，我们还研究了方差分量的单调性和单峰性。虽然以前的工作研究了整体方差的单峰性，我们研究了方差分解中每个项的性质。一个关键的见解是，在典型的设置中，训练样本和初始化之间的相互作用可以主导方差;令人惊讶的是，它大于它们的边际效应。此外，我们表征“相变”的方差从单峰单调变化。在技术层面上，我们利用Haar随机矩阵的先进确定性等效技术，据我们所知，该技术尚未在该领域中使用。我们还验证了我们的结果在数值模拟和经验数据的例子。
2021-06-09 cs.LG math.ST stat.ML
DP-MacAdam: Differentially Private Mechanism with Adaptive Clipping and Adaptive Momentum
University of Southern California（南加州大学）
提出DP-MacAdam算法，通过联合利用梯度均值和方差估计进行自适应裁剪和动量更新，在无需手动调整裁剪阈值的情况下提升模型效用。
2026-11-13 cs.CR cs.LG
Enhanced Federated Optimization: Adaptive Unbiased Client Sampling with Reduced Variance
University of Electronic Science and Technology of China（电子科技大学）；Fudan University（复旦大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Meta AI；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出首个采用独立采样过程的自适应客户端采样器 K-Vib，通过在线方差缩减提升联邦学习收敛速度，在通信预算内实现线性加速，实验显示其速度较基线算法提升一倍。
2024-08-31 cs.LG
Extra-Newton: A First Approach to Noise-Adaptive Accelerated Second-Order Methods
EPFL（洛桑联邦理工学院）
本文提出了一种通用的、自适应的二阶方法来极小化二阶光滑、凸函数。当预言机反馈是随机的且方差为$σ^2$时，该算法达到了$O(σ/ \sqrt{T})$收敛，当预言机反馈是确定性的时，该算法收敛到$O( 1 / T^3)$，其中$T$是迭代次数.我们的方法还内插这些速率，而不知道的性质的预言先验，这是使一个无参数的自适应步长，是无视的知识的平滑模量，方差界和直径的约束集。据我们所知，这是第一个通用的算法，这样的全球保证在二阶优化文献。
2022-12-12 cs.LG math.OC stat.ML
Calibrating Noise to Variance in Adaptive Data Analysis
Google Brain（谷歌大脑）；IBM Research – Almaden（IBM阿尔马登研究院）；Simons Institute, UC Berkeley（加州大学伯克利分校西蒙斯研究所）
数据集经常被多次使用，每次连续分析可能取决于先前分析的结果。确保泛化和统计有效性的标准技术并不考虑这种自适应依赖性。最近的一系列工作研究了这种自适应数据重用所带来的挑战，通过考虑回答关于数据分布的一系列“查询”的问题，其中每个查询可以任意地依赖于对先前查询的回答。针对这个问题获得的最强结果依赖于差分隐私--一种强有力的算法稳定性概念，其重要属性是当数据被重用时，它能够很好地“组合”。然而，这个概念是相当严格的，因为它需要在替换任意数据元素时保持稳定。最简单的算法是添加高斯（或拉普拉斯）噪声来扭曲经验答案。然而，分析这种技术使用差分隐私产生次优的准确性保证时，查询具有低方差。在这里，我们提出了一个宽松的稳定性的概念，也组成自适应。我们证明了一个简单而自然的算法的基础上添加噪声缩放到标准偏差的查询提供了我们的概念的稳定性。这意味着一个算法，可以回答有关数据集的统计查询，大大提高了低方差查询的准确性保证。之前唯一能提供此类准确性保证的方法是基于更复杂的差分私有均值算法，其分析利用了算法更强的“组”稳定性。
2018-06-11 cs.CR cs.DS cs.IT
Why Does Adaptive Batching Help LLM Pretraining? A Perspective from Unbounded Variance
Elmore Family School of Electrical and Computer Engineering（埃尔莫尔家族电气与计算机工程学院）；Purdue University（普渡大学）
针对LLM预训练中批大小调度的理论缺失，提出广义BG-$a$噪声模型并推导复杂度界限，设计自适应批调度器，在OLMo2预训练中以更少迭代取得更低验证损失。
2026-10-05 cs.LG math.OC
ADP-VRSGP: Decentralized Learning with Adaptive Differential Privacy via Variance-Reduced Stochastic Gradient Push
Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Shandong Computer Science Center, Qilu University of Technology (Shandong Academy of Sciences)（计算能力网络与信息安全重点实验室，教育部，山东计算机科学中心，齐鲁大学（山东科学院））；Shandong Provincial Key Laboratory of Industrial Network and Information System Security, Shandong Fundamental Research Center for Computer Science（山东省工业网络与信息系统安全重点实验室，山东省计算机科学基础研究中心）；School of Information and Software Engineering, University of Electronic Science and Technology of China（信息与软件工程学院，电子科技大学）
提出ADP-VRSGP方法，通过自适应噪声方差与学习率调度及渐进梯度融合，在去中心化学习中实现节点级隐私保护并提升训练性能与收敛速度。
2025-10-23 cs.DC cs.LG
