Incentivized Exploration of Non-Stationary Stochastic Bandits
University of Colorado Boulder（科罗拉多大学博尔德分校）
本研究针对非平稳多臂老虎机问题，提出两种激励探索算法，在突变和连续变化环境中实现次线性遗憾与补偿，有效激励探索。
2024-03-16 cs.AI cs.LG stat.ML
Parallel Momentum Methods Under Biased Gradient Estimations
National Institute of Standards and Technology（美国国家标准与技术研究院）；Rice University（莱斯大学）；Colorado State University（科罗拉多州立大学）；University of Colorado（科罗拉多大学）；National Research Institute for Metals（国立金属材料研究所）
该研究针对分布式机器学习中梯度估计易有偏的问题，建立了一般非凸和μ-PL问题下并行动量方法的最坏情况界，实验验证其收敛性能优于传统有偏梯度下降。
2025-01-12 cs.LG
Reward-Biased Maximum Likelihood Estimation for Neural Contextual Bandits
National Yang Ming Chiao Tung University（国立阳明交通大学）
奖励偏置最大似然估计（RBMLE）是自适应控制文献中解决探索-利用权衡的经典原理。本文研究了具有一般有界报酬函数的随机上下文强盗问题，提出了NeuralRBMLE算法，该算法在RBMLE原理的基础上，通过在对数似然函数中增加一个偏置项来加强探索。NeuralRBMLE利用了神经网络的表示能力，并直接在参数空间中对探索行为进行编码，而无需构建估计回报的置信区间。我们提出了NeuralRBMLE算法的两个变体：第一个变体通过梯度上升直接获得RBMLE估计，第二个变体通过近似将RBMLE简化为一个简单的索引策略。我们表明，这两种算法实现$\widetilde{\mathcal{O}}(\sqrt{T})$遗憾。通过大量的实验，我们证明了NeuralRBMLE算法在具有非线性奖励函数的真实数据集上实现了与最先进的方法相当或更好的经验遗憾。
2022-05-29 cs.LG stat.ML
Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
我们引入有偏梯度预言机来捕获一个设置，其中函数测量具有可以通过批量大小参数控制的估计误差。我们提出的预言是有吸引力的，在几个实际情况下，例如，风险度量估计从一批独立同分布（i.i.d.）样本或模拟优化，其中函数测量由于计算约束而“有偏”。在任何一种情况下，增加批量大小都会减少估计误差。我们强调了我们的有偏梯度预言在风险敏感的强化学习环境中的适用性。在随机非凸优化的背景下，我们分析了一个变种的随机梯度（RSG）算法与有偏梯度预言。我们量化该算法的收敛速度，通过推导其性能的非渐近界。接下来，在随机凸优化设置，我们推导出非渐近界的随机梯度下降（SGD）算法的最后一个有偏梯度预言。
2021-05-16 cs.LG math.OC stat.ML
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton（南安普顿大学）
已经提出了许多优化方法来优化非凸目标（例如深度学习模型），例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明，这些优化方法可以通过使用无偏梯度估计器来收敛。然而，在实践中，有偏梯度估计可以允许更有效地收敛到附近，因为无偏方法在计算上更昂贵。为了产生快速收敛，这些优化策略有两个权衡，即随机/批量和有偏/无偏之间。本文提出了一种综合的方法，可以控制的性质的随机元素的优化，并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明，这个超参数可以配置为提供一个有效的平衡，以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
Two-Fidelity Best-Action Identification for Stochastic Minimax Tree
Department of Mathematics, Columbia University（哥伦比亚大学数学系）；Stern School of Business, New York University（纽约大学斯特恩商学院）
针对随机极小极大树中的固定置信度最优动作识别问题，提出双保真度树搜索算法2FFS，结合极小极大快速扩展与MCTS随机采样，自适应选择廉价有偏评估或昂贵精确评估，理论证明固定置信度正确性、有限停止及多项式深度成本上界，实验表明比现有BAI-MCTS基线显著减少样本和计算。
2026-09-30 cs.AI cs.LG
Biased Stochastic First-Order Methods for Conditional Stochastic Optimization and Applications in Meta Learning
ETH Zurich（苏黎世联邦理工学院）
针对条件随机优化中无偏梯度估计困难的问题，提出了有偏随机梯度下降（BSGD）算法及其加速变体BSpiderBoost，并分析了它们在不同凸性条件下的样本复杂度。
2024-06-02 cs.LG math.OC stat.ML
Analysis of Biased Stochastic Gradient Descent Using Sequential Semidefinite Programs
我们提出了一个收敛速度分析有偏随机梯度下降（SGD），其中个别梯度更新被破坏的计算错误。我们开发随机二次约束，制定一个小的线性矩阵不等式（LMI）的可行点导致有偏SGD的收敛界。基于这个LMI条件，我们开发了一个顺序最小化方法来分析复杂的权衡，耦合步长的选择，收敛速度，优化精度和鲁棒性梯度不准确。我们还提供了可行的点，这个线性矩阵不等式，并获得理论公式，量化的收敛性能偏SGD在各种假设下的损失函数。
2020-03-28 math.OC stat.ML
Convergence Rates of Biased Stochastic Optimization for Learning Sparse Ising Models
Stony Brook University（石溪大学）
我们研究了精确（NP-困难）目标的随机优化的收敛速度，其中只有有偏估计的梯度。我们激励这个问题的背景下学习的伊辛模型的结构和参数。首先，我们提供了一个收敛速度分析的确定性错误的前向-后向分裂（FBS）。然后，我们扩展我们的分析有偏随机误差，首先表征一个家庭的采样器，并提供一个高概率的界限，不仅允许理解FBS，但也近端梯度（PG）的方法。我们得出一些有趣的结论：FBS只需要一个grammically增加随机样本的数量，以收敛（虽然在一个非常低的速度）;所需的随机样本的数量是相同的确定性和有偏随机设置FBS和基本PG;加速PG不能保证收敛于有偏随机设置。
2012-06-18 cs.LG stat.ML
Unbiased and Biased Variance-Reduced Forward-Reflected-Backward Splitting Methods for Stochastic Composite Inclusions
Department of Statistics and Operations Research（统计与运筹学系）；The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Hanes Hall, UNC-Chapel Hill, NC 27599-3260（UNC-教堂山分校318号哈尼斯楼，NC 27599-3260）
本文提出新的方差减少技术用于前向-反射-后向分裂方法，解决可能非单调的随机复合包含物问题。设计新框架处理无偏和有偏估计器，证明无偏估计器收敛率和有偏估计器的Oracle复杂度。
2026-09-10 cs.LG math.OC stat.ML
Stochastic Gradient Descent with Biased but Consistent Gradient Estimators
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
随机梯度下降（SGD），可以追溯到20世纪50年代，是执行随机优化的最流行和最有效的方法之一。SGD的研究最近在机器学习中重新兴起，用于优化凸损失函数和训练非凸深度神经网络。该理论假设人们可以很容易地计算一个无偏梯度估计，这通常是由于经验风险最小化的样本平均性质的情况。然而，存在许多场景（例如，图），其中无偏估计器的计算可能与全梯度一样昂贵，因为训练样本是互连的。最近，Chen等人。（2018）提出使用一致梯度估计作为经济替代方案。鼓励经验的成功，我们表明，在一般情况下，一致的估计结果在相同的收敛行为做无偏的。我们的分析涵盖了强凸，凸和非凸目标。我们验证了合成和真实世界的数据与说明性的实验结果。这项工作开辟了几个新的研究方向，包括开发具有一致估计量的更有效的SGD更新，以及为大规模图设计有效的训练算法。
2019-12-23 cs.LG math.OC stat.ML
Asynchronous stochastic approximations with asymptotically biased errors and deep multi-agent learning
异步随机逼近（SA）是一类重要的无模型算法，工具和技术，流行的多智能体和分布式控制方案。为了对抗贝尔曼的维数灾难，这种算法与函数近似相结合。虽然学习/控制问题变得更容易处理，但函数逼近会影响稳定性和收敛性。在本文中，我们提出了可验证的充分条件的稳定性和收敛性的异步SA有偏逼近误差。本文中开发的理论用于分析策略梯度法和噪声值迭代方案。具体来说，我们分析了异步近似对应的政策梯度（A2 PG）和价值迭代（A2 VI）计划。结果表明，这些算法的稳定性是不受有偏逼近误差，只要它们是渐近有界的。关于收敛性（A2 VI和A2 PG），建立了极限集与逼近误差之间的关系。最后，实验结果支持的理论。
2019-05-02 math.DS math.OC stat.ML
Non-asymptotic Analysis of Biased Adaptive Stochastic Approximation
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LOPF；Califrais’ Machine Learning Lab（Califrais机器学习实验室）
本文研究有偏梯度下自适应 SGD 的非渐近收敛性，证明 Adagrad、RMSProp 和 AMSGRAD 在非凸光滑问题中可达接近无偏情形的速率，并用 VAE 实验验证。
2025-03-14 cs.LG stat.ML
Learning-to-Learn Stochastic Gradient Descent with Biased Regularization
IIT（意大利理工学院）
我们研究的问题，学习学习：推断一个学习算法，以及从一个未知的分布采样的任务。作为一类算法，我们考虑随机梯度下降的真实风险正规化的平方欧几里德距离的偏差向量。我们提出了一个平均超额风险界这样的学习算法。该结果量化了相对于无偏情况使用偏置向量的潜在益处。然后，我们解决的问题，估计从一系列的任务的偏见。我们提出了一个元算法，增量更新的偏见，观察到新的任务。这种方法的低空间和时间复杂度使得它在实践中很有吸引力。我们提供元算法的学习能力的保证。我们的研究结果的一个关键特征是，当任务的数量增长，他们的方差相对较小，我们的学习到学习的方法有一个显着的优势，孤立地学习每个任务的随机梯度下降没有偏见的条款。我们报告的数值实验，证明了我们的方法的有效性。
2019-03-25 cs.LG stat.ML
Learning from time-dependent streaming data with online stochastic algorithms
Sorbonne Université（索邦大学）
该研究针对带时间相关有偏梯度的流式随机优化问题，分析多种一阶SGD方法及其Polyak-Ruppert平均，通过非渐近分析得到加速收敛的启发式规则，并通过模拟与真实数据实验验证理论结论。
2023-07-18 cs.LG math.OC stat.ML
On the Convergence of SGD with Biased Gradients
University of Lausanne（洛桑大学）；EPFL（瑞士洛桑联邦理工学院）
我们分析了有偏随机梯度方法（SGD）的复杂性，其中个别更新被破坏的确定性，即有偏误差项。我们推导出光滑（非凸）函数的收敛结果，并在Polyak-Lojasiewicz条件下给出改进的速率。我们量化了偏差的大小如何影响可达到的精度和收敛速度（有时会导致发散）。我们的框架涵盖了许多应用程序，其中只有偏置梯度更新可用，或首选，无偏的性能原因。例如，在分布式学习领域，已经提出了诸如top-k压缩的有偏梯度压缩技术作为缓解通信瓶颈的工具，并且在无导数优化中，只能查询有偏梯度估计器。我们讨论了一些指导性的例子，显示了我们的分析的广泛适用性。
2021-05-09 cs.LG math.OC stat.ML
SAAGs: Biased Stochastic Variance Reduction Methods for Large-scale Learning
Panjab University（潘贾布大学）
随机逼近是处理大规模机器学习问题的有效方法之一，近年来的研究主要集中在减少由噪声引起的梯度逼近方差。在本文中，我们提出了SAAG-I和II（随机平均调整梯度）的新变体（Chauhan et al. 2017），分别称为SAAG-III和IV。与SAAG-I不同，SAAG-III中的起始点设置为前一个历元的平均值，而与SAAG-II不同，SAAG-IV中的捕捉点和起始点分别设置为前一个历元的平均值和最后一个历元。为了确定步长，我们使用了随机回溯-Armijo线搜索（SBAS），它只对选定的小批量数据点进行线搜索。由于回溯线搜索不适用于大规模问题，并且用于找到步长的常数（如Lipschitz常数）并不总是可用，因此SBAS在这种情况下可能非常有效。我们扩展了SAAGs（I，II，III和IV），以解决非光滑问题，并设计了两个更新规则，光滑和非光滑问题。此外，我们的理论结果证明了SAAG-IV的线性收敛性的光滑性和强凸性的所有四种组合，在预期中。最后，我们的实验研究已经证明了所提出的方法对最先进的技术的有效性。
2019-04-06 cs.AI cs.LG stat.ML
Cocoercivity, Smoothness and Bias in Variance-Reduced Stochastic Gradient Methods
为了研究方差缩减的随机梯度法中的有偏更新问题，我们引入了SVAG，一种具有可调偏差的SAG/SAGA类方法。SVAG的分析在一个cocoercive寻根设置，设置产生相同的结果，在通常的光滑凸优化设置为普通的近端梯度法。我们表明，同样是不正确的SVAG时，使用有偏见的更新。当操作符是梯度时的步长要求与当它们不是梯度时相比明显更少限制。这强调了在分析用于优化的方差缩减方法时，不需要仅仅依赖于协整性。我们的分析匹配或改进以前已知的SAG和SAGA的收敛条件。然而，在有偏见的情况下，他们仍然不符合实际经验，因此，我们研究的偏见数值上的一组分类问题的影响。偏置的选择似乎主要影响收敛的早期阶段，在大多数情况下，差异消失在收敛的后期阶段。然而，在一些情况下，偏见选择的影响仍然很大。
2022-02-01 math.OC stat.ML
Attentional-Biased Stochastic Gradient Descent
The University of Iowa（爱荷华大学）；Alibaba Group（阿里巴巴集团）；Meta Inc（Meta公司）；Texas A&M University（德克萨斯农工大学）
针对深度学习中的数据不平衡与标签噪声问题，提出名为ABSGD的个体级加权动量SGD方法，兼具效率与灵活性，在多个基准数据集上验证了有效性。
2023-06-08 cs.CV cs.LG math.OC
On Biased Compression for Distributed Learning
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Institute of Science and Technology Austria（奥地利科学技术研究院）
本文研究分布式学习中的有偏压缩算子，首次证明其可实现线性收敛，给出分布式压缩 SGD 的收敛速率，并揭示有偏压缩优于无偏压缩的原因，同时提出多个新的有偏压缩器。
2024-01-14 cs.DC cs.LG math.OC
Stochastic Optimization for Spectral Risk Measures
University of Washington（华盛顿大学）
光谱风险目标-也称为$L$ -风险-允许学习系统在优化平均情况性能（如经验风险最小化）和任务的最差情况性能之间进行插值。我们开发了随机算法来优化这些数量，通过表征它们的次微分和解决挑战，如偏置的次梯度估计和非光滑的目标。我们从理论上和实验上表明，开箱即用的方法，如随机次梯度和双平均受阻的偏见，我们的方法优于他们。
2022-12-10 cs.LG math.OC stat.ML
A Non-asymptotic Approach to Best-Arm Identification for Gaussian Bandits
我们提出了一种新的策略，最佳臂识别与固定的置信度的高斯变量有界的均值和单位方差。这种策略被称为探索偏置采样（Exploration-Biased Sampling），它不仅是渐近最优的：据我们所知，它是第一个具有非渐近边界的策略，渐近匹配样本复杂度。但与其他算法（如Track-and-Stop）相比，它的主要优点是改进了探索行为：探索偏置采样以一种微妙但自然的方式偏向于探索，使其更加稳定和可解释。这些改进是允许通过一个新的分析样本的复杂性最优化问题，这产生了一个更快的数值解决方案和几个定量规律性的结果，我们相信高的独立利益。
2022-03-07 math.ST stat.ML stat.TH
Learning Representations using Spectral-Biased Random Walks on Graphs
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
几种最先进的神经图嵌入方法基于短随机游走（随机过程），因为它们易于计算、捕获复杂局部图属性的简单性、可扩展性和可解释性。在这项工作中，我们感兴趣的是研究在这个随机过程中的概率偏差会影响过程中挑选的节点的质量。特别是，我们的有偏行走，有一定的概率，有利于移动到节点的邻居承担结构相似的当前节点的邻居。我们简洁地捕捉这个邻域作为一个概率测度的基础上，表示为一个归一化的拉普拉斯矩阵的节点的邻域子图的频谱。我们建议使用一个新的Wasserstein正则化项的段落向量模型。我们经验评估我们的方法对几个国家的最先进的节点嵌入技术在各种各样的现实世界的数据集，并证明我们提出的方法显着改善现有的方法上的链接预测和节点分类任务。
2020-07-29 cs.LG cs.SI stat.ML
Convergence Rates for Stochastic Approximation: Biased Noise with Unbounded Variance, and Applications
Chennai Mathematical Institute（金奈数学研究所）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
本文研究非凸invex函数下SGD的收敛性，在比KL条件更弱的假设下证明几乎必然全局收敛，并在PL条件下推导出与凸函数最优速率相同的收敛速率，同时推广了随机梯度假设并应用于仅函数评估场景及SA算法。
2024-09-23 cs.LG math.OC math.PR
Why resampling outperforms reweighting for correcting sampling bias with stochastic gradients
Stanford University（斯坦福大学）
从某个总体中抽样的数据集是有偏差的，如果总体的子群体的抽样比例与其基本比例有显着差异。在有偏差的数据集上训练机器学习模型需要校正技术来补偿偏差。我们考虑两种常用的技术，rescue和重新加权，重新平衡的子组的比例，以保持所需的目标函数。虽然在统计学上是等价的，但已经观察到，当与随机梯度算法相结合时，rescue优于重新加权。通过分析说明性的例子，我们解释了这一现象背后的原因，从动态稳定性和随机渐近性的工具。我们还提供了回归、分类和政策外预测的实验来证明这是一个普遍现象。我们认为，这是必要的，同时考虑目标函数的设计和优化算法，解决采样偏差。
2021-08-27 cs.LG cs.NA math.NA
A stochastic Stein Variational Newton method
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）
Stein变分梯度下降（SVGD）是一种通用的基于优化的采样算法，最近流行起来，但受到两个问题的限制：已知它会产生有偏差的样本，并且它在复杂分布上收敛速度较慢。最近提出的SVGD（sSVGD）的随机变量解决了第一个问题，通过将一个特殊的噪声到SVGD动态，从而保证渐近收敛产生无偏样本。同时，Stein变分牛顿（SVN），一个类似于牛顿的SVGD扩展，通过将Hessian信息纳入动力学，大大加快了SVGD的收敛速度，但也产生有偏的样本。在本文中，我们推导出，并提供了一个实际的实施，随机变量的SVN（sSVN），这是渐近正确的，收敛迅速。我们证明了我们的算法在一类困难的测试问题-混合Rosenbrock密度-的有效性，并表明sSVN收敛使用三个数量级的梯度评估的对数似然比随机SVGD对应。我们的研究结果表明，sSVN是一种很有前途的方法，以加速高精度贝叶斯推断任务与适度的维，$d\sim\mathcal{O}(10)$。
2022-04-19 astro-ph.CO cs.LG stat.ML
Stochastic Gradient Descent Revisited
本文在相对温和的条件下对有偏非凸随机梯度下降进行了全面收敛性分析，涵盖弱收敛、函数值收敛和全局收敛，并给出了收敛速率与复杂度。
2025-03-07 math.OC math.PR stat.ML
Are sample means in multi-armed bandits positively or negatively biased?
众所周知，在随机多臂强盗（MAB）中，臂的样本均值通常不是其真实均值的无偏估计。在本文中，我们解耦三个不同的来源，这种选择偏差：自适应\emph{sampling}的武器，自适应\emph{stopping}的实验，并自适应\emph{choosing}的手臂进行研究。通过一个新的概念，称为“乐观”，捕捉某些自然的单调行为的算法，我们提供了一个干净的和统一的分析乐观的规则如何影响的偏见的迹象。主要的结论是，乐观的抽样会导致负偏差，但乐观的停止和乐观的选择都会导致正偏差。这些结果是在一个一般的随机MAB设置，这是完全不可知的实验的最终目标（后悔最小化或最佳手臂识别或其他任何东西）。我们提供了每种类型的乐观规则的例子，证明模拟证实了我们的理论预测，并提出了一些自然的，但很难打开的问题。
2019-10-26 math.ST stat.ML stat.TH
De-Biased Machine Learning of Global and Local Parameters Using Regularized Riesz Representers
我们提供了自适应推理方法，$\ell_1$正则化的基础上，定期（半参数）和非定期（非参数）的线性泛函的条件期望函数。正则泛函的例子包括平均处理效应、政策效应和导数。非正则泛函的例子包括平均处理效应、政策效应和以固定在某点的协变量子向量为条件的导数。我们构建了一个奈曼正交方程的目标参数，是近似不变的滋扰参数的小扰动。为了实现这一属性，我们包括Riesz代表功能作为一个额外的滋扰参数。我们的分析产生了弱的“双稀疏鲁棒性”：回归的近似或代表者的近似可以是“完全稠密的”，只要另一个足够“稀疏”。我们的主要结果是非渐近的，并意味着在大类模型的渐近一致有效性，转化为诚实的信心带的全球和当地的参数。
2022-10-21 econ.EM math.ST stat.ML
Non asymptotic analysis of Adaptive stochastic gradient algorithms and applications
在随机最优化中，顺序处理大样本的常用工具是考虑著名的随机梯度算法。然而，由于每个方向的步骤序列是相同的，这可能会导致在病态问题的情况下，在实践中的不良结果。为了克服这一点，自适应梯度算法，如Adagrad或随机牛顿算法应优先考虑。本文对强凸目标的自适应梯度算法进行了非渐近性分析。所有的理论结果都适用于Adagrad算法和随机牛顿算法的线性回归和正则化广义线性模型。
2023-03-01 math.OC math.PR math.ST
