Learning Online Alignments with Continuous Rewards Policy Gradient
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）；Google Brain（谷歌大脑）；Open AI（OpenAI）
具有软注意力的序列到序列模型在机器翻译、语音识别和问答中取得了显著的成功。尽管它们有能力且易于使用，但它们要求在推理开始时整个输入序列可用，这一假设对于即时翻译和语音识别是无效的。为了解决这个问题，我们提出了一种新的方法来解决序列到序列的问题，使用硬在线比对，而不是软离线比对。在线比对模型能够开始产生输出，而不需要首先处理整个输入序列。高度精确的在线序列到序列模型是有用的，因为它可以用于构建精确的基于语音的瞬时翻译器。我们的模型使用硬二进制随机决策来选择将产生输出的时间步长。该模型使用标准的策略梯度方法进行训练以产生这些随机决策。在我们的实验中，我们表明，该模型取得了令人鼓舞的性能TIMIT和华尔街日报（WSJ）语音识别数据集。
2016-08-03 cs.CL cs.LG
$ε$-Policy Gradient for Online Pricing
University of Edinburgh（爱丁堡大学）；Alan Turing Institute（阿兰·图灵研究所）；Naresuan University（那黎宣大学）；Imperial College London（伦敦帝国学院）
本文提出ε-策略梯度算法用于在线定价，用梯度下降替代ε-贪婪中的贪婪利用并结合模型推断，通过量化探索与利用成本实现O(√T)阶期望遗憾。
2024-05-06 cs.LG math.OC q-fin.ST
Meta-Gradient Reinforcement Learning with an Objective Discovered Online
DeepMind
深度强化学习包括通过深度神经网络参数化内部表示（诸如价值函数或策略）的广泛算法家族。每个算法都相对于定义其语义的目标（例如Q学习或策略梯度）来优化其参数。在这项工作中，我们提出了一种基于Meta梯度下降的算法，该算法发现了自己的目标，通过深度神经网络灵活地参数化，仅从与环境的交互经验。随着时间的推移，这允许代理学习如何越来越有效地学习。此外，由于目标是在线发现的，它可以随着时间的推移而适应变化。我们证明了该算法发现如何解决RL中的几个重要问题，如自举，非平稳性和离策略学习。在Atari学习环境中，元梯度算法随着时间的推移而适应，以更高的效率学习，最终超过了强演员-评论家基线的中值得分。
2020-07-16 cs.AI cs.LG stat.ML
Variance-Reduced Gradient Estimation via Noise-Reuse in Online Evolution Strategies
Google DeepMind（谷歌DeepMind）；Carnegie Mellon University（卡内基梅隆大学）
针对AD难以处理高敏感、不连续或黑盒展开图的问题，提出无偏在线进化策略并识别出最低方差的NRES，实验证明其在多类任务上收敛更快。
2023-12-09 cs.AI cs.LG cs.NE
A Note on Hybrid Online Reinforcement and Imitation Learning for LLMs: Formulations and Algorithms
Yingru Li, Ziniu Li, Jiacai Liu（作者）
本文提出了一种整合模仿学习与强化学习的LLM微调框架，通过梯度分解实现高效token级模仿与长周期奖励优化。
2025-12-28 cs.AI cs.CL cs.LG
Online Gradient Descent in Function Space
在机器学习和运筹学的许多问题中，我们需要优化一个函数，其输入是随机变量或概率密度函数，即在无限维空间中求解优化问题。另一方面，在线学习具有处理流示例的优势，并且可以更好地模拟不断变化的环境。本文将著名的在线梯度下降算法推广到Hilbert空间（函数空间），并分析了算法的收敛性保证。最后，我们证明了我们的算法可以在几个重要的问题是有用的。
2019-02-08 cs.LG
Online Gradient Boosting
Yahoo Labs（雅虎实验室）；Princeton University（普林斯顿大学）
我们将回归问题的提升理论扩展到在线学习环境。从用于提升的批量设置进行概括，弱学习算法的概念被建模为具有与回归函数的基类竞争的线性损失函数的在线学习算法，而强学习算法是具有与更大类的回归函数竞争的凸损失函数的在线学习算法。我们的主要结果是一个在线的梯度提升算法，它将一个弱的在线学习算法转化为一个强的，其中较大的函数类是基类的线性跨度。我们还给出了一个简单的boosting算法，将一个弱的在线学习算法转化为一个强的，其中较大的函数类是基类的凸包，并证明了其最优性。
2015-10-30 cs.LG
Let Training Guide Selection: Online Synthetic Data Filtering via Real-Anchored Utility
Purdue University（普渡大学）；Meta
提出FROST在线框架，利用真实数据锚定的梯度反馈估计合成数据效用，动态过滤噪声样本，在图像分类、文本到SQL及工业广告重排序中提升性能。
2026-09-25 cs.LG
Variance Reduced Online Gradient Descent for Kernelized Pairwise Learning with Limited Memory
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对核化在线成对学习，提出有限内存方差缩减OGD算法，利用分层样本和随机傅里叶特征降低梯度方差，实现改进的次线性遗憾，实验验证其优越性。
2023-10-10 cs.LG
Online Learning, Stability, and Stochastic Gradient Descent
Massachusetts Institute of Technology（麻省理工学院）
在批处理学习中，稳定性以及解的存在性和唯一性对应于经验风险最小化（ERM）方法的适定性;最近，证明了CV_loo稳定性对于ERM的推广性和一致性是必要和充分的。在本文中，我们介绍CV_on稳定性，它在在线学习中起着类似的作用。我们证明了在通常的假设下随机梯度下降（SDG）是CV_on稳定的，并讨论了CV_on稳定性对SGD收敛性的影响.
2011-09-08 cs.LG
Synthetic Control As Online Linear Regression
Harvard University（哈佛大学）；Harvard Business School（哈佛商学院）
本文指出了合成控制和在线学习之间的简单联系。具体来说，我们认为合成控制是跟随领导者（FTL）的一个实例。在线凸优化中的标准结果则意味着，即使结果是由对手选择的，被处理单元的反事实结果的合成控制预测几乎与控制单元结果的预言加权平均值一样好。对差异数据的合成控制的性能几乎与Oracle加权差异中的差异一样好，这可能使其在实践中成为一个有吸引力的选择。我们认为，这一观察进一步支持使用合成控制估计比较案例研究。
2022-11-13 cs.LG econ.EM stat.ME
Scalable Online Recurrent Learning Using Columnar Neural Networks
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维公司）
结构性信用分配的循环学习是具有挑战性的。一种名为RTRL的算法可以在线计算递归网络的梯度，但对于大型网络来说，计算难度很大。替代方案，如BPTT，不在网上。在这项工作中，我们提出了一个信用分配算法- \algoname{} -近似梯度的循环学习实时使用$O(n)$操作和内存每一步。我们的方法建立在这样的思想基础上，即对于由具有标量状态的列组成的模块化递归网络，参数只跟踪其对列状态的影响就足够了。我们的经验表明，只要列之间的连接是稀疏的，我们的方法近似的真实梯度。在列之间没有连接的特殊情况下，$O(n)$梯度估计是准确的。我们证明了实用的方法，经常性的状态学习和元学习的估计梯度的真实梯度的合成测试床进行比较。
2021-03-09 cs.LG
Harmonized Gradient Descent for Class Imbalanced Data Stream Online Learning
Peng Cheng Laboratory（鹏城实验室）；School of Automation, Chongqing University（重庆大学自动化学院）；School of Information Science and Engineering, East China University of Science and Technology（东华大学信息科学与工程学院）
本文提出调和梯度下降（HGD）算法，通过平衡各类别梯度范数缓解少数类欠拟合，无需缓冲区、额外参数或先验知识即可实现不平衡数据流的平衡在线学习，并在理论和实验中验证了其有效性与高效性。
2025-08-15 cs.LG
A Gradient-based Approach for Online Robust Deep Neural Network Training with Noisy Labels
University of California（加利福尼亚大学）；JP Morgan Chase AI Research（摩根大通人工智能研究院）
针对在线流数据场景下的噪声标签学习问题，提出基于梯度的OGRS方法，可自动筛选干净样本增量更新模型，经理论证明收敛且实验效果优于现有最优方法。
2023-06-08 cs.LG
Dynamic Momentum Recalibration in Online Gradient Learning
Shenyang University of Chemical Technology（沈阳化工大学）；University of Louisville（路易斯维尔大学）；Northeastern University（东北大学）
SGDF通过动态调整动量系数优化梯度估计，提升深度学习优化性能。
2026-03-06 cs.LG
Gradient Boosting on Stochastic Data Streams
Carnegie Mellon University（卡内基梅隆大学）
Boosting是一种流行的集成算法，它通过从更简单的假设类中线性组合基本模型来生成更强大的学习器。在这项工作中，我们研究的问题，适应批量梯度提升最小化凸损失函数的在线设置，在每次迭代的损失是独立同分布采样从一个未知的分布。为了从批处理推广到在线，我们首先引入在线弱学习边缘的定义，对于强凸和光滑的损失函数，我们提出了一种算法，流梯度提升（SGB），指数收缩保证弱学习者的数量。我们进一步提出了一个适应SGB优化非光滑损失函数，我们推导出O（ln N/N）的收敛速度。我们还表明，我们的分析可以扩展到对抗性在线学习设置下，在线弱学习边缘将举行对抗性设置更强的假设。最后，我们展示了实验结果表明，在实践中，我们的算法可以实现具有竞争力的结果，经典的梯度提升，而使用更少的计算。
2017-03-01 cs.LG
On the Computational Power of Online Gradient Descent
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）；Google Research, Mountain View（谷歌研究院（山景城））
我们证明了在线梯度下降中权重向量的演化可以编码任意多项式空间计算，即使在非常简单的学习设置中。我们的结果意味着，在弱复杂性理论的假设下，不可能有效地推理在线梯度下降的细粒度行为。
2019-02-06 cs.LG stat.ML
The Power of LLM-Generated Synthetic Data for Stance Detection in Online Political Discussions
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）；Technical University Dortmund（多特蒙德工业大学）
本文提出利用 LLM 离线生成合成数据并结合主动学习筛选最具信息量样本，以少量标注数据提升在线政治讨论中立场检测模型的性能，超越全量标注微调的基线模型。
2025-03-12 cs.CL cs.LG
Proximal Online Gradient is Optimum for Dynamic Regret
National University of Defense Technology（国防科技大学）；University of Michigan（密歇根大学）；Uiversity of Rochester（罗切斯特大学）
在在线学习中，动态后悔度量选择可能随时间变化的参考（最优）解，而典型（静态）后悔度量假设参考解在整个时间范围内是恒定的。动态后悔度量对于诸如在线推荐之类的应用特别有趣（因为客户的偏好总是随着时间而演变）。虽然在线梯度法已被证明是最佳的静态遗憾度量，动态遗憾的最佳算法仍然未知。在本文中，我们表明，近端的在线梯度（在线梯度的一般版本）是最佳的动态遗憾，证明下限匹配的上限，稍微提高现有的上限。
2019-09-03 cs.LG stat.ML
FedSynth: Gradient Compression via Synthetic Data in Federated Learning
CMU（卡内基梅隆大学）；Meta
模型压缩在联邦学习（FL）中具有重要的意义，可以减少大模型的通信开销。先前的工作一直集中在基于稀疏化的压缩，这可能会严重影响全局模型的准确性。在这项工作中，我们提出了一个新的方案，而不是传输模型更新，每个客户端学习和传输一个轻量级的合成数据集，使它作为训练数据，该模型表现同样好的真实训练数据。服务器将通过合成数据恢复本地模型更新并应用标准聚合。然后，我们提供了一个新的算法FedSynth本地学习的合成数据。从经验上讲，我们发现我们的方法在所有三个常见的联邦学习基准数据集中与随机掩蔽基线相当/更好。
2022-04-04 cs.LG
Efficient Neural and Numerical Methods for High-Quality Online Speech Spectrogram Inversion via Gradient Theorem
University of Tübingen（图宾根大学）；MetaUK（Meta英国）；MetaSpain（Meta西班牙）；Tübingen AI Center（图宾根人工智能中心）；Reality Labs Research（现实实验室研究）
本文提出三项创新优化在线语音频谱图反转：8k参数的轻量神经网络架构、通过增加1个hop size延迟减半推理成本，以及利用三对角矩阵特性的线性复杂度最小二乘求解器，在保持高质量的同时大幅降低计算成本。
2025-05-30 cs.LG
Efficient Online Learning of Optimal Rankings: Dimensionality Reduction via Gradient Descent
National Technical University of Athens（雅典国立技术大学）；Singapore University of Technology and Design（新加坡科技设计大学）
我们认为一个自然的模型，在线偏好聚合，其中首选项目集$R_1, R_2, \ldots, R_t$以及在每个$R_t$的$k_t$项目的需求，出现在网上。在没有$(R_t, k_t)$的先验知识的情况下，学习者保持排名$π_t$，目的是来自$R_t$的至少$k_t$项在$π_t$中出现高。这是偏好聚合中的一个基本问题，基于用户滚动和点击模式来对网页中的产品或新闻项进行排序。广泛研究的广义最小和集覆盖（GMSSC）问题作为上述设置的形式化模型。GMSSC是NP难的，并且无悔在线学习算法的标准应用在计算上是低效的，因为它们在排名空间中操作。在这项工作中，我们展示了如何实现低遗憾的GMSSC在多项式时间。我们采用降维排名的双随机矩阵的空间，在那里我们应用在线梯度下降。一个关键的步骤是显示如何子梯度可以有效地计算，通过解决对偶的配置LP。使用不经意的确定性和随机舍入方案，我们将双随机矩阵映射回排名，在GMSSC目标中损失较小。
2020-11-05 cs.LG
Simple Stochastic and Online Gradient Descent Algorithms for Pairwise Learning
City University of Hong Kong（香港城市大学）；University of Iowa（爱荷华大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；University of Birmingham（伯明翰大学）
成对学习是指损失函数依赖于一对实例的学习任务。它实例化了许多重要的机器学习任务，如二分排序和度量学习。在成对学习中处理流数据的流行方法是在线梯度下降（OGD）算法，其中需要将当前实例与具有足够大的大小的先前实例的缓冲集配对，并且因此遭受可扩展性问题。在本文中，我们提出了简单的随机和在线梯度下降成对学习的方法。与现有研究的一个显著区别是，我们只将当前实例与前一个实例配对来构建梯度方向，这在存储和计算复杂性方面都是有效的。我们开发了新的稳定性结果，优化，和泛化误差界的凸和非凸，以及光滑和非光滑的问题。我们引入了新的技术来解耦模型的依赖性，并在优化和泛化分析的前一个实例。我们的研究解决了一个悬而未决的问题，发展有意义的推广界限OGD使用一个非常小的固定大小的缓冲集。我们还扩展了我们的算法和稳定性分析，以开发用于成对学习的差分私有SGD算法，从而显着改善了现有的结果。
2021-11-23 cs.LG
Online Newton Step Algorithm with Estimated Gradient
China University of Petroleum（中国石油大学）；National Space Science Center, CAS（中国科学院国家空间科学中心）；Arizona State University（亚利桑那州立大学）
有限信息反馈的在线学习（bandit）试图解决在线学习者在学习过程中从环境接收部分反馈信息的问题。在这种情况下，Flaxman et al. [8]通过提出具有期望梯度的在线梯度下降（OGDEG）算法，扩展了Zinkevich的经典在线梯度下降（OGD）算法[29]。具体来说，它使用一个简单的技巧来近似损失函数$f_t$的梯度，方法是在一个点上对其进行评估，并将预期后悔限制为$\mathcal{O}(T^{5/6})$ [8]，其中轮数为$T$。同时，过去的研究工作表明，与一阶算法相比，二阶在线学习算法（如在线牛顿步（ONS）[11]）可以显著加快传统在线学习算法的收敛速度。基于此，本文旨在利用二阶信息来加快OGDEG算法的收敛速度。特别地，我们用期望梯度的技巧扩展了ONS算法，并开发了一种新的二阶在线学习算法，即，在线牛顿步与期望梯度（ONSEG）。从理论上讲，我们表明，所提出的ONSEG算法显着降低了OGDEG算法的预期遗憾从$\mathcal{O}(T^{5/6})$到$\mathcal{O}(T^{2/3})$在强盗反馈的情况下。实证上，我们进一步证明了所提出的算法在多个真实世界的数据集上的优势。
2019-03-15 cs.LG stat.ML
A Bayesian Approach for Online Classifier Ensemble
Boston University（波士顿大学）；University of Michigan（密歇根大学）
我们提出了一个贝叶斯方法递归估计分类器的权重在在线学习的分类器集成。与过去的方法，如随机梯度下降或在线提升，我们的方法估计的权重递归更新其后验分布。对于一类特定的损失函数，我们表明，它是可以制定一个适当定义的似然函数，因此使用后验分布作为近似的全球经验损失最小。如果训练数据流是从一个平稳的过程中采样的，我们还可以证明，我们的方法比标准的随机梯度下降方法具有更好的收敛速度。在真实世界数据集的实验中，我们的公式通常比最先进的随机梯度下降和在线提升算法表现得更好。
2015-07-08 cs.LG
Improved Impossible Tuning and Lipschitz-Adaptive Universal Online Learning with Gradient Variations
提出一种带辅助初始轮的乐观在线镜像下降算法解决“impossible tuning”问题，并以此作为元算法开发了首个同时实现最先进GV界和LA的UOL算法，克服了先前工作中的关键限制。
2025-09-16 cs.LG
Adaptive Subgradient Methods for Online AUC Maximization
The University of Chicago（芝加哥大学）；Singapore Management University（新加坡管理大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Nanyang Technological University（南洋理工大学）
最大化AUC性能的学习是机器学习和人工智能中的一个重要研究问题。与传统的最大化AUC的批量学习方法（通常可扩展性较差）不同，近年来出现了一些新兴的研究，试图通过单次在线学习方法最大化AUC。尽管已有的在线AUC最大化算法取得了令人鼓舞的结果，但通常采用简单的在线梯度下降方法，无法利用在线学习过程中观察到的数据的几何知识，因此可能遭受相对较大的遗憾。为了解决上述限制，在这项工作中，我们探索了一种新的算法的自适应在线AUC最大化（AdaOAM），它采用了自适应梯度方法，利用历史梯度的知识来执行更多的信息在线学习。新的自适应更新策略的AdaOAM是不敏感的参数设置，并保持相同的时间复杂度作为以前的非自适应同行。此外，我们扩展了算法来处理高维稀疏数据（SAdaOAM）和地址稀疏的解决方案，通过执行惰性梯度更新。我们分析了理论界，并评估其经验表现在各种类型的数据集。所获得的令人鼓舞的实证结果清楚地突出了所提出的算法的有效性和效率。
2016-02-01 cs.LG
Alternating Synthetic and Real Gradients for Neural Language Modeling
使用时间反向传播（BPTT）训练递归神经网络（RNN）具有已知的缺点，例如难以捕获序列中的长期依赖性。尚未发现BPTT的成功替代品。最近，已经提出了通过解耦神经接口模块的具有合成梯度的BP来代替BPTT用于训练RNN。另一方面，已经表明，用合成梯度和真实梯度学习的表示是不同的，尽管它们在功能上是相同的。在这个项目中，我们将探索将合成和真实梯度与神经语言建模任务相结合的方法。从经验上讲，我们证明了在语言建模任务定期热重启后，使用合成和真实梯度交替训练的有效性。
2022-06-03 cs.LG cs.NE
Randomized Block Coordinate Descent for Online and Stochastic Optimization
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
两种类型的低成本每次迭代梯度下降方法已被广泛研究并行。一种是在线或随机梯度下降（OGD/SGD），另一种是随机坐标下降（RBCD）。在本文中，我们结合这两种类型的方法在一起，提出了在线随机块坐标下降（ORBCD）。在每次迭代中，ORBCD只计算一个小批量样本的一个块坐标的部分梯度。ORBCD非常适合于复合最小化问题，其中一个函数是大量样本损失的平均值，另一个是定义在高维变量上的简单正则化子。我们证明了ORBCD的迭代复杂度与OGD或SGD具有相同的数量级。对于强凸函数，通过降低随机梯度的方差，证明了ORBCD可以以几何速度收敛，与方差降低的SGD和RBCD的收敛速度相当.
2014-07-26 cs.LG
Online Learning of a Memory for Learning Rates
MPI-IS（马克斯·普朗克智能系统研究所）；University of Washington（华盛顿大学）；USC（南加利福尼亚大学）
机器人学会学习的希望在于希望通过提取一些关于学习过程本身的信息，我们可以加快后续类似的学习任务。在这里，我们介绍了一个计算效率高的在线元学习算法，建立和优化记忆模型的最佳学习率景观从以前观察到的梯度行为。在执行特定于任务的优化时，该学习率的记忆预测如何缩放当前观察到的梯度。在应用梯度缩放后，我们的元学习器根据观察到的预测效果更新其内部内存。我们的元学习器可以与任何基于梯度的优化器相结合，动态学习，并可以转移到新的优化任务。在我们的评估中，我们表明，我们的元学习算法加快学习MNIST分类和各种学习控制任务，无论是在批量或在线学习设置。
2018-03-23 cs.LG
Limited Memory Online Gradient Descent for Kernelized Pairwise Learning with Dynamic Averaging
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Jilin University（吉林大学）
针对现有成对学习OGD算法仅适用于线性模型、需样本独立假设的问题，提出基于随机样本与移动平均的轻量级核化OGD算法，结合随机傅里叶特征降核计算复杂度，在多场景下性能更优。
2024-02-02 cs.LG
Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness
本文研究了Hölder平滑函数的在线学习，设计了无需预知平滑参数的梯度变分在线学习算法，通过在线到批处理转换及检测程序，首次为离线强凸优化提出了一种在平滑与非平滑机制下均具最优或近最优收敛的通用加速方法。
2025-11-04 cs.LG math.OC
Fast Bounded Online Gradient Descent Algorithms for Scalable Kernel-Based Online Learning
Nanyang Technological University（南洋理工大学）；Michigan State University（密歇根州立大学）
基于内核的在线学习通常在许多在线学习任务中表现出最先进的性能。然而，它有一个主要的缺点，即支持向量的数量是无限的，这使得它不具有可扩展性，不适合大规模数据集的应用。在这项工作中，我们研究的问题，有界核为基础的在线学习，旨在限制支持向量的数量由一个预定义的预算。虽然在文献中已经提出了几种算法，它们既不是计算效率，由于其密集的预算维护策略，也不是有效的，由于使用简单的感知器算法。为了克服这些限制，我们提出了一个框架，有界核为基础的在线学习的基础上在线梯度下降的方法。我们提出了两个有效的算法有界在线梯度下降（BOGD）的可扩展的基于内核的在线学习：（i）BOGD通过维护支持向量使用均匀采样，和（ii）BOGD++通过维护支持向量使用非均匀采样。我们目前的理论分析的遗憾界的算法，并发现有前途的实证性能方面的功效和效率进行比较，几个著名的算法有界核为基础的在线学习大规模数据集。
2012-06-18 cs.LG stat.ML
Online Importance Sampling for Stochastic Gradient Optimization
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）；Adobe Research（奥多比研究院）；University College London（伦敦大学学院）
提出一种在线重要性采样算法，通过基于损失导数的新指标在训练时即时计算数据重要性，提升梯度估计精度并支持在线数据剪枝，显著减少训练时间且几乎不损失准确性。
2025-01-28 cs.LG
Projection-free Online Learning with Arbitrary Delays
Zhejiang University（浙江大学）；Nanjing University（南京大学）；Paradigm Inc.（第四范式公司）
针对梯度反馈存在任意延迟的实际场景，将OFW和OSPF算法推广至延迟设定，通过利用可用梯度进行更新，证明了在较大延迟下仍能保持与非延迟设定相同的遗憾界。
2023-05-20 cs.LG
Online convex optimization in the bandit setting: gradient descent without a gradient
我们考虑了Zinkevich提出的一般在线凸优化框架。在这种情况下，存在一系列凸函数。每一个周期，我们必须选择一个单点（从一些可行的集合），并支付成本等于我们选择的点上的下一个函数的值。Zinkevich表明，如果每个功能都是在做出选择后才显示的，那么相对于事后选择的最佳单一决策，人们可以获得微不足道的遗憾。我们将其扩展到bandit设置，在该设置中，我们不找出整个函数，而是仅找出它们在我们所选点处的值。我们将展示如何在这种情况下获得消失的小遗憾。我们的方法使用了一个简单的近似梯度，该近似梯度是通过在单个（随机）点处评估函数来计算的。我们表明，这种估计是足够的模仿Zinkevich的梯度下降在线分析，与访问的梯度（只能在一个单一的点评估功能）。
2004-08-02 cs.CC cs.LG
Time-Smoothed Gradients for Online Forecasting
Stevens Institute of Technology（史蒂文斯理工学院）
在这里，我们研究不同的更新规则，随机梯度下降（SGD）的在线预测问题。在SGD中，学习率参数的选择至关重要。然而，在在线学习中调整该参数可能不可行。因此，需要具有对学习参数的选择不敏感的更新规则。受我们之前介绍的局部遗憾度量的启发，我们建议在SGD更新中使用时间平滑梯度。使用公共数据集-GEFCom 2014，我们验证了我们的方法比其他现有的方法产生更稳定的结果。此外，我们表明，这样一个简单的方法是计算效率的替代品相比。
2019-05-21 cs.LG stat.ML
Dealing with Synthetic Data Contamination in Online Continual Learning
The University of Tokyo（东京大学）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；LIGM（LIGM实验室）
本文研究合成数据污染对在线持续学习的影响，提出ESRM方法，通过熵选择和真实-合成相似性最大化来缓解合成图像导致的性能下降，实验证明其在严重污染下效果显著。
2024-11-21 cs.CV cs.LG
Less Regret via Online Conditioning
Google, Inc.（谷歌公司）
我们分析和评估的在线梯度下降算法与自适应每坐标调整的学习率。我们的算法可以被认为是一个在线版本的批量梯度下降与对角预条件。对于一般的在线凸优化问题，这种方法导致了比标准在线梯度下降更强的遗憾界。实验表明，我们的算法是有竞争力的大规模机器学习问题的最先进的算法。
2010-02-25 cs.AI cs.LG
Sparse Online Learning via Truncated Gradient
Yahoo Research（雅虎研究院）；Rutgers（罗格斯大学）
我们提出了一种称为截断梯度的一般方法，以诱导稀疏的在线学习算法的权重与凸损失函数。这种方法有几个基本性质：稀疏度是连续的-一个参数控制从没有稀疏化到总稀疏化的稀疏化速率。该方法是理论上的动机，它的一个例子可以被看作是流行的$L_1$ -正则化方法在批量设置的在线对应。我们证明，稀疏率小的结果，在只有小的额外的遗憾与典型的在线学习保证。这种方法在经验上运作良好。我们将该方法应用于几个数据集，发现对于具有大量特征的数据集，大量的稀疏性是可验证的。
2008-07-04 cs.AI cs.LG
Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods
University of Pennsylvania（宾夕法尼亚大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Michigan（密歇根大学）
该研究提出在线双层优化问题，定义新的双层悔度概念，设计可利用平滑性的在线交替时间平均梯度方法，将单层在线算法悔度界拓展至双层场景，给出基于内外层最小化子序列路径长度的悔度界。
2024-07-08 cs.DS cs.LG math.OC
Gradient-Variation Online Learning under Generalized Smoothness
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文在广义光滑性条件下系统研究梯度变化在线学习，扩展乐观镜像下降算法，并提出无需曲率先验的两层通用算法，实现凸与强凸函数的最优遗憾，应用于博弈快速收敛与随机优化。
2024-11-03 cs.LG math.OC
Online Covariance Matrix Estimation in Stochastic Gradient Descent
University of Chicago（芝加哥大学）；New York University（纽约大学）
随机梯度下降（SGD）算法被广泛应用于参数估计，特别是大数据集和在线学习。虽然这种递归算法是流行的计算和内存效率，量化的可变性和随机性的解决方案很少被研究。本文旨在在线环境下对基于SGD的估计值进行统计推断。特别是，我们提出了一个完全在线估计协方差阵的平均SGD迭代（ASGD）只使用从SGD迭代。我们正式建立我们的在线估计的一致性，并表明收敛速度与离线同行。基于ASGD的经典渐近正态性结果，构造了模型参数的渐近有效置信区间。在接收到新的观测值后，我们可以快速更新协方差阵估计值和置信区间。这种方法适合在线设置，并充分利用SGD：计算和内存效率。
2021-06-22 cs.LG stat.ML
Dynamic Online Gradient Descent with Improved Query Complexity: A Theoretical Revisit
National University of Defense Technology（国防科技大学）；Dongguan University of Technology（东莞理工学院）
我们提供了一个新的理论分析框架来研究动态环境中的在线梯度下降。与以前的工作相比，新的框架恢复了最先进的动态遗憾，但不需要额外的梯度查询的每一个迭代。具体地说，当函数是$α$强凸和$β$光滑的，以实现最先进的动态遗憾，以前的工作需要$O(κ)$与$κ= \fracβα$查询的梯度在每次迭代。但是，我们的框架表明，查询的复杂性可以提高到$O(1)$，它不依赖于$κ$。这种改进对于病态问题是很有意义的，因为病态问题的目标函数通常具有很大的$κ$。
2019-01-08 cs.LG stat.ML
Towards Realistic Synthetic User-Generated Content: A Scaffolding Approach to Generating Online Discussions
Google（谷歌公司）
针对直接用大语言模型生成在线讨论结构还原度低、可控性差的问题，提出基于脚手架（讨论串紧凑表示）的多步生成框架，适配不同平台，并配套评估指标验证合成数据的代表性与真实性。
2024-08-15 cs.CL cs.IR cs.LG
Improving SGD convergence by online linear regression of gradients in multiple statistically relevant directions
Jagiellonian University（雅盖隆大学）
深度神经网络通常使用随机梯度下降（SGD）进行训练，该算法使用非常粗略的梯度近似来最小化目标函数，仅对实际梯度进行平均。标准的方法，如动量或ADAM只考虑一个方向，并不试图从极值模型的距离-忽略了有价值的信息，从计算的梯度序列，往往停滞在一些次优的高原。二阶方法可以利用这些错过的机会，然而，除了遭受非常大的成本和数值不稳定性之外，由于忽略曲率的符号（作为Hessian的特征值），其中许多方法会吸引到次优点，如鞍点。无鞍牛顿法是解决这个问题的一个罕见的例子-将鞍吸引力变为排斥力，并被证明可以通过这种方式对最终值提供本质的改进。然而，它忽略了噪声，而建模二阶行为，专注于Krylov子空间的数值原因，并需要昂贵的特征分解。在保持SFN优势的情况下，提出了用于利用这些机会的廉价方式。二阶行为是一阶导数的线性依赖-我们可以用最小二乘线性回归从噪声梯度序列中最佳地估计它，在这里的在线设置中：用旧梯度的弱化权重。统计相关子空间由最近的噪声梯度的PCA建议-在在线设置中，它可以通过缓慢地将所考虑的方向旋转到新的梯度，逐渐用最近的统计相关取代旧的方向来实现。特征分解也可以在线执行：定期执行QR方法的步骤，以保持对角Hessian。在二阶建模子空间之外，我们可以同时执行梯度下降。
2023-03-13 cs.LG stat.ML
SQBC: Active Learning using LLM-Generated Synthetic Data for Stance Detection in Online Political Discussions
Heinrich Heine University Düsseldorf（海因里希·海涅杜塞尔多夫大学）；Technical University of Dortmund（多特蒙德工业大学）
针对立场检测模型标注数据不足的问题，本研究提出用LLM合成数据扩充小型微调数据集，还提出基于委员会查询的SQBC主动学习方法，以合成数据为预言机筛选高价值未标注样本，实验证明两种方法均能提升性能，主动筛选样本微调效果甚至超完整数据集。
2024-04-11 cs.AI cs.CL cs.LG
Inexact Online Proximal-gradient Method for Time-varying Convex Optimization
University of Colorado Boulder（科罗拉多大学博尔德分校）；IBM Research Ireland（IBM爱尔兰研究院）
本文考虑了一种在线逼近梯度法来跟踪随时间连续演化的复合凸函数的极小值。在线近似梯度法是不精确的，在这个意义上：（i）它依赖于成本的平滑分量的近似一阶信息;以及（ii）近似算子（相对于非平滑项）只能计算到一定精度。在适当的假设下，建立了强凸费用函数的误差迭代的收敛性。另一方面，动态后悔的成本不是强凸的情况下，额外的假设下，该问题包括可行性集是紧凑的。边界用累积误差和最优解的路径长度表示。这表明如何分配资源以在梯度计算和邻近算子中的性能和精度之间取得平衡。
2020-04-22 cs.LG math.OC
Non-convex online learning via algorithmic equivalence
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
我们研究了非凸梯度下降和凸镜下降之间的算法等价技术。我们首先看一个更难的问题，在线非凸优化的遗憾最小化。我们表明，在一定的几何和光滑条件下，在线梯度下降适用于非凸函数是一个近似的在线镜像下降适用于凸函数下重新参数化。在连续时间中，这种重新参数化的梯度流被证明是完全等价于连续时间镜像下降的Amid和Warren 2020，但类似的离散时间算法的理论仍然是一个悬而未决的问题。我们证明了一个$O(T^{\frac{2}{3}})$遗憾界的非凸在线梯度下降在此设置，回答这个开放的问题。我们的分析是基于一个新的和简单的算法等效方法。
2022-10-12 cs.LG math.OC
Understanding Synthetic Gradients and Decoupled Neural Interfaces
DeepMind
在训练神经网络时，使用合成代理（SG）允许在没有更新锁定的情况下训练层或模块，而无需等待真正的误差梯度被反向传播，从而产生解耦神经接口（DNI）。Jaderberg等人（2016）根据经验证明，这种能够异步且仅使用本地信息更新部分神经网络的解锁能力是有效的。然而，很少有证据表明，什么样的变化DNI和SG强加从功能，代表性和学习动力学的角度来看。在本文中，我们研究DNI通过使用前馈网络的合成梯度，以更好地了解他们的行为，并阐明他们的优化效果。我们证明了SGs的引入不会影响神经网络学习系统的代表性强度，并证明了线性和深度线性模型的学习系统的收敛性。在实际问题上，我们研究了合成梯度估计近似真实损失的机制，以及令人惊讶的是，这是如何导致完全不同的逐层表示的。最后，我们还揭示了使用合成梯度与其他误差近似技术的关系，并找到了一种统一的语言进行讨论和比较。
2017-03-01 cs.LG cs.NE
Regret Analysis of Online Gradient Descent-based Iterative Learning Control with Model Mismatch
ETH Zurich（苏黎世联邦理工学院）
在迭代学习控制（ILC）中，基于部分模型知识和过去的测量，在每次迭代时生成一系列前馈控制动作，目标是将系统转向期望的参考轨迹。这是一个在线学习任务，决策者通过解决一系列优化问题，只有部分知识的代价函数采取顺序决策。建立了这种连接，在线梯度下降为基础的计划，使用不精确的梯度信息的性能进行了分析，在设置动态和静态的遗憾，在线学习的标准措施。该计划的基本限制，并与自适应机制的集成进行了进一步研究，然后通过数值模拟的基准ILC问题。
2022-04-10 cs.LG cs.SY eess.SY
Future Gradient Descent for Adapting the Temporal Shifting Data Distribution in Online Recommendation Systems
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta
在线推荐模型学习的关键挑战之一是时域迁移，这会导致训练数据和测试数据分布之间的不匹配，从而导致领域泛化错误。为了克服这个问题，我们建议学习一个Meta future gradient generator，它预测未来数据分布的梯度信息以进行训练，这样推荐模型就可以像我们能够展望其部署的未来一样进行训练。与批量更新算法相比，该算法具有更小的时域领域泛化误差，该误差由局部遗憾中的梯度变化项来度量.我们通过与各种代表性基线的比较，证明了经验优势。
2022-09-02 cs.AI cs.LG
Average performance analysis of the stochastic gradient method for online PCA
National Physical Laboratory（国家物理实验室）；FEMTO-ST Institute（FEMTO-ST研究所）；Université de Bourgogne Franche-Comté（勃艮第弗朗什-孔泰大学）
本文研究了随机梯度PCA算法的复杂性时，数据是在流设置观察。我们还提出了一个在线的方法来选择学习率。仿真实验证实了平原随机梯度方法的实际相关性，并通过学习学习率可以实现大幅改善。
2018-04-03 cs.LG math.ST stat.ML
Online Statistical Inference for Contextual Bandits via Stochastic Gradient Descent
New York University（纽约大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Purdue University（普渡大学）
本文提出了一种基于随机梯度下降的在线统计推断框架，通过逆概率权重提高估计效率，并分析了自适应数据收集对收敛速度的影响。
2026-01-21 cs.LG stat.ML
