Online Classification with Complex Metrics
我们提出了一个框架和分析一致的二元分类复杂和不可分解的性能指标，如F-措施和Jaccard措施。所提出的框架是通用的，因为它适用于批量和在线学习，以及线性和非线性模型。我们的工作如下最近的结果表明，贝叶斯最佳分类器的许多复杂的指标是由阈值的条件概率的积极类。这份手稿扩展了这种阈值特征-表明该实用程序是严格的局部准凹相对于阈值的广泛的模型和性能指标。这又促使简单的归一化梯度上升更新用于阈值估计。我们提出了一个有限样本的遗憾分析所产生的程序。特别是，批量情况下的风险收敛到贝叶斯风险的基础条件概率估计相同的速度，和建议的在线算法的风险收敛速度取决于条件概率估计风险。例如，在条件概率模型是逻辑斯谛回归的特殊情况下，我们的过程实现了$O(\frac{1}{\sqrt{n}})$样本复杂度，无论是批量训练还是在线训练。实证评估表明，所提出的算法在实践中优于替代方案，具有可比或更好的预测性能，并减少了各种指标和数据集的运行时间。
2018-02-10 cs.LG stat.ML
Optimal Distributed Online Prediction using Mini-Batches
Microsoft Research（微软研究院）
在线预测方法通常呈现为在单个处理器上运行的串行算法。然而，在网络规模的预测问题的时代，它是越来越常见的情况下，遇到一个单一的处理器无法跟上输入到达的高速率。在这项工作中，我们提出了\emph{distributed mini-batch}算法，一种将许多串行基于梯度的在线预测算法转换为分布式算法的方法。我们证明了这种方法是渐近最优光滑凸损失函数和随机输入的遗憾界。此外，我们的分析明确考虑到在分布式环境中的节点之间的通信延迟。我们展示了如何使用我们的方法来解决密切相关的分布式随机优化问题，实现了多个处理器的渐近线性加速。最后，我们展示了我们的方法的优点在网络规模的在线预测问题。
2012-01-31 cs.DC cs.LG math.OC
Online Convex Optimization in Changing Environments and its Application to Resource Allocation
University of Minnesota（明尼苏达大学）
在大数据时代，我们从各种不同的来源创建和收集大量数据：互联网，传感器，消费者市场等等。许多数据是连续的，并且希望被快速处理和理解。分析数据的一种经典方法是基于批处理，其中数据以离线方式存储和分析。然而，当数据量太大时，进行批处理比顺序处理困难得多，耗时得多。更重要的是，顺序数据通常是动态变化的，并且需要在运行中理解以便捕获变化。在线凸优化（OCO）是一个流行的框架，符合上述顺序数据处理的要求。使用OCO的应用包括在线路由、在线拍卖、在线分类和回归，以及在线资源分配。由于OCO对序列数据的普遍适用性和严格的理论保证，它吸引了许多研究人员开发有用的算法来满足不同的需求。在这篇论文中，我们通过设计算法来适应不断变化的环境，展示了我们对OCO发展的贡献。
2020-09-30 cs.LG stat.ML
Online PAC-Bayes Learning
Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）
大多数PAC-Bayesian边界在批量学习设置中保持不变，其中在推断或预测之前立即收集数据。这在某种程度上背离了许多当代学习问题，其中收集数据流并且算法必须动态调整。我们证明了新的PAC贝叶斯边界在这个在线学习框架，利用更新的定义后悔，我们重温经典的PAC贝叶斯结果与一批在线转换，扩展其职权范围的情况下，依赖数据。我们的研究结果持有有限的损失，潜在的\emph{non-convex}，铺平了道路，有前途的发展在线学习。
2022-10-13 cs.LG math.ST stat.ML
Beyond Implicit Bias: The Insignificance of SGD Noise in Online Learning
SEAS, Harvard University（哈佛大学工程与应用科学学院）；Kempner Institute, Harvard University（哈佛大学坎普纳研究所）
本文通过图像和语言数据的实证分析，发现在线（单轮）学习中 SGD 噪声不带来隐式偏置优势，其好处仅限于计算效率，并据此提出在线 SGD 可视为沿无噪声梯度下降“黄金路径”的含噪步骤，挑战了传统理解。
2024-06-07 cs.LG stat.ML
Learning from time-dependent streaming data with online stochastic algorithms
Sorbonne Université（索邦大学）
该研究针对带时间相关有偏梯度的流式随机优化问题，分析多种一阶SGD方法及其Polyak-Ruppert平均，通过非渐近分析得到加速收敛的启发式规则，并通过模拟与真实数据实验验证理论结论。
2023-07-18 cs.LG math.OC stat.ML
Online Linear Programming with Batching
Stanford University（斯坦福大学）
本文研究带批处理的在线线性规划，在连续条件奖励分布下提出匹配 $\Theta(\log K)$ 遗憾界的算法，并将结果扩展到多资源与 Poisson 到达场景。
2026-10-06 cs.LG math.OC
Missing Data Imputation using Optimal Transport
CREST-ENSAE, IP Paris（法国国家统计与经济管理学院-巴黎综合理工学院）；XPOP, INRIA Saclay（法国国家信息与自动化研究所萨克雷分所）；CMAP, UMR7641, École Polytechnique, IP Paris（巴黎综合理工学院应用数学研究中心, 巴黎综合理工学院）；LPSM, Sorbonne Université, ENS Paris（索邦大学概率统计与建模实验室, 巴黎高等师范学院）；Google Brain（谷歌大脑）
缺失数据是将机器学习算法应用于真实世界数据集时的一个关键问题。从简单的假设开始，即从同一数据集随机提取的两个批次应该共享相同的分布，我们利用最佳运输距离来量化该标准，并将其转换为损失函数来估算缺失数据值。我们提出了使用端到端学习来最大限度地减少这些损失的实用方法，该方法可以利用或不利用对底层值分布的参数假设。我们评估我们的方法对数据集从UCI存储库，在MCAR，MAR和MNAR设置。这些实验表明，基于OT的方法匹配或优于最先进的插补方法，即使对于高百分比的缺失值。
2020-07-01 cs.LG stat.ML
A Regret-Variance Trade-Off in Online Learning
Università degli Studi di Milano（米兰大学）；ETH Zürich（苏黎世联邦理工学院）
我们考虑预测与专家的意见，为强凸和有界损失，并调查之间的权衡遗憾和“方差”（即，学习者预测和最佳专家预测的平方差）。对于$K$专家，已知指数加权平均（EWA）算法可以实现$O(\log K)$后悔。我们证明了EWA的一个变体要么实现了消极的遗憾（即，该算法优于最佳专家），或者保证方差和遗憾的$O(\log K)$界限。基于这一结果，我们展示了几个例子，说明如何在学习中利用预测的方差。在在线批量分析中，我们表明，一个大的经验方差允许提前停止在线批量转换，并优于类中最好的预测器的风险。当不考虑提前停止时，我们还恢复了模型选择聚集的最优速率。在在线预测与腐败的损失，我们表明，腐败的遗憾的影响可以补偿一个大的方差。在在线选择性抽样中，我们设计了一个算法，当方差较大时，抽样较少，同时保证期望中的最优后悔界。在在线学习中，我们使用一个类似的术语作为方差，以推导出该设置中的第一个高概率$O(\log K)$遗憾界。最后，我们将我们的结果扩展到在线线性回归的设置。
2022-06-06 cs.LG stat.ML
Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression
H. Milton Stewart School of Industrial；Systems Engineering, Georgia Institute of Technology e1,e2
本文研究了Polyak-Ruppert平均随机梯度下降的在线协方差矩阵估计，改进了批量均值收敛速率并实现了最小最大最优性，通过轨迹回归方法分解误差并建立下限。
2026-04-12 cs.LG math.ST stat.TH
Large-scale Online Feature Selection for Ultra-high Dimensional Sparse Data
Singapore Management University（新加坡管理大学）；Microsoft Research（微软研究院）
大规模高维数据的特征选择在机器学习和数据采掘中具有重要的意义和挑战性。在线特征选择是一种比批处理特征分割方法更有效、更可扩展的新方法，但现有的在线特征选择方法与批处理方法相比往往效率较低。在本文中，我们提出了一种新的二阶在线特征选择计划，是简单而有效的，非常快速和极具可扩展性，以处理大规模的超高维稀疏数据流。其基本思想是改进现有的一阶在线特征选择方法，利用二阶信息选择具有高置信度权重的重要特征子集。然而，不像许多二阶学习方法，往往遭受额外的高计算成本，我们设计了一种新的智能算法二阶在线特征选择使用基于MaxHeap的方法，这不仅是更有效的比现有的一阶方法，但也显着更有效和可扩展的大规模特征选择与超高维稀疏数据，从我们广泛的实验验证。令人印象深刻的是，在一个十亿规模的合成数据集（10亿个维度，10亿个非零特征和100万个样本）上，我们的新算法在一台PC上只花了8分钟，比传统的批处理方法快了几个数量级。\url{http://arxiv.org/abs/1409.7794}
2015-11-19 cs.CV cs.LG
Variance reduction for Riemannian non-convex optimization with batch size adaptation
University of Sydney（悉尼大学）
方差缩减技术在欧几里得空间和黎曼流形上定义的最优化问题的加速梯度下降和随机梯度下降中很流行。本文进一步改进了已有的求解非凸黎曼优化问题的方差缩减方法，包括R-SVRG和R-SRG/R-SPIDER。我们表明，这种策略可以实现较低的总复杂性优化一般非凸和梯度主导的功能下，有限和在线设置。因此，我们还提供了更简单的收敛性分析R-SVRG和有限和设置下，提高R-SRG的复杂性界限。具体来说，我们证明了R-SRG实现了相同的接近最优的复杂性，R-SPIDER，而不需要一个小的步长。在多种任务上的实验结果证明了所提出的自适应批量策略的有效性。
2020-07-03 cs.LG math.OC stat.ML
An Online Sparse Streaming Feature Selection Algorithm
Southwest University（西南大学）；University of Chinese Academy of Sciences（中国科学院大学）
在线流特征选择（OSFS）是一种在线进行特征选择的方法，在高维数据处理中起着重要的作用。在许多实际应用中，例如智能医疗平台，流媒体功能总是有一些缺失的数据，这对进行OSFS提出了关键挑战，即，如何建立稀疏流特征和标签之间的不确定关系。遗憾的是，现有的OSFS算法没有考虑这种不确定的关系。为了填补这一空白，我们在本文中提出了一个在线稀疏流特征选择与不确定性（OS 2FSU）算法。OS 2FSU主要包括两个部分：1）在进行特征选择之前，利用潜在因子分析对稀疏流特征中的缺失数据进行预估计; 2）在进行特征选择时，利用模糊逻辑和邻域粗糙集来消除估计的流特征与标签之间的不确定性。在实验中，OS 2FSU与五个国家的最先进的OSFS算法在六个真实的数据集进行了比较。结果表明，OS 2FSU优于其竞争对手时，在OSFS中遇到丢失的数据。
2022-08-03 cs.LG
No-Regret Caching via Online Mirror Descent
Inria（法国国家信息与自动化研究所）；Université Côte d’Azur（蔚蓝海岸大学）；Northeastern University（东北大学）
针对可分批更新且支持文件分片存储的在线缓存问题，本文基于 OMD 设计无遗憾策略，利用请求多样性比率刻画遗憾界与最优性，并提出保留遗憾保证且计算高效的随机舍入方案。
2023-06-06 cs.LG cs.NI cs.PF
Less Regret via Online Conditioning
Google, Inc.（谷歌公司）
我们分析和评估的在线梯度下降算法与自适应每坐标调整的学习率。我们的算法可以被认为是一个在线版本的批量梯度下降与对角预条件。对于一般的在线凸优化问题，这种方法导致了比标准在线梯度下降更强的遗憾界。实验表明，我们的算法是有竞争力的大规模机器学习问题的最先进的算法。
2010-02-25 cs.AI cs.LG
Online Compact Convexified Factorization Machine
Tsinghua University（清华大学）；South China University of Technology（华南理工大学）
因子分解机是一种监督学习方法，具有强大的特征工程能力。它在各种批量学习任务中产生最先进的性能，其中所有训练数据在训练之前可用。然而，在数据以流式方式顺序到达的现实应用中，使用批量学习算法重新训练的高成本在在线学习场景中提出了巨大的挑战。最初的挑战是，没有事先制定的FM可以满足在线凸优化（OCO）的要求-在线学习算法设计的最重要的框架。为了解决上述挑战，我们发明了一种新的凸化方案，从而实现了无缝满足OCO要求的紧凑型凸化FM（CCFM）。然而，对于在在线学习设置中学习紧凑凸变FM（CCFM），大多数现有算法遭受昂贵的投影操作。为了解决这一后续挑战，我们遵循在线条件梯度的一般无投影算法框架，并提出了一种在线紧凑凸因子分解机（OCCFM）算法，该算法通过有效的线性优化步骤避免了投影操作。在支持建议的OCCFM在其理论基础方面，我们证明了开发的算法实现了次线性遗憾界。为了评估OCCFM的经验性能，我们在6个真实世界的在线推荐和二进制分类任务的数据集上进行了广泛的实验。实验结果表明，OCCFM优于最先进的在线学习算法。
2018-02-05 cs.LG
Gradient Boosting on Stochastic Data Streams
Carnegie Mellon University（卡内基梅隆大学）
Boosting是一种流行的集成算法，它通过从更简单的假设类中线性组合基本模型来生成更强大的学习器。在这项工作中，我们研究的问题，适应批量梯度提升最小化凸损失函数的在线设置，在每次迭代的损失是独立同分布采样从一个未知的分布。为了从批处理推广到在线，我们首先引入在线弱学习边缘的定义，对于强凸和光滑的损失函数，我们提出了一种算法，流梯度提升（SGB），指数收缩保证弱学习者的数量。我们进一步提出了一个适应SGB优化非光滑损失函数，我们推导出O（ln N/N）的收敛速度。我们还表明，我们的分析可以扩展到对抗性在线学习设置下，在线弱学习边缘将举行对抗性设置更强的假设。最后，我们展示了实验结果表明，在实践中，我们的算法可以实现具有竞争力的结果，经典的梯度提升，而使用更少的计算。
2017-03-01 cs.LG
Online Learning, Stability, and Stochastic Gradient Descent
Massachusetts Institute of Technology（麻省理工学院）
在批处理学习中，稳定性以及解的存在性和唯一性对应于经验风险最小化（ERM）方法的适定性;最近，证明了CV_loo稳定性对于ERM的推广性和一致性是必要和充分的。在本文中，我们介绍CV_on稳定性，它在在线学习中起着类似的作用。我们证明了在通常的假设下随机梯度下降（SDG）是CV_on稳定的，并讨论了CV_on稳定性对SGD收敛性的影响.
2011-09-08 cs.LG
Isolation Mondrian Forest for Batch and Online Anomaly Detection
University of Waterloo（滑铁卢大学）；SoundHound；Facebook
我们提出了一种新的方法，命名为隔离蒙德里安森林（iMondrian森林），批量和在线异常检测。所提出的方法是一种新的混合隔离森林和蒙德里安森林，这是现有的方法，批量异常检测和在线随机森林，分别。iMondrian森林采用了隔离的思想，使用树中节点的深度，并在Mondrian森林结构中实现它。结果是一种新的数据结构，其可以在线方式接受流数据，同时用于异常检测。我们的实验表明，iMondrian森林在批处理设置中的性能大多优于隔离森林，并且与其他批处理和在线异常检测方法相比具有更好或相当的性能。
2020-08-27 cs.LG stat.ML
The Dice loss in the context of missing or empty labels: Introducing $Φ$ and $ε$
KU Leuven（鲁汶大学）；icometrix（icometrix公司）
尽管Dice损失是医学图像分割中的主要损失函数之一，但大多数研究忽略了对其导数的仔细观察，即当使用梯度下降时优化的实际马达。在本文中，我们强调的特殊行动的骰子损失的存在下，丢失或空的标签。首先，我们制定了一个理论基础，给出了一个一般性的描述骰子损失及其衍生物。事实证明，约简维度$Φ$和平滑项$ε$的选择并非微不足道，并且极大地影响了其行为。我们发现并提出了启发式组合的$Φ$和$ε$，在分割设置中的工作与缺失或空标签。其次，我们经验验证这些发现在一个二进制和多类分割设置使用两个公开的数据集。我们证实选择$Φ$和$ε$确实是关键。通过选择$Φ$，使得减少发生在单个批次（和类）元素上，并且通过可忽略的$ε$，Dice损失自然地处理缺失标签，并且与最近针对缺失标签的调整相比，其性能类似。如果选择$Φ$以使减少发生在多个批处理元素上，或者使用$ε$的启发式值，则Dice loss会正确处理空标签。我们相信，这项工作突出了一些重要的观点，并希望它鼓励研究人员在未来的工作中更好地描述他们的确切实施骰子损失。
2022-11-09 cs.AI cs.CV cs.LG
Batched Online Contextual Sparse Bandits with Sequential Inclusion of Features
Metica
针对稀疏和批量数据下的线性奖励上下文老虎机问题，提出OBSI算法通过随置信度提升顺序纳入特征、排除无关特征来保障公平性，实验显示其在遗憾值、特征相关性和计算量上均优于其他算法。
2024-09-13 cs.LG stat.ML
Online Normalization for Training Neural Networks
Cerebras Systems（赛博拉思系统公司）
在线规范化是一种新的规范化神经网络的隐藏激活的技术。与“批量归一化”类似，它对样本维度进行归一化。虽然联机规格化不使用批次，但它与批量归一化一样精确。我们解决了批量归一化的理论局限性，通过引入一个无偏的技术来计算归一化激活的梯度。在线标准化通过添加统计标准化作为原语与自动微分一起工作。这种技术可以用在一些其他规范化器没有涵盖的情况下，如递归网络，全连接网络，以及具有激活记忆要求的网络。我们展示了它在图像分类、图像分割和语言建模中的应用。我们在ImageNet、CIFAR和PTB数据集上给出了正式的证明和实验结果。
2019-12-03 cs.LG stat.ML
Online Heterogeneous Mixture Learning for Big Data
Kanazawa University（金泽大学）
提出了一种基于在线机器学习的异构大数据分析方法。我们进行了一个实验，比较批处理和在线之间的每次迭代的准确性。它可以快速收敛，并具有与批处理相同的精度。
2019-06-15 cs.LG stat.ML
A Batch-to-Online Transformation under Random-Order Model
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National Institute of Informatics（国立情报学研究所）
本文提出一个批量到在线转换框架，通过低平均敏感度归约和核心集构造，将离线近似算法转换为随机顺序模型中具有多对数级ε近似遗憾和低不一致性的在线算法，并成功应用于在线聚类、矩阵近似和回归问题。
2023-10-25 cs.LG stat.ML
Online Batch Decision-Making with High-Dimensional Covariates
Purdue University（普渡大学）
我们提出并研究了一类新的顺序决策算法，互动与\textit{a batch of users}同时，而不是\textit{a user}在每个决策时期。这种类型的批量模型的动机是互动营销和临床试验，其中一组人同时接受治疗，并在下一阶段的决策之前收集整个组的结果。在这种情况下，我们的目标是根据观察到的高维用户协变量分配一批治疗，以最大限度地提高治疗效果。我们提供了一个解决方案，名为\textit{Teamwork LASSO Bandit algorithm}，解决了一个批处理版本的探索-开拓困境，通过在整个决策过程中的团队合作阶段和自私的阶段之间的切换。这是可能的基础上的统计特性LASSO估计的治疗效果，适应一系列的批次观察。在一般情况下，最优分配条件的速率，提出描绘的勘探和开发权衡的数据收集方案，这是足够的LASSO，以确定观察到的用户协变量的最佳处理。给出了该算法的期望累积遗憾的上界。
2020-02-27 cs.LG stat.ML
Mondrian Forests: Efficient Online Random Forests
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
随机决策树的集合，通常被称为随机森林，广泛用于机器学习和统计学中的分类和回归任务。随机森林实现了有竞争力的预测性能，并且在训练和测试方面具有计算效率，使其成为现实世界预测任务的优秀候选者。最流行的随机森林变体（如Breiman的随机森林和极端随机树）对批量训练数据进行操作。在线方法现在有更大的需求。然而，现有的在线随机森林需要比其批处理对应物更多的训练数据才能实现可比的预测性能。在这项工作中，我们使用蒙德里安过程（Roy和Teh，2009）来构建随机决策树的集合，我们称之为蒙德里安森林。蒙德里安森林可以以增量/在线方式生长，并且值得注意的是，在线蒙德里安森林的分布与批量蒙德里安森林的分布相同。蒙德里安森林实现了与现有在线随机森林和定期重新训练的批量随机森林相当的有竞争力的预测性能，同时速度快了一个数量级以上，因此代表了更好的计算与准确性权衡。
2015-02-16 cs.LG stat.ML
Smoothed Online Classification can be Harder than Batch Classification
University of Michigan（密歇根大学）
本文证明在标签空间无界时，平滑在线分类可能比iid批量分类更难，构造了在PAC批量可学习但平滑在线不可学习的假设类，并给出PAC可学习性足以保证平滑在线可学习的条件。
2024-05-24 cs.LG
Deterministic Online Classification: Non-iteratively Reweighted Recursive Least-Squares for Binary Class Rebalancing
Gordon Center for Medical Imaging（戈登医学影像中心）；Center for Advanced Medical Computing and Analysis（高级医学计算与分析中心）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
确定性解决方案对于可解释性变得越来越重要。加权最小二乘（WLS）已被广泛用作具有特定权重设计的确定性批处理解决方案。在WLS的在线设置中，精确的重加权是必要的，以收敛到其批量设置。为了符合其必要性，迭代重加权最小二乘算法主要是利用线性增长的时间复杂度，这是没有吸引力的在线学习。由于高和不断增长的计算成本，一个有效的在线配方的重新加权最小二乘是理想的。我们提出了一种新的确定性在线分类算法的WLS具有恒定的时间复杂度的二进制类重新平衡。我们证明，我们提出的在线配方完全收敛到其批处理配方，并优于现有的最先进的随机在线二进制分类算法在现实世界的数据集经验。
2023-01-22 cs.LG stat.ML
A Unified Batch Online Learning Framework for Click Prediction
Microsoft（微软）
我们提出了一个统一的框架，批量在线学习（OL）的点击预测搜索广告。机器学习模型一旦部署，由于模型陈旧，随着时间的推移会显示出非平凡的准确性和校准降级。因此，有必要定期更新模型，并自动更新。本文提出了两种范例的批量在线学习，增量更新模型参数通过提前停止机制，另一个这样做，通过近端正则化。我们讨论了这两种方案如何自然地权衡新旧数据。然后，我们从理论和经验表明，这两个看似不同的计划是密切相关的。通过大量的实验，我们展示了我们的OL框架的效用;两个OL方案如何相互关联，以及它们如何在新数据和历史数据之间进行权衡。然后，我们将批量OL与完整模型再训练进行了比较，并展示了在线学习如何对数据问题更加鲁棒。我们还展示了在线学习的长期影响，OL中初始模型的作用，更新延迟的影响，最后总结了一些实现细节和在生产中部署真实世界的在线学习系统的挑战。虽然本文主要集中在搜索广告的点击预测的应用，我们希望这里学到的教训可以结转到其他问题领域。
2018-09-12 cs.AI cs.LG stat.ML
High-dimensional online learning via asynchronous decomposition: Non-divergent results, dynamic regularization, and beyond
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Statistics and Mathematics, Zhongnan University of Economics and Law（中南财经政法大学统计学与数学学院）；Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）；Center for Applied Statistics, Renmin University of China（中国人民大学应用统计中心）
本文提出异步分解框架，通过动态正则化迭代硬阈值算法解决高维在线学习中误差界发散问题，实现非发散误差界和稀疏性，且随批次累积获得 oracle 准确度。
2026-03-21 cs.LG stat.ML
Differentially Private Online-to-Batch for Smooth Losses
Boston University（波士顿大学）
我们开发了一个新的减少，将任何在线凸优化算法遭受$O(\sqrt{T})$遗憾到$ε$ -差分私有随机凸优化算法的最佳收敛速度$\tilde O(1/\sqrt{T} + \sqrt{d}/εT)$在线性时间内的平滑损失，形成一个直接的类比经典的非私有的“在线到批量”的转换。通过将我们的技术应用于更先进的自适应在线算法，我们产生自适应差分私人同行的收敛速度依赖于先验未知方差或参数范数。
2022-10-12 cs.CR cs.LG
Exponential Lower Bounds for Batch Reinforcement Learning: Batch RL can be Exponentially Harder than Online RL
Stanford University（斯坦福大学）；Institute for Computational and Mathematical Engineering（计算与数学工程研究所）
强化学习的几个实际应用涉及代理从过去的数据中学习，而不可能进一步探索。通常这些应用程序需要我们1）确定一个接近最优的策略或2）估计目标策略的值。对于这两个任务，我们推导出\emph{exponential}信息理论下界折扣无限地平线MDPs与线性函数表示的行动价值函数，即使1）\emph{realizability}持有，2）批处理算法观察到确切的奖励和过渡\emph{functions}，和3）批处理算法是给定的\emph{best}先验数据分布的问题类。我们的工作引入了一个新的“Oracle +批处理算法”框架来证明每个分布的下限。这项工作显示了批量和在线强化学习之间的指数分离。
2021-06-19 cs.AI cs.LG
Online Missing Value Imputation and Change Point Detection with the Gaussian Copula
Cornell University（康奈尔大学）
缺失值插补对于现实世界的数据科学工作流程至关重要。在线环境中的估算更难，因为它要求估算方法本身能够随着时间的推移而发展。对于实际应用，插补算法应该产生与真实数据分布相匹配的插补，处理混合类型的数据，包括有序，布尔和连续变量，并扩展到大型数据集。在这项工作中，我们开发了一个新的在线插补算法的混合数据使用高斯copula。在线高斯Copula模型满足所有的需求：即使对于混合数据，其估算也与数据分布相匹配，当流数据具有变化的分布时，其离线对应物的准确性有所提高，特别是在大规模数据集上的速度（高达一个数量级）。通过对在线数据拟合Copula模型，我们还提供了一种新的方法来检测具有缺失值的多元相关结构中的变点。仿真和真实数据的实验结果验证了所提出的方法的性能。
2021-12-15 cs.LG stat.ML
Continual Normalization: Rethinking Batch Normalization for Online Continual Learning
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）
现有的持续学习方法使用批量归一化（BN）来促进训练并改进跨任务的泛化。然而，持续学习数据的非i.i. d和非平稳性质，特别是在在线设置中，放大了BN中训练和测试之间的差异，并阻碍了旧任务的执行。在这项工作中，我们研究了BN在在线持续学习中的跨任务归一化效应，其中BN使用偏向当前任务的时刻对测试数据进行归一化，从而导致更高的灾难性遗忘。这种限制促使我们提出一种简单而有效的方法，我们称之为连续归一化（CN），以促进类似于BN的训练，同时减轻其负面影响。在不同的持续学习算法和在线场景上的大量实验表明，CN是BN的直接替代品，可以提供实质性的性能改进。我们的实现可在\url{https://github.com/phquang/Continual-Normalization}上获得。
2022-03-30 cs.LG
Online Ensemble Learning for Imbalanced Data Streams
McGill University（麦吉尔大学）
虽然对成本敏感的学习和在线学习都进行了广泛的研究，但同时处理这两个问题的努力有限。针对这一挑战性任务，本文提出了一种新的学习框架。其核心思想是基于在线集成算法和最先进的批处理模式成本敏感的装袋/升压算法的融合。在此框架下，两个独立发展的研究领域被桥接在一起，并首次提出了一批理论上合理的在线成本敏感装袋和在线成本敏感的提升算法。与其他在线代价敏感学习算法缺乏渐近性质的理论分析不同，所提算法在一定条件下保证了收敛性，基准数据集的实验证据也验证了所提方法的有效性和效率。
2013-10-30 cs.LG stat.ML
Online Learning to Rank in Stochastic Click Models
Adobe Research（Adobe研究院）；Czech Technical University（捷克技术大学）；DeepMind；University of Alberta（阿尔伯塔大学）
在线学习排序是信息检索和机器学习的核心问题。最近针对特定点击模型中的这个问题提出了许多经证明有效的算法。点击模型是用户如何与文档列表交互的模型。虽然这些结果是显着的，它们对实践的影响是有限的，因为所有提出的算法是专为特定的点击模型，并在其他模型中缺乏收敛保证。在这项工作中，我们提出了BatchRank，第一个在线学习排名算法的点击模型的广泛类。该类包含两个最基本的点击模型，级联和基于位置的模型。我们推导出一个间隙相关的上限上的$T$步骤遗憾的BatchRank和评估它的一系列网络搜索查询。我们观察到，BatchRank优于排名土匪，比级联模型的现有算法CascadeKL-UCB更强大。
2017-06-20 cs.LG stat.ML
Provably Efficient High-Dimensional Bandit Learning with Batched Feedbacks
研究高维多臂上下文Bandit的批量反馈问题，提出一种可证明样本高效的算法，通过自适应批次分配方法，仅用$\mathcal{O}(\log T)$个批次即可达到与完全串行设置相当的遗憾界。
2023-11-24 cs.LG stat.ML
An Online Boosting Algorithm with Theoretical Justifications
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Department of Computer Science and Information Engineering, National Taiwan University（台湾大学计算机科学与信息工程学系）
我们研究了在线提升的任务-将在线弱学习者组合成在线强学习者。虽然批量提升具有良好的理论基础，但在线提升值得从理论角度进行更多的研究。在本文中，我们仔细比较了在线和批量boosting之间的差异，并提出了一个新的和合理的在线弱学习器的假设。基于这一假设，我们设计了一个在线的Boosting算法，通过适应离线SmoothBoost算法，密切匹配的假设，具有很强的理论保证。我们进一步解决的任务，决定弱学习者的数量，使用已建立的理论结果在线凸规划和预测专家的意见。在真实数据集上的实验表明，该算法与现有的在线boosting算法相比具有很好的性能。
2012-06-27 cs.LG stat.ML
Missing Data Multiple Imputation for Tabular Q-Learning in Online RL
Department of Statistics, Harvard University, Cambridge, United States（哈佛大学统计学系）；Department of Statistics, Stanford University, Stanford, United States（斯坦福大学统计学系）；Department of Computer Science, Harvard University, Cambridge, United States（哈佛大学计算机科学系）
本文针对在线强化学习中的缺失数据问题，提出完全在线插补集成方法，通过维护多重插补路径平衡不确定性与效率，实验证明其为构建简单高效的在线缺失数据RL方法提供了有用框架。
2025-10-12 cs.AI cs.LG stat.ML
Towards Efficient Full 8-bit Integer DNN Online Training on Resource-limited Devices without Batch Normalization
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Institute of Technology（北京理工大学）；Capital Medical University（首都医科大学）；Tsinghua University（清华大学）
卷积和批量归一化（BN）带来的巨大计算成本给深度神经网络（DNN）的在线训练和相应应用带来了巨大挑战，特别是在资源有限的设备中。现有的工作只集中在卷积或BN加速，没有解决方案可以缓解这两个问题，令人满意的性能。在线训练在手机等资源有限的设备上逐渐成为一种趋势，但仍然没有一个完整的技术方案具有可接受的模型性能，处理速度和计算成本。在这项研究中，提出了一个有效的在线训练量化框架，称为EOQ相结合的Fixup初始化和DNN模型压缩和加速的一种新的量化方案。基于所提出的框架，我们已经成功地实现了全8位整数网络训练，并在大规模DNN中去除了BN。特别地，权重更新首次被量化为8位整数。利用一种新的块动态等距理论，在较弱的假设条件下，对利用固定初始化去除BN的EOQ进行了进一步的理论分析。基于EOQ的全8位网络由于采用了合理的量化策略，且不需要BN，因此可以达到最高的精度，同时在计算量和处理速度上也有很大的优势。更重要的是，深度学习芯片的设计可以大大简化，因为BN中没有不友好的平方根运算。除此之外，已经证明EOQ在具有较少批次样本的小批次在线训练中更有优势。综上所述，EOQ框架是专门为降低网络训练中卷积和BN的高成本而设计的，展示了在线训练在资源有限设备中的广阔应用前景。
2021-05-27 cs.LG
Online Evolutionary Batch Size Orchestration for Scheduling Deep Learning Workloads in GPU Clusters
National University of Singapore（新加坡国立大学）；ByteDance（字节跳动）
高效的GPU资源调度对于最大限度地提高资源利用率和节省训练成本至关重要，因为共享GPU集群中的深度学习工作负载量不断增加。现有的GPU处理器在很大程度上依赖于静态策略来利用深度学习作业的性能特征。然而，由于缺乏弹性，它们很难达到最佳效率。为了解决这个问题，我们提出了ONES，一个在线进化的弹性批量编排。ONES根据训练批量大小自动管理每个作业的弹性，从而最大化GPU利用率，提高调度效率。它通过在线进化搜索确定每个作业的批量大小，可以不断优化调度决策。我们评估的有效性与64 GPU的TACC的长角超级计算机上的ONES。结果表明，ONES可以以显著更短的平均作业完成时间胜过之前的深度学习算法。
2021-08-08 cs.AI cs.DC cs.LG
Iterative Policy Optimization: Batch-Online Multi-Turn RL via Single-Turn RL
Meta；FAIR at Meta（Meta的FAIR）
本文提出Iterative PPO方法，通过迭代优化多轮对话中的Q函数和策略，实现更稳定的对话生成。
2026-10-26 cs.LG
Transformed Distribution Matching for Missing Value Imputation
CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61研究所）
本文提出一种基于深度可逆函数和分布匹配的缺失值插补方法，通过匹配两批含缺失数据的潜在分布来同时学习变换和插补，算法超参数少，实验证明性能达到最先进水平。
2023-06-23 cs.LG
Autoregressive-Model-Based Methods for Online Time Series Prediction with Missing Values: an Experimental Evaluation
由于在实际应用中很难获得完整的数据，因此含缺失值的时间序列预测是时间序列分析中的一个重要问题。自回归（AR）模型是时间序列生成的一种基本模型，它假设时间序列中的每个观测值都是前几个观测值的噪声线性组合，并伴随着一个常值偏移。为了解决缺失值的预测问题，提出了许多基于不同数据模型的方法。对于实际应用场景，这些方法如何在不同类型的时间序列上执行不同程度的数据丢失仍有待研究。在本文中，我们专注于基于AR模型的时间序列预测的缺失值的在线方法。我们采用了五种主流方法来适应这种情况。本文对每一种方法进行了详细的讨论，介绍了它们估计AR系数的核心思想和处理缺失值的不同策略。为了更好地理解，我们还提出了算法实现。为了对这些方法进行综合评价和比较，我们对合成数据和真实数据进行了各种相关参数配置的实验。从实验结果中，我们得出了几个值得注意的结论，并表明插补是一个简单但可靠的策略，以处理在线预测任务中的缺失值。
2019-08-27 cs.DB cs.LG stat.ML
Online Dynamic Batching with Formal Guarantees for LLM Training
Tencent（腾讯）
提出在线动态批处理（ODB）系统，在数据加载器侧将批构建延迟到样本真实成本可观测时，解决离线批采样中预处理成本不可见问题，实现1.58-4.43x吞吐量提升，并提供无死锁有界终止的形式化保证。
2026-06-19 cs.DC cs.LG
Pre-Trained AI Model Assisted Online Decision-Making under Missing Covariates: A Theoretical Perspective
CCSE, MIT（认知科学与工程系，麻省理工学院）；IDSS, MIT（工业系统与运营管理系，麻省理工学院）
研究缺失协变量下的序列决策问题，引入“模型弹性”量化插补误差对遗憾的影响，并在MAR设置下利用正交统计学习校准预训练模型以改善遗憾保证。
2025-07-10 cs.LG stat.ML
Parallelizing Thompson Sampling
Yale University（耶鲁大学）；Google Research（谷歌研究院）
我们如何利用在线决策问题的信息并行性，同时有效地平衡探索-开发权衡？本文介绍了一个批量Thompson抽样框架，用于两个典型的在线决策问题，即随机多臂强盗和线性上下文多臂强盗。在一个时间范围$T$，我们的\textit{batch}汤普森采样政策实现了相同的（渐近）遗憾界的一个完全连续的，而只进行$O(\log T)$批处理查询。为了实现这种指数下降，即，为了减少从$T$到$O(\log T)$的交互数量，我们的批处理策略动态地确定每个批处理的持续时间，以便平衡探索-利用权衡。我们还证明了实验，动态批分配显着优于自然基线，如静态批分配。
2021-06-02 cs.AI cs.LG math.OC
Every Batch Is Its Own Validation Set: Leave-One-Out Gradient Matching for Online Data Selection in LLM Fine-Tuning
Sichuan University（四川大学）；University of Electronic Science and Technology of China（电子科技大学）
针对在线批次选择中样本内梯度匹配的偏差问题，提出留一法梯度匹配（LOOM），通过移除Gram矩阵对角线实现无偏估计，在多个微调任务上显著优于全批次训练及其他选择器。
2026-10-02 cs.LG
Online Data Augmentation for Forecasting with Deep Learning
Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）；Laboratory for Artificial Intelligence and Computer Science (LIACC)（人工智能与计算机科学实验室）；INESC TEC；Fraunhofer Portugal AICOS（弗劳恩霍夫葡萄牙AICOS）
本文提出在线数据增强框架，在神经网络训练过程中逐批次生成合成样本以平衡真实与合成数据，并在6个基准数据集、3797条时间序列、三种架构和七种生成技术上验证其优于离线增强或无增强的预测性能。
2025-01-03 cs.LG stat.ML
Unsupervised Online Anomaly Detection On Irregularly Sampled Or Missing Valued Time-Series Data Using LSTM Networks
Bilkent University（比尔肯特大学）；DataBoss A.S.（DataBoss公司）
我们研究异常检测，并介绍了一种算法，处理可变长度，不规则采样序列或序列缺失值。我们的算法是完全无监督的，但是，可以很容易地扩展到监督或半监督的情况下，异常标签存在的整个文件。我们的方法使用长短期记忆（LSTM）网络来提取时间特征，并找到最相关的特征向量进行异常检测。我们通过使用时间调制门来调制标准LSTM模型，将采样时间信息纳入我们的模型。从LSTM中获得最相关的特征后，我们使用支持向量数据描述符（SVDD）模型标记序列。我们引入了一个损失函数，然后联合优化的特征提取和序列处理机制，在一个端到端的方式。通过这种联合优化，LSTM提取了最相关的异常检测特征，随后用于SVDD，因此完全消除了通过专家知识进行特征选择的需要。此外，我们还为在线设置提供了一个训练算法，当新数据到达时，我们使用单个序列优化模型参数。最后，在现实生活中的数据集上，我们表明，由于LSTM与SVDD和联合优化的结合，我们的模型显着优于标准方法。
2020-05-25 cs.LG stat.ML
Semi-supervised Batch Learning From Logged Data
The Alan Turing Institute（艾伦·图灵研究所）；Sharif University of Technology（谢里夫理工大学）；University College London（伦敦大学学院）
针对日志数据中部分样本反馈缺失的问题，提出基于反事实风险最小化框架的半监督批量学习方法，通过推导真实风险上界设计独立于反馈的正则化项，利用缺失反馈数据提升策略性能。
2024-02-18 cs.AI cs.IT cs.LG
Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning
University of Science and Technology of China（中国科学技术大学）
提出UDS框架，利用logits矩阵核范数和轻量记忆缓冲实现高效在线批次选择，兼顾数据效用与多样性，无需外部资源，在多个基准上优于现有方法并降低训练时间。
2026-06-16 cs.AI cs.CL cs.LG
Evaluating task-agnostic exploration for fixed-batch learning of arbitrary future tasks
Queensland University of Technology (QUT)（昆士兰科技大学）；DeepMind（深度思维）
深度强化学习已被证明可以解决具有挑战性的任务，其中大量的训练经验是可用的，通常在学习任务时在线获得。机器人技术是许多这些算法的一个重要的潜在应用领域，但在现实世界中生成机器人经验是昂贵的，特别是当每个任务都需要冗长的在线训练过程时。非策略算法原则上可以从足够多样化的固定数据集中学习任意任务。在这项工作中，我们通过生成机器人数据集来评估流行的探索方法，以学习完全离线解决任务，而无需在现实世界中进行任何进一步的交互。我们目前的结果在三个流行的连续控制任务的仿真，以及连续控制的高维真实的机器人arm.Code记录所有的算法，实验和超参数可在https://github.com/qutrobotlearning/batchlearning。
2019-11-20 cs.LG cs.RO stat.ML
Online Nonparametric Supervised Learning for Massive Data
Statistics Program, Department of Mathematics and Statistics, College of Arts and Sciences, Qatar University（统计学项目，数学与统计学系，艺术与科学学院，卡塔尔大学）
针对参数化算法缺陷与批量非参数分类器的“维度诅咒”及大规模数据挑战，提出含在线主成分分析降维与随机近似算法的在线非参数分类器，在胎儿健康监测中准确性可与随机森林竞争且实现准确性与计算成本最佳权衡。
2024-05-29 cs.LG stat.ML
