Coactive Learning for Locally Optimal Problem Solving
Oregon State University（俄勒冈州立大学）
协同学习是一种在线问题解决设置，其中由求解器提供的解决方案由领域专家交互式地改进，这反过来又驱动学习。在本文中，我们扩展了协同学习的研究，获得一个全球最优或接近最优的解决方案可能是棘手的问题，或者专家只能预期作出小，局部改进的候选解决方案。在这种新的环境中学习的目标是最小化成本，这是由专家在一段时间内的努力来衡量的。我们首先建立现有的协同感知算法的平均成本的理论界。此外，我们考虑新的在线算法，使用成本敏感和被动侵略（PA）更新，显示类似或改进的理论界限。我们提供了一个实证评估的学习者在各个领域，这表明基于感知器的算法是非常有效的，不像在线分类的情况下，PA算法不产生显着的性能增益。
2014-04-18 cs.LG
Efficient Online Large-Margin Classification via Dual Certificates
Discipline of Business Analytics, The University of Sydney（商业分析系，悉尼大学）；Tepper School of Business, Carnegie Mellon University（商学院，卡内基梅隆大学）
本文提出一种基于对偶证书的在线大间隔分类算法，利用平移不变性获得更优的错误界限，在特定参数下每序列最多两次错误，且计算效率与现有算法相当，准确性显著提升。
2025-09-24 cs.LG math.OC
A Generic Online Parallel Learning Framework for Large Margin Models
Peking University（北京大学）
为了加快训练过程，许多现有系统使用并行技术用于在线学习算法。然而，目前的研究主要集中在随机梯度下降算法上，而对其他算法的研究较少。我们提出了一个通用的在线并行学习框架的大利润率模型，并分析了我们的框架流行的大利润率算法，包括MIRA和结构化感知器。我们的框架是无锁的，易于在现有系统上实现。实验表明，我们的框架系统可以获得接近线性的速度增加运行线程，并没有损失的准确性。
2017-03-02 cs.CL cs.LG
Automatic Construction of Multi-layer Perceptron Network from Streaming Examples
Nanyang Technological University（南洋理工大学）；La Trobe University（乐卓博大学）；Nantong University（南通大学）
深度神经网络（DNN）的自主构建是数据流所期望的，因为它潜在地提供了两个优点：适当的模型容量和对漂移和移位的快速反应。虽然DNN的自组织机制仍然是一个悬而未决的问题，但与使用不同深度结构的DNN相比，为标准多层DNN开发此任务更具挑战性，因为添加新层会导致先前训练的知识的信息丢失。提出了一种容量动态演化的神经网络（NADINE）。NADINE具有完全开放的结构，其网络结构，深度和宽度可以以在线方式从零开始自动演变，而无需使用特定问题的阈值。NADINE是在标准的MLP结构下构造的，并使用软遗忘和自适应记忆方法的建议解决了隐藏层添加阶段的灾难性遗忘问题。NADINE的优势，即弹性结构和在线学习的特点，数值验证使用9个数据流分类和回归问题，它表明在所有问题的突出算法的性能改善。此外，它能够同样好地处理数据流回归和分类问题。
2020-01-09 cs.LG cs.NE stat.ML
On Accelerated Perceptrons and Beyond
Georgia Tech（佐治亚理工学院）；MIT（麻省理工学院）
Rosenblatt的经典Perceptron算法可用于找到线性阈值函数以正确地分类$n$线性可分离的数据点，假设类由某个裕度$γ> 0$分离。基本结果是Perceptron在$Ω(1/γ^{2})$迭代后收敛。有几个最近的作品，设法提高这个率的二次因子，$Ω(\sqrt{\log n}/γ)$，更复杂的算法。在本文中，我们将这些现有的结果统一在一个框架下，表明它们都可以通过使用现代加速技术解决最小-最大问题的镜头来描述，主要是通过乐观的在线学习。然后，我们表明，所提出的框架还可以改善标准感知器设置之外的一系列问题的结果。具体来说，a）对于间隔最大化问题，我们将现有的结果从$O(\log t/t^2)$改进为$O(1/t^2)$，其中$t$是迭代次数; b）我们首次给出了经典Nesterov加速梯度下降（NAG）算法的隐偏差性质，并证明了NAG算法可以以$O(1/t^2)$速率最大化间隔; c）对于经典的$p$ -范数感知器问题，我们给出了一个具有$Ω(\sqrt{(p-1)\log n}/γ)$收敛速度的算法，而现有算法存在$Ω({(p-1)}/γ^2)$收敛速度的问题。
2022-10-17 cs.LG math.OC stat.ML
Online Non-Destructive Moisture Content Estimation of Filter Media During Drying Using Artificial Neural Networks
Aarhus University（奥胡斯大学）
含水量（MC）估计在干燥散装过滤介质产品的制造过程中非常重要，因为它是干燥优化的先决条件。在这项研究中，通过执行161干燥工业实验收集的数据集进行描述和MC估计在工业干燥过程中的非破坏性和在线的方式的方法。一个人工神经网络（ANN）为基础的方法相比，国家的最先进的MC估计方法在文献中报道。模型拟合和训练的结果表明，三层感知器实现了最低的误差。实验结果表明，人工神经网络结合烘箱设置数据，干燥时间和产品温度可以用来可靠地估计大体积过滤介质产品的MC。
2023-03-27 cs.LG
Cumulative Sum Ranking
Pontifícia Univesidade Católica do Rio de Janeiro（里约热内卢天主教大学）
有序回归的目标是找到一个规则，从给定的集合中排列项目。几个学习算法来解决这个预测问题，建立一个二进制分类器的集成。投影排名使用相互依赖的二进制感知器。这些感知器共享相同的方向向量，但使用不同的偏置值。类似的方法使用独立的方向向量和偏置。为了组合二进制预测，大多数采用简单的计数算法。在这里，我们引入了一种新的累积和评分函数来组合二进制预测。建议的得分值聚合了每个相关二元分类的强度，即项目的排名有多大。我们表明，我们的建模铸造有序回归作为一个结构化的感知器问题。因此，我们简化了它的制定和描述，这导致两个简单的在线学习算法。第二个算法是第一个算法的被动攻击版本。我们证明了在一定的秩可分性条件下，这两种算法收敛。此外，我们提供的错误界的两个在线算法。对于被动-攻击版本，我们假设分离裕度的知识，这显着提高了相应的错误界。此外，我们表明，投影排名是我们的预测算法的一个特殊情况。从神经网络架构的角度来看，我们的实证研究结果表明，有序回归的cusum单元层，而不是通常的softmax层的多类问题。
2019-11-25 cs.LG stat.ML
Low congestion online routing and an improved mistake bound for online prediction of graph labeling
Kasetsart University（泰国农业大学）；Chulalongkorn University（朱拉隆功大学）
在本文中，我们展示了一定的在线低拥塞路由问题和在线预测的图形标记之间的连接。更具体地说，我们证明了，如果存在一个路由方案，保证拥塞的$α$的任何边缘，存在一个在线预测算法的错误界$α$倍的切割大小，这是由标签划分图顶点的切割的大小。利用已知的$O(\log n)$对$n$的界，我们得到了一个改进的预测算法。与以前的方法，移动到向量空间中的问题，使用图拉普拉斯算子的图形问题，并依赖于感知器算法的分析，我们的证明是纯粹的组合。此外，我们的方法直接推广到标签不是二进制的情况。
2008-09-12 cs.DM cs.DS cs.LG
Online Active Model Selection for Pre-trained Classifiers
ETH Zürich（苏黎世联邦理工学院）
给定$k$预训练的分类器和一系列未标记的数据示例，我们如何主动决定何时查询标签，以便在进行少量查询的同时区分最佳模型？探讨这个问题对一系列实际情况有着深远的影响。在这项工作中，我们设计了一个在线选择性抽样方法，积极选择信息丰富的例子进行标记，并在任何一轮输出最佳模型的概率很高。我们的算法可用于在线预测任务的对抗性和随机流。我们建立了几个理论保证我们的算法，并广泛地证明了它的有效性，在我们的实验研究。
2021-04-17 cs.LG stat.ML
Sequential Labeling with online Deep Learning
SUNY at Buffalo（纽约州立大学布法罗分校）
深度学习最近引起了极大的关注，并在降维和分类问题方面取得了最先进的表现。然而，它不能有效地处理结构化的输出预测，例如顺序标记。在本文中，我们提出了一个深度学习结构，它可以学习序列标记问题的判别特征。更具体地说，我们在我们的深度学习结构中添加了标签之间的相互关系，以便合并来自序列数据的上下文信息。因此，我们的模型比线性条件随机场（CRF）更强大，因为目标函数学习潜在的非线性特征，从而可以更好地预测目标标记。我们使用堆叠限制玻尔兹曼机（RBM）进行特征学习来预训练深度结构，并使用在线学习算法优化我们的目标函数，感知器训练和随机梯度下降的混合。我们在不同的挑战任务上测试了我们的模型，并表明我们的模型在完成基线上的表现显着优于。
2015-05-04 cs.LG
Hybrid Active-Online Learning Framework for Label-Efficient Concept Drift Adaptation in Optical Network Failure Detection
提出混合主动在线学习框架，通过基于间隔的选择性标记仅查询3.4%的流样本，实现接近上限的准确率和AUC，且延迟开销可忽略。
2026-06-29 cs.LG eess.SP
Online Active Learning of Reject Option Classifiers
IIIT Hyderabad（海得拉巴国际信息技术学院）
主动学习是监督学习中减少标记样本数量的一种重要技术。二进制分类的主动学习在机器学习中已经得到很好的解决。然而，拒绝选项分类器的主动学习仍然没有解决。在本文中，我们提出了新的算法的主动学习拒绝选项分类。我们开发了一种使用双斜坡损失函数的主动学习算法。给出了算法的误差界。我们还提出了一种新的损失函数，称为双S形损失函数的拒绝选项和相应的主动学习算法。我们提供了一个收敛保证该算法。我们提供了大量的实验结果来证明所提出的算法的有效性。所提出的算法有效地减少了所需的标签示例的数量。
2020-04-02 cs.LG stat.ML
Marginal and Joint Cross-Entropies & Predictives for Online Bayesian Inference, Active Learning, and Active Sampling
University of Oxford（牛津大学）
当我们只关注边际预测分布（边际预测）时，原则贝叶斯深度学习（BDL）并没有发挥出它的潜力。最近的工作突出了联合预测（贝叶斯）顺序决策的重要性，从理论和合成的角度。我们提供了更多的实际论据，立足于现实世界的应用，专注于联合预测：我们讨论在线贝叶斯推理，这将使我们能够作出预测，同时考虑到额外的数据，而无需再培训，我们提出了新的具有挑战性的评估设置使用主动学习和主动采样。这些设置的动机是检查边缘和联合预测，他们各自的交叉熵，以及他们在离线和在线学习的地方。它们比以前建议的更现实，建立在Wen等人的工作基础上。（2021）和Osband等人。（2022），并专注于评估在线监督环境中近似BNN的性能。然而，最初的实验，这些想法在高维参数空间与当前BDL推理技术的可行性提出了问题，我们建议的实验，可能有助于进一步阐明这些问题的实用性，目前的研究。重要的是，我们的工作突出了当前研究中以前未发现的差距，以及对更好的近似联合预测的需求。
2022-05-18 cs.LG stat.ML
Budgeted Online Active Learning with Expert Advice and Episodic Priors
Oregon State University（俄勒冈州立大学）；Washington State University（华盛顿州立大学）
本文针对标签预算极少的有限时域数据流，提出一种同时利用专家预测器和情景行为先验的预算在线主动学习方法，并在农业模拟与真实葡萄数据上验证其显著优于现有基线。
2025-06-03 cs.LG
Expectation propagation on the diluted Bayesian classifier
Politecnico di Torino（都灵理工大学）；Italian Institute for Genomic Medicine（意大利基因组医学研究所）；INFN Sezione di Torino（意大利国家核物理研究所都灵分部）；Amazon Alexa（亚马逊Alexa）
从高维数据集中有效地选择特征是许多数据驱动的科学和工程领域中的一个非常重要的挑战。我们引入了一个统计力学启发的策略，解决了稀疏特征选择的问题，在二进制分类的背景下，利用一个计算方案称为期望传播（EP）。该算法是用来训练一个连续权重感知器学习分类规则从一组（可能部分错误标记）的例子提供了一个教师感知器与稀释的连续权重。我们测试的方法在贝叶斯最优设置在各种条件下，并将其与其他国家的最先进的算法的基础上的消息传递和期望最大化的近似推理计划。总的来说，我们的模拟表明，EP是一个强大的和有竞争力的算法在变量选择属性，估计精度和计算复杂性，特别是当学生感知器训练相关的模式，防止其他迭代方法收敛。此外，我们的数值测试表明，该算法是能够在线学习的先验参数的未知值，如教师感知器的权重的稀释水平和错误标记的例子的分数，相当准确。这是通过一个简单的极大似然策略来实现的，该策略包括最小化与EP算法相关的自由能。
2021-01-31 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Efficient Online Decision Tree Learning with Active Feature Acquisition
Chalmers University of Technology（查尔姆斯理工大学）；University of Chicago（芝加哥大学）
针对特征和标签需成本获取的在线决策树构建问题，提出嵌入主动规划预言机的在线学习框架，用自适应次模代理函数低成本主动查特征、后验采样保低遗憾，经实验验证高效有效且适配概念漂移场景。
2025-06-17 cs.LG
OnlineWM: Causality-Aware Active Online Learning for Effective World Modeling
The Hong Kong University of Science and Technology（香港科技大学）
OnlineWM提出主动在线学习与因果感知优化框架，通过模拟器交互和反事实学习提升世界模型的动作可控性与泛化能力。
2026-09-22 cs.CV cs.LG
Online Active Linear Regression via Thresholding
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
我们考虑在线主动学习的问题，以收集数据进行回归建模。具体来说，我们考虑一个有限的实验预算的决策者必须有效地学习一个潜在的线性人口模型。我们的主要贡献是一种新的阈值为基础的算法选择最翔实的意见，我们的性能和基本的下限。我们扩展的算法和它的保证稀疏线性回归在高维设置。仿真表明，该算法是非常强大的：它提供了显着的好处，在现实世界的数据集，表现出高非线性和高维被动随机采样-显着降低均方误差和方差。
2016-12-21 cs.LG stat.ML
QueryMarket: Cost-Aware Online Active Learning in Data Markets
Dyson School of Design Engineering, Imperial College London（帝国理工学院戴森设计工程学院）；Halfspace (part of Accenture)（埃森哲旗下Halfspace）；Technical University of Denmark (DTU Management)（丹麦技术大学（DTU管理系））；Aarhus University (CoRE)（奥胡斯大学（CoRE））
提出QueryMarket框架和OVBAL算法，通过D-最优性准则估计边际效用，在滚动预算约束下实现成本感知的在线主动学习，适应非平稳流和异构标签成本。
2026-06-17 cs.LG
On the Query Strategies for Efficient Online Active Distillation
University of Verona（维罗纳大学）
本文评估多种查询策略，结合主动学习与在线蒸馏，在人体姿态估计数据集上验证了边缘轻量模型实时适应新环境的可行性。
2023-09-04 cs.CV cs.LG
Nonstationary data stream classification with online active learning and siamese neural networks
KIOS Research and Innovation Center of Excellence（KIOS卓越研究与创新中心）；University of Cyprus（塞浦路斯大学）
近年来，我们目睹了越来越多的信息在各种应用领域中以流的方式变得可用。因此，出现了对在线学习方法的需求，该在线学习方法在运行中训练预测模型。然而，一系列公开的挑战阻碍了它们在实践中的部署。这些是，在数据逐个实时到达时学习，从具有有限地面真实信息的数据中学习，从非平稳数据中学习，以及从严重不平衡的数据中学习，同时占用有限的内存用于数据存储。我们提出了ActiSiamese算法，它通过结合在线主动学习，siamese网络和多队列存储器来解决这些挑战。它开发了一种新的基于密度的主动学习策略，该策略考虑潜在（而不是输入）空间中的相似性。我们进行了广泛的研究，比较了不同的主动学习预算和策略的作用，有/没有记忆的性能，有/没有集成的性能，在合成和真实世界的数据集，在不同的数据非平稳特性和类不平衡水平。ActiSiamese优于基线和最先进的算法，并且在严重不平衡的情况下有效，即使只有一小部分到达实例的标签可用。我们向社区公开发布我们的代码。
2022-10-03 cs.LG
Message Passing Adaptive Resonance Theory for Online Active Semi-supervised Learning
LG Electronics（LG电子）；Seoul National University（首尔国立大学）；University of Southern California（南加州大学）
主动学习被广泛用于通过从未标记的数据中重复查询仅最有益的样本来减少标记工作和训练时间。在现实世界中，由于有限的存储或隐私问题，数据不能无限期地存储，查询选择和模型更新应该在观察到新的数据样本时立即执行。各种在线主动学习方法已被研究，以应对这些挑战，然而，有困难的选择有代表性的查询样本和更新模型有效而不会忘记。在这项研究中，我们提出了消息传递自适应共振理论（MPART），学习的分布和拓扑结构的输入数据在线。通过拓扑图上的消息传递，MPART主动查询信息和代表性的样本，并不断提高分类性能使用标记和未标记的数据。我们评估我们的模型在基于流的选择性采样方案与可比的查询选择策略，显示MPART显着优于竞争对手的模型。
2021-07-10 cs.AI cs.LG
Active Advantage-Aligned Online Reinforcement Learning with Offline Data
Department of Computer Science, University of Chicago（计算机科学系，芝加哥大学）；Department of Statistics and Data Science, Yale University（统计与数据科学系，耶鲁大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
A3RL通过主动优势对齐采样策略提升在线强化学习与离线数据结合的效果，实现更高效的策略优化。
2026-03-07 cs.LG stat.ML
Online Learning for Active Cache Synchronization
Microsoft Research（微软研究院）；Google Research（谷歌研究院）
现有的多臂强盗（MAB）模型有两个隐含的假设：一个手臂只在它被玩的时候产生一个回报，代理人观察每一个产生的回报。本文介绍了同步土匪，MAB的变种，所有武器在任何时候都产生成本，但代理观察一个手臂的瞬时成本只有当手臂被发挥。同步MAB的灵感来自在线缓存场景，如Web抓取，其中一个arm对应于一个缓存的项目，播放arm意味着从服务器下载其新的副本。我们提出了一个同步强盗的在线学习算法-$O(T^{2/3})$，建立了$O(T^{2/3})$的对抗遗憾，并展示了如何使其实用。
2020-08-21 cs.LG stat.ML
ORIS: Online Active Learning Using Reinforcement Learning-based Inclusive Sampling for Robust Streaming Analytics System
George Mason University（乔治梅森大学）；Amazon（亚马逊公司）
针对流分析系统中标记数据收集的挑战，提出ORIS方法，通过基于强化学习的包容性采样进行在线主动学习，在情感识别任务中其人类标记性能和模型性能均优于传统基线。
2024-11-27 cs.LG
Online Continual Adaptation with Active Self-Training
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加州大学伯克利分校）
使用离线数据训练的模型通常会在不断变化的环境中遭受持续的分布偏移和昂贵的标签。这就需要一种新的在线学习范式，学习者可以不断适应不断变化的环境，有限的标签。在本文中，我们提出了一个新的在线设置-在线主动持续适应，学习者的目标是不断适应不断变化的分布使用未标记的样本和有限的标签的主动查询。为此，我们提出了在线自适应镜像下降（OSAMD），它采用了在线师生结构，使在线自我训练从未标记的数据，和一个基于边缘的标准，决定是否查询标签，以跟踪不断变化的分布。理论上，我们表明，在可分离的情况下，OSAMD有一个$O({T}^{2/3})$动态遗憾界温和的假设下，这是对齐的$Ω(T^{2/3})$下界的在线学习算法与完整的标签。在一般情况下，我们证明了$O({T}^{2/3} + α^* T)$的遗憾界，其中$α^*$表示域的可分性，并且通常很小。我们的理论结果表明，OSAMD可以快速适应不断变化的环境与主动查询。从经验上讲，我们证明了OSAMD实现有利的遗憾在不断变化的环境下，有限的标签上的模拟和现实世界的数据，这证实了我们的理论研究结果。
2022-03-20 cs.AI cs.LG stat.ML
Online Similarity Prediction of Networked Data from Known and Unknown Graphs
Università dell’Insubria（因苏布里亚大学）；University College London（伦敦大学学院）
我们认为在线相似性预测问题的网络数据。我们首先将此任务与更标准的类预测问题相关联，表明给定任意的类预测算法，我们可以构建一个具有“几乎”相同错误界的相似性预测算法，反之亦然。在注意到这个一般的建设是计算上不可行的，我们的目标是我们的研究{ \em可行}相似性预测算法的网络数据。我们最初假设网络结构对于学习者是{ \em已知}的。在这里，我们观察到矩阵Winnow \cite{w07}有一个接近最优的错误保证，在每轮的立方预测时间的代价。这促使我们努力实现一个有效的感知算法，具有较弱的错误保证，但只有多对数预测时间。然后，我们的重点转向具有挑战性的情况下，网络的结构最初是{ \em未知}的学习者。在这种新的设置，网络结构只是逐步揭示，我们得到了一个错误有界的算法，每轮的二次预测时间。
2013-03-15 cs.LG
Data-efficient Online Classification with Siamese Networks and Active Learning
KIOS Research and Innovation Center of Excellence（KIOS卓越研究与创新中心）；University of Cyprus（塞浦路斯大学）
如今，在许多应用领域中，例如在关键基础设施系统、金融和银行、安全和犯罪以及网络分析中，越来越多的数据量正在以流的方式变得可用。为了满足这一新的需求，需要在线构建预测模型，其中学习是动态进行的。在线学习提出了重要的挑战，影响在线分类系统的部署，以现实生活中的问题。在本文中，我们研究学习有限的标记，非平稳和不平衡的数据在线分类。我们提出了一种学习方法，协同结合暹罗神经网络和主动学习。该方法使用多滑动窗口的方法来存储数据，并保持单独的和平衡的队列为每个类。我们的研究表明，该方法对数据非平稳性和不平衡性具有鲁棒性，并且在学习速度和性能方面显着优于基线和最先进的算法。重要的是，即使到达实例的标签只有1%可用，它也是有效的。
2020-10-04 cs.LG stat.ML
CAAL: Contextual Bandits based Online Hand-Craft Active Learning Strategy Selection
University of Minnesota, Twin Cities（明尼苏达大学双城分校）；Amazon（亚马逊）
提出CAAL框架，利用上下文信息和奖励预测动态选择主动学习策略，在公共数据集上优于现有基线方法。
2026-06-06 cs.LG
Active Offline-to-Online Reinforcement Learning
Virginia Commonwealth University（弗吉尼亚共同体大学）；University of Virginia（弗吉尼亚大学）
研究离线到在线强化学习中有限交互预算下的主动策略选择问题，提出基于未来性能上置信界主动选策略微调的方法，经实验验证其优于现有基线，能更有效利用预算，推动离线强化学习在现实系统的实际部署。
2026-07-14 cs.AI cs.LG
Active Online Learning with Hidden Shifting Domains
Stanford University（斯坦福大学）；University of Southern California（南加州大学）；University of Arizona（亚利桑那大学）
在线机器学习系统需要适应领域的变化。同时，在每个时间步获取标签是昂贵的。我们提出了一个令人惊讶的简单的算法，自适应平衡其遗憾和标签查询的设置，其中数据流是从隐藏域的混合物。对于具有不经意对手的在线线性回归，我们提供了一个紧密的权衡，取决于隐藏域的持续时间和维度。我们的算法可以自适应地处理来自不同域的输入的交织跨度。我们还将我们的结果推广到非线性回归的假设类有界逃避维度和自适应对手。在人工数据集和真实数据集上的实验表明，该算法在相同的标记预算下，比均匀查询和贪婪查询具有更低的遗憾度。
2021-02-26 cs.LG stat.ML
Stream-based Online Active Learning in a Contextual Multi-Armed Bandit Framework
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了基于流的在线主动学习的上下文多臂强盗框架。在这个框架中，奖励取决于手臂和环境。在基于流的主动学习设置中，获得奖励的基础事实是昂贵的，并且常规的上下文多臂强盗算法由于该成本而未能实现次线性遗憾。因此，该算法需要确定是否请求当前时隙处的奖励的基础事实。在我们的框架中，我们考虑了一个基于流的主动学习设置，其中地面实况的查询请求被发送到注释器，连同地面实况的一些先验信息。根据先验信息的准确性，查询成本会有所不同。我们的算法主要进行两个操作：细化的上下文和手臂空间和动作的选择。在我们的算法中，上下文空间和手臂空间的分区保持一定的时间槽，然后变得更精细的更多信息的奖励积累。我们使用一种策略性的方法来选择武器并请求奖励的地面真值，旨在最大化总奖励。我们分析表明，遗憾是次线性的，并在相同的顺序与传统的上下文多臂强盗算法，其中没有查询成本
2016-07-11 cs.LG
Active Learning for Fair and Stable Online Allocations
Purdue University（普渡大学）
针对动态公平资源分配问题，提出基于成对上下置信界自适应选反馈的主动学习算法，在仅获取子集智能体反馈的限制下，实现多指标下次线性遗憾界的高效决策。
2024-06-20 cs.LG stat.OT
Robust online active learning
Technical University of Denmark（丹麦技术大学）；Norwegian University of Science and Technology（挪威科技大学）；Luleå University of Technology（吕勒奥理工大学）
针对受污染数据流中在线主动线性回归易查询异常值的问题，本文通过限制条件 D-最优算法搜索范围并结合鲁棒估计器，提升了异常值环境下的预测性能。
2023-07-18 cs.LG stat.ML
Disagreement-based Active Learning in Online Settings
Cornell University（康奈尔大学）
我们研究在线主动学习分类流实例的统计学习理论的框架内。每次，学习器要么查询当前实例的标签，要么根据过去看到的示例预测标签。我们的目标是最小化查询的数量，同时限制预测错误的数量超过长度$T$的地平线。我们开发了一个基于分歧的在线学习算法的一般假设空间和Tsybakov噪声下。我们表明，该算法有一个标签的复杂度为$O(dT^{\frac{2-2α}{2-α}}\log^2 T)$的约束下有界遗憾的分类错误，其中$d$是VC维的假设空间和$α$是Tsybakov噪声参数。我们进一步建立了一个匹配（多对数因子）下界，证明了该算法的顺序最优性。我们解决标签的复杂性和遗憾之间的权衡，并表明该算法可以修改操作在权衡曲线上的不同点。
2020-11-16 cs.LG stat.ML
Which LLM to pick? Online Active Model Selection for Large Language Models
TU Delft（代尔夫特理工大学）；ETH Zurich（苏黎世联邦理工学院）
针对流式数据下LLM选型依赖基准不准确且人工标注昂贵的问题，提出ONLINE LLM PICKER框架，以有限标注预算主动选择信息量最大的提示，在130余模型上节省最高71.67%标注成本并降低2.51倍遗憾值。
2026-10-02 cs.CL cs.LG
Online Active Regression
School of Physical and Mathematical Sciences（物理与数学科学学院）；Nanyang Technological University（南洋理工大学）
主动回归考虑线性回归问题，其中学习者接收大量数据点，但只能观察少量标签。由于在线算法可以处理增量训练数据，并利用低计算成本，我们考虑的主动回归问题的在线扩展：学习者接收数据点一个接一个，并立即决定是否应该收集相应的标签。目标是用少量的标签查询预算有效地维护接收到的数据点的回归。我们提出了新的算法，这个问题下的$\ell_p$损失$p\in[1,2]$。为了实现一个$(1+ε)$近似的解决方案，我们提出的算法只需要$\tilde{\mathcal{O}}(ε^{-1} d \log(nκ))$查询的标签，其中$n$是数据点的数量和$κ$是一个数量，称为条件数，数据点。数值结果验证了我们的理论结果，并表明我们的方法具有可比的性能与离线主动回归算法。
2022-08-30 cs.DS cs.LG stat.ML
O-MedAL: Online Active Deep Learning for Medical Image Analysis
Carnegie Mellon University（卡内基梅隆大学）；INESC TEC（INESC TEC 科技研究院）
主动学习方法从未标记的数据创建优化的标记训练集。我们介绍了一种新的在线主动深度学习方法用于医学图像分析。我们扩展了我们的MedAL主动学习框架，在本文中提出新的结果。我们的新的采样方法查询未标记的例子，最大化的平均距离的所有训练集的例子。我们的在线方法增强了其底层基线深度网络的性能。这些创新性带来了显著的性能提升，包括将模型的底层深度网络准确度提高了6.30%，仅使用25%的标记数据集来实现基线准确度，将训练过程中的反向传播图像减少了67%，并在二进制和多类任务中展示了对类不平衡的鲁棒性。
2020-07-27 cs.CV cs.LG eess.IV
Online Adaptive Asymmetric Active Learning with Limited Budgets
South China University of Technology（华南理工大学）；Tencent AI Lab（腾讯人工智能实验室）
在线主动学习（OAL）通过有选择地查询数据的标签来管理未标记的数据流。OAL适用于许多现实问题，如医疗保健和金融领域的异常检测。在这些问题中，有两个关键的挑战：查询预算往往是有限的，类之间的比例是高度不平衡的。在实践中，当只有有限的标签预算可以查询用于训练时，处理不平衡的未标记数据流是相当困难的。为了解决这个问题，以前的OAL研究采用非对称损失或查询（一个孤立的非对称策略）来解决不平衡，并使用一阶方法来优化成本敏感的措施。然而，孤立策略限制了它们在类不平衡中的性能，而一阶方法限制了它们的优化性能。在本文中，我们提出了一种新的在线自适应非对称主动学习算法，基于一种新的非对称策略（合并非对称损失和查询策略），和二阶优化。从理论上分析了它的错误界和代价敏感度量界。此外，为了更好地平衡性能和效率，我们通过草图技术增强了我们的算法，这大大加快了计算速度，性能略有下降。实验结果表明了所提方法的有效性和高效性。
2019-11-18 cs.LG stat.ML
Active multi-fidelity Bayesian online changepoint detection
Princeton University（普林斯顿大学）；Arm ML Research Lab（Arm机器学习研究实验室）
用于检测变化点或时间序列的行为中的突然转变的在线算法通常利用有限的资源来部署，移动电话或工业传感器等边缘计算环境。在这些情况下，将收集环境测量的成本与该测量的质量或"保真度"以及测量如何影响变点估计进行交易可能是有益的。例如，可以在惯性测量或GPS之间做出决定，以确定运动的变化点。贝叶斯变点检测方法特别有吸引力，因为我们可以表示关于变点的后验不确定性，并对数据保真度做出积极的、成本敏感的决策，以减少这种后验不确定性。此外，通过主动保真切换，总成本可以大大降低，同时对数据分布的变化保持鲁棒性。我们提出了一个多保真度的方法，使成本敏感的决定，收集数据保真度的基础上最大限度地提高信息增益的变化点。我们对合成，视频和音频数据的框架进行了评估，并表明这种基于信息的方法可以在降低总成本的同时实现准确的预测。
2021-07-25 cs.LG stat.ML
Warm-starting active-set solvers using graph neural networks
Department of Information Technology, Uppsala University（信息技术系，乌普萨拉大学）
本文提出利用图神经网络预测双主动集求解器DAQP中的活跃约束，通过将二次规划问题表示为二分图来利用其结构特性，从而有效预热启动求解器，减少迭代次数，并在不同问题规模下展示出良好的泛化能力和可扩展性。
2026-05-19 cs.LG
Active Learning for Online Recognition of Human Activities from Streaming Videos
从流媒体视频中识别人类活动对学习算法提出了独特的挑战：预测模型需要可扩展，可增量训练，并且即使在数据流任意长的情况下也必须保持大小有限。此外，由于参数调整在流设置中是有问题的，因此合适的方法应该是无参数的，并且不对流中可能出现什么类标签做出假设。我们在这里提出了一种从流数据中识别人类动作的方法，它满足所有这些要求：（1）增量学习一个模型，该模型自适应地覆盖具有简单局部分类器的特征空间;（2）采用主动学习策略来减少注释请求;（3）在固定模型大小内实现有希望的准确性。在标准基准上的大量实验表明，我们的方法与最先进的非增量方法相比具有竞争力，并且优于现有的主动增量基线。
2016-04-11 cs.CV cs.LG stat.ML
SQBC: Active Learning using LLM-Generated Synthetic Data for Stance Detection in Online Political Discussions
Heinrich Heine University Düsseldorf（海因里希·海涅杜塞尔多夫大学）；Technical University of Dortmund（多特蒙德工业大学）
针对立场检测模型标注数据不足的问题，本研究提出用LLM合成数据扩充小型微调数据集，还提出基于委员会查询的SQBC主动学习方法，以合成数据为预言机筛选高价值未标注样本，实验证明两种方法均能提升性能，主动筛选样本微调效果甚至超完整数据集。
2024-04-11 cs.AI cs.CL cs.LG
Online and Adaptive Parking Availability Mapping: An Uncertainty-Aware Active Sensing Approach for Connected Vehicles
University of Padova（帕多瓦大学）；National Research Council (CNR - IEIIT)（国家研究委员会（CNR - IEIIT））
联网车辆的研究代表了一个不断发展的技术领域，受到新兴物联网（IoT）范式和智能交通系统最新进展的推动。如今，车辆是能够基于大量数据生成、接收和自动行动的平台。在辅助驾驶的背景下，联网汽车技术提供有关周围交通状况的实时信息。这些信息有望提高驾驶员的生活质量，例如，通过根据当前停车可用性状态采取决策制定策略。在这种情况下，我们提出了一个在线和自适应计划的停车可用性映射。具体来说，我们采用一种信息寻求主动传感方法来选择传入的数据，从而保留车载存储和处理资源;然后，我们通过高斯过程回归估计停车可用性。我们比较所提出的算法与几个基线，达到较差的性能，在映射收敛速度和自适应能力，此外，所提出的方法是在一个非常小的计算需求的成本。
2021-05-01 cs.LG eess.SP
Random Is Hard to Beat: Active Selection in online DPO with Modern LLMs
Seoul National University（首尔大学）；Ewha Womans University（梨花女子大学）；KAIST（韩国科学技术院）；UBC（不列颠哥伦比亚大学）
本文研究了在线DPO中主动选择策略的有效性，发现即使在强先验基础上，主动选择的计算开销难以抵消简单随机采样带来的多样性优势。
2026-04-03 cs.AI cs.LG
Online Importance Weight Aware Updates
Cornell University（康奈尔大学）；Yahoo! Research（雅虎研究院）
重要性权重量化了一个例子相对于另一个例子的相对重要性，出现在提升，不对称分类成本，减少和主动学习的应用中。在梯度下降中处理重要性权重的标准方法是通过梯度的乘法。我们首先证明了这种方法的问题时，重要性权重很大，并主张更复杂的方法来处理它们。然后，我们开发了一种方法，享有不变性：更新两次重要性权重$h$相当于更新一次重要性权重$2h$。对于许多重要的损失，当所有例子都有$h=1$时，它有一个满足标准后悔保证的封闭形式更新。我们还简要讨论了其他两个合理的方法来处理大的重要性权重。从经验上讲，这些方法在降低算法对学习率的精确设置的灵敏度的同时，以类似的计算性能产生显著更优的预测。我们将这些应用于在线主动学习，产生了一个非常快的主动学习算法，即使在存在对抗性噪声的情况下也能工作。
2011-06-18 cs.LG
Active Reward Learning from Online Preferences
Stanford University（斯坦福大学）
机器人策略需要适应人类偏好和/或新环境。人类专家可能拥有帮助机器人实现这种适应所需的领域知识。然而，现有的工作通常需要对人类反馈进行昂贵的离线重新训练，并且这些反馈通常需要频繁且过于复杂，以至于人类无法可靠地提供。为了避免给人类专家带来不必要的负担，并允许在关键的现实情况下快速适应，我们建议设计并以在线方式谨慎地呈现易于回答的成对动作偏好查询。我们的方法设计查询，并确定何时提出它们，以最大限度地提高预期值来自查询的信息。我们证明了我们的方法与模拟实验，人类用户的研究，和真正的机器人实验。在这些设置中，我们的方法优于基线技术，同时向人类专家提出更少的查询。实验视频、代码和附录可以在https://sites.google.com/view/onlineactivepreferences上找到。
2023-02-27 cs.AI cs.LG cs.RO
Towards Easier and Faster Sequence Labeling for Natural Language Processing: A Search-based Probabilistic Online Learning Framework (SAPO)
Peking University（北京大学）
序列标记有两种主要方法。一种是基于概率梯度的方法，诸如条件随机场（CRF）和神经网络（例如，RNN），具有高精度但缺点：训练速度慢，不支持基于搜索的优化（这在许多情况下很重要）。另一种是基于搜索的学习方法，如结构化感知器和边缘注入松弛算法（MIRA），它们具有快速训练的优点，但也存在精度低，没有概率信息，以及在现实世界任务中不收敛等缺点。我们提出了一个新颖的和“简单”的解决方案，基于搜索的概率在线学习方法，以解决这些问题。该方法是“容易的”，因为在训练阶段的优化算法是一样简单的解码算法在测试阶段。该方法搜索输出候选，导出概率，并进行有效的在线学习。我们表明，这种方法具有快速的训练和理论保证的收敛性，易于实现，可以支持基于搜索的优化，并获得最高的精度。在已知任务上的实验表明，该方法具有比CRF和BiLSTM \footnote{The SAPO code is released at \url{https://github.com/lancopku/SAPO}.}更好的准确性。
2018-11-19 cs.AI cs.LG
Online reinforcement learning with sparse rewards through an active inference capsule
Delft University of Technology（代尔夫特理工大学）；MRC Brain Network Dynamics Unit（医学研究委员会脑网络动力学组）；University of Oxford（牛津大学）
智能代理必须在复杂的环境中追求他们的目标，部分信息和有限的计算能力。强化学习方法已经通过创建优化工程奖励函数的代理而取得了巨大的成功，但是这些代理通常难以在稀疏奖励环境中学习，通常需要许多环境交互才能良好地执行，并且通常在计算上非常昂贵。主动推理是一种基于模型的方法，它指导代理探索不确定的状态，同时坚持其目标行为的先验模型。本文介绍了一种主动推理代理，它使预期未来的新自由能最小化。我们的模型是能够解决稀疏回报问题，由于其目标函数，鼓励直接探索不确定的状态，具有非常高的样本效率。此外，我们的模型在计算上非常轻，可以以完全在线的方式操作，同时实现与离线RL方法相当的性能。我们通过解决山地车问题展示了我们模型的能力，在那里我们展示了其优越的探索特性和对观测噪声的鲁棒性，这实际上提高了性能。我们还介绍了一种新的方法近似先验模型的奖励函数，简化了复杂的目标的表达，并提高了性能比以前的主动推理方法。
2021-06-04 cs.AI cs.LG stat.ML
Learning Off-policy with Model-based Intrinsic Motivation For Active Online Exploration
School of Automation Science
本文提出一种结合预测模型与离策略学习的强化学习算法，利用潜在状态空间前向预测误差构造无参数开销的内在奖励，并通过新颖性感知终端价值函数增强在线规划器，在连续控制任务中实现样本高效探索，尤其在稀疏奖励场景下表现优异。
2024-03-31 cs.AI cs.LG
Two-stage Deep Reinforcement Learning for Inverter-based Volt-VAR Control in Active Distribution Networks
Tsinghua University（清华大学）
基于模型的无功/无功优化方法被广泛应用于消除电压违规、降低网损。然而，有源配电网（ADN）的参数不是现场识别的，所以可能会涉及到显着的误差在模型中，使基于模型的方法是不可行的。为了解决这个关键问题，我们提出了一种新的两阶段深度强化学习（DRL）方法，通过调节基于逆变器的能量资源来改善电压分布，该方法由离线阶段和在线阶段组成。在离线阶段，开发了一种高效的对抗性强化学习算法来训练离线代理对模型失配具有鲁棒性。在序贯在线阶段，我们将离线代理安全地转移为在线代理，以执行在线的持续学习和控制，从而显着提高安全性和效率。IEEE测试用例的数值模拟不仅表明，所提出的对抗性强化学习算法优于最先进的算法，而且还表明，我们提出的两阶段方法实现了更好的性能比现有的DRL为基础的方法在在线应用。
2020-05-20 cs.LG cs.SY eess.SY
Robot Policy Transfer with Online Demonstrations: An Active Reinforcement Learning Approach
Vrije Universiteit (VU) Amsterdam（阿姆斯特丹自由大学）
本文提出主动LfD算法Policy Transfer with Online Demonstrations，在有限演示预算下优化在线专家演示查询的时机与内容，显著提升机器人跨环境、任务和实体的策略迁移性能。
2025-03-17 cs.AI cs.LG cs.RO
ISEE.U: Distributed online active target localization with unpredictable targets
针对不可预测目标的定位问题，提出分布式在线主动学习算法ISEE.U，通过局部费希尔信息矩阵估计优化控制以提升定位精度，无需调参，在非预设目标轨迹场景下性能优于现有最优算法且计算速度快百倍。
2023-08-21 cs.LG cs.RO cs.SY
[Experiments & Analysis] Evaluating the Feasibility of Sampling-Based Techniques for Training Multilayer Perceptrons
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
该研究针对神经网络训练耗时的问题，在有限CPU资源下评估两类基于采样的矩阵乘法近似方法训练多层感知机的可行性，通过理论分析与实验证明前馈近似存在可扩展性障碍，并指出未来研究方向。
2024-06-20 cs.AI cs.LG
