Contrastive Learning for Online Semi-Supervised General Continual Learning
Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；LIGM（马恩拉瓦莱信息与数学实验室）
我们研究在线持续学习与缺失标签，并提出SemiCon，一个新的对比损失设计的部分标记的数据。我们通过设计一种基于内存的方法来证明其效率，该方法在未标记的数据流上进行训练，其中添加到内存中的每个数据都使用Oracle进行标记。当可用标签很少时，我们的方法优于现有的半监督方法，并且在Split-CIFAR 10上仅使用2.6%的标签和Split-CIFAR 100上仅使用10%的标签的情况下，获得与最先进的监督方法相似的结果。
2022-11-22 cs.AI cs.CV cs.LG
Multi-label Classification of User Reactions in Online News
Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那州天主教大学（PUCPR））；Universidade Estadual de Ponta Grossa (UEPG)（蓬塔格罗萨州立大学（UEPG））
随着互联网用户数量的增加和Web 2.0带来的强交互性，意见挖掘成为自然语言处理领域的一个重要课题。虽然有几种方法能够执行此任务，但很少使用多标签分类，其中每个示例都有一组真正的标签。这种分类对于从读者的角度分析观点的情况很有用，这是因为每个人对同一主题都有不同的解释和观点。针对新闻文本中反应的多标签分类问题，讨论了问题转换方法与不同分类算法相结合的有效性。要做到这一点，广泛的测试进行了两个新闻语料库写在巴西葡萄牙语注释的反应。提出了一个新的语料库BFRC-PT。在执行的测试中，使用分类器链方法结合随机森林算法获得了最高数量的正确预测。当考虑类别分布时，使用二进制相关性方法结合LSTM和随机森林算法获得了最佳结果。
2018-11-27 cs.IR cs.LG stat.ML
Improving Predictive Confidence in Medical Imaging via Online Label Smoothing
Institute of Engineering & Management, Kolkata（加尔各答工程与管理学院）
本研究提出在线标签平滑（OLS）动态调整软标签，在RadImageNet数据集上通过三种架构验证，显著提升分类准确率与特征嵌入质量，增强模型校准，助力医学影像可信AI。
2025-10-22 cs.CV cs.LG
Online Adaptation to Label Distribution Shift
Cornell University（康奈尔大学）；Facebook AI Research（Facebook 人工智能研究院）
机器学习模型在现实世界中部署时经常遇到分布偏移。在本文中，我们专注于适应标签分布偏移在线设置，测试时的标签分布是不断变化的，模型必须动态地适应它，而不观察到真正的标签。利用一种新的分析，我们表明，缺乏真正的标签并不妨碍估计的预期测试损失，这使得减少在线标签偏移适应传统的在线学习。根据这一观察，我们提出了经典的在线学习技术，如跟随领导者（FTL）和在线梯度下降（OGD）的启发自适应算法，并推导出他们的遗憾界限。我们根据经验验证我们的研究结果在模拟和现实世界的标签分布偏移，并表明OGD是特别有效和强大的各种具有挑战性的标签偏移的情况。
2022-01-05 cs.LG stat.ML
Online probabilistic label trees
Poznan University of Technology（波兹南理工大学）；Yahoo Research（雅虎研究院）
我们引入了在线概率标签树（OPLT），这是一种以完全在线的方式训练标签树分类器的算法，而无需任何关于训练实例数量、特征和标签的先验知识。OPLT的特点是时间和空间复杂度低，理论保证强。它们可用于在线多标签和多类分类，包括非常具有挑战性的一次性或少样本学习场景。我们在对上述任务的几个实例进行的广泛实证研究中展示了OPLT的吸引力。
2021-03-26 cs.LG stat.ML
Online Label Shift: Optimal Dynamic Regret meets Practical Algorithms
UC Santa Barbara（加州大学圣巴巴拉分校）；Carnegie Mellon University（卡内基梅隆大学）
本文针对在线标签偏移问题，提出将适应问题归约为在线回归的新算法，在无需漂移先验知识的情况下实现最优动态遗憾，并在实验中取得1-3%的准确率提升。
2023-05-31 cs.LG stat.ML
Online Algorithms for Multiclass Classification using Partial Labels
IIT Madras（印度理工学院马德拉斯分校）；IIIT Hyderabad（海得拉巴国际信息技术学院）
在本文中，我们提出了在线算法的多类分类使用部分标签。我们提出了两个变种的感知器称为平均感知器和最大感知器来处理部分标记的数据。我们还提出了Avg Pegasos和Max Pegasos，这是Pegasos算法的扩展。我们还提供了平均感知器的错误界和平均飞马遗憾界。我们通过在各种数据集上进行实验并将其与标准Perceptron和Pegasos进行比较，展示了所提出方法的有效性。
2019-12-24 cs.LG stat.ML
Online Multi-Label Classification: A Label Compression Method
Johannes Gutenberg-Universität（约翰内斯·古腾堡大学）
许多现代应用程序处理多标签数据，如基因的功能分类，图像标记和文本分类。对这些具有大量标签和潜在依赖关系的数据进行分类是一项具有挑战性的任务，当数据以在线和块的形式接收时，它变得更具挑战性。目前的许多多标签分类方法需要大量的时间和内存，这使得它们不适合实际的现实世界的应用。在本文中，我们提出了一种快速的线性标签空间降维方法，将标签转换到一个减少的编码空间，并在获得的伪标签上训练模型。此外，它提供了一种分析方法来更新解码矩阵，该解码矩阵将标签映射到原始空间并在测试阶段使用。实验结果表明，这种方法的有效性，在运行时间和预测性能在不同的措施。
2018-04-04 cs.LG stat.ML
Online Label Aggregation: A Variational Bayesian Approach
Delft University of Technology（代尔夫特理工大学）；Tsinghua University（清华大学）；ABB Research（ABB研究院）
对于众包内容来说，嘈杂的标记数据更像是一种常态，而不是罕见的。通过人群工作者的聚集结果来提取噪声并推断正确的标签是有效的。为了确保时间相关性并克服工人的缓慢响应，越来越多地要求在线标签聚合，需要能够通过数据项的子集增量地推断真实标签分布的解决方案。在本文中，我们提出了一种新的在线标签聚合框架，BiLA，它采用变分贝叶斯推理方法，并设计了一种新的随机优化方案的增量训练。BiLA是灵活的，以适应任何生成的标签分布的精确计算其后验分布。我们还推导出所提出的优化的收敛界。我们比较BiLA与最先进的最小最大熵，神经网络和期望最大化算法的基础上，合成和真实世界的数据集。我们对各种在线场景的评估结果表明，BiLA可以有效地推断真实标签，对于合成和真实世界的数据集，出错率分别降低至少10到1.5个百分点。
2020-11-15 cs.LG stat.ML
Online Boosting Algorithms for Multi-label Ranking
University of Michigan（密歇根大学）；Department of Statistics（统计系）
我们考虑多标签学习的多标签排名方法。Boosting是一种自然的多标签排名方法，因为它通过多数投票聚合弱预测，可以直接用作评分来产生标签排名。我们设计了具有可证明损失界限的多标签排名在线提升算法。我们表明，我们的第一个算法是最佳的学习者的数量，以达到所需的准确性，但它需要知识的边缘弱学习者。我们还设计了一个自适应算法，不需要这些知识，因此更实用。在真实数据集上的实验结果表明，我们的算法至少和现有的批量提升算法一样好。
2018-02-25 cs.LG stat.ML
Adapting to Online Label Shift with Provable Guarantees
Nanjing University（南京大学）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
当训练数据与即将到来的测试样本共享相同的分布时，标准的监督学习范例有效地工作。然而，在现实世界的应用程序中，这种静态假设往往是违反的，特别是当测试数据出现在一个在线的方式。在本文中，我们制定和调查的问题\emph{online label shift}（OLaS）：学习者训练的初始模型从标记的离线数据，然后将其部署到一个未标记的在线环境中，底层的标签分布随时间而变化，但标签条件密度不。非平稳性和缺乏监督的性质使得这一问题具有挑战性。为了解决这个困难，我们构造了一个新的无偏风险估计，利用未标记的数据，它表现出许多良性的性质，虽然与潜在的非凸性。在此基础上，我们提出了新的在线集成算法来处理环境的非平稳性。我们的方法享有最佳的\emph{dynamic regret}，表明性能是有竞争力的千里眼谁知道在事后的在线环境，然后选择最佳的决定，为每一轮。所得到的动态后悔边界尺度的强度和模式的标签分布偏移，因此表现出适应性的OLaS问题。大量的实验进行验证的有效性和支持我们的理论研究结果。
2023-01-15 cs.LG stat.ML
Online Prediction of Switching Graph Labelings with Cluster Specialists
University College London（伦敦大学学院）
我们解决的问题，预测标签的图形在一个在线设置时，标签随时间而变化。我们提出了一种算法的基础上专家的方法，我们开发的机器集群专家概率利用集群结构的图形。我们的算法有两个变种，其中之一令人惊讶的是，只需要$\mathcal{O}(\log n)$时间上的任何审判$t$上的$n$ -顶点图，指数加速现有的方法。我们证明了我们的算法的两个变种切换错误绑定的保证。此外，这些错误的界限平滑地随着连续标记之间的变化幅度而变化。我们在Chicago Divvy Bicycle Sharing数据上进行了实验，结果表明我们的算法显著优于现有算法（内核化的感知器）以及几个自然基准。
2019-06-17 cs.LG stat.ML
Bayesian-based Online Label Shift Estimation with Dynamic Dirichlet Priors
Department of Electrical and Electronic Engineering, Imperial College London（帝国理工学院伦敦分校电子与电气工程系）
本文提出FMAPLS和online-FMAPLS方法，通过动态优化Dirichlet超参数和类别先验，有效解决标签偏移问题，提升分类性能。
2025-11-23 cs.LG stat.ML
Adaptive label thresholding methods for online multi-label classification
Yangzhou University（扬州大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
现有的在线多标签分类算法不能很好地处理在线标签阈值问题，并且缺乏对在线算法的遗憾分析。针对现有自适应标签阈值算法在在线多标签分类中的不足，提出了一种新的自适应标签阈值算法。我们的框架的主要特点是，评分和阈值模型包括作为在线多标签分类器的重要组成部分，并纳入一个在线优化问题。此外，为了建立评分和阈值模型之间的关系，一种新的多标签分类损失函数的推导，它的措施，在何种程度上的多标签分类器可以区分相关的标签和不相关的传入的实例。基于这个新的框架和损失函数，我们提出了一个一阶线性算法和二阶线性算法，这两个算法都享有封闭形式的更新，但依赖于不同的技术来更新多标签分类器。这两种算法被证明是实现一个次线性遗憾。使用Mercer内核，我们的一阶算法已被扩展到处理非线性多标签预测任务。实验表明，我们的线性和非线性算法的优势，在各种多标签的性能指标。
2021-12-04 cs.LG
Online Learning with Set-Valued Feedback
University of Michigan（密歇根大学）
该研究针对集值反馈的在线多类分类场景，证明确定性与随机化在线可学习性不等价，提出两个新组合维度分别刻画两类可学习性，并为三种实际学习场景的最小最大遗憾值建立界。
2024-06-18 cs.LG stat.ML
Deterministic Online Classification: Non-iteratively Reweighted Recursive Least-Squares for Binary Class Rebalancing
Gordon Center for Medical Imaging（戈登医学影像中心）；Center for Advanced Medical Computing and Analysis（高级医学计算与分析中心）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
确定性解决方案对于可解释性变得越来越重要。加权最小二乘（WLS）已被广泛用作具有特定权重设计的确定性批处理解决方案。在WLS的在线设置中，精确的重加权是必要的，以收敛到其批量设置。为了符合其必要性，迭代重加权最小二乘算法主要是利用线性增长的时间复杂度，这是没有吸引力的在线学习。由于高和不断增长的计算成本，一个有效的在线配方的重新加权最小二乘是理想的。我们提出了一种新的确定性在线分类算法的WLS具有恒定的时间复杂度的二进制类重新平衡。我们证明，我们提出的在线配方完全收敛到其批处理配方，并优于现有的最先进的随机在线二进制分类算法在现实世界的数据集经验。
2023-01-22 cs.LG stat.ML
Adaptive Cost-sensitive Online Classification
South China University of Technology（华南理工大学）；Institute for Infocomm Research（资讯通信研究院）；Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯人工智能实验室）
成本敏感在线分类近年来受到广泛关注，其主要方法是直接在线优化两个著名的成本敏感指标：（i）敏感度和特异度的加权和;（ii）加权误分类成本。然而，以往的方法只考虑了数据流的一阶信息。这在实践中是不够的，因为最近的许多研究已经证明，纳入二阶信息提高了分类模型的预测性能。因此，我们提出了一个家庭的成本敏感的在线分类算法与自适应正则化在本文中。我们从理论上分析了所提出的算法，并在大量的实验中验证了它们的有效性和性能。然后，为了更好地权衡性能和效率之间，我们进一步引入草图技术到我们的算法，这显着加快了计算速度，相当轻微的性能损失。最后，我们应用我们的算法来解决几个在线异常检测任务，从现实世界中。实验结果表明，该算法在解决各种现实领域中的成本敏感在线分类问题上是有效的。
2018-04-06 cs.LG stat.ML
Efficient Online Set-valued Classification with Bandit Feedback
Binghamton University（宾汉姆顿大学）
针对老虎机反馈下真实标签不可见、校准数据稀疏的问题，提出BCCP框架，以无偏估计和随机梯度下降实现在线集值分类，并提供类别特定覆盖率保证。
2024-05-07 cs.LG stat.ML
AdaBoost-assisted Extreme Learning Machine for Efficient Online Sequential Classification
National Taiwan University（台湾大学）
在本文中，我们提出了一个AdaBoost辅助的极端学习机有效的在线顺序分类（AOS-ELM）。为了在在线顺序学习场景中获得更好的准确率，我们利用代价敏感算法AdaBoost，使弱分类器多样化，并加入遗忘机制，从而稳定训练过程中的性能。因此，AOS-ELM更好地适应顺序到达的数据相比，其他基于投票的方法。实验结果表明，AOS-ELM在MNIST数据集上的准确率达到94.41%，这是原始批处理学习算法AdaBoost-ELM的理论准确率界限。此外，通过遗忘机制，在线顺序学习过程中的准确率标准差降低到8.26倍。
2019-09-16 cs.LG stat.ML
A Novel Online Stacked Ensemble for Multi-Label Stream Classification
Bilkent University（比尔肯特大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
随着数据流变得越来越普遍，挖掘这种瞬态和动态数据的在线算法的必要性变得更加清晰。多标签数据流分类是一个监督学习问题，其中数据流中的每个实例被分类到一个或多个预定义的标签集合中。已经提出了许多方法来解决这个问题，包括但不限于基于集合的方法。这些基于集成的方法中的一些是专门设计用于某些多标签基础分类器的;另一些则采用在线装袋方案来构建其集成。在这项研究中，我们引入了一种新的在线和动态加权堆叠集成多标签分类，称为GOOWE-ML，利用空间建模为其组件分类器分配最佳权重。我们的模型可以与任何现有的增量多标签分类算法作为其基础分类器。我们使用4个基于GOOWE-ML的多标签集合和7个基线模型对来自不同兴趣领域的7个真实数据集进行实验。我们的实验表明，相对于其他突出的集成模型，GOOWE-ML集成在几乎所有数据集的预测性能方面都产生了更好的结果。
2018-09-26 cs.IR cs.LG stat.ML
Adaptive Selective Sampling for Online Prediction with Experts
Eindhoven University of Technology（埃因霍温理工大学）；Eindhoven Artificial Intelligence Systems Institute (EAISI)（埃因霍温人工智能系统研究所（EAISI））；University College London（伦敦大学学院）；University of Amsterdam（阿姆斯特丹大学）
本文研究专家建议下的二进制序列在线预测问题，提出基于指数加权预测器的标签高效选择性采样算法，在减少标签收集的同时保持最优最坏情况遗憾，并证明其标签复杂度与轮数平方根成正比，且能渐近匹配主动学习的极小极大速率。
2023-10-20 cs.LG stat.ML
Optimizing Class Distribution in Memory for Multi-Label Online Continual Learning
Nanjing University（南京大学）
在线持续学习，特别是当任务身份和任务边界不可用时，是一种具有挑战性的持续学习设置。在线持续学习的一种典型方法是基于重放的方法，该方法通过维护一个称为记忆的重放缓冲区来保存一小部分过去的样本，以克服灾难性遗忘。在处理在线持续学习时，大多数现有的基于回放的方法都集中在单标签问题上，其中数据流中的每个样本只有一个标签。但多标签问题也可能发生在在线持续学习设置中，其中每个样本可能有一个以上的标签。在具有多标签样本的在线设置中，数据流中的类别分布通常是高度不平衡的，并且由于改变属于一个类别的样本的数量可能影响属于其他类别的样本的数量，因此控制存储器中的类别分布是具有挑战性的。但是，存储器中的类分布对于基于重放的存储器获得良好的性能至关重要，特别是当数据流中的类分布高度不平衡时。在本文中，我们提出了一个简单而有效的方法，称为优化类分布在内存（OCDM），多标签在线持续学习。OCDM将内存更新机制表述为一个优化问题，通过求解该优化问题来更新内存。在两个广泛使用的多标签数据集上的实验表明，OCDM可以很好地控制内存中的类分布，并且性能优于其他最先进的方法。
2022-09-23 cs.LG
Active Online Learning with Hidden Shifting Domains
Stanford University（斯坦福大学）；University of Southern California（南加州大学）；University of Arizona（亚利桑那大学）
在线机器学习系统需要适应领域的变化。同时，在每个时间步获取标签是昂贵的。我们提出了一个令人惊讶的简单的算法，自适应平衡其遗憾和标签查询的设置，其中数据流是从隐藏域的混合物。对于具有不经意对手的在线线性回归，我们提供了一个紧密的权衡，取决于隐藏域的持续时间和维度。我们的算法可以自适应地处理来自不同域的输入的交织跨度。我们还将我们的结果推广到非线性回归的假设类有界逃避维度和自适应对手。在人工数据集和真实数据集上的实验表明，该算法在相同的标记预算下，比均匀查询和贪婪查询具有更低的遗憾度。
2021-02-26 cs.LG stat.ML
Probabilistic Decoupling of Labels in Classification
DTU Compute, Technical University of Denmark（丹麦技术大学DTU计算学院）
在本文中，我们开发了一种原则性的，概率性的，统一的方法来处理非标准分类任务，例如半监督，正未标记，多正未标记和噪声标签学习。我们训练一个分类器在给定的标签来预测标签分布。然后，我们推断潜在的类分布变分优化模型的标签类过渡。
2020-06-16 cs.LG stat.ML
Coherent Hierarchical Multi-Label Classification Networks
University of Oxford（牛津大学）
层次多标签分类（HMC）是一个具有挑战性的分类任务，通过对类施加层次约束来扩展标准多标签分类问题。在本文中，我们提出了C-HMCNN（h），这是一种解决HMC问题的新方法，它在给定底层多标签分类问题的网络h的情况下，利用层次信息来产生与约束一致的预测并提高性能。我们进行了广泛的实验分析，显示了与最先进的模型相比，C-HMCNN（h）的优越性能。
2020-10-20 cs.LG stat.ML
Harmless label noise and informative soft-labels in supervised classification
University of Queensland（昆士兰大学）
手动标记训练示例是监督学习中的常见做法。当标签任务具有非平凡难度时，提供的标签可能不等于地面真实标签，并且标签噪声被引入训练数据集中。如果由多个专家进行手动注释，则相同的训练示例可以由不同的专家给予不同的类分配，这指示标签噪声。在基于模型的分类框架中，一个简单但关键的观察结果是，当使用类别成员的后验概率对手动标签进行采样时，噪声标签在统计信息方面与地面实况标签一样有价值。这个过程的一个放松是一个随机效应模型，用于使用类成员资格的近似后验概率的组的不完美标记。然后可以导出使用噪声标签的逻辑斯谛回归与使用地面实况标签的逻辑斯谛回归相比的相对效率。主要发现是，当标签噪声和分类难度正相关时，逻辑斯谛回归可以对标签噪声具有鲁棒性。特别是，当分类难度是标签错误的唯一来源时，与单组地面真实标签相比，多组噪声标签可以为分类规则的估计提供更多的信息。
2021-04-07 cs.LG stat.ML
Adversarial Learning of Label Dependency: A Novel Framework for Multi-class Classification
National Taiwan University（国立台湾大学）
最近的工作表明，利用标签之间的关系提高了多标签分类的性能。我们提出了一种新的框架，基于生成对抗网络（GANs）来建模标签依赖。该算法通过区分真实的和生成的标签集来学习对标签依赖性进行建模。为了欺骗分类器，分类器或生成器学习生成具有接近真实数据的依赖关系的标签集。在两个大规模图像分类基准数据集（MS-COCO和NUS-WIDE）上的实验和比较表明，该方法提高了模型的泛化能力
2018-11-12 cs.LG stat.ML
Dynamic Principal Projection for Cost-Sensitive Online Multi-Label Classification
CSIE Department, National Taiwan University（台湾大学计算机科学与信息工程学系（CSIE Department, National Taiwan University）/ 台湾大学（National Taiwan University））
我们研究多标签分类（MLC）与三个重要的现实世界的问题：在线更新，标签空间降维（LSDR），成本敏感性。目前的MLC算法还没有被设计为同时解决这三个问题。在本文中，我们提出了一种新的算法，成本敏感的动态主投影（CS-DPP），解决了这三个问题。CS-DPP的基础是一个在线LSDR框架，该框架源自领先的LSDR算法。特别是，CS-DPP配备了一个有效的在线降维矩阵随机梯度的动机，并建立其理论骨干时，再加上精心设计的在线回归学习。此外，CS-DPP将成本信息嵌入到标签权重中，以实现成本敏感性以及理论保证。实验结果验证了CS-DPP在不同的评价标准下比现有的MLC算法具有更好的实际性能，并证明了同时解决这三个问题的重要性。
2018-12-10 cs.LG
Data-efficient Online Classification with Siamese Networks and Active Learning
KIOS Research and Innovation Center of Excellence（KIOS卓越研究与创新中心）；University of Cyprus（塞浦路斯大学）
如今，在许多应用领域中，例如在关键基础设施系统、金融和银行、安全和犯罪以及网络分析中，越来越多的数据量正在以流的方式变得可用。为了满足这一新的需求，需要在线构建预测模型，其中学习是动态进行的。在线学习提出了重要的挑战，影响在线分类系统的部署，以现实生活中的问题。在本文中，我们研究学习有限的标记，非平稳和不平衡的数据在线分类。我们提出了一种学习方法，协同结合暹罗神经网络和主动学习。该方法使用多滑动窗口的方法来存储数据，并保持单独的和平衡的队列为每个类。我们的研究表明，该方法对数据非平稳性和不平衡性具有鲁棒性，并且在学习速度和性能方面显着优于基线和最先进的算法。重要的是，即使到达实例的标签只有1%可用，它也是有效的。
2020-10-04 cs.LG stat.ML
Automated Multi-Label Classification based on ML-Plan
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）
自动化机器学习（AutoML）在最近受到越来越多的关注。虽然AutoML的主要工具，如Auto-WEKA，TPOT和Auto-sklearn，主要处理单标签分类和回归，但很少有其他类型的机器学习任务。特别是，几乎没有关于自动化多标签分类的机器学习应用的工程的工作。本文有两个贡献。首先，它讨论了多标签分类的AutoML方法的有用性和可行性。其次，我们展示了如何的范围ML计划，AutoML多类分类工具，可以扩展到多标签分类使用MEKA，这是一个多标签的扩展，著名的Java库WEKA。由此产生的方法递归地细化MEKA的多标签分类器，有时嵌套另一个多标签分类器，由WEKA提供的单标签基础学习者的选择。在我们的评估中，我们发现，所提出的方法产生了极好的结果，并执行显着优于一组基线。
2018-11-09 cs.LG stat.ML
Online Multiclass Classification Based on Prediction Margin for Partial Feedback
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们考虑的问题，在线多类分类与部分反馈，算法预测类的一个新的实例在每一轮，只收到其正确性。虽然已经开发了几种方法来解决这个问题，最近具有挑战性的现实世界的应用程序需要进一步的性能改进。在本文中，我们提出了一种新的在线学习算法的启发，最近的工作学习互补标签，其中一个互补标签表示一个类的实例不属于。这使我们能够以基于裕度的方式确定性地处理部分反馈，其中预测裕度已被认为是卓越经验性能的关键。我们提供了一个理论保证的基础上的累积损失界和实验证明，我们的方法优于现有的方法，这是非保证金的和随机的。
2019-02-04 cs.LG stat.ML
Online Classification with Predictions
本文研究带预测的在线分类，设计一种学习器，其遗憾随预测质量提升而改善且不劣于最坏情况，并证明在预测容易时可达直推式在线学习的性能。
2024-05-22 cs.DS cs.LG stat.ML
Online Continual Adaptation with Active Self-Training
Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Berkeley（加州大学伯克利分校）
使用离线数据训练的模型通常会在不断变化的环境中遭受持续的分布偏移和昂贵的标签。这就需要一种新的在线学习范式，学习者可以不断适应不断变化的环境，有限的标签。在本文中，我们提出了一个新的在线设置-在线主动持续适应，学习者的目标是不断适应不断变化的分布使用未标记的样本和有限的标签的主动查询。为此，我们提出了在线自适应镜像下降（OSAMD），它采用了在线师生结构，使在线自我训练从未标记的数据，和一个基于边缘的标准，决定是否查询标签，以跟踪不断变化的分布。理论上，我们表明，在可分离的情况下，OSAMD有一个$O({T}^{2/3})$动态遗憾界温和的假设下，这是对齐的$Ω(T^{2/3})$下界的在线学习算法与完整的标签。在一般情况下，我们证明了$O({T}^{2/3} + α^* T)$的遗憾界，其中$α^*$表示域的可分性，并且通常很小。我们的理论结果表明，OSAMD可以快速适应不断变化的环境与主动查询。从经验上讲，我们证明了OSAMD实现有利的遗憾在不断变化的环境下，有限的标签上的模拟和现实世界的数据，这证实了我们的理论研究结果。
2022-03-20 cs.AI cs.LG stat.ML
An Online Learning Approach for Dengue Fever Classification
Centre for Development of Advanced Computing（高级计算发展中心）
介绍了一种基于在线学习范式的登革热分类新方法。所提出的方法是适合于实际的实施，因为它使学习只使用少量的训练样本。随着时间的推移，所提出的方法能够从收集的数据中增量学习，而不需要重新训练模型或重新部署预测引擎。此外，我们还提供了一个全面的评估机器学习方法预测登革热。对拟议管道的输入包括记录的患者症状和诊断调查。离线分类器模型已被用于获得基线分数，以确定特征集对于登革热的分类是最佳的。本文中提出的在线检测模型的主要好处是，它已经建立，以有效地识别登革热疾病的可能性高的患者，并在训练和测试样本的数量方面的可扩展性实验验证了所提出的模型的使用。
2019-04-17 cs.LG stat.ML
Probabilistic Label Trees for Extreme Multi-label Classification
Poznan University of Technology（波兹南理工大学）；Yahoo! Research（雅虎研究院）；Google Research（谷歌研究院）
极端多标签分类（XMLC）是一个学习任务，它从一个非常大的可能标签池中选择一小部分相关标签来标记实例。这种规模的问题可以通过将标签组织为树来有效地处理，就像用于多类问题的分层softmax一样。在本文中，我们深入研究了概率标签树（PLT），它可以被视为一个推广的分层softmax多标签问题。我们首先介绍PLT模型，并讨论训练和推理过程及其计算成本。接下来，我们证明了广泛的性能指标的PLT的一致性。为此，我们上界他们的遗憾的替代损失遗憾的节点分类器的功能。此外，我们考虑了在完全在线设置中训练PLT的问题，而无需任何训练实例，其特征或标签的先验知识。在这种情况下，节点分类器和树结构都是在线训练的。我们证明了一个具体的等价性之间的完全在线算法和一个算法与一个树结构预先给定的。最后，我们讨论了几种实现的PLT，并介绍了一个新的，napkinXC，我们经验评估和比较国家的最先进的算法。
2020-09-23 cs.LG stat.ML
Imputation using training labels and classification via label imputation
Simula Metropolitan（西穆拉都会研究院）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）
提出CBMI分类策略和IUL插补算法，通过将标签与输入堆叠同时进行插补，显著提升缺失数据下的分类准确性和插补质量。
2025-01-29 cs.LG stat.ML
Learning Gradient Boosted Multi-label Classification Rules
TU Darmstadt（达姆施塔特工业大学）；JKU Linz（林茨约翰内斯·开普勒大学）；Paderborn University（帕德博恩大学）
在多标签分类中，预测的评估不如单标签分类直接，已经提出了各种有意义的，尽管不同的损失函数。理想情况下，学习算法应该是针对性能度量的特定选择可定制的。从这个角度来看，提升的现代实现，最突出的是梯度提升决策树，似乎很有吸引力。然而，它们大多限于单标签分类，因此不适合多标签丢失，除非这些是标签方式可分解的。在这项工作中，我们开发了一个泛化的梯度提升框架多输出问题，并提出了一种算法，用于学习多标签分类规则，能够最大限度地减少可分解以及不可分解的损失函数。以著名的汉明损失和子集0/1损失为代表，分析了该方法在合成数据上的能力和局限性，并在多标签基准测试上评估了其预测性能。
2020-06-23 cs.LG stat.ML
Subset Labeled LDA for Large-Scale Multi-Label Classification
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
标记潜在狄利克雷分配（LLDA）是标准无监督潜在狄利克雷分配（LDA）算法的扩展，用于解决多标记学习任务。以前的工作表明，它的性能与其他最先进的多标签方法相当。尽管如此，随着标签集大小的增加，LLDA遇到了可伸缩性问题。在这项工作中，我们引入了Subset LLDA，标准LLDA算法的一个简单变体，不仅可以有效地扩展到数十万个标签的问题，而且还可以改进LLDA的最新技术。我们在八个数据集上进行了广泛的实验，标签集大小从数百到数十万，将我们提出的算法与以前提出的LLDA算法（Prior-LDA，Dep-LDA）以及极端多标签分类的最新技术进行比较。实验结果表明，该方法与其他LLDA算法相比具有稳定的优势，与极端多标签分类算法相比具有竞争力。
2017-09-16 cs.LG stat.ML
Applying an Ensemble Learning Method for Improving Multi-label Classification Performance
近年来，多标签分类问题已经成为一个有争议的问题。在这种分类中，每个样本都与一组类别标签相关联。包围方法是监督学习算法，其中操作者采用多个学习算法，即基本级算法，并将它们的结果组合以进行估计。集成学习的最简单形式是在随机数据子集上训练基本级算法，然后让它们投票选择最流行的分类或平均基本级算法的预测。在这项研究中，集成学习方法提出了改进多标签分类评价标准。我们已经比较了我们的方法与一些数据集上的知名的基本水平的算法。实验结果表明，该方法在多标签分类问题上的性能优于基本的知名分类器。
2018-01-07 cs.LG stat.ML
Probabilistic Decoupling of Labels in Classification
Technical University of Denmark（丹麦技术大学）
我们研究了用于训练的标签与用于预测的底层类的概率解耦。解耦使得推理方案足够通用，可以实现许多分类问题，包括监督，半监督，正未标记，噪声标记，并提出了多个正未标记学习问题的一般解决方案。我们在Fashion MNIST和20个新闻组数据集上测试了该方法的性能基准，其中我们模拟了噪声，部分标签等。
2019-05-29 cs.LG stat.ML
Hybrid Active-Online Learning Framework for Label-Efficient Concept Drift Adaptation in Optical Network Failure Detection
提出混合主动在线学习框架，通过基于间隔的选择性标记仅查询3.4%的流样本，实现接近上限的准确率和AUC，且延迟开销可忽略。
2026-06-29 cs.LG eess.SP
Smoothed Online Classification can be Harder than Batch Classification
University of Michigan（密歇根大学）
本文证明在标签空间无界时，平滑在线分类可能比iid批量分类更难，构造了在PAC批量可学习但平滑在线不可学习的假设类，并给出PAC可学习性足以保证平滑在线可学习的条件。
2024-05-24 cs.LG
Cut out and Replay: A Simple yet Versatile Strategy for Multi-Label Online Continual Learning
针对多标签在线持续学习中的遗忘、缺失标签和类别不平衡问题，提出CUTER策略，通过裁剪标签特定区域进行经验重放，提供细粒度监督，与现有方法兼容并显著提升性能。
2025-05-26 cs.LG
Online nearest neighbor classification
University of California, San Diego（加州大学圣地亚哥分校）
本文研究可实现对支配或平滑对手下的在线1-最近邻分类，证明其能取得次线性遗憾和消失的错误率。
2023-07-03 cs.LG
A Novel Online Real-time Classifier for Multi-label Data Streams
提出了一种新的基于极限学习机的实时的【形】数据流在线多标记分类器。多标签分类是近年来机器学习研究的热点之一，由于其在现实世界中的应用迅速增加，受到了广泛的关注。与传统的二进制和多类分类相比，多标签分类涉及同时将每个输入样本与一组目标标签相关联。在文献中没有实时的【形】基于在线神经网络的多标签分类器。在本文中，我们利用极限学习机所表现出的高速的固有性质，开发了一种新的在线实时的【形】分类器的多标签数据流。开发的分类器进行了实验，从不同的应用领域的一致性，性能和速度的数据集。实验结果表明，该方法在速度和准确率方面均优于现有的最新技术，能够实时的【形】对多标签数据流进行分类.
2016-08-31 cs.AI cs.LG cs.NE
On the Equivalence between Online and Private Learnability beyond Binary Classification
University of Michigan（密歇根大学）
Alon et al. [2019]和Bun et al. [2020]最近表明，在线可学习性和私有PAC可学习性在二进制分类中是等价的。我们研究这种等价性是否扩展到多类分类和回归。首先，我们表明，私人的可学习性意味着在这两种情况下的在线可学习性。我们的扩展涉及到研究一种新的变体的Littlestone尺寸，这取决于一个公差参数和适当的泛化的阈值函数的概念超出二进制分类。第二，我们表明，虽然在线学习能力继续意味着私人学习能力在多类分类，目前的证明技术遇到重大障碍，在回归设置。虽然回归的等价性仍然是开放的，但我们提供了非平凡的充分条件，使在线学习类也可以私下学习。
2021-10-09 cs.CR cs.LG stat.ML
An Online Universal Classifier for Binary, Multi-class and Multi-label Classification
Nanyang Technological University（南洋理工大学）；Dalian Maritime University（大连海事大学）
分类涉及将输入样本与相应的目标标签相关联的映射函数的学习。分类问题有两大类：单标签分类和多标签分类。传统的二元和多类分类是单标签分类的子类别。几个分类器被开发用于二进制，多类和多标签分类问题，但在文献中没有分类器能够执行所有三种类型的分类。在本文中，提出了一种新的在线通用分类器能够执行所有三种类型的分类。作为一种高速在线分类器，该技术可以应用于流数据应用。所开发的分类器的性能进行评估，使用数据集从二进制，多类和多标签的问题。所获得的结果进行比较，与国家的最先进的技术，从每个分类类型。
2016-09-03 cs.AI cs.LG cs.NE
A Practical Recipe for Semi-Supervised Federated ASR: Online Pseudo-Labels with Server Update Stabilization
Apple（苹果公司）
针对半监督联邦ASR，提出在线伪标签与服务器更新稳定化的双轴设计，显著缩小与全监督FL的差距。
2026-09-23 cs.AI cs.LG stat.ML
Online Multi-Label Classification under Noisy and Changing Label Distribution
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）；School of Computing, National University of Singapore（新加坡国立大学计算学院）
针对多标签数据流中噪声标签与标签分布变化问题，提出NCLD算法，通过局部特征图重建标签评分、无偏排序损失和分布变化检测实现鲁棒的在线多标签分类。
2024-10-03 cs.AI cs.LG
Regularised Text Logistic Regression: Key Word Detection and Sentiment Classification for Online Reviews
National University of Singapore（新加坡国立大学）
对于酒店和餐饮行业的经理和高管来说，在线客户评论已经变得非常重要，他们希望全面了解客户的需求和期望。我们提出了一个正则化文本逻辑（RTL）回归模型来对非结构化文本数据进行文本分析和情感分类，该模型自动识别一组统计上显着且具有操作洞察力的单词特征，并实现了令人满意的预测分类精度。我们将RTL模型应用于TripAdvisor的两个在线评论数据集，餐厅和酒店。我们的研究结果表明，令人满意的分类性能相比，替代分类器的最高真阳性率为94.9%。此外，RTL识别了一小部分单词特征，对应于餐厅的3%和酒店的20%，这通过允许经理深入到更小的重要客户评论集合来提高工作效率。我们还发展了估计量的相合性、稀疏性和预言性。
2020-09-09 cs.CL cs.LG stat.ML
Online hierarchical partitioning of the output space in extreme multi-label data stream
Virginia Tech, Virginia Polytechnic Institute and State University（弗吉尼亚理工大学、弗吉尼亚理工学院和州立大学）
iHOMER通过增量分层方法提升在线多标签分类性能，有效应对概念漂移和非平稳性挑战。
2025-07-28 cs.AI cs.LG
Analysis of Pseudo-Labeling for Online Source-Free Universal Domain Adaptation
Institute of Signal Processing and System Theory , University of Stuttgart, Germany（信号处理与系统理论研究所，斯图加特大学）
本文系统分析了在线无源通用域适应（SF-UniDA）中伪标签对适应结果的影响，发现伪标签准确率比数量更关键，对比损失对中等准确率鲁棒而交叉熵损失在接近完美时更优，揭示了当前方法与理论上界间的差距。
2025-05-30 cs.CV cs.LG
A novel online multi-label classifier for high-speed streaming data applications
提出了一种基于极限学习机的高速在线神经网络多标签分类器。在多标签分类中，每个输入数据样本属于一个或多个目标标签。传统的二值分类和多类分类是多标签分类的子集，其中每个样本只属于一个目标类。多标签分类问题比二进制和多类分类问题复杂得多，因为目标标签的数量和对应于每个输入样本的每个目标标签都要被识别。所提出的工作利用极端学习机的高速特性来实现流数据的实时多标签分类。针对高速流数据多标签分类问题，提出了一种新的基于阈值的在线序贯学习算法。所提出的方法进行了实验，从不同的应用领域，如多媒体，文本和生物学的六个不同的数据集。汉明损失，准确性，训练时间和测试时间的建议的技术进行了比较与9个不同的国家的最先进的方法。实验结果表明，该方法在性能和速度方面优于现有的多标签分类器。
2016-09-01 cs.AI cs.LG cs.NE
Label optimal regret bounds for online local learning
Princeton University（普林斯顿大学）
我们解决了COLT'14中提出的（Christiano，2014 b）关于在线本地学习可实现的后悔对标签集大小的最佳依赖性的开放问题。在这个框架中，算法在每一步都显示了从一组$n$项目中选择的一对项目。然后，学习器从大小为$L$的标签集合中预测每个项目的标签，并接收实值回报。这是一个自然的框架，它捕获了许多有趣的场景，如协同过滤，在线赌博和在线max cut等。（Christiano，2014 a）为这个问题设计了一个有效的在线学习算法，实现了$O(\sqrt{nL^3T})$的遗憾，其中$T$是轮数。信息理论上，可以实现$O(\sqrt{n \log L T})$的遗憾。在这一框架中留下的一个主要未决问题是如何缩小上述差距。在这项工作中，我们提供了一个完整的答案，上述问题通过两个主要结果。我们通过更严格的分析表明，基于半定规划的算法（Christiano，2014 a）实际上实现了$O(\sqrt{nLT})$的遗憾。其次，我们给出了一个匹配的计算下界。也就是说，我们表明，一个多项式时间算法的在线本地学习具有较低的遗憾将意味着一个多项式时间算法的种植集团的问题，这被广泛认为是困难的。我们证明了一个类似的硬度下的一个相关猜想，我们提出的种植稠密子图。与种植集团不同，种植稠密子图问题没有任何已知的准多项式时间算法。在线学习的计算下限相对较少，我们希望在这项工作中开发的想法将导致其他在…
2015-08-24 cs.LG
