Semi-supervised Drifted Stream Learning with Short Lookback
University of Central Florida(中佛罗里达大学);University of Macau(澳门大学);Nanjing University(南京大学)
在许多情况下,1)数据流是实时的生成的; 2)标记数据是昂贵的,并且在开始时只有有限的标签可用; 3)真实世界的数据并不总是i.i.d.并且数据随着时间逐渐漂移; 4)历史流的存储是有限的,并且模型更新只能基于非常短的回顾窗口来实现。这种学习设置限制了许多机器学习(ML)算法的适用性和可用性。我们将这种设置下的学习任务概括为半监督漂移流学习与短回顾问题(SDSL)。SDSL对半监督学习、连续学习和领域自适应中的现有方法提出了两个未解决的挑战:1)渐进移位下的鲁棒伪标记和2)具有短回看的抗遗忘自适应。为了应对这些挑战,我们提出了一个原则性和通用的生成重放框架来解决SDSL。该框架能够实现:1)在生成步骤中的鲁棒伪标记; 2)在重放步骤中的抗遗忘自适应。为了实现强大的伪标签,我们开发了一种新的伪标签分类模型,利用监督知识的以前标记的数据,新数据的无监督知识,和不变的标签语义的结构知识。为了实现自适应抗遗忘模型重放,我们提出将抗遗忘自适应任务视为平坦区域搜索问题。我们提出了一个新的极小极大对策为基础的重放目标函数来解决平坦区域搜索问题,并开发了一个有效的优化求解器。最后,我们提出了大量的实验来证明我们的框架可以有效地解决漂移流中的抗遗忘学习任务。
2022-05-25 cs.LG
Dual-Phase Continual Learning: Supervised Adaptation Meets Unsupervised Retention
Mila, Concordia University(蒙特利尔大学米尔人工智能实验室);Concordia University(蒙特利尔大学);Toyota Motor Europe(丰田欧洲公司)
本文提出了一种基于无监督方法的双相持续学习框架,通过利用测试时间数据提升先前任务性能,无需存储或重播数据,有效缓解VLMs中的遗忘问题。
2026-01-30 cs.LG
GCR: Gradient Coreset Based Replay Buffer Selection For Continual Learning
Indian Institute of Technology (ISM) - Dhanbad(印度理工学院(印度矿业学院)丹巴德分校);University of Texas at Dallas(德克萨斯大学达拉斯分校);Google Research, India(谷歌研究院(印度))
持续学习(CL)旨在开发技术,使单个模型适应顺序遇到的越来越多的任务,从而有可能以资源高效的方式利用跨任务的学习。CL系统面临的一个主要挑战是灾难性遗忘,即在学习新任务时忘记先前的任务。为了解决这个问题,基于重放的CL方法维护并重复重新训练在遇到的任务中选择的数据的小缓冲区。我们提出了梯度Coreset重放(GCR),重放缓冲区的选择和更新,使用精心设计的优化标准的一种新的策略。具体来说,我们选择并保持一个“coreset”,接近目前为止看到的所有数据的梯度相对于当前的模型参数,并讨论其有效应用到持续学习设置所需的关键策略。我们在经过充分研究的离线持续学习设置中显示出比最先进的显着增益(绝对值2%-4%)。我们的研究结果还有效地转移到在线/流媒体CL设置,显示出比现有方法高出5%的收益。最后,我们证明了监督对比损失的价值为持续学习,这产生了高达5%的准确性,当与我们的子集选择策略相结合的累积增益。
2022-04-15 cs.AI cs.LG
Reliable Replay through Spatial Coherence in Online Continual Learning
提出SPHERE重放分配方法,利用表示核聚合损失变化并采用熵正则化传输,在多种持续学习任务中提升准确率并减少遗忘。
2026-09-29 cs.LG stat.ML
MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
MSSR通过估计样本级别的记忆强度并自适应地安排复习,有效缓解持续LLM微调中的灾难性遗忘问题,同时保持快速适应能力。
2026-03-10 cs.AI cs.CL cs.LG
Memory-Efficient Semi-Supervised Continual Learning: The World is its Own Replay Buffer
Georgia Institute of Technology(佐治亚理工学院);Samsung Research America(三星美国研究院)
排练是课堂增量式持续学习的关键组成部分,但它需要大量的记忆预算。我们的工作调查,我们是否可以显着减少这种内存预算,利用未标记的数据从代理的环境中一个现实的和具有挑战性的持续学习的范例。具体来说,我们探索和形式化一种新的半监督持续学习(SSCL)设置,标记的数据是稀缺的,但非独立同分布。来自代理环境的未标记数据是丰富的。重要的是,SSCL设置中的数据分布是真实的,因此反映了标记和未标记数据分布之间的对象类相关性。我们表明,建立在伪标签,一致性正则化,出分布(OoD)检测,和知识蒸馏的策略,减少遗忘在这种情况下。我们的方法,DistillMatch,在SSCL CIFAR-100实验中,将最先进的性能提高了不低于8.7%的平均任务准确度和高达54.5%的平均任务准确度。此外,我们证明了DistillMatch可以保存高达0.23存储的图像,每个处理的未标记的图像相比,下一个最好的方法,只保存0.08。我们的研究结果表明,关注现实的相关分布是一个显着的新视角,它强调了利用世界的结构作为一个持续学习策略的重要性。
2021-05-06 cs.CV cs.LG
Naturally Supervised 3D Visual Grounding with Language-Regularized Concept Learners
Stanford University(斯坦福大学)
本文提出语言正则化概念学习器LARC,利用从大语言模型蒸馏的语言约束正则化神经符号学习,在仅用3D场景和问答对的自然监督设置下提升3D视觉定位与推理性能。
2024-04-30 cs.AI cs.CL cs.CV
ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
持续学习通常假设传入的数据是完全标记的,这在实际应用中可能不适用。在这项工作中,我们考虑半监督持续学习(SSCL),增量学习部分标记的数据。观察到现有的持续学习方法缺乏持续利用未标记数据的能力,我们提出了具有判别器一致性的深度在线重放(ORDisCo),以利用条件生成对抗网络(GAN)相互依赖地学习分类器,该网络不断将学习的数据分布传递给分类器。特别是,ORDisCo重放采样的数据从条件发生器的分类器在一个在线的方式,利用未标记的数据在时间和存储效率的方式。此外,为了明确地克服未标记数据的灾难性遗忘,我们选择性地稳定对于区分由分类器预测的旧的未标记数据和它们的伪标签对很重要的参数。我们在SSCL的各种半监督学习基准数据集上广泛评估了ORDisCo,并表明与强基线相比,ORDisCo在SVHN,CIFAR 10和Tiny-ImageNet上实现了显着的性能改进。
2021-04-09 cs.AI cs.LG stat.ML
Class-Incremental Learning Using Generative Experience Replay Based on Time-aware Regularization
University of Southern California(南加州大学)
针对严格类增量持续学习的遗忘难题,提出基于时间感知正则化的生成式经验重放方法,动态微调三类训练目标,在主流基准上提升了记忆保留能力与持续任务平均性能。
2023-10-05 cs.LG
Unbiased Online Curvature Approximation for Regularized Graph Continual Learning
针对图持续学习中的灾难性遗忘问题,提出基于Fisher信息矩阵的无偏在线曲率近似正则化方法,无需显式存储FIM即可在线估计正则化项,在稳定性和可塑性间实现更优权衡。
2025-09-16 cs.AI cs.LG
Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes
Thales(泰雷兹)
人类一生都在学习。他们从一系列的学习经验中积累知识,记住基本概念,而不会忘记以前所学的知识。人工神经网络也在努力学习。他们通常依赖于严格预处理的数据来学习特定问题的解决方案,如分类或回归。特别是,如果他们接受新的培训,他们会忘记过去的学习经验。因此,人工神经网络往往不适合处理现实生活中的设置,如一个笨拙的机器人,必须在线学习,以适应新的情况,克服新的问题,而不会忘记它过去的学习经验。持续学习(CL)是解决这类问题的机器学习的一个分支。连续算法的目的是在学习经验的课程中积累和提高知识,而不会忘记。在这篇论文中,我们提出了探索连续算法与重放过程。重放过程集合了排练方法和生成重放方法。生成性重放包括用生成模型重新生成过去的学习经验来记住它们。排练包括从过去的学习经验中保存一组核心样本,以便以后排练。重放过程可以在优化当前学习目标和过去的学习目标之间进行折衷,从而使学习不会忘记任务设置的顺序。我们表明,他们是非常有前途的方法,持续学习。值得注意的是,它们能够用新知识重新评估过去的数据,并对抗来自不同学习经验的数据。我们展示了他们通过无监督学习、监督学习和强化学习任务不断学习的能力。
2020-12-08 cs.AI cs.LG cs.NE
LLEDA -- Lifelong Self-Supervised Domain Adaptation
University of Lincoln(林肯大学);University of Aberdeen(阿伯丁大学)
本文提出LLEDA框架,借鉴互补学习系统理论,通过域自适应网络与自监督网络交互及潜在回放机制,实现终身域自适应并缓解灾难性遗忘。
2023-08-07 cs.CV cs.LG
ROER: Regularized Optimal Experience Replay
ETH Zurich(苏黎世联邦理工学院);Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学);Aalto University(阿尔托大学)
本文提出正则化最优经验回放(ROER),通过f-散度正则化与对偶形式推导出基于TD误差的优先级划分,在连续控制任务中多数优于基线,并适用于离线到在线微调。
2024-07-04 cs.AI cs.LG cs.RO
SHAPNN: Shapley Value Regularized Tabular Neural Network
Samsung Display America Lab(三星显示美国实验室)
SHAPNN 提出一种用实时 Shapley 值正则化的深度表格神经网络,在无额外计算开销下提供解释并提升 AUROC、透明度与流式数据鲁棒性。
2023-09-15 cs.AI cs.LG
Continual Learning with Foundation Models: An Empirical Study of Latent Replay
ServiceNow(ServiceNow公司);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Heuritech(Heuritech公司);HEC Montréal(蒙特利尔高等商学院);Sorbonne University(索邦大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能讲席)
大规模预训练的快速发展已经产生了基础模型,这些模型可以在各种下游任务和领域中充当有效的特征提取器。受此启发,我们研究了预训练视觉模型作为下游持续学习(CL)场景基础的有效性。我们的目标是双重的。首先,我们想了解原始数据空间和预训练编码器的潜在空间中的CL之间的计算精度权衡。其次,我们研究了编码器的特性、预训练算法和数据以及由此产生的潜在空间如何影响CL性能。为此,我们比较了各种预训练模型在大规模基准测试场景中的有效性,以及在潜在和原始数据空间中应用的香草重放设置。值得注意的是,这项研究表明,转移,遗忘,任务相似性和学习是如何依赖于输入数据的特点,而不一定对CL算法。首先,我们表明,在某些情况下,合理的CL性能可以很容易地实现与一个非参数分类器在可以忽略不计的计算。然后,我们展示了在更广泛的数据上预训练的模型如何在各种重放大小下获得更好的性能。我们解释这与代表性的相似性和这些表示的传输特性。最后,我们展示了与预训练域相比,自监督预训练对下游域的有效性。我们指出并验证了几个研究方向,可以进一步提高潜在CL的功效,包括表示集成。本研究中使用的各种数据集可以作为进一步CL研究的计算效率高的游乐场。代码库可在https://github.com/oleksost/latent_CL下获得。
2022-07-02 cs.AI cs.LG
Generative Feature Replay with Orthogonal Weight Modification for Continual Learning
School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院)
智能代理连续学习和记住多个任务的能力对于实现人工通用智能至关重要。为了克服神经网络顺序学习过程中由于数据非独立性而导致的灾难性遗忘,人们提出了许多持续学习方法。在本文中,我们专注于类增量学习,一个具有挑战性的CL场景。对于这种情况,生成重放是一种很有前途的策略,它为以前的任务生成并重放伪数据,以减轻灾难性遗忘。然而,对于相对复杂的数据,很难连续地训练生成模型。基于最近提出的正交权重修改(OWM)算法,该算法在学习新任务时可以近似保持先前学习的特征不变,我们提出1)使用生成模型重放倒数第二层特征; 2)利用自监督辅助任务进一步增强特征的稳定性。几个数据集上的实验结果表明,我们的方法总是取得了显着的改善,而强大的OWM传统的生成重放总是导致负面影响。同时,我们的方法击败了几个强大的基线,包括一个基于真实数据存储的基线。此外,我们进行实验,研究为什么我们的方法是有效的。
2020-09-12 cs.LG stat.ML
Unsupervised Continual Learning with Growing Self-Organizing Maps and Synthetic Replay
Rochester Institute of Technology(罗切斯特理工学院)
本研究提出基于生长自组织映射与合成重放的无监督持续学习框架,无需原始数据与监督信息,在多基准测试中性能优于无内存方法,在单类增量场景表现突出,为相关研究提供参考。
2026-08-31 cs.LG
AdaER: An Adaptive Experience Replay Approach for Continual Lifelong Learning
Mississippi State University(密西西比州立大学);Worcester Polytechnic Institute(伍斯特理工学院);Central South University(中南大学)
针对持续终身学习中的灾难性遗忘问题,本文提出AdaER算法,通过C-CMR选择性回放冲突记忆并以E-BRS最大化缓冲信息熵,在类别增量基准上优于现有基线。
2023-08-19 cs.LG
Saliency-Guided Hidden Associative Replay for Continual Learning
Emory University(埃默里大学)
针对持续学习中回放方法内存开销大、现有局部数据检索机制不符合人类记忆规律的问题,提出结合联想记忆与回放策略的SHARC框架,通过稀疏编码存储显著片段、基于内容检索实现高效回忆,在多任务上验证了有效性。
2023-10-06 cs.LG
Prototype-Based Continual Learning with Label-free Replay Buffer and Cluster Preservation Loss
School of Computing and Communications, Lancaster University(兰卡斯特大学计算与通信学院)
本文提出一种基于无标签原型回放和聚类保持损失的持续学习方法,通过“推开”与“拉近”机制在类增量和域增量场景中保留旧知识并适应新任务,实验表明其性能优于现有持续学习方法,部分情况下甚至超过离线学习。
2025-04-09 cs.LG
Improved Regret Bound and Experience Replay in Regularized Policy Iteration
DeepMind;University of Alberta(阿尔伯塔大学)
在这项工作中,我们研究了学习算法在无限时域非折扣马尔可夫决策过程(MDP)的函数逼近。我们首先证明了Politex算法(正则化策略迭代的一个版本)的遗憾分析可以在几乎相同的假设下从$O(T^{3/4})$锐化为$O(\sqrt{T})$,并使用线性函数近似实例化边界。我们的研究结果提供了第一个高概率的$O(\sqrt{T})$遗憾界的计算效率的算法在这种情况下。用神经网络函数逼近的Politex的精确实现在存储和计算方面是低效的。由于我们的分析表明,我们需要很好地近似过去策略的动作价值函数的平均值,因此我们提出了一种简单有效的实现方式,其中我们在具有过去数据的重放缓冲器上训练单个Q函数。我们表明,这往往会导致优越的性能比其他实现的选择,特别是在挂钟的时间。我们的工作也提供了一个新的理论理由,使用经验重放策略迭代算法。
2021-02-25 cs.LG stat.ML
Logic-Regularized Verifier Elicits Reasoning from LLMs
Department of Computer Science and Technology, East China Normal University(东华大学计算机科学与技术系);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI))
本文提出LOVER,一种基于逻辑规则的无监督验证器,通过内在激活和三个逻辑约束提升LLM推理能力,实验表明其性能优于无监督基线,接近监督验证器水平。
2026-05-07 cs.AI cs.CL
Towards Continuous Intelligence Growth: Self-Training, Continual Learning, and Dual-Scale Memory in SuperIntelliAgent
SuperIntelliAgent通过自我训练和双尺度记忆实现持续智能增长,利用可训练学习者与推理验证者配对,提升偏好对齐和学习效果。
2025-11-28 cs.AI
Prototype-Sample Relation Distillation: Towards Replay-Free Continual Learning
Concordia University(康考迪亚大学);Mila - Quebec AI Institute(米拉 - 魁北克人工智能研究所);Toyota Motor Europe(丰田汽车欧洲公司)
针对持续学习中旧任务数据不可用的问题,提出原型-样本关系蒸馏,在监督对比嵌入空间中持续演化类别原型并保持其相对相似性,实现无回放的任务与类别增量学习。
2023-06-06 cs.LG
Continual Learning for Natural Language Generation in Task-oriented Dialog Systems
EPFL(洛桑联邦理工学院);LMU(慕尼黑大学);Tsinghua University(清华大学)
自然语言生成是面向任务的对话系统的重要组成部分。尽管NLG的神经方法最近取得了成功,但它们通常是以离线方式为特定领域开发的。为了更好地适应新数据不断涌现的现实应用,我们在“持续学习“环境中研究NLG,以逐步将其知识扩展到新的领域或功能。实现这一目标的主要挑战是灾难性遗忘,这意味着一个不断训练的模型往往会忘记它以前学到的知识。为此,我们提出了一种称为ARPER(Adaptively Regularized Prioritized Exemplar Replay)的方法,通过重播优先级历史样本,以及基于ElasticWeight Consolidation的自适应正则化技术。在MultiWoZ-2.0上进行了大量的实验,以不断学习新的领域和意图,并使用各种技术对ARPER进行基准测试。实验结果表明,ARPER有效地减轻了有害的灾难性遗忘问题,显着优于其他方法。
2020-10-02 cs.CL cs.LG
Using Hindsight to Anchor Past Knowledge in Continual Learning
University of Oxford(牛津大学);Facebook AI(脸书人工智能研究院)
在持续学习中,学习者面对的是分布随时间而变化的数据流。众所周知,现代神经网络在这种情况下会受到影响,因为它们很快就会忘记以前获得的知识。为了解决这种灾难性遗忘,许多持续学习方法实现不同类型的经验重放,重新学习存储在称为情景记忆的小缓冲区中的过去数据。在这项工作中,我们用一个新的目标来补充经验重放,我们称之为锚定,学习者使用双层优化来更新其对当前任务的知识,同时保持对过去任务的一些锚点的预测不变。这些锚点是使用基于梯度的优化来学习的,以最大化遗忘,这是通过在过去任务的情景记忆上微调当前训练的模型来近似的。几个监督学习基准持续学习的实验表明,我们的方法提高了标准的经验重放的准确性和遗忘的指标和各种大小的情景记忆。
2021-03-02 cs.LG stat.ML
Pseudo Replay-based Class Continual Learning for Online New Category Anomaly Detection in Advanced Manufacturing
East China University of Science and Technology(华东理工大学);Oklahoma State University(俄克拉荷马州立大学)
本文提出一种基于伪重发的类持续学习框架,通过整合类增量学习和过采样数据生成,解决先进制造中新类别异常导致的模型性能下降问题,在不存储所有数据的情况下实现高质量数据生成与增量训练,有效检测新异常并保持旧任务性能。
2024-11-17 cs.LG stat.ML
Towards Experience Replay for Class-Incremental Learning in Fully-Binary Networks
Univ. Grenoble Alpes(格勒诺布尔大学);CEA(法国原子能和替代能源委员会);CEA, List(法国原子能和替代能源委员会(List));CEA, Leti(法国原子能和替代能源委员会(Leti))
本文研究全二值神经网络中的类增量学习,通过重新设计训练流程、损失平衡、半监督预训练特征提取器以及比较潜在回放与原生回放,在CIFAR100和CORE50上取得与更大实值模型相当或更优的性能。
2025-03-10 cs.CV cs.LG
Stratified Experience Replay: Correcting Multiplicity Bias in Off-Policy Reinforcement Learning
Northeastern University(东北大学);Harvard University(哈佛大学)
深度强化学习(RL)方法依赖于经验重放来近似小批量监督学习设置;然而,与监督学习不同,访问大量训练数据对泛化至关重要,基于重放的深度RL似乎在存在无关数据的情况下很难实现。最近的研究表明,当重放内存变得太大时,深度Q网络(DQN)的性能会下降。这表明过时的经验在某种程度上影响了深度RL的性能,而这不应该是像DQN这样的非策略方法的情况。因此,我们重新检查的动机,均匀采样的重放内存,并发现它可能是有缺陷的,当使用函数近似。我们表明,尽管传统的智慧-从均匀分布采样不会产生不相关的训练样本,因此在训练过程中的偏见梯度。我们的理论规定了一个特殊的非均匀分布,以消除这种影响,我们提出了一个分层抽样方案,有效地实现它。
2021-02-22 cs.AI cs.LG
Maximum Entropy-Regularized Multi-Goal Reinforcement Learning
Ludwig Maximilian University of Munich(慕尼黑大学);Siemens AG(西门子股份公司)
在多目标强化学习中,智能体通过目标条件策略学习实现多个目标。在学习过程中,智能体首先将轨迹收集到重放缓冲区中,然后随机选择这些轨迹进行重放。然而,在重放缓冲区中实现的目标往往偏向于行为策略。从贝叶斯的角度来看,当没有关于目标分布的先验知识时,智能体应该从不同的已实现目标中均匀地学习。因此,我们首先提出了一种新的多目标强化学习目标的加权熵的基础上。这一目标鼓励代理人最大化预期回报,以及实现更多样化的目标。其次,我们开发了一个基于最大熵的优先级框架,以优化提出的目标。为了评估这个框架,我们将其与深度确定性策略梯度相结合,无论是否有后见之明经验重放。在OpenAI Gym的一组多目标机器人任务上,我们将我们的方法与其他基线进行了比较,并在性能和样本效率方面都显示出了有希望的改进。
2020-05-24 cs.LG stat.ML
Self-supervised pre-training with acoustic configurations for replay spoofing detection
University of Seoul(首尔市立大学);Naver Corporation(Naver公司)
构建用于重放欺骗检测的数据集需要播放话语并重新记录它的物理过程,这对大规模数据集的收集提出了挑战。在这项研究中,我们提出了一个自我监督的框架,用于使用为其他任务(如说话人验证)发布的数据集进行预训练声学配置。这里,声学配置是指在语音录制过程中产生的环境因素,而不是语音本身,包括麦克风类型、地点和环境噪声水平。具体来说,我们从话语中选择成对的片段,并训练深度神经网络来确定两个片段的声学配置是否相同。我们基于ASVspoof 2019物理访问数据集,利用两个性能良好的系统验证了所提出方法的有效性。实验结果表明,该方法优于基线方法的30%。
2020-08-19 cs.LG eess.AS stat.ML
MHER: Model-based Hindsight Experience Replay
Tsinghua University(清华大学);Tencent Robotics X(腾讯机器人X实验室);Eindhoven University of Technology(埃因霍温理工大学);King’s College London(伦敦国王学院)
解决具有稀疏奖励的多目标强化学习(RL)问题通常具有挑战性。现有的方法利用目标重新标记收集的经验,以减轻从稀疏奖励提出的问题。但这些方法在效率上仍有局限性,不能充分利用经验。在本文中,我们提出了基于模型的后见之明经验重放(MHER),它利用经验更有效地利用环境动态生成虚拟实现的目标。用与训练的动态模型交互产生的虚拟目标替换原始目标,导致了一种新的重新标记方法,基于模型的重新标记(MBR)。基于MBR,MHER执行强化学习和监督学习以有效地改进策略。理论上,我们还证明了MHER中的监督部分,即,利用MBR数据的目标条件监督学习优化了多目标RL目标的下限。在多个基于点的任务和模拟机器人环境中的实验结果表明,MHER实现了显着更高的样本效率比以前的无模型和基于模型的多目标方法。
2021-11-27 cs.AI cs.LG cs.RO
Semi-supervised Learning with Regularized Laplacian
Inria(法国国家信息与自动化研究所);Trapeznikov Institute of Control Sciences of the Russian Academy of Sciences(俄罗斯科学院特拉佩兹尼科夫控制科学研究所);St. Petersburg State University(圣彼得堡国立大学)
研究了一种基于相似图和正则拉普拉斯算子的半监督学习方法。我们给出了正则化拉普拉斯方法的方便的优化公式,并建立了它的各种性质。特别是,我们表明,该方法的内核可以解释在离散和连续时间的随机游动,并拥有几个重要的属性的邻近措施。最优化和线性代数方法都可以用于分类函数的有效计算。我们在数值例子中证明了正则化拉普拉斯方法相对于其他最先进的半监督学习方法是有竞争力的。
2015-08-20 cs.LG
Adaptable Hindsight Experience Replay for Search-Based Learning
Technical University of Darmstadt(德累斯顿技术大学);Hessian Center for Artificial Intelligence(黑森人工智能中心);German Research Center for Artificial Intelligence(德国人工智能研究中心);Centre for Cognitive Science(认知科学中心);National Research Center for Applied Cybersecurity ATHENE(应用网络安全国家研究中心ATHENE)
本文提出 Adaptable HER 框架,将事后经验回放与 AlphaZero 式搜索学习灵活集成,通过可调整的重新标记目标、策略目标和轨迹选择,在稀疏奖励及方程发现等任务中超越纯监督学习和强化学习。
2025-11-05 cs.AI cs.LG
Sample-efficient Actor-Critic Reinforcement Learning with Supervised Data for Dialogue Management
University of Cambridge(剑桥大学)
深度强化学习(RL)方法在对话策略优化方面具有巨大的潜力。然而,他们在学习的早期阶段表现不佳。这对于与真实用户的在线学习来说尤其成问题。介绍了两种方法来解决这个问题。首先,为了加快学习过程,提出了两种样本有效的神经网络算法:具有经验重放的信任域行动者-评论家(TRACER)和具有经验重放的情节自然行动者-评论家(eNACER)。对于TRACER,信任区域有助于控制学习步长并避免灾难性的模型变化。对于eNACER,自然梯度标识策略空间中的最陡上升方向以加速收敛。这两个模型都采用了离策略学习和经验重放来提高样本效率。其次,为了缓解冷启动问题,在在线强化学习之前,利用示范数据语料库来预训练模型。结合这两种方法,我们展示了一种实用的方法来学习基于RL的深度对话策略,并展示了它们在面向任务的信息搜索领域中的有效性。
2017-07-05 cs.AI cs.CL cs.LG
Semi-supervised novelty detection using ensembles with regularized disagreement
ETH Zurich(苏黎世联邦理工学院)
深度神经网络通常以高置信度预测样本,即使它们来自看不见的类,也应该被标记以供专家评估。当前的新颖性检测算法不能可靠地识别这样的近OOD点,除非它们能够访问与这些新颖样本相似的标记数据。在本文中,我们开发了一种新的基于集成的半监督新奇检测(SSND)程序,成功地利用了未标记的ID和新奇类样本的混合物,以实现良好的检测性能。特别是,我们展示了如何使用早期停止正则化仅在OOD数据上实现分歧。虽然我们证明了这一事实的一个简单的数据分布,我们广泛的实验表明,它适用于更复杂的情况:我们的方法显着优于最先进的SSND方法对标准图像数据集(SVHN/CIFAR-10/CIFAR-100)和医学图像数据集,只有一个微不足道的增加计算成本。
2022-03-10 cs.LG
Graph Similarity Regularized Softmax for Semi-Supervised Node Classification
School of Mathematics and Physics, North China Electric Power University(华北电力大学数理学院);School of Mathematical Sciences, Beijing Normal University(北京师范大学数学科学学院)
针对Softmax缺乏图空间信息的问题,提出图相似性正则化Softmax,通过非局部TV正则化增强GNN半监督节点分类性能,在GCN和GraphSAGE上验证了有效性。
2024-09-20 cs.LG math.OC
Semi-supervised dual graph regularized dictionary learning
CEA(法国原子能和替代能源委员会);LIST(信息技术与系统实验室(CEA下属));Laboratoire AIM(AIM实验室);CNRS(法国国家科学研究中心);Paris 7(巴黎第七大学);Irfu(核物理与粒子物理研究所(CEA下属))
在本文中,我们提出了一种半监督字典学习方法,该方法使用标记和未标记数据中的信息,并联合训练嵌入稀疏代码的线性分类器。稀疏代码空间中数据的流形结构使用与局部线性嵌入方法(LLE)相同的方法来保留。这使得人们能够加强未标记数据稀疏码的预测能力。我们表明,我们的方法提供了显着的改进,比其他方法。通过在稀疏码上训练一个简单的非线性分类器作为SVM,可以进一步改善分类结果。
2018-12-11 cs.LG stat.ML
CREMA: A Contrastive Regularized Masked Autoencoder for Robust ECG Diagnostics across Clinical Domains
AI Group, Medical AI Co., Ltd.(医疗AI公司人工智能小组)
CREMA通过对比正则化掩码自编码与信号Transformer架构,在12导联心电图上进行自监督预训练,实现跨临床领域稳健且优于现有方法的心电图诊断基础模型。
2025-08-21 cs.AI cs.LG eess.SP
Regularized Optimal Transport for Dynamic Semi-supervised Learning
Université Sorbonne Paris Nord(巴黎北索邦大学);LaMSN - La Maison des Sciences Numériques(数字科学之家)
半监督学习提供了一种有效的范例,可以利用未标记的数据来提高模型的性能。在提出的许多策略中,基于图的方法显示出优异的性能,特别是因为它们允许根据Vapnik的原理直接解决转导任务,并且它们可以有效地扩展为归纳任务。在本文中,我们提出了一种新的方法,使用一个完整的二分边加权图的转导半监督学习。所提出的方法使用正则化的最佳运输经验的措施之间定义的标记和未标记的数据点,以获得一个亲和矩阵的最佳运输计划。该矩阵还用于在增量过程中通过图的顶点传播标签,通过结合基于香农熵的确定性得分来确保预测的确定性。我们还分析了我们的方法的收敛性,我们得出了一个有效的方法来扩展它的样本外的数据。实验分析是用来比较所提出的方法与其他标签传播算法在12个基准数据集,我们超越了国家的最先进的结果。我们发布代码。
2021-03-25 cs.LG stat.ML
A Semi-supervised Spatial Spectral Regularized Manifold Local Scaling Cut With HGF for Dimensionality Reduction of Hyperspectral Images
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
高光谱图像(HSI)包含了数百个连续光谱波段的丰富信息,使得通过细微的光谱差异对材料进行分类成为可能。然而,对这些丰富的光谱信息进行分类也面临着高维、奇异性、训练样本有限、缺乏标记数据样本、异方差性和非线性等挑战。为了解决这些问题,我们提出了一种基于半监督图的降维方法,称为“半监督空间谱正则化流形局部尺度切割”(S3RMLSC)。所提出的方法的基本思想是利用有限的标记信息从光谱和空间域以及丰富的未标记的样本,以促进分类任务,通过保留原始分布的数据。在S3RMLSC中,首先使用分层引导滤波器(HGF)来平滑HSI数据的像素,以保持空间像素的一致性。这一步之后,通过使用最大线性补丁(MLP)标准从非线性流形的线性补丁的建设。然后分别利用正则化流形局部尺度割(RMLSC)和相邻像素流形局部尺度割(NPMLSC)在光谱域和空间域上构造图像块间和图像块内的相异性矩阵。最后,我们通过优化更新的半监督空间-光谱斑块间和总斑块相异度来获得投影矩阵。所提出的DR算法的有效性与公开可用的真实世界的HSI数据集说明。
2018-11-20 cs.CV cs.LG stat.ML
A Semi-Supervised Adaptive Discriminative Discretization Method Improving Discrimination Power of Regularized Naive Bayes
University of Nottingham Ningbo China(宁波诺丁汉大学)
针对正则化朴素贝叶斯离散化信息损失大的问题,提出半监督自适应判别离散化框架RNB+,利用伪标记结合有标记与无标记数据,显著提升判别能力并在多数据集上优于现有NB分类器。
2023-04-05 cs.IT cs.LG math.IT
Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning
National University of Singapore(新加坡国立大学);Chinese Academy of Sciences(中国科学院);SEA AI Lab(SEA AI实验室)
对比自监督学习(CSL)在利用未标记数据进行模型预训练方面受到越来越多的关注。所得到的CSL模型提供均匀分散在特征空间中的实例判别视觉特征。在部署过程中,通常的做法是直接用交叉熵来微调CSL模型,但这在实践中可能不是最佳策略。虽然交叉熵倾向于分离类间特征,但由此产生的模型在减少CSL模型中存在的类内特征分散方面的能力仍然有限。在本文中,我们调查是否应用对比学习微调将带来进一步的好处,并分析发现,优化对比损失的区别表示学习和模型优化在微调过程中的好处。受这些发现的启发,我们提出了对比正则化调整(核心调整),微调CSL模型的一种新方法。Core-tuning不是简单地将对比度损失添加到微调的目标,而是进一步应用了一种新的硬对挖掘策略以进行更有效的对比度微调,以及平滑决策边界以更好地利用学习到的判别特征空间。在图像分类和语义分割上的大量实验验证了核心调整的有效性。
2021-10-14 cs.CV cs.LG
LDReg: Local Dimensionality Regularized Self-Supervised Learning
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);University of Southern Denmark(南丹麦大学);School of Computer Science, Fudan University(复旦大学计算机科学学院);New Jersey Institute of Technology(新泽西理工学院)
针对自监督学习中的局部维度坍缩问题,提出基于Fisher-Rao度量的局部维度正则化方法LDReg,通过优化局部距离分布提升表示质量,并在局部和全局层面正则化维度。
2024-03-14 cs.AI cs.CV cs.LG
Revisiting Self-Training with Regularized Pseudo-Labeling for Tabular Data
Pusan National University(釜山国立大学)
半监督学习和自监督学习的最新进展打破了人们长期以来对机器学习需要大量标记数据和未标记数据无关性的看法。虽然它已经在各种数据中取得了成功,但没有可以推广到表格数据的主要半监督学习和自监督学习方法(即大多数现有方法需要适当的表格数据集和架构)。在本文中,我们重新审视自我训练,它可以应用于任何类型的算法,包括最广泛使用的架构,梯度提升决策树,并介绍课程伪标记(一个国家的最先进的伪标记技术的图像)的表格域。此外,现有的伪标签技术不保证集群假设时,计算的置信度分数的伪标签产生的未标记的数据。为了克服这个问题,我们提出了一种新的伪标签的方法,正则化的置信度分数的基础上的伪标签的可能性,使更可靠的伪标签,位于高密度区域可以得到。我们使用各种模型和表格数据集详尽地验证了我们的方法的优越性。
2023-03-13 cs.AI cs.LG
Regularized Data Programming with Automated Bayesian Prior Selection
Cornell Tech(康奈尔科技学院);Weill Cornell Medicine(威尔康奈尔医学院);Cornell University(康奈尔大学)
本文提出经典数据编程的贝叶斯扩展,通过在目标函数中增加正则化项和利用多数投票作为代理信号自动选择先验参数,有效缓解了无监督学习在低数据情境下的失败,提升了模型性能与可解释性。
2023-10-25 cs.LG
Regularized target encoding outperforms traditional methods in supervised machine learning with high cardinality features
LMU Munich(慕尼黑大学)
由于大多数机器学习(ML)算法都是为数值输入而设计的,因此有效地编码分类变量是数据分析中的一个关键方面。一个常见的问题是高基数特征,即具有大量水平的无序分类预测变量。我们研究了产生分类变量的数值表示的技术,这些变量可以在随后的ML应用中使用。我们专注于这些技术对后续算法的预测性能的影响,并-如果可能的话-获得何时使用哪种技术的最佳实践。我们进行了一个大规模的基准测试实验,在实验中,我们使用回归、二进制和多类分类设置的数据集,比较了不同的编码策略和五种ML算法(套索、随机森林、梯度提升、k近邻、支持向量机)。在我们的研究中,目标编码的正则化版本(即使用基于训练集中特征水平的目标预测作为新的数值特征)始终提供最佳结果。传统上广泛使用的编码在创建二进制指示符变量之前做出不合理的假设来将级别映射到整数(例如整数编码)或减少级别的数量(可能基于目标信息,例如叶编码)(独热或虚拟编码)在比较中不是有效的。
2022-03-04 cs.LG stat.ML
Unsupervised Assignment Flow: Label Learning on Feature Manifolds by Spatially Regularized Geometric Assignment
Heidelberg University(海德堡大学)
本文介绍了无监督的分配流,耦合的分配流监督图像标记与黎曼梯度流的标签演变的特征流形。后一部分的方法包括国家的最先进的聚类方法的流形值数据的扩展。将标签进化与空间正则化的分配流耦合会产生稀疏化效应,从而能够以无监督的方式学习紧凑的标签字典。我们的方法简化了监督标记的要求,即手头有适当的标签,因为初始标签集可以在分配给给定数据时进化并适应更好的值。特征和分配流形之间的分离使灵活的应用程序,这是证明了三个场景与流形值的功能。实验证明了两个方向的有益效果:标签的自适应性提高了图像标记,并且通过空间正则化分配来引导标签进化导致正确的标签,因为监督标记的分配流被精确地使用,而没有任何近似用于标签学习。
2019-12-16 cs.CV cs.LG math.OC
Manifold Regularized Discriminative Neural Networks
Binghamton University(宾汉姆顿大学)
非正则化深度神经网络(DNN)可以很容易地在有限的样本大小下过拟合。我们认为,这主要是由于DNN的区分性质,DNN直接模拟给定输入的标签的条件概率(或得分)。对输入分布的忽略使得DNN难以推广到看不见的数据。正则化技术的最新进展,如预训练和dropout,表明对输入数据分布建模(显式或隐式)大大提高了DNN的泛化能力。在这项工作中,我们探讨了流形假设,假设同一类内的实例位于光滑流形。因此,我们提出了两个简单的正则化一个标准的歧视DNN。第一个,名为标签感知流形正则化,假设标签的可用性和惩罚的损失函数w.r.t.的大范数。数据点。第二种称为标签独立流形正则化,不使用标签信息,而是惩罚预测分数w.r.t.的雅可比矩阵的Frobenius范数。这使得半监督学习成为可能。我们使用MNIST,CIFAR10和SVHN数据集对全监督和半监督任务进行了广泛的控制实验,并取得了优异的结果。
2016-01-07 cs.LG
BadRSSD: Backdoor Attacks on Regularized Self-Supervised Diffusion Models
School of Information and Artificial Intelligence, Yangzhou University, China(扬州大学信息与人工智能学院);School of Computing and Artificial Intelligence, Chaohu University, China(池州学院计算机与人工智能学院);Tacoma School of Engineering and Technology, University of Washington, USA(华盛顿大学塔科马工程与技术学院)
BadRSSD是一种针对自监督扩散模型表示层的后门攻击方法,通过在PCA空间中操控语义表示并应用跨空间约束,实现隐蔽的后门攻击并提升攻击效果。
2026-03-01 cs.CR cs.LG
Supervised clustering of high dimensional data using regularized mixture modeling
Purdue University(普渡大学);Indiana University(印第安纳大学);Indiana University School of Medicine(印第安纳大学医学院)
确定分子变异和它们的临床表现之间的关系已经受到疾病的异质性原因的挑战。在考虑研究对象可能的异质性的同时,揭示高维分子表现与临床表现之间的关系是必要的。为了解决高维分子特征与表型间异质关系研究的难题,提出了一种基于惩罚混合回归模型(CSMR)的监督聚类算法.该算法是改编自分类期望最大化算法,它提供了一种新的监督解决方案的聚类问题,与计算效率和生物可解释性的显着改善。在模拟基准数据集上的实验结果表明,CSMR能够准确地识别特征子集对响应变量具有解释性的子空间,性能优于基线方法. CSMR在药物敏感性数据集上的应用再次证明了CSMR优于其他数据集的性能,其中CSMR在概括隐藏在细胞系库中的不同亚组方面是强大的,这些亚组涉及它们对不同药物的应对机制。CSMR代表了一种大数据分析工具,有可能解决将疾病的临床表现转化为真正病因的复杂性。我们相信,它将为疾病的分子基础带来新的理解,并可能在日益增长的个性化医疗领域具有特殊意义。
2020-07-19 cs.LG stat.ME
Entropy Regularized Reinforcement Learning with Cascading Networks
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
深度强化学习(Deep RL)在高维问题上取得了令人难以置信的成就,但即使在最简单的任务上,它的学习过程仍然不稳定。深度RL使用神经网络作为函数逼近器。这些神经模型很大程度上受到(无)监督机器学习社区发展的启发。与这些学习框架相比,RL的主要困难之一是缺乏i.i.d.。数据解决这个问题的一种方法是在每次迭代中控制策略的变化率。在这项工作中,我们挑战了(非)监督学习社区使用固定神经架构的常见做法,通过在每次策略更新时增加神经模型的大小。这允许闭合形式的熵正则化策略更新,这导致在每次迭代时更好地控制策略的变化率,并帮助应对非独立同分布。RL的性质在经典RL基准测试上的初步实验显示了有希望的结果,与其他深度RL基线相比,在某些RL任务上具有显着的收敛性,同时在其他方面表现出局限性。
2022-10-16 cs.LG
A Regularized Attention Mechanism for Graph Attention Networks
Arizona State University(亚利桑那州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
能够利用数据固有结构的机器学习模型已经变得突出。特别是,由于其在多个领域的广泛适用性,针对图结构数据的深度学习解决方案激增。图注意力网络(GAT)是最近加入到图中的广泛类别的特征学习模型中的一个新成员,它利用注意力机制来有效地学习用于半监督学习问题的连续向量表示。在本文中,我们对GAT模型进行了详细的分析,并对它们的行为提出了有趣的见解。特别是,我们表明,该模型是脆弱的异构流氓节点,因此提出了新的正则化策略,以提高GAT模型的鲁棒性。使用基准数据集,我们证明了性能的改进半监督学习,使用GAT的建议强大的变种。
2020-02-10 cs.LG stat.ML
HEROS-GAN: Honed-Energy Regularized and Optimal Supervised GAN for Enhancing Accuracy and Range of Low-Cost Accelerometers
School of Science, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)理学院)
针对低成本加速度计精度和量程受限问题,提出HEROS-GAN,通过最优传输监督和调制拉普拉斯能量,将低成本信号增强至高成本等效,实现量程翻倍、噪声降低两个数量级,并发布首个专用数据集LASED。
2025-02-25 cs.AI cs.LG cs.RO