Continual Pre-Training Mitigates Forgetting in Language and Vision
Scuola Normale Superiore(比萨高等师范学校);KU Leuven(鲁汶大学);University of Pisa(比萨大学)
预训练模型是当今机器学习研究的基本组成部分。在持续学习中,它们通常用于在对非平稳数据流进行训练之前初始化模型。然而,在持续学习过程中很少应用预训练。我们形式化并研究了语言和视觉环境中持续预训练场景的特征,其中模型在传入数据流上持续进行预训练,然后才针对不同的下游任务进行微调。我们证明了持续预训练的模型对灾难性遗忘具有鲁棒性,并且我们提供了强有力的经验证据,支持自我监督的预训练在保留以前的知识方面比监督协议更有效。代码在https://github.com/AndreaCossu/continual-pretraining-nlp-vision上提供。
2022-05-19 cs.AI cs.LG
In-memory Realization of In-situ Few-shot Continual Learning with a Dynamically Evolving Explicit Memory
IBM Research(IBM研究院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);ETH Zürich(苏黎世联邦理工学院)
从几个训练样本中不断学习新的类而不忘记以前的旧类需要一个灵活的架构,其存储部分不可避免地增长,其中新的示例和类可以增量地存储并有效地检索。一个可行的架构解决方案是将静态深度神经网络紧密耦合到动态演化的显式存储器(EM)。作为该架构的核心,我们提出了一个EM单元,该单元在持续学习操作过程中利用节能的内存计算(IMC)核心。我们第一次演示了EM单元如何在物理上叠加多个训练样本,扩展以适应看不见的类,并在推理过程中执行相似性搜索,使用基于相变存储器(PCM)的IMC核心上的操作。具体地,通过PCM器件的原位渐进结晶来实现几个编码的训练样本的物理叠加。与CIFAR-100和miniImageNet数据集上最先进的全精度基线软件模型相比,IMC核心实现的分类准确度保持在1.28%-2.5%的范围内,当在60个旧类的基础上连续学习40个新类(每个类只有5个示例)时。
2022-07-14 cs.LG
Constrained Few-shot Class-incremental Learning
IBM Research-Zurich(IBM苏黎世研究院);ETH Zurich(苏黎世联邦理工学院)
从新的数据中不断学习新的类而不忘记旧类的先前知识是一个非常具有挑战性的研究问题。此外,这种学习必须遵守某些内存和计算约束,例如(i)每个类的训练样本仅限于几个,(ii)学习新类的计算成本保持不变,以及(iii)模型的内存占用最多与观察到的类的数量线性增长。为了满足上述限制,我们提出了C-FSCIL,它在架构上由一个冻结的元学习特征提取器,一个可训练的固定大小的全连接层,以及一个可动态增长的内存组成,该内存存储与遇到的类的数量一样多的向量。C-FSCIL提供了三种更新模式,在学习新类的准确性和计算内存成本之间进行权衡。C-FSCIL利用超维嵌入,允许连续表达比向量空间中的固定维度更多的类,并且干扰最小。类向量表示的质量进一步提高对齐它们准正交彼此借助于新的损失函数。在CIFAR 100、miniImageNet和Omniglot数据集上的实验表明,C-FSCIL在精度和压缩方面优于基线。它还可以扩展到在这个Few-Shot设置中尝试过的最大问题大小,在1200个基本类的基础上学习423个新类,准确率下降不到1.6%。我们的代码可在https://github.com/IBM/constrained-FSCIL上获得。
2022-03-30 cs.CV cs.LG
CoMetaPNS: Continually Meta-learning Personalized Neural Surrogates for Cardiac Electrophysiology Simulations
Golisano College of Computing and Information Sciences, Rochester Institute of Technology(罗切斯特理工学院戈利萨诺计算与信息科学学院);Department of Computer Science, Rowan University(罗文大学计算机科学系);The University of Utah(犹他大学)
提出持续元学习框架CoMetaPNS,通过贝叶斯高斯混合模型记忆缓冲区分辨数据来源,实现个性化神经代理的持续学习,避免灾难性遗忘,在心脏模拟预测中优于基线。
2026-06-05 cs.LG
Exemplar-Based Contrastive Self-Supervised Learning with Few-Shot Class Incremental Learning
IBM(国际商业机器公司)
人类能够从少数(标记的)样本中学习新概念,增量和持续。这发生在我们可以区分样本的上下文中,以及样本和大量其他数据(未标记和标记)之间。这表明,在人类学习中,基于范例的概念监督学习发生在基于未标记和标记数据的对比自监督学习(CSSL)的更大背景下。我们讨论扩展CSSL(1)主要基于样本,其次是数据增强,(2)适用于未标记的数据(一般有大量可用)和标记的数据(一些样本可以获得有价值的监督知识)。这些扩展的主要好处是基于范例的CSSL,具有监督微调,支持Few-Shot类增量学习(CIL)。具体来说,我们讨论了基于样本的CSSL,包括:最近邻CSSL,监督预训练的邻域CSSL,以及监督微调的样本CSSL。我们进一步讨论使用基于范例的CSSL,以促进少样本学习,特别是,Few-Shot CIL。
2022-02-05 cs.LG
Continual Training of Language Models for Few-Shot Learning
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Peking University(北京大学);Google Research(谷歌研究院)
最近的工作应用大语言模型(LM)在许多NLP应用程序中取得了令人印象深刻的性能。使用未标记的领域语料库来适应或后训练LM可以为领域中的最终任务产生更好的性能。本文提出了一个不断扩展LM的问题,通过增量后训练LM与一系列未标记的领域语料库,以扩大其知识,而不会忘记它以前的技能。我们的目标是改善这些领域的Few-Shot最终任务学习。由此产生的系统被称为CPT(持续后培训),据我们所知,这是第一个持续后培训系统。实验结果验证了该方法的有效性。
2022-10-11 cs.AI cs.CL cs.LG
A Graph Convolutional Topic Model for Short and Noisy Text Streams
Hanoi University of Science and Technology(河内科技大学)
从数据流中学习隐藏的主题已经成为绝对必要的,但提出了具有挑战性的问题,如概念漂移以及短和嘈杂的数据。利用先验知识丰富主题模型是应对这些挑战的潜在解决方案之一。从人类知识(例如Wordnet)或预先训练的模型(例如Word2vec)中获得的先验知识对于帮助主题模型更好地工作非常有价值和有用。然而,在流媒体环境中,数据到达连续和无限,现有的研究仅限于有效地利用这些资源。特别地,包含有意义的词关系的知识图谱被忽略。在本文中,旨在有效地利用知识图谱,我们提出了一种新的图卷积主题模型(GCTM),它集成了图卷积网络(GCN)到一个主题模型和学习方法,学习网络和主题模型同时为数据流。在每一个小批量中,我们的方法不仅可以利用外部的知识图谱,但也可以平衡的外部和旧的知识表现良好的新数据。我们进行了大量的实验,以评估我们的方法与人类知识图谱(Wordnet)和从预先训练的词嵌入(Word2vec)构建的图。实验结果表明,我们的方法取得了显着更好的性能比国家的最先进的基线方面的概率预测措施和主题一致性。特别是,我们的方法可以很好地处理短文本以及概念漂移。GCTM的实施可在\url{https://github.com/bachtranxuan/GCTM.git}上获得。
2021-12-24 cs.LG stat.ML
Frequency Estimation Under Multiparty Differential Privacy: One-shot and Streaming
Hong Kong University of Science and Technology(香港科技大学);University of Warwick(华威大学)
我们研究了隐私和通信约束下的频率估计的基本问题,其中数据分布在$k$各方之间。我们考虑两种应用场景:(1)单次,其中数据是静态的,聚合器进行一次性计算;(2)流式传输,其中每一方随着时间的推移接收项目流,聚合器不断监控频率。我们采用多方差分隐私(MDP)模型,它比局部差分隐私(LDP)和(集中式)差分隐私更具有一般性。我们的协议实现最优性(对数因子)允许的两个约束条件中更严格的。特别是,当专用于$\varepsilon$ -LDP模型时,我们的协议使用$O(k\max\{ \varepsilon, \frac{1}{\varepsilon} \})$通信位和$O(k \log u)$公共随机位实现了$\sqrt{k}/(e^{Θ(\varepsilon)}-1)$的错误,其中$u$是域的大小.
2021-05-29 cs.CR cs.DS cs.LG
Learning to Continually Learn with the Bayesian Principle
Seoul National University(首尔大学)
本文提出一种元持续学习框架,结合神经网络表示能力与统计模型贝叶斯更新的抗遗忘性,实现高性能且可扩展的持续学习。
2024-05-29 cs.AI cs.LG
Demystifying the Base and Novel Performances for Few-shot Class-incremental Learning
KAIST(韩国科学技术院)
Few-Shot类增量学习(FSCIL)解决了具有挑战性的现实世界场景,其中看不见的新类不断到达很少的样本。在这些情况下,需要开发一个模型,在不忘记先前知识的情况下识别新的类。换句话说,FSCIL旨在保持基本性能并同时提高新性能。然而,很少有研究分别调查这两个性能。在本文中,我们首先将整个模型分解成四种类型的参数,并证明了这两个性能的趋势变化很大的更新参数时,新的类出现。基于分析,我们提出了一种简单的方法FSCIL,创造了NoNPC,它使用规范化的原型分类器,而无需进一步训练增量新类。结果表明,我们的简单的方法具有相当的性能与先进的先进算法。
2022-06-18 cs.AI cs.LG
Overcoming Catastrophic Forgetting in Incremental Few-Shot Learning by Finding Flat Minima
The Hong Kong Polytechnic University(香港理工大学)
本文考虑了增量式少样本学习,它要求模型在只提供少量样本的情况下不断识别新的类别。我们的研究表明,现有的方法严重遭受灾难性遗忘,一个众所周知的问题,在增量学习,这是加剧由于数据稀缺和不平衡的Few-Shot设置。我们的分析进一步表明,为了防止灾难性遗忘,需要在原始阶段采取行动--训练基类,而不是以后的少样本学习。因此,我们建议搜索基本训练目标函数的平坦局部最小值,然后在新任务的平坦区域内微调模型参数。通过这种方式,模型可以有效地学习新类,同时保留旧类。综合实验结果表明,我们的方法优于所有现有的国家的最先进的方法,是非常接近的近似上限。源代码可在https://github.com/moukamisama/F2M上获得。
2021-11-04 cs.CV cs.LG
Incremental Learning with Concept Drift Detection and Prototype-based Embeddings for Graph Stream Classification
KIOS Research and Innovation Center of Excellence(KIOS卓越研究与创新中心);University of Cyprus(塞浦路斯大学)
本文提出一种图流分类方法,通过增量学习、类别原型选择与图嵌入实现持续自适应,并利用基于损失的概念漂移检测机制在漂移发生时重新计算原型。
2024-04-12 cs.LG
Continual Learning on Noisy Data Streams via Self-Purified Replay
NALBI Inc.(NALBI公司);Seoul National University(首尔大学)
在现实世界中持续学习必须克服许多挑战,其中噪声标签是一个常见且不可避免的问题。在这项工作中,我们提出了一个基于替换的持续学习框架,同时解决了灾难性遗忘和噪声标签的第一次。我们的解决方案是基于两个观察;(i)即使有噪声标签,通过自监督学习也可以减轻遗忘,以及(ii)重放缓冲区的纯度至关重要。在此基础上,我们提出了我们方法的两个关键组成部分:(i)一种名为Self-Replay的自监督重放技术,可以避免由噪声标记数据产生的错误训练信号,以及(ii)Self-Centered filter,通过基于中心的随机图集成来维护纯化的重放缓冲区。MNIST,CIFAR-10,CIFAR-100和WebVision与现实世界的噪音的实证结果表明,我们的框架可以保持一个高度纯净的重放缓冲区中嘈杂的流数据,同时大大优于国家的最先进的持续学习和嘈杂的标签学习方法的组合。源代码可在http://vision.snu.ac.kr/projects/SPR上获得
2021-10-14 cs.LG
Towards Lifelong Few-Shot Customization of Text-to-Image Diffusion
Nanyang Technological University(南洋理工大学)
针对文本到图像扩散的终身少样本定制中相关概念遗忘与先前概念遗忘问题,提出无数据知识蒸馏策略与上下文生成范式,实现高质量生成并保留旧知识。
2024-11-08 cs.CV cs.LG
On Continual Model Refinement in Out-of-Distribution Data Streams
Facebook AI Research(脸书人工智能研究院);University of Southern California(南加州大学)
现实世界的自然语言处理(NLP)模型需要不断更新,以修复分布外(OOD)数据流中的预测错误,同时克服灾难性遗忘。然而,现有的持续学习(CL)问题设置不能覆盖这样一个现实和复杂的场景。针对这一点,我们提出了一个新的CL问题制定称为连续模型细化(CMR)。与先前的CL设置相比,CMR更实用并且引入了独特的挑战(边界不可知和非平稳分布偏移、多个OOD数据集群的不同混合、以错误为中心的流等)。我们扩展了几个现有的CL方法的CMR设置和广泛的评估。对于基准测试和分析,我们提出了一个通用的采样算法,以获得动态OOD数据流与可控的非平稳性,以及一套度量在线性能的各个方面。我们的实验和详细的分析揭示了CMR问题的前景和挑战,支持在动态OOD流中研究CMR可以有益于生产中部署的NLP模型的寿命。
2022-05-04 cs.AI cs.CL cs.LG
Evolutionary Generalized Zero-Shot Learning
School of Artificial Intelligence, Nanjing University of Science and Technology(南京理工大学人工智能学院)
针对现有零样本学习模型难以利用无标注数据持续进化的需求,提出进化式广义零样本学习任务及对应通用方法,解决三大挑战,在三个基准数据集上验证了模型可从测试数据流中学习的有效性。
2024-05-12 cs.CV cs.LG cs.NE
Continual Local Replacement for Few-shot Learning
Xiamen University(厦门大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
少样本学习的目标是学习一个模型,该模型可以基于一个或几个训练数据识别新的类。它的挑战性主要在于两个方面:(1)它缺乏对新类的良好特征表示;(2)少量的标记数据不能准确地表示真实的数据分布,因此很难学习一个好的分类决策函数。在这项工作中,我们使用一个复杂的网络架构,以学习更好的特征表示,并专注于第二个问题。提出了一种新的连续局部替换策略来解决数据缺失问题。它利用未标记图像中的内容来不断增强标记图像。具体而言,采用伪标记方法不断选择语义相似的图像上飞。原始标记的图像将在本地被选定的图像替换,用于下一个epoch训练。这样,该模型可以直接从未标记的图像中学习新的语义信息,并且可以显着扩大嵌入空间中的监督信号的容量。这允许模型改进泛化并学习更好的决策边界以用于分类。我们的方法是概念简单,易于实现。大量的实验表明,它可以实现国家的最先进的结果对各种Few-Shot图像识别基准。
2020-03-10 cs.CV cs.LG eess.IV
Online Class-Incremental Continual Learning with Adversarial Shapley Value
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
随着基于图像的深度学习在从手机到智能手表的每一种设备上变得普遍,越来越需要开发不断从数据中学习的方法,同时最大限度地减少内存占用和功耗。虽然记忆回放技术已经显示出对于这种持续学习任务的特殊承诺,但是选择回放哪些缓冲图像的最佳方法仍然是一个悬而未决的问题。在本文中,我们特别关注在线类增量设置,其中模型需要从在线数据流中不断学习新类。为此,我们贡献了一种新的对抗Shapley值评分方法,该方法根据记忆数据样本保留先前观察到的类的潜在决策边界的能力(以保持学习稳定性并避免遗忘),同时干扰正在学习的当前类的潜在决策边界(以鼓励新类边界的可塑性和最佳学习)。总的来说,我们观察到,我们提出的ASER方法提供了竞争力或改进的性能相比,国家的最先进的重放为基础的持续学习方法在各种数据集。
2021-03-22 cs.CV cs.LG stat.ML
Adversarial Training of Variational Auto-encoders for Continual Zero-shot Learning(A-CZSL)
Indian Institute of Science(印度科学理工学院)
现有的大多数人工神经网络(ANN)由于灾难性遗忘而无法持续学习,而人类可以通过保持先前任务的性能来实现同样的目标。虽然存储所有以前的数据可以缓解这个问题,但它需要很大的内存,在现实世界中是不可行的。我们提出了一种更适合实际场景的持续零样本学习模型(A-CZSL),以解决可以顺序学习并区分模型在训练期间未见过的类别的问题。此外,为了提高可靠性,我们开发了一个单一的头部持续学习设置任务身份,在培训过程中,但不是在测试过程中透露的A-CableL。我们提出了一个混合网络,它由一个共享的VAE模块来保存所有任务的信息和特定于任务的私有VAE模块为每个任务。该模型的大小随着每个任务的增加而增加,以防止对特定任务技能的灾难性遗忘,并且它包括一种重放方法来保存共享技能。我们证明了我们的混合模型优于基线,并且在几个数据集上是有效的,即,CUB、AWA 1、AWA 2和aPY。我们表明,我们的方法是优越的类顺序学习与零样本学习(Zero-Shot Learning)和GeroL(Generalized零样本学习)。
2021-04-19 cs.CV cs.LG
Lifelong Wandering: A realistic few-shot online continual learning setting
Georgia Institute of Technology(佐治亚理工学院)
在线少样本学习描述了一种设置,其中模型在学习新兴类的同时在数据流上进行训练和评估。虽然在此设置之前的工作已经取得了非常有前途的性能时,从一个单一的室内环境组成的数据流学习的实例分类,我们建议扩展此设置,考虑对象分类的一系列几个室内环境,这是可能发生在应用中,如机器人。重要的是,我们的设置,我们称之为在线Few-Shot持续学习,将灾难性遗忘的充分研究问题注入Few-Shot在线学习范式。在这项工作中,我们基准几个现有的方法和适应基线在我们的设置,并显示存在一个权衡之间的灾难性遗忘和在线性能。我们的发现激发了在这种环境下进行未来工作的需求,这种环境可以在没有灾难性遗忘的情况下实现更好的在线性能。
2022-06-16 cs.CV cs.LG
MgSvF: Multi-Grained Slow vs. Fast Framework for Few-Shot Class-Incremental Learning
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Cloud BU, Huawei Technologies(华为技术有限公司云业务部)
针对少样本类别增量学习中旧知识慢速遗忘与新知识快速适应的SvF两难问题,提出多粒度MgSvF框架,从空间内、空间间两粒度设计频率感知正则化与特征空间组合操作,性能大幅超越现有最优方法。
2024-03-12 cs.CV cs.LG
Continual Learning for Natural Language Generation in Task-oriented Dialog Systems
EPFL(洛桑联邦理工学院);LMU(慕尼黑大学);Tsinghua University(清华大学)
自然语言生成是面向任务的对话系统的重要组成部分。尽管NLG的神经方法最近取得了成功,但它们通常是以离线方式为特定领域开发的。为了更好地适应新数据不断涌现的现实应用,我们在“持续学习“环境中研究NLG,以逐步将其知识扩展到新的领域或功能。实现这一目标的主要挑战是灾难性遗忘,这意味着一个不断训练的模型往往会忘记它以前学到的知识。为此,我们提出了一种称为ARPER(Adaptively Regularized Prioritized Exemplar Replay)的方法,通过重播优先级历史样本,以及基于ElasticWeight Consolidation的自适应正则化技术。在MultiWoZ-2.0上进行了大量的实验,以不断学习新的领域和意图,并使用各种技术对ARPER进行基准测试。实验结果表明,ARPER有效地减轻了有害的灾难性遗忘问题,显着优于其他方法。
2020-10-02 cs.CL cs.LG
Prototype Propagation Networks (PPN) for Weakly-supervised Few-shot Learning on Category Graph
University of Technology Sydney(悉尼科技大学);University of Washington(华盛顿大学);University of New South Wales(新南威尔士大学)
各种机器学习应用期望从有限数量的标记数据中实现快速学习。然而,当前大多数模型的成功是大数据大量训练的结果。元学习通过提取跨不同任务的共同知识来解决这个问题,这些知识可以快速适应新任务。然而,他们没有充分探索弱监督的信息,这通常是免费或廉价的collect. In本文中,我们表明,弱标记的数据可以显着提高性能的元学习Few-Shot分类。我们提出了原型传播网络(PPN)训练的Few-Shot任务与粗标签标注的数据。给定目标细类和一些弱标记粗类的类别图,PPN学习注意力机制,该注意力机制将图上的一个类的原型传播到另一个类,使得在传播的原型上定义的K-最近邻(KNN)分类器在不同的Few-Shot任务中具有高精度。训练任务由子图抽样生成,训练目标由子图上的分层分类损失累积得到。生成的原型图可以不断地重用和更新,以用于新的任务和类。我们还介绍了两个实际的测试/推理设置,根据测试任务是否可以利用任何弱监督信息进行训练而有所不同。在两个基准测试中,PPN在不同的设置中显着优于最新的少样本学习方法,即使它们也被允许在弱标记数据上进行训练。
2019-06-02 cs.CV cs.LG cs.NE
Few-Shot Adaptation of Pre-Trained Networks for Domain Shift
Institute for Infocomm Research, A*STAR(新加坡科技研究局信息通信研究所);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Centre for Frontier AI Research, A*STAR(新加坡科技研究局前沿人工智能研究中心)
当源(训练)数据和目标(测试)数据之间存在域转移时,深度网络容易出现性能下降。最近的测试时自适应方法使用流数据更新部署在新目标环境中的预训练源模型的批量归一化层,以减轻这种性能下降。虽然这些方法可以在不首先收集大型目标域数据集的情况下进行动态调整,但它们的性能取决于流条件,例如小批量大小和类分布,这在实践中可能是不可预测的。在这项工作中,我们提出了一个框架Few-Shot领域自适应,以解决实际的挑战,数据高效的适应。具体来说,我们提出了一个约束优化的特征归一化统计在预训练的源模型由一个小的支持集从目标域的监督。我们的方法很容易实现,并提高了源模型的性能,每个类只有一个样本的分类任务。在5个跨域分类和4个语义分割数据集上的实验表明,该方法比测试时自适应方法具有更高的准确性和可靠性,同时不受流媒体条件的限制。
2022-10-22 cs.CV cs.LG
Transferable Dual-Stream Representations for Mesoscale-Preserving Sea Surface Temperature Downscaling
Dalhousie University(达尔豪斯大学)
针对海面温度降尺度中易丢失中尺度特征的问题,提出EddyFlow框架,在圣劳伦斯湾训练后,于芬迪湾、墨西哥湾的零样本/少样本评估中,实现误差降低、技能得分提升与高光谱保真度。
2026-08-06 cs.CV cs.LG
S-RASTER: Contraction Clustering for Evolving Data Streams
Fraunhofer-Chalmers Research Centre for Industrial Mathematics(弗劳恩霍夫-查尔姆斯工业数学研究中心);Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心)
压缩聚类(RASTER)是一种单遍算法,用于对2D数据进行基于密度的聚类。它可以在线性时间和恒定内存中处理任意数量的数据,快速识别近似聚类。它还表现出良好的可扩展性,在存在多个CPU核心。与标准聚类算法相比,RASTER具有非常有竞争力的性能,但代价是精度降低。然而,RASTER仅限于批处理,无法识别临时存在的簇。相比之下,S-RASTER是RASTER的流处理范式的适应,能够识别不断变化的数据流中的集群。该算法保留了其父算法的主要优点,即单次通过线性时间成本和滑动窗口内每个离散时间步长的恒定内存需求。滑动窗口被有效地修剪,并且聚类仍然在线性时间内执行。像RASTER一样,S-RASTER在速度上牺牲了通常可以忽略不计的精度。我们的评估表明,竞争算法至少慢50%。此外,S-RASTER显示出良好的定性结果,基于标准度量。它非常适合于真实世界的场景,其中集群不会持续发生,而是周期性发生。
2020-09-16 cs.DC cs.DS cs.LG
Motion-Attentive Transition for Zero-Shot Video Object Segmentation
Beijing Institute of Technology(北京理工大学);Nanjing University of Science and Technology(南京理工大学)
针对零样本视频目标分割任务,提出含运动注意力转换模块的双流MATNet及桥接网络,强化时空目标表征,在三个公开基准上取得优于现有最优方法的性能。
2020-07-09 cs.CV cs.LG eess.IV
CND-IDS: Continual Novelty Detection for Intrusion Detection Systems
University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对数据流持续变化且攻击标签缺失的问题,本文提出 CND-IDS 框架,结合可更新特征提取器与 PCA 重构新颖性检测器,在真实数据集上显著优于无监督持续学习基线。
2025-02-19 cs.CR cs.LG
VoXtream2: Full-stream TTS with dynamic speaking rate control
Department of Speech, Music and Hearing, KTH Royal Institute of Technology, Sweden(语音、音乐与听觉系,皇家理工学院,瑞典)
VoXtream2是一种全流文本到语音系统,通过动态控制说话速率实现低延迟和可控性,结合分布匹配机制和分类器自由引导提升合成质量,支持文本无关的音频提示。
2026-03-13 cs.CL cs.HC cs.LG
Zero-Shot Text-to-Image Generation
OpenAI
传统上,文本到图像生成的重点是找到更好的建模假设,以便在固定数据集上进行训练。这些假设可能涉及复杂的体系结构、辅助损失或辅助信息,例如在训练期间提供的对象部分标签或分割掩码。我们描述了一个简单的方法,这个任务的基础上的Transformer,自回归模型的文本和图像标记作为一个单一的数据流。有了足够的数据和规模,我们的方法是有竞争力的,与以前的特定领域的模型时,评估在zero-shot的方式。
2021-02-26 cs.CV cs.LG
Generalising via Meta-Examples for Continual Learning in the Wild
Università di Trento(特伦托大学);Università di Modena e Reggio Emilia(摩德纳雷焦艾米利亚大学)
未来的深度学习系统需要能够处理时态数据不断变化的性质以及在出现新问题时注释稀缺的技术。作为实现这一目标的一步,我们提出了FUSION(Few-Shot UnSupervised持续学习),这是一种学习策略,使神经网络能够在未标记的数据流和不平衡的任务上快速持续地学习。其目标是最大限度地提高从未标记数据流(无监督)中提取的知识,促进先前学习的任务和特征(连续)的向前传输,并在可用时尽可能多地利用监督信息(Few-Shot)。FUSION的核心是MEML -元示例元学习-通过在元优化阶段的单个内部循环中使用自我注意机制来巩固元表示。为了进一步提高MEML从少量数据中概括的能力,我们通过创建各种增强的代理任务和优化最困难的任务来扩展它。对公共计算机视觉基准的广泛实验评估表明,FUSION在Few-Shot和持续学习实验环境中的表现优于现有的最先进的解决方案。
2022-05-03 cs.CV cs.LG
GREAT: Generalizable Representation Enhancement via Auxiliary Transformations for Zero-Shot Environmental Prediction
针对环境建模中未监测区域预测因数据有限和空间异质性导致的泛化问题,提出GREAT框架,通过多层变换函数增强特征并经双层训练优化,在零样本场景下显著提升预测性能,为相关环境应用提供实用方案。
2025-11-17 cs.LG
CBCL-PR: A Cognitively Inspired Model for Class-Incremental Learning in Robotics
University of Waterloo(滑铁卢大学);Concordia University(康考迪亚大学);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出受海马体和新皮层概念学习理论启发的CBCL-PR框架,通过聚类集合表示和重放旧类数据解决少样本类别增量学习问题,在分类数据集和机器人实验中均取得SOTA性能。
2023-07-31 cs.CV cs.LG cs.RO
CoVoMix: Advancing Zero-Shot Speech Generation for Human-like Multi-talker Conversations
Shanghai Jiao Tong University(上海交通大学);Microsoft(微软公司)
CoVoMix提出一种零样本多说话人多轮对话语音生成模型,通过离散令牌流与流匹配声学模型生成混合梅尔频谱图,再经HiFi-GAN合成波形,实现类人自然对话。
2024-12-15 cs.AI cs.CL cs.LG
RDumb++: Drift-Aware Continual Test-Time Adaptation
Department of Computer Science(计算机科学系);University of British Columbia(不列颠哥伦比亚大学)
针对持续测试时自适应中分布快速变化或长期漂移导致性能崩溃的问题,提出RDumb++方法,通过熵和KL散度漂移检测机制与自适应重置策略,在CCC基准上实现约3%的绝对准确率提升。
2026-01-22 cs.AI cs.LG
Learning Agent State Online with Recurrent Generate-and-Test
University of Alberta(阿尔伯塔大学)
从连续的数据流中连续地在线学习是具有挑战性的,特别是对于具有序列数据的强化学习代理。当环境只提供关于环境状态的部分信息的观察时,代理必须基于经验的数据流来学习代理状态。我们将直接从经验数据流中学习到的状态称为主体状态。递归神经网络可以学习智能体的状态,但其训练方法计算量大且对超参数敏感,不利于在线学习。这项工作介绍了基于生成和测试的方法来学习代理状态的方法。生成-测试算法通过生成特征并测试其有用性来搜索状态特征。在这个过程中,对代理在任务上的性能有用的特征被保留,并且最不有用的特征被新生成的特征替换。我们研究了两个在线多步预测问题,我们的方法的有效性。第一个问题,跟踪条件作用,集中在代理的能力,记住一个线索的预测多个步骤到未来。在第二个问题中,跟踪模式,智能体需要学习观察信号中的模式,并记住它们以用于未来的预测。我们表明,我们提出的方法可以有效地在线学习代理状态,并产生准确的预测。
2021-12-30 cs.AI cs.LG
Effects of Auxiliary Knowledge on Continual Learning
University of Catania(卡塔尼亚大学);University of Modena and Reggio Emilia(摩德纳雷焦艾米利亚大学)
在持续学习(CL)中,神经网络在分布随时间变化的数据流上进行训练。在这种情况下,主要问题是如何学习新信息而不忘记旧知识(即,灾难性遗忘)。大多数现有的CL方法专注于寻找解决方案,以保存已获得的知识,因此工作在模型的过去。然而,我们认为,由于模型必须不断学习新任务,因此关注现有知识也很重要,这些知识可以改善后续任务的学习。在本文中,我们提出了一个新的,简单的,CL算法,专注于解决当前的任务的方式,可能有利于学习下一个。更具体地说,我们的方法将主要数据流与次要的、多样的和不相关的数据流相结合,网络可以从中提取辅助知识。这从不同的角度帮助模型,因为辅助数据可能包含当前和下一个任务的有用特征,并且传入的任务类可以映射到辅助类。此外,向当前任务添加数据隐含地使分类器更加鲁棒,因为我们正在强制提取更具鉴别力的特征。我们的方法可以优于现有的最先进的模型上最常见的CL图像分类基准。
2022-06-03 cs.AI cs.LG
Few shot clustering for indoor occupancy detection with extremely low-quality images from battery free cameras
Iowa State University(爱荷华州立大学);University of Washington(华盛顿大学)
室内环境中人员占用的可靠检测对于各种能源效率、安全和安全应用至关重要。我们考虑使用来自低功耗图像传感器的极低质量的隐私保护图像进行占用检测的挑战。我们提出了一个组合的少样本学习和聚类算法来解决这个挑战,具有非常低的调试和维护成本。虽然少样本学习概念使我们能够用几个标记的示例来调试我们的系统,但是聚类步骤用于在线适应随时间变化的成像环境的目的。除了在基准数据集上验证和比较我们的算法外,我们还展示了我们的算法在使用我们的新型免电池相机硬件从真实家庭收集的流式图像上的性能。
2020-08-13 cs.CV cs.LG