Aligning Instruction Tasks Unlocks Large Language Models as Zero-Shot Relation Extractors
The Ohio State University(俄亥俄州立大学)
针对大型语言模型在关系抽取任务上表现不佳的问题,提出QA4RE框架,通过将关系抽取与问答任务对齐,显著提升了模型在零样本和少样本设置下的性能与鲁棒性。
2023-05-18 cs.CL
Few-Shot and Continual Learning with Attentive Independent Mechanisms
Institute of Electronics, National Chiao Tung University(国立交通大学电子研究所)
众所周知,深度神经网络(DNN)在部署到测试与训练分布具有高度相似性的分布时表现良好。向DNN连续提供在训练分布中看不到的新数据有两个主要挑战-快速适应新任务和旧任务的灾难性遗忘。这些困难为少样本学习和持续学习的研究铺平了道路。为了解决这些问题,我们引入了注意力独立机制(AIM)。我们结合了使用快速和慢速权重的学习思想,以及DNN的特征提取和高阶概念学习的解耦。AIM是为高阶概念学习而设计的,由混合专家模型建模,这些专家竞争学习独立的概念以解决新任务。AIM是一个模块化组件,可以插入现有的深度学习框架。我们通过将其添加到SIB并在MiniImageNet和CIFAR-FS上进行训练来展示其少样本学习的能力,显示出显着的改进。AIM还被应用于在Omniglot、CIFAR-100和MiniImageNet上训练的ANML和OML,以展示其持续学习的能力。代码可在https://github.com/huang50213/AIM-Fewshot-Continual上公开获取。
2021-07-29 cs.AI cs.CV cs.LG
Adapter-Based Few-Shot Continual Learning for Malicious Packet Recognition
University of West Florida(西佛罗里达大学);Florida Institute For Human and Machine Cognition (IHMC)(佛罗里达人机认知研究所)
本研究针对恶意软件分类的小样本类增量学习(FSCIL)设置,提出结合自监督学习(SSL)骨干网络与低秩适配(LoRA)及原型分类头的混合框架,实验显示其性能优于现有基线达到最先进水平。
2026-08-25 cs.AI cs.CR
EcomGPT-CT: Continual Pre-training of E-commerce Large Language Models with Semi-structured Data
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Alibaba Group(阿里巴巴集团);Peng Cheng Laboratory(鹏城实验室)
针对大语言模型在电商领域缺乏领域知识等问题,提出利用无标注通用与电商语料进行持续预训练,并设计数据混合策略,实验验证了其有效性与少样本及零样本性能提升。
2023-12-25 cs.CL
Fine-tuned Language Models are Continual Learners
Meta AI;Columbia University(哥伦比亚大学)
最近的大语言模型的工作依赖于直觉,大多数自然语言处理任务可以通过自然语言指令来描述。在这些指令上训练的语言模型在几个标准数据集上显示出强大的zero-shot性能。然而,这些模型尽管令人印象深刻,但在其各自的训练和评估集之外的广泛任务上仍然表现不佳。为了解决这个问题,我们认为模型应该能够不断扩展其知识和能力,而不会忘记以前的技能。尽管持续学习取得了有限的成功,但我们证明了语言模型可以是持续学习者。我们从经验上研究了这种成功的原因,并得出结论,持续学习来自自我监督的预训练。我们得到的模型Continual-T0(CT 0)能够学习各种新任务,同时在以前的任务上仍然保持良好的性能,总共跨越了70个数据集。最后,我们证明了CT 0能够以从未受过训练的方式组合指令,展示了一些组合性。
2022-10-29 cs.CL
Scaling few-shot spoken word classification with generative meta-continual learning
University of Cape Town(开普敦大学)
本文研究了在仅获得每个类别五个样本的情况下,通过生成性元持续学习(GeMCL)算法对1000个类别进行少样本语音词分类的潜力,并展示了其在性能稳定性及适应速度上的优势。
2026-06-04 cs.AI cs.CL
Preserving Generalization of Language models in Few-shot Continual Relation Extraction
VinAI Research(VinAI研究院);Hanoi University of Science and Technology(河内理工大学);Monash University(莫纳什大学);University of Oregon(俄勒冈大学)
本文针对少样本持续关系抽取中的灾难性遗忘问题,提出利用常被丢弃的语言模型头并通过互信息最大化保持预训练先验知识、对齐主分类头的方法,同时探索大型语言模型的潜力,实验验证了其有效性。
2024-10-01 cs.AI cs.CL
Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction
Nanjing University(南京大学)
本文提出SCKD模型,通过序列知识蒸馏保留先验知识并利用伪样本进行对比学习,解决持续少样本关系抽取中的灾难性遗忘和过拟合问题,在两个基准数据集上验证了其优越性。
2023-05-11 cs.CL
Learn Continually, Generalize Rapidly: Lifelong Knowledge Accumulation for Few-shot Learning
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
随着时间的推移不断扩展知识并利用它快速概括新任务的能力是人类语言智能的一个关键特征。追求快速泛化到新任务的现有模型(例如,然而,少样本学习方法)大多是在固定数据集上的Single Shot中训练的,不能动态地扩展它们的知识;而持续学习算法不是专门为快速泛化而设计的。我们提出了一个新的学习设置,持续学习的Few-Shot学习者(CLIF),以解决这两个学习设置在一个统一的设置的挑战。CLIF假设一个模型从一系列顺序到达的不同NLP任务中学习,积累知识以改进对新任务的泛化,同时保留先前学习的任务的性能。我们研究了泛化能力是如何影响的持续学习设置,评估了一些持续学习算法,并提出了一种新的正则化适配器生成方法。我们发现,灾难性遗忘对泛化能力的影响程度小于对看到的任务的性能,而持续学习算法仍然可以带来相当大的好处的泛化能力。
2022-08-21 cs.CL
Continual Few-shot Event Detection via Hierarchical Augmentation Networks
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Ant Group(蚂蚁集团)
针对传统持续事件检测依赖大量标注数据的局限,提出基于记忆的层次增强网络(HANet),通过原型增强和对比增强模块解决少样本下记忆旧事件类型与学习新事件类型的挑战,在多个任务上显著优于现有方法及ChatGPT。
2024-03-26 cs.CL
CodeIE: Large Code Generation Models are Better Few-Shot Information Extractors
Fudan University(复旦大学);East China Normal University(华东师范大学)
本文提出CodeIE方法,利用代码生成模型(如Codex)通过代码风格提示将信息抽取任务转化为代码生成,在少样本设置下优于微调专用模型和NL-LLMs提示方法。
2023-05-11 cs.AI cs.CL
Small Models Are (Still) Effective Cross-Domain Argument Extractors
University of Rochester(罗切斯特大学)
针对事件论元提取的本体迁移需求,探究问答与模板填充方法的零样本迁移效果,验证了小模型在合适源本体训练下零样本性能优于GPT-3.5、GPT-4等大模型。
2024-04-12 cs.AI cs.CL cs.LG
Continual Few-shot Relation Learning via Embedding Space Regularization and Data Augmentation
Nanyang Technological University(南洋理工大学);Salesforce Research(赛富时研究院)
现有的持续关系学习(CRL)方法依赖于大量的标记训练数据来学习新的任务,这在实际场景中很难获得,因为获得大量具有代表性的标记数据通常是昂贵和耗时的。因此,该模型有必要学习新的关系模式与很少的标记数据,同时避免灾难性遗忘以前的任务知识。在本文中,我们制定了这个具有挑战性的,但实际的问题,连续Few-Shot关系学习(CFRL)。基于新出现的Few-Shot任务的学习通常会导致与先前任务的学习分布不兼容的特征分布的发现,我们提出了一种基于嵌入空间正则化和数据增强的新方法。我们的方法推广到新的Few-Shot任务,并通过对关系嵌入施加额外的约束和以自监督的方式添加额外的{相关}数据来避免对先前任务的灾难性遗忘。通过大量的实验,我们证明了我们的方法可以显着优于以前的国家的最先进的方法在CFRL任务设置。
2022-03-04 cs.CL cs.LG
Learning to Learn for Few-shot Continual Active Learning
Deakin University(迪肯大学);The University of Melbourne(墨尔本大学);Qilu University of Technology(齐鲁工业大学)
针对标注数据不足且预算有限的少样本持续主动学习问题,提出Meta-Continual Active Learning方法,结合元学习、经验回放与文本增强解决灾难性遗忘并确保泛化能力。
2024-05-31 cs.CL cs.LG
Prompt Tuning for Few-Shot Continual Learning Named Entity Recognition
stu.xju.edu.cn(西安交通大学)
针对少样本持续学习命名实体识别中的少样本蒸馏困境,提出面向锚词的提示微调范式与记忆演示模板策略,通过弥合预训练与微调差距并提供历史任务重放样本,有效避免困境并提升性能。
2025-08-10 cs.CL
Few-shot Continual Relation Extraction via Open Information Extraction
Hanoi University of Science and Technology(河内科技大学);Oraichain Labs Inc.(Oraichain实验室公司);VinAI Research(VinAI研究院);Bytedance(字节跳动);VNU University of Engineering and Technology(越南国家大学工程技术大学);University of Oregon(俄勒冈大学)
提出利用开放信息抽取与知识图谱构建的少样本持续关系抽取方法,处理未见关系,增强知识保留与适应性,实验优于现有基线。
2025-02-23 cs.AI cs.CL cs.IR
Revisit Few-shot Intent Classification with PLMs: Direct Fine-tuning vs. Continual Pre-training
The Hong Kong Polytechnic University(香港理工大学);Fano Labs(范诺实验室)
该研究针对少样本意图分类任务,发现直接微调PLMs效果接近持续预训练方法,还提出上下文增强与序列自蒸馏策略,在每类仅2个以上标注样本时性能超越多种依赖外部数据的强基线。
2024-09-15 cs.CL
Few-Shot, No Problem: Descriptive Continual Relation Extraction
Oraichain Labs(Oraichain实验室);Hanoi University of Science and Technology(河内国家大学下属自然科学大学);VinAI Research(VinAI研究院);University of Oregon(俄勒冈大学)
本文提出基于检索的少样本持续关系抽取方法,利用大模型生成关系描述并采用双编码器训练,通过倒数排名融合分数预测关系,有效缓解灾难性遗忘。
2025-02-27 cs.CL
Small LLMs for Medical NLP: a Systematic Analysis of Few-Shot, Constraint Decoding, Fine-Tuning and Continual Pre-Training in Italian
Fondazione Bruno Kessler(布鲁诺·克瑟基金会);University of Padova(帕多瓦大学)
本文研究了小型LLMs在医疗NLP中的应用,发现微调和约束解码能有效提升性能,最佳模型在多个任务中表现优于大模型。
2026-02-19 cs.CL
AdaptKeyBERT: An Attention-Based approach towards Few-Shot & Zero-Shot Domain Adaptation of KeyBERT
Manipal Institute of Technology(马尼帕尔理工学院);Manipal Academy of Higher Education(马尼帕尔高等教育学院)
关键词抽取是现代自然语言处理的一个重要课题。它的应用范围从本体生成,事实验证摘要文本,和推荐系统。虽然它有重要的数据密集型应用程序,但当数据集很小时,它往往受到阻碍。关键字提取器的下游训练是一个漫长的过程,需要大量的数据。最近,已经提出了少样本学习(FSL)和零样本学习(Zero-Shot Learning,ZRL)来解决这个问题。因此,我们提出了AdaptKeyBERT,这是一种通过将正则化注意力的概念纳入下游领域自适应的预训练阶段来训练具有LLM基础的关键字提取器的管道。由于我们相信我们的工作对FSL/FML和关键字提取的管道有影响,我们开源了我们的代码,并在https://github.com/AmanPriyanshu/AdaptKeyBERT上提供了同名AdaptKeyBERT的微调库。
2022-11-16 cs.CL cs.LG
Span-ConveRT: Few-shot Span Extraction for Dialog with Pretrained Conversational Representations
PolyAI Limited(PolyAI有限公司);Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
我们介绍了跨度ConveRT,一个轻量级的对话框插槽填充框架的任务作为一个回合为基础的跨度提取任务的模型。该公式允许在大型预训练会话模型(诸如ConveRT)中编码的会话知识的简单集成(Henderson等人,2019年)。我们表明,在Span-ConveRT中利用这些知识对于少样本学习场景特别有用:我们报告了1)在目标域从头开始训练表示的跨度提取器和2)基于BERT的跨度提取器的一致增益。为了激发更多的工作跨度提取插槽填充任务,我们还发布了RESTAURANTS-8 K,一个新的具有挑战性的数据集,8,198话语,从餐厅预订领域的实际对话中编译。
2020-07-16 cs.CL
Language Models are Causal Knowledge Extractors for Zero-shot Video Question Answering
National Taiwan University(台湾大学);Columbia University(哥伦比亚大学);Mobile Drive Technology(智驾科技)
针对现有QG模型难以生成因果问题导致CVidQA性能不佳的问题,提出CaKE-LM框架,利用语言模型提取因果常识知识生成问答对,在零样本准确率上提升4%至6%。
2023-04-07 cs.CL cs.CV
Revisiting Sparse Retrieval for Few-shot Entity Linking
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对少样本实体链接中标注数据不足导致密集检索性能下降的问题,提出基于ELECTRA的关键词提取器与远程监督方法,构建去噪查询表达式,在ZESHEL数据集上显著超越现有最优模型。
2023-10-19 cs.CL
LEAF: A Robust Expert-Based Framework for Few-Shot Continual Event Detection
Hanoi University of Science and Technology(河内科学技术大学);FPT Software AI Center(FPT软件人工智能中心);Moreh Inc.(Moreh公司)
针对少样本持续事件检测中的灾难性遗忘与数据增强失真问题,本文提出基于 LoRA 专家、语义路由、标签描述对比学习和知识蒸馏的 LEAF 框架,并在多个基准上达到最先进性能。
2025-09-29 cs.CL cs.LG
CoLLIE: Continual Learning of Language Grounding from Language-Image Embeddings
KTH Royal Institute of Technology(KTH皇家理工学院)
本文介绍了CoLLIE:一个简单,但有效的持续学习的语言是如何在视觉的基础模型。给定一个预先训练的多模态嵌入模型,其中语言和图像被投影在相同的语义空间中(在这种情况下,OpenAI的CLIP),CoLLIE学习一个转换函数,该函数在需要时调整语言嵌入以适应新的语言使用。这是通过预测需要应用的差向量以及该向量的缩放因子来完成的,使得仅在需要时应用调整。与传统的少样本学习不同,该模型不仅学习新的类和标签,还可以推广到类似的语言使用并利用语义组合。我们验证了该模型的性能上的两个不同的任务,确定的目标是指表达,它必须学习新的语言使用。结果表明,该模型可以有效地学习和推广,只有少数的例子,与模型的原始zero-shot性能的干扰很小。
2022-07-10 cs.CL
Few-Shot Relation Extraction with Hybrid Visual Evidence
Virginia Tech(弗吉尼亚理工大学)
针对纯文本少样本关系抽取在上下文不足时性能受限的问题,提出MFS-HVE多模态模型,融合全局与局部视觉特征及文本语义,并通过三类注意力实现交互,实验证明视觉信息可显著提升关系预测性能。
2024-03-01 cs.CL cs.CV
Lesion Guided Explainable Few Weak-shot Medical Report Generation
Xiamen University(厦门大学);Tencent Healthcare (Shenzhen) Co., LTD(腾讯医疗健康(深圳)有限公司)
医学图像在临床实践中被广泛用于诊断。自动生成可解释的医疗报告可以减轻放射科医生的负担并促进及时护理。然而,大多数现有的自动报告生成方法需要足够的标记数据进行训练。此外,学习的模型只能为训练类生成报告,缺乏适应以前未见过的新疾病的能力。为此,我们提出了一个病变引导的可解释的几个弱镜头的医疗报告生成框架,通过视觉和语义特征对齐学习看到的和新的类之间的相关性,旨在为训练中未观察到的疾病生成医疗报告。它集成了以病变为中心的特征提取器和基于Transformer的报告生成模块。具体地说,病变为中心的特征提取器检测异常区域,并学习多视图(视觉和词汇)嵌入看到的和新的类之间的相关性。然后,检测到的区域和相应的嵌入的特征被连接为多视图输入到报告生成模块,用于可解释的报告生成,包括文本描述和在图像中检测到的相应异常区域。我们对FFA-IR进行了实验,这是一个提供可解释注释的数据集,表明我们的框架在新疾病的报告生成方面优于其他框架。
2022-11-17 cs.CL cs.CV