Zero-shot stance detection based on cross-domain feature enhancement by contrastive learning
National University of Defense Technology（国防科技大学）
Zero-shot姿态检测是具有挑战性的，因为它需要检测的立场，以前看不见的目标在推理阶段。学习可转移的目标不变特征的能力对于zero-shot姿态检测是至关重要的。在这项工作中，我们提出了一个立场检测方法，可以有效地适应看不见的目标，其核心是捕捉目标不变的语法表达模式作为可转移的知识。具体来说，我们首先通过屏蔽句子的主题词来增强数据，然后将增强的数据馈送到无监督的对比学习模块以捕获可转移的特征。然后，为了适合特定的目标，我们将原始文本编码为目标特定的特征。最后，我们采用了一个注意力机制，它结合了句法表达模式与目标特定的功能，以获得增强功能，预测以前看不见的目标。实验表明，我们的模型在四个基准数据集上的性能优于竞争基线。
2022-10-07 cs.AI cs.CL
Contrastive Learning for Prompt-Based Few-Shot Language Learners
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）
GPT-3使用自然语言提示和上下文学习的令人印象深刻的性能激发了在这种范式下更好地微调中等规模模型的工作。遵循这一工作路线，我们提出了一个对比学习框架，该框架对来自同一类的输入进行聚类，以使仅使用有限示例训练的模型具有更好的通用性。具体来说，我们提出了一个监督的对比框架，聚类输入从同一类下不同的增强“视图”，并排斥从不同的类。我们通过添加不同的语言提示和上下文演示来创建示例的不同“视图”。结合对比损失与标准的掩蔽语言建模（MLM）的损失，在基于martit-based的Few-Shot学习者，实验结果表明，我们的方法可以提高在一组不同的15个语言任务的最先进的方法。我们的框架对任务或基本模型做了最小的假设，并且可以应用于许多最近的方法，只需很少的修改。该守则将在https://github.com/yiren-jian/LM-SupCon上提供。
2022-05-03 cs.AI cs.CL
Zero-Shot Cross-Lingual Document-Level Event Causality Identification with Heterogeneous Graph Contrastive Transfer Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Ant Group（蚂蚁集团）
本文提出GIMC框架，通过异构图交互网络建模文档级事件长距离依赖，并利用多粒度对比迁移学习对齐跨语言因果表示，实现零样本跨语言文档级事件因果关系识别，性能显著优于现有最优模型及GPT-3.5。
2024-03-22 cs.AI cs.CL
Large Language Models are Contrastive Reasoners
Sun Yat-sen University Shenzhen, China（中山大学深圳校区）
本文提出对比提示方法，通过简单提示提升大型语言模型的推理能力，在算术和常识推理任务中优于零样本和少样本方法。
2025-02-17 cs.AI cs.CL
mcBERT: Momentum Contrastive Learning with BERT for Zero-Shot Slot Filling
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
为了解决目标域可用数据有限的问题，Zero-shot孔填充受到了相当大的关注。零样本学习的一个重要因素是使模型学习广义和可靠的表示。为此，我们提出了mc BERT（代表与BERT的动量对比学习），以开发一个强大的零射击（zero-shot）插槽填充模型。mcBERT使用BERT来初始化两个编码器，即查询编码器和密钥编码器，并且通过应用动量对比学习来训练。我们在SNIPS基准测试上的实验结果表明，mcBERT大大优于以前的模型，记录了一个新的国家的最先进的。此外，我们还表明，组成mcBERT的每个组件有助于性能的提高。
2022-06-28 cs.AI cs.CL cs.LG
Large Language Models Meet Contrastive Learning: Zero-Shot Emotion Recognition Across Languages
Nanyang Technological University（南洋理工大学）；Southwest Jiaotong University（西南交通大学）；Kash Institute of Electronics and Information Industry（Kash电子信息产业研究院）；Southwest Petroleum University（西南石油大学）
本文提出结合对比学习与大语言模型的两阶段训练框架，实现跨语言零样本语音情绪识别，并构建大规模合成数据集M5SER，实验验证了其有效性。
2025-03-25 cs.AI cs.CL
HierarchicalContrast: A Coarse-to-Fine Contrastive Learning Framework for Cross-Domain Zero-Shot Slot Filling
College of Computer Science and Technology（计算机科学与技术学院）；Zhejiang University（浙江大学）
针对跨域零样本槽位填充在未见槽位上泛化能力差的问题，提出基于高斯分布嵌入的由粗到细分层对比学习框架HiCL，并设计迭代标签集语义推断方法独立评估未见槽位，在四个数据集上取得优于或可比的性能。
2023-10-20 cs.AI cs.CL
Contrastive Document Representation Learning with Graph Attention Networks
Amazon（亚马逊）；AWS AI Labs（AWS AI 实验室）
基于transformer的语言模型在学习文本的上下文表示方面取得了巨大的成功。然而，由于二次自我注意复杂度，大多数预训练的Transformers模型只能处理相对较短的文本。当涉及到建模非常长的文档时，这仍然是一个挑战。在这项工作中，我们建议在可用的预训练Transformers模型之上使用图形注意力网络来学习文档嵌入。这个图形注意力网络允许我们利用文档的高级语义结构。此外，基于我们的图文档模型，我们设计了一个简单的对比学习策略，在大量未标记的语料库上对我们的模型进行预训练。经验上，我们证明了我们的方法在文档分类和文档检索任务的有效性。
2021-10-20 cs.CL
Self-supervised Document Clustering Based on BERT with Data Augment
Waseda University（早稻田大学）；KDDI Research, Inc.（KDDI研究所）
对比学习是无监督学习的一种很有前途的方法，因为它继承了经过充分研究的深度模型的优点，而无需专门和复杂的模型设计。在本文中，基于双向编码器表示从Transformers，我们提出了自监督对比学习（SCL）以及Few-Shot对比学习（FCL）与无监督数据增强（UDA）的文本聚类。SCL优于国家的最先进的无监督聚类方法的短文本和长文本的几个聚类评价措施。FCL实现了接近监督学习的性能，并且具有UDA的FCL进一步提高了短文本的性能。
2021-09-17 cs.AI cs.CL
Few-shot Text Classification with Dual Contrastive Consistency
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们将探讨如何利用预先训练的语言模型来执行Few-Shot文本分类，其中每个类只给出几个注释的例子。由于在这种情况下使用传统的交叉熵损失对语言模型进行微调会导致严重的过拟合，导致模型泛化效果不佳，因此我们采用了对少量标记数据进行有监督对比学习，对大量未标记数据进行一致性正则化的方法。此外，我们提出了一种新的对比一致性，以进一步提高模型性能和改进句子表示。在四个数据集上进行了广泛的实验后，我们证明了我们的模型（FTCC）可以优于最先进的方法，并具有更好的鲁棒性。
2022-09-29 cs.AI cs.CL cs.LG
Contrastive Representation Learning for Cross-Document Coreference Resolution of Events and Entities
AWS AI Labs（亚马逊云科技人工智能实验室）
识别文档内和跨文档的相关实体和事件是自然语言理解的基础。本文提出了一种基于对比表示学习的实体和事件共指消解方法。早期的最先进的方法已经将这个问题公式化为二进制分类问题，并在交叉编码器架构中利用大型Transformers来实现其结果。对于文档的大集合和$n$提及的对应集合，在这些早期方法中执行$n^{2}$ Transformer计算的必要性可能是计算密集型的。我们表明，通过应用仅需要在推理时进行$n$ Transformer计算的对比学习技术，可以减轻这种负担。我们的方法在ECB+语料库的一些关键指标上取得了最先进的结果，并且在其他方面具有竞争力。
2022-05-23 cs.CL
Efficient Document Embeddings via Self-Contrastive Bregman Divergence Learning
Ludwig Maximilian University of Munich (LMU)（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Copenhagen（哥本哈根大学）
针对长文档嵌入的效率与质量问题，本文提出结合 SimCSE 自对比孪生网络与基于 Bregman 散度的神经网络的混合方法，在法律和生物医学长文档分类任务上优于基线方法。
2024-03-26 cs.CL
Contrastive Multi-document Question Generation
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
多文档问题生成的重点是生成一个问题，涵盖了多个文档的共同方面。这种模式有助于产生澄清性的备选方案。然而，仅使用目标（“肯定”）文档集训练的朴素模型可能会生成过于通用的问题，这些问题覆盖的范围比文档集所描绘的范围更大。为了应对这一挑战，我们引入了对比学习策略，其中给定“正面”和“负面”文档集，我们生成一个与“正面”集密切相关但远离“负面”集的问题。此设置允许生成的问题更具体，并与目标文档集相关。为了生成这样的具体问题，我们提出了多源协调问题生成器（MSCQG），一个新的框架，包括监督学习（SL）阶段和强化学习（RL）阶段。在SL阶段，训练了一个单文档问题生成器。在RL阶段，协调器模型被训练以通过优化旨在促进生成的问题的特异性的奖励来找到最佳注意力权重以对齐多个单文档生成器。我们还开发了一个有效的辅助目标，命名为集合诱导的对比正则化（SCR），提高协调员的对比学习在RL阶段。我们表明，我们的模型显著优于几个强大的基线，通过自动指标和人工评估来衡量。源存储库在\url{www.github.com/woonsangcho/contrast_qgen}上公开提供。
2021-05-18 cs.CL
Label-template based Few-Shot Text Classification with Contrastive Learning
School of Computer Science, Chongqing University（重庆大学计算机学院）
针对现有小样本文本分类元学习方法对类别标签利用不足、依赖类间方差易受噪声影响的问题，提出融合标签模板嵌入、监督对比学习与注意力机制的框架，在四个典型数据集上性能超越现有最先进模型。
2024-12-13 cs.AI cs.CL
Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction
University of Electronic Science and Technology of China（电子科技大学）
针对小样本关系抽取中现有监督对比学习未充分利用实例-标签对丰富语义的问题，提出包含句子与标签双锚定对称对比损失的协同锚定预训练框架，有效提升下游任务性能及领域偏移、零样本场景的适配性。
2024-03-11 cs.AI cs.CL
An Explicit-Joint and Supervised-Contrastive Learning Framework for Few-Shot Intent Classification and Slot Filling
Dalian University of Technology（大连理工大学）；Peking University（北京大学）
意图分类（IC）和槽填充（SF）是面向任务的对话系统中的关键构建块。这两项任务密切相关，可以相互促进。由于只有少数话语可以用于识别快速出现的新意图和槽，因此在实现IC和SF时经常发生数据稀缺问题。然而，很少有IC/SF模型表现良好时，每个类的训练样本的数量是相当少的。在本文中，我们提出了一种新的显式联合和监督对比学习框架的Few-Shot意图分类和插槽填充。其要点如下。(i)该模型通过双向交互提取意图和槽表示，并扩展原型网络实现显式联合学习，保证了IC和SF任务能够相互增强。(ii)该模型集成了有监督的对比学习，确保来自同一类的样本被拉到一起，而来自不同类的样本被推开。此外，该模型遵循一种不常见但实用的情节构造方法，摆脱了传统的固定方式和镜头的设置，并允许不平衡的数据集。在三个公共数据集上的大量实验表明，我们的模型可以取得令人满意的性能。
2021-10-26 cs.AI cs.CL
Efficient Information Extraction in Few-Shot Relation Classification through Contrastive Representation Learning
IESEG School of Management（IESEG管理学院）；KU Leuven（鲁汶大学）
本文提出一种结合多种句子表示与对比学习的新方法，用于少样本关系分类中的信息抽取，有效利用模型内部未开发的互补判别信息，在低资源及不同约束下均保持稳健性能。
2024-03-25 cs.AI cs.CL
GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization
National Centre for Text Mining（国家文本挖掘中心）；The University of Manchester（曼彻斯特大学）；Chancefocus AMC
最近，神经主题模型（NTM）已被纳入到预训练的语言模型（PLM），以捕捉全局语义信息的文本摘要。然而，在这些方法中，仍然存在的方式，他们捕获和集成的全局语义信息的限制。在本文中，我们提出了一种新的模型，图对比主题增强语言模型（GRETEL），它结合了图对比主题模型与预训练的语言模型，充分利用全局和局部上下文语义的长文档提取摘要。为了更好地捕获全局语义信息并将其合并到PLM中，图对比主题模型集成了分层Transformer编码器和图对比学习，以融合来自全局文档上下文和黄金摘要的语义信息。为此，GRETEL鼓励模型有效地提取与黄金摘要主题相关的突出句子，而不是覆盖次优主题的冗余句子。在一般领域和生物医学数据集上的实验结果表明，我们提出的方法优于SOTA方法。
2022-08-21 cs.CL
CLLMFS: A Contrastive Learning enhanced Large Language Model Framework for Few-Shot Named Entity Recognition
iFLYTEK Co., Ltd.（科大讯飞股份有限公司）；Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）
针对少样本命名实体识别在跨领域上鲁棒性不足的问题，提出CLLMFS框架，结合低秩适应与对比学习增强大型语言模型的内部表示，有效提升了实体边界感知与识别准确率，在多个基准上取得显著的F1分数提升。
2024-08-23 cs.AI cs.CL
DeepChannel: Salience Estimation by Contrastive Learning for Extractive Document Summarization
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）
我们提出了DeepChannel，这是一个强大的，数据高效的，可解释的神经模型，用于提取文档摘要。给定任何文档-摘要对，我们都会估计一个显着分数，该分数使用基于注意力的深度神经网络建模，以表示用于生成文档的摘要的显着程度。我们设计了一种对比训练策略来学习显着性估计网络，然后使用学习到的显着性得分作为指导，并迭代地从文档中提取最显着的句子作为我们生成的摘要。在实验中，我们的模型不仅在CNN/Daily Mail数据集上获得了最好的ROUGE分数，而且在DUC 2007测试集上的域外测试中也表现出了很强的鲁棒性。此外，我们的模型在CNN/Daily Mail测试集上仅使用$1 / 100$训练集就达到了39.41的ROUGE-1 F-1得分，展示了巨大的数据效率。
2018-11-07 cs.CL
Zero-shot Aspect-level Sentiment Classification via Explicit Utilization of Aspect-to-Document Sentiment Composition
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Faculty of Computing（计算学部）；Harbin Institute of Technology（哈尔滨工业大学）
由于方面级情感标签是昂贵的和劳动密集型的获取，zero-shot方面级情感分类提出学习适用于新的领域，而不使用任何注释的方面级数据的分类器。相比之下，带有评级的文档级情感数据更容易访问。在这项工作中，我们实现了zero-shot方面级的情感分类，只使用文档级的评论。我们的关键直觉是，文档的情感表示由该文档所有方面的情感表示组成。在此基础上，我们提出了AF-DSC方法来显式地对评论中的情感成分进行建模。AF-DSC首先学习所有潜在方面的情感表示，然后将方面级情感聚合到文档级情感中，以执行文档级情感分类。通过这种方式，我们获得方面级情感分类器作为文档级情感分类器的副产品。方面级情感分类基准测试的实验结果表明，在文档级情感分类中显式利用情感成分的有效性。我们的模型只有3万个训练数据，优于以前的工作，利用数百万的数据。
2022-09-06 cs.AI cs.CL
miCSE: Mutual Information Contrastive Learning for Low-shot Sentence Embeddings
SAP AI Research（SAP人工智能研究院）
本文提出基于互信息的对比学习框架miCSE，通过强制不同视图间注意力模式对齐与结构一致性，提升了对比自监督学习的样本效率，在少样本句子嵌入任务上取得优异表现。
2023-05-23 cs.CL cs.LG
ColMate: Contrastive Late Interaction and Masked Text for Multimodal Document Retrieval
ServiceNow；York University（约克大学）；MILA - Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；École de technologie supérieure（卓越工程学院）
针对多模态文档检索直接套用纯文本检索技术的局限，提出ColMate模型，结合基于OCR的预训练、自监督掩码对比学习与后期交互评分机制，在ViDoRe V2基准上提升3.61%并增强域外泛化能力。
2025-11-02 cs.CL
Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning
Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
预训练的语言模型（PLM）在IR系统中的各种语言理解任务中取得了显著的性能，这些任务需要基于标记的训练数据的微调过程。对于低资源场景，PLM的基于任务的学习利用提示作为任务指导，并将下游任务转化为掩蔽的语言问题，以进行有效的Few-Shot微调。在大多数现有的方法中，基于机器学习的高性能在很大程度上依赖于手工制作的提示和言语化器，这可能会限制这种方法在现实世界场景中的应用。为了解决这个问题，我们提出CP调整，第一个端到端的对比提示微调框架微调PLM没有任何手工工程的任务特定的提示和言语。它集成了任务不变的连续提示编码技术，具有完全可训练的提示参数。我们进一步提出了成对代价敏感的对比学习过程来优化模型，以实现无动词的类映射，并增强提示的任务不变性。它明确地学习区分不同的类，并通过为简单和困难的情况分配不同的成本来使决策边界更平滑。在IR系统和不同PLM中使用的各种语言理解任务的实验表明，CP调整优于最先进的方法。
2022-04-01 cs.AI cs.CL
Few-Shot Intent Detection via Contrastive Pre-Training and Fine-Tuning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Adobe Research（Adobe 研究院）
在这项工作中，我们专注于一个更具挑战性的Few-Shot意图检测的情况下，许多意图是细粒度和语义相似。我们提出了一个简单而有效的Few-Shot意图检测模式，通过对比预训练和微调。具体来说，我们首先对收集到的意图数据集进行自我监督的对比预训练，隐式学习在不使用任何标签的情况下区分语义相似的话语。然后，我们将Few-Shot意图检测与监督式对比学习一起执行，这明确地将来自相同意图的话语拉得更近，并将不同意图的话语推得更远。实验结果表明，我们提出的方法实现了国家的最先进的性能在三个具有挑战性的意图检测数据集下的5杆和10杆的设置。
2021-09-13 cs.CL cs.LG
Contrastive Hierarchical Discourse Graph for Scientific Document Summarization
University of California, Davis（加州大学戴维斯分校）
本文提出 CHANGES，通过层级语篇图、图信息聚合与图对比学习获得主题感知句子表示，用于抽取式科学论文摘要，并在 PubMed 和 arXiv 上验证有效。
2023-05-31 cs.CL
Improving Zero-shot Reader by Reducing Distractions from Irrelevant Documents in Open-Domain Question Answering
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本研究提出干扰感知答案选择（DAS）方法，通过否定指令和分数调整减少不相关文档干扰，提升开放域问答中零样本阅读器的性能，并展现无需训练的强迁移能力。
2023-11-14 cs.AI cs.CL
MuDAF: Long-Context Multi-Document Attention Focusing through Contrastive Learning on Attention Heads
Microsoft Corporation（微软公司）
针对LLM长上下文中的注意力分散问题，本文提出MuDAF，通过对比学习在注意力头层面优化注意力分布，显著提升多文档长上下文问答性能。
2025-02-19 cs.CL
PELMS: Pre-training for Effective Low-Shot Multi-Document Summarization
University of Michigan（密歇根大学）
PELMS通过基于语义连贯性和忠实性约束的预训练目标，利用大规模多文档语料库，在低样本多文档摘要任务中显著提升了摘要的抽象性、连贯性和忠实性。
2023-11-16 cs.AI cs.CL
Bi-Granularity Contrastive Learning for Post-Training in Few-Shot Scene
Sun Yat-sen University（中山大学）
将预训练的语言模型应用于下游任务的主要范例是在标记的任务数据上对其进行微调，当标记的示例很少时，这些任务数据通常会不稳定且性能低下。缓解这个问题的一种方法是在微调之前对未标记的任务数据应用后训练，通过考虑令牌级或序列级相似性的对比学习使预训练模型适应目标域。受序列掩蔽成功的启发，我们认为标记级和序列级的相似性都可以用一对掩蔽序列来捕获。因此，我们提出了互补随机掩蔽（CRM）从输入序列中生成一对掩蔽序列用于序列级对比学习，然后开发对比掩蔽语言建模（CMLM）用于后训练，以整合标记级和序列级对比学习。实验结果表明，CMLM超越了最近的几个后训练方法在Few-Shot设置，而不需要数据增强。
2021-06-04 cs.CL
Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction
Nanjing University（南京大学）
本文提出SCKD模型，通过序列知识蒸馏保留先验知识并利用伪样本进行对比学习，解决持续少样本关系抽取中的灾难性遗忘和过拟合问题，在两个基准数据集上验证了其优越性。
2023-05-11 cs.CL
mCPT at SemEval-2023 Task 3: Multilingual Label-Aware Contrastive Pre-Training of Transformers for Few- and Zero-shot Framing Detection
Graz University of Technology（格拉茨技术大学）
本文提出基于多语言Transformers和标签感知对比损失函数的预训练系统，解决多语言少样本与零样本框架检测问题，在零样本西班牙语任务中获胜并在8种语言中表现优异。
2023-08-01 cs.AI cs.CL cs.LG
Dual-Confidence Contrastive Decoding for Retrieval-Augmented Generation
ServiceNow Research（ServiceNow研究院）；University of British Columbia（不列颠哥伦比亚大学）
针对多文档检索增强生成中的内部证据冲突问题，提出无需训练的双置信对比解码方法，结合文档级和词元级置信度选择正负流，在DRQA等基准上取得最佳平均性能。
2026-07-02 cs.CL
PESCO: Prompt-enhanced Self Contrastive Learning for Zero-shot Text Classification
Carnegie Mellon University（卡内基梅隆大学）
PESCO是一种新颖的对比学习框架，通过添加提示增强标签匹配并利用检索标签在自训练循环中丰富训练集，将文本分类转化为神经文本匹配问题，在四个基准数据集上实现了零样本文本分类的最先进性能。
2023-05-24 cs.CL
Improving Embedding Accuracy for Document Retrieval Using Entity Relationship Maps and Model-Aware Contrastive Sampling
Fifth Dimension AI（第五维度人工智能公司）
提出APEX-Embedding-7B，通过结构化实体关系图的收敛前中断微调与模型感知对比采样，提升长上下文文档RAG检索的事实聚焦能力并取得90.86% rank@1。
2024-10-08 cs.AI cs.CL cs.IR
ContrastNet: A Contrastive Learning Framework for Few-Shot Text Classification
Beihang University（北京航空航天大学）；University of Ottawa（渥太华大学）；University of Leeds（利兹大学）
提出对比学习框架ContrastNet，通过拉近同类、推开异类表示学习判别性特征，并在任务级和实例级引入无监督对比正则化防止过拟合，在8个数据集上超越现有最先进模型。
2023-05-16 cs.CL
Bridge to Target Domain by Prototypical Contrastive Learning and Label Confusion: Re-explore Zero-Shot Learning for Slot Filling
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan Group（美团集团）
Zero-shot跨域缝隙填充技术在目标域数据稀缺的情况下，消除了数据相关性，引起了广泛的研究。然而，现有的方法大多不能有效地将知识转移到目标领域，只能拟合目标领域中可见槽的分布，而对目标领域中不可见槽的知识转移效果较差。为了解决这个问题，我们提出了一种新的方法，基于原型对比学习与动态标签混淆策略的zero-shot插槽填充。原型对比学习的目的是重构标签的语义约束，我们引入标签混淆策略来动态建立源域和目标域之间的标签依赖。实验结果表明，我们的模型实现了显着的改善，同时也设置了新的国家的最先进的槽填充任务。
2021-10-07 cs.CL
CONTaiNER: Few-Shot Named Entity Recognition via Contrastive Learning
Pennsylvania State University（宾夕法尼亚州立大学）
Few-Shot环境下的命名实体识别对于低资源域中的实体标注是必不可少的。现有的方法只能从源域中学习类特定的语义特征和中间表示。这影响了对看不见的目标域的推广，导致次优性能。为此，我们提出了CONTiNER，一种新的对比学习技术，优化了Few-Shot NER的令牌间分布距离。CONTaiNER没有优化特定于类的属性，而是优化了一个广义目标，即基于高斯分布嵌入来区分令牌类别。这有效地消除了源于训练域的过拟合问题。我们在几个传统的测试领域（OntoNotes，CoNLL'03，WNUT '17，GUM）和一个新的大规模Few-Shot NER数据集（Few-NERD）的实验表明，平均而言，CONTiNER优于以前的方法3%-13%的绝对F1点，同时显示出一致的性能趋势，即使在具有挑战性的情况下，以前的方法无法实现可观的性能。
2022-03-28 cs.CL
A Prototypical Semantic Decoupling Method via Joint Contrastive Learning for Few-Shot Name Entity Recognition
本文提出PSDC方法，通过两种掩码策略解耦类别原型与上下文语义原型，并结合联合对比学习，在少样本命名实体识别任务上超越现有SOTA方法。
2023-04-12 cs.CL
Neighborhood Contrastive Learning for Scientific Document Representations with Citation Embeddings
DFKI GmbH（德国人工智能研究中心）；University of Göttingen（哥廷根大学）；University of Copenhagen（哥本哈根大学）
通过对比学习目标，可以大大改善学习科学文档表示，其中的挑战在于创建编码所需相似性语义的正训练样本和负训练样本。先前的工作依赖于离散引用关系来生成对比样本。然而，离散引用强制执行硬截止相似性。这与基于相似性的学习是反直觉的，并且忽略了科学论文尽管缺乏直接引用也可以非常相似-这是寻找相关研究的核心问题。相反，我们使用受控的最近邻采样引用图嵌入对比学习。这种控制使我们能够学习连续的相似性，对难以学习的阴性和阳性样本进行采样，并通过控制它们之间的采样裕度来避免阴性和阳性样本之间的冲突。由此产生的方法SciNCL在Sciencore基准测试中优于最先进的方法。此外，我们证明，它可以训练（或调整）模型的样本效率，它可以与最近的训练效率的方法相结合。也许令人惊讶的是，即使是以这种方式训练通用领域的语言模型，其性能也优于在领域内预先训练的基线。
2022-10-19 cs.CL
ToneCL: Contrastive Learning for Few-Shot Syllable-Level Tone Classification
The University of Hong Kong（香港大学）
针对低资源声调语言音节级标注困难，提出轻量级对比学习框架ToneCL，通过保持声调身份的增强预训练和少样本微调，在普通话和越南语上显著优于基线，跨语言迁移有效。
2026-09-22 cs.CL
A Unified Label-Aware Contrastive Learning Framework for Few-Shot Named Entity Recognition
Samsung R&D Institute China-Beijing（三星中国北京研发院）
针对少样本 NER 中标签语义利用不当导致上下文表示区分不足的问题，提出统一标签感知 token 级对比学习框架，结合后缀提示与双对比目标，在多个数据集上显著超越现有方法。
2024-05-08 cs.CL
Efficient Few-Shot Medical Image Analysis via Hierarchical Contrastive Vision-Language Learning
Autonomous University of Nuevo León（新莱昂自治大学）
针对医学图像小样本分类标注数据不足的问题，提出带分层对比对齐的自适应视觉-语言微调框架HiCA，通过两阶段微调实现多模态表征多层级对齐，在两个医学基准数据集的小样本、零样本任务上均达SOTA，兼具鲁棒性与可解释性。
2025-01-16 cs.CL cs.CV
Graph Contrastive Topic Model
The University of Manchester（曼彻斯特大学）；Wuhan University（武汉大学）
本文针对神经主题模型对比学习中词频采样导致的样本偏差问题，提出图对比主题模型GCTM，通过图采样生成语义无关负样本和相关正样本，提升主题连贯性与文档表示学习效果。
2023-07-05 cs.CL
Topic Modeling as Multi-Objective Contrastive Optimization
Institute of Data Science (IDS), National University of Singapore (NUS)（数据科学研究所（IDS），新加坡国立大学）；Nanyang Technological University (NTU)（南洋理工大学）；Carnegie Mellon University (CMU)（卡内基梅隆大学）
针对神经主题模型中文档级对比学习捕获低级信息及ELBO与对比损失冲突的问题，提出面向主题向量集合的对比学习方法，并将其转化为基于梯度的多目标优化问题以寻求帕累托平稳解，显著提升了主题连贯性、多样性与下游性能。
2025-07-13 cs.CL
SimCKP: Simple Contrastive Learning of Keyphrase Representations
Naver Webtoon AI（Naver Webtoon人工智能）；KAIST AI（韩国科学技术院人工智能）
提出SimCKP对比学习框架，通过两阶段提取与重排序关键短语表示，显著超越现有最先进模型。
2023-10-12 cs.AI cs.CL cs.LG
VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding
Facebook AI（脸书人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了VideoCLIP，这是一种对比方法，用于预训练zero-shot视频和文本理解的统一模型，而无需在下游任务上使用任何标签。VideoCLIP通过将时间上重叠的正视频-文本对与最近邻检索的硬否定进行对比，来训练视频和文本的Transformer。我们对一系列下游任务的实验，包括序列级文本视频检索，VideoQA，令牌级动作定位和动作分割，揭示了最先进的性能，超过了先前的工作，在某些情况下甚至优于监督方法。代码可在https://github.com/pytorch/fairseq/tree/main/examples/MMPT上获得。
2021-10-01 cs.CL cs.CV
A Transformer-Based Contrastive Learning Approach for Few-Shot Sign Language Recognition
Universidade Federal do Rio Grande do Norte（联邦大学-里约格朗德杜北州分校）；CESAR；Lenovo（联想）
针对单目视频或2D姿态序列的手语识别难题，提出基于对比Transformer的模型，学习身体关键点序列的丰富表示，支持训练中未见手语的单样本和少样本分类任务，在LSA64数据集上效果良好。
2026-07-07 cs.AI cs.CL cs.CV
Few-Shot Document-Level Relation Extraction
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
我们提出了FREDo，一个Few-Shot文档级关系抽取（FSDLRE）基准。相对于现有的基准是建立在文档级关系抽取语料库，我们认为，文档级语料库提供更多的现实主义，特别是关于非上述（NOTA）的分布。因此，我们提出了一组FSDLRE任务，并基于两个现有的监督学习数据集，DocRED和sciERC构建了一个基准。我们适应国家的最先进的文档级的方法MNAV，并进一步发展，以改善领域自适应。我们发现FSDLRE是一个具有挑战性的设置有趣的新特性，如能够从支持集采样NOTA实例。数据、代码和训练模型可在线获取（https：//github.com/nicpopovic/FREDo）。
2022-07-01 cs.AI cs.CL cs.LG
Shuffle & Divide: Contrastive Learning for Long Text
Samsung SDS（三星SDS）
本文提出基于 Shuffle and Divide 增强与对比学习的长文本自监督方法，通过重复对比更新和聚类实现无监督分类，并在多个数据集上显著提升性能。
2023-04-19 cs.CL cs.LG
Contrastive Distillation of Emotion Knowledge from LLMs for Zero-Shot Emotion Recognition
University of Michigan（密歇根大学）
提出对比蒸馏框架，从LLMs（如GPT-4）蒸馏情感知识至紧凑模型，实现零样本情感识别，性能接近GPT-4且规模小万倍以上。
2025-05-23 cs.CL
Label-enhanced Prototypical Network with Contrastive Learning for Multi-label Few-shot Aspect Category Detection
Dalian University of Technology（大连理工大学）；Peking University（北京大学）
多标记体类别检测允许一个评论语句包含多个体类别，在情感分析中具有更好的实用性，并受到越来越多的关注。由于标注大量数据是耗时且劳动密集型的，在现实世界的场景中经常发生数据稀缺，这激发了多标签Few-Shot方面类别检测。然而，对这一问题的研究仍处于起步阶段，可用的方法很少。在本文中，我们提出了一种新的标签增强的原型网络（LPN）的多标签Few-Shot方面类别检测。LPN的亮点可以总结如下。首先，它利用标签描述作为辅助知识来学习更多的判别原型，它可以保留方面相关的信息，同时消除不相关的方面造成的有害影响。其次，它与对比学习相结合，鼓励具有相同体标签的句子在嵌入空间中被拉到一起，同时将具有不同体标签的句子推开。此外，本文还引入了自适应多标签推理模块来预测句子中的体数，该方法简单而有效。在三个数据集上的大量实验结果表明，我们提出的模型LPN可以始终如一地实现最先进的性能。
2022-06-14 cs.AI cs.CL cs.LG
Combining State-of-the-Art Models with Maximal Marginal Relevance for Few-Shot and Zero-Shot Multi-Document Summarization
University of Lethbridge（莱斯布里奇大学）；International Institute of Information Technology Bangalore（班加罗尔国际信息技术学院）
在自然语言处理中，多文档摘要（MDS）比单文档摘要（SDS）更具有挑战性。这些挑战包括增加的搜索空间和包含冗余信息的更大可能性。虽然深度学习方法的进步已经导致开发了几种能够总结的高级语言模型，但特定于MDS问题的各种训练数据仍然相对有限。因此，MDS方法需要很少或不需要预训练，分别称为Few-Shot或zero-shot应用程序，可能是对当前汇总工具集的有益补充。为了探索一种可能的方法，我们设计了一种策略，结合国家的最先进的模型的输出，使用最大边际相关性（MMR）的重点是查询相关性，而不是文档的多样性。我们的基于MMR的方法显示了在Few-Shot和zero-shot MDS应用中当前最先进的结果的某些方面的改进，同时通过所有可用的度量保持最先进的输出标准。
2022-11-19 cs.CL
Robustification of Multilingual Language Models to Real-world Noise in Crosslingual Zero-shot Settings with Robust Contrastive Pretraining
University of Edinburgh（爱丁堡大学）；WS AI Labs（WS人工智能实验室）；New York University（纽约大学）
神经建模的进步已经在公共自然语言处理（NLP）基准测试中取得了最先进的（SOTA）结果，有时甚至超过了人类的表现。然而，在公共基准测试和真实世界的应用程序之间存在着差距，在真实世界的应用程序中，噪音（如排版或语法错误）非常丰富，可能导致性能下降。不幸的是，评估神经模型对噪声数据的鲁棒性并提出改进的工作仅限于英语。在分析不同语言中的噪音时，我们观察到不同语言中的噪音类型差异很大。因此，现有的调查并没有简单地推广到多语言环境。为了对预训练的多语言模型的性能进行基准测试，我们构建了涵盖五种语言和四个NLP任务的噪声数据集，并观察到zero-shot跨语言设置中干净数据和噪声数据之间的性能存在明显差距。在研究了几种提高多语言模型鲁棒性的方法之后，我们提出了鲁棒对比预训练（RCP）。RCP在预训练阶段将数据增强与对比损失项相结合，并在两个重复级别（+3.2%）和两个序列标记（+10 F1分数）的多语言分类任务中对噪声（和原始测试数据）进行了大幅改进。
2023-02-10 cs.AI cs.CL cs.LG
