Gated Multimodal Fusion with Contrastive Learning for Turn-taking Prediction in Human-robot Dialogue
JD AI（京东人工智能研究院）；University of Cambridge（剑桥大学）
话轮转换是构建人机对话系统的重要环节，其目的是决定下一个说话者何时开始说话。先前的研究表明，多模态线索可以促进这一具有挑战性的任务。然而，由于公共多模式数据集的缺乏，当前的方法大多仅限于利用单模式特征或简单化的多模式集成模型。此外，真实场景中固有的类不平衡性，如以短暂停顿结尾的句子大多被认为是话轮结束，也给话轮转换决策带来了很大的挑战。在本文中，我们首先收集了一个大规模的话轮转换注释语料库，其中包含5,000多个真实的语音和文本形式的人机对话。然后，一种新的门控多模态融合机制的设计，无缝地利用各种信息的话轮转换预测。更重要的是，为了解决数据不平衡的问题，我们设计了一个简单而有效的数据增强方法来构建没有监督的负实例，并应用对比学习来获得更好的特征表示。进行了大量的实验，结果表明，我们的模型在几个国家的最先进的基线的优越性和竞争力。
2022-04-18 cs.AI cs.CL eess.AS
Don't Judge a Language Model by Its Last Layer: Contrastive Learning with Layer-Wise Attention Pooling
Korea University（高丽大学）；George Washington University（乔治华盛顿大学）
最近的预训练语言模型（PLM）通过学习语言特征和上下文化的句子表示，在许多自然语言处理任务上取得了巨大的成功。由于在PLM的堆叠层中捕获的属性没有被清楚地识别，因此通常首选直接的方法，例如嵌入最后一层，以从PLM中导出句子表示。本文介绍了基于注意力的池化策略，该策略使模型能够保留在每一层中捕获的逐层信号，并为下游任务学习消化的语言特征。对比学习目标可以使逐层注意力池适应无监督和有监督的方式。它导致预训练嵌入的各向异性空间正则化，并且更加均匀。我们评估我们的模型上的标准语义文本相似性（STS）和语义搜索任务。因此，我们的方法提高了基本对比学习BERT_base和变体的性能。
2022-09-13 cs.AI cs.CL
MCP: Self-supervised Pre-training for Personalized Chatbots with Multi-level Contrastive Sampling
Renmin University of China（中国人民大学）；University of Montreal（蒙特利尔大学）
个性化聊天机器人专注于赋予聊天机器人一致的个性，以表现得像真实用户一样，并进一步充当个人助理。以前的研究已经探索了从用户的对话历史中生成隐式用户简档，以构建个性化的聊天机器人。然而，这些研究仅使用响应生成损失来训练整个模型，因此容易遭受数据稀疏的问题。此外，他们过分强调最终生成的响应的质量，而忽略了用户的对话历史之间的相关性和融合，导致粗糙的数据表示和性能下降。为了解决这些问题，我们提出了一个自监督学习框架MCP，用于从用户的对话历史中捕获更好的表示，以用于个性化聊天机器人。具体来说，我们应用对比采样方法来利用隐藏在用户对话历史中的监督信号，并生成用于增强模型的预训练样本。我们设计了三个预训练任务，基于三种类型的对比对用户对话历史，即响应对，序列增强对，和用户对。我们预先训练的话语编码器和历史编码器的对比目标，并使用这些预先训练的编码器生成用户简档，而个性化的响应生成。在两个真实数据集上的实验结果表明，与现有的方法相比，我们提出的模型MCP有显着的改善。
2022-12-14 cs.AI cs.CL cs.LG
Contrastive Learning Reduces Hallucination in Conversations
Shandong University（山东大学）；University of Amsterdam（阿姆斯特丹大学）
预先训练的语言模型（LM）将知识存储在其参数中，并且当用于会话系统中时可以生成信息性响应。然而，LMs遭受“幻觉“的问题：它们可能会产生看似不相关或事实上不正确的陈述。为了解决这个问题，我们提出了一个对比学习计划，命名为MixCL。提出了一种新的混合对比目标，以显式优化LM的隐式知识获取过程，从而减少他们在对话中的幻觉。我们还研究了检索到的硬底片和模型生成的底片的负采样策略。我们在维基百科的向导上进行实验，这是一个公共的，开放领域的知识基础对话基准，并评估MixCL的有效性。MixCL有效地减少了会话中LM的幻觉，并在相关性和真实性方面达到了基于LM的对话代理的最高性能。我们表明，MixCL实现了与最先进的基于KB的方法相当的性能，同时在效率和可扩展性方面具有显着的优势。
2022-12-20 cs.AI cs.CL
Contrastive Learning Subspace for Text Clustering
Alibaba Group（阿里巴巴集团）；Soochow University（苏州大学）
针对现有对比学习文本聚类忽略实例间潜在关系的问题，提出子空间对比学习（SCL）方法，通过自表达模块构建虚拟正样本并学习判别性子空间建模簇级关系，在多数据集上取得优异结果且降低正样本构建复杂度。
2024-08-26 cs.AI cs.CL
Learning Co-Speech Gesture Representations in Dialogue through Contrastive Learning: An Intrinsic Evaluation
University of Amsterdam（阿姆斯特丹大学）；Maastricht University（马斯特里赫特大学）；Radboud University（拉德堡德大学）；Meertens Institute（米滕斯研究所）；MPI for Psycholinguistics（马克斯·普朗克心理语言学研究所）
针对面对面对话中伴随语音的手势表征受语境影响难学习的问题，提出结合单模态与多模态预训练的自监督对比学习方法，经内在评估验证其能学习有效手势表征，为大规模手势分析提供支撑。
2024-08-31 cs.AI cs.CV cs.SD
Dynamic Knowledge Fusion for Multi-Domain Dialogue State Tracking
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd（中国电信人工智能研究院（TeleAI））
本文提出一种动态知识融合框架，通过对比学习和结构化提示提升多领域对话状态跟踪的准确性和泛化能力。
2026-03-11 cs.AI cs.CL
Semi-Supervised Clustering with Contrastive Learning for Discovering New Intents
MYbank, Ant Group（蚂蚁集团网商银行）
现实世界中的大多数对话系统依赖于预定义的意图和答案来提供问答服务，因此，从大型语料库中发现潜在的意图对于构建此类对话服务非常重要。考虑到大多数场景中已知的意图很少，大多数意图等待被发现，我们专注于半监督文本聚类，并试图使所提出的方法受益于标记样本，以获得更好的整体聚类性能。在本文中，我们提出了深度对比半监督聚类（DCSC），它的目的是在一个半监督的方式聚类文本样本，并提供分组的意图给操作人员。为了使DCSC充分利用有限的已知意图，我们提出了一个两阶段的DCSC训练过程，其中DCSC将在标记样本和未标记样本上进行训练，并获得更好的文本表示和聚类性能。我们在两个公共数据集上进行了实验，将我们的模型与几种流行的方法进行了比较，结果表明DCSC在所有数据集和情况下都取得了最佳性能，表明了我们工作中改进的效果。
2022-01-07 cs.AI cs.CL cs.LG
HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction
Tsinghua University（清华大学）；Amazon（亚马逊）；University of Illinois at Chicago（伊利诺伊大学香槟分校）
提出层次范例对比学习框架HiURE，利用跨层次注意力获取层次信号并优化句子关系表示，解决无监督关系抽取中的漂移和相似句对误分问题，在公开数据集上优于现有模型。
2025-06-18 cs.AI cs.CL
Joint Learning of Context and Feedback Embeddings in Spoken Dialogue
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出使用对比学习目标将简短对话上下文与反馈回应嵌入同一表示空间，该方法在美式英语对话的反馈排序任务中优于人类，且学到的嵌入包含了会话功能信息。
2024-06-11 cs.AI cs.CL cs.LG
Enhancing Topic Interpretability for Neural Topic Modeling through Topic-wise Contrastive Learning
Peking University（北京大学）；Software Engineering Institution（软件工程研究院）；Key Lab of High Confidence Software Technologies, Ministry of Education（高可信软件技术重点实验室（教育部））；Center on Frontiers of Computing Studies（计算机前沿研究中心）；National Engineering Research Center of Software Engineering（国家软件工程工程研究中心）
本文提出名为ContraTopic的神经主题模型框架，通过引入主题级对比学习的可微正则化器评估主题可解释性，促进主题内部一致性与外部区分度，在三个数据集上显著提升了主题可解释性。
2024-12-23 cs.AI
ASPECT: Node-Level Adaptive Spectral Fusion for Graph Contrastive Learning
School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）
ASPECT通过节点级自适应融合低频和高频视图，提升图对比学习的表示质量，在混合图中减少悔恨，同时通过ASPECT-S增强稳定性。
2026-05-06 cs.AI cs.LG
MHCCL: Masked Hierarchical Cluster-Wise Contrastive Learning for Multivariate Time Series
Shandong University（山东大学）；Joint SDU-NTU Centre for Artificial Intelligence Research (C-FAIR), Shandong University（山东大学-南洋理工大学联合人工智能研究中心（C-FAIR））；Lund University（隆德大学）；Nanyang Technological University（南洋理工大学）
从原始未标记的时间序列数据中学习语义丰富的表示对于分类和预测等下游任务至关重要。对比学习最近在缺乏专家注释的情况下显示出其有前途的表示学习能力。然而，现有的对比方法通常独立地对待每个实例，这导致共享相同语义的假阴性对。为了解决这个问题，我们提出了MHCCL，一个掩蔽的分层逐层对比学习模型，它利用从多变量时间序列的多个潜在分区组成的分层结构中获得的语义信息。细粒度的聚类保留了更高的纯度，而粗粒度的一个反映了更高层次的语义，我们提出了一种新的向下掩蔽策略，过滤掉假阴性和补充阳性，将多粒度的信息从聚类层次结构。此外，在MHCCL中设计了一种新的向上掩蔽策略来去除每个分区上的异常值，从而改进原型，这有助于加快层次聚类过程，提高聚类质量。我们对七个广泛使用的多变量时间序列数据集进行了实验评估。结果表明，MHCCL的优越性超过国家的最先进的方法，无监督的时间序列表示学习。
2023-03-30 cs.AI cs.LG
Adversarial Curriculum Graph Contrastive Learning with Pair-wise Augmentation
City University of Hong Kong（香港城市大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Duke Kunshan University（昆山杜克大学）；ByteDance Research（字节跳动研究院）
针对图对比学习中样本相似度难以控制的问题，提出ACGCL框架，利用成对增强生成可控相似度的样本并结合子图对比学习，通过对抗性课程训练克服稀疏性问题，在六个基准数据集上显著超越基线。
2024-02-16 cs.AI cs.LG
Contrastive Self-Supervised Learning for Commonsense Reasoning
SAP AI Research（SAP人工智能研究院）
我们提出了一个自我监督的方法来解决代词消歧和Winograd模式挑战问题。我们的方法利用了与所谓的“触发”词相关的训练语料库的特征结构，这些词负责在代词消歧中翻转答案。我们通过构造成对对比辅助预测来实现这种常识推理。为此，我们利用由对比保证金规范化的互斥损失。我们的架构是基于最近推出的Transformer网络，BERT，表现出强大的性能在许多NLP基准。实验结果表明，我们的方法消除了现有的监督方法的局限性常识推理。这项研究开辟了利用廉价的自我监督，以实现性能增益常识推理任务的途径。
2020-05-02 cs.AI cs.CL
DER-GCN: Dialogue and Event Relation-Aware Graph Convolutional Neural Network for Multimodal Dialogue Emotion Recognition
School of computer and Information Engineering, Central South University of Forestry and Technology（中南林业科技大学计算机与信息工程学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；State University of New York（纽约州立大学）
本文提出 DER-GCN 模型，通过构建加权多关系图并引入自监督掩码图自编码器、多信息 Transformer 和对比学习损失优化策略，有效融合对话关系与事件关系，在多模态对话情感识别任务上显著提升了准确率和 f1 值。
2024-08-31 cs.AI cs.CL
ReMeDi: Resources for Multi-domain, Multi-service, Medical Dialogues
Shandong University（山东大学）；University of Amsterdam（阿姆斯特丹大学）；Tencent（腾讯）
医疗对话系统（MDS）旨在帮助医生和患者提供一系列专业医疗服务，即，诊断、治疗和咨询。由于缺乏资源，医疗卫生系统的发展受到阻碍。尤其是。(1)不存在具有覆盖多种医疗服务并包含细粒度医疗标签的大规模医疗对话的数据集（即，意图、动作、槽、值），以及（2）对于用于多域、多服务医学对话的MDS，没有一组已建立的基准。在本文中，我们提出了ReMeDi，一套资源的医学对话。ReMeDi由ReMeDi数据集和ReMeDi基准测试两部分组成。ReMeDi数据集包含96，965个医生和患者之间的对话，其中包括1，557个带有精细标签的对话。它涵盖了843种疾病，5，228个医疗实体和40个领域的3个医疗服务专业。据我们所知，ReMeDi数据集是唯一一个涵盖多个领域和服务的医疗对话数据集，并且具有细粒度的医疗标签。ReMeDi资源的第二部分由一组用于（医学）对话生成的最先进模型组成。ReMeDi基准测试有以下方法：（1）预训练模型（即，BERT-WWM、BERT-MED、GPT 2和MT5）在ReMeDi数据集上进行训练、验证和测试，以及（2）一种自监督对比学习（SCL）方法，用于扩展ReMeDi数据集并增强最先进的预训练模型的训练。我们描述了ReMeDi数据集的创建，ReMeDi基准测试方法，并使用ReMeDi基准测试方法在ReMeDi数据集上建立实验结果，以供将来的研究进行比较。在本文中，我们分享…
2022-03-01 cs.AI cs.CL
Adversarial Contrastive Learning by Permuting Cluster Assignments
Virginia Tech（弗吉尼亚理工大学）
对比学习作为一种有效的自监督表示学习技术已经得到普及。几个研究方向改进了传统的对比方法，例如，原型对比方法更好地捕捉实例之间的语义相似性，并通过考虑聚类原型或聚类分配来减少计算负担，而对抗性实例对比方法提高了对各种攻击的鲁棒性。据我们所知，没有以前的工作联合考虑鲁棒性，聚类语义相似性和计算效率。在这项工作中，我们提出了SwARo，一个对抗性的对比框架，它结合了集群分配排列来生成代表性的对抗性样本。我们在多个基准数据集上评估了SwARo，并针对各种白盒和黑盒攻击进行了评估，在最先进的基线上获得了一致的改进。
2022-04-21 cs.AI cs.CV cs.LG
Delta2Gamma: Band-Wise Adaptive Contrastive Learning of EEG for Alzheimer's Disease Detection
Korea University（高丽大学）
Delta2Gamma是一种自监督EEG表征学习框架，通过分解EEG为5个神经节律并自适应平衡各频带，在ADFTD队列上以92.4%的准确率实现阿尔茨海默病检测，性能优于相关方法。
2026-08-19 cs.AI cs.LG
Instances and Labels: Hierarchy-aware Joint Supervised Contrastive Learning for Hierarchical Multi-Label Text Classification
University of Edinburgh（爱丁堡大学）；Cardiff University（卡迪夫大学）
针对现有层次多标签文本分类（HMTC）对比学习方法易引入噪声、监督对比学习因标签结构复杂在该领域探索不足的问题，提出融合实例级与标签级对比学习的层次感知联合监督对比学习方法HJCL，在四个数据集上取得了良好效果。
2024-06-19 cs.AI cs.CL cs.LG
Pixel-Wise Multimodal Contrastive Learning for Remote Sensing Images
Wageningen University & Research（瓦赫宁根大学与研究学院）；Institute of Computing, University of Campinas (UNICAMP)（计算学院，坎皮纳斯大学（UNICAMP））
本文提出像素级多模态对比学习方法，通过二维表示和对比学习提升遥感图像中特征提取效果，优于现有方法。
2026-01-07 cs.AI cs.CV
SCOB: Universal Text Understanding via Character-wise Supervised Contrastive Learning with Online Text Rendering for Bridging Domain Gap
NAVER Cloud AI（NAVER云人工智能）；Seoul National University（首尔国立大学）
本文提出SCOB预训练方法，通过字符级监督对比学习与在线文本渲染弥合文档与场景文本领域差距，实现通用文本理解并支持弱监督以降低标注成本，在基准测试中普遍提升性能。
2023-09-21 cs.AI cs.CV
A Simplified Framework for Contrastive Learning for Node Representations
The University of Chicago（芝加哥大学）
该研究提出一种节点表示对比学习简化框架，用按列后处理替代主流的MLP按行后处理，提升嵌入质量与训练效率，在多数基准上超越现有方法，并从对齐与均匀性角度解释其有效性。
2023-05-01 cs.AI cs.LG
SimCVD: Simple Contrastive Voxel-Wise Representation Distillation for Semi-Supervised Medical Image Segmentation
Yale University（耶鲁大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
医学图像分析中的自动分割是一项具有挑战性的任务，需要大量的手动标记数据。然而，大多数现有的基于学习的方法通常遭受有限的手动标注的医学数据，这对准确和鲁棒的医学图像分割提出了一个主要的实际问题。此外，现有的半监督分割方法与有监督分割方法相比，鲁棒性较差，且缺乏对图像几何结构和语义信息的明确建模，这两方面都限制了分割的准确性。在这项工作中，我们提出了SimCVD，一个简单的对比蒸馏框架，显着推进国家的最先进的体素明智的表示学习。我们首先描述了一种无监督训练策略，该策略采用输入体积的两个视图，并预测它们在对比目标中的对象边界的符号距离图，只有两个独立的dropout作为掩码。这种简单的方法工作得非常好，与以前的完全监督方法具有相同的水平，标记数据少得多。我们假设dropout可以被视为一种最小形式的数据增强，并使网络对表示坍塌具有鲁棒性。然后，我们建议通过提取成对相似性来进行结构蒸馏。我们在两个流行的数据集上评估SimCVD：左心房分割挑战（LA）和NIH胰腺CT数据集。LA数据集上的结果表明，在两种类型的标记比率（即，SimCVD的平均Dice评分分别为90.85%和89.03%，与之前的最佳结果相比分别提高了0.91%和2.22%。我们的方法可以以端到端的方式进行训练，显示出利用SimCVD作为下游任务（如医学图像合成，增强和配准）的通用框架的前景。
2022-03-21 cs.AI cs.CV cs.LG
Bridging Spectral-wise and Multi-spectral Depth Estimation via Geometry-guided Contrastive Learning
LG AI Research（LG人工智能研究院）
提出对齐与融合策略，通过几何引导的对比学习对齐多光谱嵌入空间并训练可附加特征融合模块，使单个深度网络同时实现光谱不变和多光谱融合的深度估计，兼顾可靠性、内存效率与灵活性。
2025-03-02 cs.AI cs.CV cs.RO
DIRCR: Dual-Inference Rule-Contrastive Reasoning for Solving RAVENs
School of Computer Science, University of Nottingham Ningbo China, China（诺丁汉大学宁波校区计算机科学学院）；Nottingham Ningbo China Beacons of Excellence Research and Innovation Institute, China（诺丁汉宁波中国卓越研究与创新研究所）；School of Artificial Intelligence, Shenzhen University, China（深圳大学人工智能学院）
本文提出DIRCR模型，通过双推理推理模块和规则对比学习模块，解决RAVENs中全局与局部关系整合不足的问题，提升推理鲁棒性和泛化能力。
2026-04-19 cs.AI
Supervised Prototypical Contrastive Learning for Emotion Recognition in Conversation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Alibaba Group（阿里巴巴集团）；University of Chinese Academy of Sciences（中国科学院大学）
捕捉会话中的情感在现代对话系统中起着至关重要的作用。然而，情感和语义之间的弱相关性给会话中的情感识别带来了许多挑战。即使是语义相似的话语，情感也可能因语境或说话者而大不相同。在本文中，我们提出了一个有监督的原型对比学习（SPCL）的ERC任务的损失。利用原型网络，SPCL的目标是通过对比学习来解决不平衡分类问题，并且不需要大批量。同时，设计了基于类间距离的难度度量函数，并引入课程学习来缓解极端样本的影响。我们在三个广泛使用的基准测试中取得了最先进的结果。此外，我们进行分析实验，以证明我们提出的SPCL和课程学习策略的有效性。我们在www.example.com上发布代码。
2022-10-19 cs.AI
Soft Contrastive Learning for Time Series
Yonsei University（延世大学）
SoftCLT通过引入实例级和时间级对比损失，提升时间序列表示学习的质量，适用于多种下游任务。
2026-01-14 cs.AI cs.LG stat.ML
Unsupervised Cross-Domain Rumor Detection with Contrastive Learning and Cross-Attention
大量的谣言通常伴随着突发新闻或热门话题出现，严重阻碍了真相。现有的谣言检测方法大多集中在同一领域，因此，由于域转移的跨域场景的性能较差。在这项工作中，我们提出了一个端到端的实例和原型明智的对比学习模型与交叉注意力机制跨域谣言检测。该模型不仅执行跨域特征对齐，而且还强制目标样本与给定源域的相应原型对齐。由于目标域中的目标标签不可用，我们使用基于聚类的方法，通过一批源域样本仔细初始化中心来产生伪标签。此外，我们使用交叉注意力机制对一对源数据和目标数据具有相同的标签，学习域不变的表示。因为领域对中的样本倾向于表达相似的语义模式，特别是在人们的态度上（例如，支持或否认），则源域和目标域之间的差异会减小。我们在四组跨域数据集上进行了实验，结果表明我们提出的模型具有最先进的性能。
2023-03-20 cs.AI cs.CL cs.LG
Two-Level Supervised Contrastive Learning for Response Selection in Multi-Turn Dialogue
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；ByteDance AI Lab（字节跳动人工智能实验室）
在多话轮对话中，如何从多个候选者中选出一个合适的回答是基于检索的对话系统的关键问题。现有的工作形式化的任务之间的匹配的话语和候选人，并使用交叉熵损失的学习模型。本文将对比学习应用到该问题中，利用监督对比损失。通过这种方式，可以在嵌入空间中更远地分离正例的学习表示和负例的表示，并且可以增强匹配的性能。我们进一步发展了一种新的监督对比学习方法，称为两级监督对比学习，并采用该方法在多轮对话的响应选择。我们的方法利用两种技术：句子标记洗牌（STS）和句子重新排序（SR）的监督对比学习。在三个基准数据集上的实验结果表明，该方法明显优于对比学习基线和最先进的方法的任务。
2022-03-01 cs.CL
Dialogue State Distillation Network with Inter-slot Contrastive Learning for Dialogue State Tracking
Baidu Inc.（百度公司）
在面向任务的对话系统中，对话状态跟踪（DST）旨在从对话历史中提取用户的意图。目前，大多数现有的方法遭受错误传播，并且在利用先前的对话状态时不能动态地选择相关信息。此外，不同时隙的更新之间的关系为DST提供了重要线索。然而，现有的方法仅依赖于预定义的图来间接地捕获关系。在本文中，我们提出了一个对话状态蒸馏网络（DSDN），利用以前的对话状态的相关信息，并迁移训练和测试之间的利用差距。因此，它可以动态地利用先前的对话状态，同时避免引入错误传播。此外，我们提出了一个时隙间的对比学习损失，有效地捕捉槽的协同更新关系的对话上下文。实验在广泛使用的MultiWOZ 2.0和MultiWOZ 2.1数据集上进行。实验结果表明，我们提出的模型达到了DST的最新性能。
2023-03-07 cs.CL
CluCDD:Contrastive Dialogue Disentanglement via Clustering
School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）
每天都有大量的多参与者对话发生在网上，这导致很难理解人类和机器的对话动态的本质。对话解纠缠的目的是将纠缠的对话分解为独立的会话，从而增加长时间无序对话的可读性。以往的研究主要集中在消息对分类和聚类两步方法，不能保证整个聚类性能的对话。为了解决这个问题，我们提出了一个简单而有效的模型命名为CluCDD，通过对比学习聚集话语。更具体地说，我们的模型将同一会话中的话语拉在一起，并将不同会话中的话语推开。然后采用聚类方法生成预测聚类标签。在Movie Dialogue数据集和IRC数据集上进行的综合实验表明，我们的模型实现了一个新的最先进的结果。
2023-02-16 cs.CL
Decomposed Mutual Information Estimation for Contrastive Representation Learning
Microsoft Research（微软研究院）；University of Alberta（阿尔伯塔大学）
最近的对比表示学习方法依赖于估计底层上下文的多个视图之间的互信息（MI）。例如，在一个示例中，通过应用数据增强，我们可以导出给定图像的多个视图，或者我们可以将序列分割成包括序列中某个步骤的过去和未来的视图。MI的对比下限很容易优化，但在估计大量MI时会有很强的低估偏差。我们建议将完整的MI估计问题分解成一个更小的估计问题的总和，通过将其中一个视图分解成逐步更知情的子视图，并通过在分解的视图之间应用MI链规则。该表达式包含无条件和条件MI项的总和，每个项测量总MI的适度块，这便于通过对比边界进行近似。为了最大限度地提高和，我们制定了一个对比的条件MI的下界，可以有效地近似。我们将我们的一般方法称为互信息分解估计（DEMI）。我们表明，DEMI可以捕获更大量的MI比标准的非分解的对比边界在合成设置，并学习更好的表示在视觉域和对话生成。
2021-06-25 cs.AI cs.LG
Learning Label Hierarchy with Supervised Contrastive Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对监督对比学习忽略标签层次结构的问题，提出标签感知SCL方法，通过类别相似度和实例-中心对比构建判别性特征空间，在文本分类任务上优于基线方法。
2024-01-31 cs.AI cs.LG
DialogueCSE: Dialogue-based Contrastive Learning of Sentence Embeddings
DAMO Academy, Alibaba Group（阿里巴巴达摩院）
从对话中学习句子嵌入因其低标注成本和高领域适应性而受到越来越多的关注。传统的方法采用连体网络来完成这个任务，它通过在句子编码器上应用前馈网络来建模上下文响应语义相关性来获得句子嵌入。然而，由于语义文本相似性通常通过元素距离度量（例如余弦和L2距离）来测量，因此这种架构在训练和评估之间产生了很大的差距。在本文中，我们提出了DialogueCSE，一个基于对话的对比学习方法来解决这个问题。DialogueCSE首先引入了一种新的匹配引导嵌入（MGE）机制，该机制根据多轮上下文响应匹配矩阵的指导，为每个候选响应嵌入生成上下文感知嵌入（即上下文无关嵌入）。然后将每个上下文感知嵌入与其对应的上下文无关嵌入配对，最后最小化所有对的对比损失。我们在三个多轮对话数据集上评估了我们的模型：微软对话语料库，京东对话语料库和电子商务对话语料库。评估结果表明，我们的方法显着优于所有三个数据集的MAP和斯皮尔曼的相关性措施方面的基线，证明了其有效性。进一步的定量实验表明，我们的方法实现了更好的性能时，利用更多的对话上下文和保持鲁棒性时，提供更少的训练数据。
2021-09-26 cs.CL
Multi-Scale Self-Contrastive Learning with Hard Negative Mining for Weakly-Supervised Query-based Video Grounding
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
基于查询的视频基础是视频理解中一项重要而又具有挑战性的任务，其目的是根据句子查询定位未经裁剪的视频中的目标片段。大多数以前的工作取得了显着的进展，通过解决这个任务在一个完全监督的方式与段级标签，这需要高的标签成本。尽管最近的一些努力开发了只需要视频级知识的弱监督方法，但它们通常将多个预定义的片段建议与查询匹配并选择最佳片段，这缺乏细粒度的帧级细节以区分整个视频中具有高重复性和相似性的帧。为了缓解上述限制，我们提出了一个自我对比学习框架，以解决弱监督设置下的基于查询的视频接地任务。首先，而不是利用冗余段的建议，我们提出了一个新的接地方案，学习帧匹配分数参考查询语义预测可能的前景帧，只使用视频级注释。其次，由于一些预测帧（即，边界帧）是相对粗糙的，并且表现出与它们的相邻帧相似的外观，我们提出了一种从粗到细的对比学习范例，以学习更多的区分性逐帧表示，用于区分假阳性帧。特别是，我们迭代地探索多尺度硬负样本，这些样本接近表示空间中的正样本，以区分细粒度的帧细节，从而实施更准确的分段接地。在两个具有挑战性的基准上进行的大量实验表明，与最先进的方法相比，我们所提出的方法具有优越性。
2022-03-08 cs.AI cs.CV cs.LG
Online Knowledge Distillation via Mutual Contrastive Learning for Visual Recognition
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；Zhongguancun Laboratory（中关村实验室）；Horizon Robotics（地平线机器人）
无教师的在线知识蒸馏（KD）旨在训练多个学生模型的集合，并从彼此中提取知识。虽然现有的在线KD方法取得了令人满意的性能，他们往往侧重于类概率作为核心知识类型，忽略了有价值的特征表示信息。我们提出了一个相互对比学习（MCL）的框架在线KD。MCL的核心思想是以在线方式在一组网络之间进行对比分布的相互交互和传递。我们的MCL可以聚合跨网络嵌入信息，并最大化两个网络之间的互信息的下界。这使得每个网络能够从其他网络学习额外的对比知识，从而获得更好的特征表示，从而提高视觉识别任务的性能。在最后一层之外，我们将MCL扩展到中间层，并执行通过元优化训练的自适应层匹配机制。图像分类和迁移学习的视觉识别任务的实验表明，逐层MCL可以导致一致的性能增益对国家的最先进的在线KD方法。这种优越性表明，分层MCL可以引导网络生成更好的特征表示。我们的代码可在https://github.com/winycg/L-MCL上公开获取。
2023-03-27 cs.AI cs.CV
Enhancing Personalized Dialogue Generation with Contrastive Latent Variables: Combining Sparse and Dense Persona
Tianjin University（天津大学）；Northeastern University at Qinhuangdao（东北大学秦皇岛分校）；China Mobile Communication Group Tianjin Co., Ltd.（中国移动通信集团天津有限公司）
针对个性化对话中稀疏画像信息不足、稠密画像含噪及历史查询质量差的问题，提出基于对比潜变量的模型CLV，将稠密画像聚类为稀疏类别并结合历史查询生成回复，有效提升了中英文数据集上的个性化效果。
2023-05-19 cs.CL
DialAug: Mixing up Dialogue Contexts in Contrastive Learning for Robust Conversational Modeling
Amazon（亚马逊）
基于检索的会话系统通过计算它们的向量表示之间的相似性来学习对给定对话上下文的响应候选进行排名。然而，在多回合上下文的单个文本形式上进行训练限制了模型学习表示的能力，这些表示概括为推理期间看到的自然扰动。在本文中，我们提出了一个框架，将增强版本的对话背景下的学习目标。我们利用对比学习作为一个辅助目标，学习强大的对话上下文表示是不变的扰动注入通过增强方法。我们用四个基准对话数据集进行了实验，证明我们的框架与现有的增强方法结合得很好，并且可以显着改善基于BERT的基线排名架构。此外，我们提出了一种新的数据增强方法，ConMix，通过随机混合令牌从其他上下文中的批次添加令牌级扰动。我们表明，我们提出的增强方法优于以前的数据增强方法，并提供对话表示，更强大的常见干扰推理过程中看到的。
2022-04-15 cs.CL
Abnormal Event Detection via Hypergraph Contrastive Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
针对属性异构信息网络中的无监督异常事件检测问题，提出超图对比学习方法AEHCL，通过事件内和事件间对比模块捕获异常交互，显著提升了检测性能。
2023-04-02 cs.AI cs.LG
Advancing Multi-Party Dialogue Framework with Speaker-ware Contrastive Learning
School of Computer Science and Engineering, Northwestern Polytechnical University（计算机科学与工程学院，西北工业大学）；School of Computer Science and Technology, Xidian University（计算机科学与技术学院，西安电子科技大学）；School of Artificial Intelligence and Big Data, Henan University of Technology（人工智能与大数据学院，河南理工大学）
针对现有多方对话方法依赖图结构标注、忽略个体说话风格的问题，提出基于两阶段自监督对比学习的CMR框架，是首个将对比学习用于多方对话生成的方法，性能优于SOTA且可提升大模型的多方对话处理能力。
2025-05-19 cs.CL
Federated Learning from Pre-Trained Models: A Contrastive Learning Approach
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）；University of Maryland（马里兰大学）
联邦学习（FL）是一种机器学习范式，允许分散的客户端在不共享其私有数据的情况下进行协作学习。然而，过多的计算和通信需求对当前FL框架提出了挑战，特别是在训练大规模模型时。为了防止这些问题阻碍FL系统的部署，我们提出了一个轻量级的框架，客户端可以共同学习融合多个固定的预训练模型生成的表示，而不是从头开始训练大规模模型。通过考虑如何从预先训练的模型中捕获更多客户特定和类相关的信息，并共同提高每个客户利用这些现成模型的能力，这将我们引向一个更实际的FL问题。在这项工作中，我们设计了一个联邦原型明智的对比学习（FedPCL）的方法，通过他们的类原型，并建立客户端特定的表示在一个原型明智的对比方式共享知识。共享原型而不是可学习的模型参数允许每个客户端以个性化的方式融合表示，同时将共享知识保持在紧凑的形式中，以实现高效的通信。我们在轻量级框架中对所提出的FedPCL进行了全面的评估，测量并可视化了其在流行的FL数据集上融合各种预训练模型的能力。
2022-09-21 cs.AI cs.CR cs.LG
Multi-Stage Coarse-to-Fine Contrastive Learning for Conversation Intent Induction
Chongqing University（重庆大学）；iFLYTEK Research（讯飞研究院）；University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
意图识别是面向任务的对话系统的关键。然而，对于新兴领域和新服务，由于耗时的数据注释和相对较差的模型可移植性，很难准确地识别会话的关键意图。因此，对话意图的自动归纳对于智能对话系统来说是非常重要的。本文提出了我们的解决方案，轨道2的意图诱导会话面向任务的对话在第十一届对话系统技术挑战赛（DSTC 11）。意图聚类的实质在于区分不同对话话语的表征。自动意图归纳的关键在于，对于任何给定的新数据集，模型获得的句子表示可以很好地区分不同的标签。因此，我们提出了一个多阶段的粗到精的对比学习模型训练方案，包括无监督的对比学习预训练，监督的对比学习预训练，并与联合对比学习和聚类微调，以获得更好的对话话语表示模型的聚类任务。在发布的DSTC 11 Track 2评估结果中，我们提出的系统在该Track的两个子任务中均排名第一。
2023-03-09 cs.CL
Contrastive Speaker-Aware Learning for Multi-party Dialogue Generation with LLMs
Shangqiu University（商丘大学）
本文提出SA-LLM，通过说话人感知对比学习无需关系标注即可建模多方对话中的说话人角色与上下文连贯性，在流畅性、连贯性和多样性上超越现有基线。
2025-03-11 cs.CL
$C^3$: Compositional Counterfactual Contrastive Learning for Video-grounded Dialogues
Salesforce Research Asia（Salesforce亚洲研究院）；A*STAR, Institute for Infocomm Research（新加坡科技研究局资讯通信研究院）
本文提出组合式反事实对比学习（$C^3$），通过事实/反事实采样和对比隐藏状态表示优化视频基础对话生成，并在AVSD基准上取得性能提升。
2023-08-05 cs.CL cs.CV cs.LG
Enhancing Dialogue Generation via Multi-Level Contrastive Learning
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
大多数现有的对话生成工作都是直接在从网站上抓取的语料库上训练的数据驱动模型。它们主要关注于改进模型结构以产生更好的响应，但很少注意对比地考虑训练数据的质量。在本文中，我们提出了一个多层次的对比学习范例来模拟细粒度的质量的响应方面的查询。设计了一个秩感知校正（RC）网络来构造多级对比优化目标。由于这些目标是基于句子级别计算的，这可能会错误地鼓励/抑制无信息/信息词的生成。为了解决这个问题，一方面，我们设计了一个精致的令牌级策略，以更准确地估计实例损失。另一方面，我们建立了一个知识推理（KI）组件，在训练过程中从参考文献中捕获关键字知识，并利用这些信息来鼓励生成信息词。我们在仔细注释的对话数据集上评估了所提出的模型，结果表明，与基线模型相比，我们的模型可以产生更相关和更多样化的响应。
2021-06-22 cs.CL
Aligning Backchannel and Dialogue Context Representations via Contrastive LLM Fine-Tuning
Department for Speech, Music and Hearing（语音、音乐与听觉系）
本文提出双阶段框架，通过对话转录微调大语言模型获取上下文表示，并学习对话上下文和反馈通道表示的联合嵌入空间，实验表明学习的投影显著提升了上下文-反馈通道检索性能。
2026-04-17 cs.AI cs.CL cs.LG
Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue
Carnegie Mellon University（卡内基梅隆大学）；ANT GROUP（蚂蚁集团）
上下文建模在构建多轮对话系统中起着重要的作用。为了充分利用语境信息，系统可以使用不完全话语重写（IUR）方法，通过将当前话语和语境信息合并成一个自包含的话语，将多轮对话简化为单轮对话。然而，以前的方法忽略了原始查询和重写查询之间的意图一致性。可以进一步改进对原始查询中的省略或共指位置的检测。在本文中，我们引入了对比学习和多任务学习来联合建模的问题。我们的方法受益于精心设计的自我监督的目标，作为辅助任务，以捕捉语义在文本级和令牌级。实验表明，我们提出的模型在几个公共数据集上达到了最先进的性能。
2022-03-22 cs.CL cs.LG
BootTOD: Bootstrap Task-oriented Dialogue Representations by Aligning Diverse Responses
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan（美团）
针对任务型对话预训练中对比框架依赖正负样本且缺乏多样性的问题，本文提出 BootTOD，通过自举对齐上下文与上下文加响应表示并利用多响应目标建模一对多多样性，在下游任务上超过 TOD 基线。
2024-03-02 cs.CL
Contrastive Learning for Inference in Dialogue
The Hong Kong University of Science and Technology（香港科技大学）
本文针对对话中归纳推理因信息差距而表现不佳的问题，提出利用负样本的对比学习方法来缓解，实验证明该方法能提升模型的推理生成能力。
2023-11-13 cs.CL
CONCSS: Contrastive-based Context Comprehension for Dialogue-appropriate Prosody in Conversational Speech Synthesis
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Language and Culture University（北京语言大学）；Perfect World Co., Ltd（完美世界股份有限公司）
针对对话语音合成中上下文表征能力不足、区分度弱的问题，提出基于对比学习的CONCSS框架，通过专属前置任务和负样本增强采样策略提升上下文理解，合成语音的韵律更适配对话语境。
2023-12-16 cs.CL cs.HC
When did you become so smart, oh wise one?! Sarcasm Explanation in Multi-modal Multi-party Dialogues
Indraprastha Institute of Information Technology Delhi（德里英德拉普拉斯塔信息技术学院）
在人类交际中，诸如讽刺等间接言语实现了一系列的话语目标。虽然比喻语言的间接性保证了说话者实现某些语用目标，但人工智能智能体理解人类交流的这种特质是具有挑战性的。虽然讽刺识别一直是对话分析中的一个很好的探索主题，会话系统要真正把握会话的内在含义并产生适当的反应，简单地检测讽刺是不够的;解释其潜在的讽刺内涵以捕捉其真正的本质是至关重要的。在这项工作中，我们研究了讽刺会话的话语结构，并提出了一个新的任务--对话中的讽刺解释（SED）。该任务设置在多模态和代码混合的环境中，旨在生成讽刺对话的自然语言解释。为此，我们策划了WITS，一个新的数据集来支持我们的任务。我们提出MAF（模态感知融合），多模态上下文感知的注意力和全球信息融合模块来捕获多模态，并使用它来基准测试WITS。所提出的注意力模块超越了传统的多模态融合基线，并报告了几乎所有指标的最佳性能。最后，我们进行了详细的定量和定性分析。
2022-03-12 cs.AI cs.CL
Robust Task-Oriented Dialogue Generation with Contrastive Pre-training and Adversarial Filtering
The University of Melbourne（墨尔本大学）
数据伪影激励机器学习模型通过利用数据中的捷径来学习不可转移的概括，越来越多的证据表明，数据伪影对深度学习模型在最近的自然语言处理基准测试中取得的强大结果起着重要作用。在本文中，我们专注于面向任务的对话，并调查是否流行的数据集，如MultiWOZ包含这样的数据工件。我们发现，通过在训练样本中只保留频繁短语，最先进的模型与用完整数据训练的变体相比表现相似，这表明它们利用这些虚假的相关性来解决任务。基于此，我们提出了一个基于对比学习的框架，以鼓励模型忽略这些线索，专注于学习可推广的模式。我们还尝试了对抗性过滤，以删除“简单”的训练实例，以便模型专注于从“较难”的实例中学习。我们进行了大量的泛化实验，例如，跨域/数据集和对抗性测试-评估我们方法的鲁棒性，发现它工作得非常好。
2022-05-20 cs.CL
Small Changes Make Big Differences: Improving Multi-turn Response Selection in Dialogue Systems via Fine-Grained Contrastive Learning
Microsoft（微软）
基于检索的对话响应选择旨在从给定多轮上下文的候选集合中找到合适的响应。基于预训练的语言模型（PLM）的方法在这一任务上取得了显著的改进。序列表征在对话语境与应答匹配度的学习中起着关键作用。然而，我们观察到，不同的上下文响应对共享相同的上下文总是有更大的相似性，在序列表示计算的PLM，这使得它很难区分积极的反应，从消极的。基于此，我们提出了一种新的\textbf{F}线性学习方法-- \textbf{G}雨\textbf{C}对比学习（FGC）方法，用于基于PLM的响应选择任务.这种FGC学习策略有助于PLM在细粒度上生成每个对话的更可区分的匹配表示，并进一步对选择积极响应做出更好的预测。两个基准数据集的实证研究表明，所提出的FGC学习方法可以普遍和显着提高现有的基于PLM的匹配模型的模型性能。
2021-11-25 cs.CL cs.IR
