RUIE: Retrieval-based Unified Information Extraction using Large Language Model
Central South University(中南大学)
RUIE是一个基于检索的统一信息抽取框架,利用上下文学习和新颖的示范选择机制,作为可训练的通用插件,在八个数据集上平均F1分数分别提升19.22和3.22。
2025-01-21 cs.CL
Beyond Contrastive Learning: Synthetic Data Enables List-wise Training with Multiple Levels of Relevance
Brown University(布朗大学);Microsoft(微软);University of Tübingen(图宾根大学)
针对对比学习忽略文档多级相关性的问题,提出利用大语言模型生成多级相关性合成文档,并采用 Wasserstein 距离训练检索器,显著提升了 IR 性能与鲁棒性。
2025-11-04 cs.CL cs.IR cs.LG
Legal Element-oriented Modeling with Multi-view Contrastive Learning for Legal Case Retrieval
The Hong Kong University of Science and Technology(香港科技大学);Beijing Laiye Network Technology Co., Ltd(北京来也网络科技有限公司)
法律案例检索在法律系统中起着至关重要的作用,其目的是根据查询案例检索出相关的案例。虽然最近的研究工作提高了传统的ad-hoc检索模型的性能,但由于查询是包含数百个令牌的法律案件,因此法律案件检索仍然具有挑战性。法律案件比关键字查询更长更复杂。除此之外,法律相关性的定义超出了一般定义。相关案件除具有一般的话题相关性外,还涉及类似情形和法律要件,可以支持本案的判决。在本文中,我们提出了一个互动为重点的网络与多视图对比学习目标的法律案件检索。对比学习观,包括案例观和要素观,旨在克服上述挑战。案例视图对比学习最小化由预训练的语言模型(PLM)编码器产生的相关法律案例表示之间的隐藏空间距离。元素视图通过改变案件的法律元素来构建正面和负面实例,以帮助网络更好地计算法律相关性。为了实现这一目标,我们采用了法律元素知识感知指标来检测案件的法律元素。我们进行了广泛的实验基准的相关案例检索。评估结果表明,我们提出的方法获得了显着的改善,比现有的方法。
2022-10-11 cs.AI cs.CL
O1 Embedder: Let Retrievers Think Before Action
University of Science and Technology of China(中国科学技术大学)
受OpenAI O1等推理模型启发,提出O1 Embedder方法,让检索模型在检索前生成思考;通过LLM专家生成初始思考+检索委员会优化的训练信号,结合行为克隆与对比学习训练,在12个数据集上提升检索准确性与泛化性。
2025-02-12 cs.CL
Reducing Distraction in Long-Context Language Models by Focused Learning
University of Alberta(阿尔伯塔大学);AWS AI Labs(亚马逊云科技人工智能实验室)
针对长上下文语言模型中的干扰问题,提出结合检索增强与对比学习的训练方法,提升模型聚焦相关信息的能力,并在长文档问答基准上验证有效性。
2024-11-08 cs.CL
Thought-Path Contrastive Learning via Premise-Oriented Data Augmentation for Logical Reading Comprehension
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);Beijing Engineering Research Center of High Volume Language Information Processing and Cloud Computing Applications, Beijing Institute of Technology(北京理工大学海量语言信息处理与云计算应用北京工程研究中心)
针对逻辑阅读理解中CoT推理依据忽视错误选项及数据增强缺乏多样性的问题,提出前提导向数据增强框架PODA,并结合思维路径对比学习方法,在ReClor和LogiQA 2.0上显著提升多个大语言模型的推理性能。
2025-02-06 cs.AI cs.CL
Dual-Feedback Knowledge Retrieval for Task-Oriented Dialogue Systems
Sun Yat-sen University(中山大学);Meta AI;Meetyou AI Lab(美图人工智能实验室)
针对任务型对话系统中知识检索与响应生成耦合导致的可扩展性挑战,提出检索器-生成器架构,并引入双反馈机制利用生成器输出的正负反馈作为伪标签训练检索器,在三个基准数据集上取得优越性能。
2023-10-23 cs.CL
Entity-Consistent End-to-end Task-Oriented Dialogue System with KB Retriever
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
在面向任务的端到端对话系统中,知识库的查询一直是一个难题。先前的序列到序列(Seq 2Seq)对话生成工作将KB查询视为对整个KB的关注,而不能保证生成的实体彼此一致。在本文中,我们提出了一种新的框架,查询知识库中的两个步骤,以提高生成的实体的一致性。在第一步中,灵感的观察,一个响应通常可以支持一个单一的KB行,我们引入了一个KB检索组件,显式返回最相关的KB行给定的对话历史。检索结果进一步用于Seq 2Seq响应生成模型中过滤无关实体,提高输出实体之间的一致性。在第二步中,我们进一步执行注意力机制来处理最相关的KB列。提出了两种方法,使训练的可行性,没有标记的检索数据,其中包括远程监督和Gumbel-Softmax技术。两个公开的面向任务的对话数据集上的实验表明,我们的模型的有效性优于基线系统,并产生实体一致的反应。
2019-09-18 cs.CL
MemAdapter: Fast Alignment across Agent Memory Paradigms via Generative Subgraph Retrieval
The University of Manchester(曼彻斯特大学);Stanford University(斯坦福大学);Imperial College London(伦敦帝国理工学院);National Institute of Advanced Industrial Science(国家先进工业科学与技术研究院)
MemAdapter通过生成子图检索实现跨代理记忆范式的快速对齐,提升记忆检索灵活性并降低对齐成本,实验显示其性能优于现有系统。
2026-02-09 cs.AI cs.CL cs.LG
FutureTOD: Teaching Future Knowledge to Pre-trained Language Model for Task-Oriented Dialogue
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan(美团)
本文提出FutureTOD对话预训练模型,通过自训练框架将未来知识融入对话上下文表示,以解决通用文本与任务型对话差异及对比学习难题,实验验证了其泛化性和鲁棒性。
2023-06-17 cs.CL
End-to-end Contrastive Language-Speech Pretraining Model For Long-form Spoken Question Answering
本文提出CLSR模型,通过将音频特征转换为文本表示,提升长音频问答任务的性能,实验表明其优于现有方法。
2026-04-11 cs.CL cs.SD
Contrastive Analysis of Linguistic Representations in Large Language Model Outputs through Structured Synthetic Data Generation and Abstracted N-gram Associations
Universidad Nacional de Córdoba(国家科罗纳大学);CONICET
本文提出一种通过对比合成文本生成和统计分析发现不同社会群体关联语言和论述模式的方法,重点在于识别细微的偏见表达而非预定义词汇列表诊断偏见,利用上下文数据进行分析。
2026-04-19 cs.CL
Multi-Grained Knowledge Retrieval for End-to-End Task-Oriented Dialog
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室)
针对端到端任务型对话中知识检索与回复生成混合导致大规模知识库下检索性能欠佳的问题,提出解耦两者并引入多粒度知识检索器MAKER,利用实体和属性选择器及蒸馏目标优化检索,在三个基准上验证了有效性。
2023-05-17 cs.CL
Retrieval-Generation Alignment for End-to-End Task-Oriented Dialogue System
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出利用最大边缘似然训练感知型检索器并结合元知识指导生成器,以解决T5和ChatGPT等模型在任务型对话中难以区分检索记录的问题,有效提升了生成响应质量。
2023-10-20 cs.CL
LED: Lexicon-Enlightened Dense Retriever for Large-Scale Retrieval
The Ohio State University(俄亥俄州立大学);Microsoft Corporation(微软公司);University of Technology Sydney(悉尼科技大学)
基于语义空间稠密表示的检索模型已成为第一阶段检索不可或缺的一个分支。这些检索器受益于表示学习向压缩全局序列级嵌入的突飞猛进。然而,他们容易忽视文本中的局部显著短语和实体提及,这些通常在第一阶段检索中起关键作用。为了缓解这一弱点,我们提出了一个密集的检索对齐性能良好的词汇感知表示模型。该方法通过弱化知识蒸馏来启发检索器,通过两个方面实现对齐:1)词典增强对比目标来挑战稠密编码器; 2)成对秩一致正则化使稠密模型的行为倾向于另一个。我们在三个公共基准上评估了我们的模型,这表明,与一个类似的词典感知检索器作为老师,我们提出的密集的可以带来一致的和显着的改进,甚至超过它的老师。此外,我们发现我们对密集回收器的改进是对标准排名蒸馏的补充,这可以进一步提升最先进的性能。
2023-03-03 cs.CL
Beyond Topical Similarity: Contrastive Evidence Retrieval with Interpretable Attention Alignment in RAG
University of Chile(智利大学);São Paulo State University(圣保罗州立大学);Saarland University(萨尔兰州立大学);University of Munich(慕尼黑大学);Portland State University(波特兰州立大学);Idiap Research Institute(Idiap研究机构)
提出 CERA 框架,通过基于主观性的困难负样本选择和辅助注意力对齐损失注入证据归纳偏差,实现可解释且事实准确的检索。
2026-05-31 cs.CL
Adversarial Retriever-Ranker for dense text retrieval
Sichuan University(四川大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure AI(微软Azure人工智能)
当前的密集文本检索模型面临两个典型的挑战。首先,它们采用了一种连体双编码器架构,独立地对查询和文档进行编码,以实现快速索引和搜索,同时忽略了更细粒度的术语交互。这导致了次优的召回性能。其次,他们的模型训练高度依赖于负采样技术,以在对比损失中建立负文档。为了解决这些挑战,我们提出了对抗检索器排名器(AR 2),它由一个双编码器检索器和一个交叉编码器排名器组成。这两个模型根据极大极小对抗目标进行联合优化:检索器学习检索否定文档以欺骗排名器,而排名器学习对包括地面实况和检索到的候选者的集合进行排名,并向双编码器检索器提供渐进的直接反馈。通过这种对抗性游戏,检索器逐渐产生更难的负面文档来训练更好的排序器,而交叉编码器排序器提供渐进反馈来改进检索器。我们在三个基准上评估AR 2。实验结果表明,AR 2一致和显着优于现有的密集检索方法,并实现了新的国家的最先进的结果对所有这些。这包括Natural Questions R@5至77.9%(+2.1%)、TriviaQA R@5至78.2%(+1.4)和MS-MARCO MRR@10至39.5%(+1.3%)的改进。代码和模型可在https://github.com/microsoft/AR2上获得。
2022-10-30 cs.CL
Slot Induction via Pre-trained Language Model Probing and Multi-level Contrastive Learning
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊);Salesforce Research(赛富时研究院)
本文提出利用预训练语言模型探测与多级对比学习,在仅有句子级意图标签的条件下实现槽位归纳,并在两个NLU基准上缩小与词元级监督模型的差距,同时提升槽位填充性能。
2023-08-09 cs.CL cs.LG
Parameter-Efficient Retrievers for Polish and European Languages
National Information Processing Institute(国家信息处理研究所)
针对稠密检索中大型模型的高成本问题,提出三阶段训练流程(跨语言对齐、知识蒸馏、对比微调)开发紧凑检索器PolDense和EuroDense,在41个波兰语和150个多语言任务上展现优异性能,PolDense-1B超越9B参数模型,EuroDense在低参数模型中领先。
2026-09-17 cs.CL
Mars: Modeling Context & State Representations with Contrastive Learning for End-to-End Task-Oriented Dialog
JD AI Research(京东人工智能研究院)
本文提出端到端任务型对话系统 Mars,通过两种对比学习策略建模对话上下文与信念/动作状态表示的关系,发现与语义状态差异更大的上下文表示更有利于多轮对话,并在 MultiWOZ 2.0、CamRest676 和 CrossWOZ 上取得最优性能。
2023-07-10 cs.CL
Phrase Retrieval for Open-Domain Conversational Question Answering with Conversational Dependency Modeling via Contrastive Learning
Korea Advanced Institute of Science Technology(韩国科学技术院)
本文提出基于短语检索的 ODConvQA 单阶段答案预测方法,并通过对比学习建模多轮会话依赖,在两个数据集上显著优于检索器-阅读器基线。
2023-06-07 cs.CL cs.IR cs.LG
Optimizing What Matters: AUC-Driven Learning for Robust Neural Retrieval
ServiceNow
针对现有双编码器检索器的NCE目标与AUC脱节、导致下游任务性能不佳的问题,提出等价于最大化AUC的MW损失,理论与实验均证明其能提升检索器校准性与判别力,适用于RAG等高风险场景。
2025-09-30 cs.AI cs.CL cs.IR
Robust Task-Oriented Dialogue Generation with Contrastive Pre-training and Adversarial Filtering
The University of Melbourne(墨尔本大学)
数据伪影激励机器学习模型通过利用数据中的捷径来学习不可转移的概括,越来越多的证据表明,数据伪影对深度学习模型在最近的自然语言处理基准测试中取得的强大结果起着重要作用。在本文中,我们专注于面向任务的对话,并调查是否流行的数据集,如MultiWOZ包含这样的数据工件。我们发现,通过在训练样本中只保留频繁短语,最先进的模型与用完整数据训练的变体相比表现相似,这表明它们利用这些虚假的相关性来解决任务。基于此,我们提出了一个基于对比学习的框架,以鼓励模型忽略这些线索,专注于学习可推广的模式。我们还尝试了对抗性过滤,以删除“简单”的训练实例,以便模型专注于从“较难”的实例中学习。我们进行了大量的泛化实验,例如,跨域/数据集和对抗性测试-评估我们方法的鲁棒性,发现它工作得非常好。
2022-05-20 cs.CL
Dialog2Flow: Pre-training Soft-Contrastive Action-Driven Sentence Embeddings for Automatic Dialog Flow Extraction
Idiap Research Institute(伊迪亚普研究所);University of Zurich(苏黎世大学);Brno University of Technology(布尔诺理工大学)
本文提出Dialog2Flow嵌入,通过软对比预训练将对话话语按动作功能映射到潜在空间并聚类量化,从而自动提取对话工作流,在多个领域上优于现有句子嵌入方法。
2024-11-05 cs.AI cs.CL cs.LG
SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
具有对比学习目标的预训练方法在对话理解任务中表现出显著的成功。然而,当前的对比学习仅将自增强对话样本视为正样本,而将所有其他对话样本视为负样本,这甚至对于语义相关的对话实施了不同的表示。在本文中,我们提出了SPACE-2,一个树结构的预训练会话模型,它通过半监督对比预训练从有限的标记对话和大规模的未标记对话语料库中学习对话表示。具体地说,我们首先定义了一个通用的语义树结构(STS),以统一不同的对话数据集之间的不一致的注释模式,使丰富的结构信息存储在所有标记的数据可以被利用。然后,我们提出了一种新的多视图评分函数,以增加共享相似STS的所有可能对话的相关性,并且在监督对比预训练期间仅推开其他完全不同的对话。为了充分利用未标记的对话框,还添加了基本的自监督对比损失以改进学习的表示。实验表明,我们的方法可以实现新的国家的最先进的结果DialogLUE基准组成的七个数据集和四个流行的对话理解任务。为了重现性,我们在https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/space-2上发布代码和数据。
2022-09-14 cs.CL
Knowledge-Retrieval Task-Oriented Dialog Systems with Semi-Supervision
Tsinghua University(清华大学);China Mobile Research Institute(中国移动研究院);Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute(清华大学-中国移动通信集团有限公司联合研究院)
本文提出一种基于检索的方法增强任务型对话系统的知识选择,并开发基于隐变量模型的半监督学习框架JSA-KRTOD,利用有标签和无标签数据提升真实场景下的对话性能。
2023-05-22 cs.CL
BootTOD: Bootstrap Task-oriented Dialogue Representations by Aligning Diverse Responses
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan(美团)
针对任务型对话预训练中对比框架依赖正负样本且缺乏多样性的问题,本文提出 BootTOD,通过自举对齐上下文与上下文加响应表示并利用多响应目标建模一对多多样性,在下游任务上超过 TOD 基线。
2024-03-02 cs.CL
Jina CLIP: Your CLIP Model Is Also Your Text Retriever
Jina AI GmbH(吉纳人工智能有限公司)
提出多任务对比训练方法,训练 jina-clip-v1 模型,使其在文本-图像和文本-文本检索任务上均达到最先进性能,解决了 CLIP 模型在纯文本任务上表现不佳的问题。
2024-06-26 cs.AI cs.CL cs.CV
Contrastive Learning to Improve Retrieval for Real-world Fact Checking
The University of Texas at Austin(得克萨斯大学奥斯汀分校)
针对事实核查中证据检索需推理的瓶颈,提出基于多训练信号对比微调的CFR重排器,在AVeriTeC上准确率提升6%,且增益可迁移至多个相关数据集。
2024-10-07 cs.AI cs.CL cs.LG
Uni-Retriever: Towards Learning The Unified Embedding Based Retriever in Bing Sponsored Search
Microsoft WebXT and Microsoft Research Asia(微软WebXT和微软亚洲研究院);Beijing University of Posts and Telecommunications(北京邮电大学)
基于嵌入的检索(EBR)是许多Web应用程序中的基本构建块。然而,EBR在赞助搜索是区别于其他一般的情况下,技术上具有挑战性,由于需要服务于多个检索目的:首先,它必须检索高相关性的广告,这可能正是用户的搜索意图;其次,它需要检索高点击率的广告,以最大限度地提高整体用户点击。在本文中,我们提出了一种新的表示学习框架Uni-Retriever开发的Bing搜索,它统一了两种不同的训练模式知识蒸馏和对比学习,以实现这两个所需的目标。一方面,通过从“相关教师模型”中提取知识,建立了进行高相关检索的能力。另一方面,通过学习从整个语料库中区分用户点击的广告,优化了进行高点击率检索的能力。这两种训练模式被联合执行为多目标学习过程,使得高相关性和CTR的广告可以被生成的嵌入所青睐。除了学习策略,我们还详细阐述了我们的EBR服务管道的解决方案,建立在大幅优化的神经网络,其中大规模的EBR可以执行有竞争力的时间和内存效率,并在高质量完成。我们进行了全面的离线和在线实验来评估所提出的技术,其研究结果可能会提供有用的见解,为未来的EBR系统的发展。Uni-Retriever已经成为Bing产品中的主要检索路径,这要归功于其在表示和EBR服务质量上的显着改进。
2022-02-13 cs.CL cs.IR
Unsupervised Dense Information Retrieval with Contrastive Learning
Meta AI Research(Meta人工智能研究院);Ecole normale supérieure, PSL University(巴黎文理研究大学高等师范学院);Inria(法国国家信息与自动化研究所);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);University College London(伦敦大学学院)
最近,信息检索已经看到了使用神经网络的密集检索器的出现,作为基于词频的经典稀疏方法的替代。这些模型在有大型训练集的数据集和任务上获得了最先进的结果。然而,它们不能很好地转移到没有训练数据的新应用中,并且被诸如BM 25的无监督词频方法优于。在这项工作中,我们探讨了对比学习的局限性,作为一种训练无监督的密集检索器,并表明它导致在各种检索设置的强大性能。在BEIR基准测试中,我们的无监督模型在Recall@100的15个数据集中的11个数据集上优于BM 25。当在微调之前用作预训练时,无论是在几千个域内示例上还是在大型MS~MARCO数据集上,我们的对比模型都会导致BEIR基准的改进。最后,我们评估了我们的方法多语言检索,其中训练数据甚至比英语更稀缺,并表明我们的方法导致强大的无监督性能。我们的模型也表现出强大的跨语言迁移时,微调监督英语数据和低资源的语言,如斯瓦希里语进行评估。我们表明,我们的无监督模型可以在不同的脚本之间进行跨语言检索,例如从阿拉伯语查询中检索英语文档,这是术语匹配方法无法实现的。
2022-08-29 cs.AI cs.CL cs.IR
LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval
University of California, San Diego(加州大学圣地亚哥分校);Microsoft Research Asia(微软亚洲研究院);Sun Yat-sen University(中山大学)
在本文中,我们提出了LaPraDoR,这是一种预训练的双塔密集检索器,不需要任何监督数据进行训练。具体来说,我们首先提出迭代对比学习(ICoL),迭代训练查询和文档编码器的缓存机制。ICoL不仅扩大了负实例的数量,而且还将缓存示例的表示保持在相同的隐藏空间中。然后,我们提出了词汇增强的稠密检索(LEDR)作为一个简单而有效的方法来提高稠密检索与词汇匹配。我们评估LaPraDoR最近提出的BEIR基准,包括18个数据集的9个zero-shot文本检索任务。实验结果表明,与有监督的稠密检索模型相比,LaPraDoR具有最先进的性能,进一步的分析揭示了我们的训练策略和目标的有效性。与重新排名相比,我们的词汇增强方法可以在毫秒内运行(快22.5倍),同时实现卓越的性能。
2022-04-27 cs.AI cs.CL cs.IR
NER Retriever: Zero-Shot Named Entity Retrieval with Type-Aware Embeddings
Computer Science Department, Bar-Ilan University(巴伊兰大学计算机科学系)
针对无预定义类型的即席命名实体检索问题,提出基于大语言模型中间层value向量和轻量对比投影网络的零样本框架NER Retriever,性能优于现有基线,为无模式实体检索提供实用方案。
2025-09-04 cs.AI cs.CL cs.IR
Template-assisted Contrastive Learning of Task-oriented Dialogue Sentence Embeddings
Stanford University(斯坦福大学);Zhejiang University(浙江大学);Alibaba Qwen Pilot(阿里巴巴Qwen Pilot)
本文提出TaDSE方法,利用模板信息通过自监督对比学习学习对话句嵌入,通过合成数据集增强效果,并在五个对话基准数据集上验证了其有效性。
2026-04-12 cs.AI cs.CL
OpenRAG: Optimizing RAG End-to-End via In-Context Retrieval Learning
Hong Kong University of Science and Technology(香港科技大学)
本文提出 OpenRAG 框架,通过端到端调优检索器以捕捉上下文相关性,在多个任务上较原始检索器提升 4.0%、优于现有最优检索器 2.1%,并展示小模型端到端调优可超越 8B 大模型,体现高成本效益。
2025-03-11 cs.CL cs.IR
SAGE: Benchmarking and Improving Retrieval for Deep Research Agents
NYU Shanghai(纽约大学上海校区);Yale University(耶鲁大学);Center for Data Science, New York University(纽约大学数据科学中心)
SAGE基准测试评估了深度研究代理的检索能力,发现BM25在推理密集型检索中表现优于大语言模型检索器,并提出基于语料库的测试时扩展框架提升检索性能。
2026-02-06 cs.CL cs.IR
ARMOR: Adaptive Retriever Optimization for Low-Resource Telecom Question Answering
Rensselaer Polytechnic Institute(罗切斯特理工学院);Cornell University(康奈尔大学);Samsung Research America(三星美国研究院)
针对电信问答中证据分散且资源稀缺的问题,提出ARMOR方法,通过联合优化RAG似然和InfoNCE对比目标来适配查询编码器,在固定生成器下提升检索和答案生成性能。
2026-06-29 cs.AI cs.CL cs.IR
TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue
Salesforce Research(Salesforce研究院)
普通文本和任务型对话在语言模式上的根本差异使得现有的预训练语言模型在实践中用处不大。在这项工作中,我们统一了9个人与人之间的多回合面向任务的对话数据集,用于语言建模。为了在预训练期间更好地建模对话行为,我们将用户和系统令牌纳入掩蔽语言建模。我们提出了一个对比的目标函数来模拟反应选择任务。我们预先训练的面向任务的对话BERT(TOD-BERT)在四个下游面向任务的对话应用上的性能优于BERT等强基线,包括意图识别,对话状态跟踪,对话行为预测和响应选择。我们还表明,TOD-BERT具有更强的Few-Shot能力,可以缓解面向任务的对话的数据稀缺问题。
2020-10-01 cs.CL
DisarmRAG: Stealthy Retriever-Centric Poisoning to Disable Self-Correction in Retrieval-Augmented Generation (Extended Version)
The Hong Kong University of Science and Technology(香港科技大学)
研究针对实际部署中LLMs自我纠正能力削弱RAG攻击效果的问题,提出DisarmRAG这一专注检索器的新型中毒范式,构建含迭代协同优化与对比学习技术的攻击框架,经多模型和基准测试验证其有效性及隐秘性。
2026-07-21 cs.CL cs.CR
PrLM: Learning Explicit Reasoning for Personalized RAG via Contrastive Reward Optimization
Gaoling School of Artificial Intelligence\ University of China Beijing China;School of Information Technology;Gaoling School of Artificial Intelligence\ University of China
针对个性化 RAG 中 LLM 隐式整合导致对检索质量敏感且易偏离用户偏好的问题,提出强化学习框架 PrLM,在对比训练的个性化奖励模型指导下显式推理用户画像,无需标注推理路径,在多个数据集上优于现有方法且保持稳健。
2025-08-10 cs.CL cs.IR
Matching-oriented Product Quantization For Ad-hoc Retrieval
Beijing University of Posts and Telecommunications(北京邮电大学);Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学)
乘积量化(PQ)是一种广泛使用的ad-hoc检索技术。最近的研究提出了监督PQ,其中嵌入和量化模型可以与监督学习联合训练。然而,缺乏适当的联合培训目标;因此,与以前无监督基线相比的改进实际上是有限的。在这项工作中,我们提出了面向匹配的产品量化(MoPQ),其中一个新的目标Multinoulli对比损失(MCL)制定。随着MCL的最小化,我们能够最大化查询和地面实况关键字的匹配概率,这有助于最佳的检索精度。鉴于MCL的精确计算是棘手的,由于大量的对比样本的需求,我们进一步提出了可微分跨设备采样(DCS),显着增加的对比样本的精确近似MCL。我们在四个真实世界的数据集上进行了广泛的实验研究,其结果验证了MoPQ的有效性。该代码可在https://github.com/microsoft/MoPQ上获得。
2021-09-12 cs.CL cs.IR
Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training
University of Amsterdam(阿姆斯特丹大学);JD Explore Academy(京东探索研究院);Tencent IEG(腾讯互动娱乐事业群);China University of Petroleum (East China)(中国石油大学(华东))
针对无监督对比预训练中伪正例不相关的问题,本文提出相关性感知对比学习,利用模型自身估计正例对相关性并自适应加权损失,在 BEIR 和开放域 QA 检索上持续提升 Contriever。
2023-06-05 cs.CL cs.IR
Cultivar: A Contrastive and Locale-Oriented Translation Benchmark for Investigating Contamination and Localisation Robustness
Queen’s University Belfast(贝尔法斯特女王大学);University of Technology Nuremberg(纽伦堡工业大学);Saarland University(萨尔大学);University of Melbourne(墨尔本大学);University of Helsinki(赫尔辛基大学);IIIT Hyderabad(海得拉巴国际信息技术学院);TCS Research(塔塔咨询服务公司研究院);Johns Hopkins University(约翰斯·霍普金斯大学);Imam Ja’afar Al-Sadiq University(伊玛目贾法尔·萨迪克大学);Cohere(Cohere公司);Last Token(Last Token公司);Charles University(查理大学);University of Edinburgh(爱丁堡大学);ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
该研究针对多语言翻译基准的污染与区域忽视问题,提出基于FLORES的本地化基准Cultivar,测试32个开放权重模型,发现MT专用模型鲁棒性低、部分模型过拟合FLORES、模型翻译美国内容更优。
2026-08-11 cs.AI cs.CL
Bridging the Training-Inference Gap for Dense Phrase Retrieval
University of California, Santa Barbara(加州大学圣巴巴拉分校);Korea University(高丽大学);Meta AI;Google Research(谷歌研究院);Apple(苹果公司)
构建密集的检索器需要一系列标准程序,包括训练和验证神经模型,以及创建索引以实现高效搜索。然而,这些程序往往是不一致的,训练目标并不完全反映检索场景在推理时间。在本文中,我们探讨了如何减少稠密检索中训练和推理之间的差距,重点是密集短语检索(Lee等人,2021年),其中数十亿的表示在推理时被索引。由于验证每一个密集检索与大规模的索引实际上是不可行的,我们提出了一个有效的方法来验证密集检索使用整个语料库的一个小的子集。这使我们能够验证各种训练策略,包括统一对比损失术语和使用硬否定词进行短语检索,这在很大程度上减少了训练-推理的差异。实验结果表明,在开放领域问答中,我们将前1短语的检索准确率提高了2~3个点,前20段落的检索准确率提高了2~4个点。我们的工作敦促建模密集检索仔细考虑的训练和推理,通过有效的验证,同时推进短语检索作为稠密检索的一般解决方案。
2022-10-25 cs.CL cs.IR cs.LG
Multi-Tenant Optimization For Few-Shot Task-Oriented FAQ Retrieval
在面向任务的对话系统中,特定于业务的常见问题(FAQ)检索相对于基于社区的FAQ提出了独特的挑战。每个FAQ问题代表一个意图,通常是许多相关用户查询的总括术语。我们使用标准的FAQ检索技术,使用查询-问题(Q-Q)相似性和Few-Shot意图检测技术来评估这些业务FAQ的性能。为了支持多个租户(FAQ集),实施FAQ检索的真实世界解决方案需要优化速度,准确性和成本。我们提出了一种新的方法,通过对比微调句子双编码器中的最后一层以及租户特定的权重切换,在现实世界的上下文中扩展多租户FAQ应用程序。
2023-01-25 cs.CL
Sparse and Dense Retrievers Learn Better Together: Joint Sparse-Dense Optimization for Text-Image Retrieval
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院);NAVER Corporation(NAVER公司)
本文提出一种基于自知识蒸馏的稀疏-稠密联合优化框架,通过集成相似度分数实现双向学习,仅微调稠密编码器末层与稀疏投影头,使稀疏检索器在MSCOCO和Flickr30k上超越稀疏基线并达到或超过稠密模型性能。
2025-08-22 cs.CL cs.IR cs.LG
Disentangled Contrastive Learning for Zero-Shot Multilingual Dense Retrieval
Beijing Jiaotong University(北京交通大学)
本文针对低资源语言检索数据稀缺问题,提出解耦对比学习方法,将多语言表示分离为语义与语言子空间,在mMARCO、MIRACL上的零样本多语言密集检索性能优于多个强基线。
2026-08-04 cs.CL cs.IR
Unsupervised Corpus Aware Language Model Pre-training for Dense Passage Retrieval
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
最近的研究表明,使用微调的语言模型~(LM)的稠密检索的有效性。然而,密集的猎犬很难训练,通常需要大量工程微调管道,以实现其全部潜力。在本文中,我们确定和解决两个基本问题的密集检索:i)~脆弱的训练数据噪声和ii)~需要大批量鲁棒地学习嵌入空间。我们使用最近提出的Condenser预训练架构,该架构通过LM预训练学习将信息压缩到密集向量中。在此基础上,我们提出了coCondenser,它增加了一个无监督的语料库级别的对比损失来预热段落嵌入空间。在MS-MARCO、Natural Question和Trivia QA数据集上的检索实验表明,coCondenser消除了对增强、合成或过滤等繁重数据工程的需求,以及对大批量训练的需求。它显示出与RocketQA相当的性能,RocketQA是一个最先进的,经过大量工程设计的系统,使用简单的小批量微调。
2021-08-12 cs.CL cs.IR
Towards Spoken Language Understanding via Multi-level Multi-grained Contrastive Learning
School of ECE Peking University(北京大学电子学院)
针对口语理解中意图与槽位缺乏相互指导的问题,提出多级多粒度对比学习框架MMCL,在话语、槽位和词级别应用对比学习并结合自蒸馏,在两个公开多意图数据集上取得最优结果。
2024-05-31 cs.CL
CLaMR: Contextualized Late-Interaction for Multimodal Content Retrieval
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出多模态后期交互检索器CLaMR,联合索引视频帧、语音转录、屏幕文本和元数据,通过MultiVENT 2.0++合成数据和模态感知损失实现动态模态选择,在多个基准上显著超越现有检索器。
2025-06-06 cs.CL cs.CV cs.IR
ML-LMCL: Mutual Learning and Large-Margin Contrastive Learning for Improving ASR Robustness in Spoken Language Understanding
Peking University(北京大学)
针对ASR错误影响口语理解性能的问题,提出ML-LMCL框架,通过互学习在手动与ASR转录文本间共享知识,引入距离极化正则化器避免推远相似对,并采用循环退火调度缓解KL消失,在三个数据集上达到最先进性能。
2023-11-19 cs.CL
MME-RAG: Multi-Manager-Expert Retrieval-Augmented Generation for Fine-Grained Entity Recognition in Task-Oriented Dialogues
Harbin Institute of Technology(哈尔滨工业大学);Byering Technology(Byering技术公司)
针对任务型对话细粒度实体识别中LLM的领域适配与检索可控性难题,提出MME-RAG多管理者-专家检索增强生成框架,经多数据集验证性能优于基线,具备良好鲁棒性与跨域泛化性。
2025-11-15 cs.AI cs.CL
Precise Zero-Shot Dense Retrieval without Relevance Labels
Carnegie Mellon University(卡内基梅隆大学);University of Waterloo(滑铁卢大学)
虽然密集检索已被证明是有效和高效的跨任务和语言,它仍然难以创建有效的完全zero-shot稠密检索系统时,没有相关性标签。在本文中,我们认识到零样本学习和编码相关性的困难。相反,我们建议通过假设的文档嵌入(HyDE)。给定一个查询,HyDE第一个zero-shot命令一个遵循查询的语言模型(例如,InstructGPT)生成一个假设文档。该文档捕获相关性模式,但不真实,可能包含错误的细节。然后,一个无监督的对比学习编码器(例如Contriever)将文档编码为嵌入向量。该向量识别语料库嵌入空间中的邻域,其中基于向量相似性检索相似的真实文档。第二步将生成的文档与实际的语料库联系起来,编码器的密集瓶颈过滤掉了不正确的细节。我们的实验表明,HyDE显著优于最先进的无监督密集检索器Contriever,并显示出与微调检索器相当的强大性能,跨越各种任务(例如Web搜索,QA,事实验证)和语言(例如SW,KO,JA)。
2022-12-20 cs.CL cs.IR
CoRNStack: High-Quality Contrastive Data for Better Code Retrieval and Reranking
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Lapis Labs(拉皮斯实验室);Nomic AI(诺米克人工智能公司)
提出高质量对比训练数据集CoRNStack,通过一致性过滤和挖掘困难负样本提升模型训练效果,在多种代码检索任务上达到SOTA,并显著改进代码重排序及GitHub issue函数定位。
2025-03-04 cs.CL cs.IR