A Language Model with Limited Memory Capacity Captures Interference in Human Sentence Processing
New York University（纽约大学）
本研究开发了一个具有单一自注意力头的循环神经语言模型，更紧密地对应认知理论假设的记忆系统，成功捕捉了人类句子处理实验中观察到的语义和句法干扰效应。
2023-10-24 cs.AI cs.CL cs.LG
Towards Linguistic Neural Representation Learning and Sentence Retrieval from Electroencephalogram Recordings
针对生成式EEG句子解码中编码器语义学习不足和LLM依赖记忆的问题，提出掩码对比Conformer词级编码与免训练句子检索的两步流水线。
2024-08-08 cs.AI cs.CL cs.LG
Sequential Sentence Matching Network for Multi-turn Response Selection in Retrieval-based Chatbots
Didi Chuxing（滴滴出行）
近年来，开放领域的多轮聊天机器人吸引了学术界和工业界许多研究人员的兴趣。主要的基于检索的方法使用上下文响应匹配机制进行多轮响应选择。具体地，现有技术的方法通过词或片段相似性来执行上下文响应匹配。然而，这些模型缺乏对中间层语义信息的充分利用，并且会犯一些人类很容易避免的简单错误。在这项工作中，我们提出了一个匹配网络，称为顺序句子匹配网络（S2M），使用的句子层次的语义信息来解决这个问题。首先，也是最重要的一点，我们发现，通过使用中间层语义信息，网络成功地解决了这个问题，并在匹配方面得到了显着的改进，从而获得了最先进的性能。此外，我们结合我们在这里介绍的句子匹配和目前文献中报道的常用词相似度匹配，在不同的语义层次上进行匹配。在三个公开数据集上的实验表明，这种集成进一步提高了模型的性能。
2020-05-16 cs.CL cs.LG
Multi-task Sentence Encoding Model for Semantic Retrieval in Question Answering Systems
Baidu Inc.（百度公司）
问答（QA）系统用于自动地对用户的问题提供适当的响应。句子匹配是问答系统中的一项重要任务，通常被转化为释义识别问题。给定一个问题，任务的目的是从QA知识库中找到最相似的问题。在本文中，我们提出了一个多任务的句子编码模型（MSEM）的PI问题，其中连接图来描述句子之间的关系，和多任务学习模型被应用到解决句子匹配和句子的意图分类问题。此外，我们实现了一个通用的语义检索框架，结合我们提出的模型和近似最近邻（ANN）技术，这使我们能够找到最相似的问题，从所有可用的候选人非常迅速地在线服务。实验结果表明，与现有的句子匹配模型相比，该方法具有明显的优越性。
2019-11-18 cs.AI cs.CL cs.IR
Hamming Sentence Embeddings for Information Retrieval
在检索应用中，二进制哈希已知在存储器和速度方面提供显著的改进。我们研究的压缩句子嵌入使用神经编码器-解码器架构，这是通过最小化重建误差训练。而不是采用原来的实值嵌入，我们使用潜在的表示在汉明空间产生的编码器的相似性计算。在语义相似性任务的几个基准的定量实验中，我们表明，我们的压缩汉明嵌入产生了可比的性能未压缩的嵌入（Sent 2 Vec，InferSent，手套-BoW），在压缩比高达256：1。我们进一步证明了我们的模型强烈地去相关输入特征，并且压缩器在对维基百科句子进行预训练时泛化良好。我们在Github上发布了源代码和所有实验结果。
2019-08-15 cs.CL cs.IR cs.LG
Multilingual Universal Sentence Encoder for Semantic Retrieval
Google AI（谷歌人工智能）；Google（谷歌）
我们介绍了两个预训练的检索为重点的多语种句子编码模型，分别基于Transformer和CNN模型架构。该模型使用多任务训练的双编码器将来自16种语言的文本嵌入到单个语义空间中，该双编码器使用基于翻译的桥接任务来学习绑定表示（Chidambaram al.，2018年）。该模型在语义检索（SR）、翻译对双文本检索（BR）和检索问答（ReQA）方面的性能与最新技术具有竞争力。在英语迁移学习任务中，我们的句子级嵌入接近，在某些情况下超过了单语，仅英语，句子嵌入模型的性能。我们的模型可在TensorFlow Hub上下载。
2019-07-09 cs.CL
M3: A Multi-Task Mixed-Objective Learning Framework for Open-Domain Multi-Hop Dense Sentence Retrieval
The University of Florida（佛罗里达大学）
本文提出M3框架，通过结合多任务混合目标进行稠密文本表征学习，解决了仅依赖对比学习导致的检索性能欠佳问题，并在大规模开放域事实验证基准数据集FEVER上取得最先进性能。
2024-03-21 cs.CL cs.IR cs.LG
From Retrieval to Typed Decisions: Calibrated System One Models from Biomedical Sentence Encoders
本研究提出SBERT2S1将生物医学检索编码器转换为类型化决策模型，并构建BIODECIDE套件和MEDLINE-S1数据集，发现检索预训练对PFR头有益，但RLCD配方因奖励归一化导致性能落后，交叉熵校准更优。
2026-10-05 cs.AI cs.CL
Retrieval Enhanced Model for Commonsense Generation
New York University（纽约大学）；Microsoft（微软）
常识生成是一项具有挑战性的任务，即使用所提供的概念生成描述日常场景的合理句子。它对常识知识的推理和组合泛化能力的要求甚至困扰着强大的预训练语言生成模型。我们提出了一个新的框架，使用检索方法，以提高预训练和微调常识生成。我们通过概念匹配检索原型句子候选，并将其用作辅助输入。为了进行微调，我们通过可训练的句子检索器进一步提高了它的性能。我们在大规模的CommonGen基准测试上通过实验证明，我们的方法取得了新的最先进的结果。
2021-05-24 cs.AI cs.CL
ParetoRAG: Leveraging Sentence-Context Attention for Robust and Efficient Retrieval-Augmented Generation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cybersecurity, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Alibaba Group（阿里巴巴集团）
针对RAG系统检索效率低和LLMs无法过滤无关信息的问题，提出无监督框架ParetoRAG，通过帕累托原则指导的句子级优化，在无需额外资源的情况下提升检索精度和生成质量，并在多数据集、LLMs和检索器上验证有效性。
2025-02-12 cs.CL
Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval
Microsoft Research Asia（微软亚洲研究院）
针对跨语言稠密检索缺乏定制化多语言预训练模型的问题，该研究提出MSM模型，通过建模跨语言通用的序列句子关系，结合掩码句子预测任务与分层对比损失训练，显著提升了跨语言检索性能。
2025-09-05 cs.CL cs.IR
Intelligent Translation Memory Matching and Retrieval with Sentence Encoders
University of Wolverhampton（伍尔弗汉普顿大学）；University of Surrey（萨里大学）
从翻译记忆库中匹配和检索先前翻译的片段是翻译记忆库系统的关键功能。然而，这种匹配和检索过程仍然局限于基于编辑距离的算法，我们已经确定这是翻译记忆系统的一个主要缺点。在本文中，我们引入句子编码器，以改善翻译记忆系统的匹配和检索过程-一个有效和高效的解决方案，以取代基于编辑距离的算法。
2020-04-27 cs.CL
SEER: The Span-based Emotion Evidence Retrieval Benchmark
Computer Science & Engineering University of Michigan（计算机科学与工程大学麦克马斯特大学）；Data Science & AI Procter & Gamble（数据科学与人工智能普罗cter与甘贝尔）
本研究提出SEER基于跨度的情感证据检索基准，含单句与五句短篇章两项情感证据检测任务及1200句标注数据，评估14个开源LLM发现长文本下准确率下降，揭示了过度依赖关键词等失效模式。
2025-10-28 cs.AI cs.CL
Sentence-aware Contrastive Learning for Open-Domain Passage Retrieval
Shanghai Jiao Tong University（上海交通大学）
通过对比学习训练密集段落表示已被证明是有效的开放域段落检索（ODPR）。现有的研究集中在通过改进负采样策略或额外的预训练来进一步优化。然而，这些研究保持未知的捕获通道与内部表示冲突的建模粒度不当。因此，这项工作提出了一个细化模型的基础上，更小的粒度，上下文语句，以减轻有关冲突。具体来说，我们引入了一个通道内的负采样策略，以鼓励不同的一代的句子表征在同一个通道。在三个基准数据集上的实验验证了该方法的有效性，特别是在冲突严重的数据集上。大量的实验进一步表明，我们的方法在数据集之间具有良好的可移植性。
2022-03-05 cs.CL
SetCSE: Set Operations using Contrastive Learning of Sentence Embeddings
受集合论启发提出SetCSE信息检索框架，通过集合间对比学习目标增强句子嵌入模型对复杂语义的理解，并提供交集、差分等集合操作，显著提升模型判别能力，支持现有方法无法实现的复杂提示检索任务。
2024-04-25 cs.CL cs.IR cs.LG
Compressing Sentence Representation for Semantic Retrieval via Homomorphic Projective Distillation
UC Santa Barbara（加州大学圣巴巴拉分校）；Microsoft（微软）
如何学习高度紧凑但有效的句子表达？预训练的语言模型在许多NLP任务中是有效的。然而，这些模型通常是巨大的，并产生大的句子嵌入。此外，大型和小型模型之间存在很大的性能差距。在本文中，我们提出了同态投影蒸馏（HPD）学习压缩句子嵌入。我们的方法使用可学习的投影层来增强小型Transformer编码器模型，以产生紧凑的表示，同时模仿大型预训练的语言模型以保留句子表示质量。我们评估我们的方法与不同的模型大小的语义文本相似性（STS）和语义检索（SR）的任务。实验表明，我们的方法实现了2.7-4.5点的性能增益STS任务相比，以前最好的表示相同的大小。在SR任务中，我们的方法提高了检索速度（8.2 $\times$）和内存使用（8.0 $\times$）相比，国家的最先进的大型模型。
2022-03-15 cs.CL cs.IR
Deep Sentence Embedding Using Long Short-Term Memory Networks: Analysis and Application to Information Retrieval
University of British Columbia（不列颠哥伦比亚大学）；Microsoft Research（微软研究院）
本文开发了一个模型，该模型使用具有长短期记忆（LSTM）细胞的递归神经网络来解决句子嵌入问题，这是当前自然语言处理研究中的一个热门话题。由于其捕获长期记忆的能力，LSTM-RNN在句子中积累了越来越丰富的信息，当它到达最后一个词时，网络的隐藏层提供了整个句子的语义表示。在本文中，LSTM-RNN是在一个弱监督的方式对用户点击通过商业网络搜索引擎记录的数据进行训练。进行可视化和分析，以了解嵌入过程是如何工作的。该模型被发现自动衰减的不重要的话，并检测句子中的显着的关键字。此外，发现这些检测到的关键字自动激活LSTM-RNN的不同单元，其中属于类似主题的单词激活相同单元。作为句子的语义表示，嵌入向量可以用于许多不同的应用。LSTM-RNN支持的这些自动关键字检测和主题分配能力允许网络执行文档检索，这是一项困难的语言处理任务，其中查询和文档之间的相似性可以通过LSTM-RNN计算的相应句子嵌入向量之间的距离来测量。在Web搜索任务中，LSTM-RNN嵌入显示出显着优于几种现有的最先进的方法。我们强调，该模型生成的句子嵌入向量，是特别有用的Web文档检索任务。与一个众所周知的通用句子嵌入方法，段落向量，进行比较。实验结果表明，本文提出的方法在Web文档检索任务中的性能明显优于它。
2016-01-16 cs.CL cs.IR cs.LG
sEEG-based Encoding for Sentence Retrieval: A Contrastive Learning Approach to Brain-Language Alignment
University of Southern California（南加州大学）
本文提出SSENSE对比学习框架，将sEEG信号映射到CLIP句子空间，实现基于脑活动的句子检索，验证了通用语言表征作为神经解码先验的可行性。
2025-04-20 cs.CL cs.LG eess.SP
Say Less, Mean More: Leveraging Pragmatics in Retrieval-Augmented Generation
University of Arizona（亚利桑那大学）
提出一种无监督的语用学方法，在RAG中突出最相关句子，提升三个问答任务上五种LLM的准确率，最高相对提升19.7%。
2025-02-27 cs.AI cs.CL cs.LG
Empowering Sentence Encoders with Prompting and Label Retrieval for Zero-shot Text Classification
NAVER（NAVER公司）；KAIST（韩国科学技术院）
本研究提出 RaLP 框架，通过检索增强标签提示，利用句子编码器在零样本文本分类中取得与更大基线相当或更强的性能。
2023-05-19 cs.CL
Revisiting Semantic Representation and Tree Search for Similar Question Retrieval
本文研究了BERT结合树结构在短句排序任务中的性能。在基于检索的问答系统中，我们通过对数据集中所有问题的排序来检索与查询问题最相似的问题。如果我们想通过神经排名器对所有句子进行排名，我们需要对所有句子对进行评分。然而，它消耗大量的时间。为此，我们设计了一个特定的搜索树，并结合深度模型来解决这个问题。我们在训练数据上微调BERT，以获得测试数据上的语义向量或句子嵌入。我们使用测试数据的所有句子嵌入来构建基于k-means的树，并在预测时以句子作为查询进行束搜索。我们在语义文本相似度数据集Quora Question Pairs上进行了实验，并对数据集进行了句子排名。实验结果表明，我们的方法优于强基线。我们的树将预测速度提高了500%-1000%，而不会损失太多的排名准确性。
2019-09-06 cs.CL
Negative Sample is Negative in Its Own Way: Tailoring Negative Sentences for Image-Text Retrieval
Fudan University（复旦大学）；Princeton University（普林斯顿大学）；Research Institute of Intelligent and Complex Systems, Fudan University（复旦大学智能与复杂系统研究院）
匹配模型是图文检索框架的核心。现有的研究通常训练模型，并探索各种策略来检索数据集中的难否定句。我们认为，目前基于检索的负样本构建方法是有限的，在数据集的规模，从而无法识别每一个图像的高难度的负样本。我们提出了带有识别和纠正的TAILOing否定句（TAGS-DC）来自动生成合成句子作为否定样本。TAGS-DC由掩蔽和再填充两部分组成，以生成更高难度的合成否定句。为了保持训练过程中的难度，我们通过参数共享来相互改进检索和生成。为了进一步利用否定句中不匹配的细粒度语义，我们提出了两个辅助任务，即单词识别和单词纠正，以改善训练。在MS-COCO和Flickr 30 K上的实验中，我们验证了我们的模型的有效性与当前最先进的模型相比，并在进一步的分析中证明了它的鲁棒性和忠实性。我们的代码可以在https://github.com/LibertFan/TAGS上找到。
2021-11-05 cs.CL cs.CV cs.IR
KGR^4: Retrieval, Retrospect, Refine and Rethink for Commonsense Generation
School of Informatics, Xiamen University（厦门大学信息学院）；Alibaba Group（阿里巴巴集团）
生成式常识推理要求机器在给定几个概念的情况下生成描述日常场景的句子，这一问题近年来引起了人们的广泛关注。然而，现有的模型不能像人类一样表现得那么好，因为它们产生的句子往往令人难以置信，语法上也不正确。在本文中，受人类创造句子的过程的启发，我们提出了一个新的知识增强常识生成框架，称为KGR ^4，包括四个阶段：检索，搜索，提炼，反思。在这个框架下，我们首先进行检索，从外部语料库中搜索相关的句子作为原型。然后，我们训练生成器，编辑或复制这些原型来生成候选句子，其中潜在的错误将由基于自动编码器的细化器修复。最后，我们从具有不同超参数的生成器产生的候选句子中选择输出句子。在CommonGen基准测试上的实验结果和深入分析有力地证明了该框架的有效性。特别是，KGR ^4在官方排行榜上获得了33.56分的SPICE分数，比之前报道的最好成绩高出2.49分，达到了最先进的性能。
2021-12-15 cs.CL
Cross-Lingual Phrase Retrieval
Beijing Institute of Technology（北京理工大学）；Huazhong University of Science and Technology（华中科技大学）
跨语言检索的目的是跨语言检索相关文本。目前的方法通常通过学习单词或句子级别的语言无关的文本表示来实现跨语言检索。然而，如何学习跨语言短语检索的短语表示仍然是一个悬而未决的问题。在本文中，我们提出了XPR，一个跨语言的短语检索器，提取短语表示从未标记的例句。此外，我们创建了一个大规模的跨语言短语检索数据集，其中包含65K双语短语对和4.2M例句在8个英语为中心的语言对。实验结果表明，XPR优于使用单词级或短语级表示的最先进的基线。XPR还显示出令人印象深刻的zero-shot可移植性，使模型能够在训练期间以看不见的语言对进行检索。我们的数据集、代码和训练模型可在www.github.com/cwszz/XPR/上公开获取。
2022-04-19 cs.CL
You Only Use Reactive Attention Slice For Long Context Retrieval
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Meta AI (FAIR)（Meta AI（FAIR））
提出基于注意力的检索技术YOURA，利用反应分数排序句子相关性，在保持质量的同时提升长上下文查询的推理吞吐量。
2024-09-03 cs.AI cs.CL cs.IR
DSLR: Document Refinement with Sentence-Level Re-ranking and Reconstruction to Enhance Retrieval-Augmented Generation
School of Computing（计算机学院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出无监督框架DSLR，通过句子分解、无关句过滤及连贯重构精炼检索文档，在多个开放域问答数据集上显著提升RAG性能，且无需额外训练。
2024-09-08 cs.CL
Groundedness in Retrieval-augmented Long-form Generation: An Empirical Study
Oracle Labs（甲骨文实验室）；ETH Zürich（苏黎世联邦理工学院）
本文实证研究检索增强LLM在长文本问答中的句子级接地性，跨3个数据集和4个模型系列分析模型规模、解码策略与指令微调的影响，发现正确答案仍常受幻觉影响。
2024-04-10 cs.CL cs.LG
Learning Dual Retrieval Module for Semi-supervised Relation Extraction
University of Southern California（南加利福尼亚大学）；Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
关系抽取是文本数据内容结构化的一项重要任务，在弱监督学习时变得特别具有挑战性-只有有限数量的标记句子，而大量的未标记句子可用。大多数现有的工作都是基于自我训练的想法来利用未标记的数据（即，自举模型）和多视图学习（例如，集合多个模型变体）。然而，这些方法或者遭受语义漂移的问题，或者没有完全捕获关系抽取的问题特征。在本文中，我们利用一个关键的见解，检索句子表达的关系是一个双重任务的预测关系标签为一个给定的句子-两个任务是互补的，可以共同优化相互增强。为了对这种直觉进行建模，我们提出了DualRE，这是一个原则性的框架，它引入了一个与原始关系预测模块联合训练的检索模块。通过这种方式，检索模块从未标记数据中选择的高质量样本可以用于改进预测模块，反之亦然。在两个公共数据集上的实验结果\footnote{\small Code and data can be found at \url{https://github.com/INK-USC/DualRE}.}以及案例研究证明了DualRE方法的有效性。
2019-02-22 cs.CL cs.LG
Learning a Recurrent Visual Representation for Image Caption Generation
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
在本文中，我们将探讨图像之间的双向映射和基于图像的描述。我们建议使用递归神经网络来学习这个映射。与以前将句子和图像映射到一个共同嵌入的方法不同，我们能够生成给定图像的新句子。使用相同的模型，我们还可以重建与给定视觉描述的图像相关联的视觉特征。我们使用一种新的循环视觉记忆，它可以自动学习记住长期的视觉概念，以帮助句子生成和视觉特征重建。我们在几个任务上评估我们的方法。这些包括句子生成，句子检索和图像检索。国家的最先进的结果显示的任务，产生新的图像描述。与人工生成的字幕相比，我们自动生成的字幕在当时比$19.8\%$更受人青睐。结果优于或相当于国家的最先进的图像和句子检索任务的方法使用类似的视觉功能的结果。
2014-11-20 cs.AI cs.CL cs.CV
Deep Fragment Embeddings for Bidirectional Image Sentence Mapping
Stanford University（斯坦福大学）
我们引入了一个模型，通过视觉和自然语言数据的多模态嵌入的图像和句子的双向检索。与以前直接将图像或句子映射到公共嵌入空间的模型不同，我们的模型在更精细的层次上工作，并将图像片段（对象）和句子片段（类型依赖树关系）嵌入到公共空间中。除了在以前的工作中看到的排名目标之外，这允许我们添加一个新的片段对齐目标，该目标可以学习直接将这些片段跨模态关联起来。广泛的实验评估表明，在图像和句子的全局水平和各自的片段的更精细的水平上的推理显着提高图像-句子检索任务的性能。此外，我们的模型提供了可解释的预测，因为推断的模态间片段对齐是明确的。
2014-06-22 cs.CL cs.CV cs.LG
Semantic Sentence Composition Reasoning for Multi-Hop Question Answering
Zhejiang University（浙江大学）
现有的多跳开放域问答系统由于缺乏足够的数据，需要根据每个问题有效地找出相关的支持事实。针对语义事实句检索和多跳上下文扩展的难题，提出了一种面向多跳问答任务的语义句子组合推理方法，该方法包括两个关键模块：多阶段语义匹配模块（MSSM）和事实句子组合模块（FSC）.该方法将事实句和多阶段语义检索相结合，可以为模型训练和推理提供更全面的上下文信息。实验结果表明，我们的模型是能够纳入现有的预训练语言模型，并优于现有的SOTA方法的QASC任务的改进约9%。
2022-03-01 cs.AI cs.CL cs.IR
R$^2$F: A General Retrieval, Reading and Fusion Framework for Document-level Natural Language Inference
SenseTime（商汤科技）；National University of Defense Technology（国防科技大学）；Singapore Management University（新加坡管理大学）
文档级自然语言推理（Document-level natural language inference，DOCNLI）是自然语言处理领域的一个新的挑战性课题，旨在判断一对假设和前提文档之间的蕴涵关系。目前的数据集和基线基本上遵循文件级别的设置，但未能解决较长文件引起的问题。在本文中，我们建立了一个通用的解决方案，命名为检索，阅读和融合（R2 F）的框架，和一个新的设置，通过分析的主要挑战DOCNLI：可解释性，长程依赖，跨句子推理。该框架的基本思想是将文档级任务简化为一组文档级任务，并利用证据的力量提高性能和可解释性。对于每个假设句，框架从前提中检索证据句，并读取以估计其可信度。然后对文档级结果进行融合，判断文档之间的关系。对于设置，我们提供补充证据和蕴涵标签注释的假设句子，可解释性研究。实验结果表明，R2 F框架可以获得最先进的性能，并对各种证据检索方法具有鲁棒性。此外，它可以给出更多的解释性预测结果。我们的模型和代码在https://github.com/phoenixsecularbird/R2F上发布。
2022-10-22 cs.CL
Concise and Sufficient Sub-Sentence Citations for Retrieval-Augmented Generation
针对RAG引用粒度过粗或信息不足的问题，本文构建子句级引用数据集，并提出用LLM生成微调数据、credit model过滤低质样本的归因框架，以生成简洁充分且更可读的引用。
2025-10-18 cs.CL
UKP-Athene: Multi-Sentence Textual Entailment for Claim Verification
Technische Universität Darmstadt（达姆施塔特工业大学）
事实提取和验证（FEVER）共享任务的启动是为了支持能够通过从原始文本中提取支持或反驳事实来验证声明的系统的开发。共享任务组织器为索赔验证中涉及的连续步骤提供大规模数据集，特别是文档检索，事实提取和索赔分类。在本文中，我们提出了我们的索赔验证管道方法，根据初步结果，在23个竞争系统中，该方法在共享任务中排名第三。对于文档检索，我们实现了一种新的实体链接方法。为了能够对候选事实进行排名并根据几个选定的事实对索赔进行分类，我们对增强型LSTM（ESIM）进行了两个扩展。
2019-05-09 cs.AI cs.CL cs.IR
Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation
Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University（上海数据科学 key laboratory，计算机科学学院，复旦大学）；School of Data Science, Fudan University（数据科学学院，复旦大学）；AntGroup（蚂蚁集团）
针对检索增强生成中引用粒度粗、可验证性不足的问题，提出细粒度属性文本生成方法ReClaim，在长文本问答中逐句生成引用与答案，实验显示引用准确率达90%。
2025-05-23 cs.CL
Compressing Sentence Representation with maximum Coding Rate Reduction
University J. J. Strossmayer of Osijek（奥西耶克J.J.斯特罗斯迈尔大学）
本文针对句子嵌入高维及蒸馏小模型性能下降问题，在 Sentence-BERT 蒸馏模型上加入基于 MCR2 目标学习的投影层，在降低模型复杂度与嵌入维度的同时保持语义检索性能。
2023-04-25 cs.CL cs.LG
Multimodal Neural Machine Translation with Search Engine Based Image Retrieval
College of Application and Technology（应用技术学院）；Shenzhen University（深圳大学）；College of Big Data and Internet（大数据与互联网学院）；Shenzhen Technology University（深圳技术大学）
近年来，大量的研究表明，利用视觉信息可以在一定程度上提高神经机器翻译（NMT）的性能。然而，大多数这些结论是从分析的实验结果的基础上有限的一组双语字幕图像对，如Multi 30 K。在这类数据集中，一个双语平行句对的内容必须由人工标注的图像很好地表示，这与实际的翻译情况是不同的。以前的一些工作提出了解决这个问题，检索图像从现有的主题模型的图片对。然而，由于他们所使用的图片-图像对的集合有限，他们的图像检索方法很难处理词汇表外的单词，并且很难证明视觉信息增强了NMT，而不是图像和句子的共现。本文提出了一种基于图像搜索引擎的开放词汇图像检索方法，为双语平行语料库收集描述性图像。接下来，我们提出了文本感知的注意视觉编码器过滤错误收集的噪声图像。在Multi 30 K和其他两个翻译数据集上的实验结果表明，我们提出的方法在强基线上取得了显着的改善。
2022-09-03 cs.AI cs.CL cs.CV
Writing by Memorizing: Hierarchical Retrieval-based Medical Report Generation
UC San Diego（加州大学圣地亚哥分校）；Penn State University（宾夕法尼亚州立大学）；Microsoft Azure Computer Vision（微软Azure计算机视觉部门）
医学报告生成是医学图像分析中最具挑战性的任务之一。虽然现有的方法已经取得了可喜的成果，他们要么需要一个预定义的模板数据库，以检索句子或忽略了医疗报告生成的分层性质。为了解决这些问题，我们提出MedWriter，它采用了一种新的分层检索机制，自动提取报告和病历级模板，用于临床准确的报告生成。MedWriter首先采用视觉语言检索~（VLR）模块来检索给定图像的最相关报告。为了保证句子之间的逻辑一致性，引入了语言检索模块（LLR），根据先前生成的描述来检索相关句子。最后，语言解码器融合图像特征和检索到的报告和句子的特征，生成有意义的医疗报告。我们通过两个数据集的自动评估和人工评估来验证我们的模型的有效性，即，Open-I和MIMIC-CXR。
2021-05-25 cs.CL cs.CV cs.IR
TEMPS: Temporal Sentence Embeddings for Temporal Information Retrieval
SAMOVAR, Télécom SudParis, Institut Polytechnique de Paris（SAMOVAR，巴黎电信 SudParis，巴黎综合理工学院）；Aldebaran Care
TEMPS提出时间文本相似度任务，通过将时间表达式解析为区间并匹配高斯分布，训练附加于冻结语义检索器的模块化时间分支，在三个时间基准上显著提升检索性能。
2026-09-24 cs.AI cs.CL
GEGA: Graph Convolutional Networks and Evidence Retrieval Guided Attention for Enhanced Document-level Relation Extraction
School of Software, Henan University（河南大学软件学院）；China Mobile Research Institute（中国移动研究院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
针对文档级关系抽取中证据相关性弱及长距离多实体复杂关系抽取不足的问题，提出 GEGA 模型，用图神经网络引导证据注意力并结合多尺度证据检索，在三个基准上全面超越现有 SOTA。
2024-09-08 cs.AI cs.CL
Unifying Relational Sentence Generation and Retrieval for Medical Image Report Composition
Sun Yat-sen University（中山大学）
除了在传统的字幕任务中生成长且主题连贯的段落之外，医学图像报告撰写任务由于需要高度准确的医学术语诊断和包括印象和发现的多种异构形式的信息而提出了更多面向任务的挑战。当前的方法通常会生成最常见的句子，这是由于数据集对个体情况的偏见，而不管句子是否正确地捕捉到关键实体和关系。这些局限性严重影响了医学报告写作的适用性和概括能力，因为最关键的句子是相对罕见的异常疾病的描述。此外，在一份报告中出现的一些医学术语往往相互纠缠，共同出现，例如与特定疾病相关的症状。为了加强医学术语的语义一致性纳入最终报告，并鼓励句子生成罕见的异常描述，我们提出了一种新的框架，统一的模板检索和句子生成处理常见和罕见的异常，同时确保检测到的医学术语之间的语义一致性。具体而言，我们的方法利用混合知识协同推理：i）所有异常医学术语之间的显式关系，以诱导视觉注意学习和主题表征编码，以更好地面向主题的症状描述; ii）自适应生成模式，根据上下文主题编码器在模板检索和句子生成之间变化。两个医疗报告基准的实验结果表明，该框架的优越性，在人力和指标评价。
2021-01-09 cs.CL cs.CV
Don't Lose Entities from Retrieval to Generation: Dual Entity Recovery RAG for multi-hop QA
UNIST（蔚山科学技术院）
针对多跳问答中检索与生成阶段实体信息丢失的问题，提出双实体恢复RAG（DER-RAG），通过双向查询分解和主语实体前缀，无需图构建或微调，在三个基准上达到或超越强基线。
2026-09-09 cs.CL
SenTest: Evaluating Robustness of Sentence Encoders
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube Labs（L3Cube实验室）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
SenTest通过字符级、词级和句子级对抗攻击评估句编码器鲁棒性，发现模型在扰动数据上准确率最多下降15个百分点，且现有监督分类策略仅充当n-gram检测器，未能利用嵌入中的语义和句法信息。
2023-11-29 cs.CL cs.LG
SPEER: Sentence-Level Planning of Long Clinical Summaries via Embedded Entity Retrieval
Columbia University（哥伦比亚大学）
针对临床出院摘要生成中实体覆盖不全和不忠实的问题，提出SPEER方法，通过嵌入式实体检索进行句子级规划，指导LLM在生成每句前检索标记实体，显著提升了摘要的覆盖率与忠实度。
2024-09-26 cs.CL
AspectCSE: Sentence Embeddings for Aspect-based Semantic Textual Similarity Using Contrastive Learning and Structured Knowledge
Technical University of Munich（慕尼黑工业大学）；DFKI GmbH（德国人工智能研究中心）
本文提出AspectCSE方法，利用对比学习和Wikidata知识图谱属性训练基于方面的句子嵌入，在信息检索任务上平均提升3.97%，并证明多方面嵌入优于单方面嵌入。
2023-09-24 cs.AI cs.CL
Cross-lingual Retrieval for Iterative Self-Supervised Training
Facebook AI（Facebook AI（脸书人工智能））
最近的研究已经证明了多语言预训练语言模型的跨语言对齐能力。在这项工作中，我们发现跨语言对齐可以通过在使用自己的编码器输出挖掘的句子对上训练seq 2seq模型来进一步改进。我们利用这些发现开发了一种新的方法-跨语言检索迭代自监督训练（CRISS），其中迭代地应用挖掘和训练过程，同时提高跨语言对齐和翻译能力。使用这种方法，我们在9种语言方向上实现了最先进的无监督机器翻译结果，平均提高了2.4 BLEU，并且在16种语言的XTREME基准测试中的Tatoeba句子检索任务中，绝对准确率平均提高了21.5%。此外，与mBART相比，CRISS在监督机器翻译下游任务上进行微调时，平均还带来了额外的1.8 BLEU改进。
2020-10-26 cs.CL cs.LG
NLSC: Unrestricted Natural Language-based Service Composition through Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
当前的服务组合方法（原子服务的组装）要求开发人员使用：用途：（a）特定于域的语义来形式化限制其描述词汇的服务，以及（b）用于服务检索的翻译机制，以将非结构化的用户请求转换为强类型的语义表示。在我们的工作中，我们认为，努力开发服务描述，请求翻译和匹配机制可以减少使用不受限制的自然语言，允许：（1）最终用户直观地表达他们的需求使用自然语言，（2）服务开发人员开发服务，而不依赖于语法/语义描述语言。虽然有一些基于自然语言的服务组合方法，他们限制服务检索的语法/语义匹配。随着机器学习和自然语言处理的最新发展，我们通过利用更丰富的句子语义表示来促进句子嵌入的使用，以进行服务描述、匹配和检索。实验结果表明，在保持高查准率和查全率的前提下，服务组合的开发工作量可减少44%以上.
2019-06-04 cs.AI cs.CL cs.SE
RetroMAE: Pre-Training Retrieval-oriented Language Models Via Masked Auto-Encoder
Beijing University of Posts and Telecommunications（北京邮电大学）；Huawei Technologies Ltd. Co.（华为技术有限公司）
尽管预训练在许多重要的NLP任务中取得了进展，但仍然需要探索有效的稠密检索预训练策略。在本文中，我们提出了RetroMAE，一个新的面向检索的预训练范式的基础上掩蔽自动编码器（MAE）。RetroMAE突出了三个关键设计。1)一种新的MAE工作流程，其中输入句子对于具有不同掩码的编码器和解码器是污染的。从编码器的掩码输入生成句子嵌入;然后，基于句子嵌入和解码器的掩码输入，通过掩码语言建模来恢复原始句子。2)非对称模型结构，用一个类似于BERT的全尺寸Transformer作为编码器，一个单层Transformer作为解码器。3)非对称掩蔽比，编码器掩蔽比适中：15~ 30%，解码器掩蔽比激进：50~ 70%。我们的框架实现简单，经验上具有竞争力：预先训练的模型在广泛的稠密检索基准测试中显着提高了SOTA性能，如BEIR和MS MARCO。源代码和预训练模型在https://github.com/staoxiao/RetroMAE上公开提供，以激发更多有趣的研究。
2022-10-17 cs.CL
Constructing Phrase-level Semantic Labels to Form Multi-Grained Supervision for Image-Text Retrieval
Fudan University（复旦大学）；Zhejiang Lab（之江实验室）；Princeton University（普林斯顿大学）
现有的图像文本检索研究主要依靠文本级监督来区分查询图像的匹配和不匹配句子。然而，图像和句子之间的语义不匹配通常发生在更细的粒度中，即，短语级。在本文中，我们探索引入额外的短语级监督，以更好地识别文本中的不匹配单元。在实践中，多粒度的语义标签自动构建的查询图像在句子级和短语级。我们为匹配的句子构建文本场景图，并提取实体和三元组作为短语级标签。为了整合句子级和短语级的监督，我们提出了语义结构感知多模态Transformer（SSAMT）多模态表示学习。在SSAMT中，我们利用不同类型的注意力机制来加强视觉和语言双方多粒度语义单元的交互。对于训练，我们从全局和局部角度提出了多尺度匹配损失，并惩罚不匹配的短语。在MS-COCO和Flickr 30 K上的实验结果表明了该方法的有效性。
2021-09-12 cs.CL cs.CV
Evaluating Multilingual Long-Context Models for Retrieval and Reasoning
Department of Computer Science（计算机科学系）；Portland State University（波特兰州立大学）
本文创建了mLongRR数据集，评估多语言长上下文LLM在五种语言中的检索与推理能力，发现模型在处理多目标句子和低资源语言时性能显著下降。
2024-10-12 cs.CL
Precise Legal Sentence Boundary Detection for Retrieval at Scale: NUPunkt and CharBoundary
ALEA Institute（ALEA研究所）；Stanford CodeX（斯坦福CodeX项目）；Illinois Tech - Chicago Kent Law（伊利诺伊理工大学芝加哥肯特法学院）；Bucerius Law School（布塞留斯法学院）
本文提出 NUPunkt 和 CharBoundary 两个法律文本句子边界检测库，在 25,000 余份法律文档上实现 91.1% 精确率及每秒千万字符处理速度，较通用工具精确率提升 29-32%，有效改善检索增强生成系统的上下文完整性。
2025-04-05 cs.CL
Suffix Retrieval-Augmented Language Modeling
NYU Shanghai（上海纽约大学）
因果语言建模（LM）使用单词历史来预测下一个单词。另一方面，BERT利用句子中的双向单词信息来预测掩蔽位置处的单词。虽然BERT在序列编码中是有效的，但它本质上是非因果的，并且不是为序列生成而设计的。在本文中，我们提出了一种新的语言模型，SUffix REtrieval-Augmented LM（SUREALM），它模拟了一个双向的自回归方式的上下文效果。SUREALM采用嵌入检索器在序列生成期间在数据存储中搜索共享相似单词历史的训练句子。特别是，检索到的句子的后缀部分模仿“未来”的上下文。我们在DSTC 9口语对话语料库上评估了我们提出的模型，与竞争基线相比，验证和测试集上显示出有希望的单词困惑减少。
2023-03-14 cs.CL
A Simple and Plug-and-play Method for Unsupervised Sentence Representation Enhancement
Tencent AI Lab（腾讯人工智能实验室）
本文提出RepAL，一种无需训练、即插即用的后处理方法，通过弱化预训练句子嵌入中的冗余信息来增强句子表示，可与多数无监督句子学习模型结合，提升语义匹配和检索性能。
2023-05-13 cs.AI cs.CL
Exploring Anisotropy and Outliers in Multilingual Language Models for Cross-Lingual Semantic Sentence Similarity
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Centre for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））；Faculty of Mathematics and Physics, Charles University（查理大学数学与物理学院）
本文研究多语言预训练模型的离群维度与各向异性，通过移除离群维、聚类增强和 ZCA 白化等无微调嵌入变换，评估其对跨语言句子相似度的改进。
2023-06-07 cs.CL
