SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models
University of Southern California（南加州大学）
句子嵌入是自然语言处理中的一个重要研究课题，它可以将知识传递给下游任务。同时，一个上下文化的词表示，称为BERT，在相当多的NLP任务中达到了最先进的性能。然而，从基于BERT的词模型中生成高质量的句子表示是一个悬而未决的问题。以往的研究表明，不同层次的BERT捕捉不同的语言属性。这使我们能够跨层融合信息，以找到更好的句子表示。在这项工作中，我们研究了深层上下文模型的单词表示的分层模式。然后，我们提出了一种新的句子嵌入方法，通过解剖BERT的词模型，通过几何分析的空间跨越的词表示。它被称为SBERT-WK方法。无需在SBERT-WK中进行进一步培训。我们评估SBERT-WK的语义文本相似性和下游监督任务。此外，十个层次的探测任务，提出了详细的语言分析。实验表明，SBERT-WK达到了最先进的性能。我们的代码是公开的。
2020-06-01 cs.CL cs.LG cs.MM
Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models
University of Liverpool（利物浦大学）；Amazon（亚马逊）
在NLP社区中已经提出了各种上下文化的语言模型，这些模型在不同的语料库上训练以产生许多神经语言模型（NLM）。然而，不同的NLM在用作文本表示时在下游NLP应用中报告了不同水平的性能。我们提出了一种元嵌入学习方法，该方法采用独立训练的上下文化词嵌入模型，并学习保留输入源NLM互补优势的句子嵌入。我们提出的方法是无监督的，并且不与特定的下游任务绑定，这使得学习的元嵌入原则上适用于需要句子表示的不同任务。具体来说，我们首先投影由各个NLM获得的令牌级嵌入，并学习指示源嵌入对其令牌级元嵌入的贡献的注意力权重。接下来，我们应用均值池和最大池来从令牌级元嵌入生成令牌级元嵌入。在语义文本相似度基准测试上的实验结果表明，我们提出的无监督文本级元嵌入方法优于先前提出的文本级元嵌入方法以及有监督的基线。
2022-04-16 cs.CL
NSP-BERT: A Prompt-based Few-Shot Learner Through an Original Pre-training Task--Next Sentence Prediction
Army Engineering University of PLA（中国人民解放军陆军工程大学）
使用提示来利用语言模型来执行各种下游任务，也称为基于提示的学习或基于提示的学习，与预训练和微调范例相比，最近取得了显著的成功。尽管如此，实际上所有的基于完形填空的方法都是标记级的，这意味着它们都利用GPT的从左到右的语言模型或BERT的掩码语言模型来执行完形填空式的任务。在本文中，我们尝试在zero-shot场景中使用RoBERTa和其他模型放弃的BERT原始预训练任务-下一句预测（NSP）来完成几个NLP任务。与token级别的技术不同，我们的基于提示符级别的方法NSP-BERT不需要固定提示符的长度或要预测的位置，使其能够轻松处理实体链接等任务。基于NSP-BERT的特点，我们为各种下游任务提供了几个快速构建模板。我们提出了一个两阶段的提示方法，特别是词义消歧任务。我们的标签映射策略显着提高了模型在句子对任务上的表现。在FewCLUE基准测试中，我们的NSP-BERT在大多数任务上都优于其他zero-shot方法，并接近于Few-Shot方法。
2022-10-18 cs.AI cs.CL
MultiLegalSBD: A Multilingual Legal Sentence Boundary Detection Dataset
University of Bern（伯尔尼大学）；Bern University of Applied Sciences（伯尔尼应用科学大学）；Stanford University（斯坦福大学）
针对法律领域多语言句子边界检测任务，构建含6种语言超13万标注句的MultiLegalSBD数据集，训练多种模型实现最优性能，且多语言模型零样本表现优于基线，相关资源已公开。
2023-05-02 cs.AI cs.CL cs.LG
Sentence-level Privacy for Document Embeddings
UC San Diego（加州大学圣地亚哥分校）
用户语言数据可能包含高度敏感的个人内容。因此，在从数据中学习时，必须为用户提供强大且可解释的隐私保证。在这项工作中，我们提出了SentDP：纯本地差分隐私在句子级别为一个单一的用户文档。我们提出了一种新的技术，DeepCandidate，它结合了强大的统计和语言建模的概念，以产生高维的，通用的$ε$ -SentDP文档嵌入。这保证了文档中的任何单个句子都可以用任何其他句子替换，同时保持嵌入$ε$不可区分。我们的实验表明，这些私有文档嵌入对于情感分析和主题分类等下游任务非常有用，甚至优于具有较弱保证的基线方法，如单词级Metric DP。
2022-05-10 cs.CL cs.LG
On Tree-Based Neural Sentence Modeling
Peking University（北京大学）；ByteDance（字节跳动）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
具有基于树的句子编码器的神经网络在许多下游任务上显示出更好的结果。现有的树型编码器大多采用句法分析树作为显式结构先验。为了研究不同树结构的有效性，我们用平凡树（即，二进制平衡树、左分支树和右分支树）。虽然平凡树不包含语法信息，但这些编码器在我们研究的所有十个下游任务上都获得了竞争性甚至更好的结果。这一令人惊讶的结果表明，显式语法指导可能不是基于树的神经句子建模优越性能的主要贡献者。进一步的分析表明，树模型给出了更好的结果时，关键词更接近最终表示。额外的实验提供了更多的线索，如何设计一个有效的基于树的编码器。我们的代码是开源的，可以在https://github.com/ExplorerFreda/TreeEnc上找到。
2018-08-29 cs.CL
Retrofitting Multilingual Sentence Embeddings with Abstract Meaning Representation
The Chinese University of Hong Kong（香港中文大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文提出了一种新的基于抽象意义表示的多语言句子嵌入方法。与原始文本输入相比，AMR是一种结构化的语义表示，它明确无误地表示了句子中的核心概念和关系。它还有助于减少不同表达和语言之间的表面变化。与大多数先前的工作，只评估语义相似性的测量能力，我们提出了一个彻底的评估现有的多语言句子嵌入和我们的改进版本，其中包括一个集合的五个传输任务，在不同的下游应用程序。实验结果表明，利用AMR改进多语言句子嵌入，在语义文本相似度和迁移任务上都有更好的表现。我们的代码库和评估脚本可以在\url{https://github.com/jcyk/MSE-AMR}上找到。
2022-10-18 cs.AI cs.CL
Logic Against Bias: Textual Entailment Mitigates Stereotypical Sentence Reasoning
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
由于其基于相似性的学习目标，预先训练的句子编码器经常内化反映其训练语料库中存在的社会偏见的刻板假设。在本文中，我们描述了流行的句子表示模型中存在的关于不同社区的几种刻板印象，包括预训练的下一句预测和对比句子表示模型。我们比较这样的模型文本蕴涵模型，学习语言逻辑的各种下游语言理解任务。通过比较基于文本相似度的强预训练模型和文本蕴涵学习，我们得出结论，具有文本蕴涵的显式逻辑学习可以显著减少偏见，提高社会社区的识别，而无需显式的去偏见过程
2023-03-10 cs.AI cs.CL cs.CY
Probing Multilingual Sentence Representations With X-Probe
University of Oslo（奥斯陆大学）
本文扩展了探测句子表征的任务，在多语言领域的语言洞察力。在这样做的时候，我们做了两个贡献：首先，我们提供数据集的多语言探测，来自维基百科，在五种语言，即英语，法语，德语，西班牙语和俄语。其次，我们评估每种语言的六个句子编码器，每个编码器都是通过将句子表示映射到英语句子表示来训练的，使用平行语料库中的句子。我们发现，跨语言映射的表示往往更好地保留某些语言信息比表示来自英语编码器训练自然语言推理（NLI）作为下游任务。
2019-06-12 cs.CL
Morphological Analysis of Japanese Hiragana Sentences using the BI-LSTM CRF Model
Ibaraki University（茨城大学）；Tokyo University of Agriculture and Technology（东京农工大学）
本研究提出了一种使用Bi-LSTM CRF模型开发日语平假名句子形态分析器神经模型的方法。形态分析是一种将文本数据划分为单词并分配信息（如词性）的技术。这种技术在日语自然语言处理系统的下游应用中起着至关重要的作用，因为日语在单词之间没有单词分隔符。平假名是一种日本表音文字，用于儿童或无法阅读汉字的人的文本。平假名句的词法分析比普通日语句子的词法分析要困难，因为平假名句中可供划分的信息较少。对于平假名句子的形态分析，我们使用基于普通日语文本的模型证明了微调的有效性，并检查了训练数据对各种体裁文本的影响。
2022-01-10 cs.CL cs.LG
Decontextualization: Making Sentences Stand-Alone
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）
用于问答、对话代理和摘要的模型通常在丰富的上下文中解释句子的含义，并在新的上下文中使用该含义。摘录文本可能会有问题，因为关键部分在本地窗口中可能不是显式的。我们隔离和定义的问题，句子去语境化：把一个句子连同它的上下文和重写它是可解释的上下文，同时保持其意义。我们描述了一个注释过程，收集维基百科语料库上的数据，并使用这些数据来训练模型，以自动解上下文的句子。我们提出了初步的研究，显示在用户面对的任务，句子解上下文的价值，并作为预处理系统执行文档理解。我们认为，去语境化是许多下游应用程序中的一个重要子任务，并且所提供的定义和资源可以使处理更丰富上下文中出现的句子的任务受益。
2021-02-09 cs.AI cs.CL
Representing Sentences as Low-Rank Subspaces
University of Illinois at Urbana Champaign（伊利诺伊大学香槟分校）
句子是自然语言的重要语义单位。一个通用的，分布式表示的句子，可以捕捉潜在的语义是有益的多个下游应用程序。我们观察到一个简单的句子几何--给定句子的单词表示（在所有SemEval数据集中平均10.23个单词，标准差为4.84）大致位于低秩子空间（大致为4）。基于这种观察，我们用词向量所构成的低秩子空间来表示句子。这种无监督的表示通过19个不同数据集上的语义文本相似性任务进行了经验验证，平均比复杂的神经网络模型（包括跳过思维向量）高出15%。
2017-04-18 cs.CL
Out of Order: How Important Is The Sequential Order of Words in a Sentence in Natural Language Understanding Tasks?
Auburn University（奥本大学）；Adobe Research（奥多比研究院）
最先进的自然语言理解模型是否关心词序--序列最重要的特征之一？不总是这样！我们发现，在许多GLUE任务上训练的基于BERT的分类器的正确预测中，有75%到90%在输入单词随机洗牌后保持不变。尽管BERT嵌入是众所周知的上下文，每个单词对下游任务的贡献几乎没有变化，即使在单词的上下文被打乱之后。基于BERT的模型能够利用表面线索（例如，情感分析中的关键词的情感;或者自然语言推理中的序列对输入之间的单词相似性）来在令牌以随机顺序排列时做出正确的决策。鼓励分类器捕获词序信息可以提高大多数GLUE任务，SQuAD 2.0和样本外的性能。我们的工作表明，许多胶水任务并不是挑战机器理解句子的含义。
2021-07-26 cs.AI cs.CL cs.LG
Pairwise Supervised Contrastive Learning of Sentence Representations
AWS AI（亚马逊云科技人工智能）
最近在句子表示学习中的许多成功都是通过简单地对具有三重丢失或连体丢失的自然语言推理（NLI）数据集进行微调来实现的。然而，它们有一个共同的缺点：矛盾对中的句子不一定来自不同的语义范畴。因此，单独优化语义蕴涵和矛盾推理目标不足以捕获高级语义结构。这个缺点是由这样一个事实加剧的，即香草连体或三元组损失只从单独的句子对或三元组中学习，这些句子对或三元组经常遭受糟糕的局部最优。在本文中，我们提出了PairSupCon，一个实例歧视为基础的方法，旨在桥梁语义蕴涵和矛盾的理解与高层次的分类概念编码。我们评估PairSupCon的各种下游任务，涉及理解句子语义在不同的粒度。我们优于以前的国家的最先进的方法与$10\%$ - $13\%$平均改善八个聚类任务，和$5\%$ - $6\%$平均改善七个语义文本相似性（STS）任务。
2022-01-29 cs.CL cs.LG
"Let's Eat Grandma": Does Punctuation Matter in Sentence Representation?
Arizona State University（亚利桑那州立大学）
基于神经网络的嵌入已经成为用于创建文本的矢量表示以捕获词汇和语义相似性和不相似性的主流方法。一般来说，现有的编码方法将标点符号视为无关紧要的信息;因此，它们通常被视为预定义的标记/单词或在预处理阶段被消除。然而，标点符号可以在句子的语义中发挥重要作用，如“Let's eat \hl{,} grandma”和“Let's eat grandma”。我们假设，标点符号感知的表示模型会影响下游任务的性能。因此，我们提出了一个模型不可知的方法，结合了句法和上下文信息，以提高性能的情感分类任务。我们通过在公开数据集上进行实验来证实我们的发现，并提供案例研究，我们的模型生成了句子中标点符号的表示。
2022-08-07 cs.CL cs.LG
Towards Debiasing Sentence Representations
Carnegie Mellon University（卡内基梅隆大学）
随着自然语言处理方法越来越多地应用于医疗保健、法律系统和社会科学等现实场景，有必要认识到它们在塑造社会偏见和刻板印象方面可能发挥的作用。先前的研究揭示了广泛使用的词嵌入中存在的社会偏见，涉及性别、种族、宗教和其他社会结构。虽然提出了一些方法来消除这些单词级嵌入的偏置，但是考虑到最近向新的上下文化句子表示（例如ELMo和BERT）的转变，需要在句子级执行消除偏置。在本文中，我们调查的存在下，社会偏见的水平表示，并提出了一种新的方法，发送Debias，以减少这些偏见。我们表明，Sent Debias是有效的，在消除偏见，并在同一时间，保留性能的水平上的下游任务，如情感分析，语言的可接受性，和自然语言理解。我们希望我们的工作将激励未来的研究，从广泛采用的句子表示中描述和消除社会偏见，以实现更公平的NLP。
2020-07-16 cs.CL cs.LG
An Unsupervised Sentence Embedding Method by Mutual Information Maximization
Singapore University of Technology and Design（新加坡科技设计大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；ZJU-UIUC Institue（浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院）
BERT对于聚类或语义搜索等句子对任务效率低下，因为它需要组合地评估许多句子对，这非常耗时。Sentence BERT（SBERT）试图通过学习单个句子的语义有意义的表示来解决这一挑战，从而可以轻松地进行相似性比较。然而，SBERT是在具有高质量标记句子对的语料库上训练的，这限制了其在标记数据极其稀缺的任务中的应用。在本文中，我们提出了一个轻量级的扩展上的BERT和一个新的自监督学习目标的基础上互信息最大化策略，以获得有意义的句子嵌入在无监督的方式。与SBERT不同，我们的方法不受标记数据可用性的限制，因此它可以应用于不同领域的特定语料库。实验结果表明，该方法在普通语义文本相似度（STS）任务和下游有监督任务上的性能明显优于其他无监督的句子嵌入基线。它还优于SBERT在设置中，在域标记的数据是不可用的，并实现性能与监督方法在各种任务上的竞争。
2021-02-05 cs.CL cs.LG
SegNSP: Revisiting Next Sentence Prediction for Linear Text Segmentation
University of Porto（波尔图大学）；INESC TEC；University of Beira Interior（贝拉内里大学）
SegNSP通过下一句预测任务改进线性文本分段，无需显式主题标签，实现高质量分段并提升下游NLP应用性能。
2026-02-11 cs.AI cs.CL cs.IR
An Information Minimization Based Contrastive Learning Model for Unsupervised Sentence Embeddings Learning
East China Normal University（华东师范大学）
无监督的句子嵌入学习最近被对比学习方法（例如，SimCSE），其保持正对相似并将负对分开。对比操作的目的是通过最大化正实例之间的互信息来保持尽可能多的信息，这导致句子嵌入中的冗余信息。针对这一问题，本文提出了一种基于信息最小化的对比学习模型（InformMin-CL），通过最大化正实例间的互信息和最小化正实例间的信息熵，保留有用信息，丢弃冗余信息，同时进行无监督的句子表示学习。具体来说，我们发现，信息最小化可以实现简单的对比度和重建目标。重构操作通过另一个正实例重构正实例，以最小化正实例之间的信息熵。我们在14个下游任务上评估了我们的模型，包括监督和无监督（语义文本相似性）任务。大量的实验结果表明，我们的InforMin-CL获得了最先进的性能。
2022-09-22 cs.AI cs.CL
L3Cube-MahaSBERT and HindSBERT: Sentence BERT Models and Benchmarking BERT Sentence Representations for Hindi and Marathi
MKSSS’ Cummins College of Engineering for Women（MKSSS卡明斯女子工程学院）；L3Cube；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
普通BERT模型的句子表示在句子相似性任务中效果不佳。在STS或NLI数据集上专门训练的Sentence-BERT模型显示出最先进的性能。然而，由于缺乏这些专门的数据集，为低资源语言构建这些模型并不简单。这项工作的重点是两个低资源的印度语言，印地语和马拉地语。我们使用使用机器翻译准备的合成NLI和STS数据集为这些语言训练重复BERT模型。我们表明，NLI预训练，然后STSb微调的策略是有效的，在生成高性能的印地语和马拉地语的相似性模型。使用这种简单策略训练的普通BERT模型优于使用复杂训练策略训练的多语言LaBSE。这些模型在下游文本分类和相似性任务中进行评估。我们在真实文本分类数据集上评估这些模型，以显示从合成数据训练中获得的嵌入也可推广到真实数据集，因此代表了低资源语言的有效训练策略。我们还提供了对快速文本模型、多语言BERT模型（mBERT、IndicBERT、xlm-RoBERTa、MuRIL）、多语言句子嵌入模型（LASER、LaBSE）以及基于L3 Cube-Maha BERT和HindBERT的单语言BERT模型的句子嵌入的比较分析。我们发布L3 Cube-MahaSBERT和HindSBERT，分别用于马拉地语和印地语的最先进的BERT模型。我们的工作也作为一个指导，以建立低资源的句子嵌入模型。
2022-11-22 cs.CL cs.LG
Towards Lossless Encoding of Sentences
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
利用机器学习进行图像压缩已经做了大量的工作，但是对自然语言的压缩还没有给予足够的关注。将文本压缩为无损表示，同时使功能易于检索不是一项微不足道的任务，但有巨大的好处。设计用于产生特征丰富的句子嵌入的大多数方法仅关注于在下游任务上表现良好，并且无法从学习的嵌入正确地重建原始序列。在这项工作中，我们提出了一个近无损的方法编码长序列的文本以及所有的子序列到功能丰富的表示。我们测试了我们的方法在情感分析，并显示出良好的性能在所有子句和句子嵌入。
2019-08-02 cs.CL
Token Prepending: A Training-Free Approach for Eliciting Better Sentence Embeddings from LLMs
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）
本文提出免训练的Token Prepending技术，通过将各层解码的句子嵌入前置到下一层输入开头，缓解因果注意力导致的前序token信息偏差，从而在多种LLMs和任务上显著提升基于提示的句子嵌入性能。
2025-07-03 cs.AI cs.CL
Looking for a Needle in a Haystack: A Comprehensive Study of Hallucinations in Neural Machine Translation
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；LUMLIS (Lisbon ELLIS Unit)（LUMLIS（里斯本ELLIS单元））；University of Edinburgh（爱丁堡大学）；Unbabel（Unbabel公司）
虽然神经机器翻译（NMT）中的幻觉问题已经引起了一些关注，但对这种高度病态现象的研究缺乏坚实的基础。以前的工作在几个方面受到限制：它经常诉诸于问题被放大的人工设置，它忽视了一些（常见的）幻觉类型，并且它没有验证检测方法的充分性。本文为NMT幻觉的研究奠定了基础。首先，我们在自然环境中工作，即，在训练和推理中都没有人工噪声的域内数据。接下来，我们注释了一个超过3.4k个句子的数据集，这些句子表明了不同类型的要害差错和幻觉。然后，我们转向检测方法，并重新访问以前使用的方法，并建议使用基于玻璃盒不确定性的检测器。总的来说，我们表明，对于预防性设置，（i）以前使用的方法在很大程度上是不够的，（ii）序列对数概率效果最好，并与基于参考的方法相当。最后，我们提出了DeHallucinator，这是一种在测试时减轻幻觉的简单方法，可以显着降低幻觉率。为了方便未来的研究，我们发布了WMT 18德语-英语数据的注释数据集，以及模型，训练数据和代码。
2023-03-05 cs.CL cs.LG
Hierarchical Multitask Learning Approach for BERT
Boğaziçi University（海峡大学）
最近的工作表明，学习上下文嵌入的话是有益的下游任务。BERT就是这种方法的一个成功例子。它通过解决两个任务来学习嵌入，这两个任务是掩码语言模型（掩码LM）和下一句预测（NSP）。BERT的预训练也可以被视为一个多任务学习问题。在这项工作中，我们采用分层多任务学习方法进行BERT预训练。预训练任务在不同的层而不是最后一层求解，并且来自NSP任务的信息被传输到掩蔽的LM任务。此外，我们提出了一个新的预训练任务bigram移位来编码词序信息。我们选择了两个下游任务，其中一个需要文本级嵌入（文本蕴涵），另一个需要上下文化的单词嵌入（问答）。由于计算限制，我们使用下游任务数据而不是大型数据集进行预训练，以查看给定受限数据集时所提出模型的性能。我们测试了他们的性能在几个探测任务分析学习嵌入。我们的研究结果表明，在预训练中实施任务层次结构可以提高嵌入的性能。
2020-10-17 cs.CL cs.LG
RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank
Peking University（北京大学）；Meituan（美团）；Meta AI；National Key Laboratory of General Artificial Intelligence（通用人工智能全国重点实验室）；BIGAI（北京通用人工智能研究院）；Renmin University of China（中国人民大学）
本文提出 RankCSE 方法，将排序一致性与排序蒸馏融入对比学习，以捕捉句子间细粒度排序信息，从而提升无监督句子表示在语义相似度和迁移任务上的性能。
2023-05-26 cs.AI cs.CL
AugCSE: Contrastive Sentence Embedding with Diverse Augmentations
Boston University（波士顿大学）
数据增强技术已被证明在自然语言处理领域的许多应用中是有用的。大多数增强都是针对特定任务的，不能用作通用工具。在我们的工作中，我们提出了AugCSE，一个统一的框架，利用不同的数据增强集，以实现更好的，通用的，句子嵌入模型。基于最新的句子嵌入模型，我们的方法使用了一个简单的对抗性的增强类型进行区分。借用领域自适应的微调目标，我们表明，不同的增强，这往往会导致冲突的对比信号，可以驯服产生一个更好的和更强大的句子表示。我们的方法在下游传输任务上实现了最先进的结果，并且仅使用无监督数据在语义文本相似性任务上具有竞争力。
2022-10-20 cs.CL
COMET-M: Reasoning about Multiple Events in Complex Sentences
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究院）
提出 COMET-M 事件中心常识模型，通过 35K 人工推理数据集训练，解决复杂多事件句子推理问题，显著提升多事件推理性能并适用于下游自然语言任务。
2023-10-23 cs.AI cs.CL
Representations Matter: Embedding Modes of Large Language Models using Dynamic Mode Decomposition
University of Manitoba（曼尼托巴大学）；AIP Labs（AIP实验室）
本研究利用动态模式分解分析嵌入模式，发现LLM幻觉文本的嵌入谱低秩且模式快速衰减，表明幻觉源于生成技术与底层表示，为检测幻觉提供新视角。
2023-09-03 cs.AI cs.CL
Timeline-based Sentence Decomposition with In-Context Learning for Temporal Fact Extraction
Nanjing University（南京大学）；BIGAI（北京智源人工智能研究院）
针对复杂句中时间与事实对应难的问题，提出结合大语言模型上下文学习的时间线句子分解策略及TSDRE方法，构建ComplexTRED数据集，在两个基准上取得最优时间事实抽取效果。
2024-06-18 cs.AI cs.CL
Learning Sparse Sentence Encoding without Supervision: An Exploration of Sparsity in Variational Autoencoders
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）；Imperial College London（帝国理工学院）
稀疏性是一种有效的归纳偏差，可以有效地学习固定维数向量中数据的有效表示，并且已经在表示学习的许多领域中进行了探索。这项工作特别感兴趣的是VAE框架内的稀疏性的研究，这在图像领域已经探索了很多，但在NLP中甚至缺乏基本的探索。此外，NLP在学习大文本单元的稀疏表示方面也落后，例如，句子.我们使用的VAE，诱导稀疏的大单位的文本的潜在表示，以解决上述缺点。首先，我们通过衡量无监督最先进（SOTA）和其他基于VAE的文本稀疏化基线的成功，并提出一个分层稀疏VAE模型来解决SOTA的稳定性问题。然后，我们研究了稀疏性对3个数据集的文本分类的影响，并强调了稀疏潜在表示在下游任务上的性能与其编码任务相关信息的能力之间的联系。
2021-04-16 cs.CL cs.LG
Arabic Sentence Segmentation Across Genres and Punctuation Conditions
Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·泽德人工智能大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
针对阿拉伯语标点歧义和不一致导致的句子分割难题，构建跨8种体裁的语料库AraSEG，评估LLM、轻量编码器和依存解析器，发现轻量模型在困难设置下优于LLM，且准确分割能显著提升下游依存解析。
2026-09-01 cs.CL
Topic Segmentation Model Focusing on Local Context
Yonsei University（延世大学）
主题分割在理解科学文献中非常重要，因为它不仅可以提供更好的可读性，而且可以通过创建适当的部分或段落来促进下游任务，例如信息检索和问答。在主题分割任务中，主题连贯性是预测分割边界的关键。大多数现有的模型都试图利用尽可能多的上下文来提取有用的主题相关信息。然而，额外的上下文并不总是带来令人满意的结果，因为尽管补充了更多的句子，但句子之间的局部上下文变得不连贯。为了缓解这个问题，我们提出了连体句子嵌入层，它独立地处理两个输入句子，以获得适当的信息量，而不会受到过多信息的阻碍。此外，我们采用多任务学习技术，包括相同的主题预测（STP），主题分类（TC）和下一句预测（NSP）。当这三个分类层以多任务方式组合时，它们可以弥补彼此的局限性，提高所有三个任务的性能。我们实验了三层的不同组合，并报告了每层如何影响相同组合中的其他层以及整体分割性能。我们提出的模型在WikiSection数据集中实现了最先进的结果。
2023-01-05 cs.AI cs.CL
CORD19STS: COVID-19 Semantic Textual Similarity Dataset
USC Information Sciences Institute（南加州大学信息科学研究所）
为了对抗COVID-19大流行，社会可以从各种自然语言处理应用中受益，例如对话医疗诊断系统和专门针对COVID-19校准的信息检索引擎。这些应用程序依赖于测量语义文本相似性（STS）的能力，使得STS成为一项基本任务，可以使几个下游应用程序受益。然而，现有的STS数据集和模型无法将其性能转化为特定领域的环境，如COVID-19。为了克服这一差距，我们引入了CORD 19 STS数据集，其中包括从COVID-19开放研究数据集（CORD-19）挑战中收集的13，710个注释句子对。具体来说，我们使用不同的采样策略生成了100万个句子对。然后，我们使用了一个微调的BERT类语言模型，我们称之为Sen-SCI-CORD 19-BERT，来计算句子对之间的相似性得分，以提供一个关于不同语义相似性水平的平衡数据集，这给了我们总共32 K个句子对。每个句子对都由五个Amazon Mechanical Turk（AMT）人群工作人员进行注释，其中标签表示句子对之间不同的语义相似性级别（即相关，有点相关和不相关）。在采用严格的资格任务来验证收集的注释后，我们最终的CORD 19 STS数据集包括13，710个句子对。
2020-11-02 cs.CL
Are ELECTRA's Sentence Embeddings Beyond Repair? The Case of Semantic Textual Similarity
University of Zagreb（萨格勒布大学）；Faculty of Electrical Engineering and Computing（电气工程与计算机学院）；TakeLab
针对ELECTRA句嵌入质量差、学界已默认不将其用于语义文本相似度任务的问题，本文提出截断模型微调（TMFT）方法修复嵌入，显著提升了STS基准性能，还发现ELECTRA生成器模型效果堪比BERT且参数效率更高。
2024-10-03 cs.CL
SentZero: An Enhanced Sentence-Centric Vision-Language Pretraining for Multi-Task Zero-Shot Chest X-Ray Analysis
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
SentZero提出了一种增强的句子中心视觉-语言预训练框架，通过LLM抽象级句子结构、假阴性缓解损失和句子条件残差调制，显著提升了多任务零样本胸部X光分析的泛化性能。
2026-09-29 cs.AI cs.CV
Adapting Sentence Transformers for the Aviation Domain
The MITRE Corporation（MITRE公司）
本文提出两阶段方法适配航空领域句向量Transformer，先以TSDAE进行航空文本预训练，再在SBERT架构中用NLI数据微调，显著提升航空下游任务性能。
2023-11-29 cs.CL
Sentiment Analysis For Modern Standard Arabic And Colloquial
Institute of statistical studies and research (ISSR), Cairo University（开罗大学统计研究与研究所）；Cairo University（开罗大学）
博客和社交网络等社交媒体的兴起激发了人们对情感分析的兴趣。随着评论、评级、推荐和其他形式的在线表达的激增，在线意见已经变成了一种虚拟货币，企业希望推销他们的产品，发现新的机会和管理他们的声誉，因此许多人现在都在寻找情感分析领域。在本文中，我们提出了一个基于特征的句子层次的阿拉伯语情感分析的方法。我们的方法是使用阿拉伯语成语/短语词典作为提高阿拉伯语句子中情感极性检测的关键重要性，以及一些小说和丰富的语言动机特征集（上下文增强器，上下文移位器和否定处理），用于冲突短语的句法特征，提高情感分类准确性。此外，我们介绍了一个自动扩展的广泛覆盖的极性词汇的阿拉伯语情感。该词典以黄金标准情感词为种子构建，人工收集和注释，并使用同义词集聚合技术和免费在线阿拉伯语词典和词库自动扩展和检测新情感词的情感倾向。我们的数据集中于现代标准阿拉伯语（MSA）和埃及方言阿拉伯语推特和微博（酒店预订，产品评论等）。使用我们的资源和技术与SVM分类器的实验结果表明高性能水平，准确率超过95%。
2015-05-12 cs.CL
A Glance is Enough: Extract Target Sentence By Looking at A keyword
Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
该研究针对仅靠关键词从多人混合语音中提取目标语句的问题，提出基于Transformer架构结合交叉注意力机制的方法，在Librispeech上-3dB信噪比场景下PER达26%，远优于基线的96%。
2023-10-09 cs.CL cs.SD eess.AS
The Effect of Downstream Classification Tasks for Evaluating Sentence Embeddings
Microsoft Research Montreal（微软研究院蒙特利尔）
一种用于定量评估句子嵌入效用的流行方法涉及在需要句子表示作为输入的下游语言处理任务中使用它们。一个简单的任务是分类，其中句子表示用于在多个分类数据集上训练和测试模型。我们认为，通过以这种方式评估句子表示，表示的目标成为学习一个低维分解的任务标签矩阵。我们展示了这个矩阵的特性如何影响低维分解作为一套分类任务中的句子表示的能力。首先，在所有可能的分类任务中具有更多标签的句子具有更高的重建损失，然而这种效果的一般性质最终取决于标签在所有可能句子中的总体分布。
2019-05-27 cs.CL
Evaluation of sentence embeddings in downstream and linguistic probing tasks
尽管新的句子嵌入方法发展迅速，但要找到这些不同技术的综合评价仍然具有挑战性。在过去的几年里，我们看到了句子嵌入领域的显著进步，特别是在开发通用句子编码器方面，它可以为各种下游任务提供归纳传输。在这项工作中，我们使用各种各样的下游和语言特征探测任务对最近的方法进行了全面评估。我们证明了一种简单的方法，使用词袋与最近引入的深度上下文相关的词嵌入的语言模型，与在蕴涵数据集上训练的句子编码器相比，在许多任务中都能产生更好的结果。然而，我们也表明，我们仍然远离一个通用的编码器，可以在几个下游任务中一致地执行。
2018-06-16 cs.CL
Toward Universal Text-to-Music Retrieval
KAIST（韩国科学技术院）；ByteDance（字节跳动）；Gaudio Lab（Gaudio实验室）
本文介绍了有效的设计选择文本到音乐检索系统。一个理想的基于文本的检索系统将支持各种输入查询，如预定义的标签，看不见的标签，和文档级描述。事实上，大多数以前的工作主要集中在一个单一的查询类型（标签或句子），可能不会推广到另一个输入类型。因此，我们回顾最近的基于文本的音乐检索系统使用我们提出的基准在两个主要方面：输入文本表示和训练目标。我们的研究结果使一个通用的文本到音乐检索系统，实现了可比的检索性能，在标签和标签级的输入。此外，所提出的多模态表示推广到9个不同的下游音乐分类任务。我们在线提供代码和演示。
2022-11-26 cs.IR cs.MM cs.SD
Improving Sentence Representations with Consensus Maximisation
UC San Diego（加州大学圣地亚哥分校）
共识最大化学习可以提供自我监督时，不同的意见是相同的数据。分布假设提供了另一种形式的有用的自我监督从相邻的句子，这是丰富的大型未标记语料库。出于观察，不同的学习架构往往强调句子意义的不同方面，我们提出了一个新的自监督学习框架学习句子表示，最大限度地减少了两个视图之间的分歧，同一个句子，其中一个视图编码的句子与递归神经网络（RNN），和其他视图编码相同的句子与一个简单的线性模型。学习后，根据标准下游任务的表现来判断，个体视图（网络）比单视图学习的对应视图（仅使用分布假设学习）产生更高质量的句子表示。这两种视图的集合提供了对监督和无监督下游任务的更好概括。此外，重要的是，在两个不同架构之间用共识最大化训练的视图的集合在下游任务上比由单视图训练的对应物制成的类似集合表现得更好。
2019-05-07 cs.CL cs.LG cs.NE
Saying What You're Looking For: Linguistics Meets Video Search
Purdue University（普渡大学）
我们提出了一种方法来搜索大型视频语料库中的视频剪辑描述的自然语言查询的形式的句子。这种方法使用组合语义来编码在其他系统中丢失的微妙含义，例如具有相同单词但含义完全不同的两个句子之间的差异：“The person rode the horse}与\emph {The horse rode the person”。给定一个视频句子对和一个自然语言解析器，以及一个描述语义查询空间的语法，我们会产生一个分数，表明视频对句子的描述有多好。我们为语料库中的每个视频片段生成这样的分数，并返回片段的排名列表。此外，该方法同时解决了两个基本问题：检测和跟踪对象，并识别这些轨迹是否描述了查询。因为跟踪和目标检测都是不可靠的，所以这使用关于预期的初步查询的知识来将跟踪器集中在相关参与者上，并确保所得到的轨迹由初步查询描述。虽然早期的工作仅限于对应于动词或名词的单字查询，我们展示了如何搜索包含多个短语（如介词短语）和修饰语（如副词）的复杂查询。我们证明了这种方法，通过搜索141个查询，涉及人和马相互作用，在10个全长好莱坞电影。
2013-09-20 cs.CL cs.CV cs.IR
Looking for a Handsome Carpenter! Debiasing GPT-3 Job Advertisements
Oxford Artificial Intelligence Society, University of Oxford（牛津大学牛津人工智能学会）
生成式语言模型的能力和可用性的不断增长已经使广泛的新的下游任务成为可能。学术研究已经识别、量化和减轻了语言模型中存在的偏见，但很少针对下游任务进行调整，因为这些任务对个人和社会产生了更广泛的影响。在这项工作中，我们利用一个流行的生成语言模型，GPT-3，与写作公正和现实的招聘广告的目标。我们首先评估的偏见和现实主义的zero-shot生成的广告，并将它们与现实世界的广告。然后，我们评估的工程和微调的去偏置方法。我们发现，鼓励多样性的提示，并没有显着改善偏见，也不现实。相反，微调，特别是对无偏见的真实广告，可以提高现实主义和减少偏见。
2022-05-23 cs.AI cs.CL
Evaluating Unsupervised Dimensionality Reduction Methods for Pretrained Sentence Embeddings
University of Liverpool（利物浦大学）
针对预训练语言模型句子嵌入高维性在资源受限设备上的问题，评估无监督降维方法，发现PCA等能降低近50%维度且不损失性能，甚至部分任务中进一步提升表现。
2024-03-20 cs.CL
Speeding up Context-based Sentence Representation Learning with Non-autoregressive Convolutional Decoding
UC San Diego（加州大学圣地亚哥分校）；Adobe Research（奥多比研究院）
语境在人类语言理解中起着重要的作用，因此它也可以用于机器学习语言的向量表示。在本文中，我们探索了一种非对称的编码器-解码器结构，用于无监督的基于上下文的句子表示学习。我们精心设计的实验表明，既不需要自回归解码器，也不需要RNN解码器。在此之后，我们设计了一个模型，该模型仍然保留RNN作为编码器，同时使用非自回归卷积解码器。我们进一步结合了一套有效的设计，以显着提高模型效率，同时也实现了更好的性能。我们的模型是在两个不同的大型未标记语料库上训练的，在这两种情况下，可移植性都是在一组下游NLP任务上评估的。我们的经验表明，我们的模型是简单和快速的，同时产生丰富的句子表示，擅长下游任务。
2018-06-01 cs.CL cs.LG cs.NE
Sentence Representation Learning with Generative Objective rather than Contrastive Objective
Shanghai Jiao Tong University（上海交通大学）
虽然提供了惊人的上下文化的标记级表示，当前的预训练语言模型在其自我监督的预训练过程中很少注意准确地获取标记级表示。然而，目前句子表示学习中占主导地位的对比目标几乎没有语言可解释性，也没有下游语义任务的性能保证。相反，我们提出了一种新的生成自监督学习目标的短语重建的基础上。为了克服以前生成方法的缺点，我们仔细建模的句子内结构分解成几个重要的短语。实证研究表明，我们的生成学习实现了足够强大的性能改进，并优于目前最先进的对比方法，不仅在STS基准测试，而且在下游的语义检索和重排序任务。我们的代码可在https://github.com/chengzhipanpan/PaSeR上获得。
2022-10-21 cs.CL
Vec2Sent: Probing Sentence Embeddings with Natural Language Generation
Technische Universität Darmstadt（达姆施塔特工业大学）
我们反思黑盒句子嵌入，有条件地从他们的目标是检索潜在的离散句子。我们认为这是一个新的无监督探测任务，并表明它与下游任务的性能相关。我们还说明了从不同编码器生成的语言是如何不同的。我们应用我们的方法从句子嵌入生成句子类比。
2020-11-01 cs.CL
Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning
虽然提供了惊人的上下文化的标记级表示，目前的预训练语言模型实际上很少注意在其自我监督的预训练过程中获取标记级表示。如果自监督学习可以分为生成学习和对比学习两个子类，那么现有的研究表明，句子表示学习可能更多地受益于对比方法，而不是生成方法。然而，对比学习不能很好地兼容常见的令牌级生成自监督学习，并且不能保证下游语义检索任务的良好性能。因此，为了减轻这种明显的不便，我们提出了一种新的生成自监督学习目标的基础上短语重建。实证研究表明，我们的生成学习可以产生足够强大的句子表示，并实现与对比学习在句子文本相似性（STS）任务的性能。此外，在无监督设置方面，我们的生成方法在下游语义检索任务的基准上优于以前最先进的SimCSE。
2022-10-21 cs.CL
Encouraging Paragraph Embeddings to Remember Sentence Identity Improves Classification
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
虽然段落嵌入模型对于下游分类任务非常有效，但它们学习并编码到单个向量中的内容仍然不透明。在本文中，我们研究了Zhang et al.（2017）提出的一种最先进的段落嵌入方法，发现它不能可靠地判断给定的句子是否出现在输入段落中。我们制定了一个句子内容任务来探索这个基本的语言属性，发现即使是一个简单得多的词袋方法也没有问题解决它。这个结果促使我们在半监督设置中用我们的句子内容探测目标取代Zhang et al.（2017）的基于重建的目标。尽管它很简单，但我们的目标在（1）基准数据集上的下游分类精度，（2）更快的训练和（3）更好的泛化能力方面优于段落重建。
2019-06-09 cs.CL
MEXMA: Token-level objectives improve sentence representations
Meta AI；Sorbonne Université（索邦大学）；Criteo AI Lab（Criteo人工智能实验室）
提出MEXMA方法，结合句子级和token级目标，通过跨语言掩码token预测直接更新编码器，显著提升跨语言句子表示质量，在双语文本挖掘等任务上优于现有方法。
2024-09-19 cs.AI cs.CL
The Neuro-Symbolic Concept Learner: Interpreting Scenes, Words, and Sentences From Natural Supervision
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；IIIS, Tsinghua University（清华大学交叉信息研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Deepmind（深度思考）；MIT BCS（麻省理工学院脑与认知科学系）；CBMM（脑、心智与机器中心）
我们提出了神经符号概念学习者（NS-CL），这是一种学习视觉概念，单词和句子的语义解析的模型，而无需对其中任何一个进行明确的监督;相反，我们的模型通过简单地查看图像和阅读配对的问题和答案来学习。我们的模型建立了一个基于对象的场景表示，并将句子转换为可执行的符号程序。为了桥接两个模块的学习，我们使用神经符号推理模块，该模块在潜在场景表示上执行这些程序。类似于人类的概念学习，感知模块根据所指对象的语言描述来学习视觉概念。同时，学习的视觉概念有助于学习新单词和解析新句子。我们使用课程学习来指导在图像和语言的大构图空间中的搜索。大量的实验表明，我们的模型学习视觉概念，单词表示，和句子的语义解析的准确性和效率。此外，我们的方法可以很容易地推广到新的对象属性，成分，语言概念，场景和问题，甚至新的程序域。它还支持可视化问答和双向图像-文本检索等应用程序。
2019-04-26 cs.AI cs.CL cs.CV
Why Better Cross-Lingual Alignment Fails for Better Cross-Lingual Transfer: Case of Encoders
University of Göttingen（哥廷根大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Saarland University（萨尔大学）
研究发现跨语言对齐与下游任务目标存在正交性，导致对齐效果因语言和任务类型而异，提出结合对齐与任务微调的实用指南。
2026-09-28 cs.CL
Neural Sentence Ordering
Fudan University（复旦大学）
句子排序是自然语言生成应用中的一项重要任务。以前的工作集中在提高其性能的外部，下游的任务，如多文档摘要。鉴于其重要性，我们建议将其作为一项单独的任务进行研究。我们收集了大量的学术文本语料库，并推导出一种数据驱动的方法来学习句子的成对排序，并通过大量的实验验证了其有效性。本文的源代码和数据集将公开提供。
2016-07-23 cs.CL
