A Sequential Neural Encoder with Latent Structured Description for Modeling Sentences
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个序列神经编码器与潜在结构化描述（SNELSD）建模的句子。该模型将潜在的块级表示引入到传统的顺序神经编码器中，即，具有长短期记忆（LSTM）单元的递归神经网络（RNN），以在语义建模中考虑语言的组合性。SNELSD模型具有包括检测层和描述层的分层结构。检测层预测输入句子中潜在词块的边界，并为每个词导出块级向量。描述层利用修改后的LSTM单元以递归方式处理这些块级向量，并产生顺序编码输出。这些输出向量进一步与词向量或链式LSTM编码器的输出连接，以获得最终的句子表示。所有的模型参数都是以端到端的方式学习的，而不依赖于额外的文本分块或语法解析。一个自然语言推理（NLI）任务和一个情感分析（SA）任务被用来评估我们提出的模型的性能。实验结果表明，所提出的SNELSD模型的有效性，探索任务相关的组块模式在语义建模的句子。此外，所提出的方法实现了更好的性能比传统的链LSTM和树结构的LSTM在这两个任务。
2017-11-15 cs.CL
On Tree-Based Neural Sentence Modeling
Peking University（北京大学）；ByteDance（字节跳动）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
具有基于树的句子编码器的神经网络在许多下游任务上显示出更好的结果。现有的树型编码器大多采用句法分析树作为显式结构先验。为了研究不同树结构的有效性，我们用平凡树（即，二进制平衡树、左分支树和右分支树）。虽然平凡树不包含语法信息，但这些编码器在我们研究的所有十个下游任务上都获得了竞争性甚至更好的结果。这一令人惊讶的结果表明，显式语法指导可能不是基于树的神经句子建模优越性能的主要贡献者。进一步的分析表明，树模型给出了更好的结果时，关键词更接近最终表示。额外的实验提供了更多的线索，如何设计一个有效的基于树的编码器。我们的代码是开源的，可以在https://github.com/ExplorerFreda/TreeEnc上找到。
2018-08-29 cs.CL
Multilingual Sentence-T5: Scalable Sentence Encoders for Multilingual Applications
Nagoya University（名古屋大学）；PKSHA Technology Inc.（PKSHA Technology 公司）
本文提出基于NLI的多语言句子嵌入模型m-ST5，利用LoRA技术将Sentence T5扩展至57亿参数，实验证明其性能优于先前方法且随模型规模提升，低资源语言获益更多。
2024-03-26 cs.CL
TSDAE: Using Transformer-based Sequential Denoising Auto-Encoder for Unsupervised Sentence Embedding Learning
Technical University of Darmstadt（达姆施塔特工业大学）
学习句子嵌入通常需要大量的标记数据。然而，对于大多数任务和域，标记数据很少可用，并且创建它是昂贵的。在这项工作中，我们提出了一种新的国家的最先进的无监督方法的基础上预先训练的Transformers和顺序去噪自动编码器（TSDAE），它优于以前的方法高达6.4点。它可以实现高达93.1%的域内监督方法的性能。此外，我们表明，TSDAE是一个强大的领域自适应和预训练方法的句子嵌入，显着优于其他方法，如掩蔽语言模型。以往研究的一个重要缺点是评估范围狭窄：大多数工作主要评估语义文本相似性（STS）的单一任务，这不需要任何领域知识。目前还不清楚这些方法是否适用于其他领域和任务。我们填补了这一空白，并评估TSDAE和其他最近的方法对四个不同的数据集从异构域。
2021-09-10 cs.CL
Multi-task Learning for Universal Sentence Embeddings: A Thorough Evaluation using Transfer and Auxiliary Tasks
University of California, Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加州大学）；Fudan University（复旦大学）；University of Virginia（弗吉尼亚大学）
学习分布式句子表示是自然语言处理的关键挑战之一。以前的工作表明，基于递归神经网络（RNN）的句子编码器在大量带注释的自然语言推理数据的集合上训练，在迁移学习中是有效的，以促进其他相关任务。在本文中，我们表明，多任务的联合学习结果更好地概括句子表示进行了广泛的实验和分析比较多任务和单任务学习的句子编码器。使用辅助任务的定量分析表明，多任务学习比单任务学习更有助于在句子表征中嵌入更好的语义信息。此外，我们将多任务句子编码器与上下文化单词表示进行了比较，并表明将两者结合可以进一步提高迁移学习的性能。
2018-08-16 cs.CL
Sentence Encoders on STILTs: Supplementary Training on Intermediate Labeled-data Tasks
Center for Data ScienceNew York University（纽约大学数据科学中心）；Dept. of LinguisticsNew York University（纽约大学语言学系）；Dept. of Computer ScienceNew York University（纽约大学计算机科学系）；New York University（纽约大学）
使用语言建模和相关的无监督任务对句子编码器进行预训练最近被证明对于语言理解任务非常有效。通过对语言模型风格的预训练进行补充，并对数据丰富的监督任务（如自然语言推理）进行进一步训练，我们在GLUE基准测试中获得了额外的性能改进。在BERT上应用补充训练（Devlin等人，2018年），我们获得了81.8的GLUE评分-最先进的水平（截至2019年2月24日），比BERT提高了1.4分。我们还观察到在此设置中随机重启的方差减少。当应用于ELMo时，我们的方法产生类似的改进（Peters等人，2018 a）和Radford et al.（2018）的模型。此外，补充训练的好处是特别明显的数据约束制度，我们在实验中显示，人为限制的训练数据。
2019-02-27 cs.CL
Probing Multilingual Sentence Representations With X-Probe
University of Oslo（奥斯陆大学）
本文扩展了探测句子表征的任务，在多语言领域的语言洞察力。在这样做的时候，我们做了两个贡献：首先，我们提供数据集的多语言探测，来自维基百科，在五种语言，即英语，法语，德语，西班牙语和俄语。其次，我们评估每种语言的六个句子编码器，每个编码器都是通过将句子表示映射到英语句子表示来训练的，使用平行语料库中的句子。我们发现，跨语言映射的表示往往更好地保留某些语言信息比表示来自英语编码器训练自然语言推理（NLI）作为下游任务。
2019-06-12 cs.CL
Improving Multilingual Semantic Textual Similarity with Shared Sentence Encoder for Low-resource Languages
Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）
测量两个句子之间的语义相似性（或语义文本相似性- STS）是许多NLP应用程序的基础。尽管在有足够标签的监督环境中取得了显着的成果，但在标签不足的低资源语言中，很少有人注意到这一任务。现有的方法大多利用机器翻译技术将句子翻译成资源丰富的语言。这些方法要么会产生语言偏见，要么在口语场景更频繁且要求严格效率的工业应用中不切实际。在这项工作中，我们提出了一个多语言的框架，以解决STS任务在一个低资源的语言，如西班牙语，阿拉伯语，印度尼西亚语和泰语，通过利用丰富的注释数据在一个丰富的资源语言，如英语。我们的方法是从一个基本的单语STS框架扩展到一个共享的多语言编码器预训练的翻译任务，将丰富的资源语言数据。通过利用共享的多语言编码器的性质，一个句子可以具有针对不同目标翻译语言的多个表示，这些表示用于集成模型以提高相似性评估。我们证明了我们的方法优于其他国家的最先进的方法对SemEval STS任务的显着改善非MT方法，以及在线工业产品，其中MT方法未能击败基线，而我们的方法仍然有一贯的改进。
2018-10-30 cs.CL
Recurrent Neural Network-Based Sentence Encoder with Gated Attention for Natural Language Inference
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（科大讯飞研究院）；York University（约克大学）；University of Ottawa（渥太华大学）
RepEval 2017共享任务旨在评估用于句子表示的自然语言理解模型，其中使用神经网络将句子表示为固定长度的向量，并使用自然语言推理任务测试表示的质量。本文描述了我们的系统（alpha），它在共享任务中名列前茅，在域内测试集（获得74.9%的准确率）和跨域测试集（也获得74.9%的准确率）上，表明该模型可以很好地推广到跨域数据。我们的模型配备了句内门控注意组合，这有助于实现更好的性能。除了将我们的模型提交给共享任务之外，我们还在斯坦福自然语言推理（SNLI）数据集上对其进行了测试。我们获得了85.5%的准确率，这是在不允许跨句注意的情况下SNLI报告的最佳结果，RepEval 2017中执行了相同的条件。
2017-08-04 cs.CL
Sentence Meta-Embeddings for Unsupervised Semantic Textual Similarity
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Siemens AG（西门子股份公司）
我们通过将不同的预训练句子编码器集成到句子元嵌入中来解决无监督语义文本相似性（STS）的任务。我们在句子层面应用、扩展和评估了来自词嵌入文献的不同元嵌入方法，包括降维（Yin和Schütze，2016）、广义典型相关分析（Rastogi等人，2015）和交叉视图自动编码器（Bollegala和Bao，2018）。我们的句子元嵌入在STS基准测试和STS 12-STS 16数据集上建立了一个新的无监督的最新技术水平（SoTA），与单源系统相比，Pearson's r的增益在3.7%到6.4%之间。
2020-06-24 cs.CL
Shortcut-Stacked Sentence Encoders for Multi-Domain Inference
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
我们提出了一个简单的顺序句子编码器多领域自然语言推理。我们的编码器基于堆叠的双向LSTM-RNN，具有快捷连接和词嵌入的微调。整体监督模型使用上述编码器将两个输入句子编码为两个向量，然后使用向量组合上的分类器将这两个句子之间的关系标记为蕴涵，矛盾或神经。我们的Shortcut-Stacked句子编码器在匹配和不匹配的多域自然语言推理方面比现有编码器有了很大的改进（EMNLP RepEval 2017共享任务中的顶级非集成单模型结果（Nangia等人，2017））。此外，它们在原始SNLI数据集上实现了新的最先进的编码结果（Bowman等人，2015）。
2017-11-28 cs.AI cs.CL cs.LG
A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings
City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；City University of Hong Kong（香港城市大学）；Peking University（北京大学）
对比学习在无监督的句子嵌入任务中显示出巨大的潜力，例如，SimCSE。然而，我们发现，这些现有的解决方案是严重影响的表面特征，如句子的长度或句法结构。在本文中，我们提出了一个语义感知的句子嵌入对比学习框架，称为伪令牌BERT（PT-BERT），它能够利用伪令牌空间（即，潜在语义空间）表示，同时消除诸如句子长度和句法的表面特征的影响。具体来说，我们引入了一个独立于BERT编码器的额外的伪令牌嵌入层，以将每个句子映射到固定长度的伪令牌序列中。利用这些伪序列，我们能够基于注意力机制构造相同长度的正对和负对来执行对比学习。此外，我们利用梯度更新和动量更新编码器来编码实例，同时动态地维护一个额外的队列来存储句子嵌入的表示，提高编码器的学习性能的负面的例子。实验表明，我们的模型优于国家的最先进的基线上六个标准的语义文本相似性（STS）的任务。此外，对齐和一致性损失的实验，以及不同句子长度和语法的硬例子，一致验证了我们的方法的有效性。
2022-03-11 cs.CL
Unbiased Sentence Encoder For Large-Scale Multi-lingual Search Engines
Microsoft Corporation（微软公司）
在本文中，我们提出了一个多语言的句子编码器，可用于搜索引擎作为查询和文档编码器。这种嵌入使得查询和文档之间的语义相似性得分成为文档排序和相关性中的重要特征。为了训练这种定制的句子编码器，以查询-文档点击对的形式利用用户搜索数据是有益的，然而，我们必须避免过于依赖搜索点击数据，因为它是有偏见的，并且没有覆盖许多看不见的情况。搜索数据严重偏向于短查询，而长查询则很小，而且经常有噪音。我们的目标是设计一个通用的多语言编码器，适用于所有情况，并涵盖短和长查询。我们选择了一些不同语言的公共NLI数据集和翻译数据，并与用户搜索数据一起，我们使用多任务方法训练一个语言模型。一个挑战是，这些数据集在内容、大小和平衡率方面并不均匀。虽然公共NLI数据集通常是基于两个句子的，具有相同部分的正对和负对，但用户搜索数据可以包含多句子文档并且仅包含正对。我们展示了多任务训练如何使我们能够利用所有这些数据集，并利用这些任务之间的知识共享。
2021-03-01 cs.CL cs.LG
Fast, Effective, and Self-Supervised: Transforming Masked Language Models into Universal Lexical and Sentence Encoders
University of Cambridge（剑桥大学）
近年来，预训练的掩蔽语言模型（MLMs）已经彻底改变了NLP。然而，以前的工作表明，现成的MLMs是不是有效的通用词汇或句子编码器，没有进一步的任务特定的微调NLI，句子相似性，或释义任务，使用注释的任务数据。在这项工作中，我们证明，它是可以把MLMs有效的通用词汇和句子编码器，即使没有任何额外的数据，没有任何监督。我们提出了一种非常简单，快速和有效的对比学习技术，称为BPERT，它转换MLMs（例如，BERT和RoBERTa）在20-30秒内转换成这样的编码器，而无需任何额外的外部知识。BERT-BERT依赖于完全相同或稍微修改的字符串对作为正（即，同义）微调的例子，并旨在最大限度地提高他们的相似性，在身份微调。我们报告了在不同领域和不同语言的词汇级和词汇级任务中，与使用E-BERT的现成MLMs相比的巨大收益。值得注意的是，在标准句子语义相似性（STS）任务中，我们的自监督Sentence-BERT模型甚至与先前工作中任务调整的Sentence-BERT模型的性能相匹配。最后，我们深入研究了MLMs的内部工作原理，并提出了一些证据，说明为什么这种简单的方法可以产生有效的通用词汇和句子编码器。
2021-09-09 cs.AI cs.CL cs.LG
Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
本文提出语义结构探测方法研究Transformer句子嵌入，发现不同模型家族在性能和层级动态上差异显著但结果基本不随模型规模变化。
2023-10-18 cs.CL
Sentence Embeddings in NLI with Iterative Refinement Encoders
University of Helsinki（赫尔辛基大学）
句子级表示对于各种NLP任务是必要的。递归神经网络已被证明在学习分布式表示方面非常有效，并且可以在自然语言推理任务上进行有效训练。我们建立在这样一个模型之上，并提出了一个BiLSTM和最大池化层的层次结构，该层次结构实现了迭代细化策略，并在SciTail数据集上产生了最先进的结果，以及SNLI和MultiNLI的强结果。我们可以证明，以这种方式学习的句子嵌入可以用于各种各样的迁移学习任务，在10个SentEval句子嵌入评估任务中有7个优于InferSent，在9个SentEval评估任务中有8个优于SkipThought。此外，我们的模型在最近发表的10个SentEval探测任务中的8个中击败了InferSent模型，这些探测任务旨在评估句子嵌入捕捉句子的一些重要语言属性的能力。
2019-06-03 cs.CL cs.LG
Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）
句子的语义表示学习是自然语言处理中的一个重要研究课题。该任务的当前趋势涉及通过与文本的对比目标来训练基于transformer的句子编码器，即，聚类语义相似的句子，分散其他句子。在这项工作中，我们发现Transformer模型作为句子编码器的性能可以通过使用来自另一种模态的未配对示例（例如，句子和不相关的图像/音频数据）。特别是，除了通过文本的对比损失进行学习之外，我们的模型还对来自非语言领域的示例进行聚类（例如，视觉/听觉）与此同时具有类似的对比度损失。我们的框架对非成对非语言数据的依赖使其与语言无关，使其能够广泛应用于英语NLP之外。在7个语义文本相似性基准上的实验表明，使用额外的非语言（图像/音频）对比目标训练的模型导致更高质量的句子嵌入。这表明Transformer模型能够通过执行类似的任务（即，聚类）与来自多任务方式的不同模态的未配对示例。
2022-09-20 cs.CL
SentEval: An Evaluation Toolkit for Universal Sentence Representations
LIUM, Université Le Mans（勒芒大学语言与信息处理实验室）
我们介绍SentEval，一个工具包，用于评估通用句子表示的质量。SentEval包含各种任务，包括二进制和多类分类，自然语言推理和句子相似性。这组任务的选择是基于社区对通用句子表示的适当评估的共识。该工具包附带了用于下载和预处理数据集的脚本，以及用于评估句子编码器的简单界面。其目的是提供一个更公平，更方便和更集中的方式来评估句子表示。
2018-03-14 cs.CL
Arabic Sentence Segmentation Across Genres and Punctuation Conditions
Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·泽德人工智能大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
针对阿拉伯语标点歧义和不一致导致的句子分割难题，构建跨8种体裁的语料库AraSEG，评估LLM、轻量编码器和依存解析器，发现轻量模型在困难设置下优于LLM，且准确分割能显著提升下游依存解析。
2026-09-01 cs.CL
Learning Semantic Sentence Embeddings using Sequential Pair-wise Discriminator
Indian Institute of Technology, Kanpur（坎普尔印度理工学院）
在本文中，我们提出了一种方法来获得双级嵌入。虽然安全字级嵌入的问题是非常好的研究，我们提出了一种新的方法来获得嵌入级嵌入。这是通过解决释义生成任务的上下文中的简单方法获得的。如果我们使用顺序编码器-解码器模型来生成释义，我们希望生成的释义在语义上接近原始句子。确保这一点的一种方法是通过添加约束，使真正的释义嵌入接近，而不相关的释义候选句子嵌入远离。这是通过使用顺序的成对递归来确保的，该递归与用合适的损失函数训练的编码器共享权重。我们的损失函数惩罚释义句子嵌入距离过大。这种损失与顺序编码器-解码器网络结合使用。我们还通过评估情感分析任务的嵌入来验证我们的方法。所提出的方法实现了语义嵌入，并且在标准数据集上的释义生成和情感分析任务方面优于最先进的方法。这些结果也显示出统计学显著性。
2019-03-14 cs.AI cs.CL
LEA: Improving Sentence Similarity Robustness to Typos Using Lexical Attention Bias
NielsenIQ Innovation（尼尔森IQ创新部）
本文提出词汇感知注意力模块 LEA，通过融合句子间词语的原始文本相似度来缓解拼写错误引起的词元分布偏移，从而提升交叉编码器在句子相似度任务中的鲁棒性，并在多个数据集上验证了其有效性。
2023-07-06 cs.AI cs.CL
Can Unconditional Language Models Recover Arbitrary Sentences?
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
基于神经网络的生成语言模型，如ELMo和BERT，可以有效地作为通用的句子编码器在文本分类，而无需进一步的微调。是否有可能以类似的方式将它们改编为通用解码器？要做到这一点，需要的情况是，对于任何感兴趣的目标句子，存在可以传递给语言模型以使其再现该句子的某种连续表示。我们把设计一个编码器，可以产生这样的表示的困难问题放在一边，而是直接问这样的表示是否存在。为了做到这一点，我们引入了一对有效的、互补的方法，用于将表示输入到预训练的无条件语言模型中，以及一组相应的方法，用于将句子映射到这个表示空间（重新参数化的句子空间）中。然后，我们调查的条件下，语言模型可以通过在这样的空间中的一个点的识别生成一个句子，并发现它是可能的恢复任意句子几乎完美的语言模型和中等大小的表示，而不修改任何模型参数。
2020-01-09 cs.CL cs.LG
SenGen: Sentence Generating Neural Variational Topic Model
AWS Deep Learning, Amazon（亚马逊 AWS 深度学习）；IBM Research（IBM 研究院）
我们提出了一种新的主题模型，它通过一次对一个整句的主题进行采样来生成文档，并使用以句子主题为条件的RNN解码器来生成句子中的单词。我们认为，这种新颖的形式主义将帮助我们不仅可视化和模型的主题话语结构在一个文件中更好，但也可能导致更多的可解释的主题，因为我们现在可以说明主题抽样代表性的句子，而不是一袋的话或短语。我们提出了一种用于学习的变分自动编码器方法，其中我们使用因子分解的变分编码器，该编码器使用前馈网络独立地对文档的主题混合向量进行后验建模，并使用RNN对句子的主题分配进行后验建模。我们在两个不同数据集上的初步实验表明了早期的希望，但也暴露了许多有待解决的挑战。
2017-08-01 cs.CL cs.LG stat.ML
Revisiting Paraphrase Question Generator using Pairwise Discriminator
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
在本文中，我们提出了一种方法来获得双级嵌入。虽然保护词级嵌入的问题已经得到了很好的研究，但我们提出了一种获取句子级嵌入的新方法。这是通过解决释义生成任务的上下文中的简单方法获得的。如果我们使用顺序编码器-解码器模型来生成释义，我们希望生成的释义在语义上接近原始句子。确保这一点的一种方法是通过添加约束，使真正的释义嵌入接近，而不相关的释义候选句子嵌入远离。这是通过使用顺序的成对递归来确保的，该递归与用合适的损失函数训练的编码器共享权重。我们的损失函数惩罚释义句子嵌入距离过大。这种损失与顺序编码器-解码器网络结合使用。我们还通过评估情感分析任务的嵌入来验证我们的方法。所提出的方法在语义嵌入的结果，并优于国家的最先进的释义生成和情感分析任务的标准数据集。这些结果也显示出统计学显著性。
2020-01-04 cs.CL cs.LG
A new approach for fine-tuning sentence transformers for intent classification and out-of-scope detection tasks
Northeastern University（东北大学）；University of Victoria（维多利亚大学）；Cerence Inc（赛伦斯公司）
本文提出在交叉熵损失中加入自编码器学习的范围内嵌入重建损失作为正则化，以改善句子Transformer微调，在保持意图分类性能的同时将OOS拒绝的PR-AUC提升1-4%。
2024-10-19 cs.AI cs.CL
Translate and Label! An Encoder-Decoder Approach for Cross-lingual Semantic Role Labeling
Heidelberg University（海德堡大学）
我们提出了一个跨语言的编码器-解码器模型，同时翻译和生成句子的语义角色标注注释在资源贫乏的目标语言。与注释投影技术不同，我们的模型在推理时不需要并行数据。我们的方法可以应用于单语，多语言和跨语言设置，并能够产生依赖性为基础的和基于跨度的SRL注释。我们使用知名的SRL数据集在不同的单语和多语言设置中对我们的模型的标记性能进行基准测试。然后，我们在跨语言设置中训练我们的模型以生成新的SRL标记数据。最后，我们通过使用生成的数据来增强资源贫乏语言的训练基础并进行手动评估来衡量我们方法的有效性，以表明它可以生成高质量的句子并分配准确的语义角色注释。我们提出的架构提供了一个灵活的方法，利用SRL数据在多种语言。
2019-08-29 cs.CL cs.LG
Map of Encoders -- Mapping Sentence Encoders using Quantum Relative Entropy
Department of Computer Science, University of Liverpool（利物浦大学计算机科学系）
本文提出利用量子相对熵构建句子编码器地图，通过可视化编码器间关系，揭示预训练模型的分布特性及性能表现。
2026-02-09 cs.CL
Towards Structure-aware Paraphrase Identification with Phrase Alignment Using Sentence Encoders
University of Sussex（萨塞克斯大学）
以前的工作已经证明了利用预先训练的句子编码器的有效性，基于他们的句子表示的意义比较任务。虽然这种表示被证明捕捉隐藏的句法结构，它们之间的直接相似性比较表现出弱的敏感性，在给定的句子中的词序和结构差异。单一的相似性分数进一步使得比较过程难以解释。因此，我们在这里建议将句子编码器与对齐组件相结合，将每个句子表示为谓词-参数跨度的列表（其中它们的跨度表示来自句子编码器），并将句子级别的意义比较分解为它们的跨度之间的对齐，以进行释义识别任务。实验结果表明，对齐组件带来了改进的性能和可解释性的各种句子编码器。经过仔细的调查，该方法表明，增加了敏感性的结构差异和增强的能力，以区分非释义高词汇重叠。
2022-10-11 cs.CL
Fake Sentence Detection as a Training Task for Sentence Encoding
Stony Brook University（石溪大学）
句子编码器通常在具有大型未标记数据集的语言建模任务上进行训练。虽然这些编码器在许多高级任务上实现了最先进的结果，但它们很难用长的训练周期进行训练。我们引入假句检测作为学习句子编码器的新训练任务。我们通过从源集合中破坏原始句子来自动生成假句子，并训练编码器以产生有效检测假句子的表示。这种二进制分类任务对于训练句子编码器来说非常有效。我们将在此任务上训练的基本BiLSTM编码器与在语言建模任务上训练的强句子编码模型（Skipthought和FastSent）进行了比较。我们发现，BiLSTM在使用少量数据（1M而不是64M句子）进行假句子检测时的训练速度要快得多（20小时而不是几周）。进一步的分析表明，学习的表征捕捉到了许多句法和语义属性，期望从良好的句子表征。
2018-08-24 cs.CL
Modelling Sentence Pairs with Tree-structured Attentive Encoder
Sun Yat-sen University（中山大学）
我们描述了一个细心的编码器，结合了树结构的递归神经网络和顺序递归神经网络建模的句子对。由于现有的注意力模型施加注意力的顺序结构，我们提出了一种方法，将注意力的树拓扑结构。特别地，给定一对句子，我们的细心编码器使用通过RNN生成的一个句子的表示来指导依赖解析树上另一个句子的结构编码。我们评估了三个任务：语义相似性，释义识别和真假问题选择拟议的专心编码器。实验结果表明，我们的编码器优于所有基线，并实现了国家的最先进的结果上的两个任务。
2016-10-10 cs.CL
The Daunting Dilemma with Sentence Encoders: Success on Standard Benchmarks, Failure in Capturing Basic Semantic Properties
Auburn University（奥本大学）
本文回顾性比较五种流行句子编码器，发现它们虽在SentEval基准上表现优异，但在复述、同义词替换、反义词替换和句子乱序等基本语义属性捕捉上仍存在显著缺陷。
2023-09-07 cs.CL
Training Effective Neural Sentence Encoders from Automatically Mined Paraphrases
National Information Processing Institute（国家信息处理研究所）
句子嵌入通常用于文本聚类和语义检索任务。最先进的句子表示方法是基于人工神经网络，该神经网络在大量手动标记的句子对的集合上进行微调。对于高资源语言（如英语或中文），有足够数量的注释数据可用。在不太流行的语言中，必须使用多语言模型，这提供了较低的性能。在这篇文章中，我们通过提出一种方法来解决这个问题，该方法用于训练有效的语言特定的句子编码器，而无需手动标记数据。我们的方法是自动构建一个数据集的释义对双语文本语料库对齐。然后，我们使用收集到的数据来微调一个带有额外循环池层的Transformer语言模型。我们的句子编码器可以在不到一天的时间内在单个图形卡上进行训练，在各种各样的任务级别上实现高性能。我们评估我们的方法在波兰语的八个语言任务，比较它与最好的多语言句子编码器。
2022-07-26 cs.CL
Open Sentence Embeddings for Portuguese with the Serafim PT* encoders family
University of Lisbon（里斯本大学）
本文提出了用于葡萄牙语的开源句子编码器家族 Serafim PT*，其具有不同尺寸以适应各种硬件预算，在展现最先进性能的同时宽松开源，并贡献了关于学习目标与参数选择标准的系统性研究及经验教训。
2024-07-28 cs.CL
What does it mean to be language-agnostic? Probing multilingual sentence encoders for typological properties
University of Amsterdam（阿姆斯特丹大学）
多语言句子编码器在下游NLP任务的跨语言模型传输方面取得了很大成功。然而，我们对个别语言的属性或它们编码的语言变异的一般模式知之甚少。我们提出了从最先进的多语言编码器（LASER，M-BERT，XLM和XLM-R）探测句子表示的方法，这些方法涉及词汇，形态和句法结构的一系列类型学属性。此外，我们研究这些信息是如何分布在模型的所有层。我们的研究结果表明，有趣的差异编码语言的变化与不同的预训练策略。
2020-09-27 cs.CL
Cross-Thought for Sentence Encoder Pre-training
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究）；Singapore Management University（新加坡管理大学）
在本文中，我们提出了交叉思维，一种新的方法来预训练序列编码器，这是在构建可重用的序列嵌入的大规模NLP任务，如问答。我们不使用完整句子的原始信号，而是在大量短序列上训练基于transformer的序列编码器，这使得模型能够自动选择最有用的信息来预测掩码词。在问答和文本蕴涵任务上的实验表明，我们的预训练编码器可以优于用连续句子信号训练的最先进的编码器以及传统的掩蔽语言建模基线。我们提出的方法还实现了新的艺术状态HotpotQA（全维基设置），通过提高中间信息检索性能。
2020-10-07 cs.CL
Intelligent Translation Memory Matching and Retrieval with Sentence Encoders
University of Wolverhampton（伍尔弗汉普顿大学）；University of Surrey（萨里大学）
从翻译记忆库中匹配和检索先前翻译的片段是翻译记忆库系统的关键功能。然而，这种匹配和检索过程仍然局限于基于编辑距离的算法，我们已经确定这是翻译记忆系统的一个主要缺点。在本文中，我们引入句子编码器，以改善翻译记忆系统的匹配和检索过程-一个有效和高效的解决方案，以取代基于编辑距离的算法。
2020-04-27 cs.CL
Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems
University of Cambridge（剑桥大学）
Transformer模型在包括摘要在内的各种NLP任务中取得了最先进的结果。使用大型Transformer模型的训练和推理在计算上可能是昂贵的。以前的工作集中在一个重要的瓶颈，二次自我注意力机制的编码器。改进的编码器架构（如LED或LoBART）使用局部注意模式来解决此问题。与此相反，这项工作的重点是Transformer的编码器-解码器的注意力机制。在需要模型生成历史的推理或训练方法中，这种注意力的成本变得更加重要。首先，我们研究编码器-解码器注意力的复杂性。我们的经验表明，有一个稀疏的句子结构，在文档摘要，可以利用约束的注意力机制的输入句子的子集，同时保持系统的性能。其次，我们提出了一种修改后的架构，该架构选择句子子集来约束编码器-解码器的注意力。在抽象摘要任务上进行了实验，包括CNN/DailyMail，XSum，Spotify Podcast和arXiv。
2021-09-08 cs.CL
No Training Required: Exploring Random Encoders for Sentence Classification
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）
我们探索了各种方法，用于在没有任何训练的情况下从预先训练的词嵌入计算句子表示，即，只使用随机参数化我们的目标是让句子嵌入有更坚实的基础，方法是：1）看看现代句子嵌入比随机方法获得了多少收益--事实证明，令人惊讶的是很少; 2）为该领域提供更合适的基线--事实证明，这是相当强大的。我们还提出了重要的意见，适当的实验方案的句子分类评估，以及建议，为今后的研究。
2019-01-29 cs.CL
Unsupervised Sentence Compression using Denoising Auto-Encoders
Center for Data Science（数据科学中心）；New York University（纽约大学）
在句子压缩中，缩短句子同时保留原始含义的任务，模型倾向于在包含冗长和压缩句子对的大型语料库上进行训练。为了消除对成对语料库的需求，我们模拟了一个摘要任务，并添加噪声来扩展句子，训练一个去噪自动编码器来恢复原始句子，构建了一个端到端的训练机制，而不需要任何压缩句子的例子。我们在标准文本摘要数据集上对我们的模型进行了人工评估，并表明它基于语法正确性和保留意义来执行监督基线。尽管没有目标数据，但我们的无监督模型学习生成不完美但可读的句子摘要。虽然我们基于ROUGE分数的监督模型表现不佳，但我们的模型与基于人类评估的监督基线相比，在语法正确性和保留意义方面具有竞争力。
2018-09-07 cs.CL
Augmented SBERT: Data Augmentation Method for Improving Bi-Encoders for Pairwise Sentence Scoring Tasks
Technische Universität Darmstadt（达姆施塔特工业大学）
成对句子评分有两种方法：交叉编码器，它对输入对执行完全关注，以及双编码器，它将每个输入独立地映射到稠密向量空间。虽然交叉编码器通常可以实现更高的性能，但对于许多实际用例来说，它们太慢了。另一方面，双编码器需要大量的训练数据和对目标任务的微调以实现有竞争力的性能。我们提出了一种简单而有效的数据增强策略，称为增强SBERT，其中我们使用交叉编码器来标记更大的一组输入对，以增强双向编码器的训练数据。我们表明，在这个过程中，选择的句子对是不平凡的，关键的方法的成功。我们评估我们的方法在多个任务（在域），以及在一个领域自适应任务。与原始双编码器性能相比，增强的SBERT实现了域内高达6点的改进和领域自适应任务高达37点的改进。
2021-04-12 cs.CL
Direct Network Transfer: Transfer Learning of Sentence Embeddings for Semantic Similarity
University of Michigan（密歇根大学）
句子编码器使用神经网络产生句子嵌入，通常通过它们如何很好地传输到下游任务来评估。这包括语义相似性，这是自然语言理解中的一项重要任务。尽管已经有很多工作致力于构建句子编码器，但伴随的迁移学习技术却相对较少受到关注。在本文中，我们提出了一个专门用于语义相似性的迁移学习设置，我们称之为直接网络迁移。通过在几个标准文本相似性数据集上的实验，我们表明，将直接网络传输应用于现有编码器可以获得最先进的性能。此外，我们比较了几种将句子编码器转移到语义相似性任务的方法，表明迁移学习设置的选择在许多情况下会极大地影响性能，并且因编码器和数据集而异。
2018-10-31 cs.CL
Revealing the Blind Spot of Sentence Encoder Evaluation by HEROS
National Taiwan University（国立台湾大学）；Massachusetts Institute of Technology（麻省理工学院）
该研究针对传统句子文本相似度基准的评估盲区，构建高词汇重叠最小对诊断数据集HEROS，测试发现多数无监督句子编码器对否定不敏感，训练数据集是编码器相似度判断的主要决定因素。
2023-06-13 cs.CL
Multilingual Universal Sentence Encoder for Semantic Retrieval
Google AI（谷歌人工智能）；Google（谷歌）
我们介绍了两个预训练的检索为重点的多语种句子编码模型，分别基于Transformer和CNN模型架构。该模型使用多任务训练的双编码器将来自16种语言的文本嵌入到单个语义空间中，该双编码器使用基于翻译的桥接任务来学习绑定表示（Chidambaram al.，2018年）。该模型在语义检索（SR）、翻译对双文本检索（BR）和检索问答（ReQA）方面的性能与最新技术具有竞争力。在英语迁移学习任务中，我们的句子级嵌入接近，在某些情况下超过了单语，仅英语，句子嵌入模型的性能。我们的模型可在TensorFlow Hub上下载。
2019-07-09 cs.CL
Scalable Cross-Lingual Transfer of Neural Sentence Embeddings
The George Washington University（乔治华盛顿大学）；AWS, Amazon AI（亚马逊云科技，亚马逊人工智能）
我们开发并研究了几种用于神经句子嵌入模型的跨语言对齐方法，例如监督推理分类器，Infersent和顺序编码器-解码器模型。我们评估了三个应用于这些模型的对齐框架：联合建模，表示迁移学习和句子映射，使用并行文本来指导对齐。我们的研究结果支持表示转移作为一种可扩展的方法，用于神经句子嵌入的模块化跨语言对齐，与内在和外在评估中的联合模型相比，我们观察到更好的性能，特别是较小的并行数据集。
2019-04-11 cs.CL
Information Type Classification with Contrastive Task-Specialized Sentence Encoders
Technische Hochschule Nürnberg（纽伦堡工业大学）
针对危机场景下用户生成信息分类受噪声和事件偏差影响的问题，提出采用对比式任务专用句子编码器，在多个基准任务上提升了F1分数，并验证了其跨语料与跨语言能力。
2023-12-18 cs.CL
Selective Encoding for Abstractive Sentence Summarization
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
我们提出了一个选择性编码模型，以扩展抽象句子摘要的序列到序列框架。它包括一个句子编码器，一个选择门网络，和一个注意装备解码器。句子编码器和解码器是用递归神经网络构建的。选择门网络通过控制从编码器到解码器的信息流来构造第二级句子表示。第二层表征是为句子摘要任务量身定制的，这导致了更好的性能。我们评估我们的模型上的英语Gigaword，DUC 2004年和MSR摘要句子摘要数据集。实验结果表明，所提出的选择性编码模型优于最先进的基线模型。
2017-04-24 cs.CL
Sentence-Level Grammatical Error Identification as Sequence-to-Sequence Correction
Harvard University（哈佛大学）
我们证明了基于注意力的编码器-解码器模型可用于科学写作自动评估（AESW）共享任务2016的语法错误识别。除了错误识别之外，基于注意力的编码器-解码器模型还可以用于生成校正，这对于某些最终用户应用是感兴趣的。我们表明，基于字符的编码器-解码器模型是特别有效的，优于其他结果的AESW共享任务本身，并显示收益超过基于单词的对应。我们的最终模型--三个基于字符的编码器-解码器模型、一个基于单词的编码器-解码器模型和一个并行级CNN的组合--是AESW 2016二进制预测共享任务中性能最高的系统。
2016-04-16 cs.CL
Evaluation Benchmarks and Learning Criteria for Discourse-Aware Sentence Representations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Chicago（芝加哥大学）
先前关于预训练的句子嵌入和基准的工作集中在独立句子的能力上。我们提出了DiscoEval，一个测试套件的任务，以评估句子表示是否包括更广泛的上下文信息。我们还提出了各种训练目标，利用维基百科的自然注释来构建能够对话语进行建模的句子编码器。我们对使用我们提出的训练目标进行预训练的句子编码器以及其他流行的预训练句子编码器在DiscoEval和其他句子评估任务上进行了基准测试。从经验上讲，我们表明，这些培训目标有助于编码不同方面的信息在文档结构。此外，BERT和ELMo表现出较强的性能与DiscoEval的个人隐藏层显示不同的特点。
2019-11-07 cs.CL
SentAlign: Accurate and Scalable Sentence Alignment
Reykjavik University（雷克雅未克大学）；Dublin City University（都柏林城市大学）
提出SentAlign句子对齐工具，基于LaBSE表示和分治策略，在多个评估集上优于五种现有工具。
2023-11-15 cs.CL
Safe-Embed: Unveiling the Safety-Critical Knowledge of Sentence Encoders
Seoul National University（首尔大学）
针对大语言模型易受不安全提示诱导的问题，该研究提出Safe-Embed框架，通过新的成对数据集与CP指标探究句子编码器的安全检测能力，揭示其效用与局限并指明改进方向。
2024-07-09 cs.CL
Modular Sentence Encoders: Separating Language Specialization from Cross-Lingual Alignment
Ubiquitous Knowledge Processing Lab (UKP Lab) Department of Computer Science Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany（技术大学达姆施塔特计算机科学系通用知识处理实验室（UKP实验室）和应用网络安全国家研究中心ATHENE德国）；Center for AI and Data Science, University of Würzburg（人工智能与数据科学中心，乌尔姆大学）
提出模块化句子编码器，通过先训练单语模块再训练跨语言对齐适配器，分离语言特化与跨语言对齐，解决多语言诅咒和任务冲突，实现更优且均衡的性能。
2025-05-30 cs.CL
BERT-DRE: BERT with Deep Recursive Encoder for Natural Language Sentence Matching
Part AI Research Center（Part人工智能研究中心）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
本文提出了一种用于自然语言句子匹配（NLSM）的深度神经架构，通过向BERT添加深度递归编码器，即具有深度递归编码器的BERT（BERT-DRE）。我们对模型行为的分析表明，BERT仍然不能捕获文本的全部复杂性，因此在BERT之上应用了深度递归编码器。使用三个具有剩余连接的Bi-LSTM层来设计递归编码器，并在该编码器的顶部使用注意模块。为了获得最终向量，使用由平均池化和最大池化组成的池化层。我们在四个基准测试上实验了我们的模型，SNLI，FarsTail，MultiNLI，SciTail和一个新的波斯宗教问题数据集。本文主要研究如何改进NLSM任务中的BERT结果。在这方面，BERT-DRE和BERT之间的比较进行，它表明，在所有情况下，BERT-DRE优于BERT。宗教数据集上的BERT算法达到了89.70%的准确率，使用相同的数据集，BERT-DRE架构提高到90.29%。
2021-11-04 cs.CL
Higher-order Comparisons of Sentence Encoder Representations
University of Copenhagen（哥本哈根大学）；Uppsala University（乌普萨拉大学）；DeepMind（深度思维）；Harvard Medical School（哈佛医学院）；MIT（麻省理工学院）
代表性相似性分析（RSA）是由神经科学家开发的一种技术，用于比较不同测量模式的活动模式（例如，fMRI、电生理学、行为学）。作为一个框架，RSA有几个优势，现有的方法来解释语言编码器的基础上探测或诊断分类：即，它不需要大的训练样本，不容易过拟合，它使不同的模型和模态的代表性几何之间的比较更加透明。我们通过眼动跟踪数据在广泛使用的预训练语言编码器和人类处理难度之间建立了一种以前未知的对应关系，展示了RSA的实用性，展示了其在神经模型可解释性工具箱中的潜力
2019-09-05 cs.CL
Probing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders
University of Cambridge（剑桥大学）；University of Würzburg（维尔茨堡大学）；University of Edinburgh（爱丁堡大学）
预训练的多语言语言模型（LM）可以成功地转换成多语言句子编码器（SE;例如，LaBSE、xMPNet）通过额外的微调或并行数据的模型蒸馏。然而，仍然不清楚如何最好地利用它们来表示子句子词汇项（即，词和短语）的跨语言词汇任务。在这项工作中，我们探测SE存储在其参数的跨语言词汇知识的量，并将它们与原来的多语言LM。我们还设计了一个简单而有效的方法，通过额外的微调，通过廉价的对比学习，只需要少量的单词翻译对暴露跨语言的词汇知识。使用双语词汇归纳（BLI），跨语言词汇语义相似性和跨语言实体链接作为词汇探测任务，我们报告了标准基准（例如，+10精度@1点BLI）。实验结果表明，像LaBSE这样的语义元可以通过对比学习过程“重新连接”成有效的跨语言词汇编码器，并且当它们被用作现成的语义元时，它们所包含的跨语言词汇知识比“看上去”的要多。这样，我们也提供了一个有效的工具，利用隐藏在多语言句子编码器的“隐蔽”多语言词汇知识。
2022-10-13 cs.CL
