Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation
Monash University（莫纳什大学）；Google Research（谷歌研究院）
本文介绍了一种新的分词算法--动态规划编码（DPE）。我们认为输出句子的子词切分是一个潜在的变量，应该被边缘化的学习和推理。提出了一种特征-子字混合变换器Transformer，它能实现精确的对数边缘似然估计和精确的MAP推理，以最大后验概率找到目标分割。DPE使用轻量级的混合字符-子字转换器Transformer作为预处理并行数据的方法，以便使用动态规划对输出语句进行分段。机器翻译的实验结果表明，DPE是有效的分割输出的句子，可以结合BPE辍学源句子的随机分割。DPE实现了比BPE平均提高0.9 BLEU（Sennrich等人，2016），BLEU比BPE脱落平均改善0.55（Provilkov等人，2019）在几个WMT数据集上，包括英语<=>（德语，罗马尼亚语，爱沙尼亚语，芬兰语，匈牙利语）。
2020-08-01 cs.CL cs.LG
Sentence Encoding with Tree-constrained Relation Networks
DeepMind（深度思维）；Google（谷歌）
一个句子的意义是它的词与词之间的关系的函数。我们在一系列基于关系网络（RN）变体的神经模型中实例化这种语义的关系视图，这些关系网络表示一组对象（对我们来说，形成句子的单词）。我们提出了两个扩展的基本RN模型的自然语言。首先，建立在直觉上，不是所有的词对都是同样的信息的意义，一个句子，我们使用基于监督和无监督依赖语法的约束来控制哪些关系影响的表示。其次，由于高阶关系很难被成对关系的总和捕获，我们使用RN的递归扩展来传播信息，从而形成高阶关系的表示。句子分类，句子对分类，和机器翻译的实验表明，虽然基本的RNs只是适度有效的句子表示，经常性RNs与潜在的语法是一个可靠的强大的代表性设备。
2018-11-26 cs.AI cs.CL cs.LG
Context-Aware Neural Machine Translation Learns Anaphora Resolution
Yandex；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
标准的机器翻译系统孤立地处理句子，因此忽略了额外的信息，即使扩展的上下文既可以防止歧义情况下的错误，又可以提高翻译的连贯性。我们引入了一个上下文感知的神经机器翻译模型，其设计方式是可以控制和分析从扩展上下文到翻译模型的信息流。我们用英语-俄语字幕数据集进行了实验，并观察到我们的模型捕获的大部分内容都涉及改善代词翻译。我们测量诱导注意分布和共指关系之间的对应关系，并观察到该模型隐含地捕捉回指。这与代词在翻译中需要性别化的句子的收益是一致的。除了在照应情况下的改进之外，该模型还在整体BLEU方面有所改进，无论是在其上下文不可知版本（+0.7）还是在上下文和源句子的简单连接（+0.6）上。
2018-05-25 cs.CL
What does it mean to be language-agnostic? Probing multilingual sentence encoders for typological properties
University of Amsterdam（阿姆斯特丹大学）
多语言句子编码器在下游NLP任务的跨语言模型传输方面取得了很大成功。然而，我们对个别语言的属性或它们编码的语言变异的一般模式知之甚少。我们提出了从最先进的多语言编码器（LASER，M-BERT，XLM和XLM-R）探测句子表示的方法，这些方法涉及词汇，形态和句法结构的一系列类型学属性。此外，我们研究这些信息是如何分布在模型的所有层。我们的研究结果表明，有趣的差异编码语言的变化与不同的预训练策略。
2020-09-27 cs.CL
A Case Study on Context Encoding in Multi-Encoder based Document-Level Neural Machine Translation
Indian Institute of Technology Patna（印度理工学院巴特那分校）；Wipro AI（威普罗人工智能）
本文通过多编码器文档级神经机器翻译实验，研究不同上下文设置对代词翻译的影响，发现随机上下文也能取得良好效果，且混合选定与随机上下文通常表现更优。
2023-08-11 cs.CL
Evaluating Discourse Phenomena in Neural Machine Translation
University of Zurich（苏黎世大学）；LIMSI, CNRS, Univ. Paris-Sud, Université Paris-Saclay（法国国家科学研究中心、巴黎第十一大学、巴黎萨克雷大学联合计算机科学与数学应用实验室）；University of Edinburgh（爱丁堡大学）
为了使机器翻译能够处理语篇现象，模型必须能够访问外部语言语境。最近有兴趣在神经机器翻译（NMT）的建模上下文，但模型主要是用标准的自动度量，不适合评估话语现象。在这篇文章中，我们提出了手工制作的，话语测试集，旨在测试模型的能力，利用以前的源和目标句子。我们研究了最近提出的多编码器NMT模型在英语到法语字幕上训练的性能。我们还探索了一种利用前一句话的上下文的新方法。尽管使用BLEU获得了收益，但多编码器模型在处理话语现象方面的改进有限：我们的共指测试集的准确率为50%，连贯性/衔接性为53.5%（与50%的非上下文基线相比）。一个简单的解码前一个和当前句子的连接的策略导致良好的性能，我们的新策略的多编码和解码的两个句子导致最好的性能（72.5%的共指和57%的连贯性/衔接），突出了目标方上下文的重要性。
2018-04-20 cs.CL
Multimodal Compact Bilinear Pooling for Multimodal Neural Machine Translation
University of Mons（蒙斯大学）
在最先进的神经机器翻译中，在解码期间使用注意力机制来增强翻译。在每一步中，解码器都使用这种机制来关注源句子的不同部分，以便在输出目标单词之前收集最有用的信息。最近，注意力机制的有效性也被探索用于多模态任务，其中可以同时关注句子部分和图像区域。汇集两种模态的方法通常包括逐元素乘积、求和或串联。在本文中，我们评估了更先进的多模态紧凑双线性池化方法，它需要两个向量的外积来结合两种模态的注意力特征。这在以前已经被研究用于视觉问答。我们尝试了这种方法的多模态图像字幕翻译和基本的组合方法相比，显示改进。
2017-03-23 cs.CL
Rate-Utility Frontiers for Language Encodings: Comparing Tokens, Bytes, and Pixels Under Controlled Linguistic Content
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
研究在内容和下游能力受控时语言编码保留了什么，利用多语言平行句子通过共享瓶颈比较词元、字节和像素以追踪速率-效用前沿，评估三种效用，发现各编码在不同方面表现不同，选择编码需考虑多因素进行速率-效用权衡。
2026-07-20 cs.CL
Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation
Delhi Technological University（德里理工大学）
神经机器翻译模型是一种基于神经网络的序列-序列转换器。现有的模型使用递归神经网络来构建编码器和解码器模块。在替代研究中，递归网络被卷积神经网络取代，用于捕获输入句子中的句法结构并减少处理时间。我们结合了这两种方法的优点，提出了一个卷积递归编码器，用于捕获上下文信息以及源语句的顺序信息。源句子的词嵌入和位置嵌入在卷积编码层之前执行，卷积编码层基本上是捕获短语级上下文信息的n元特征提取器。卷积编码层的整流输出被添加到原始嵌入向量，并且总和通过层归一化被归一化。归一化输出作为递归编码层的顺序输入给出，递归编码层捕获序列中的时间信息。对于解码器，我们使用基于注意力的递归神经网络。德语-英语数据集上的翻译任务验证了所提出的方法的有效性，与最先进的技术相比，BLEU得分更高。
2021-03-21 cs.CL
Multilingual Document-Level Translation Enables Zero-Shot Transfer From Sentences to Documents
University of Edinburgh（爱丁堡大学）；Google Research（谷歌研究院）
文档级神经机器翻译（DocNMT）通过结合跨句子上下文来实现连贯的翻译。然而，对于大多数语言对来说，尽管并行句子很容易获得，但并行文档还是很短缺。在本文中，我们研究是否以及如何在DocNMT上下文建模是通过多语言建模可转移。我们专注于zero-shot传输的情况下，从教师语言的文档级数据的学生语言没有文件，但句子级数据，并首次将文档级翻译作为一个迁移学习问题。使用简单的基于拼接的DocNMT，我们探讨了3个因素对迁移的影响：具有文档级数据的教师语言的数量，训练时文档和句子级数据之间的平衡，以及并行文档的数据条件（真实与回译）。我们的实验在Europarl-7和IWITOS-10上显示了DocNMT多语言传输的可行性，特别是在文档特定的指标上。我们观察到，更多的教师语言和足够的数据平衡都有助于更好的传输质量。令人惊讶的是，传输对数据条件不太敏感，多语言DocNMT在回译或真正的文档对中提供了不错的性能。
2022-05-17 cs.CL cs.LG
Multi-channel Encoder for Neural Machine Translation
Baidu Inc.（百度公司）
基于注意力的编码器-解码器具有神经机器翻译（NMT）的有效架构，其通常依赖于递归神经网络（RNN）来构建在解码过程期间将由注意力读者最近调用的块。这种编码器的设计在源句子上产生相对均匀的组合，尽管在编码RNN时采用了门控机制。另一方面，我们往往希望解码器采取不同层次的源句适合自己的语言结构：例如，我们可能希望采取的实体名称在其原始形式，而一个成语作为一个完美的组成单位。出于这种需求，我们提出了多通道编码器（MCE），它增强了不同层次的组合编码组件。更具体地说，除了编码RNN的隐藏状态外，MCE还采用1）原始词嵌入进行原始编码，不进行合成，以及2）神经图灵机（NTM）中外部存储器的特定设计，以进行更复杂的合成，而所有三种编码策略在解码期间都被适当地混合。通过对汉英翻译的实证研究表明，该模型在强大的开源NMT系统DL 4 MT 1上可以提高6.52个BLEU点。在WMT 14英语-法语任务中，我们的单个浅层系统达到BLEU=38.8，与最先进的深层模型相当。
2017-12-06 cs.CL
Cross-neutralising: Probing for joint encoding of linguistic information in multilingual models
University of Amsterdam（阿姆斯特丹大学）；ILLC（语言逻辑与计算研究所）
多语言句子编码器广泛用于跨语言传输NLP模型。然而，这种转移的成功取决于模型对跨语言相似性和变化模式进行编码的能力。然而，人们对这些模型如何做到这一点知之甚少。我们提出了一个简单的方法来研究语言之间的关系是如何编码在两个国家的最先进的多语言模型（即M-BERT和XLM-R）。研究结果提供了深入了解他们的信息共享机制，并建议在这些模型中，语言属性是在类型相似的语言中联合编码的。
2021-03-13 cs.CL
Asynchronous and Segmented Bidirectional Encoding for NMT
Northeastern University（东北大学）；Olimei Company（Olimei公司）
本文提出一种基于Transformer的异步分段双向解码策略，通过在IWSLT2017数据集上的实验证明其能提升神经机器翻译的效率和准确率，尤其在长句翻译中优于传统单向策略。
2024-02-19 cs.AI cs.CL cs.LG
Multiple Segmentations of Thai Sentences for Neural Machine Translation
Dublin City University（都柏林城市大学）；Iconic Translation Machines（Iconic翻译机器公司）；Trinity College Dublin（都柏林圣三一学院）
泰语是一种低资源语言，因此通常没有足够的数据来训练神经机器翻译（NMT）模型，以达到高质量水平。此外，泰语脚本不使用空格来划分单词之间的边界，这在构建序列到序列模型时增加了更多的复杂性。在这项工作中，我们探讨了如何增加一组英语-泰国的平行数据，通过复制与不同的分词方法对泰国，作为NMT模型训练的训练数据。采用不同的字节对编码合并操作，可以得到不同的泰语句子切分。实验表明，结合这些数据集，使用监督分割工具分割的数据集训练的NMT模型的性能得到了提高。
2020-04-23 cs.CL
Semantically Enriched Cross-Lingual Sentence Embeddings for Crisis-related Social Media Texts
The University of Melbourne（墨尔本大学）
针对危机社交媒体文本多语言嵌入的语义与跨语言对齐问题，提出CT-XLMR-SE和CT-mBERT-SE多语言句子编码器，支持超50种语言并实现同向量空间内的语义邻近，为多语言危机文本嵌入提供稳健基线。
2024-03-25 cs.CL
Revisiting Language Encoding in Learning Multilingual Representations
Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）；Microsoft Research（微软研究院）
Transformer已经展示了它在单个模型中学习多种语言的上下文单词表示的强大功能。为了在模型中处理多语言句子，通常为每种语言分配一个可学习的向量，这被称为“语言嵌入”。语言嵌入既可以添加到词嵌入中，也可以附加在句首。它充当特定于语言的信号，供Transformer跨语言捕获上下文表示。在本文中，我们重新使用的语言嵌入，并确定在现有的配方中的几个问题。通过考察自我注意模块中语言嵌入和词嵌入之间的相互作用，发现现有方法不能很好地反映特定语言的词相关性。鉴于这些发现，我们提出了一种新的方法，称为跨语言语言投影（XLP），以取代语言嵌入。对于一个句子，XLP将词嵌入投影到语言特定的语义空间中，然后将投影的嵌入馈送到Transformer模型中，以处理其语言特定的含义。通过这种方式，XLP实现了在多语言Transformer模型中对“语言”进行适当编码的目的。实验结果表明，XLP可以自由和显着提高模型的性能在广泛的多语言基准数据集。代码和模型将在https://github.com/lsj2408/XLP上发布。
2021-02-16 cs.CL cs.LG
Encodings of Source Syntax: Similarities in NMT Representations Across Target Languages
Carleton College（卡尔顿学院）
我们训练神经机器翻译（NMT）模型从英语到六种目标语言，使用NMT编码器表示来预测源语言单词的祖先组成标签。我们发现，NMT编码器学习相似的源语法，而不管NMT目标语言，依赖于明确的形态句法线索，从源句子中提取的句法特征。此外，NMT编码器优于直接在几个组成标签预测任务上训练的RNN，这表明NMT编码器表示可以有效地用于涉及语法的自然语言任务。然而，NMT编码器和直接训练的RNN都从概率上下文无关文法（PCFG）解析器学习基本上不同的句法信息。尽管整体准确性得分较低，但PCFG通常在基于RNN的模型表现不佳的句子上表现良好，这表明RNN架构在它们可以学习的语法类型方面受到限制。
2020-05-17 cs.CL cs.LG
Translating from Morphologically Complex Languages: A Paraphrase-Based Approach
National University of Singapore（新加坡国立大学）
我们提出了一种新的方法来翻译从一个形态复杂的语言。与以往的研究，有针对性的词的屈折变化和连接，我们专注于形态相关的词，我们把潜在的释义和处理使用释义技术在单词，短语和句子水平之间的成对关系。这个框架的一个重要优点是，它可以处理派生形态学，这在很大程度上仍然超出了统计机器翻译系统的能力。我们的实验翻译从马来语，其形态主要是派生的，到英语表现出显着的改进，竞争的方法的基础上，五个自动评估措施（320,000句对，950万英语单词标记）。
2021-09-27 cs.AI cs.CL cs.LG
DeMPT: Decoding-enhanced Multi-phase Prompt Tuning for Making LLMs Be Better Context-aware Translators
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Huawei Translation Services Center（华为翻译服务中心）
本文提出DeMPT方法，通过将上下文感知NMT过程划分为三个独立阶段并引入不同连续提示，使LLMs区分建模和利用句间与句内上下文，并在解码阶段启发式增强源端信息利用，显著优于拼接方法并提升语篇建模性能。
2024-09-23 cs.CL
Return of the RNN: Residual Recurrent Networks for Invertible Sentence Embeddings
本研究提出了一种基于残差循环网络的可逆句子嵌入模型，通过回归输出层重建词向量并结合ADAM优化器、残差连接与“match drop”技术，实现了高精度与快速训练，为需要高质量句子嵌入的自然语言处理应用提供了新方法。
2023-04-06 cs.CL cs.LG
Sequence Shortening for Context-Aware Machine Translation
Maastricht University（马斯特里赫特大学）
本研究针对上下文感知机器翻译，提出缓存源句潜在表示作为上下文的多编码器特例，并引入潜在分组与潜在选择两种序列缩短方法，在对比数据集上取得更高准确率，同时保持BLEU和COMET分数，提升可解释性并降低内存增长。
2024-02-02 cs.AI cs.CL cs.LG
Encoding Source Language with Convolutional Neural Network for Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）；Dublin City University（都柏林城市大学）
最近提出的神经网络关节模型（NNJM）（Devlin等人，2014）通过精确选择的源上下文窗口增强了n-gram目标语言模型，从而在SMT中实现了最先进的性能。在本文中，我们通过由目标信息引导的卷积架构来总结相关的源信息，从而给出了一个更系统的处理。在解码过程中使用不同的引导信号，我们专门设计的卷积+门控架构可以精确定位源句子中与预测目标词相关的部分，并将它们与整个源句子的上下文融合，形成统一的表示。该表示与目标语言单词一起被馈送到深度神经网络（DNN）以形成更强的NNJM。在两个NIST汉英翻译任务上的实验结果表明，该模型比以往的NNJM模型平均提高了1.08个BLEU点
2015-06-08 cs.CL cs.LG cs.NE
Selective Encoding for Abstractive Sentence Summarization
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
我们提出了一个选择性编码模型，以扩展抽象句子摘要的序列到序列框架。它包括一个句子编码器，一个选择门网络，和一个注意装备解码器。句子编码器和解码器是用递归神经网络构建的。选择门网络通过控制从编码器到解码器的信息流来构造第二级句子表示。第二层表征是为句子摘要任务量身定制的，这导致了更好的性能。我们评估我们的模型上的英语Gigaword，DUC 2004年和MSR摘要句子摘要数据集。实验结果表明，所提出的选择性编码模型优于最先进的基线模型。
2017-04-24 cs.CL
Sentiment analysis in Tourism: Fine-tuning BERT or sentence embeddings concatenation?
LASTIMI Laboratory, EST Salé（LASTIMI实验室，萨累高等技术学院）；Mohammed V University in Rabat（拉巴特穆罕默德五世大学）
该研究针对摩洛哥购物场所情感分析任务，对比了微调BERT与拼接两种句子嵌入提升堆叠BiLSTM-BiGRU模型性能的方法，还开展了最优学习率搜索及不同嵌入组合的最优优化器对比。
2023-12-12 cs.AI cs.CL
Fake Sentence Detection as a Training Task for Sentence Encoding
Stony Brook University（石溪大学）
句子编码器通常在具有大型未标记数据集的语言建模任务上进行训练。虽然这些编码器在许多高级任务上实现了最先进的结果，但它们很难用长的训练周期进行训练。我们引入假句检测作为学习句子编码器的新训练任务。我们通过从源集合中破坏原始句子来自动生成假句子，并训练编码器以产生有效检测假句子的表示。这种二进制分类任务对于训练句子编码器来说非常有效。我们将在此任务上训练的基本BiLSTM编码器与在语言建模任务上训练的强句子编码模型（Skipthought和FastSent）进行了比较。我们发现，BiLSTM在使用少量数据（1M而不是64M句子）进行假句子检测时的训练速度要快得多（20小时而不是几周）。进一步的分析表明，学习的表征捕捉到了许多句法和语义属性，期望从良好的句子表征。
2018-08-24 cs.CL
Transformer-based Automatic Post-Editing with a Context-Aware Encoding Approach for Multi-Source Inputs
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
自动译后编辑（APE）研究的最新方法表明，多源模型可以获得更好的结果，该模型联合编码源（src）和机器翻译输出（mt）以产生译后编辑句子（pe）。沿着这一趋势，我们提出了一个新的多源APE模型的基础上的Transformer。为了构建有效的联合表示，我们的模型内部学习将src上下文纳入mt表示。通过这种方法，我们实现了一个显着的改善基线系统，以及国家的最先进的多源APE模型。此外，为了证明我们的模型将src上下文的能力，我们表明，未知的MT系统的字对齐成功地捕获在我们的编码结果。
2019-08-15 cs.CL cs.LG
Towards Lossless Encoding of Sentences
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
利用机器学习进行图像压缩已经做了大量的工作，但是对自然语言的压缩还没有给予足够的关注。将文本压缩为无损表示，同时使功能易于检索不是一项微不足道的任务，但有巨大的好处。设计用于产生特征丰富的句子嵌入的大多数方法仅关注于在下游任务上表现良好，并且无法从学习的嵌入正确地重建原始序列。在这项工作中，我们提出了一个近无损的方法编码长序列的文本以及所有的子序列到功能丰富的表示。我们测试了我们的方法在情感分析，并显示出良好的性能在所有子句和句子嵌入。
2019-08-02 cs.CL
DEIM: An effective deep encoding and interaction model for sentence matching
Yanbian University（延边大学）
自然语言句子匹配是比较两个句子并识别它们之间关系的任务，在阅读理解、问答系统等自然语言处理任务中有着广泛的应用。其主要方法是通过一个注意力机制来计算文本表示和句子对之间的交互作用，从而很好地提取句子对之间的语义信息。然而，这种方法在处理复杂的语义特征时不能得到令人满意的结果。针对这一问题，提出了一种基于深度编码和交互的句子匹配方法，以提取深层语义信息。在编码器层，我们在对单个句子进行编码的过程中参考另一个句子的信息，然后使用启发式算法对信息进行融合。在交互层，我们采用双向注意力机制和自注意力机制来获取深层语义信息，最后进行池化操作，输入到MLP进行分类。我们在三个任务上评估我们的模型：识别文本蕴涵，释义识别和答案选择。我们在SNLI和SciTail数据集上进行了实验，用于识别文本蕴涵任务，Quora数据集用于释义识别任务，WikiQA数据集用于答案选择任务。实验结果表明，该算法能够有效地提取句子的深层语义特征，验证了该算法在句子匹配任务中的有效性。
2022-03-20 cs.CL
Hierarchical GPT with Congruent Transformers for Multi-Sentence Language Models
School of Electrical Engineering, Korea Advanced Institute of Science and Technology（韩国科学技术院电气工程学院）；KI for Artificial Intelligence, Korea Advanced Institute of Science and Technology（韩国科学技术院人工智能研究所）
我们报告了一个基于GPT的多句子语言模型的对话生成和文档理解。首先，我们提出了一个分层的GPT，它由三个块组成，即，句子编码块、句子生成块和句子解码块。句子编码和解码块基本上是标准Transformers的编码器-解码器块，它们独立地处理每个句子。句子生成块被插入在编码块和解码块之间，并且从先前的句子嵌入向量生成下一个句子嵌入向量。我们认为这是人类进行对话和理解段落和文档的方式。由于每个句子可以由更少的单词组成，所以句子编码和解码Transformers可以使用小得多的维度嵌入向量。其次，我们注意到在Transformers中使用了内积相似性度量。因此，为了比较同一空间中的两个向量，我们将查询和键的转换矩阵设置为相同。否则，相似性概念是不一致的。我们报告的实验结果表明，这两个修改增加了语言模型的多个句子的任务的性能。
2020-09-18 cs.CL
Variation and generality in encoding of syntactic anomaly information in sentence embeddings
Zhejiang University（浙江大学）；The University of Chicago（芝加哥大学）
虽然句子异常已经定期应用于NLP测试，但我们还没有建立NLP模型表示中异常信息的精确状态。在本文中，我们的目标是填补两个主要的差距，侧重于领域的句法异常。首先，我们通过设计探测任务来探索异常编码的细粒度差异，这些探测任务改变了句子中出现异常的层次结构。其次，我们不仅测试模型检测给定异常的能力，还通过检查不同异常类型之间的传递来测试检测到的异常信号的通用性。结果表明，所有的模型编码的一些信息支持异常检测，但检测性能不同的异常，只有最近的Transformer模型表示的迹象，广义知识的异常。后续分析支持这样一种观点，即这些模型采用了一个合理的、一般的句子奇怪的概念，而粗粒度的单词位置信息也可能是观察到的异常检测的一个贡献者。
2021-11-12 cs.CL
DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding
Georgia Institute of Technology（佐治亚理工学院）；Peking University（北京大学）；Microsoft（微软）；Siemens Corporate Technology（西门子企业技术）
最近的研究开放领域的问答已经取得了显着的性能提高使用预训练的语言模型，如BERT。最先进的方法通常遵循“检索和读取”管道，并采用基于BERT的重排序器来过滤检索到的文档，然后将其送入阅读器模块。BERT检索器将问题和每个检索到的文档的串联作为输入。尽管这些方法在QA准确性方面取得了成功，但由于级联，它们几乎无法处理每个具有大量检索文档的传入问题的高吞吐量。为了解决效率问题，我们提出了DC-BERT，一个解耦的上下文编码框架，具有双BERT模型：一个在线的BERT编码的问题只有一次，和离线的BERT预编码的所有文档和缓存他们的编码。在SQuAD Open和Natural Questions Open数据集上，DC-BERT在文档检索上实现了10倍的加速，同时与最先进的开放领域问答方法相比，保留了大部分（约98%）的QA性能。
2020-02-28 cs.CL
Learning Natural Language Inference using Bidirectional LSTM model and Inner-Attention
Harbin Institute of Technology（哈尔滨工业大学）
本文提出了一种基于句子编码的文本蕴涵识别模型。在我们的方法中，句子的编码是一个两阶段的过程。首先，在单词级双向LSTM（biLSTM）上使用平均池化来生成第一阶段的句子表示。第二，采用注意力机制代替平均池，提高了句子的表征能力。我们利用句子的第一阶段表征来关注源句中出现的词，而不是用目标句来关注源句中的词，这在本文中被称为“内注意”。在斯坦福自然语言推理语料库上的实验证明了“内注意”机制的有效性。由于参数数量较少，我们的模型大大优于现有的基于最佳句子编码的方法。
2016-05-30 cs.CL
GASE: Generatively Augmented Sentence Encoding
Department of Computer Science（计算机科学系）；Munster Technological University（穆斯堡技术大学）
提出一种无需训练的推理时生成式数据增强方法，通过改写、摘要或提取关键词并池化嵌入，在STS基准上提升多种句子嵌入模型的性能，尤其对基线较弱的模型提升更大。
2025-09-06 cs.CL
Using BERT Encoding and Sentence-Level Language Model for Sentence Ordering
University of Tehran（德黑兰大学）；University of Rochester（罗切斯特大学）；Emory University（埃默里大学）
发现事件的逻辑顺序是自然语言理解的基石之一。学习事件顺序的一种方法是研究连贯文本中句子的顺序。句子排序可以应用于各种任务，例如基于检索的问答、文档摘要、讲故事、文本生成和对话系统。此外，我们可以通过学习如何对一组混洗的句子进行排序来学习建模文本连贯性。以前的研究依赖于RNN，LSTM和BiLSTM架构来学习文本语言模型。然而，由于缺乏注意力机制，这些网络表现不佳。我们提出了一个算法的句子排序的短篇小说语料库。我们提出的方法使用的语言模型的基础上通用Transformers（UT），捕捉句子的依赖关系，采用注意力机制。我们的方法在ROCStories数据集中的完美匹配率（PMR）得分方面改进了以前的最先进水平，ROCStories数据集是一个近10万短的人造故事的语料库。该模型包括三个部分：句子编码器，语言模型和句子排列与暴力搜索。第一个组件使用在ROCStories数据上微调的SBERT-WK预训练模型生成句子嵌入。然后，通用Transformer网络生成一个会话级语言模型。对于解码，网络生成候选句子作为当前句子的后续句子。我们使用余弦相似度作为评分函数来为候选嵌入和混洗集中其他句子的嵌入分配分数。然后，使用蛮力搜索来最大化连续句子对之间的相似性之和。
2021-08-24 cs.CL
SufiSent - Universal Sentence Representations Using Suffix Encodings
IBM Research, Almaden（IBM研究中心，阿尔马登（IBM Research, Almaden））
计算句子的通用分布表示是自然语言处理的一项基本任务。我们提出了一种方法来学习这样的表示编码的单词序列在一个句子中的后缀和斯坦福大学的自然语言推理（SNLI）数据集上的训练。我们证明了我们的方法的有效性，通过评估它的SentEval基准，改进现有的方法在几个传输任务。
2018-02-20 cs.AI cs.CL
Generating Memorable Mnemonic Encodings of Numbers
Harvey Mudd College（哈维穆德学院）
主系统是一个记忆系统，可以用来记忆数字序列。在这项工作中，我们提出了一种方法来自动生成的句子编码一个给定的数字。我们提出了几种编码模型，并比较最有前途的密码记忆性研究。研究结果表明，一个模型相结合的词性句子模板与$n$ -gram语言模型产生最难忘的密码表示。
2017-05-07 cs.CL
Universal Sentence Encoder
Google Research（谷歌研究院）
我们提出了将句子编码为嵌入向量的模型，这些嵌入向量专门针对迁移学习到其他NLP任务。该模型是有效的，并导致在不同的传输任务的准确性能。编码模型的两种变体允许在准确性和计算资源之间进行权衡。对于这两种变体，我们调查和报告模型复杂性，资源消耗，传输任务训练数据的可用性和任务性能之间的关系。与通过预训练的词嵌入使用词级迁移学习的基线以及不使用任何迁移学习的基线进行比较。我们发现使用句子嵌入的迁移学习往往优于单词水平的迁移。通过句子嵌入的迁移学习，我们观察到了令人惊讶的良好性能，并且对于迁移任务使用了最少量的监督训练数据。我们获得了令人鼓舞的结果词嵌入关联测试（WEAT）针对检测模型的偏见。我们的预训练句子编码模型可在TF Hub上免费下载。
2018-04-12 cs.CL
Adversarial Generation and Encoding of Nested Texts
Amobee Inc.（Amobee公司）
在本文中，我们提出了一个新的语言模型称为代理，它代表对抗生成和编码的嵌套文本。AGENT被设计用于编码、生成和细化由长而连贯的文本组成的文档，例如一整本书，只要它们是分层注释的（嵌套的）。即分为句子、段落和章节。我们的系统的核心思想是学习文本层次结构（句子，段落等）的每个级别的矢量表示，并训练每个这样的表示来执行3个任务：从用于创建表示的较低级别重建向量序列的任务，以及BERT Devlin等人[2018]的掩蔽语言建模（MLM）和“下一句预测”任务的广义版本。此外，我们提出了一个新的对抗模型的长文本生成，并提出了一种方法来提高生成的文本的一致性，通过遍历其向量表示树。
2019-06-01 cs.CL
On the Relationship between Sentence Analogy Identification and Sentence Structure Encoding in Large Language Models
AI Institute, University of South Carolina（南卡罗来纳大学AI研究所）；Carnegie Mellon University（卡内基梅隆大学）；Amazon GenAI（亚马逊生成式AI部门）；Stanford University（斯坦福大学）
本研究探讨大语言模型识别句子类比的能力与其编码句法语义结构能力的关系，发现两者正相关，句法结构编码更好的模型在类比识别上表现更优。
2024-02-06 cs.AI cs.CL
QuASE: Question-Answer Driven Sentence Encoding
University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
问答（QA）数据通常在许多方面编码基本信息。本文研究了一个自然的问题：我们可以从QA数据中获得其他任务（通常是非QA任务）的监督吗？例如，{ \em}可以使用QAMR（Michael等人，2017）来提高命名实体识别？}我们认为，简单地进一步预训练BERT往往不是最好的选择，并提出了{ \em问答驱动的句子编码（QuASE）}框架。QuASE使用BERT或其他最先进的上下文语言模型从QA数据中学习表示。特别是，我们观察到需要区分两种类型的句子编码，这取决于目标任务是单句输入还是多句输入;在这两种情况下，所得到的编码被证明是许多下游任务的易于使用的插件。这项工作可能会指出一种替代的方式来监督NLP任务。
2020-12-03 cs.CL cs.LG stat.ML
Densely Connected Bidirectional LSTM with Applications to Sentence Classification
Nanjing University of Science and Technology（南京理工大学）；Singapore Management University（新加坡管理大学）
深度神经网络最近已被证明在许多计算机视觉任务中具有高度竞争力的性能，这是因为它们能够在更大的假设空间中进行探索。然而，由于大多数深度架构（如堆叠RNN）往往会受到消失梯度和过拟合问题的困扰，因此它们的影响在许多NLP任务中仍然没有得到充分研究。受此启发，我们在本文中提出了一种新的多层RNN模型，称为密集连接双向长短期记忆（DC-Bi-LSTM），它基本上通过连接其隐藏状态和所有先前层的隐藏状态来表示每一层，然后递归地将每一层的表示传递给所有后续层。我们在五个句子分类的基准数据集上评估了我们提出的模型。深度高达20的DC-Bi-LSTM可以成功训练，并在相同甚至更少参数的情况下获得比传统Bi-LSTM显著的改进。此外，我们的模型具有良好的性能相比，国家的最先进的方法。
2018-02-03 cs.CL
Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
语义角色标注是识别句子的谓元-论元结构的任务。它通常被认为是标准NLP管道中的重要一步。由于语义表征与句法表征密切相关，我们在模型中充分利用了句法信息。我们提出了一个版本的图卷积网络（GCN），最近的一类神经网络操作的图形，适合建模语法依赖图。句法依赖树上的GCN被用作句子编码器，产生句子中单词的潜在特征表示。我们观察到GCN层与LSTM层是互补的：当我们堆叠GCN和LSTM层时，我们获得了比现有最先进的LSTM SRL模型更大的改进，从而在标准基准测试（CoNLL-2009）中获得了中文和英文的最佳报告分数。
2017-07-30 cs.CL cs.LG
Multi-task Sentence Encoding Model for Semantic Retrieval in Question Answering Systems
Baidu Inc.（百度公司）
问答（QA）系统用于自动地对用户的问题提供适当的响应。句子匹配是问答系统中的一项重要任务，通常被转化为释义识别问题。给定一个问题，任务的目的是从QA知识库中找到最相似的问题。在本文中，我们提出了一个多任务的句子编码模型（MSEM）的PI问题，其中连接图来描述句子之间的关系，和多任务学习模型被应用到解决句子匹配和句子的意图分类问题。此外，我们实现了一个通用的语义检索框架，结合我们提出的模型和近似最近邻（ANN）技术，这使我们能够找到最相似的问题，从所有可用的候选人非常迅速地在线服务。实验结果表明，与现有的句子匹配模型相比，该方法具有明显的优越性。
2019-11-18 cs.AI cs.CL cs.IR
AREDSUM: Adaptive Redundancy-Aware Iterative Sentence Ranking for Extractive Document Summarization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft（微软）；Microsoft Research AI（微软研究院人工智能）
冗余感知提取摘要系统对要包括在摘要中的句子的冗余连同它们的显著性信息一起进行评分，或者作为附加的句子评分步骤单独进行评分。以前的工作显示了联合评分和选择句子与神经序列生成模型的有效性。然而，如果增益是由于更好的编码技术或更好的冗余减少方法，则不太清楚。同样，显著性与多样性成分对所创建的摘要的贡献也没有得到很好的研究。基于最先进的摘要编码方法，我们提出了两个自适应学习模型：在句子选择过程中联合考虑显著性和新颖性的AREDSUM-SEQ;和一个两步AREDSUM-CTX，首先对显著性进行评分，然后学习平衡显著性和冗余，从而能够测量每个方面的影响。在CNN/DailyMail和NYT 50数据集上的实证结果表明，通过在单独的步骤中显式地对多样性进行建模，AREDSUM-CTX实现了比AREDSUM-SEQ以及最先进的提取摘要基线更好的性能。
2021-04-03 cs.CL
Document-Level Event Role Filler Extraction using Multi-Granularity Contextualized Encoding
Cornell University（康奈尔大学）
在事件提取的文献中，很少有作品超越了单个句子来做出提取决策。当识别事件论元所需的信息分散在多个句子中时，这是有问题的。我们认为，文档级事件提取是一项艰巨的任务，因为它需要一个更大的背景下，以确定哪些跨度的文本对应于事件角色填充。我们首先研究端到端神经序列模型（具有预训练的语言模型表示）如何执行文档级角色填充符提取，以及捕获的上下文长度如何影响模型的性能。为了动态地聚合由在不同粒度级别学习的神经表示捕获的信息（例如，句子级和段落级），我们提出了一种新的多粒度阅读器。我们在MUC-4事件提取数据集上评估了我们的模型，并表明我们最好的系统比以前的工作表现得更好。我们还报告了上下文长度和神经模型在任务中的表现之间的关系的研究结果。
2020-05-13 cs.CL
Convolutional Auto-encoding of Sentence Topics for Image Paragraph Generation
Nanjing University of Science and Technology（南京理工大学）；JD AI Research（京东人工智能研究院）
图像段落生成是生成描述图像视觉内容的连贯故事（通常是一个段落）的任务。然而，这个问题并不是微不足道的，特别是当段落生成需要考虑多种描述性和不同的要点时，这经常发生在真实图像中。一个有效的问题是如何从图像中封装这些值得一提的要点/主题，然后从一个主题到另一个主题描述图像，但具有连贯的结构。在本文中，我们提出了一种新的设计-卷积自动编码（CAE），纯粹采用卷积和去卷积自动编码框架的主题建模的区域级特征的图像。此外，我们提出了一个架构，即CAE加上长短期记忆（称为CAE-LSTM），新颖地集成了学习的主题，以支持段落生成。从技术上讲，CAE-LSTM利用了一个两级的基于LSTM的段落生成框架和注意力机制。段落级LSTM捕获段落中的句间依赖性，而段落级LSTM则生成一个以每个学习主题为条件的句子。在斯坦福图像段落数据集上进行了大量的实验，并与最先进的方法相比，获得了更好的结果。更值得注意的是，CAE-LSTM将CIDER性能从20.93%提高到25.15%。
2019-08-01 cs.CL cs.CV
HyPE: Category-Aware Hypergraph Encoding with Persistent Edge Embeddings for Persona-Grounded Dialogue
Sungkyunkwan University（成均馆大学）
提出HyPE框架，通过将人物角色文本解析为四元组并构建超图，利用HyperGCN和持久边嵌入（PEE）编码高阶关系，在PersonaChat上优于句子级池化基线。
2026-06-12 cs.CL
Revisiting the Importance of Encoding Logic Rules in Sentiment Classification
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们分析了不同的情感分类模型在句法复杂的输入（如A-but-B句子）上的性能。这项分析的第一个贡献是解决可重复的研究：为了有意义地比较不同的模型，它们的准确性必须在比传统上报告的随机种子多得多的随机种子上进行平均。通过适当的平均，我们注意到arXiv：1603.06318v4 [cs.LG]中描述的蒸馏模型，它包含了情感分类的显式逻辑规则，是无效的。相比之下，使用上下文化的ELMo嵌入（arXiv：1802.05365v2 [cs.CL]）而不是逻辑规则会产生更好的性能。此外，我们还提供了分析和可视化，展示了ELMo隐式学习逻辑规则的能力。最后，众包分析揭示了ELMo如何在具有模糊情感标签的句子上优于基线模型。
2018-08-23 cs.CL
Attributable and Scalable Opinion Summarization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
提出一种无监督意见摘要方法，通过分层离散潜在空间编码评论句子并基于频率识别共同意见，支持可归因的抽象与抽取式摘要及特定方面控制，在多数据集上表现优于先前工作。
2023-05-19 cs.CL
Graph-tree Fusion Model with Bidirectional Information Propagation for Long Document Classification
University of Western Ontario（西安大略大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Dalhousie University（达尔豪斯大学）；University of Toronto（多伦多大学）
本文提出一种图-树融合模型，结合句法树与文档图并通过双向信息传播，解决长文档分类中的层次建模与token限制问题，在各类长文档分类任务中取得有效表现。
2024-10-03 cs.CL
Modelling Sentence Pairs with Tree-structured Attentive Encoder
Sun Yat-sen University（中山大学）
我们描述了一个细心的编码器，结合了树结构的递归神经网络和顺序递归神经网络建模的句子对。由于现有的注意力模型施加注意力的顺序结构，我们提出了一种方法，将注意力的树拓扑结构。特别地，给定一对句子，我们的细心编码器使用通过RNN生成的一个句子的表示来指导依赖解析树上另一个句子的结构编码。我们评估了三个任务：语义相似性，释义识别和真假问题选择拟议的专心编码器。实验结果表明，我们的编码器优于所有基线，并实现了国家的最先进的结果上的两个任务。
2016-10-10 cs.CL
Linking artificial and human neural representations of language
Massachusetts Institute of Technology（麻省理工学院）
在句子理解过程中，哪些信息在人脑中得到了有力的表征？我们通过比较大脑解码任务上的句子编码模型来研究这个问题，其中实验参与者看到的句子必须从句子引起的fMRI信号中预测。我们将预训练的BERT架构作为基线句子编码模型，并在各种自然语言理解（NLU）任务上对其进行微调，询问哪些导致大脑解码性能的改善。我们发现，没有一个句子编码任务测试产生显着增加大脑解码性能。通过进一步的任务消融和表征分析，我们发现，产生语法光表征的任务产生显着改善大脑解码性能。我们的研究结果限制了自然语言理解模型的空间，这些模型可以最好地解释人类语言的神经表征，但也表明了从fMRI人类神经成像中解码细粒度句法信息的可能性的限制。
2019-10-02 cs.CL q-bio.NC
TranSentence: Speech-to-speech Translation via Language-agnostic Sentence-level Speech Encoding without Language-parallel Data
Korea University（高丽大学）
提出无需语言平行数据的语音到语音翻译模型 TranSentence，通过语言无关句子级语音编码和单语数据训练实现跨语言语音生成，并扩展至多语言翻译且性能优于其他模型。
2024-01-17 cs.CL cs.SD eess.AS
Contextual Encoding for Translation Quality Estimation
Carnegie Mellon University（卡内基梅隆大学）
词级质量估计（QE）的任务包括获取源句子和机器生成的翻译，并预测输出中哪些词是正确的，哪些是错误的。本文提出了一种利用三部分神经网络方法对每个目标词的局部和全局上下文信息进行有效编码的方法。第一部分使用嵌入层来表示两种语言中的单词及其词性标记。第二部分利用一维卷积层来整合每个目标词的本地上下文信息。第三部分应用一组前馈和递归神经网络，在进行预测之前对句子中的全局上下文进行进一步编码。该模型作为CMU条目提交给WMT2018量化宽松共享任务，并取得了很好的成绩，在六个轨道中的三个轨道中排名第一。
2018-09-01 cs.CL
