Learning Sentence Embeddings for Coherence Modelling and Beyond
Western University（韦仕敦大学）
我们提出了一种新颖而有效的技术，用于执行文本连贯性任务，同时促进对数据的更深入了解。尽管获得了不断提高的任务性能，但用于NLP任务的现代深度学习方法通常只为用户提供最终的网络决策，而不会对数据进行额外的理解。在这项工作中，我们表明，通过自我监督学习的一种新型的句子嵌入可以有效地应用于文本连贯性任务，同时作为一个窗口，通过它可以更深入地了解数据。为了生成这些句子嵌入，我们训练一个递归神经网络来获取单个句子，并以位置分布的形式预测它们在文档中的位置。我们证明，这些嵌入，结合简单的视觉识别，可以用来实现性能竞争力与国家的最先进的多个文本连贯性任务，优于更复杂和专业的方法。此外，我们证明，这些嵌入可以提供有用的见解，作家提高写作质量和通知文件结构，并协助读者总结和定位信息。
2019-08-07 cs.CL
Context is Key: New Approaches to Neural Coherence Modeling
我们制定一致性建模作为一个回归任务，并提出了两种新的方法来结合我们的设置与成对的方法的技术。我们的第一个方法是一个我们称之为“第一个-下一个”的模型，它的操作类似于选择排序，但条件决策的信息已经排序的句子。第二个是一种技术，用于通过将分级表示与其相应的无序段落的编码连接起来，向基于回归的模型添加上下文。后一种模型实现了Kendall-tau距离和位置准确度分数，这些分数匹配或超过了这些指标的当前最先进水平。我们的研究结果表明，许多来自更复杂的机器翻译方法的收益可以通过更简单，更有效的模型来实现。
2018-12-06 cs.CL cs.LG stat.ML
Text Coherence Analysis Based on Deep Neural Network
Zhejiang University（浙江大学）
在本文中，我们提出了一种新的深度一致性模型（DCM），使用卷积神经网络架构来捕获文本一致性。本文从句子分布表征学习和语篇连贯建模同时进行的新视角研究了语篇连贯问题。特别是，该模型通过计算它们的分布表示的相似性来捕获句子之间的交互。此外，它可以很容易地以端到端的方式进行训练。所提出的模型进行评估标准的句子排序任务。实验结果表明，它的有效性和承诺的一致性评估显示出显着的改善，在国家的最先进的一个很大的利润。
2017-10-21 cs.CL
Neural Net Models for Open-Domain Discourse Coherence
Stanford University（斯坦福大学）
语篇连贯与语篇质量密切相关，对自然语言的生成和理解至关重要。然而，现有的连贯模型侧重于衡量连贯的各个方面（词汇重叠，修辞结构，实体中心）在狭窄的领域。在本文中，我们描述了独立于域的话语连贯性的神经模型，能够测量现有句子中的连贯性的多个方面，并可以保持连贯性，同时生成新的句子。我们研究了两种判别模型，学习区分连贯的不连贯的话语，和生成模型，产生连贯的文本，包括一种新的神经潜变量马尔可夫生成模型，捕捉文本中的句子之间的潜在话语依赖关系。我们的工作实现了国家的最先进的性能，多个连贯性的评价，并标志着第一步，在生成连贯的文本给定的话语背景。
2017-09-24 cs.CL
Transformer over Pre-trained Transformer for Neural Text Segmentation with Enhanced Topic Coherence
Monash University（莫纳什大学）；Deakin University（迪肯大学）
本文提出了一个Transformer over Transformer框架，称为Transformer $^2$，执行神经文本分割。它由两部分组成：使用预先训练的Transformers的底层句子编码器，以及基于句子嵌入的基于转换器的上层分割模型。底层组件传输在单个和成对监督NLP任务下从大型外部语料库学习的预训练知识，以对文档的句子嵌入进行建模。给定句子嵌入，训练上层Transformer以恢复每个句子的分割边界以及主题标签。配备了多任务损失和预先训练的知识，Transformer $^2$可以更好地捕获相同段内的语义一致性。我们的实验表明：（1）Transformer $^2$在常用的语义一致性度量方面超越了最先进的文本分割模型;（2）在大多数情况下，单个和成对的预训练知识都有助于模型性能;（3）在特定语言上预训练的底层句子编码器比在特定领域上预训练的句子编码器产生更好的性能。
2021-10-14 cs.CL
Enhancing Coherence of Extractive Summarization with Multitask Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本研究提出多任务学习架构，通过连贯性判别器与两种可微分训练策略提升抽取式摘要的连贯性，在保留传统指标表现的同时，经自动和人工评估验证了连贯性与一致性的提升。
2023-07-21 cs.AI cs.CL
Natural Language Multitasking: Analyzing and Improving Syntactic Saliency of Hidden Representations
ETH Zurich（苏黎世联邦理工学院）
我们训练多任务自动编码器的语言任务和分析学习隐藏的句子表示。当添加翻译和词性解码器时，表示显著改变。一个模型使用的解码器越多，它就越能根据句子的句法相似性对句子进行聚类，因为表示空间变得越不复杂。我们通过在句子之间插值来探索表示空间的结构，这产生了有趣的伪英语句子，其中许多句子具有可识别的句法结构。最后，我们指出了我们的模型的一个有趣的特性：两个句子之间的差异向量可以被添加，以有意义的方式改变具有相似特征的第三个句子。
2018-01-18 cs.AI cs.CL cs.LG
Improving Visually Grounded Sentence Representations with Self-Attention
Seoul National University（首尔大学）
仅在语言上训练的句子表示模型可能会受到接地问题的影响。最近的工作表明，通过联合训练它们与相关的图像特征，在提高句子表示的质量方面取得了可喜的成果。然而，由于体系结构的设计，输入句子和图像特征之间的联系较远，因此接地能力有限。为了进一步缩小这一差距，我们提出将自我注意力机制应用于句子编码器，以加深接地效应。我们在迁移任务上的研究结果表明，自我关注的编码器更适合视觉基础，因为它们利用具有强烈视觉关联的特定单词。
2017-12-02 cs.CL
Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE
University of Alberta（阿尔伯塔大学）
针对 SimCSE 未充分利用难负样本的问题，提出结合难负样本挖掘的无监督对比学习框架，通过在对比目标中引入自定步长调制项的 focal-InfoNCE 函数，使模型聚焦于难负样本，在 STS 基准上有效提升了句子嵌入质量。
2023-10-20 cs.CL cs.LG
Improving sentence compression by learning to predict gaze
University of Copenhagen（哥本哈根大学）；Bar-Ilan University（巴伊兰大学）
我们展示了如何眼动追踪语料库可以用来改善句子压缩模型，提出了一种新的多任务学习算法的基础上，多层LSTM。我们获得的性能与最先进的方法相比具有竞争力或更好。
2016-04-12 cs.CL
Discourse-Based Objectives for Fast Unsupervised Sentence Representation Learning
New York University（纽约大学）
本文提出了一种新的目标函数，用于神经网络句子编码器的无监督训练。它利用段落级语篇连贯的信号来训练这些模型理解文本。我们的目标是纯粹的歧视，使我们能够训练模型比以前的方法快很多倍，它产生的模型，表现良好的外部评估。
2017-04-23 cs.CL cs.LG cs.NE
A Sentence Simplification System for Improving Relation Extraction
University of Passau（帕绍大学）
在这篇演示论文中，我们提出了一种文本简化方法，旨在提高最先进的开放式关系抽取（RE）系统的性能。由于句法复杂的句子往往对当前的Open RE方法构成挑战，我们开发了一个简化框架，该框架通过将单个句子作为输入并使用一组基于句法的转换规则来执行预处理步骤，以创建更容易为随后应用的Open RE系统处理的文本输入。
2017-03-27 cs.CL
Towards Document-Level Paraphrase Generation with Sentence Rewriting and Reordering
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学研究中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
释义生成是自然语言处理中的一项重要任务。以往的研究主要集中在文本级的释义生成，而忽略了文档级的释义生成，这是一个更具挑战性和价值的任务。在本文中，我们首次探讨了文档级释义生成的任务，并通过考虑句子重写和重新排序来关注句子间的多样性。我们提出了CoRPG（Coherence Relationship Guided Paraphrase Generation），它利用图GRU对连贯关系图进行编码，得到每个句子的连贯感知表示，该表示可用于重新排列多个（可能修改的）输入句子。我们创建了一个伪文档级的释义数据集来训练CoRPG。自动评估结果显示，CoRPG在BERTScore和多样性得分上优于几个强基线模型。人工评价也表明我们的模型可以生成更多样性和语义保持的文档释义。
2021-09-15 cs.AI cs.CL
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要，而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而，使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少，并且与句子显著性排名的相关性较弱。在本文中，我们提出了两个新的策略，以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标，即来自同一文档的句子比来自不同文档的句子更相似。此外，我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系，其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
Improving Sentence Representations with Consensus Maximisation
UC San Diego（加州大学圣地亚哥分校）
共识最大化学习可以提供自我监督时，不同的意见是相同的数据。分布假设提供了另一种形式的有用的自我监督从相邻的句子，这是丰富的大型未标记语料库。出于观察，不同的学习架构往往强调句子意义的不同方面，我们提出了一个新的自监督学习框架学习句子表示，最大限度地减少了两个视图之间的分歧，同一个句子，其中一个视图编码的句子与递归神经网络（RNN），和其他视图编码相同的句子与一个简单的线性模型。学习后，根据标准下游任务的表现来判断，个体视图（网络）比单视图学习的对应视图（仅使用分布假设学习）产生更高质量的句子表示。这两种视图的集合提供了对监督和无监督下游任务的更好概括。此外，重要的是，在两个不同架构之间用共识最大化训练的视图的集合在下游任务上比由单视图训练的对应物制成的类似集合表现得更好。
2019-05-07 cs.CL cs.LG cs.NE
Improving Sentence-Level Relation Extraction through Curriculum Learning
Konkuk University（建国大学）
句子级关系抽取主要是对句子中两个实体之间的关系进行分类。摘要级关系抽取语料库通常包含模型难以推断的数据或噪声数据。在本文中，我们提出了一个基于课程学习的关系抽取模型，该模型根据难度拆分数据并利用它们进行学习。在具有代表性的层次关系抽取数据集TACRED和Re-TACRED上的实验中，该方法分别获得了75.0%和91.4%的F1分数，这是最先进的性能。
2021-08-04 cs.AI cs.CL
Improving Sentence Embeddings with Automatic Generation of Training Data Using Few-shot Examples
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）
本文提出利用大语言模型通过少样本学习自动生成NLI数据集来微调PromptEOL，从而在无需大规模人工标注数据的情况下改进句子嵌入，并在STS任务上优于现有模型。
2024-08-02 cs.CL cs.LG
Modeling Coherence for Discourse Neural Machine Translation
Baidu Inc.（百度公司）
语篇连贯在语篇翻译中起着重要的作用。然而，以往的模型大多侧重于提高单个句子的性能，而忽略了跨句子的链接和依赖关系，这影响了文本的连贯性。本文从语篇的角度出发，提出利用语篇语境和奖励来提高翻译质量。特别是，我们首先生成单个句子的翻译。其次，我们对初步生成的译文进行研讨，并由一名奖励教师训练模型学习生成语篇连贯文本的策略。在多个语篇测试数据集上的实际结果表明，我们的模型在最先进的基线系统上显著提高了翻译质量，BLEU得分为+1.23。此外，我们的模型产生更多的话语连贯的文本，并获得+2.2 BLEU的改善时，由话语指标。
2018-11-14 cs.CL
Improving Social Media Text Summarization by Learning Sentence Weight Distribution
MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
最近，编码器-解码器模型被广泛用于社交媒体文本摘要。然而，这些模型有时会错误地选择不相关句子中的噪声词作为摘要的一部分，从而降低了性能。为了抑制不相关的句子，集中在关键信息，我们提出了一种有效的方法，通过学习句子的权重分布。在我们的模型中，我们构建了一个多层感知器来预测句子权重。在训练过程中，我们使用ROUGE得分作为估计的句子权重的替代方案，并尝试最小化估计权重和预测权重之间的差距。通过这种方式，我们鼓励我们的模型专注于与摘要具有高度相关性的关键句子。实验结果表明，我们的方法优于基线上的大规模社交媒体语料库。
2017-10-31 cs.CL
Modeling Coherence for Neural Machine Translation with Dynamic and Topic Caches
Soochow University（苏州大学）；Alibaba Group（阿里巴巴集团）
在一个格式良好的语篇中，句子之间通过各种链接相互连接，形成语篇的衔接结构。当前的神经机器翻译（NMT）系统以传统的逐句翻译方式翻译文本，忽略了这种跨句链接和依赖关系。这可能导致为连贯的源文本生成不连贯的目标文本。为了处理这个问题，我们提出了一种基于缓存的方法，通过从最近翻译的句子或整个文档中捕获上下文信息来对神经机器翻译的连贯性进行建模。特别是，我们探讨了两种类型的缓存：一个动态缓存，它存储从前面的句子的最佳翻译假设的话，和一个主题缓存，它保持了一组目标端的主题词，语义相关的文件被翻译。在此基础上，我们建立了一个新的层，在这两个缓存与基于缓存的神经模型的目标词评分。在这里，来自基于缓存的神经模型的估计概率与NMT概率通过门控机制组合成最终单词预测概率。最后，提出的基于缓存的神经模型与NMT系统以端到端的方式联合训练。本文提出的实验和分析表明，所提出的基于缓存的模型实现了实质性的改进，在几个国家的最先进的SMT和NMT基线。
2018-06-14 cs.CL
Improving the Efficiency of Long Document Classification using Sentence Ranking Approach
Pune Institute of Computer Technology（普那计算机技术研究所）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；L3Cube Labs（L3Cube实验室）
针对长文档分类中Transformer模型的计算限制和冗余问题，提出基于TF-IDF的句子排序方法，选择关键句子，在MahaNews LDC数据集上以0.33%的准确率下降换取超过50%的输入缩减和43%的延迟降低。
2025-06-22 cs.CL cs.LG
Improving Question Generation With to the Point Context
The Chinese University of Hong Kong（香港中文大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
问题生成（Question generation，QG）是从参考句子和句子中指定的答案生成问题的任务。QG的一个主要挑战是识别与答案相关的上下文词，以完成陈述句到疑问句的转换。现有的序列到序列神经模型通过基于邻近度的答案位置编码来实现这一目标，直觉是答案的相邻单词具有很高的可能性是答案相关的。然而，这种直觉可能并不适用于所有情况，特别是对于具有复杂答案相关关系的句子。因此，当答案片段与也出现在地面事实问题中的其他非停止句单词之间的相对距离增加时，这些模型的性能急剧下降。为了解决这个问题，我们提出了一种方法来联合建模非结构化句子和结构化答案相关关系（提前从句子中提取）以生成问题。具体地说，结构化的答案相关关系充当到点的上下文，因此它自然有助于保持生成的问题的点，而非结构化的句子提供了完整的信息。大量的实验表明，到点上下文帮助我们的问题生成模型实现了几个自动评估指标的显着改善。此外，我们的模型是能够产生不同的问题，一个句子，它传达了多种关系的答案片段。
2019-10-24 cs.CL cs.LG
CoheSentia: A Novel Benchmark of Incremental versus Holistic Assessment of Coherence in Generated Texts
Bar Ilan University（巴伊兰大学）
本文提出CoheSentia基准，通过全局和增量两种标注方法评估生成文本连贯性，发现增量模式标注一致性更高，且现有微调模型在连贯性检测上表现不佳，凸显改进需求。
2023-10-25 cs.AI cs.CL cs.DB
Learning to Extract Coherent Summary via Deep Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）；University of Massachusetts Medical School（马萨诸塞大学医学院）
连贯性在从文件中生成高质量摘要方面发挥着关键作用。近年来，神经抽取摘要越来越受到人们的关注。然而，他们大多数人在提取句子时忽略了摘要的连贯性。作为对提取连贯摘要的努力，我们提出了一个神经连贯模型来捕捉跨句子的语义和句法连贯模式。所提出的神经一致性模型消除了对特征工程的需要，并且可以使用未标记的数据以端到端的方式进行训练。实验结果表明，所提出的神经连贯模型可以有效地捕捉跨句连贯模式。利用神经元相干模型和ROUGE包的组合输出作为奖励，我们设计了一种强化学习方法来训练一个神经元提取摘要器，称为强化神经提取摘要（RNES）模型。RNES模型学习同时优化摘要的连贯性和信息重要性。在CNN/Daily Mail数据集上的实验结果表明，该算法的ROUGE性能优于现有的基线算法，达到了最先进的水平.质量评价表明，国家评价网络编写的摘要更加连贯和可读。
2018-04-19 cs.CL
Improving Zero-shot Sentence Decontextualisation with Content Selection and Planning
Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学）
针对句子提取后缺乏上下文的问题，提出内容选择与规划框架，通过分割、识别歧义单元并基于话语关系提取相关单元来重写句子，实现零样本去上下文化，提升语义完整性和连贯性。
2025-10-15 cs.CL
PromptBERT: Improving BERT Sentence Embeddings with Prompts
Beihang University（北京航空航天大学）；Microsoft（微软）；Zhongguancun Laboratory（中关村实验室）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
我们提出了一种新的对比学习方法，用于学习更好的句子表示。本文首先分析了当前基于BERT的句子嵌入算法的不足，发现其主要原因是静态的标记嵌入偏差和无效的BERT层。然后提出了第一种基于提示的句子嵌入方法，并讨论了两种提示表示方法和三种提示搜索方法，使BERT能够实现更好的句子嵌入。此外，我们提出了一种新的无监督训练目标的模板去噪技术，这大大缩短了监督和无监督设置之间的性能差距。大量的实验表明了该方法的有效性。与SimCSE相比，在无监督设置下，基于BERT和RoBERTa的BertBert实现了2.29和2.58点的改进。
2022-10-13 cs.CL
Improving Document-Level Sentiment Classification Using Importance of Sentences
Kangwon National University（江原大学）；Konkuk University（建国大学）
以前的研究人员认为情感分析作为一个文档分类任务，其中输入文档被分类到预定义的情感类。尽管文档中有支持情感分析的重要证据的句子，也有不支持的句子，但他们将文档视为一袋句子。换句话说，他们没有考虑到文件中每一句话的重要性。为了有效地确定文档的极性，文档中的每个句子都应该处理不同的重要程度。针对这一问题，提出了一种基于深度神经网络的文档级句子分类模型，通过门机制自动确定文档中句子的重要程度。为了验证我们的新情感分析模型，我们使用电影评论、酒店评论、餐厅评论和音乐评论等四个不同领域的情感数据集进行了实验。在实验中，所提出的模型优于以前的国家的最先进的模型，不考虑文件中的句子的重要性差异。实验结果表明，在文档级情感分类任务中，应该考虑句子的重要性。
2021-03-09 cs.CL
Paraphrase Thought: Sentence Embedding Module Imitating Human Language Recognition
Korea University（高丽大学）
句子嵌入是自然语言处理中的一个重要研究课题。为了提高各种自然语言处理任务（如机器翻译和文档分类）的性能，必须生成一个能够充分反映句子语义的嵌入向量。到目前为止，已经提出了各种句子嵌入模型，并且它们的可行性已经通过在嵌入之后的任务（诸如情感分析和句子分类）上的良好性能而被证明。然而，因为句子分类和情感分析的性能可以通过使用简单的句子表示方法来增强，所以基于这些任务的良好性能，声称这些模型完全反映了句子的含义是不够的。本文受人类语言识别的启发，提出了语义连贯性的概念，一个好的句子嵌入方法应该满足这一概念：相似的句子应该在嵌入空间中相互靠近。然后，我们提出了释义-思维（P-thought）模型，以尽可能地追求语义连贯。在MS COCO和STS benchmark两个数据集上的实验结果表明，P-thought模型的性能优于基准句子嵌入方法。
2018-10-15 cs.CL
An entity-driven recursive neural network model for chinese discourse coherence modeling
Jiangxi Normal University（江西师范大学）
中文语篇连贯性建模是自然语言处理领域的一个挑战性课题，现有的方法大多集中于特征工程的需要，即采用复杂的特征来捕捉文本中句子之间的逻辑、句法或语义关系.本文在现有的英语语篇连贯性神经网络模型的基础上，提出了一个实体驱动的递归深层模型，用于中文语篇连贯性的评估.具体而言，针对现有模型不能识别句子间实体（名词）重叠的不足，将实体信息引入递归神经网络中，并通过句子排序和机器翻译连贯性评价任务验证了该模型的有效性，其性能明显优于现有的强基线.
2017-04-14 cs.CL
Learning Semantically Coherent and Reusable Kernels in Convolution Neural Nets for Sentence Classification
Microsoft Research（微软研究院）；Indian Institute of Science（印度科学院）；Microsoft（微软）
最先进的CNN模型在句子分类任务上表现良好。这项工作的目的是实证研究所需的属性，如语义连贯性，注意力机制和可重用性的CNN在这些任务。语义一致的内核是优选的，因为它们对于解释学习的CNN模型的决定更可解释。我们观察到，学习的内核不具有语义连贯性。出于这种观察，我们建议使用聚类方案结合Word2Vec表示和领域知识（如SentiWordNet）来学习具有语义一致性的内核。我们提出了一种技术来可视化的注意力机制的CNN决策解释的目的。可重用属性使在一个问题上学习的内核能够用于另一个问题。这有助于有效的学习，因为可能只需要学习一些额外的特定于域的过滤器。我们证明了我们的核心思想的学习语义一致的内核和利用可重用的内核在几个基准数据集上进行有效学习的有效性。实验结果表明，我们的方法的实用性，通过实现性能接近国家的最先进的方法，但具有语义和可重用的属性。
2016-10-10 cs.CL cs.LG cs.NE
Improving Neural Text Simplification Model with Simplified Corpora
Yangzhou University（扬州大学）
文本简化（TS）可以被视为单语翻译任务，在一种语言中的文本变体之间进行翻译。最近的神经TS模型借鉴了神经机器翻译的见解，使用编码器-解码器模型来学习词汇简化和内容缩减。但与神经机器翻译不同的是，我们无法获得足够的普通和简化的句子对TS，这是昂贵的和耗时的建设。目标方简化句子在提高统计TS的流畅性方面起着重要作用，我们研究了使用简化句子进行训练，而不改变网络架构。我们建议通过反向翻译将简单的训练语句与合成的普通语句配对，并将该合成数据视为附加的训练数据。我们使用合成句子对和原始句子对来训练编码器-解码器模型，与现有的方法相比，该方法可以在可用的WikiLarge数据和WikiSmall数据上获得实质性的改进。
2018-10-10 cs.CL
STaCK: Sentence Ordering with Temporal Commonsense Knowledge
University of Michigan（密歇根大学）；Singapore University of Technology and Design（新加坡科技设计大学）
句子顺序预测是在随机排序的文档中找到句子的正确顺序的任务。正确排列句子需要理解与文本中描述的事件的时间顺序相关的连贯性。围绕这些事件的文档级上下文理解和常识知识通常是揭示这种连贯性和预测确切时间顺序的关键。在本文中，我们介绍STaCK -一个框架的基础上图神经网络和时间常识知识的模型全局信息和预测相对顺序的句子。我们的图形网络使用“过去”和“未来”的知识积累时间证据，并将句子排序作为一个约束边缘分类问题。我们报告了五个不同数据集的结果，并根据经验表明，所提出的方法自然适合于订单预测。这项工作的实施情况可在https://github.com/declare-lab/sentence-ordering上公开查阅。
2021-09-06 cs.AI cs.CL
On Improving Informativity and Grammaticality for Multi-Sentence Compression
University of New South Wales（新南威尔士大学）；National ICT（国家信息与通信技术机构）
多句子压缩在很多实际应用中具有重要的价值，如引导式微博摘要、意见摘要和新闻摘要。最近，基于词图的方法已被提出，并成为流行的MSC。他们的关键假设是，一组相关句子之间的冗余提供了一种可靠的方式来生成信息和语法句子。在本文中，我们提出了一种有效的方法来增强基于单词图的MSC，并解决了大多数最先进的MSC方法所面临的问题：即，同时提高信息量和语法性。我们的方法包括三个主要组成部分：（1）合并方法的基础上的多词表达式（MWE）;（2）映射策略的基础上同义词之间的关系;（3）重新排序的步骤，以确定最佳的压缩候选人使用基于POS的语言模型（POS-LM）。我们证明了这种新方法的有效性，使用的数据集的英语新闻专线句子的集群。所观察到的信息量和语法的生成的压缩的改进表明，我们的方法是优于国家的最先进的MSC方法。
2016-05-07 cs.CL
Improving Image Captioning by Concept-based Sentence Reranking
Renmin University of China（中国人民大学）
本文介绍了我们在ImageCLEF 2015图像句子生成任务中的获奖作品。我们通过引入基于概念的句子重排序来改进Google的CNN-LSTM模型，这是一种数据驱动的方法，它利用了Flickr上大量的概念级注释。不同于以往使用的概念检测，是专门为特定的图像描述模型，提出的方法重新排序预测的句子在其与检测到的概念的匹配方面，基本上作为一个黑箱处理的基础模型。该属性使得该方法适用于许多现有的解决方案。我们还对深度语言模型进行了微调，这进一步提高了性能。在ImageCLEF 2015测试集上的METEOR评分为0.1875，我们的系统以明显的优势优于亚军（METEOR为0.1687）。
2016-05-03 cs.CL cs.CV
Improving Graph-based Sentence Ordering with Iteratively Predicted Pairwise Orderings
Xiamen University（厦门大学）；Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信AI模式识别中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent Cloud Xiaowei（腾讯云小微）；Dalian University of Technology（大连理工大学）；Pengcheng Laboratory（鹏城实验室）
显性句子排序模型可以分为两两排序模型和集合排序模型。然而，很少有人试图将这两种模式结合起来，这两种模式本身就具有互补的优势。在本文中，我们提出了一个新的句子排序框架，它引入了两个分类器，以更好地利用基于图的句子排序的成对排序。特别地，给定一个初始的语义实体图，我们首先引入一个基于图的分类器来预测链接句子之间的成对排序。然后，以迭代的方式，基于由先前预测的高置信度成对排序更新的图，使用另一个分类器来预测剩余的不确定成对排序。最后，我们采用了一种基于最终图的GRN句子排序模型。在五个常用数据集上的实验证明了该模型的有效性和通用性。特别是，当配备了BERT和FHDecoder，我们的模型达到了最先进的性能。
2021-10-13 cs.CL
Two-Level Transformer and Auxiliary Coherence Modeling for Improved Text Segmentation
University of Mannheim（曼海姆大学）；Educational Testing Service (ETS)（教育考试服务中心（ETS））
将长文本的结构分解为语义连贯的片段，使文本更具可读性，并支持下游应用程序，如摘要和检索。从一个明显的文本连贯性和分割之间的联系，我们介绍了一种新的监督模型，文本分割简单，但明确的连贯性建模。我们的模型--由两个分层连接的Transformer网络组成的神经架构--是一个多任务学习模型，它将重复级分割目标与连贯性目标相结合，从而区分正确的句子序列和错误的句子序列。该模型被称为一致性感知文本分割（CATS），在一组基准数据集上产生最先进的分割性能。此外，通过将CATS与跨语言词嵌入相结合，我们证明了其在zero-shot语言迁移中的有效性：它可以成功地分割训练中看不到的语言中的文本。
2020-01-03 cs.CL
DefSent+: Improving sentence embeddings of language models by projecting definition sentences into a quasi-isotropic or isotropic vector space of unlimited dictionary entries
Hokkaido University（北海道大学）
DefSent+ 通过逐步构建不受词汇表限制的条目嵌入，将定义句投影到无限词典条目的准各向同性或各向同性向量空间，显著提升句子嵌入质量，并在无标注数据条件下取得最先进性能。
2024-09-29 cs.AI cs.CL cs.LG
Leveraging Sentence Similarity in Natural Language Generation: Improving Beam Search using Range Voting
DeepMind（深度思维）；University of Cambridge（剑桥大学）
我们提出了一种自然语言生成的方法，选择最有代表性的输出，而不是最可能的输出。通过从投票理论的角度观察语言生成过程，我们使用范围投票和相似性度量来定义代表性。所提出的方法可以应用于从任何概率语言模型生成时，包括n-gram模型和神经网络模型。我们评估不同的相似性措施的图像描述任务和机器翻译任务，并表明我们的方法生成更长，更多样化的句子，提供了一个解决方案的常见问题的短输出更长，更丰富的信息。生成的句子获得更高的BLEU分数，特别是当波束大小很大时。我们还对这两项任务进行了人工评估，发现使用我们的方法生成的输出评分更高。
2020-05-25 cs.CL
Improving Question Generation with Sentence-level Semantic Matching and Answer Position Inferring
NSF Center for Big Learning, University of Florida（佛罗里达大学NSF大数据学习中心）；AI Institute, Tongdun Technology（同盾科技人工智能研究院）
以答案及其上下文作为输入，序列到序列模型在问题生成方面取得了相当大的进展。然而，我们观察到，这些方法经常生成错误的问题词或关键字，并从输入中复制与答案无关的词。我们认为缺乏全局问题语义和没有很好地利用答案位置意识是关键的根本原因。本文提出了一个神经问题生成模型，该模型包括两个具体模块：句子级语义匹配和答案位置推断。此外，我们通过利用答案感知门控融合机制来增强解码器的初始状态。实验结果表明，我们的模型优于最先进的（SOTA）模型SQuAD和MARCO数据集。由于其通用性，我们的工作也显着改善现有的模型。
2020-02-03 cs.AI cs.CL cs.LG
Show Me How To Revise: Improving Lexically Constrained Sentence Generation with XLNet
The University of Hong Kong（香港大学）
词汇约束的句子生成允许将诸如词汇约束的先验知识并入输出。该技术已应用于机器翻译和对话响应生成。以前的工作通常使用马尔可夫链蒙特卡罗（MCMC）抽样来生成词汇限制的句子，但他们随机确定要编辑的位置和要采取的行动，导致许多无效的改进。为了克服这一挑战，我们使用了一个分类器来指导基于MCMC的模型在哪里以及如何细化候选句子。首先，我们开发了两种方法来创建合成数据，在此基础上对预训练模型进行微调，以获得可靠的分类器。接下来，我们提出了一个两步的方法，“预测和修改”，约束句子生成。在预测步骤中，我们利用分类器来计算候选句子的学习先验。在修改步骤中，我们采取MCMC采样，通过在从学习到的先验知识中抽取的采样位置进行采样动作来修改候选句子。我们将我们提出的模型与两个任务的许多强基线进行了比较，即生成具有词汇约束的句子和文本填充。实验结果表明，我们提出的模型表现出更好的句子流畅性和多样性方面比以前的工作。我们的代码和预培训模型可在https://github.com/NLPCode/MCMCXLNet上获得。
2021-09-13 cs.CL
Knowledge-based Review Generation by Coherence Enhanced Text Planning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）；Huawei Cloud（华为云）
作为一项自然语言生成任务，生成信息丰富、连贯的评论文本是一项具有挑战性的任务。为了增强所生成的文本的信息性，现有的解决方案通常学习从知识图谱（KG）复制实体或三元组。但是，他们在选择和安排知识时缺乏整体考虑，容易造成语篇的不连贯。为了解决上述问题，我们专注于提高实体为中心的一致性，通过利用知识库的语义结构生成的评论。本文提出了一种基于知识图谱（KGs）的一致性增强文本规划模型（CETP），以提高评论生成的全局和局部一致性。所提出的模型学习一个两级的文本计划来生成文档：（1）文档计划被建模为一个顺序的句子计划序列，（2）句子计划被建模为KG中基于实体的子图。KG子图通过实体之间的句内关联自然地增强了局部连贯性。对于全局一致性，我们设计了一个分层的自关注架构，子图和节点级的注意力，以增强子图之间的相关性。据我们所知，我们是第一个利用基于KG的文本规划模型来增强文本连贯性的审查生成。在三个数据集上进行的大量实验证实了我们的模型在提高生成文本的内容一致性方面的有效性。
2021-05-09 cs.CL
Trimming and Improving Skip-thought Vectors
UC San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究院）
跳跃思维模型已被证明是有效的学习句子表示和捕捉句子语义。在本文中，我们提出了一套技术来修剪和改进它。首先，我们验证了一个假设，给定一个当前的句子，推断前一个句子和推断下一个句子提供类似的监督权力，因此只有一个解码器预测下一个句子是保留在我们修剪跳过思想模型。其次，我们提出了一个连接层之间的编码器和解码器，以帮助模型更好地概括语义相关的任务。第三，我们发现一个好的词嵌入初始化对于学习更好的句子表示也是必不可少的。我们训练我们的模型在一个大型语料库与连续的句子无监督，然后评估7监督任务，其中包括语义相关性，释义检测和文本分类基准训练模型。我们的经验表明，我们提出的模型是一个更快，更轻的重量和同样强大的替代原来的跳跃思维模型。
2017-06-09 cs.CL
DoubleCCA: Improving Foundation Model Group Robustness with Random Sentence Embeddings
Osaka University（大阪大学）；Sichuan University（四川大学）
本文提出 DoubleCCA 方法，通过随机句子增强和双重典型相关分析对齐文本嵌入，以简单有效的方式提升基础模型对群体偏见的鲁棒性，并在多个任务上优于现有方法。
2024-11-25 cs.CL cs.CV
Improving Multimodal Contrastive Learning of Sentence Embeddings with Object-Phrase Alignment
The University of Tokyo（东京大学）
针对多模态句子嵌入训练中图像-字幕对存在噪声的问题，提出结合细粒度对象-短语对齐的MCSEO方法，利用分割与检测模型提取配对优化对比学习目标，在STS任务上 consistently 优于强基线。
2025-08-01 cs.CL
Diversity-Aware Coherence Loss for Improving Neural Topic Models
University of British Columbia（不列颠哥伦比亚大学）；University of Fraser Valley（弗雷泽谷大学）
本文提出多样性感知连贯性损失，在保持主题多样性的同时学习语料库级连贯性得分，无需预训练或额外参数即可显著提升神经主题模型性能。
2023-05-26 cs.CL cs.LG
Improving Contrastive Learning of Sentence Embeddings with Case-Augmented Positives and Retrieved Negatives
Alibaba Group（阿里巴巴集团）
继SimCSE之后，基于对比学习的方法在学习句子嵌入方面取得了最先进的（SOTA）性能。然而，无监督的对比学习方法仍然远远落后于有监督的同类方法。我们将此归因于阳性和阴性样本的质量，并旨在改善两者。具体来说，对于阳性样本，我们提出了开关情况下的增强翻转的情况下，随机选择的单词在一个句子中的第一个字母。这是为了抵消预先训练的标记嵌入对频率、词格和子词的固有偏见。对于阴性样本，我们基于预训练的语言模型从整个数据集中抽取硬阴性样本。将上述两种方法与SimCSE相结合，我们提出的对比学习与增强和检索数据的句子嵌入（Sentence embedding）方法显着优于当前的SOTA在STS基准在无监督设置。
2022-06-06 cs.CL cs.IR
Pruned Graph Neural Network for Short Story Ordering
University of Tehran（德黑兰大学）；Emory University（埃默里大学）
语篇连贯是自然语言生成和理解中的一个基本问题。将句子组织成最大化连贯性的顺序被称为句子排序。本文提出了一种基于图神经网络的方法来编码一组句子和学习短篇小说的顺序。我们提出了一种新的方法来构建短篇小说的句子之间的边缘和减少噪音，在我们的图中的代词与其所指的实体取代的实体图。我们通过引入一种基于最先进的方法和我们提出的方法的多数投票的聚合方法来改进句子排序。我们的方法采用基于BERT的模型来学习句子的语义表示。结果表明，该方法显着优于现有的基线上的短篇小说语料库的完美匹配率（PMR）和肯德尔的Tau（Tau）指标方面的一个新的国家的最先进的性能。更确切地说，我们的方法将PMR和Tau标准分别提高了5%和4.3%以上。这些结果突出了基于余弦相似性在句子之间形成边缘的好处。我们还观察到，取代代词与他们的指涉实体有效地编码句子的重叠实体图。
2022-03-13 cs.CL
PhysNLU: A Language Resource for Evaluating Natural Language Understanding and Explanation Coherence in Physics
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）
本文构建PhysNLU数据集集合，从句子排序、位置、章节预测和话语连贯性等方面评估语言模型对物理解释的理解能力，并通过基线揭示现有模型的不足。
2023-06-02 cs.CL
Improving Cross-Lingual Token Representations by Adding a Pinch of SALT
ILCC, University of Edinburgh（爱丁堡大学）
提出轻量级后训练方法SALT，通过跨度级监督改进跨语言句子编码器的词元表示，在多个多语言基准上取得最优结果，同时提升句子级性能。
2026-09-10 cs.AI cs.CL
Neural Automated Essay Scoring and Coherence Modeling for Adversarially Crafted Input
University of Cambridge（剑桥大学）；The ALTA Institute（ALTA研究所）
我们证明，目前国家的最先进的方法，自动论文评分（AES）是不适合捕捉adversarially精心制作的输入语法，但不连贯的句子序列。我们开发了一个局部连贯性的神经模型，可以有效地学习句子之间的连接性特征，并提出了一个框架，用于将局部连贯性模型与最先进的AES模型集成并联合训练。我们根据一些基线评估了我们的方法，并通过实验证明了它在AES任务和标记对抗性输入任务上的有效性，进一步促进了一种增强神经论文评分模型有效性的方法的开发。
2020-04-30 cs.AI cs.CL
Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures
Technische Universität Darmstadt（达姆施塔特工业大学）；Ubiquitous Knowledge Processing Lab (UKP-TUDA)（普适知识处理实验室（UKP-TUDA））
现有的NLP数据集包含各种偏见，模型往往会快速学习这些偏见，这反过来又限制了它们的鲁棒性。现有的提高对数据集偏差的鲁棒性的方法主要集中在改变训练目标，以便模型从有偏差的示例中学习更少。此外，它们大多专注于解决特定的偏差，虽然它们提高了目标偏差的对抗性评估集的性能，但它们可能会以其他方式使模型产生偏差，从而损害整体鲁棒性。在本文中，我们建议增加训练数据中的输入句子与其相应的谓词参数结构，这提供了一个更高层次的抽象不同的实现相同的含义，并帮助模型识别句子的重要部分。我们表明，在不针对特定偏见的情况下，我们的句子增强提高了Transformer模型对多种偏见的鲁棒性。此外，我们发现，即使训练数据不包含这种偏差，模型仍然容易受到词汇重叠偏差的影响，并且句子增强也提高了这种情况下的鲁棒性。我们将在https://github.com/UKPLab/data-augmentation-for-robustness上发布我们的对抗数据集来评估这种情况下的偏见以及我们的增强脚本。
2020-10-23 cs.CL
Augmented SBERT: Data Augmentation Method for Improving Bi-Encoders for Pairwise Sentence Scoring Tasks
Technische Universität Darmstadt（达姆施塔特工业大学）
成对句子评分有两种方法：交叉编码器，它对输入对执行完全关注，以及双编码器，它将每个输入独立地映射到稠密向量空间。虽然交叉编码器通常可以实现更高的性能，但对于许多实际用例来说，它们太慢了。另一方面，双编码器需要大量的训练数据和对目标任务的微调以实现有竞争力的性能。我们提出了一种简单而有效的数据增强策略，称为增强SBERT，其中我们使用交叉编码器来标记更大的一组输入对，以增强双向编码器的训练数据。我们表明，在这个过程中，选择的句子对是不平凡的，关键的方法的成功。我们评估我们的方法在多个任务（在域），以及在一个领域自适应任务。与原始双编码器性能相比，增强的SBERT实现了域内高达6点的改进和领域自适应任务高达37点的改进。
2021-04-12 cs.CL
SemPA: Improving Sentence Embeddings of Large Language Models through Semantic Preference Alignment
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院）；School of Computer Science and Electronic Engineering, University of Surrey（Surrey大学计算机科学与电子工程学院）
SemPA通过语义偏好对齐提升大语言模型的句子嵌入能力，同时保持其生成能力。
2026-01-08 cs.CL
Improving Unsupervised Relation Extraction by Augmenting Diverse Sentence Pairs
Iowa State University（爱荷华州立大学）
本文提出 AugURE，通过句内和跨句句对增强提升无监督关系抽取中对比学习的正样本多样性，并用间隔损失替代 NCE 损失，在 NYT-FB 和 TACRED 上取得最优性能。
2023-12-01 cs.CL
