Harvesting Paragraph-Level Question-Answer Pairs from Wikipedia
Cornell University（康奈尔大学）
我们研究了从维基百科文章中生成问答对的任务，这些问答对涵盖了单个句子之外的内容。我们提出了一个神经网络的方法，通过一个新的门控机制，将共指知识。与仅考虑到药物水平信息的模型相比（Heilman和Smith，2010年; Du等人，2017; Zhou等人，2017），我们发现共指表示引入的语言学知识显著地帮助问题生成，生成的模型优于当前最先进的模型。我们将我们的系统（由答案跨度提取系统和高级QG系统组成）应用于10，000篇排名靠前的维基百科文章，并创建了超过100万个问答对的语料库。我们还提供了一个定性分析，这个大规模的维基百科生成的语料库。
2018-05-15 cs.CL
Multi-Step Inference for Reasoning Over Paragraphs
University of Edinburgh（爱丁堡大学）；Allen Institute for AI（艾伦人工智能研究所）
对文本的复杂推理需要理解和链接自由形式的谓词和逻辑连接词。以前的工作主要是尝试用象征性的方法或黑盒Transformers来实现这一点。我们在这两个极端之间提出了一个中间地带：一个组合模型，让人想起可以执行链式逻辑推理的神经模块网络。该模型首先在上下文中找到相关句子，然后使用神经模块将它们链接在一起。我们的模型给出了显着的性能改进（高达29%的相对误差减少时，与reranker组合）ROPES，最近推出的复杂推理数据集。
2021-06-07 cs.CL
Outline Generation: Understanding the Inherent Content Structure of Documents
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们介绍和解决的大纲生成（OG）的任务，其目的是揭示的内在内容结构的多段文档，通过识别其潜在的部分，并生成相应的部分标题。不失一般性，OG任务可以被视为一种新的结构化摘要任务。为了生成一个好的大纲，一个理想的OG模型应该能够捕获三个层次的连贯性，即上下文段落之间的连贯性，一个章节与其标题之间的连贯性，以及上下文标题之间的连贯性。前两种方法是确定路段的基础，后两种方法是生成一致性标题的关键。在这项工作中，我们制定了OG任务作为一个层次结构化的预测问题，即，首先预测一系列的节边界，然后相应地预测一系列的节标题。我们针对该任务提出了一种新型的分层结构神经生成模型，名为HiStGen。我们的模型试图通过以下方式来捕获三级一致性。首先，我们引入了一个马尔可夫段落之间的依赖关系的上下文段落识别机制。其次，我们采用了一个节意识的注意力机制，以确保节和它的标题之间的语义一致性。最后，我们利用马尔可夫标题依赖机制和上下文标题之间的审查机制，以提高一致性和消除重复的章节标题。此外，我们建立了一个新的WIKIOG数据集，一个公共集合，其中包括超过175万个文档大纲对的OG任务的研究。我们的基准数据集上的实验结果表明，我们的模型可以显着优于几个国家的最先进的顺序生成模型的OG任务。
2019-05-24 cs.CL
Topic Identification in Discourse
提出了一种基于语料库的语言模型用于主题识别。我们分析了LOB语料库中名-名和名-动对的关联情况。词关联规范基于三个因素：1）词的重要性，2）对共现，和3）距离。他们分别在段落和句子层面上接受名词-名词和名词-动词对的训练。在话题连贯假设下，与语篇中其他名词和动词具有最强连接性的名词构成了首选话题集。然后利用搭配语义从段落中识别主题，并讨论段落之间的主题转移现象。
1995-02-23 cmp-lg cs.CL
Advancing Topic Segmentation and Outline Generation in Chinese Texts: The Paragraph-level Topic Representation, Corpus, and Benchmark
University of Science and Technology of China（中国科学技术大学）；Soochow University（苏州大学）
本文构建了中文段落级主题表示、语料库与基准，提出三层层次化结构表示，采用两阶段人机协同标注构建最大规模CPTS语料库，并基于ChatGPT等基线验证了其在主题分割、大纲生成及话语解析任务上的有效性。
2024-03-26 cs.AI cs.CL
Towards Generating Citation Sentences for Multiple References with Intent Control
National Taiwan University（国立台湾大学）
机器生成的引用语句可以帮助自动化的科学文献综述和文章写作。当前生成引文文本的方法仅限于使用引用文档和被引用文档作为输入的单个引文生成。然而，在现实世界中，作者经常在一句话中总结几项研究，或者在整个段落中讨论相关信息。此外，先前已经识别了多个引用意图，这意味着作者可能需要控制生成的句子的意图以覆盖不同的场景。因此，这项工作的重点是生成多个引文，并发布一个新收集的名为CiteMI的数据集，以推动未来的研究。我们首先建立了一个新的生成模型与融合解码器的方法，以应付多个长输入。其次，我们将预测的引用意图纳入意图控制的训练中。实验表明，所提出的方法提供了更全面的功能，生成引文句子。
2021-12-09 cs.CL
Indirectly Supervised English Sentence Break Prediction Using Paragraph Break Probability Estimates
Google Research（谷歌研究院）
本报告探讨了使用段落中断概率估计来帮助预测英语自然语言文本中句子中断的位置。我们发现，句子中断预测几乎完全基于段落中断概率估计可以实现高精度的这项任务。这个断句预测器几乎完全是在大量自然出现的文本上训练的，没有断句注释，只需要少量的注释数据来调整两个超参数。我们还表明，甚至更好的结果可以实现跨域和域外的测试数据，如果段落中断概率信号相结合的支持向量机分类器上训练的一个更大的量的中断注释的数据。在此过程中，许多相关问题得到了解决。
2021-09-24 cs.CL
Scalable Micro-planned Generation of Discourse from Structured Data
Mila, Université de Montréal（蒙特利尔大学Mila）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；IBM Research（IBM研究院）
我们提出了一个框架，用于生成自然语言描述的结构化数据，如表的问题属于数据到文本的自然语言生成（NLG）。现代数据到文本NLG系统通常采用端到端统计和神经架构，这些架构从有限数量的特定于任务的标记数据中学习，因此表现出有限的可扩展性，域适应性和可解释性。与这些系统不同，我们的是一个模块化的，基于流水线的方法，不需要特定于任务的并行数据。它相当依赖于单语语料库和基本的现成NLP工具。这使得我们的系统更具可扩展性，并易于适应新的领域。我们的系统采用3阶段流水线：（i）将结构化数据中的条目转换为规范形式，（ii）为规范化表示中的每个原子条目生成简单句子，以及（iii）通过句子复合和共指替换模块组合句子以产生连贯，流畅和适当的段落描述。在一个基准混合域数据集上进行的实验表明，我们的系统比现有的数据到文本的方法优越。我们还证明了我们的系统在接受其他流行的数据集，涵盖不同的数据类型，如知识图谱和键值图的鲁棒性。
2019-10-04 cs.CL
Sentence-Permuted Paragraph Generation
University of Notre Dame（圣母大学）；Microsoft Cognitive Services Research（微软认知服务研究院）
生成不同内容的段落在许多应用中是重要的。现有的生成模型由于固定的从左到右的句子顺序，从同质化的上下文中产生相似的内容。我们的思想是通过排列句子顺序来提高多句子段落的内容多样性。我们提出了一个新的框架PermGen，其目标是最大限度地提高预期的对数似然输出段落分布相对于所有可能的句子顺序。PermGen使用分层位置嵌入，并设计了新的程序，用于训练，解码和候选人排名的置换生成。三个段落生成基准的实验表明，PermGen生成更多样化的输出，更高的质量比现有的模型。
2021-09-07 cs.AI cs.CL
Encouraging Paragraph Embeddings to Remember Sentence Identity Improves Classification
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
虽然段落嵌入模型对于下游分类任务非常有效，但它们学习并编码到单个向量中的内容仍然不透明。在本文中，我们研究了Zhang et al.（2017）提出的一种最先进的段落嵌入方法，发现它不能可靠地判断给定的句子是否出现在输入段落中。我们制定了一个句子内容任务来探索这个基本的语言属性，发现即使是一个简单得多的词袋方法也没有问题解决它。这个结果促使我们在半监督设置中用我们的句子内容探测目标取代Zhang et al.（2017）的基于重建的目标。尽管它很简单，但我们的目标在（1）基准数据集上的下游分类精度，（2）更快的训练和（3）更好的泛化能力方面优于段落重建。
2019-06-09 cs.CL
Overview of SCIDOCA 2025 Shared Task on Citation Prediction, Discovery, and Placement
RIKEN Center for Advanced Intelligence Project (AIP), Japan（日本先进情报项目研究所）；The Institute of Statistical Mathematics, Japan（日本统计数学研究所）；Japan Advanced Institute of Science and Technology（日本先进科学技术研究所）
本文介绍SCIDOCA 2025共享任务，构建含6万余标注段落的引用发现与预测基准，设三个子任务并评估三支参赛队伍的结果。
2025-09-29 cs.CL cs.DL
Evaluating Long-form Text-to-Speech: Comparing the Ratings of Sentences and Paragraphs
文本转语音系统通常在单个句子上进行评估。当考虑长格式内容时，例如由完整段落或对话组成的数据，孤立地评估句子并不总是合适的，因为缺少合成句子的上下文。在本文中，我们研究了三种不同的方法来评估自然的长形式的文本转语音合成。我们比较了孤立地评价句子，评价整个段落的讲话，并提出了一个选择的语音或文本作为上下文，并评估随后的讲话。我们发现，即使这三个评估是基于相同的材料，结果不同的设置，而且这些结果不一定相互关联。我们表明，我们的研究结果是一致的，一个单一的扬声器设置的阅读段落和两个扬声器的对话场景。我们的结论是，要评估长格式语音的质量，传统的评价孤立的句子的方式是不够的，需要多个评价。
2019-09-09 cs.CL cs.LG cs.SD
ParaTTS: Learning Linguistic and Prosodic Cross-sentence Information in Paragraph-based TTS
Northwestern Polytechnical University（西北工业大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音）
神经端到端TTS模型的最新进展已经在传统的基于语音的TTS中显示出高质量、自然的合成语音。然而，它仍然是具有挑战性的再现类似的高质量时，一个完整的段落被认为是在文语转换，其中大量的上下文信息需要考虑在建立一个基于段落的文语转换模型。为了减轻训练中的困难，我们建议在训练中考虑跨句子，嵌入结构来建模语言和韵律信息。三个子模块，包括语言感知，韵律感知和停顿位置网络，一起训练与修改Tacotron 2。具体来说，学习嵌入在一个段落中的信息和相应的组成句子之间的关系，我们利用语言感知和韵律感知网络。编码器捕获段落中的信息，利用多头注意力机制学习段落中的句间信息。段落中的相对句子位置被位置网络明确地利用。在一个讲故事的有声读物语料库（4.08小时）上训练，由一位女性汉语普通话者记录，所提出的TTS模型表明，它可以产生相当自然和高质量的语音段落。该模型能够更好地预测和呈现跨句子的上下文信息，例如连续句子之间的中断和韵律变化。测试的段落文本，其长度类似于，长于，或远长于典型的段落长度的训练数据，TTS语音产生的新模型是一贯的首选在主观测试和确认在客观的措施基于语音的模型。
2022-09-14 cs.CL cs.SD eess.AS
Paragraph-based Transformer Pre-training for Multi-Sentence Inference
University of Trento（特伦托大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）；Allen Institute for AI（艾伦人工智能研究所）
推理任务，如答案句子选择（AS2）或事实验证，通常通过微调基于变换的模型作为单独的配对分类器来解决。最近的研究表明，这些任务受益于多个候选句子之间的依赖关系建模。在本文中，我们首先证明了流行的预训练Transformers在用于多候选推理任务的微调时表现不佳。然后，我们提出了一个新的预训练目标，跨多个输入句子的段落级语义模型。我们对三个AS2和一个事实验证数据集的评估表明，我们的预训练技术优于传统的Transformers器，用于多候选推理任务的联合模型，以及用作这些任务的交叉编码器。我们的代码和预训练模型在https://github.com/amazon-research/wqa-multi-sentence-inference上发布。
2022-07-06 cs.CL
MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Tencent AI Lab（腾讯人工智能实验室）；Microsoft Dynamics 365 AI（微软Dynamics 365人工智能部门）
为视频生成多句描述是最具挑战性的字幕任务之一，因为它不仅对视觉相关性而且对段落中句子之间基于话语的连贯性有很高的要求。为了实现这一目标，我们提出了一种新的方法，称为内存增强的循环Transformer（MART），它使用一个内存模块来增加的Transformer架构。记忆模块根据视频片段和句子历史生成高度概括的记忆状态，以便帮助更好地预测下一个句子（w.r.t.共指和重复方面），从而鼓励连贯的段落生成。在两个流行的数据集ActivityNet Captions和YouCookII上进行的大量实验、人工评估和定性分析表明，与基线方法相比，MART生成的段落标题更连贯，重复性更低，同时保持了与输入视频事件的相关性。所有代码都是开源的，网址是：https://github.com/jayleicn/recurrent-transformer
2020-05-11 cs.CL cs.CV cs.LG
Convolutional Auto-encoding of Sentence Topics for Image Paragraph Generation
Nanjing University of Science and Technology（南京理工大学）；JD AI Research（京东人工智能研究院）
图像段落生成是生成描述图像视觉内容的连贯故事（通常是一个段落）的任务。然而，这个问题并不是微不足道的，特别是当段落生成需要考虑多种描述性和不同的要点时，这经常发生在真实图像中。一个有效的问题是如何从图像中封装这些值得一提的要点/主题，然后从一个主题到另一个主题描述图像，但具有连贯的结构。在本文中，我们提出了一种新的设计-卷积自动编码（CAE），纯粹采用卷积和去卷积自动编码框架的主题建模的区域级特征的图像。此外，我们提出了一个架构，即CAE加上长短期记忆（称为CAE-LSTM），新颖地集成了学习的主题，以支持段落生成。从技术上讲，CAE-LSTM利用了一个两级的基于LSTM的段落生成框架和注意力机制。段落级LSTM捕获段落中的句间依赖性，而段落级LSTM则生成一个以每个学习主题为条件的句子。在斯坦福图像段落数据集上进行了大量的实验，并与最先进的方法相比，获得了更好的结果。更值得注意的是，CAE-LSTM将CIDER性能从20.93%提高到25.15%。
2019-08-01 cs.CL cs.CV
Training and Meta-Evaluating Machine Translation Evaluation Metrics at the Paragraph Level
Google（谷歌）
针对段落级机器翻译自动评估效果不明确的问题，研究提出从现有句子级数据构建段落级评估数据集的方法，实验发现句子级指标与段落级指标的评估效果相当，并分析了背后原因。
2023-08-28 cs.CL
Argue with Me Tersely: Towards Sentence-Level Counter-Argument Generation
Fudan University（复旦大学）；ByteDance（字节跳动）；Huawei Poisson Lab（华为泊松实验室）
本文提出ArgTersely基准和Arg-LlaMA模型，用于句子级反驳论点生成，并训练Arg-Judge评估器，实验证明其性能优于基线。
2023-12-21 cs.CL
Pre-training Transformer Models with Sentence-Level Objectives for Answer Sentence Selection
University of Trento（特伦托大学）；Amazon Alexa AI（亚马逊Alexa人工智能）；Allen Institute for AI（艾伦人工智能研究所）
设计QA系统的一个重要任务是回答句子选择（AS2）：从一组检索到的相关文档中选择包含（或构成）问题答案的句子。在本文中，我们提出了三个新的文档级Transformer预训练目标，这些目标在文档内和跨文档包含段落级语义，以提高AS2的Transformers的性能，并减轻对大型标记数据集的需求。具体来说，该模型的任务是预测：（i）是否从同一段落中提取了两个句子，（ii）是否从给定段落中提取了给定句子，以及（iii）是否从同一文档中提取了两个段落。我们在三个公共和一个工业AS2数据集上的实验证明了我们的预训练Transformers相对于基线模型（如AS2的RoberTa和ELECTRA）的经验优势。
2022-10-20 cs.CL
Paragraph-level Citation Recommendation based on Topic Sentences as Queries
University of Zagreb, Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）；Text Analysis and Knowledge Engineering Lab（文本分析与知识工程实验室）
提出段落级引文推荐任务作为全局和局部CR的折中方案，以主题句为输入，使用四元组损失微调模型并在ACL数据集上取得优于基线的性能。
2023-05-20 cs.CL cs.IR
CoheSentia: A Novel Benchmark of Incremental versus Holistic Assessment of Coherence in Generated Texts
Bar Ilan University（巴伊兰大学）
本文提出CoheSentia基准，通过全局和增量两种标注方法评估生成文本连贯性，发现增量模式标注一致性更高，且现有微调模型在连贯性检测上表现不佳，凸显改进需求。
2023-10-25 cs.AI cs.CL cs.DB
Neural sentence embedding models for semantic similarity estimation in the biomedical domain
Medical University of Vienna（维也纳医科大学）
背景技术背景：在这项研究中，我们调查了目前最先进的神经句子嵌入模型的有效性，从生物医学文献的句子的语义相似性估计。我们在PubMed开放获取数据集中的170万篇文章上训练了不同的神经嵌入模型，并基于生物医学基准集对它们进行了评估，该基准集包含由人类专家注释的100个句子对和来自原始基准集的较小矛盾子集。研究结果：Pearson相关系数为0.819，我们基于Paragraph Vector Distributed Memory算法的最佳无监督模型的性能优于BIOSSES生物医学基准集上先前获得的最新结果。此外，我们提出的监督模型，结合不同的字符串为基础的相似性度量与神经嵌入模型超越了以前的本体依赖的监督国家的最先进的方法在皮尔逊的r（r=0.871）的生物医学基准集。与原始基准测试的有希望的结果相反，我们发现我们最好的模型在较小的矛盾子集上的性能很差。结论：在这项研究中，我们强调了基于神经网络的模型在生物医学领域的语义相似性估计的价值，表明它们可以跟上，甚至超过以前的最先进的方法，语义相似性估计依赖于在生物医学基准集上进行评估时，精心策划的本体的可用性。然而，捕捉生物医学句子中的矛盾和否定成为进一步工作的一个重要领域。
2021-10-01 cs.CL
Implementing Long Text Style Transfer with LLMs through Dual-Layered Sentence and Paragraph Structure Extraction and Mapping
School of Computer Science, Peking University（北京大学计算机学院）
本文提出 ZeroStylus 分层框架，通过句子与段落模板提取及多粒度匹配，在零样本、不微调条件下提升长文本风格迁移的连贯性与内容保留。
2025-05-11 cs.AI cs.CL
Roof-Transformer: Divided and Joined Understanding with Knowledge Enhancement
Academia Sinica（中央研究院）
最近的工作增强BERT为基础的语言表示模型与知识图谱（KG）和知识库（KBs）在多个NLP任务取得了可喜的成果。最先进的方法通常将原始输入句子与KG三元组集成，并将组合表示馈送到BERT模型中。然而，由于BERT模型的序列长度是有限的，这样的框架支持除了原始输入句子之外的很少的知识，并且因此被迫丢弃一些知识。这个问题对于输入是长段落甚至是文档的下游任务（例如QA或阅读理解任务）尤其严重。我们用Roof-Transformer解决这个问题，这是一个有两个底层BERT和一个融合层的模型。一个底层BERT对知识资源进行编码，另一个底层BERT对原始输入语句进行编码，融合层将两种编码结果进行融合。QA任务和GLUE基准测试的实验结果证明了该模型的有效性。
2022-10-20 cs.CL
SummAE: Zero-Shot Abstractive Text Summarization using Length-Agnostic Auto-Encoders
Google Brain（谷歌大脑）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们提出了一个端到端的神经模型，用于段落的zero-shot抽象文本摘要，并介绍了一个基准任务，ROCSumm，基于ROCStories，我们收集人类摘要的子集。在这项任务中，五句话的故事（段落）用一句话概括，仅使用人类总结进行评估。我们展示了提取和人类基线的结果，以证明性能上存在很大的抽象差距。我们的模型SummAE由一个去噪自动编码器组成，它将句子和段落嵌入到一个公共空间中，从中可以解码。通过从段落表示解码句子来生成段落的摘要。我们发现，传统的序列到序列自动编码器无法产生良好的摘要，并描述特定的架构选择和预训练技术如何显着提高性能，优于提取基线。数据、训练、评估代码和最佳模型权重都是开源的。
2019-10-02 cs.CL cs.LG cs.NE
STaCK: Sentence Ordering with Temporal Commonsense Knowledge
University of Michigan（密歇根大学）；Singapore University of Technology and Design（新加坡科技设计大学）
句子顺序预测是在随机排序的文档中找到句子的正确顺序的任务。正确排列句子需要理解与文本中描述的事件的时间顺序相关的连贯性。围绕这些事件的文档级上下文理解和常识知识通常是揭示这种连贯性和预测确切时间顺序的关键。在本文中，我们介绍STaCK -一个框架的基础上图神经网络和时间常识知识的模型全局信息和预测相对顺序的句子。我们的图形网络使用“过去”和“未来”的知识积累时间证据，并将句子排序作为一个约束边缘分类问题。我们报告了五个不同数据集的结果，并根据经验表明，所提出的方法自然适合于订单预测。这项工作的实施情况可在https://github.com/declare-lab/sentence-ordering上公开查阅。
2021-09-06 cs.AI cs.CL
PhysNLU: A Language Resource for Evaluating Natural Language Understanding and Explanation Coherence in Physics
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）
本文构建PhysNLU数据集集合，从句子排序、位置、章节预测和话语连贯性等方面评估语言模型对物理解释的理解能力，并通过基线揭示现有模型的不足。
2023-06-02 cs.CL
Tweet to News Conversion: An Investigation into Unsupervised Controllable Text Generation
Department of Computer Science
随着最近深度学习模型（如编码器-解码器）的出现，文本生成器系统变得非常流行。在没有监督的情况下控制生成的输出的信息和风格是一项重要且具有挑战性的自然语言处理（NLP）任务。在本文中，我们定义的任务是从一组灾难域推文构建一个连贯的段落，没有任何并行数据。我们通过在管道中建立两个系统来解决这个问题。第一个系统专注于无监督的风格转换，并将个人推文转换为新闻句子。第二个系统将第一个系统的输出拼接在一起，形成一个连贯的新闻段落。我们还提出了一种新的训练机制，通过将句子分割成命题并训练第二个系统合并句子。我们创建了一个验证和测试集组成的推文集和他们的等效新闻段落进行实证评估。在完全无监督的环境中，我们的模型能够获得19.32的BLEU分数，同时成功地转换风格并连接推文以形成有意义的新闻段落。
2020-08-21 cs.CL cs.LG
Unifying Relational Sentence Generation and Retrieval for Medical Image Report Composition
Sun Yat-sen University（中山大学）
除了在传统的字幕任务中生成长且主题连贯的段落之外，医学图像报告撰写任务由于需要高度准确的医学术语诊断和包括印象和发现的多种异构形式的信息而提出了更多面向任务的挑战。当前的方法通常会生成最常见的句子，这是由于数据集对个体情况的偏见，而不管句子是否正确地捕捉到关键实体和关系。这些局限性严重影响了医学报告写作的适用性和概括能力，因为最关键的句子是相对罕见的异常疾病的描述。此外，在一份报告中出现的一些医学术语往往相互纠缠，共同出现，例如与特定疾病相关的症状。为了加强医学术语的语义一致性纳入最终报告，并鼓励句子生成罕见的异常描述，我们提出了一种新的框架，统一的模板检索和句子生成处理常见和罕见的异常，同时确保检测到的医学术语之间的语义一致性。具体而言，我们的方法利用混合知识协同推理：i）所有异常医学术语之间的显式关系，以诱导视觉注意学习和主题表征编码，以更好地面向主题的症状描述; ii）自适应生成模式，根据上下文主题编码器在模板检索和句子生成之间变化。两个医疗报告基准的实验结果表明，该框架的优越性，在人力和指标评价。
2021-01-09 cs.CL cs.CV
A Hierarchical Neural Autoencoder for Paragraphs and Documents
Stanford University（斯坦福大学）
自然语言生成连贯的长文本，如段落或更长的文档，是递归网络模型的一个具有挑战性的问题。在本文中，我们探索了这个生成任务的重要一步：训练LSTM（长短期记忆）自动编码器来保存和重建多句段落。我们引入了一个LSTM模型，该模型从句子和单词的嵌入中分层构建段落的嵌入，然后解码该嵌入以重建原始段落。我们使用ROUGE和Entity Grid等标准度量来评估重建的段落，表明神经模型能够以保持句法，语义和话语连贯性的方式编码文本。虽然这只是从神经模型生成连贯文本单元的第一步，但我们的工作有可能显著影响自然语言生成和摘要\footnote {本文中描述的三个模型的代码可以在www.stanford.edu/~jiweil/上找到。
2015-06-06 cs.CL
Plan ahead: Self-Supervised Text Planning for Paragraph Completion Task
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
尽管上下文化语言模型最近在各种NLP任务上取得了成功，但语言模型本身无法捕获长的多句子文档的文本连贯性（例如，a段）。人类在说话之前，经常会做出关于说什么和如何说的结构性决定。用这种高层决策指导表面实现并以连贯的方式构造文本，本质上称为规划过程。模型在哪里可以学习这种高层次的一致性？文章提出了一个新的段落补全任务PARCOM，即预测段落中的隐藏句。然而，任务遭受预测和选择适当的主题内容相对于给定的上下文。为了解决这个问题，我们提出了一个自我监督的文本规划器SSPlanner，它首先预测要说什么（内容预测），然后使用预测的内容指导预训练的语言模型（表面实现）。SSPlanner在自动和人工评估中的段落完成任务上优于基线生成模型。我们还发现，名词和动词类型的关键字的组合是最有效的内容选择。随着提供更多数量的内容关键字，总体生成质量也提高。
2020-10-11 cs.CL
Linguistic Versus Latent Relations for Modeling Coherent Flow in Paragraphs
Carnegie Mellon University（卡内基梅隆大学）
生成诸如段落的长的连贯文本需要对句子之间的不同级别的关系（例如，时态，共指）。我们把句子之间的这种逻辑联系称为（段落）流。为了产生连贯的文本流，我们探讨了段落中两种形式的插入关系：一种是人类创造的语言关系，形成一种结构（例如，话语树）和另一个是来自从句子本身学习的潜在表征的关系。我们提出的两种模型将每种形式的关系纳入文档级语言模型：前者是一个监督模型，共同学习语言模型以及话语关系预测，后者是一个无监督模型，由递归神经网络（RNN）分层条件的潜在信息。我们提出的模型与两种形式的关系优于基线部分条件段落生成任务。我们的代码和数据是公开的。
2019-08-30 cs.AI cs.CL
Distributed Representations of Sentences and Documents
Google Inc（谷歌公司）
许多机器学习算法需要将输入表示为固定长度的特征向量。当涉及到文本时，最常见的固定长度特征之一是词袋。尽管词袋特征很受欢迎，但它们有两个主要缺点：它们失去了单词的顺序，并且它们也忽略了单词的语义。例如，“强大”、“强大”和“巴黎”是同样遥远的。在本文中，我们提出了段落向量，这是一种无监督的算法，可以从可变长度的文本（如句子，段落和文档）中学习固定长度的特征表示。我们的算法表示每个文件的密集向量，这是训练来预测文档中的单词。它的构造使我们的算法有可能克服词袋模型的弱点。实验结果表明，段落向量优于词袋模型以及其他技术的文本表示。最后，我们在几个文本分类和情感分析任务上取得了新的最先进的结果。
2014-05-22 cs.AI cs.CL cs.LG
Deep Attentive Ranking Networks for Learning to Order Sentences
IIT Kanpur（印度理工学院坎普尔分校）
我们提出了一个基于注意力的排名框架，用于学习给定段落的句子排序。我们的框架是建立在一个双向的句子编码器和一个基于自注意力的Transformer网络，以获得一个输入顺序不变的段落表示。此外，它允许使用各种基于排名的损失函数（例如逐点、成对和列表排名）进行无缝训练。我们将我们的框架应用于两个任务：句子排序和顺序歧视。我们的框架在各种评估指标上优于这些任务的各种最先进的方法。我们还表明，它实现了更好的结果时，使用成对和列表排序损失，而不是逐点排序损失，这表明，将相对位置的两个或两个以上的句子中的损失函数有助于更好的学习。
2019-12-31 cs.CL cs.LG stat.ML
A Hierarchical Approach for Generating Descriptive Image Paragraphs
Stanford University（斯坦福大学）
图像描述的最新进展使得可以生成以自然语言描述图像的新颖句子，但是将图像压缩成单个句子只能以粗略的细节描述视觉内容。虽然一种新的字幕方法，密集字幕，可以通过在图像中的许多区域添加字幕来潜在地以更精细的细节水平描述图像，但它反过来无法为图像产生连贯的故事。在本文中，我们通过生成描述图像的整个段落来克服这些限制，这些段落可以讲述详细，统一的故事。我们开发了一个模型，将图像和段落分解为它们的组成部分，检测图像中的语义区域，并使用分层递归神经网络来推理语言。语言分析证实了段落生成任务的复杂性，并在一个新的图像和段落对数据集上进行了彻底的实验，证明了我们的方法的有效性。
2017-04-10 cs.CL cs.CV
Detecting Machine-Translated Paragraphs by Matching Similar Words
KDDI Research Inc.（KDDI综合研究所）
机器翻译文本在现代生活中发挥着重要作用，它使使用不同语言的各种社区的交流更加顺畅。然而，不自然的翻译可能会导致误解，因此需要检测器来避免不幸的错误。虽然先前的方法使用N-gram语言模型测量连续单词的自然度，但另一种方法在句子中匹配不连续单词，但该方法忽略了单个句子中的这些单词。我们开发了一种匹配整个段落中相似单词并估计段落级别连贯性的方法，可以识别机器翻译的文本。对2000个英文人工生成段落和2000个英文机器翻译的德文段落的实验表明，基于连贯性的方法取得了较高的性能（准确率为87.0%，等出错率为13.0%）。它是有效地优于以前的方法（最好的准确率= 72.4%;等出错率= 29.7%）。在荷兰人和日本人身上进行的类似实验分别获得了89.2%和97.9%的准确率。结果表明，所提出的方法在不同的语言与不同的资源水平的持久性。
2019-04-24 cs.CL
TempCLR: Temporal Alignment Representation with Contrastive Learning
Columbia University（哥伦比亚大学）
视频表示学习在用于zero-shot传输的视频-文本预训练中已经取得了成功，其中每个句子都被训练成接近公共特征空间中的成对视频剪辑。对于长视频，给定一段描述，其中句子描述了视频的不同片段，通过匹配所有片段-剪辑对，段落和完整视频被隐式地对齐。然而，这种单元级的比较可能会忽略全局时间上下文，这不可避免地限制了泛化能力。在本文中，我们提出了一个对比学习框架Temptum来明确地比较完整的视频和段落。由于视频/段落被公式化为片段/句子的序列，在它们的时间顺序的约束下，我们使用动态时间扭曲来计算片段-片段对的最小累积成本作为序列级距离。为了探索时间动态，我们打破了时间序列的一致性洗牌视频剪辑w.r.t.时间粒度然后，我们得到的表示剪辑/句子，感知的时间信息，从而促进序列对齐。除了对视频和段落进行预训练外，我们的方法还可以概括视频实例之间的匹配。我们评估我们的方法对视频检索，动作步骤定位，和Few-Shot动作识别，并实现一致的性能增益在所有三个任务。提供详细的消融研究以证明入路设计的合理性。
2023-03-30 cs.CL cs.CV
Improving Implicit Discourse Relation Classification by Modeling Inter-dependencies of Discourse Units in a Paragraph
Texas A&M University（得克萨斯农工大学）
我们认为句子或小句的语义不能独立于段落的其他部分，或独立于所有的话语关系和整个段落层面的话语结构来解释。为了提高隐含语篇关系分类的准确性，我们引入了一个段落级的神经网络，该网络可以对语篇单元之间的相互依赖关系、语篇关系的连续性和模式进行建模，并预测一个段落中的语篇关系序列。实验结果表明，我们的模型优于以前的国家的最先进的系统上的基准语料的PDTB。
2018-04-16 cs.CL
NapSS: Paragraph-level Medical Text Simplification via Narrative Prompting and Sentence-matching Summarization
University of Warwick（华威大学）；King’s College London（伦敦国王学院）；Northeastern University（东北大学）；The Alan Turing Institute（艾伦·图灵研究所）
医学文献对外行来说很难，因为内容是为专家写的，包含医学术语。自动化文本简化方法提供了解决这个问题的潜在手段。在这项工作中，我们提出了一个总结，然后简化两个阶段的战略，我们称之为NapSS，确定相关的内容简化，同时确保原始的叙述流被保留。在这种方法中，我们首先通过原始摘要和简化摘要之间的句子匹配来生成参考摘要。然后，这些摘要被用于训练提取摘要器，学习最相关的内容以进行简化。然后，为了确保简化文本的叙述一致性，我们合成辅助叙述提示，结合从原文的句法分析得出的关键短语。我们的模型在英语医学语料库上取得了显著优于seq 2seq基线的结果，在词汇相似度方面产生了3%~4%的绝对改善，并且当与基线结合时，SARI分数进一步提高了1.1%。我们还强调现有的评估方法的缺点，并引入新的指标，考虑到词汇和高层次的语义相似性。对测试集的随机样本进行的人类评估进一步确立了所提出的方法的有效性。代码和模型在这里发布：https://github.com/LuJunru/NapSS。
2023-02-11 cs.CL
Improving Language Generation with Sentence Coherence Objective
Stanford University（斯坦福大学）
有条件故事生成和上下文文本延续已经成为NLP领域越来越热门的话题。现有的模型往往倾向于输出逐渐偏离给定提示的文本段落。虽然生成的文本可能具有一定的复杂性和多样性，但很容易被人类识别为乱码。我们项目的目标是提高语言生成模型中句子之间的连贯性和一致性。我们的目标是解决这个问题，首先用GPT-2预训练模型训练一个句子对连贯性分类器，然后使用类似于REINFORCE算法的方法，用这个新的连贯性目标共同训练GPT-2语言模型。这种经过微调的语言模型能够生成以给定主题为条件的冗长段落，而不会偏离太多。该模型的简单性允许其适用于各种底层语言模型架构，因为它只修改预训练模型的最后一层。
2020-09-07 cs.CL cs.LG stat.ML
ContextSpeech: Expressive and Efficient Text-to-Speech for Paragraph Reading
The Chinese University of Hong Kong（香港中文大学）；Microsoft（微软）
针对现有TTS系统在长文本朗读中忽略跨句上下文、计算成本高的问题，本研究提出ContextSpeech系统，通过内存缓存循环机制、层级文本语义和线性化自注意力，在保障效率的同时提升了段落朗读的语音质量与韵律表现力。
2023-10-07 cs.AI cs.CL eess.AS
SAMark: A Self-Anchored Text Watermarking with Paragraph-Level Paraphrase Robustness
University of Science and Technology of China（中国科学技术大学）
提出SAMark自锚水印框架，通过建立语义空间中与句子顺序无关的逐步独立绿色区域，结合多通道双曲评分机制和多样性感知过滤策略，在段落级释义攻击下实现高检测率并打破鲁棒性-质量权衡。
2026-07-17 cs.AI cs.CL cs.CR
Predicting Above-Sentence Discourse Structure using Distant Supervision from Topic Segmentation
University of British Columbia（不列颠哥伦比亚大学）
RST风格的语篇分析在许多NLP任务中起着至关重要的作用，揭示了潜在的复杂和多样的文档的潜在语义/语用结构。尽管它的重要性，在现代话语分析中最普遍的限制之一是缺乏大规模的数据集。为了克服数据稀疏性问题，最近提出了来自情感分析和摘要等任务的远程监督方法。在这里，我们通过利用主题分割的远程监督来扩展这条研究路线，这可以为高级话语结构提供强大的，通常是互补的信号。在两个人类注释的话语树库上的实验证实，我们的建议在句子和段落级别上生成准确的树结构，在句子到文档任务上始终优于以前的远程监督模型，并且偶尔在句子到段落级别上达到更高的分数。
2021-12-12 cs.AI cs.CL
Deconvolutional Paragraph Representation Learning
Duke University（杜克大学）
从长文本序列中学习潜在表示是许多自然语言处理应用中重要的第一步。递归神经网络（RNN）已经成为这一具有挑战性的任务的基石。然而，在基于RNN的解码（重建）过程中，句子的质量随着文本的长度而降低。我们提出了一个序列到序列，纯卷积和去卷积自动编码框架，它没有上述问题，同时也是计算效率高的。所提出的方法简单，易于实现，可以作为许多应用程序的构建块。我们的经验表明，与RNN相比，我们的框架在重建和纠正长段落方面更好。对半监督文本分类和摘要任务的定量评估表明了更好地利用长未标记文本数据的潜力。
2017-09-22 cs.CL cs.LG stat.ML
Text Generation with Diffusion Language Models: A Pre-training Approach with Continuous Paragraph Denoise
Xiamen University（厦门大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）；Tsinghua University（清华大学）；Fudan University（复旦大学）
在本文中，我们介绍了一种新的diff语言的语言模型预训练框架，文本生成，我们称之为GENIE。GENIE是一个大规模的预训练扩散语言模型，它由一个编码器和一个基于扩散的解码器组成，它可以通过将随机噪声序列逐渐转换为连贯的文本序列来生成文本。为了在大规模语言语料库上对GENIE进行预训练，我们设计了一个新的连续段落去噪目标，该目标鼓励扩散解码器从损坏的版本中重建干净的文本段落，同时保持语义和句法一致性。我们评估GENIE的四个下游文本生成基准，即XSum，CNN/DailyMail，Gigaword和CommonGen。我们的实验结果表明，GENIE在这些基准测试中实现了与最先进的自回归模型相当的性能，并生成了更多样化的文本样本。GENIE的代码和模型可在https://github.com/microsoft/ProphetNet/tree/master/GENIE上获得。
2023-02-17 cs.CL cs.LG
Paragraph Segmentation Revisited: Towards a Standard Task for Structuring Speech
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出TEDPara和YTSegPara基准，通过约束解码方法和紧凑模型MiniSeg，实现语音段落分割的标准化与实用化。
2026-04-09 cs.CL
Exploring Paracrawl for Document-level Neural Machine Translation
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Saarland University（萨尔大学）；Hasso-Plattner-Institut (HPI)（哈索·普拉特纳研究所）
本文针对文档级 NMT 缺乏大规模通用领域训练数据的问题，利用自动句子对齐从 Paracrawl 平行网页提取平行段落并训练模型，在 TED、News 和 Europarl 上取得优于句子级模型的效果。
2023-04-20 cs.CL
Concise and Sufficient Sub-Sentence Citations for Retrieval-Augmented Generation
针对RAG引用粒度过粗或信息不足的问题，本文构建子句级引用数据集，并提出用LLM生成微调数据、credit model过滤低质样本的归因框架，以生成简洁充分且更可读的引用。
2025-10-18 cs.CL
Analysing the Resourcefulness of the Paragraph for Precedence Retrieval
IIIT Hyderabad（海得拉巴国际信息技术学院）；NALSAR Hyderabad（海得拉巴国家高级法律研究大学）
本文分析了段落级信息在捕捉判决相似性以提升先例检索性能方面的有效性，发现段落级方法仅需少量交互即可优于基线文档级方法，并在两个基准数据集上达到与最先进方法相当的性能。
2023-07-29 cs.CL cs.IR
Adversarial Generation and Encoding of Nested Texts
Amobee Inc.（Amobee公司）
在本文中，我们提出了一个新的语言模型称为代理，它代表对抗生成和编码的嵌套文本。AGENT被设计用于编码、生成和细化由长而连贯的文本组成的文档，例如一整本书，只要它们是分层注释的（嵌套的）。即分为句子、段落和章节。我们的系统的核心思想是学习文本层次结构（句子，段落等）的每个级别的矢量表示，并训练每个这样的表示来执行3个任务：从用于创建表示的较低级别重建向量序列的任务，以及BERT Devlin等人[2018]的掩蔽语言建模（MLM）和“下一句预测”任务的广义版本。此外，我们提出了一个新的对抗模型的长文本生成，并提出了一种方法来提高生成的文本的一致性，通过遍历其向量表示树。
2019-06-01 cs.CL
A Paragraph-level Multi-task Learning Model for Scientific Fact-Verification
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Chan Zuckerburg Initiative（陈-扎克伯格倡议）；University of California Los Angeles（加州大学洛杉矶分校）
针对科学主张验证难题，本文提出面向 SciFact 的段落级多任务模型，利用 BERT 句子嵌入联合训练理由选择与立场预测，以辅助遏制错误信息传播。
2021-01-25 cs.CL
Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering
Carnegie Mellon University（卡内基梅隆大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学技术学院）；Unbabel
提出TREQA框架，通过评估候选翻译回答阅读理解问题的准确度来外在评估段落级翻译质量，在文学等长文本领域表现优于现有指标并提供可解释性。
2025-08-11 cs.CL cs.LG
Sentence Ordering and Coherence Modeling using Recurrent Neural Networks
University of Michigan（密歇根大学）；Yale University（耶鲁大学）
连贯文本的结构建模是自然语言处理的一个关键问题。连贯地组织一组给定句子的任务通常用于构建和评估理解这种结构的模型。我们提出了一种基于集合序列框架的端到端无监督深度学习方法来解决这个问题。我们的模型在顺序判别任务和排序科学文章摘要的新任务中的性能明显优于先前的方法。此外，我们的工作表明，有用的文本表示可以通过学习排序句子。可视化学习的句子表示表明，该模型捕捉段落中的高级逻辑结构。我们的表示在句子相似性和释义检测任务上执行最先进的预训练方法。
2017-12-22 cs.AI cs.CL cs.LG
Power in Numbers: Robust reading comprehension by finetuning with four adversarial sentences per example
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文针对阅读理解模型易受对抗性句子干扰的问题，使用 ELECTRA-Small 在加入一至五句对抗句的 SQuAD v1.1 上微调，发现四至五句可显著提升跨数据集鲁棒性。
2024-01-18 cs.CL
