Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence
Tsinghua University(清华大学);Institute for Artificial Intelligence(人工智能研究院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Netease Fuxi AI Lab(网易伏羲人工智能实验室);TAL Education Group(好未来教育集团)
生成长而连贯的文本是一项重要但具有挑战性的任务,特别是对于诸如故事生成之类的开放式语言生成任务。尽管在建模句内连贯性方面取得了成功,但现有的生成模型(例如,BART)仍然难以在整个生成的文本中保持连贯的事件序列。我们推测,这是因为解码器难以捕捉的高层次语义和话语结构的上下文中超越标记级同现。本文提出了一个长文本生成模型,该模型在解码过程中可以在句子级和语篇级表示前缀句。为此,我们提出了两个预训练目标,通过预测句间语义相似性和区分正常和混乱的句子顺序来学习表示。大量的实验表明,我们的模型可以生成更多的连贯文本比国家的最先进的基线。
2021-05-19 cs.CL
Neural Net Models for Open-Domain Discourse Coherence
Stanford University(斯坦福大学)
语篇连贯与语篇质量密切相关,对自然语言的生成和理解至关重要。然而,现有的连贯模型侧重于衡量连贯的各个方面(词汇重叠,修辞结构,实体中心)在狭窄的领域。在本文中,我们描述了独立于域的话语连贯性的神经模型,能够测量现有句子中的连贯性的多个方面,并可以保持连贯性,同时生成新的句子。我们研究了两种判别模型,学习区分连贯的不连贯的话语,和生成模型,产生连贯的文本,包括一种新的神经潜变量马尔可夫生成模型,捕捉文本中的句子之间的潜在话语依赖关系。我们的工作实现了国家的最先进的性能,多个连贯性的评价,并标志着第一步,在生成连贯的文本给定的话语背景。
2017-09-24 cs.CL
Not As Easy As It Seems: Automating the Construction of Lexical Chains Using Roget's Thesaurus
Morris和Hirst提出了一种连接关于同一主题的重要单词的方法。由此产生的词汇链是识别文本中的内聚区域的一种手段,在许多自然语言处理任务中具有应用,包括文本摘要。第一个词汇链是使用Roget的国际同义词词典手工构建的。莫里斯和赫斯特写道,如果有一个电子词库,自动化将是直截了当的。到目前为止,所有的应用程序都使用WordNet来产生词汇链,这可能是因为直到最近才有足够的Roget电子版本。我们讨论了使用Roget的叙词表的电子版本的词汇链的建设。我们实现了一个变种的原始算法,并解释了必要的设计决策。我们包括与其他实现的比较。
2012-04-01 cs.CL
Important Attribute Identification in Knowledge Graph
Alibaba Group(阿里巴巴集团)
知识图谱(KG)由实体及其描述、属性以及实体之间的关系组成,在各种自然语言处理任务中得到越来越多的应用。在像Wikidata这样的典型知识图谱中,实体通常有大量的属性,但很难知道哪些是重要的。在从信息检索到自然语言生成的各种应用中,属性的重要性可以是有价值的信息。在本文中,我们提出了一个通用的方法,使用外部用户生成的文本数据来评估一个实体的属性的相对重要性。更具体地说,我们使用词/子词嵌入技术将外部文本数据与实体的属性名称和值进行匹配,并根据其匹配的内聚性对属性进行排名。据我们所知,这是第一个基于向量的语义匹配的重要属性识别的工作,我们的方法优于以往的传统方法。我们还将检测到的重要属性的结果应用到语言生成任务中;与以前生成的文本相比,新方法生成了更多定制和信息丰富的消息。
2018-10-12 cs.CL
FairyTailor: A Multimodal Generative Framework for Storytelling
IBM Research(IBM研究院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
讲故事是一项开放式的任务,需要创造性思维,需要不断的想法。用于讲故事的自然语言生成(NLG)尤其具有挑战性,因为它要求生成的文本遵循整体主题,同时保持创造性和多样性以吸引读者。在这项工作中,我们介绍了一个系统和一个基于Web的演示,FairyTailor,人在循环的视觉故事共同创作。用户可以创建一个有凝聚力的儿童童话编织生成的文本和检索图像与他们的输入。FairyTailor增加了另一种模态,并修改了文本生成过程,以生成连贯和创造性的文本和图像序列。据我们所知,这是第一个动态的多模态故事生成工具,允许文本和图像的交互式共同形成。它允许用户对共同创建的故事提供反馈并分享他们的结果。
2021-07-13 cs.AI cs.CL cs.CV
Discourse Cohesion Evaluation for Document-Level Neural Machine Translation
Soochow University(苏州大学)
众所周知,由优秀的文档级神经机器翻译(NMT)模型生成的翻译是一致和连贯的。然而,现有的文档级评估指标,如BLEU,很难反映模型在文档级的性能。为了解决这个问题,我们提出了一种语篇衔接评价方法(DCoEM),并提供了一个新的测试套件,考虑四种衔接方式(参考,连接,替代和词汇衔接)来衡量文档翻译的衔接性。对最近的文档级NMT系统的评估结果表明,我们的方法在文档级翻译评估方面是实用且必要的。
2022-08-19 cs.CL
Don't Take This Out of Context! On the Need for Contextual Models and Evaluations for Stylistic Rewriting
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind);Allen Institute for AI(艾伦人工智能研究所)
本文研究将上下文整合到风格文本改写的生成与评估阶段,提出复合评估指标CtxSimFit及常见指标的上下文注入版本,发现上下文改写更受人类偏好且新指标与人类偏好的相关性显著优于现有句子级指标。
2023-10-23 cs.AI cs.CL
Tree-of-Text: A Tree-based Prompting Framework for Table-to-Text Generation in the Sports Domain
National Yang Ming Chiao Tung University
本文提出Tree-of-Text框架,通过三阶段生成过程提升表格到文本生成的精度与效率,在多个体育数据集上表现优异。
2026-04-29 cs.AI cs.CL cs.HC
Diffusion Language Models Generation Can Be Halted Early
Tinkoff(tinkoff(俄罗斯大型金融科技集团))
本文提出一种自适应停止扩散语言模型生成过程的方法,在保证生成质量不降低的前提下将生成时间减少10%-40%。
2024-02-12 cs.CL cs.LG
Generating Interactive Worlds with Text
Facebook AI Research(脸书人工智能研究院);LORIA(洛林计算机科学及其应用实验室);University College London(伦敦大学学院)
从程序上生成有凝聚力和有趣的游戏环境是具有挑战性和耗时的。为了使游戏元素之间的关系是自然的,常识必须编码到元素的安排。在这项工作中,我们研究了一种机器学习方法,用于使用多玩家文本冒险游戏环境LIGHT中的内容创建世界。我们引入了基于神经网络的模型,将位置、角色和对象组成一个连贯的整体。除了基于现有元素创建世界外,我们的模型还可以生成新的游戏内容。人类还可以利用我们的模型来交互式地帮助构建世界。我们表明,与其他基于机器学习的世界构建算法相比,我们的方法创建的游戏环境是有凝聚力的,多样的,并首选人类评估。
2019-12-04 cs.AI cs.CL cs.LG
Text Segmentation Based on Similarity between Words
本文提出了一种新的文本结构指标,称为词汇衔接轮廓(LCP),它定位段边界的文本。语篇片段是一个连贯的场景,片段中的词通过词汇衔接关系连接在一起。LCP记录文本序列中单词的相互相似性。利用语义网络计算词的相似度,表示词的内聚性。通过与多个被试的文本段的比较表明,LCP与人类的判断密切相关。LCP可以为解决回指和省略提供有价值的信息。
1996-01-23 cmp-lg cs.CL
Controlled Text Reduction
Bar-Ilan University(巴伊兰大学)
生成源文本的精简版本,例如通用或重点摘要,本质上涉及两个不同的子任务:决定目标内容并生成传达该内容的连贯文本。虽然一些流行的方法将摘要作为单个端到端任务来处理,但著名的作品支持对各个子任务进行分解建模。此外,半自动文本缩减也非常有吸引力,其中用户可以识别目标内容,而模型将生成相应的连贯摘要。在本文中,我们专注于第二子任务,生成连贯的文本给定的预选内容。具体地说,我们将\textit{Controlled Text Reduction}形式化为一个独立的任务,其输入是一个带有目标内容标记跨度(“突出显示”)的源文本。然后,模型需要生成一个连贯的文本,其中包括所有且仅包括目标信息。我们提倡这种模型的潜力,无论是模块化的全自动摘要,以及半自动人在回路用例。为了促进适当的研究,我们为任务众包高质量的开发和测试数据集。此外,我们利用预训练的摘要-源对齐模型,从可用的摘要基准自动生成更大的“银色”训练数据集。最后,利用这些数据集,我们提出了一个监督基线模型,显示出有希望的结果和有见地的分析。
2022-10-24 cs.CL
A Systematic Survey of Text Summarization: From Statistical Methods to Large Language Models
University of Hawaii, Manoa(夏威夷大学马诺阿分校);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of California, Davis(加州大学戴维斯分校)
本文系统综述文本摘要从统计方法、深度学习、PLM 微调到 LLM 时代的演进,梳理数据集、指标、方法、基准与评估,并指出开放挑战和未来方向。
2024-06-17 cs.CL
Zipf's law is a consequence of coherent language production
University of California, Berkeley(加州大学伯克利分校);The University of Vermont(佛蒙特大学)
文本分割的任务可以在文本分析的许多层次上进行--段落,句子,单词,甚至是字母。在这里,我们专注于一个相对精细的规模分割,假设它是符合随机模型的语言生成,作为最小的规模,独立的意义单位产生。我们在这封信中的目标包括开发用于分割这些最小独立单元的方法,这些最小独立单元产生与术语袋模型的独立性假设相一致的文本的特征表示,该模型通常用于计算文本分析中的预测和分类。我们还提出了测量文本的关联(相对于实现分割)的语言生成的模型。我们发现(1)我们的短语分割比单词更好地与生成模型相关联,(2)适合的文本通常是主题同质的。由于我们的生成模型产生了齐普夫定律,我们的研究进一步表明齐普夫定律可能是语言产生中同质性的结果。
2016-08-05 cs.CL
From Intentions to Techniques: A Comprehensive Taxonomy and Challenges in Text Watermarking for Large Language Models
Birla Institute of Technology and Science, Pilani(比拉理工学院和科学学院,比里尼)
本文通过综合综述构建了LLM文本水印技术的分类体系,从设计意图、评估数据集及水印增删方法等角度系统分析现有研究,并指出开放挑战以推动文本作者身份保护研究。
2025-07-05 cs.AI cs.CL
Stylized Dialogue Response Generation Using Stylized Unpaired Texts
Tsinghua University(清华大学);Samsung Research China - Beijing (SRC-B)(三星中国研究院北京分部);NetEase Inc.(网易公司)
生成程式化的响应对于构建智能和引人入胜的对话系统至关重要。然而,这项任务是远远没有得到很好的探讨,由于在连贯的响应呈现特定的风格的困难,特别是当目标风格是嵌入在不成对的文本,不能直接用于训练的对话模型。本文提出了一种风格化的对话生成方法,可以捕获嵌入在不成对的文本中的风格特征。具体来说,我们的方法可以产生的对话反应,既连贯给定的上下文和符合目标风格。在这项研究中,首先引入一个反向对话模型来预测输入响应的可能帖子,然后使用该反向模型来基于这些风格化的未配对文本生成风格化的伪对话对。此外,这些伪对被用来训练风格化的对话模型与联合训练过程,并提出了一种风格路由的方法,以加强风格特征的解码器。对两个数据集的自动和手动评估表明,我们的方法在产生连贯和风格密集的对话响应方面优于竞争基线。
2020-12-16 cs.CL
Generating Coherent Narratives by Learning Dynamic and Discrete Entity States with a Contrastive Framework
Tsinghua University(清华大学);Guangdong OPPO Mobile Telecommunications Corp., Ltd.(广东OPPO移动通信有限公司);NetEase Inc.(网易公司)
尽管在生成流畅文本方面取得了进展,但现有的预训练模型在生成故事和新闻等叙事时往往会将不连贯的事件序列附加到相关实体上。我们推测,这些问题是由于将实体表示为表面单词的静态嵌入,而忽略了对其不断变化的状态进行建模,即,它们所携带的信息,随着文本的展开。因此,我们扩展了Transformer模型,以动态地进行实体状态更新和句子实现的叙事生成。我们提出了一个对比框架来学习离散空间中的状态表示,并在解码器中插入额外的注意层以更好地利用这些状态。在两个叙事数据集上的实验表明,在有意义的实体状态的指导下,我们的模型可以生成比强基线更连贯和多样化的叙事。
2022-11-23 cs.CL
Modeling Coherence for Neural Machine Translation with Dynamic and Topic Caches
Soochow University(苏州大学);Alibaba Group(阿里巴巴集团)
在一个格式良好的语篇中,句子之间通过各种链接相互连接,形成语篇的衔接结构。当前的神经机器翻译(NMT)系统以传统的逐句翻译方式翻译文本,忽略了这种跨句链接和依赖关系。这可能导致为连贯的源文本生成不连贯的目标文本。为了处理这个问题,我们提出了一种基于缓存的方法,通过从最近翻译的句子或整个文档中捕获上下文信息来对神经机器翻译的连贯性进行建模。特别是,我们探讨了两种类型的缓存:一个动态缓存,它存储从前面的句子的最佳翻译假设的话,和一个主题缓存,它保持了一组目标端的主题词,语义相关的文件被翻译。在此基础上,我们建立了一个新的层,在这两个缓存与基于缓存的神经模型的目标词评分。在这里,来自基于缓存的神经模型的估计概率与NMT概率通过门控机制组合成最终单词预测概率。最后,提出的基于缓存的神经模型与NMT系统以端到端的方式联合训练。本文提出的实验和分析表明,所提出的基于缓存的模型实现了实质性的改进,在几个国家的最先进的SMT和NMT基线。
2018-06-14 cs.CL
Semantic Decomposition and Selective Context Filtering -- Text Processing Techniques for Context-Aware NLP-Based Systems
Cebu Institute of Technology(宿务理工学院)
本文提出语义分解与选择性上下文过滤两项文本处理技术,以结构化提示和剔除无关上下文,增强基于 NLP 的上下文感知系统的接口、回复连贯性及工作流优化能力。
2025-02-19 cs.AI cs.CL cs.HC
Text-Conditioned Sampling Framework for Text-to-Image Generation with Masked Generative Models
KAIST(韩国科学技术院);Yonsei University(延世大学);NAVER AI Lab(NAVER人工智能实验室)
针对基于token的掩码生成模型并行采样未考虑token依赖的问题,提出文本条件采样框架TCTS及频率自适应采样策略FAS,显著提升了图像质量与图文对齐度,并将推理时间减少50%以上。
2023-04-04 cs.CL cs.CV cs.LG
Beyond the Textual: Generating Coherent Visual Options for MCQs
Beijing Normal University(北京师范大学);Beijing University of Posts and Telecommunications(北京邮电大学)
提出跨模态选项合成框架CmOS,结合多模态思维链与检索增强生成,生成带视觉选项的连贯多项选择题,实验证明其在内容判别、问题生成和视觉选项生成上优于现有方法。
2025-08-26 cs.CL cs.CV
BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation
Amazon Alexa AI-NU(亚马逊Alexa人工智能-西北大学合作团队);UC Santa Barbara(加州大学圣巴巴拉分校);UCLA(加州大学洛杉矶分校)
深度学习技术的最新进展使机器能够在提示一系列单词作为上下文时生成有凝聚力的开放式文本。虽然这些模型现在为许多下游应用程序提供了支持,从对话机器人到自动讲故事,但它们已被证明可以生成表现出社会偏见的文本。为了系统地研究开放式语言生成中的社会偏见并对其进行基准测试,我们引入了开放式语言生成数据集(BOLD)中的偏见,这是一个大型数据集,由23,679个英语文本生成提示组成,用于在五个领域进行偏见基准测试:职业,性别,种族,宗教和政治意识形态。我们还提出了毒性,心理语言学规范和文本性别极性的新的自动化指标,从多个角度衡量开放式文本生成中的社会偏见。对三种流行的语言模型生成的文本的检查表明,这些模型中的大多数在所有领域都表现出比人类编写的维基百科文本更大的社会偏见。通过这些结果,我们强调了对开放式语言生成中的偏见进行基准测试的必要性,并警告下游任务中的语言生成模型的用户要认识到这些嵌入式偏见。
2021-01-27 cs.AI cs.CL cs.LG
Linguistic Versus Latent Relations for Modeling Coherent Flow in Paragraphs
Carnegie Mellon University(卡内基梅隆大学)
生成诸如段落的长的连贯文本需要对句子之间的不同级别的关系(例如,时态,共指)。我们把句子之间的这种逻辑联系称为(段落)流。为了产生连贯的文本流,我们探讨了段落中两种形式的插入关系:一种是人类创造的语言关系,形成一种结构(例如,话语树)和另一个是来自从句子本身学习的潜在表征的关系。我们提出的两种模型将每种形式的关系纳入文档级语言模型:前者是一个监督模型,共同学习语言模型以及话语关系预测,后者是一个无监督模型,由递归神经网络(RNN)分层条件的潜在信息。我们提出的模型与两种形式的关系优于基线部分条件段落生成任务。我们的代码和数据是公开的。
2019-08-30 cs.AI cs.CL
BBScore: A Brownian Bridge Based Metric for Assessing Text Coherence
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
本文提出基于布朗桥理论的无参考文本连贯性指标BBScore,可同时衡量局部与全局连贯性,无需端到端训练,并在区分人类与LLM生成文本及识别不同LLM写作风格等下游任务中表现有效。
2025-03-11 cs.AI cs.CL
Why Do Speech Language Models Fail to Generate Semantically Coherent Outputs? A Modality Evolving Perspective
本文从模态演化的角度分析语音语言模型生成语义不连贯的原因,发现语音信息的复杂性和长度对模型性能有显著影响,提出改进端到端SLMs的路径。
2026-01-27 cs.CL cs.SD eess.AS