Data-to-text Generation with Variational Sequential Planning
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
我们认为，数据到文本生成，其目的是从非语言输入创建文本输出的任务。我们专注于生成长格式文本，即，文档与多个段落，并提出了一个神经模型增强与规划组件负责组织高层次的信息在一个连贯的和有意义的方式。我们推断潜在的计划顺序与结构化的变分模型，而交错的规划和生成的步骤。文本是通过对先前的变分决策和先前生成的文本进行调节而生成的。在两个数据到文本基准测试（RotoWire和MLB）上的实验表明，我们的模型优于强基线，并且在有限的训练数据（例如，几百例）。
2022-02-28 cs.CL
Improving Question Generation with Multi-level Content Planning
Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）
本文提出基于多级内容规划的 QG 框架 MultiFactor，通过 FA-model 生成完整答案连接关键短语，并由 Q-model 生成问题，在两个数据集上优于基线。
2023-10-23 cs.CL
Data-to-text Generation with Macro Planning
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
最近的数据到文本生成方法已经采用了非常成功的编码器-解码器架构或其变体。这些模型生成的文本是流畅的（但通常不精确），在选择适当的内容和连贯地排序方面表现得很差。为了克服其中的一些问题，我们提出了一个神经模型与宏观规划阶段，其次是一个生成阶段，让人想起传统的方法，包括单独的模块规划和表面实现。宏观计划代表重要内容的高级组织，如实体，事件及其交互;它们从数据中学习并作为生成器的输入。在两个数据到文本基准测试（RotoWire和MLB）上的大量实验表明，我们的方法在自动和人工评估方面优于竞争基准。
2021-02-04 cs.CL
Planning with Learned Entity Prompts for Abstractive Summarization
Google Research（谷歌研究院）；Google Brain（谷歌大脑）；ASAPP
我们引入了一个简单但灵活的机制来学习一个中间计划，以生成抽象摘要。具体地说，我们在目标摘要前添加（或提示）实体链--摘要中提到的实体的有序序列。然后训练基于转换器的序列到序列模型以生成实体链，然后继续生成以实体链和输入为条件的摘要。我们对这个内容规划目标进行了预训练和微调。当在CNN/DailyMail、XSum、SAMSum和BillSum上进行评估时，我们根据经验证明，具有规划目标的接地生成提高了所有数据集的实体特异性和摘要中的规划，并在Rouge方面实现了XSum和SAMSum的最新性能。此外，我们实证表明，规划与实体链提供了一种机制，以控制幻觉的抽象摘要。通过用修改后的内容计划提示解码器，删除幻觉实体，我们在自动评估和人类评估时的忠实性优于最先进的方法。
2021-09-05 cs.CL
Hierarchical Text Generation and Planning for Strategic Dialogue
Facebook AI Research（Facebook人工智能研究院）
面向目标的对话的端到端模型对训练具有挑战性，因为语言和策略方面纠缠在潜在的状态向量中。我们介绍了一种方法来学习表示的对话中的消息，通过最大限度地提高后续的句子和动作，这是从它的语言实现的对话话语的语义。然后，我们使用这些潜在的句子表示分层语言生成，规划和强化学习。实验表明，我们的方法增加了模型实现的最终任务奖励，提高了使用推出的长期规划的有效性，并允许自我发挥强化学习，以改善决策，而不偏离人类语言。我们的分层潜变量模型在语言和战略上都优于以前的工作。
2018-06-04 cs.CL
Stepwise Extractive Summarization and Planning with Structured Transformers
Google Research（谷歌研究院）
我们提出了以编码器为中心的逐步模型提取摘要使用结构化的变压器- HiBERT和扩展Transformers。我们通过将先前生成的摘要作为辅助子结构注入到结构化的Transformer中来实现逐步摘要。我们的模型不仅可以有效地对长输入的结构进行建模，而且它们也不依赖于特定于任务的冗余感知建模，使它们成为不同任务的通用提取内容规划器。当在CNN/DailyMail提取摘要上进行评估时，逐步模型在Rouge方面实现了最先进的性能，而无需任何冗余感知建模或句子过滤。这也适用于Rotowire表格到文本生成，我们的模型超过了之前报道的内容选择，规划和订购指标，突出了逐步建模的优势。在我们测试的两个结构化转换器中，逐步扩展的Transformers在两个数据集上提供了最佳性能，并为这些挑战设定了新的标准。
2020-10-06 cs.CL
Knowledge-based Review Generation by Coherence Enhanced Text Planning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）；Huawei Cloud（华为云）
作为一项自然语言生成任务，生成信息丰富、连贯的评论文本是一项具有挑战性的任务。为了增强所生成的文本的信息性，现有的解决方案通常学习从知识图谱（KG）复制实体或三元组。但是，他们在选择和安排知识时缺乏整体考虑，容易造成语篇的不连贯。为了解决上述问题，我们专注于提高实体为中心的一致性，通过利用知识库的语义结构生成的评论。本文提出了一种基于知识图谱（KGs）的一致性增强文本规划模型（CETP），以提高评论生成的全局和局部一致性。所提出的模型学习一个两级的文本计划来生成文档：（1）文档计划被建模为一个顺序的句子计划序列，（2）句子计划被建模为KG中基于实体的子图。KG子图通过实体之间的句内关联自然地增强了局部连贯性。对于全局一致性，我们设计了一个分层的自关注架构，子图和节点级的注意力，以增强子图之间的相关性。据我们所知，我们是第一个利用基于KG的文本规划模型来增强文本连贯性的审查生成。在三个数据集上进行的大量实验证实了我们的模型在提高生成文本的内容一致性方面的有效性。
2021-05-09 cs.CL
Plan-then-Generate: Controlled Data-to-Text Generation via Planning
University of Cambridge（剑桥大学）；Apple（苹果公司）
神经网络的最新发展导致了数据到文本生成的进步。然而，神经模型缺乏控制生成的输出结构的能力，这在某些现实世界的应用中可能是有限的。在这项研究中，我们提出了一种新的计划然后生成（PlanGen）框架，以提高神经数据到文本模型的可控性。在两个基准数据集ToTTo和WebNLG上进行了大量的实验和分析。结果表明，我们的模型能够控制生成的输出的句内和句间结构。此外，与以前的国家的最先进的方法的实证比较表明，我们的模型提高了生成质量以及输出多样性判断的人类和自动评估。
2021-08-31 cs.CL
Event Transition Planning for Open-ended Text Generation
The University of Hong Kong（香港大学）；Tencent AI Lab（腾讯人工智能实验室）；Shandong University（山东大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
开放式文本生成任务，如对话生成和故事完成，需要模型在有限的先前上下文下生成连贯的延续。这些任务的开放性给当今的神经自回归文本生成器带来了新的挑战。尽管这些神经模型擅长产生类似人类的文本，但它们很难安排给定事实和可能的后续事件之间的因果关系和关系。为了弥合这一差距，我们提出了一种新的两阶段的方法，明确安排随后的事件在开放式文本生成。我们的方法可以被理解为一个专门训练的粗到细的算法，其中一个事件过渡规划器提供了一个“粗糙”的情节骨架和文本生成器在第二阶段细化骨架。在两个开放式文本生成任务上的实验表明，该方法有效地提高了生成文本的质量，特别是在一致性和多样性方面。代码可在以下网址获得：\url{https://github.com/qtli/EventPlanforTextGen}。
2022-04-20 cs.CL
Select and Attend: Towards Controllable Content Selection in Text Generation
Saarland University（萨尔兰大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Tohoku University（东北大学）；RIKEN AIP（理化学研究所AIP）；Tencent Inc（腾讯公司）
许多文本生成任务自然包含两个步骤：内容选择和表面实现。目前的神经编码器-解码器模型将这两个步骤合并到一个黑盒架构中。因此，文本中要描述的内容无法明确控制。本文通过将内容选择与解码器解耦来解决这个问题。解耦的内容选择是人类可解释的，其值可以手动操作以控制生成的文本的内容。该模型可以通过最大化边际似然的下限来进行端到端的训练，而无需人工注释。我们进一步提出了一种有效的方法来权衡性能和可控性与一个单一的可调超参数。在数据到文本和标题生成任务中，我们的模型都取得了令人满意的结果，为文本生成中的可控内容选择铺平了道路。
2019-09-10 cs.CL
Long and Diverse Text Generation with Planning-based Hierarchical Variational Model
Institute for Artificial Intelligence（人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Baozun（宝尊）
现有的用于数据到文本生成的神经方法仍然难以生成长而多样的文本：它们不足以在生成过程中动态地建模输入数据，捕获句子间的连贯性，或生成多样化的表达。为了解决这些问题，我们提出了一个基于规划的层次变分模型（PHVM）。我们的模型首先计划一系列的组（每组是一个子集的输入项目被覆盖的句子），然后实现每个句子的规划结果和先前生成的上下文条件，从而分解成依赖句子生成子任务的长文本生成。为了捕捉表达的多样性，我们设计了一个分层的潜在结构，其中一个全球规划的潜在变量模型的多样性合理的规划和一系列的本地潜在变量控制句子的实现。实验表明，我们的模型优于国家的最先进的基线在长和多样化的文本生成。
2019-08-25 cs.CL cs.LG
Towards Content Transfer through Grounded Text Generation
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
最近的神经生成研究在控制文本的形式方面引起了极大的兴趣，如风格，人物角色和礼貌。然而，在控制内容的神经文本生成方面的工作较少。本文介绍了内容传输的概念，长格式的文本生成，其中的任务是生成一个文档中的下一个句子，既适合其上下文，并在一个内容丰富的外部文本源，如新闻故事接地。我们对维基百科数据的实验显示，与竞争基线相比，我们的数据有了显著的改善。作为本文的另一个贡献，我们发布了一个640k维基百科引用句子的基准数据集，与源文章配对，以鼓励探索这个新任务。
2019-05-13 cs.CL
Content Selection in Data-to-Text Systems: A Survey
Edinburgh Napier University（爱丁堡纳皮尔大学）
数据到文本系统在从数据自动生成报告方面非常强大，因此它们简化了复杂数据的表示。数据到文本系统不是使用可视化技术来呈现数据，而是使用自然（人类）语言，这是人与人之间交流的最常见方式。此外，数据到文本系统可以使其输出内容适应用户的偏好、背景或兴趣，因此用户可以愉快地与之交互。内容选择是每个数据到文本系统的重要组成部分，因为它是确定哪些可用信息应该传达给用户的模块。本文首先介绍了数据到文本生成领域，描述了一般的数据到文本系统的体系结构，然后回顾了最先进的内容选择方法。最后，它提供了选择方法的建议，并讨论了未来研究的机会。
2016-10-26 cs.CL
Step-by-Step: Separating Planning from Realization in Neural Data-to-Text Generation
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
数据到文本的生成在概念上可以分为两个部分：信息的排序和结构化（规划），以及生成描述信息的流畅语言（实现）。现代神经生成系统将这两个步骤合并为一个端到端的可微分系统。我们建议将生成过程分为一个忠实于输入的符号文本规划阶段，然后是一个只关注实现的神经生成阶段。为了训练计划到文本生成器，我们提出了一种将参考文本与其相应的文本计划进行匹配的方法。对于推理时间，我们描述了一种为新输入选择高质量文本计划的方法。我们在WebNLG基准上实施和评估我们的方法。我们的研究结果表明，从神经实现解耦文本规划确实提高了系统的可靠性和充分性，同时保持流畅的输出。我们观察到BLEU评分和手动评估都有所改善。我们的方法的另一个好处是能够输出相同输入的不同实现，为显式控制生成的文本结构铺平了道路。
2019-05-01 cs.AI cs.CL
LoopWeaver: Weaving Feedback Loops into Hierarchical Generation under Constraints
HiFlow通过分层反馈驱动优化框架，解决长文本生成中受约束的优化问题，提升生成质量与约束满足能力。
2026-11-10 cs.CL
Order-Planning Neural Text Generation From Structured Data
University of Waterloo（滑铁卢大学）
从结构化数据生成文本（例如，表）对于诸如问答和对话系统的各种自然语言处理任务是重要的。在最近的研究中，研究人员使用神经语言模型和编码器-解码器框架来生成表到文本。然而，这些基于神经网络的方法在文本生成期间不对内容的顺序进行建模。当一个人根据给定的表格写摘要时，他或她可能会在措辞之前考虑内容顺序。例如，在传记中，一个人的国籍通常在传记中的职业之前提到。在本文中，我们提出了一个订单规划文本生成模型，捕捉不同领域之间的关系，并利用这种关系，使生成的文本更加流畅和光滑。我们在WikiBio数据集上进行了实验，并在BLEU，ROUGE和NIST分数方面实现了比以前方法更高的性能。
2017-09-01 cs.AI cs.CL cs.IR
Graph-based Keyword Planning for Legal Clause Generation from Topics
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Adobe Research（奥多比研究院）
基于最少的用户提供的信息生成特定于域的内容（如法律条款），在自动化法律合同生成方面有很大的好处。在本文中，我们提出了一个可控的基于图的机制，可以生成法律条款只使用的主题或类型的法律条款。我们的管道包括两个阶段，涉及一个基于图的规划器，然后是一个子句生成器。规划器使用可控的基于图的机制基于输入主题将法律条款的内容概述为按照从通用到更具体的条款信息的顺序的关键字序列。生成阶段接受给定的计划并生成子句。管道由基于图形的规划器和文本生成组成。我们说明了我们提出的两阶段的方法在合同中的条款主题广泛的有效性。
2023-01-07 cs.AI cs.CL
Integrating Planning into Single-Turn Long-Form Text Generation
Google DeepMind（谷歌DeepMind）；Emory University（埃默里大学）
针对大语言模型长文本生成质量不足的问题，提出单辅助任务规划方法，通过合成中间写作数据微调LLM，在多数据集上实现了生成质量的显著提升。
2024-10-08 cs.AI cs.CL
RAPID: Efficient Retrieval-Augmented Long Text Generation with Writing Planning and Information Discovery
University of Science and Technology of China（中国科学技术大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对大型语言模型生成知识密集型长文本时存在的幻觉、主题不连贯和高延迟问题，提出高效检索增强生成框架RAPID，通过检索增强大纲生成、属性约束搜索和规划引导生成三模块，在FreshWiki-2024基准上显著优于现有方法。
2025-03-02 cs.AI cs.CL
Few-Shot Table-to-Text Generation with Prompt Planning and Knowledge Memorization
针对少样本表格到文本生成中知识不足与表文拓扑差异问题，提出 PromptMize，通过提示规划和无标注领域知识记忆提升文本忠实度与生成质量。
2023-08-17 cs.AI cs.CL
Exploring EFL Secondary Students' AI-generated Text Editing While Composition Writing
Precious Blood Secondary School（宝血女子中学）；Shanghai Jiao Tong University（上海交通大学）；The University of Hong Kong（香港大学）
本研究通过屏幕录制和内容分析，探索香港中学生在说明文写作中编辑AI生成文本的15种类型和四种行为模式，揭示其复杂认知过程，挑战被动使用AI的假设，并为教学提供启示。
2025-05-13 cs.CL cs.CY cs.HC
Plug-and-Play Recipe Generation with Content Planning
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）
最近的预训练语言模型在生成流畅和逼真的自然语言文本方面表现出了很好的能力。然而，生成多句子的文本与全球内容规划一直是一个长期存在的研究问题。当前的控制文本生成方法很难解决这个问题，因为它们通常以单个已知的控件属性为条件。在这项研究中，我们提出了一个低成本但有效的框架，明确建模的全球内容计划生成的文本。具体而言，它以即插即用的方式优化了自然语言序列和全局内容计划的联合分发。我们在成熟的Recipe1M+基准上进行了广泛的实验。自动和人工评估都验证了我们的模型在配方生成任务上达到了最先进的性能
2022-12-09 cs.CL
CoCon: A Self-Supervised Approach for Controlled Text Generation
Nanyang Technological University（南洋理工大学）；Amazon AI（亚马逊人工智能）；Mila（米拉研究所）；Polytechnique Montreal（蒙特利尔理工学院）
预训练的基于transformer的语言模型（LM）显示出卓越的自然语言生成能力。由于其巨大的潜力，控制这种LM的文本生成越来越受到关注。虽然有一些研究试图控制生成文本的高级属性（如情感和主题），但仍然缺乏对单词和短语级别的内容进行更精确的控制。在这里，我们建议内容调节器（CoCon）控制LM的输出文本与内容输入，在细粒度的水平。在我们的自我监督方法中，CoCon块通过调节LM保留的内容输入来学习帮助LM完成部分观察到的文本序列。通过实验，我们表明，CoCon可以自然地将目标内容纳入生成的文本和控制高层次的文本属性在一个zero-shot的方式。
2022-06-10 cs.CL cs.LG cs.NE
CoPERLex: Content Planning with Event-based Representations for Legal Case Summarization
School of Computation, Information, and Technology（计算、信息与技术学院；慕尼黑工业大学）；Technical University of Munich
针对法律判决冗长问题，提出CoPERLex框架，通过事件中心表示（主语-动词-宾语三元组）进行内容选择与规划，在四个法律摘要数据集上验证了其优于实体中心方法。
2025-01-23 cs.CL
Does Structure Matter? Leveraging Data-to-Text Generation for Answering Complex Information Needs
在这项工作中，我们的目标是提供一个结构化的答案，在自然语言的复杂的信息需求。特别是，我们设想从数据到文本生成的角度使用生成模型。我们建议使用内容选择和规划管道，其目的是通过生成中间计划来构建答案。使用TREC复杂答案检索（CAR）数据集进行实验评估。我们评估生成的答案及其相应的结构，并显示基于规划的模型相比，文本到文本模型的有效性。
2021-12-08 cs.CL cs.IR cs.LG
Investigating Content Planning for Navigating Trade-offs in Knowledge-Grounded Dialogue
University of Southern California（南加州大学）；Google DeepMind（谷歌DeepMind）
本研究提出PLEDGE框架，探究内容规划能否平衡知识grounded对话中的特异性和归因性，发现度量感知规划在自动评估中更优但人工判断较差，提示需校准自动度量。
2024-02-03 cs.CL
Improving Zero-shot Sentence Decontextualisation with Content Selection and Planning
Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学）
针对句子提取后缺乏上下文的问题，提出内容选择与规划框架，通过分割、识别歧义单元并基于话语关系提取相关单元来重写句子，实现零样本去上下文化，提升语义完整性和连贯性。
2025-10-15 cs.CL
Plan ahead: Self-Supervised Text Planning for Paragraph Completion Task
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
尽管上下文化语言模型最近在各种NLP任务上取得了成功，但语言模型本身无法捕获长的多句子文档的文本连贯性（例如，a段）。人类在说话之前，经常会做出关于说什么和如何说的结构性决定。用这种高层决策指导表面实现并以连贯的方式构造文本，本质上称为规划过程。模型在哪里可以学习这种高层次的一致性？文章提出了一个新的段落补全任务PARCOM，即预测段落中的隐藏句。然而，任务遭受预测和选择适当的主题内容相对于给定的上下文。为了解决这个问题，我们提出了一个自我监督的文本规划器SSPlanner，它首先预测要说什么（内容预测），然后使用预测的内容指导预训练的语言模型（表面实现）。SSPlanner在自动和人工评估中的段落完成任务上优于基线生成模型。我们还发现，名词和动词类型的关键字的组合是最有效的内容选择。随着提供更多数量的内容关键字，总体生成质量也提高。
2020-10-11 cs.CL
Argument Generation with Retrieval, Planning, and Realization
Khoury College of Computer Sciences（胡里计算机学院）；Northeastern University（东北大学）
自动参数生成是一个吸引人但具有挑战性的任务。本文研究了反论元生成的具体问题，并提出了一个新的框架CANDELA。它包括一个强大的检索系统和一个新颖的两步生成模型，其中文本规划解码器首先决定每个句子的主要谈话点和适当的语言风格，然后内容实现解码器反映的决定，并构造一个信息段落级的论点。此外，我们的生成模型是由一个检索系统，从维基百科和流行的英语新闻媒体，它提供了访问高质量的内容与多样性收集的1200万篇文章索引。对从Reddit收集的大规模数据集的自动评估表明，我们的模型产生的BLEU，ROUGE和METEOR分数明显高于最先进的和非平凡的比较。人的评价进一步表明，我们的系统论证更适合反驳，内容更丰富。
2019-06-09 cs.CL
Content Planning for Neural Story Generation with Aristotelian Rescoring
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；University of Edinburgh（爱丁堡大学）；Columbia University（哥伦比亚大学）；University of California Los Angeles（加州大学洛杉矶分校）
从大语言模型生成的长篇叙事文本管理着对人类写作的流畅模仿，但仅在局部句子水平上，并且缺乏结构或全局内聚。我们认为，故事生成的许多问题可以通过高质量的内容规划来解决，并提出了一个系统，专注于如何学习良好的情节结构，以指导故事生成。我们利用一个情节生成语言模型以及一系列重新评分模型，每个模型都实现了亚里士多德诗学中详细描述的好故事写作的一个方面。我们发现，用我们更有原则的情节结构写出来的故事，比那些不满足计划的基线，或者以一种无原则的方式计划的故事，都更适合给定的提示和更高的质量。
2020-10-09 cs.AI cs.CL
Can Neural Generators for Dialogue Learn Sentence Planning and Discourse Structuring?
University of California, Santa Cruz（加州大学圣克鲁兹分校）
任务型对话系统中的应答往往实现多个命题，其最终形式取决于句子规划和语篇构建操作的使用。例如，推荐可以由明确的评价话语组成，例如Chanpen Thai是最佳选项，以及由理由话语关系相关的内容，例如It has great food and service，其将多个命题组合成单个短语。虽然神经生成方法在一个端到端学习框架中集成了句子规划和表面实现，但以前的工作尚未表明神经生成器可以：（1）执行常见的句子规划和话语结构化操作;（2）决定是在单个句子中还是在多个句子中实现内容;（3）决定是否在一个句子中实现内容。（3）概括训练中所见之外的句子规划和语篇关系操作。我们系统地创建大型训练语料库，展示特定的句子规划操作，然后测试神经模型，看看它们学到了什么。我们比较了没有显式潜变量的句子规划模型与在训练过程中提供显式监督的模型。我们表明，只有额外的监督模型可以重现句子规划和话语操作，并推广到训练中看不到的情况。
2018-11-01 cs.CL
Monte Carlo Planning with Large Language Model for Text-Based Game Agents
AAII, University of Technology Sydney（AAII，悉尼技术大学）；University of Liverpool（利物浦大学）
本文提出MC-DML算法，结合大语言模型与蒙特卡洛树搜索，利用动态记忆增强规划，在文本游戏中显著提升初始规划性能，超越需多次迭代的现有方法。
2025-04-23 cs.CL
$μ$PLAN: Summarizing using a Content Plan as Cross-Lingual Bridge
Google DeepMind（谷歌DeepMind）
针对跨语言摘要数据集稀缺、摘要与翻译难度叠加的问题，提出$μ$PLAN方法，以多语言实体对齐的内容规划为跨语言桥梁，在XWikis数据集4个语言对上达到信息性与忠实性的SOTA，且零样本迁移能力更优。
2024-01-31 cs.CL
PROC2PDDL: Open-Domain Planning Representations from Texts
University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
本文提出首个开放域过程性文本到专家标注 PDDL 表示的 Proc2PDDL 数据集，并评测主流 LLM，发现其动作前提与效果建模表现很差，揭示了程序生成和事件推理缺陷。
2024-07-02 cs.CL
LLM-Guided Planning and Summary-Based Scientific Text Simplification: DS@GT at CLEF 2025 SimpleText
Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于大语言模型的两阶段科学文本简化框架，先通过LLM生成结构化规划或文档摘要，再据此引导句子级和文档级简化，以提升简化结果的连贯性与上下文忠实度。
2025-08-15 cs.CL
Enhancing Long Document Long Form Summarisation with Self-Planning
University of Edinburgh（爱丁堡大学）
本文提出了一种基于自规划的长文档摘要方法，通过内容计划提升摘要的可追溯性和准确性，在多个数据集上取得了显著的ROUGE-L和SummaC得分提升。
2025-12-19 cs.CL
Plot Writing From Pre-Trained Language Models
Chulalongkorn University（朱拉隆功大学）；Knorex
预训练的语言模型（PLM）无法生成长格式的叙述性文本，因为它们没有考虑全局结构。因此，生成的文本往往是无凝聚力的，重复的，或缺乏内容。最近在故事生成方面的工作重新引入了以提示、关键字或语义框架形式的明确内容规划。在大型并行语料库上训练后，这些模型可以生成更符合逻辑的事件序列，从而生成更有内容的故事。然而，这些中间表示通常不是自然语言，并且在没有微调的情况下不能被PLM利用。我们建议使用现成的PLM生成故事情节，同时保持内容规划的好处，以生成有凝聚力和内容丰富的故事。我们提出的方法，SockchPlot，首先提示PLM组成的内容计划。然后，我们根据内容计划生成故事的主体和结局。此外，我们采取了生成和排名的方法，通过使用额外的PLM排名生成的（故事，结局）对。我们用各种基线对我们的方法进行基准测试，并在人工和自动评估中取得了优异的结果。
2022-06-07 cs.CL
Planning Argumentative Texts
本文提出了一个用于议论文的文本规划器\proverb \。\proverb的主要特点是它以一种互补的方式结合了全局层次规划和关于局部派生关系的无计划文本组织。前者将呈现特定证明的任务分解为呈现子证明的子任务。后者模拟了如何在局部焦点的指导下选择下一个要呈现的中间结论。
1994-10-28 cmp-lg cs.CL
Multimodal Procedural Planning via Dual Text-Image Prompting
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of California, Los Angeles（加州大学洛杉矶分校）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
该研究提出多模态程序规划任务，设计双模态提示方法TIP结合大语言模型与扩散模型能力，构建两个测试基准，验证了方法在规划信息性、时序一致性和准确性上的优势。
2023-05-02 cs.CL
Biased TextRank: Unsupervised Graph-Based Content Extraction
University of Michigan（密歇根大学）
我们引入了Biased TextRank，这是一种基于图形的内容提取方法，其灵感来自流行的TextRank算法，该算法根据文本对语言处理任务的重要性以及与输入“焦点”的相关性对文本跨度进行排名。“Biased TextRank通过修改TextRank执行中的随机重新启动来实现文本的集中内容提取。基于图节点与任务焦点的相关性来分配随机重启概率。我们提出了两个应用程序的偏见TextRank：集中的摘要和解释提取，并表明我们的算法导致两个不同的数据集上的显着ROUGE-N得分利润率提高性能。与其前身非常相似，Biased TextRank是无监督的，易于实现，并且比当前最先进的自然语言处理方法更快，更轻。
2020-11-02 cs.CL
TextLap: Customizing Language Models for Text-to-Layout Planning
University at Buffalo（布法罗大学）；Adobe Research（奥多比研究院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出 TextLap 方法，利用基于指令的布局规划数据集 InsLap 定制大型语言模型，使其能根据文本指令自动生成图形布局，并在图像生成与图形设计基准上优于包括 GPT-4 在内的基线方法。
2024-10-09 cs.CL cs.LG
Little Red Riding Hood Goes Around the Globe:Crosslingual Story Planning and Generation with Large Language Models
Google（谷歌）
本文提出带规划的跨语言故事生成新任务并构建数据集，利用大语言模型生成多语言故事，发现三幕结构规划能提升叙事连贯性与趣味性，并实现显式内容控制。
2024-03-25 cs.CL
Identifying Populist Paragraphs in Text: A machine-learning approach
翻译后摘要：在本文中，我们提出了一种方法来开发一个文本分类模型，这将能够识别文本中的民粹主义内容。开发的基于BERT的模型在识别文本中的民粹主义内容方面取得了很大的成功，并且只产生了可以忽略不计的虚假否定，这使得它非常适合作为内容分析自动化工具，它可以筛选出潜在的相关内容进行人工验证。
2021-06-10 cs.CL
Comparison of Quality Indicators in User-generated Content Using Social Media and Scholarly Text
The Ohio State University（俄亥俄州立大学）
预测文本文档的质量是一个关键的任务时，提出的问题，衡量其发布前的文件的性能。在这项工作中，我们评估各种功能，包括那些从文本内容（文本）和那些描述的文本（Meta）的功能，不能直接从文本中提取的更高层次的特征，并显示这些功能如何通知预测文档质量以不同的方式。此外，我们还比较了社交用户生成的数据（如推文）和学术用户生成的数据（如学术文章）的方法，显示了相同的特征如何不同地影响这些不同领域的质量预测。
2019-10-24 cs.CL
Natural Language Decompositions of Implicit Content Enable Better Text Representations
University of Maryland（马里兰大学）；umiacs（马里兰大学高级计算机研究所）
本文提出利用大语言模型将文本隐含内容显式化为命题集合，经人工验证后用于提升论证相似性评估、观点数据分析及立法行为建模等任务，证明建模语言背后意义对NLP及社会科学应用具有重要价值。
2025-02-24 cs.CL
Answering Numerical Reasoning Questions in Table-Text Hybrid Contents with Graph-based Encoder and Tree-based Decoder
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
在现实世界的问答场景中，表格和文本相结合的混合形式越来越受到人们的关注，其中数值推理问题是最典型和最具挑战性的问题之一。现有的方法通常采用编码器-解码器框架来表示混合内容并生成答案。然而，它不能捕捉编码器端的数值、表模式和文本信息之间的丰富关系。解码器使用一个简单的预定义的操作分类器，这是不够灵活，以处理不同的表达式的数值推理过程。针对这些问题，本文提出了一种基于\textbf{T}语言的\textbf{G}增强型\textbf{H}混合表-文本\textbf{N}数值推理模型（\textbf{RegHNT}）.它将表-文本混合内容上的数字问答建模为表达式树生成任务。此外，我们提出了一种新的关系图建模方法，模型之间的对齐问题，表格和段落。我们验证了我们的模型上公开的表-文本混合QA基准（TAT-QA）。建议的RegHNT显着优于基线模型，并实现国家的最先进的结果。我们在https://github.com/lfy79001/RegHNT公开发布了源代码和数据（2022-05-05）。
2022-10-20 cs.CL
Combining Lexical and Syntactic Features for Detecting Content-dense Texts in News
Redfin Inc.（Redfin公司）；University of Pennsylvania（宾夕法尼亚大学）
内容密集型新闻以直接、简洁的方式报道有关事件的重要事实信息。诸如信息抽取、问答和摘要之类的信息搜索应用通常假设它们处理的所有文本都是内容密集的。在这里，我们实证检验这一假设的新闻文章从商业，美国国际关系，体育和科学新闻领域。我们的研究结果清楚地表明，在我们的研究中，大约有一半的新闻文本实际上是不密集的内容，并激励监督内容密度检测器的发展。我们对一个大型的训练语料库进行了分类标注，并训练了一个基于词汇和非词汇化句法特征的两层分类模型。在手动注释的数据上，我们比较了特定于领域的分类器的性能，这些分类器仅对来自给定新闻领域的数据进行训练，而一般分类器则将来自所有四个领域的数据汇集在一起。我们的注释和预测实验表明，内容密度的概念根据域而变化，天真的注释者提供的判断偏向于刻板的域标签。特定领域分类器对于内容密集文本通常较少的领域更准确。领域独立分类器再现更好的天真众包判断。分类预测在所有条件下都很高，约为80%。
2017-04-03 cs.CL
So What's the Plan? Mining Strategic Planning Documents
National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）；Novosibirsk State University（新西伯利亚国立大学）；A.P. Ershov Institute of Informatics Systems SB RAS（俄罗斯科学院西伯利亚分院A.P.埃尔肖夫信息系统研究所）；Kazan Federal University（喀山联邦大学）；ABBYY（ABBYY公司）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）
在本文中，我们提出了一个语料库的俄罗斯战略规划文件，RuREBus。该项目从语言技术和电子政务的角度出发。不仅新的语言资源和工具正在开发中，而且它们在电子政务研究中的应用也在不断发展。我们展示了从头开始创建文本语料库的管道。首先，设计了标注模式。接下来的文本使用人在回路策略进行标记，以便从机器学习模型中导出初步注释并手动校正。注释文本的数量足够大，可以展示从RuREBus中可以获得哪些见解。
2020-07-07 cs.CL
QA-Align: Representing Cross-Text Content Overlap by Aligning Question-Answer Propositions
Bar-Ilan University（巴伊兰大学）
多文本应用程序（如多文档摘要）通常需要对相关文本之间的冗余进行建模。目前的合并方法难以融合重叠的信息。为了明确表示内容重叠，我们建议跨文本对齐谓词-论元关系，为信息整合提供一个潜在的支架。我们超越了对共指提及进行聚类，而是在命题层面上对冗余进行建模，而不仅仅是检测共享的对象。我们的设置利用QA-SRL，利用问答对捕捉谓词-论元关系，方便外行注释跨文本对齐。我们雇用人群工作者构建基于QA的对齐数据集，并提出了一个基线QA对齐模型在我们的数据集上训练。分析表明，我们的新任务是语义上的挑战，捕捉内容重叠超出词汇相似性和补充跨文档的共指与命题级的链接，提供潜在的使用下游的任务。
2021-09-26 cs.CL
Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation
Harbin Institute of Technology（哈尔滨工业大学）；Tencent AI Lab（腾讯人工智能实验室）
在本文中，我们专注于一个新的实际任务，文档规模的文本内容操作，这是相反的文本风格转移，旨在保持文本风格，同时改变内容。详细地，输入是一组结构化记录和用于描述另一个记录表的参考文本。输出是一个摘要，它准确地描述了源记录中的部分内容，具有与引用相同的写作风格。由于缺乏并行数据，该任务是无监督的，并且具有挑战性的是分别从双向输入中选择合适的记录和风格词，并生成高保真的长文档。为了解决这些问题，我们首先建立了一个基于篮球比赛报道语料库的数据集作为我们的测试床，并提出了一个具有交互式注意力机制的无监督神经模型，用于学习记录和参考文本之间的语义关系，以实现更好的内容传输和更好的风格保持。此外，我们还探讨了在我们的任务中的有效性的反向翻译构建一些伪训练对。实证结果表明，我们的方法优于竞争对手的方法，模型也产生了一个新的国家的最先进的结果，在一个数据集上。
2020-02-24 cs.CL
Short-PHD: Detecting Short LLM-generated Text with Topological Data Analysis After Off-topic Content Insertion
The University of Hong Kong（香港大学）；University of Delaware（特拉华大学）
本文提出Short-PHD方法，通过在输入前插入无关主题内容以稳定短文本的持久同调维数估计，从而在零样本设定下有效检测短LLM生成文本。
2025-04-01 cs.CL
Le Processus Powered Dirichlet-Hawkes comme A Priori Flexible pour Clustering Temporel de Textes
Université de Lyon, Lyon 2, ERIC UR 3083（里昂第二大学）
文档的文本内容及其发布日期是相互交织的。例如，根据潜在的时间动态，一篇关于某个主题的新闻文章的发表会受到以前关于类似问题的出版物的影响。然而，它可以是具有挑战性的检索有意义的信息时，文本信息传达很少。此外，文档的文本内容并不总是与其时间动态相关。我们开发了一种方法来创建集群的文本文件，根据他们的内容和出版时间，动力Dirichlet-Hawkes过程（PDHP）。当时间信息或文本内容是弱信息时，PDHP比最先进的模型产生更好的结果。PDHP还证实了文本内容和时间动态完全相关的假设。我们证明，PDHP概括了以前的工作-如DHP和UP。最后，我们使用Reddit的真实数据集来说明一个可能的应用程序。
2022-01-29 cs.CL
Content Enhanced BERT-based Text-to-SQL Generation
Never Stop Research；China Electronic Technology Group Corporation Information Science Academy（中国电子科技集团公司信息科学研究院）
我们提出了一个简单的方法来利用基于BERT模型的表内容来解决文本到SQL的问题。基于观察到一些表格内容匹配问题串中的一些词，并且一些表格标题也匹配问题串中的一些词，我们为深度模型编码两个附加特征向量。我们的方法也有利于测试时间的模型推理，因为表在训练和测试时间上几乎相同。我们在WikiSQL数据集上测试了我们的模型，并在逻辑形式和执行准确性方面分别比基于BERT的基线高出3.7%和3.7%，达到了最先进的水平。
2020-04-22 cs.CL
Like a Good Nearest Neighbor: Practical Content Moderation and Text Classification
Technical University of Darmstadt（达姆施塔特工业大学）
针对少样本文本分类依赖大模型难部署的问题，提出无额外可学习参数的LaGoNN方案，通过引入训练数据近邻信息修改输入来优化SetFit，在内容审核等多场景下提升了分类性能。
2024-01-29 cs.CL
