Discourse-Aware Soft Prompting for Text Generation
Facebook AI Research（脸书人工智能研究院）
当前有效的微调方法（例如，适配器、前缀调优等）通过训练神经语言模型的一小部分额外参数，优化了条件文本生成，同时冻结其余参数以提高效率。虽然在某些生成任务上表现出很强的性能，但它们并不能推广到所有的生成任务。我们表明，软提示为基础的条件文本生成可以改善简单而有效的方法，模拟人类书面文本的话语结构建模。我们研究了两种设计选择：第一，我们应用\textit{hierarchical blocking}的前缀参数来模拟人类书面文本的更高层次的话语结构。其次，我们在网络的不同层对前缀参数应用\textit{attention sparsity}，并在softmax函数上学习稀疏变换。我们发现，结构化设计的前缀参数产生更多的连贯性，忠实性和相关的代比基线前缀调整的所有生成任务。
2022-05-23 cs.CL cs.LG stat.ML
Hierarchical Text Generation using an Outline
Harvey Mudd College（哈维穆德学院）；University of Colorado Springs（科罗拉多大学斯普林斯分校）
自然语言处理中的许多挑战需要生成文本，包括语言翻译、对话生成和语音识别。对于所有这些问题，随着文本变得越来越长，文本生成变得越来越困难。当前的语言模型通常难以跟踪长文本的连贯性。在这里，我们尝试构建模型，并使用它生成的文本的大纲来保持它的重点。我们发现，使用一个大纲改善困惑。我们没有发现，使用纲要改善人类的评价比一个简单的基线，揭示了困惑和人类感知的差异。类似地，没有发现分层生成提高人类评价分数。
2018-10-20 cs.CL cs.LG stat.ML
Neural Text Generation: A Practical Guide
Stanford University（斯坦福大学）
深度学习方法最近在机器翻译、对话响应生成、摘要和其他文本生成任务上取得了巨大的经验成功。在高水平上，该技术已经训练端到端神经网络模型，该模型由编码器模型组成，以产生源文本的隐藏表示，随后是解码器模型以生成目标。虽然这样的模型比早期的系统具有更少的块，但仍然需要进行大量的调优以实现良好的性能。特别是对于文本生成模型，解码器可以以不期望的方式表现，例如通过生成截断或重复的输出，输出平淡和通用的响应，或者在某些情况下产生不合语法的胡言乱语。本文旨在作为解决文本生成模型中这种不期望的行为的实用指南，旨在帮助实现现实世界的应用程序。
2017-11-27 cs.CL cs.LG stat.ML
Toward Diverse Text Generation with Inverse Reinforcement Learning
Fudan University（复旦大学）
文本生成是自然语言处理中的一项重要任务。最近，已经提出了几种对抗生成模型来改善文本生成中的暴露偏差问题。虽然这些模型取得了很大的成功，但它们仍然存在着奖励稀疏和模式坍塌的问题。为了解决这两个问题，在本文中，我们采用逆强化学习（IRL）的文本生成。具体而言，IRL框架在训练数据上学习奖励函数，然后学习最优策略以最大化期望的总奖励。与对抗模型类似，IRL中的奖励和策略函数交替优化。我们的方法有两个优点：（1）奖励函数可以产生更密集的奖励信号。(2)通过“熵正则化”策略梯度训练的生成策略，鼓励生成更多样化的文本。实验结果表明，我们提出的方法可以生成更高质量的文本比以前的方法。
2018-06-07 cs.CL cs.LG stat.ML
Non-Monotonic Sequential Text Generation
New York University（纽约大学）；University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research（微软研究院）；Facebook AI Research（脸书人工智能研究院）
标准的顺序生成方法假定预先指定的生成顺序，例如从左到右生成单词的文本生成方法。在这项工作中，我们提出了一个框架，用于训练以非单调顺序操作的文本生成模型;该模型直接学习良好的顺序，而无需任何额外的注释。我们的框架通过在任意位置生成一个词来操作，然后递归地在其左侧生成词，然后在其右侧生成词，从而产生一个二叉树。学习被定义为模仿学习，包括一种从模仿神谕到强化政策自身偏好的教练方法。实验结果表明，使用所提出的方法，它是可以学习的政策，生成文本，而无需预先指定的生成顺序，同时实现与传统的从左到右的生成竞争的性能。
2019-10-23 cs.CL cs.LG stat.ML
Pre-train and Plug-in: Flexible Conditional Text Generation with Variational Auto-Encoders
Alibaba Group（阿里巴巴集团）；Wuhan University（武汉大学）；University of Michigan（密歇根大学）；Amazon（亚马逊）；Tencent AI Lab（腾讯人工智能实验室）
条件文本生成作为自然语言生成的一个研究热点，为人类控制生成内容的属性提供了可能。当前的条件生成模型由于其联合端到端学习方式而无法处理新出现的条件。当一个新的条件增加，这些技术需要全面的再培训。在本文中，我们提出了一个新的框架命名为预训练和插件变分自动编码器（PPVAE）灵活的条件文本生成。PPVAE将文本生成模块从条件表示模块中分离出来，以允许“一对多”的条件生成。当一个新的条件出现时，只需要训练一个轻量级的网络，并作为PPVAE的插件工作，这对于现实世界的应用来说是高效和理想的。大量的实验表明，PPVAE对现有的替代品具有更好的条件性和多样性，但更少的培训工作的优越性。
2020-05-08 cs.CL cs.LG stat.ML
TextGAIL: Generative Adversarial Imitation Learning for Text Generation
University of California, Davis（加利福尼亚大学戴维斯分校）；ByteDance（字节跳动）
用于文本生成的生成对抗网络（GANs）最近受到了许多批评，因为它们的表现比MLE同行更差。我们怀疑以前的文本GANs性能较差是由于它们的判别器中缺乏可靠的指导信号。为了解决这个问题，我们提出了一个用于文本生成的生成对抗模仿学习框架，该框架使用大型预训练的语言模型来提供更可靠的奖励指导。我们的方法使用对比度优化，和近端策略优化（PPO），以稳定和提高文本生成性能。为了评估，我们进行了一组不同的无条件和有条件的文本生成任务的实验。实验结果表明，TextGAIL在质量和多样性方面都比MLE基线有更好的性能。我们还验证了我们的直觉，即TextGAIL的奖励证明了通过额外任务提供合理奖励的能力。
2021-04-26 cs.CL cs.LG
A Causal Lens for Controllable Text Generation
UC San Diego（加州大学圣迭戈分校）；AWS AI, Amazon（亚马逊云科技人工智能）
可控文本生成涉及广泛应用的两个基本任务，即生成给定属性的文本（即，属性条件生成），以及最低限度地编辑现有文本以拥有期望的属性（即，文本属性转移）。大量的先前工作在很大程度上分别研究了这两个问题，并开发了不同的条件模型，然而，这些模型容易产生有偏见的文本（例如，各种性别陈规定型观念）。本文提出了制定可控的文本生成从原则的因果关系的角度来看，模型的两个任务与一个统一的框架。因果公式的一个直接优势是使用丰富的因果关系工具来减轻世代偏差并改善控制。我们把这两个任务的干预和反事实的因果推理的基础上的结构因果模型，分别。然后，我们将该框架应用到具有挑战性的实际环境中，其中混淆因素（引起虚假相关性）仅在一小部分数据上可观察到。实验表明，因果关系的方法比以前的条件模型，提高控制精度和减少偏见显着的优越性。
2022-01-22 cs.AI cs.CL cs.LG
Learning Implicit Text Generation via Feature Matching
IBM Research（IBM研究院）；Duke University（杜克大学）；Amazon AWS AI（亚马逊AWS人工智能）
生成式特征匹配网络（GFMN）是一种通过对来自预先训练好的神经网络的特征进行矩匹配来训练图像隐式生成模型的方法。在本文中，我们提出了新的GFMN配方，是有效的序列数据。我们的实验结果表明，所提出的方法，SeqGFMN，在英语中的三个不同的生成任务的有效性：无条件的文本生成，类条件的文本生成，和无监督的文本风格转移。SeqGFMN对于训练是稳定的，并且优于用于文本生成和文本样式传输的各种对抗方法。
2020-05-09 cs.CL cs.LG
LongLaMP: A Benchmark for Personalized Long-form Text Generation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（奥多比研究院）；University of Oregon（俄勒冈大学）
针对现有个性化生成局限于短文本的问题，提出个性化长文本生成基准LongLaMP，通过零样本和微调实验验证其有效性，推动并评估了长文本个性化生成技术。
2024-10-15 cs.CL cs.LG
Modern Methods for Text Generation
National Research University Higher School of Economics（国立研究型大学高等经济学院）
合成文本生成具有挑战性，并且成功有限。最近，一种名为Transformers的新架构允许机器学习模型更好地理解顺序数据，例如翻译或摘要。BERT和GPT-2在其内核中使用了Transformers，在文本分类、翻译和NLI等任务中表现出了出色的性能。在这篇文章中，我们分析了这两种算法，并比较了它们在文本生成任务中的输出质量。
2020-09-10 cs.CL cs.LG
A Mutation-based Text Generation for Adversarial Machine Learning Applications
Texas A&M University - San Antonio（德克萨斯农工大学圣安东尼奥分校）
许多与自然语言相关的应用涉及由人类或机器创建的文本生成。虽然在许多这些应用程序中，机器支持人类，但在少数其他应用程序中（例如对抗性机器学习，社交机器人和巨魔），机器试图模仿人类。在这个范围内，我们提出并评估了几种基于变异的文本生成方法。与基于机器生成的文本不同，基于变异生成的文本需要人类文本样本作为输入。我们展示了变异算子的例子，但这项工作可以在许多方面进行扩展，例如根据应用程序的性质提出新的基于文本的变异算子。
2022-12-21 cs.CL cs.LG
Latent Code and Text-based Generative Adversarial Networks for Soft-text Generation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
生成对抗网络（GANs）的文本生成可以根据用于识别的信号类型分为基于文本和基于代码的类别。在这项工作中，我们引入了一种新的基于文本的方法，称为软GAN，有效地利用GAN设置文本生成。我们演示了自动编码器（AE）如何用于提供句子的连续表示，我们将其称为软文本。该软表示将用于GAN鉴别以合成相似的软文本。我们还提出了一个或多个鉴别器的混合潜码和基于文本的GAN（LATEXT-GAN）方法，其中潜码和软文本的组合用于GAN歧视。我们在两个著名的数据集（SNLI和Image COCO）上进行了大量的主观和客观实验来验证我们的技术。我们使用几个评估指标讨论了结果，并表明所提出的技术优于传统的基于GAN的文本生成方法。
2019-04-23 cs.CL cs.LG
Learning Neural Templates for Text Generation
Harvard University（哈佛大学）
虽然神经编码器-解码器模型在文本生成方面取得了显著的经验成功，但这种生成方式仍然存在一些未解决的问题。编码器-解码器模型在很大程度上（a）不可解释，（b）难以控制其措辞或内容。这项工作提出了一个神经生成系统，使用隐藏的半马尔可夫模型（HSMM）解码器，学习潜在的，离散的模板与学习共同生成。我们表明，该模型学习有用的模板，这些模板使生成更可解释和可控。此外，我们表明，这种方法可扩展到真实的数据集，并实现了强大的性能接近的编码器-解码器的文本生成模型。
2019-06-17 cs.CL cs.LG
Classifiers are Better Experts for Controllable Text Generation
Tinkoff（Tinkoff公司）
本文提出了一种简单的方法，基于加权logits与自由形式的分类器，即CAIF抽样可控的文本生成。使用任意文本分类器，我们调整语言模型的logits的一小部分，并引导文本生成朝向或远离分类器预测。我们进行了毒性避免和情绪控制任务的实验，结果表明，所提出的方法显着优于最近的PPLM，GeDi，和DExperts的PPL和任务准确性指标的基础上生成的文本的外部分类。此外，与其他方法相比，它更容易实现和调优，并且限制和要求显著减少。
2022-11-11 cs.CL cs.LG
Biomedical Data-to-Text Generation via Fine-Tuning Transformers
Bayer AG（拜耳股份公司）
生物医学领域的数据到文本（D2T）生成是一个很有前途的研究领域，但大多数尚未开发。在这里，我们将D2T生成的神经模型应用于由欧洲药品包装单组成的真实数据集。我们表明，微调Transformers能够产生现实的，多句文字的数据在生物医学领域，但有重要的限制。我们还发布了一个新的数据集（BioLeaflets），用于对生物医学领域的D2T生成模型进行基准测试。
2021-09-03 cs.CL cs.LG
Data-to-text Generation by Splicing Together Nearest Neighbors
TTI-Chicago（芝加哥丰田技术研究所）；Duke University（杜克大学）；Microsoft Research（微软研究院）；Rutgers University（罗格斯大学）
我们建议直接拼接在一起检索的文本段从“邻居”源目标对来处理数据到文本生成任务。不像最近的工作，条件检索邻居，但生成文本令牌的令牌，从左到右，我们学习的政策，直接操纵段的邻居文本，通过插入或替换它们在部分构建的代。标准的技术训练这样的政策需要一个甲骨文推导每一代，我们证明，找到最短的这种推导可以减少到一个特定的加权上下文无关文法下的解析。我们发现，以这种方式学习的政策在自动和人工评估方面与强基线不相上下，但允许更可解释和可控的生成。
2021-10-28 cs.CL cs.LG
Kernelized Bayesian Softmax for Text Generation
ByteDance AI Lab（字节跳动人工智能实验室）
用于文本生成的神经模型在解码阶段需要一个具有适当令牌嵌入的softmax层。大多数现有的方法采用单点嵌入每个令牌。然而，根据不同的上下文，一个词可能有多种含义，其中一些可能是不同的。在本文中，我们提出了KerBS，这是一种学习更好的文本生成嵌入的新方法。KerBS体现了两个优势：（a）它采用贝叶斯组合嵌入具有多个意义的单词;（b）它是自适应的单词的语义变化和鲁棒性罕见的句子上下文通过施加学习的内核捕捉嵌入空间中的单词（意义）的接近度。实证研究表明，KerBS显着提高了几个文本生成任务的性能。
2019-11-01 cs.CL cs.LG
Principled Gradient-based Markov Chain Monte Carlo for Text Generation
Johns Hopkins University（约翰斯·霍普金斯大学）；ETH Zürich（苏黎世联邦理工学院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Southern California（南加州大学）
本文针对基于梯度的MCMC文本生成采样不准确问题，提出多种忠实采样算法，确保极限分布为目标文本分布，实验证明其能生成更流畅且更好遵循控制目标的文本。
2023-12-29 cs.CL cs.LG
Distilling Knowledge Learned in BERT for Text Generation
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
以BERT为代表的大规模预训练语言模型在语言理解任务中取得了巨大的成功。然而，如何利用BERT进行语言生成仍然是一个悬而未决的问题。在本文中，我们提出了一种新的方法，条件屏蔽语言建模（C-MLM），使微调的目标生成任务的BERT。微调的BERT（教师）被用作额外的监督，以改善传统的Seq 2Seq模型（学生），以获得更好的文本生成性能。通过利用BERT独特的双向性质，提取在BERT中学习的知识可以鼓励自回归Seq 2Seq模型提前计划，为连贯的文本生成实施全局序列级监督。实验表明，该方法在多个机器翻译和文本摘要等语言生成任务上的性能明显优于强Transformer基线。我们提出的模型也实现了新的最先进的IWITOS德国-英语和英语-越南MT数据集。代码可在https://github.com/ChenRocks/Distill-BERT-Textgen上获得。
2020-07-17 cs.CL cs.LG
Long and Diverse Text Generation with Planning-based Hierarchical Variational Model
Institute for Artificial Intelligence（人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Baozun（宝尊）
现有的用于数据到文本生成的神经方法仍然难以生成长而多样的文本：它们不足以在生成过程中动态地建模输入数据，捕获句子间的连贯性，或生成多样化的表达。为了解决这些问题，我们提出了一个基于规划的层次变分模型（PHVM）。我们的模型首先计划一系列的组（每组是一个子集的输入项目被覆盖的句子），然后实现每个句子的规划结果和先前生成的上下文条件，从而分解成依赖句子生成子任务的长文本生成。为了捕捉表达的多样性，我们设计了一个分层的潜在结构，其中一个全球规划的潜在变量模型的多样性合理的规划和一系列的本地潜在变量控制句子的实现。实验表明，我们的模型优于国家的最先进的基线在长和多样化的文本生成。
2019-08-25 cs.CL cs.LG
GlyphDiffusion: Text Generation as Image Generation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；DIRO, Université de Montréal（蒙特利尔大学计算机与运筹学系）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室）；School of Information, Renmin University of China（中国人民大学信息学院）
提出GlyphDiffusion，将文本渲染为字形图像，通过级联扩散模型生成高保真图像并接地为文本，在四个条件文本生成任务上达到或超越基线性能。
2023-05-08 cs.CL cs.CV cs.LG
Texygen: A Benchmarking Platform for Text Generation Models
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
我们介绍了Texygen，一个基准测试平台，以支持研究开放域文本生成模型。Texygen不仅实现了大多数文本生成模型，而且还涵盖了一组评估生成文本的多样性，质量和一致性的指标。Texygen平台可以帮助规范文本生成研究，并促进研究人员在工作中共享经过微调的开源实现。因此，这将有助于提高未来文本生成研究工作的可复制性和可靠性。
2018-02-06 cs.CL cs.IR cs.LG
Neural Text Generation: Past, Present and Beyond
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
本文对神经文本生成模型的最新发展进行了系统的综述。具体地说，我们从递归神经网络语言模型出发，采用传统的最大似然估计训练方案，并指出其在文本生成方面的不足。因此，我们介绍了最近提出的基于强化学习，重新参数化技巧和生成对抗网络（GAN）技术的文本生成方法。我们比较了这些模型的不同属性和相应的技术来处理它们的共同问题，如梯度消失和代多样性。最后，我们在两个著名的数据集上使用不同类型的神经文本生成模型进行了基准测试实验，并讨论了实证结果以及上述模型属性。
2018-03-15 cs.AI cs.CL cs.LG
Sequentially Controlled Text Generation
Bloomberg（彭博）
虽然GPT-2生成的句子非常像人类，但较长的文档可能会漫无边际，并且不遵循类似人类的写作结构。我们研究的问题强加结构的长距离文本。我们提出了一种新的受控文本生成任务，顺序控制的文本生成，并确定一个数据集，NewsDiscourse作为这个任务的起点。我们开发了一个具有生成和编辑功能的顺序控制文本生成管道。我们测试不同程度的结构意识，并表明，在一般情况下，更多的结构意识的结果更高的控制准确性，语法，连贯性和话题性，接近人类水平的写作表现。
2023-01-05 cs.AI cs.CL cs.LG
A Survey of Knowledge-Enhanced Text Generation
University of Notre Dame（圣母大学）；Microsoft Research（微软研究院）；The Chinese University of Hong Kong（香港中文大学）；University of California at San Diego（加州大学圣迭戈分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
文本生成的目标是使机器能够用人类的语言进行表达。它是自然语言处理中最重要也是最具挑战性的任务之一。自2014年以来，Seq 2Seq开创的各种神经编码器-解码器模型已经被提出，通过学习将输入文本映射到输出文本来实现目标。然而，仅靠输入文本往往只能提供有限的知识来生成所需的输出，因此文本生成的性能在许多现实场景中仍然远远不能令人满意。为了解决这个问题，研究人员考虑将输入文本之外的各种形式的知识纳入生成模型。这一研究方向被称为知识增强文本生成。本文综述了近五年来知识增强文本生成的研究进展。主要内容包括两部分：（1）知识集成到文本生成中的一般方法和体系结构;（2）针对不同形式的知识数据，给出具体的技术和应用。这项调查可以有广泛的受众，包括学术界和工业界的研究人员和从业人员。
2022-01-22 cs.AI cs.CL cs.LG
Retrieve, Caption, Generate: Visual Grounding for Enhancing Commonsense in Text Generation Models
Carnegie Mellon University（卡内基梅隆大学）；University of Waterloo（滑铁卢大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Pittsburgh（匹兹堡大学）
我们调查使用图像中包含的多模态信息作为一种有效的方法来增强文本生成的Transformer模型的常识。我们使用BART和T5对概念到文本生成进行实验，特别是生成常识推理或CommonGen的任务。我们称之为VisCTG：视觉接地概念到文本生成。VisCTG涉及为代表适当日常场景的图像添加字幕，并使用这些字幕来丰富和引导生成过程。综合评估和分析表明，VisCTG显着提高了模型性能，同时成功地解决了基线生成的几个问题，包括常识，流畅性和特异性差。
2022-03-25 cs.AI cs.CL cs.LG
Unraveling Text Generation in LLMs: A Stochastic Differential Equation Approach
The Chinese University Of Hong Kong（香港中文大学）
本文提出利用随机微分方程（SDE）解析GPT-4等LLMs的文本生成过程，通过漂移项和扩散项分别刻画确定性趋势与随机扰动，并结合神经网络拟合与真实语料验证，为语言生成提供新视角。
2024-08-17 cs.AI cs.CL cs.LG
A survey on text generation using generative adversarial networks
São Paulo State University（圣保罗州立大学）
本文对使用生成对抗网络进行文本生成的研究进展进行了全面的综述。使用对抗学习来生成文本是有希望的，因为它提供了生成所谓的“自然”语言的替代方案。然而，对抗性文本生成并不是一项简单的任务，因为其最重要的架构生成对抗网络被设计用于处理连续信息（图像）而不是离散数据（文本）。因此，大多数作品都基于三种可能的选择，即，Gumbel-Softmax微分，强化学习和修改的训练目标。所有的替代品在本次调查中进行审查，因为他们提出了最新的方法来生成文本使用基于对抗的技术。所选的作品来自著名的数据库，如Science Direct，IEEEEXplore，Springer，Association for Computing Machinery和arXiv，而每一个选定的工作都经过严格的分析和评估，以呈现其目标，方法和实验结果。
2022-12-20 cs.AI cs.CL cs.LG
Long Text Generation via Adversarial Training with Leaked Information
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
自动生成连贯和语义有意义的文本在机器翻译，对话系统，图像描述等方面有许多应用。最近，通过结合策略梯度，生成对抗网络（GAN），使用判别模型来指导生成模型的训练作为强化学习策略，在文本生成中显示出良好的效果。然而，标量引导信号仅在已经生成整个文本之后可用，并且在生成过程期间缺乏关于文本结构的中间信息。因此，当生成的文本样本的长度很长（超过20个单词）时，它会限制其成功。在本文中，我们提出了一个新的框架，称为LeakGAN，以解决长文本生成的问题。我们允许判别网络将其自身的高级提取特征泄漏给生成网络，以进一步帮助指导。生成器通过附加的管理器模块将这些信息信号合并到所有生成步骤中，该管理器模块提取当前生成的单词的特征并输出潜在向量以指导工人模块进行下一个单词的生成。我们对合成数据和各种真实任务进行了大量的实验，并进行了图灵测试，结果表明LeakGAN在长文本生成方面非常有效，并且在短文本生成场景中也提高了性能。更重要的是，在没有任何监督的情况下，LeakGAN只能通过Manager和Worker之间的交互来隐式地学习句子结构。
2017-12-08 cs.AI cs.CL cs.LG
QURIOUS: Question Generation Pretraining for Text Generation
Google Research（谷歌研究院）；Google（谷歌）
使用预训练的自然语言处理的最新趋势已经将焦点转移到文本生成的预训练和微调方法上。通常关注的焦点是与任务无关的方法，这些方法概括了语言建模目标。我们提出问题生成作为预训练方法，这更好地符合文本生成的目标。我们用这种方法预训练的文本生成模型更好地理解了输入的本质，并且是目标任务的更好的语言模型。当评估两个文本生成任务，抽象摘要和答案为重点的问题生成，我们的模型在自动度量方面的最先进的性能。人类评估者也发现我们的摘要和生成的问题更自然，简洁和信息量。
2020-04-23 cs.CL
GGP: A Graph-based Grouping Planner for Explicit Control of Long Text Generation
Alibaba Group（阿里巴巴集团）
现有的数据驱动方法可以很好地处理短文本生成。然而，当应用于商业场景中的故事生成或广告文本生成等长文本生成场景时，这些方法可能会生成不合逻辑且不可控的文本。为了解决上述问题，我们提出了一个基于图的分组规划器（GGP）的思想，先计划，然后生成。具体地说，给定一组关键短语，GGP首先将这些短语分别编码为实例级的顺序表示和语料库级的基于图的表示。有了这两个协同表示，我们将这些短语重新组合成一个细粒度的计划，并在此基础上生成最终的长文本。我们在三个长文本生成数据集上进行了实验，实验结果表明，GGP显著优于基线，这证明了GGP可以通过知道如何说和以什么顺序来控制长文本生成。
2021-08-18 cs.CL
A Survey on Retrieval-Augmented Text Generation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；University of Cambridge（剑桥大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
近年来，检索增强的文本生成越来越受到计算语言学界的关注。与传统的文本生成模型相比，检索增强文本生成模型具有显著的优势，特别是在许多自然语言处理任务中，检索增强文本生成模型的性能达到了最先进的水平。本文旨在对检索增强的文本生成进行综述。首先介绍了检索增强生成的一般范式，然后根据对话响应生成、机器翻译和其他生成任务的不同，回顾了值得注意的方法。最后，它指出了一些重要的方向，最近的方法，以促进未来的研究。
2022-02-13 cs.CL
ALTER: Auxiliary Text Rewriting Tool for Natural Language Generation
The Australian National University（澳大利亚国立大学）；Data61 CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Monash University（莫纳什大学）
在本文中，我们描述了ALTER，一个辅助的文本重写工具，有利于重写过程中的自然语言生成任务，如释义，文本简化，公平意识的文本重写，和文本风格转移。我们的工具有两个特点，i）记录单词级的修订历史，ii）灵活的辅助编辑支持和对注释者的反馈。文本重写辅助和可追溯的重写历史对自然语言生成的未来研究具有潜在的意义。
2019-09-14 cs.CL
AutoTemplate: A Simple Recipe for Lexically Constrained Text Generation
Megagon Labs（美嘉果实验室）
本文提出 AutoTemplate 框架，通过“模板生成＋占位符词汇化”两阶段方法生成满足硬词汇约束的文本，并在关键词到句子生成和实体引导摘要任务上优于强基线。
2024-08-09 cs.CL
Towards Attribute-Entangled Controllable Text Generation: A Pilot Study of Blessing Generation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Intelligent Systems Engineering, Sun-Yat Sen University（中山大学智能系统工程学院）；Peng Cheng Laboratory（鹏城实验室）
可控文本生成（CTG）由于其关注多个属性而获得的细粒度生成能力而获得了巨大的成功。然而，大多数现有的CTG研究忽略了如何利用属性纠缠来增强受控生成文本的多样性。面对这种困境，我们专注于一个新的CTG场景，即，由于高质量的祝福文本需要CTG模型来综合考虑多个属性之间的纠缠（例如，对象和场合）。为了促进祝福生成的研究，我们提出了EBleT，一个大规模的纠缠祝福文本数据集，包含293 K的英语句子注释与多个属性。此外，我们提出了新的评价指标来衡量我们设计的基线模型所产生的祝福文本的质量。我们的研究为可控文本生成开辟了一个新的研究方向，并使属性纠缠CTG模型的发展成为可能。我们的数据集和源代码可在\url{https://github.com/huangshulin123/Blessing-Generation}上获得。
2022-10-29 cs.CL
MTG: A Benchmark Suite for Multilingual Text Generation
ByteDance AI Lab（字节跳动人工智能实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们介绍MTG，一个新的基准套件，用于训练和评估多语言文本生成。它是第一个提出的多语言多路文本生成数据集，具有最大的人类注释数据（400k）。它包括五种语言（英语，德语，法语，西班牙语和中文）的四个生成任务（故事生成，问题生成，标题生成和文本摘要）。多路设置可以跨语言和任务测试模型的知识转移能力。利用MTG对几种流行的多语言生成模型进行了不同角度的训练和分析。我们的基准测试套件通过更多人工注释的并行数据来增强模型性能。它提供了全面的评估与不同的发电方案。代码和数据可在\url{https://github.com/zide05/MTG}上获得。
2022-06-10 cs.CL
CoNT: Contrastive Neural Text Generation
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）
近年来，对比学习作为一种新的解决暴露偏差问题的方法，在神经文本生成领域引起了越来越多的关注。它引入了序列级训练信号，这对于始终依赖于自回归解码的生成任务至关重要。然而，以前的方法使用对比学习在神经文本生成通常会导致性能较差。在本文中，我们分析了潜在的原因，并提出了一个新的对比神经文本生成框架，CoNT。CoNT从三个方面解决了阻碍对比学习在生成任务中广泛应用的瓶颈--对比实例的构建、对比损失的选择和解码策略。我们用10个基准测试对CoNT在5个生成任务上进行了验证，包括机器翻译、摘要、代码注释生成、数据到文本生成和常识生成。实验结果表明，CoNT明显优于传统的训练框架上的所有十个基准具有令人信服的利润。特别是，CoNT超过了以前最有竞争力的文本生成对比学习方法，分别在机器翻译和摘要上分别有1.50 BLEU和1.77 ROUGE-1。它在摘要、代码注释生成（无外部数据）和数据到文本生成方面达到了最新水平。
2023-02-03 cs.CL
Text Generation with Exemplar-based Adaptive Decoding
Google AI Language（谷歌AI语言团队）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个新的条件文本生成模型。它从传统的基于模板的文本生成技术中汲取灵感，其中源提供内容（即，在成功的编码器-解码器范例的基础上，它首先对来自给定输入文本的内容表示进行编码;为了产生输出，它从训练数据中检索样本文本作为“软模板”，然后将其用于构建样本特定的解码器。我们评估所提出的模型抽象的文本摘要和数据到文本生成。实证结果表明，该模型实现了强大的性能，优于可比基线。
2019-04-10 cs.CL
Exploring the Relationship Between Diversity and Quality in Ad Text Generation
Tohoku University（东北大学）；RIKEN（理化学研究所）；CyberAgent
本研究探索广告文本生成中多样性与质量的关系，考虑多样性增强方法、超参数、输入输出格式和模型等因素，以生成多样且吸引人的广告文本。
2025-05-22 cs.CL
Top-Down Tree Structured Text Generation
Fudan University（复旦大学）；New York University Shanghai（上海纽约大学）
文本生成是自然语言处理任务中的基本构建块。现有的序列模型直接在文本序列上执行自回归，并且难以生成复杂结构的长句。本文提出了一种简单的方法，把句子生成的树生成任务。通过显式建模的语法结构的组成语法树和执行自上而下，广度优先的树生成，我们的模型适当地修复依赖关系，并执行隐式的全局规划。这与基于过渡的深度优先生成过程相反，深度优先生成过程在解析时难以处理不完整的文本，并且在规划中也不包含未来的上下文。我们在两个生成任务和一个句法分析任务上的初步结果表明，这是一个有效的策略。
2018-08-14 cs.CL
Syntax-driven Iterative Expansion Language Models for Controllable Text Generation
Lucy Software（露西软件公司）；United Language Group（联合语言集团）；TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学TALP研究中心）
占主导地位的语言建模范式将文本处理为离散标记的序列。虽然该方法可以捕获文本的潜在结构，但它本质上受限于文本生成的顺序动态。我们提出了一个新的范例，引入一个句法归纳偏见神经文本生成，依赖解析树被用来驱动Transformer模型迭代生成句子。我们的实验表明，这种范式是有效的文本生成，与LSTM和Transformers之间的质量，和可比的多样性，需要不到一半的解码步骤，其生成过程允许直接控制生成的文本的句法结构，使诱导的风格变化。
2020-10-30 cs.CL
Order-Planning Neural Text Generation From Structured Data
University of Waterloo（滑铁卢大学）
从结构化数据生成文本（例如，表）对于诸如问答和对话系统的各种自然语言处理任务是重要的。在最近的研究中，研究人员使用神经语言模型和编码器-解码器框架来生成表到文本。然而，这些基于神经网络的方法在文本生成期间不对内容的顺序进行建模。当一个人根据给定的表格写摘要时，他或她可能会在措辞之前考虑内容顺序。例如，在传记中，一个人的国籍通常在传记中的职业之前提到。在本文中，我们提出了一个订单规划文本生成模型，捕捉不同领域之间的关系，并利用这种关系，使生成的文本更加流畅和光滑。我们在WikiBio数据集上进行了实验，并在BLEU，ROUGE和NIST分数方面实现了比以前方法更高的性能。
2017-09-01 cs.AI cs.CL cs.IR
SciXGen: A Scientific Paper Dataset for Context-Aware Text Generation
The University of Tokyo（东京大学）；Tokyo Institute of Technology（东京工业大学）；National Institute of Advanced Industrial Science Technology（日本产业技术综合研究所）
在科学论文中生成文本不仅需要捕获给定输入中包含的内容，还需要经常获取称为\textit{context}的外部信息。我们提出了一个新的任务，即科学领域的\textbf{context-aware text generation}，旨在开发语境在生成文本中的贡献，从而推动了科学文本的生成。为此，我们为Conte \textbf{X} t-Aware Text \textbf{Gen} eration（SciXGen）提出了一个新的具有挑战性的大规模\textbf{Sci}有效论文数据集，由注释良好的205，304篇论文组成，其中充分引用了广泛使用的对象（例如，表、图、算法）。我们使用最先进的技术，对我们新构建的SciXGen数据集在生成描述和段落方面的功效进行了全面的基准测试。我们的数据集和基准将公开提供，希望能促进科学文本生成研究。
2021-10-20 cs.CL
Time-aware Prompting for Text Generation
University of Michigan（密歇根大学）
在本文中，我们研究了将时间戳，如文件创建日期，到生成系统的影响。研究了两种类型的时间感知提示：（1）在自然语言句子中编码文档时间戳的文本提示;以及（2）将时间戳转换为连续向量的线性提示。为了探索对未来数据点的外推，我们进一步引入了一个新的数据到文本生成数据集TempWikiBio，它包含了来自英文维基百科的超过400万个按时间顺序排列的传记文章修订版，每个修订版都与结构化的个人资料配对。通过TempWikiBio上的数据到文本生成，内容传输数据集上的文本到文本生成以及XSum上的摘要，我们表明编码器上的线性提示和文本提示提高了所有数据集的生成质量。根据人类评估和敏感性分析，尽管在测试从较晚时间提取的数据时性能下降较少，但线性提示更多地关注非时间信息，并且对给定的时间戳不太敏感。同时，文本提示建立了给定时间戳和输出日期之间的关联，从而在输出中产生更多的实际时间信息。
2022-11-03 cs.CL
Diffusion Models for Non-autoregressive Text Generation: A Survey
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室）
本综述系统梳理了扩散模型在非自回归文本生成中的应用，涵盖模型定义、主流方法、关键设计、预训练语言模型利用及优化技术，并展望了未来方向。
2023-05-13 cs.CL
SESCORE2: Learning Text Generation Evaluation via Synthesizing Realistic Mistakes
ByteDance（字节跳动）；UC Santa Barbara（加州大学圣巴巴拉分校）
本文提出自监督评估指标SESCORE2，通过扰动语料库句子合成真实模型错误进行训练，无需人工评分即可在多种语言和文本生成任务上超越无监督及部分有监督指标。
2023-07-07 cs.CL
LoopWeaver: Weaving Feedback Loops into Hierarchical Generation under Constraints
HiFlow通过分层反馈驱动优化框架，解决长文本生成中受约束的优化问题，提升生成质量与约束满足能力。
2026-11-10 cs.CL
Data-to-Text Generation with Iterative Text Editing
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
提出了一种基于迭代文本编辑的数据文本生成方法。我们的方法最大限度地提高了输出文本的完整性和语义准确性，同时利用了最近预训练的文本编辑模型（LaserTagger）和语言建模（GPT-2）的能力，以提高文本的流畅性。为此，我们首先使用普通模板将数据项转换为文本，然后通过为句子融合任务训练的神经模型迭代地改进结果文本。模型的输出通过简单的启发式算法进行过滤，并使用现成的预训练语言模型进行重新排序。我们在两个主要的数据到文本数据集（WebNLG，Cleaned E2 E）上评估了我们的方法，并分析了它的警告和好处。此外，我们表明，我们制定的数据到文本的生成开辟了可能性zero-shot领域自适应使用一般域数据集的句子融合。
2021-01-28 cs.CL
TextKD-GAN: Text Generation using KnowledgeDistillation and Generative Adversarial Networks
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
文本生成在许多NLP应用中特别重要，例如机器翻译、语言建模和文本摘要。生成对抗网络（GANs）在计算机视觉中的高质量图像生成方面取得了显着的成功，最近，GANs也引起了NLP社区的极大兴趣。然而，由于文本的离散性，在NLP中取得类似的成功将更具挑战性。在这项工作中，我们介绍了一种方法，使用知识蒸馏，有效地利用GAN设置文本生成。我们演示了自动编码器（AE）如何用于提供句子的连续表示，这是一种将非零概率分配给多个单词的平滑表示。我们提取该表示来训练生成器以合成类似的平滑表示。我们使用不同的数据集进行了一些实验来验证我们的想法，并表明与传统的基于GAN的文本生成方法相比，我们提出的方法在BLEU得分和Jensen-Shannon距离（JSD）度量方面具有更好的性能。
2019-04-23 cs.CL
Towards Content Transfer through Grounded Text Generation
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
最近的神经生成研究在控制文本的形式方面引起了极大的兴趣，如风格，人物角色和礼貌。然而，在控制内容的神经文本生成方面的工作较少。本文介绍了内容传输的概念，长格式的文本生成，其中的任务是生成一个文档中的下一个句子，既适合其上下文，并在一个内容丰富的外部文本源，如新闻故事接地。我们对维基百科数据的实验显示，与竞争基线相比，我们的数据有了显著的改善。作为本文的另一个贡献，我们发布了一个640k维基百科引用句子的基准数据集，与源文章配对，以鼓励探索这个新任务。
2019-05-13 cs.CL
Positioning yourself in the maze of Neural Text Generation: A Task-Agnostic Survey
Carnegie Mellon University（卡内基梅隆大学）
神经文本生成演变成几个关键的自然语言应用，从文本完成到自由形式的叙事生成。为了推进文本生成的研究，吸收现有的研究成果，并在这个巨大的增长领域中定位是至关重要的。具体来说，本文调查了建模方法的基本组成部分，这些建模方法在各种生成任务（如讲故事、总结、翻译等）中传递任务不可知论的影响，在这种情况下，我们提出了一个抽象的必要技术方面的学习范式，预训练，建模方法，解码和关键的挑战，在每个领域突出。因此，我们为该领域的研究人员提供了一站式目的地，以便于了解在哪里重新设计他们的工作以及它如何影响其他密切相关的生成任务。
2021-03-26 cs.CL
Controllable Text Generation with Focused Variation
Uber AI（优步AI）；Department of Computer Science, University of Illinois at Chicago（伊利诺伊大学芝加哥分校计算机科学系）；Stanford University（斯坦福大学）；ML Collective
本文介绍了一种新的控制语言生成的模型-聚焦变异网络（FVN）。以往的受控语言生成模型存在的主要问题是难以根据给定的属性生成文本，生成的文本缺乏多样性。FVN通过学习码本内每个属性的不相交离散潜在空间来解决这些问题，这允许可控性和多样性，同时生成流畅的文本。我们在两个文本生成数据集上评估了FVN，这些数据集具有注释的内容和样式，并通过自动和人工评估显示了最先进的性能。
2020-09-25 cs.CL
Pragmatically Informative Text Generation
Computer Science Division, UC Berkeley（加州大学伯克利分校计算机科学系）；Computer Science and Artificial Intelligence Laboratory, MIT（麻省理工学院计算机科学与人工智能实验室）
我们使用计算语用学的技术来提高条件文本生成模型的信息量。这些技术将语言生产制定为说话者和听众之间的游戏，其中说话者应该生成输出文本，听众可以使用该文本来正确识别文本描述的原始输入。虽然这些方法在认知科学和基础语言学习中得到了广泛的应用，但对于更标准的语言生成任务，它们却很少受到关注。我们考虑两种语用建模方法的文本生成：一个语用是由信息保存，另一个语用是由明确的干扰建模。我们发现，这些方法提高了强大的现有系统的抽象摘要和结构化的意义表示生成的性能。
2019-04-04 cs.CL
