A Mutation-based Text Generation for Adversarial Machine Learning Applications
Texas A&M University - San Antonio(德克萨斯农工大学圣安东尼奥分校)
许多与自然语言相关的应用涉及由人类或机器创建的文本生成。虽然在许多这些应用程序中,机器支持人类,但在少数其他应用程序中(例如对抗性机器学习,社交机器人和巨魔),机器试图模仿人类。在这个范围内,我们提出并评估了几种基于变异的文本生成方法。与基于机器生成的文本不同,基于变异生成的文本需要人类文本样本作为输入。我们展示了变异算子的例子,但这项工作可以在许多方面进行扩展,例如根据应用程序的性质提出新的基于文本的变异算子。
2022-12-21 cs.CL cs.LG
Latent Code and Text-based Generative Adversarial Networks for Soft-text Generation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
生成对抗网络(GANs)的文本生成可以根据用于识别的信号类型分为基于文本和基于代码的类别。在这项工作中,我们引入了一种新的基于文本的方法,称为软GAN,有效地利用GAN设置文本生成。我们演示了自动编码器(AE)如何用于提供句子的连续表示,我们将其称为软文本。该软表示将用于GAN鉴别以合成相似的软文本。我们还提出了一个或多个鉴别器的混合潜码和基于文本的GAN(LATEXT-GAN)方法,其中潜码和软文本的组合用于GAN歧视。我们在两个著名的数据集(SNLI和Image COCO)上进行了大量的主观和客观实验来验证我们的技术。我们使用几个评估指标讨论了结果,并表明所提出的技术优于传统的基于GAN的文本生成方法。
2019-04-23 cs.CL cs.LG
Learning Neural Templates for Text Generation
Harvard University(哈佛大学)
虽然神经编码器-解码器模型在文本生成方面取得了显著的经验成功,但这种生成方式仍然存在一些未解决的问题。编码器-解码器模型在很大程度上(a)不可解释,(b)难以控制其措辞或内容。这项工作提出了一个神经生成系统,使用隐藏的半马尔可夫模型(HSMM)解码器,学习潜在的,离散的模板与学习共同生成。我们表明,该模型学习有用的模板,这些模板使生成更可解释和可控。此外,我们表明,这种方法可扩展到真实的数据集,并实现了强大的性能接近的编码器-解码器的文本生成模型。
2019-06-17 cs.CL cs.LG
Classifiers are Better Experts for Controllable Text Generation
Tinkoff(Tinkoff公司)
本文提出了一种简单的方法,基于加权logits与自由形式的分类器,即CAIF抽样可控的文本生成。使用任意文本分类器,我们调整语言模型的logits的一小部分,并引导文本生成朝向或远离分类器预测。我们进行了毒性避免和情绪控制任务的实验,结果表明,所提出的方法显着优于最近的PPLM,GeDi,和DExperts的PPL和任务准确性指标的基础上生成的文本的外部分类。此外,与其他方法相比,它更容易实现和调优,并且限制和要求显著减少。
2022-11-11 cs.CL cs.LG
Biomedical Data-to-Text Generation via Fine-Tuning Transformers
Bayer AG(拜耳股份公司)
生物医学领域的数据到文本(D2T)生成是一个很有前途的研究领域,但大多数尚未开发。在这里,我们将D2T生成的神经模型应用于由欧洲药品包装单组成的真实数据集。我们表明,微调Transformers能够产生现实的,多句文字的数据在生物医学领域,但有重要的限制。我们还发布了一个新的数据集(BioLeaflets),用于对生物医学领域的D2T生成模型进行基准测试。
2021-09-03 cs.CL cs.LG
Data-to-text Generation by Splicing Together Nearest Neighbors
TTI-Chicago(芝加哥丰田技术研究所);Duke University(杜克大学);Microsoft Research(微软研究院);Rutgers University(罗格斯大学)
我们建议直接拼接在一起检索的文本段从“邻居”源目标对来处理数据到文本生成任务。不像最近的工作,条件检索邻居,但生成文本令牌的令牌,从左到右,我们学习的政策,直接操纵段的邻居文本,通过插入或替换它们在部分构建的代。标准的技术训练这样的政策需要一个甲骨文推导每一代,我们证明,找到最短的这种推导可以减少到一个特定的加权上下文无关文法下的解析。我们发现,以这种方式学习的政策在自动和人工评估方面与强基线不相上下,但允许更可解释和可控的生成。
2021-10-28 cs.CL cs.LG
GlyphDiffusion: Text Generation as Image Generation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);DIRO, Université de Montréal(蒙特利尔大学计算机与运筹学系);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京大数据管理与分析方法重点实验室);School of Information, Renmin University of China(中国人民大学信息学院)
提出GlyphDiffusion,将文本渲染为字形图像,通过级联扩散模型生成高保真图像并接地为文本,在四个条件文本生成任务上达到或超越基线性能。
2023-05-08 cs.CL cs.CV cs.LG
Texygen: A Benchmarking Platform for Text Generation Models
Shanghai Jiao Tong University(上海交通大学);University College London(伦敦大学学院)
我们介绍了Texygen,一个基准测试平台,以支持研究开放域文本生成模型。Texygen不仅实现了大多数文本生成模型,而且还涵盖了一组评估生成文本的多样性,质量和一致性的指标。Texygen平台可以帮助规范文本生成研究,并促进研究人员在工作中共享经过微调的开源实现。因此,这将有助于提高未来文本生成研究工作的可复制性和可靠性。
2018-02-06 cs.CL cs.IR cs.LG
Discourse-Aware Soft Prompting for Text Generation
Facebook AI Research(脸书人工智能研究院)
当前有效的微调方法(例如,适配器、前缀调优等)通过训练神经语言模型的一小部分额外参数,优化了条件文本生成,同时冻结其余参数以提高效率。虽然在某些生成任务上表现出很强的性能,但它们并不能推广到所有的生成任务。我们表明,软提示为基础的条件文本生成可以改善简单而有效的方法,模拟人类书面文本的话语结构建模。我们研究了两种设计选择:第一,我们应用\textit{hierarchical blocking}的前缀参数来模拟人类书面文本的更高层次的话语结构。其次,我们在网络的不同层对前缀参数应用\textit{attention sparsity},并在softmax函数上学习稀疏变换。我们发现,结构化设计的前缀参数产生更多的连贯性,忠实性和相关的代比基线前缀调整的所有生成任务。
2022-05-23 cs.CL cs.LG stat.ML
Neural Text Generation: Past, Present and Beyond
Shanghai Jiao Tong University(上海交通大学);University College London(伦敦大学学院)
本文对神经文本生成模型的最新发展进行了系统的综述。具体地说,我们从递归神经网络语言模型出发,采用传统的最大似然估计训练方案,并指出其在文本生成方面的不足。因此,我们介绍了最近提出的基于强化学习,重新参数化技巧和生成对抗网络(GAN)技术的文本生成方法。我们比较了这些模型的不同属性和相应的技术来处理它们的共同问题,如梯度消失和代多样性。最后,我们在两个著名的数据集上使用不同类型的神经文本生成模型进行了基准测试实验,并讨论了实证结果以及上述模型属性。
2018-03-15 cs.AI cs.CL cs.LG
Sequentially Controlled Text Generation
Bloomberg(彭博)
虽然GPT-2生成的句子非常像人类,但较长的文档可能会漫无边际,并且不遵循类似人类的写作结构。我们研究的问题强加结构的长距离文本。我们提出了一种新的受控文本生成任务,顺序控制的文本生成,并确定一个数据集,NewsDiscourse作为这个任务的起点。我们开发了一个具有生成和编辑功能的顺序控制文本生成管道。我们测试不同程度的结构意识,并表明,在一般情况下,更多的结构意识的结果更高的控制准确性,语法,连贯性和话题性,接近人类水平的写作表现。
2023-01-05 cs.AI cs.CL cs.LG
Hierarchical Text Generation using an Outline
Harvey Mudd College(哈维穆德学院);University of Colorado Springs(科罗拉多大学斯普林斯分校)
自然语言处理中的许多挑战需要生成文本,包括语言翻译、对话生成和语音识别。对于所有这些问题,随着文本变得越来越长,文本生成变得越来越困难。当前的语言模型通常难以跟踪长文本的连贯性。在这里,我们尝试构建模型,并使用它生成的文本的大纲来保持它的重点。我们发现,使用一个大纲改善困惑。我们没有发现,使用纲要改善人类的评价比一个简单的基线,揭示了困惑和人类感知的差异。类似地,没有发现分层生成提高人类评价分数。
2018-10-20 cs.CL cs.LG stat.ML
A Survey of Knowledge-Enhanced Text Generation
University of Notre Dame(圣母大学);Microsoft Research(微软研究院);The Chinese University of Hong Kong(香港中文大学);University of California at San Diego(加州大学圣迭戈分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
文本生成的目标是使机器能够用人类的语言进行表达。它是自然语言处理中最重要也是最具挑战性的任务之一。自2014年以来,Seq 2Seq开创的各种神经编码器-解码器模型已经被提出,通过学习将输入文本映射到输出文本来实现目标。然而,仅靠输入文本往往只能提供有限的知识来生成所需的输出,因此文本生成的性能在许多现实场景中仍然远远不能令人满意。为了解决这个问题,研究人员考虑将输入文本之外的各种形式的知识纳入生成模型。这一研究方向被称为知识增强文本生成。本文综述了近五年来知识增强文本生成的研究进展。主要内容包括两部分:(1)知识集成到文本生成中的一般方法和体系结构;(2)针对不同形式的知识数据,给出具体的技术和应用。这项调查可以有广泛的受众,包括学术界和工业界的研究人员和从业人员。
2022-01-22 cs.AI cs.CL cs.LG
Neural Text Generation: A Practical Guide
Stanford University(斯坦福大学)
深度学习方法最近在机器翻译、对话响应生成、摘要和其他文本生成任务上取得了巨大的经验成功。在高水平上,该技术已经训练端到端神经网络模型,该模型由编码器模型组成,以产生源文本的隐藏表示,随后是解码器模型以生成目标。虽然这样的模型比早期的系统具有更少的块,但仍然需要进行大量的调优以实现良好的性能。特别是对于文本生成模型,解码器可以以不期望的方式表现,例如通过生成截断或重复的输出,输出平淡和通用的响应,或者在某些情况下产生不合语法的胡言乱语。本文旨在作为解决文本生成模型中这种不期望的行为的实用指南,旨在帮助实现现实世界的应用程序。
2017-11-27 cs.CL cs.LG stat.ML
QURIOUS: Question Generation Pretraining for Text Generation
Google Research(谷歌研究院);Google(谷歌)
使用预训练的自然语言处理的最新趋势已经将焦点转移到文本生成的预训练和微调方法上。通常关注的焦点是与任务无关的方法,这些方法概括了语言建模目标。我们提出问题生成作为预训练方法,这更好地符合文本生成的目标。我们用这种方法预训练的文本生成模型更好地理解了输入的本质,并且是目标任务的更好的语言模型。当评估两个文本生成任务,抽象摘要和答案为重点的问题生成,我们的模型在自动度量方面的最先进的性能。人类评估者也发现我们的摘要和生成的问题更自然,简洁和信息量。
2020-04-23 cs.CL
Toward Diverse Text Generation with Inverse Reinforcement Learning
Fudan University(复旦大学)
文本生成是自然语言处理中的一项重要任务。最近,已经提出了几种对抗生成模型来改善文本生成中的暴露偏差问题。虽然这些模型取得了很大的成功,但它们仍然存在着奖励稀疏和模式坍塌的问题。为了解决这两个问题,在本文中,我们采用逆强化学习(IRL)的文本生成。具体而言,IRL框架在训练数据上学习奖励函数,然后学习最优策略以最大化期望的总奖励。与对抗模型类似,IRL中的奖励和策略函数交替优化。我们的方法有两个优点:(1)奖励函数可以产生更密集的奖励信号。(2)通过“熵正则化”策略梯度训练的生成策略,鼓励生成更多样化的文本。实验结果表明,我们提出的方法可以生成更高质量的文本比以前的方法。
2018-06-07 cs.CL cs.LG stat.ML
Retrieve, Caption, Generate: Visual Grounding for Enhancing Commonsense in Text Generation Models
Carnegie Mellon University(卡内基梅隆大学);University of Waterloo(滑铁卢大学);University of California, Los Angeles(加州大学洛杉矶分校);University of Pittsburgh(匹兹堡大学)
我们调查使用图像中包含的多模态信息作为一种有效的方法来增强文本生成的Transformer模型的常识。我们使用BART和T5对概念到文本生成进行实验,特别是生成常识推理或CommonGen的任务。我们称之为VisCTG:视觉接地概念到文本生成。VisCTG涉及为代表适当日常场景的图像添加字幕,并使用这些字幕来丰富和引导生成过程。综合评估和分析表明,VisCTG显着提高了模型性能,同时成功地解决了基线生成的几个问题,包括常识,流畅性和特异性差。
2022-03-25 cs.AI cs.CL cs.LG
Non-Monotonic Sequential Text Generation
New York University(纽约大学);University of Maryland, College Park(马里兰大学帕克分校);Microsoft Research(微软研究院);Facebook AI Research(脸书人工智能研究院)
标准的顺序生成方法假定预先指定的生成顺序,例如从左到右生成单词的文本生成方法。在这项工作中,我们提出了一个框架,用于训练以非单调顺序操作的文本生成模型;该模型直接学习良好的顺序,而无需任何额外的注释。我们的框架通过在任意位置生成一个词来操作,然后递归地在其左侧生成词,然后在其右侧生成词,从而产生一个二叉树。学习被定义为模仿学习,包括一种从模仿神谕到强化政策自身偏好的教练方法。实验结果表明,使用所提出的方法,它是可以学习的政策,生成文本,而无需预先指定的生成顺序,同时实现与传统的从左到右的生成竞争的性能。
2019-10-23 cs.CL cs.LG stat.ML
GGP: A Graph-based Grouping Planner for Explicit Control of Long Text Generation
Alibaba Group(阿里巴巴集团)
现有的数据驱动方法可以很好地处理短文本生成。然而,当应用于商业场景中的故事生成或广告文本生成等长文本生成场景时,这些方法可能会生成不合逻辑且不可控的文本。为了解决上述问题,我们提出了一个基于图的分组规划器(GGP)的思想,先计划,然后生成。具体地说,给定一组关键短语,GGP首先将这些短语分别编码为实例级的顺序表示和语料库级的基于图的表示。有了这两个协同表示,我们将这些短语重新组合成一个细粒度的计划,并在此基础上生成最终的长文本。我们在三个长文本生成数据集上进行了实验,实验结果表明,GGP显著优于基线,这证明了GGP可以通过知道如何说和以什么顺序来控制长文本生成。
2021-08-18 cs.CL
A Survey on Retrieval-Augmented Text Generation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);University of Cambridge(剑桥大学);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
近年来,检索增强的文本生成越来越受到计算语言学界的关注。与传统的文本生成模型相比,检索增强文本生成模型具有显著的优势,特别是在许多自然语言处理任务中,检索增强文本生成模型的性能达到了最先进的水平。本文旨在对检索增强的文本生成进行综述。首先介绍了检索增强生成的一般范式,然后根据对话响应生成、机器翻译和其他生成任务的不同,回顾了值得注意的方法。最后,它指出了一些重要的方向,最近的方法,以促进未来的研究。
2022-02-13 cs.CL
ALTER: Auxiliary Text Rewriting Tool for Natural Language Generation
The Australian National University(澳大利亚国立大学);Data61 CSIRO(澳大利亚联邦科学与工业研究组织Data61);Monash University(莫纳什大学)
在本文中,我们描述了ALTER,一个辅助的文本重写工具,有利于重写过程中的自然语言生成任务,如释义,文本简化,公平意识的文本重写,和文本风格转移。我们的工具有两个特点,i)记录单词级的修订历史,ii)灵活的辅助编辑支持和对注释者的反馈。文本重写辅助和可追溯的重写历史对自然语言生成的未来研究具有潜在的意义。
2019-09-14 cs.CL
AutoTemplate: A Simple Recipe for Lexically Constrained Text Generation
Megagon Labs(美嘉果实验室)
本文提出 AutoTemplate 框架,通过“模板生成+占位符词汇化”两阶段方法生成满足硬词汇约束的文本,并在关键词到句子生成和实体引导摘要任务上优于强基线。
2024-08-09 cs.CL
Towards Attribute-Entangled Controllable Text Generation: A Pilot Study of Blessing Generation
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Intelligent Systems Engineering, Sun-Yat Sen University(中山大学智能系统工程学院);Peng Cheng Laboratory(鹏城实验室)
可控文本生成(CTG)由于其关注多个属性而获得的细粒度生成能力而获得了巨大的成功。然而,大多数现有的CTG研究忽略了如何利用属性纠缠来增强受控生成文本的多样性。面对这种困境,我们专注于一个新的CTG场景,即,由于高质量的祝福文本需要CTG模型来综合考虑多个属性之间的纠缠(例如,对象和场合)。为了促进祝福生成的研究,我们提出了EBleT,一个大规模的纠缠祝福文本数据集,包含293 K的英语句子注释与多个属性。此外,我们提出了新的评价指标来衡量我们设计的基线模型所产生的祝福文本的质量。我们的研究为可控文本生成开辟了一个新的研究方向,并使属性纠缠CTG模型的发展成为可能。我们的数据集和源代码可在\url{https://github.com/huangshulin123/Blessing-Generation}上获得。
2022-10-29 cs.CL
MTG: A Benchmark Suite for Multilingual Text Generation
ByteDance AI Lab(字节跳动人工智能实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们介绍MTG,一个新的基准套件,用于训练和评估多语言文本生成。它是第一个提出的多语言多路文本生成数据集,具有最大的人类注释数据(400k)。它包括五种语言(英语,德语,法语,西班牙语和中文)的四个生成任务(故事生成,问题生成,标题生成和文本摘要)。多路设置可以跨语言和任务测试模型的知识转移能力。利用MTG对几种流行的多语言生成模型进行了不同角度的训练和分析。我们的基准测试套件通过更多人工注释的并行数据来增强模型性能。它提供了全面的评估与不同的发电方案。代码和数据可在\url{https://github.com/zide05/MTG}上获得。
2022-06-10 cs.CL
CoNT: Contrastive Neural Text Generation
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学);Shanghai Collaborative Innovation Center of Intelligent Visual Computing(上海智能视觉计算协同创新中心)
近年来,对比学习作为一种新的解决暴露偏差问题的方法,在神经文本生成领域引起了越来越多的关注。它引入了序列级训练信号,这对于始终依赖于自回归解码的生成任务至关重要。然而,以前的方法使用对比学习在神经文本生成通常会导致性能较差。在本文中,我们分析了潜在的原因,并提出了一个新的对比神经文本生成框架,CoNT。CoNT从三个方面解决了阻碍对比学习在生成任务中广泛应用的瓶颈--对比实例的构建、对比损失的选择和解码策略。我们用10个基准测试对CoNT在5个生成任务上进行了验证,包括机器翻译、摘要、代码注释生成、数据到文本生成和常识生成。实验结果表明,CoNT明显优于传统的训练框架上的所有十个基准具有令人信服的利润。特别是,CoNT超过了以前最有竞争力的文本生成对比学习方法,分别在机器翻译和摘要上分别有1.50 BLEU和1.77 ROUGE-1。它在摘要、代码注释生成(无外部数据)和数据到文本生成方面达到了最新水平。
2023-02-03 cs.CL
Text Generation with Exemplar-based Adaptive Decoding
Google AI Language(谷歌AI语言团队);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个新的条件文本生成模型。它从传统的基于模板的文本生成技术中汲取灵感,其中源提供内容(即,在成功的编码器-解码器范例的基础上,它首先对来自给定输入文本的内容表示进行编码;为了产生输出,它从训练数据中检索样本文本作为“软模板”,然后将其用于构建样本特定的解码器。我们评估所提出的模型抽象的文本摘要和数据到文本生成。实证结果表明,该模型实现了强大的性能,优于可比基线。
2019-04-10 cs.CL
Exploring the Relationship Between Diversity and Quality in Ad Text Generation
Tohoku University(东北大学);RIKEN(理化学研究所);CyberAgent
本研究探索广告文本生成中多样性与质量的关系,考虑多样性增强方法、超参数、输入输出格式和模型等因素,以生成多样且吸引人的广告文本。
2025-05-22 cs.CL
Top-Down Tree Structured Text Generation
Fudan University(复旦大学);New York University Shanghai(上海纽约大学)
文本生成是自然语言处理任务中的基本构建块。现有的序列模型直接在文本序列上执行自回归,并且难以生成复杂结构的长句。本文提出了一种简单的方法,把句子生成的树生成任务。通过显式建模的语法结构的组成语法树和执行自上而下,广度优先的树生成,我们的模型适当地修复依赖关系,并执行隐式的全局规划。这与基于过渡的深度优先生成过程相反,深度优先生成过程在解析时难以处理不完整的文本,并且在规划中也不包含未来的上下文。我们在两个生成任务和一个句法分析任务上的初步结果表明,这是一个有效的策略。
2018-08-14 cs.CL
Syntax-driven Iterative Expansion Language Models for Controllable Text Generation
Lucy Software(露西软件公司);United Language Group(联合语言集团);TALP Research Center, Universitat Politècnica de Catalunya(加泰罗尼亚理工大学TALP研究中心)
占主导地位的语言建模范式将文本处理为离散标记的序列。虽然该方法可以捕获文本的潜在结构,但它本质上受限于文本生成的顺序动态。我们提出了一个新的范例,引入一个句法归纳偏见神经文本生成,依赖解析树被用来驱动Transformer模型迭代生成句子。我们的实验表明,这种范式是有效的文本生成,与LSTM和Transformers之间的质量,和可比的多样性,需要不到一半的解码步骤,其生成过程允许直接控制生成的文本的句法结构,使诱导的风格变化。
2020-10-30 cs.CL
SciXGen: A Scientific Paper Dataset for Context-Aware Text Generation
The University of Tokyo(东京大学);Tokyo Institute of Technology(东京工业大学);National Institute of Advanced Industrial Science Technology(日本产业技术综合研究所)
在科学论文中生成文本不仅需要捕获给定输入中包含的内容,还需要经常获取称为\textit{context}的外部信息。我们提出了一个新的任务,即科学领域的\textbf{context-aware text generation},旨在开发语境在生成文本中的贡献,从而推动了科学文本的生成。为此,我们为Conte \textbf{X} t-Aware Text \textbf{Gen} eration(SciXGen)提出了一个新的具有挑战性的大规模\textbf{Sci}有效论文数据集,由注释良好的205,304篇论文组成,其中充分引用了广泛使用的对象(例如,表、图、算法)。我们使用最先进的技术,对我们新构建的SciXGen数据集在生成描述和段落方面的功效进行了全面的基准测试。我们的数据集和基准将公开提供,希望能促进科学文本生成研究。
2021-10-20 cs.CL
Time-aware Prompting for Text Generation
University of Michigan(密歇根大学)
在本文中,我们研究了将时间戳,如文件创建日期,到生成系统的影响。研究了两种类型的时间感知提示:(1)在自然语言句子中编码文档时间戳的文本提示;以及(2)将时间戳转换为连续向量的线性提示。为了探索对未来数据点的外推,我们进一步引入了一个新的数据到文本生成数据集TempWikiBio,它包含了来自英文维基百科的超过400万个按时间顺序排列的传记文章修订版,每个修订版都与结构化的个人资料配对。通过TempWikiBio上的数据到文本生成,内容传输数据集上的文本到文本生成以及XSum上的摘要,我们表明编码器上的线性提示和文本提示提高了所有数据集的生成质量。根据人类评估和敏感性分析,尽管在测试从较晚时间提取的数据时性能下降较少,但线性提示更多地关注非时间信息,并且对给定的时间戳不太敏感。同时,文本提示建立了给定时间戳和输出日期之间的关联,从而在输出中产生更多的实际时间信息。
2022-11-03 cs.CL
Diffusion Models for Non-autoregressive Text Generation: A Survey
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京大数据管理与分析方法重点实验室)
本综述系统梳理了扩散模型在非自回归文本生成中的应用,涵盖模型定义、主流方法、关键设计、预训练语言模型利用及优化技术,并展望了未来方向。
2023-05-13 cs.CL
SESCORE2: Learning Text Generation Evaluation via Synthesizing Realistic Mistakes
ByteDance(字节跳动);UC Santa Barbara(加州大学圣巴巴拉分校)
本文提出自监督评估指标SESCORE2,通过扰动语料库句子合成真实模型错误进行训练,无需人工评分即可在多种语言和文本生成任务上超越无监督及部分有监督指标。
2023-07-07 cs.CL
LoopWeaver: Weaving Feedback Loops into Hierarchical Generation under Constraints
HiFlow通过分层反馈驱动优化框架,解决长文本生成中受约束的优化问题,提升生成质量与约束满足能力。
2026-11-10 cs.CL
Data-to-Text Generation with Iterative Text Editing
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
提出了一种基于迭代文本编辑的数据文本生成方法。我们的方法最大限度地提高了输出文本的完整性和语义准确性,同时利用了最近预训练的文本编辑模型(LaserTagger)和语言建模(GPT-2)的能力,以提高文本的流畅性。为此,我们首先使用普通模板将数据项转换为文本,然后通过为句子融合任务训练的神经模型迭代地改进结果文本。模型的输出通过简单的启发式算法进行过滤,并使用现成的预训练语言模型进行重新排序。我们在两个主要的数据到文本数据集(WebNLG,Cleaned E2 E)上评估了我们的方法,并分析了它的警告和好处。此外,我们表明,我们制定的数据到文本的生成开辟了可能性zero-shot领域自适应使用一般域数据集的句子融合。
2021-01-28 cs.CL
TextKD-GAN: Text Generation using KnowledgeDistillation and Generative Adversarial Networks
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
文本生成在许多NLP应用中特别重要,例如机器翻译、语言建模和文本摘要。生成对抗网络(GANs)在计算机视觉中的高质量图像生成方面取得了显着的成功,最近,GANs也引起了NLP社区的极大兴趣。然而,由于文本的离散性,在NLP中取得类似的成功将更具挑战性。在这项工作中,我们介绍了一种方法,使用知识蒸馏,有效地利用GAN设置文本生成。我们演示了自动编码器(AE)如何用于提供句子的连续表示,这是一种将非零概率分配给多个单词的平滑表示。我们提取该表示来训练生成器以合成类似的平滑表示。我们使用不同的数据集进行了一些实验来验证我们的想法,并表明与传统的基于GAN的文本生成方法相比,我们提出的方法在BLEU得分和Jensen-Shannon距离(JSD)度量方面具有更好的性能。
2019-04-23 cs.CL
Towards Content Transfer through Grounded Text Generation
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
最近的神经生成研究在控制文本的形式方面引起了极大的兴趣,如风格,人物角色和礼貌。然而,在控制内容的神经文本生成方面的工作较少。本文介绍了内容传输的概念,长格式的文本生成,其中的任务是生成一个文档中的下一个句子,既适合其上下文,并在一个内容丰富的外部文本源,如新闻故事接地。我们对维基百科数据的实验显示,与竞争基线相比,我们的数据有了显著的改善。作为本文的另一个贡献,我们发布了一个640k维基百科引用句子的基准数据集,与源文章配对,以鼓励探索这个新任务。
2019-05-13 cs.CL
Positioning yourself in the maze of Neural Text Generation: A Task-Agnostic Survey
Carnegie Mellon University(卡内基梅隆大学)
神经文本生成演变成几个关键的自然语言应用,从文本完成到自由形式的叙事生成。为了推进文本生成的研究,吸收现有的研究成果,并在这个巨大的增长领域中定位是至关重要的。具体来说,本文调查了建模方法的基本组成部分,这些建模方法在各种生成任务(如讲故事、总结、翻译等)中传递任务不可知论的影响,在这种情况下,我们提出了一个抽象的必要技术方面的学习范式,预训练,建模方法,解码和关键的挑战,在每个领域突出。因此,我们为该领域的研究人员提供了一站式目的地,以便于了解在哪里重新设计他们的工作以及它如何影响其他密切相关的生成任务。
2021-03-26 cs.CL
Controllable Text Generation with Focused Variation
Uber AI(优步AI);Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学芝加哥分校计算机科学系);Stanford University(斯坦福大学);ML Collective
本文介绍了一种新的控制语言生成的模型-聚焦变异网络(FVN)。以往的受控语言生成模型存在的主要问题是难以根据给定的属性生成文本,生成的文本缺乏多样性。FVN通过学习码本内每个属性的不相交离散潜在空间来解决这些问题,这允许可控性和多样性,同时生成流畅的文本。我们在两个文本生成数据集上评估了FVN,这些数据集具有注释的内容和样式,并通过自动和人工评估显示了最先进的性能。
2020-09-25 cs.CL
Pragmatically Informative Text Generation
Computer Science Division, UC Berkeley(加州大学伯克利分校计算机科学系);Computer Science and Artificial Intelligence Laboratory, MIT(麻省理工学院计算机科学与人工智能实验室)
我们使用计算语用学的技术来提高条件文本生成模型的信息量。这些技术将语言生产制定为说话者和听众之间的游戏,其中说话者应该生成输出文本,听众可以使用该文本来正确识别文本描述的原始输入。虽然这些方法在认知科学和基础语言学习中得到了广泛的应用,但对于更标准的语言生成任务,它们却很少受到关注。我们考虑两种语用建模方法的文本生成:一个语用是由信息保存,另一个语用是由明确的干扰建模。我们发现,这些方法提高了强大的现有系统的抽象摘要和结构化的意义表示生成的性能。
2019-04-04 cs.CL
PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation
Baidu Inc(百度公司);Faculty of Science and Technology, University of Macau(澳门大学科技学院);Virginia Tech(弗吉尼亚理工学院暨州立大学)
尽管预训练的语言模型在生成流畅文本方面取得了最新进展,但现有方法在需要适当的内容控制和规划以形成连贯的高级逻辑流的长格式文本生成任务中仍然存在不连贯问题。在这项工作中,我们提出了PLANET,一个新的生成框架,利用自回归自我注意力机制进行内容规划和表面实现动态。为了指导输出句子的生成,我们的框架使用潜在表示来丰富Transformer解码器,以维护基于词袋的句子级语义计划。此外,我们引入了一个新的基于连贯性的对比学习目标,以进一步提高输出的连贯性。在两个具有挑战性的长文本生成任务上进行了大量的实验,包括反驳生成和评论文章生成。自动和人工评估都表明,我们的方法显著优于强基线,并生成内容更丰富的连贯文本。
2022-03-17 cs.CL
Controlling keywords and their positions in text generation
Hitachi, Ltd. Research and Development Group(株式会社日立制作所研发集团)
文本生成中的挑战之一是按照用户的意图控制文本生成。以前的研究建议指定应包含在生成的文本中的关键字。然而,这种方法不足以生成反映用户意图的文本。例如,在文本的开头放置一个重要的关键字将有助于吸引读者的注意力;然而,现有的方法不能实现这种灵活的控制。在本文中,我们解决了一个新的任务,不仅控制关键字,而且每个关键字在文本生成的位置。为此,我们提出了一个独立于任务的方法,使用特殊的令牌来控制关键字的相对位置。摘要和故事生成任务的实验结果表明,该方法可以控制关键字及其位置。实验结果还表明,控制关键字位置可以生成比基线更接近用户意图的摘要文本。
2023-10-31 cs.CL
Emphatic generation: employing the theory of semantic emphasis for text generation
本文论述了文本生成和规划方法的问题,这些方法只与语法帐户进行有限的形式上可指定的接触。我们提出了一个增强的系统为基础的生成架构,德国(KOMET系统)的昆泽的语义强调理论方面。这样做,我们可以更好地控制生成中的概念选择和细粒度语法变化的选择。
1997-04-25 cmp-lg cs.CL
Improving Citation Text Generation: Overcoming Limitations in Length Control
The university of Texas at Dallas(德克萨斯大学达拉斯分校)
本文针对引文文本生成中长度不匹配导致质量下降的问题,深入研究了预测科学引文文本长度的局限性,并探索了使用启发式方法估计所需长度。
2024-07-20 cs.CL cs.DL
SALSA-TEXT : self attentive latent space based adversarial text generation
Montreal research Center(蒙特利尔研究中心)
受自注意力机制和Transformer架构在序列转换和图像生成应用中的成功启发,我们提出了新的基于自注意的架构来提高基于对抗性潜在代码的文本生成方案的性能。基于对抗性潜码的文本生成方法由于其良好的效果而受到广泛关注。在本文中,我们采取了一个步骤来加强这些设置中使用的架构,特别是AAE和ARAE。我们对两种基于潜在代码的方法(AAE和ARAE)进行了基准测试,这些方法是基于对抗性设置设计的。在我们的实验中,谷歌句子压缩数据集被用来比较我们的方法与这些方法使用各种客观和主观的措施。实验表明,所提出的(自我)注意力为基础的模型优于国家的最先进的对抗代码为基础的文本生成。
2018-10-08 cs.AI cs.CL
Data Augmentation for Text Generation Without Any Augmented Data
Tencent AI Lab(腾讯人工智能实验室)
数据增强是提高许多神经文本生成模型性能的有效方法。然而,目前的数据增强方法需要定义或选择适当的数据映射函数,将原始样本映射到增强样本。在这项工作中,我们得出一个目标,制定文本生成任务的数据增强的问题,而不使用任何增强的数据构造特定的映射函数。我们提出的目标可以有效地优化,并适用于流行的损失函数的文本生成任务的收敛速度保证。在两个文本生成任务的五个数据集上的实验表明,我们的方法可以接近甚至超过流行的数据增强方法。
2021-05-28 cs.AI cs.CL
Visualize Before You Write: Imagination-Guided Open-Ended Text Generation
UC Santa Barbara(加州大学圣巴巴拉分校);UC San Diego(加州大学圣地亚哥分校);UC Santa Cruz(加州大学圣克鲁兹分校)
文本到图像合成的最新进展使得在给定的上下文中可视化机器想象成为可能。另一方面,在生成文本时,人类作家擅长创造性的视觉化,这通过在将故事写下来之前形成想象力作为蓝图来增强他们的写作。受这样一个认知过程的启发,我们提出了一个自然的问题,即我们是否可以赋予机器同样的能力来利用视觉信息,并构建一个上下文的总体图像来指导文本生成。在这项工作中,我们提出了iNLG,使用机器生成的图像来指导开放式文本生成中的语言模型。实验和分析表明,在开放式文本生成任务,包括文本完成,故事生成,概念到文本生成在Few-Shot和全数据场景的有效性。自动度量和人工评估都验证了我们的iNLG生成的文本片段是连贯的和信息丰富的,同时显示轻微的退化。
2023-02-15 cs.AI cs.CL
Conditional Text Generation for Harmonious Human-Machine Interaction
Northwestern Polytechnical University(西北工业大学);Microsoft corporation(微软公司)
近年来,随着深度学习的发展,文本生成技术发生了很大的变化,为人类提供了多种服务,如餐厅预订、日常交流等。自动生成的文本越来越流畅,研究者开始考虑更多的拟人化文本生成技术,即条件文本生成,包括情感文本生成、个性化文本生成等,条件文本生成(Conditional Text Generation,CTG)也因此成为研究热点。作为一个很有前途的研究领域,人们对它进行了大量的研究,本文就其研究的新动向作一综述。本文首先在CTG概念模型的基础上,总结了神经文本生成领域的几个关键技术,阐述了神经文本生成领域的技术演进路线。我们进一步调查现有的CTG领域,并提出了几个通用的CTG学习模型。最后,我们讨论了CTG的开放性问题和有前途的研究方向。
2020-12-24 cs.AI cs.CL cs.HC
Pipelined Decoder for Efficient Context-Aware Text Generation
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);The Ohio State University(俄亥俄州立大学)
本文提出流水线解码器,通过并行生成多个子序列来突破自回归模型逐token生成的瓶颈,在问答、摘要和关键词生成任务上显著提升速度且不损失质量。
2025-07-01 cs.AI cs.CL
Watermarking Conditional Text Generation for AI Detection: Unveiling Challenges and a Semantic-Aware Watermark Remedy
University of California Riverside(加州大学河滨分校);Tianjin University(天津大学)
针对现有水印技术损害条件文本生成性能的问题,提出一种考虑输入上下文的语义感知水印算法,在BART和Flan-T5等模型上显著提升了摘要等任务的生成质量并保持检测能力。
2024-02-13 cs.CL cs.CR
$\textit{latent}$-GLAT: Glancing at Latent Variables for Parallel Text Generation
Bytedance AI Lab(字节跳动人工智能实验室);University of California Santa Barbara(加州大学圣巴巴拉分校);Nanjing University(南京大学)
近年来,并行文本生成由于其在生成效率上的成功而受到广泛关注。虽然许多先进的技术被提出来提高其生成质量,但它们仍然需要自回归模型的帮助进行训练,以克服数据集中的一对多多模态现象,限制了它们的应用。在本文中,我们提出了$\textit{latent}$ -GLAT,它采用离散的潜变量来捕获词的类别信息,并调用一个先进的课程学习技术,减轻多模态的问题。实验结果表明,我们的方法优于强基线的自回归模型的帮助下,进一步拓宽了并行解码范式的应用场景。
2022-04-05 cs.AI cs.CL
InfoDiffusion: Information Entropy Aware Diffusion Process for Non-Autoregressive Text Generation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);The Hong Kong Polytechnic University(香港理工大学)
针对扩散模型与人类文本生成过程的差异,提出非自回归模型 InfoDiffusion,采用关键信息优先策略、基于信息量的噪声调度及部分加噪结构,显著提升了生成质量、多样性与采样效率。
2023-10-18 cs.AI cs.CL
Step-by-Step: Separating Planning from Realization in Neural Data-to-Text Generation
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
数据到文本的生成在概念上可以分为两个部分:信息的排序和结构化(规划),以及生成描述信息的流畅语言(实现)。现代神经生成系统将这两个步骤合并为一个端到端的可微分系统。我们建议将生成过程分为一个忠实于输入的符号文本规划阶段,然后是一个只关注实现的神经生成阶段。为了训练计划到文本生成器,我们提出了一种将参考文本与其相应的文本计划进行匹配的方法。对于推理时间,我们描述了一种为新输入选择高质量文本计划的方法。我们在WebNLG基准上实施和评估我们的方法。我们的研究结果表明,从神经实现解耦文本规划确实提高了系统的可靠性和充分性,同时保持流畅的输出。我们观察到BLEU评分和手动评估都有所改善。我们的方法的另一个好处是能够输出相同输入的不同实现,为显式控制生成的文本结构铺平了道路。
2019-05-01 cs.AI cs.CL
CoBIT: A Contrastive Bi-directional Image-Text Generation Model
Columbia University(哥伦比亚大学);Google Research(谷歌研究院);UCLA(加州大学洛杉矶分校)
视觉和语言领域已经见证了预先训练的基础模型的扩散。大多数现有的方法都是使用CLIP等对比目标,PaLI等图像到文本生成目标或Parti等文本到图像生成目标进行独立预训练的。然而,这三个目标可以在相同的数据、图像-文本对上进行预训练,并且直观地说,它们相互补充,因为对比提供了全局对齐能力,而生成则提供了细粒度的理解。在这项工作中,我们提出了一个对比双向图像-文本生成模型(CoBIT),它试图将三个预训练目标统一在一个框架中。具体来说,CoBIT采用了一种新颖的unicoder-decoder结构,由图像unicoder,文本unicoder和交叉模态解码器组成。图像/文本unicoders可以在不同的任务中在编码和解码之间切换,实现灵活性和共享知识,有利于图像到文本和文本到图像的生成。CoBIT在图像理解、图像-文本理解(检索、字幕、VQA、SNLI-VE)和基于文本的内容创建方面具有卓越的性能,特别是在zero-shot场景中。例如,zero-shot ImageNet分类中的82.7%,zero-shot文本到图像生成中的9.37 FID得分和zero-shot字幕中的44.8 CIDER。
2023-03-23 cs.CL cs.CV