Online Personalizing White-box LLMs Generation with Neural Bandits
J.P. Morgan Chase（摩根大通）
研究提出基于神经老虎机的在线方法，通过用户反馈动态优化软指令嵌入，提升白盒LLM个性化文本生成效果，在新闻标题生成任务中ROUGE分数提升达62.9%。
2024-04-24 cs.AI cs.CL cs.LG
KoCoSa: Korean Context-aware Sarcasm Detection Dataset
Chung-Ang University（中央大学）
本文提出了韩语上下文感知讽刺检测数据集KoCoSa，通过大模型生成、过滤和人工标注构建，并证明其基线模型在依赖上下文的韩语讽刺检测任务中优于GPT-3.5。
2024-03-22 cs.AI cs.CL
Neural Generation of Regular Expressions from Natural Language with Minimal Domain Knowledge
MIT（麻省理工学院）；Microsoft（微软）
本文探讨了将自然语言查询转换为体现其含义的正则表达式的任务。与之前的工作相比，所提出的神经模型不使用特定领域的手工制作，而是直接从平行语料库中学习翻译。为了充分挖掘神经模型的潜力，我们提出了一种方法来收集一个大型的正则表达式，自然语言对语料库。我们得到的模型比以前的最先进的模型实现了19.6%的性能增益。
2016-08-09 cs.AI cs.CL
Neural Text Generation with Artificial Negative Examples
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；Graduate School of Science and Engineering, Ehime University（爱媛大学理工学研究生院）；Academic Center for Computing and Media Studies, Kyoto University（京都大学计算与媒体研究学术中心）；Salesforce Research（Salesforce研究院）；Microsoft Research（微软研究院）
以给定输入（例如机器翻译和图像描述）为条件的神经文本生成模型通常通过目标文本的最大似然估计来训练。然而，经过训练的模型在推理时会遇到各种类型的错误。在本文中，我们建议通过在强化学习框架中训练文本生成模型来抑制任意类型的错误，在该框架中，我们使用一个可训练的奖励函数，该函数能够区分参考文献和包含目标类型错误的句子。我们通过人为地将目标错误注入到参考文献中来创建这样的负例。在实验中，我们专注于两种错误类型，在模型生成的文本中重复和丢弃的令牌。实验结果表明，该方法在两个机器翻译任务和两个图像描述任务上都能有效地抑制生成错误，并取得显著的效果。
2020-12-28 cs.AI cs.CL
An Empirical Study on Neural Keyphrase Generation
University of Pittsburgh（匹兹堡大学）；Microsoft Research（微软研究院）
近年来，神经关键词生成（KPG）工作蓬勃发展，包括发布了几个大规模数据集和一系列新模型来解决这些问题。随着深度学习研究的不断发展，KPG任务的模型性能显著提高。然而，缺乏对不同模型设计的全面比较，以及对可能影响KPG系统泛化性能的相关因素的深入研究。在这项实证研究中，我们的目标是通过提供广泛的实验结果和分析影响KPG模型的推广性的最关键因素来填补这一空白。我们希望这项研究可以帮助澄清围绕KPG任务的一些不确定性，并促进未来的研究。
2021-04-15 cs.CL
Graph Neural Networks and Reinforcement Learning for Behavior Generation in Semantic Environments
fortiss GmbH（fortiss有限责任公司）；Technische Universität München（慕尼黑工业大学）
行为生成中使用的大多数强化学习方法利用向量信息作为输入。然而，这需要网络具有预定义的输入大小-在语义环境中，这意味着假设车辆的最大数量。此外，这种矢量表示对于车辆的顺序和数量不是不变的。为了减轻上述缺点，我们提出将图神经网络与演员-评论家强化学习相结合。由于图神经网络将相同的网络应用于每个车辆并聚合传入的边缘信息，因此它们对车辆的数量和顺序是不变的。这使得它们成为语义环境（由对象列表组成的环境）中网络的理想候选者。图神经网络还具有其它一些优点，使其更适合于语义环境。关系信息是显式给出的，不必进行推断。此外，图神经网络通过网络传播信息，可以收集更高程度的信息。我们证明了我们的方法使用高速公路换道的情况下，比较性能的图神经网络传统的。我们表明，图神经网络能够处理的情况下，不同数量和顺序的车辆在训练和应用。
2020-06-22 cs.LG cs.RO
Neural Generation of Diverse Questions using Answer Focus, Contextual and Linguistic Features
University of California Santa Cruz（加州大学圣克鲁兹分校）
问题生成是从文本输入自动创建问题的任务。在这项工作中，我们提出了一个新的注意编码器-解码器的递归神经网络模型的自动生成问题。我们的模型结合了语言特征和一个额外的句子嵌入来捕获句子和单词级别的含义。语言学特征被设计为捕获与命名实体识别、单词大小写和实体共指消解相关的信息。此外，我们的模型使用复制机制和特殊的答案信号，可以针对给定句子生成许多不同的问题。我们的模型在基准问题生成数据集上实现了19.98 Bleu_4的最新结果，大大优于所有先前发表的结果。人工评估还表明，这些添加的功能提高了生成的问题的质量。
2018-10-05 cs.AI cs.CL cs.LG
Neural Language Generation: Formulation, Methods, and Evaluation
University of Michigan（密歇根大学）
基于神经网络的生成建模的最新进展重新点燃了人们对拥有能够与人类无缝对话并能够理解自然语言的计算机系统的希望。神经架构已被用于在满足各种用户需求的多种上下文和任务中以不同程度的成功生成文本摘录。值得注意的是，在大规模数据集上训练的高容量深度学习模型显示出无与伦比的学习数据模式的能力，即使在缺乏明确的监督信号的情况下，也能提供大量关于生成真实和连贯文本的新可能性。虽然自然语言生成领域正在迅速发展，但仍有许多开放的挑战需要解决。在本综述中，我们正式定义和分类的自然语言生成的问题。我们回顾特定的应用任务，这些一般配方的实例，其中生成自然语言是具有实际意义的。接下来，我们将全面概述用于生成不同文本的方法和神经架构。然而，没有标准的方法来评估这些生成模型产生的文本的质量，这构成了该领域进步的严重瓶颈。为此，我们还回顾了目前的方法来评估自然语言生成系统。我们希望这项调查将提供一个翔实的概述的配方，方法和评估神经自然语言生成。
2020-07-31 cs.AI cs.CL cs.LG
Learning Neural Templates for Text Generation
Harvard University（哈佛大学）
虽然神经编码器-解码器模型在文本生成方面取得了显著的经验成功，但这种生成方式仍然存在一些未解决的问题。编码器-解码器模型在很大程度上（a）不可解释，（b）难以控制其措辞或内容。这项工作提出了一个神经生成系统，使用隐藏的半马尔可夫模型（HSMM）解码器，学习潜在的，离散的模板与学习共同生成。我们表明，该模型学习有用的模板，这些模板使生成更可解释和可控。此外，我们表明，这种方法可扩展到真实的数据集，并实现了强大的性能接近的编码器-解码器的文本生成模型。
2019-06-17 cs.CL cs.LG
Resurrecting Submodularity for Neural Text Generation
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（Salesforce亚洲研究院）
子模块化对于内容选择中的各种目标是期望的，其中当前的神经编码器-解码器框架是不足的。然而，到目前为止，它还没有被探索在神经编码器-解码器系统的文本生成。在这项工作中，我们定义了减少注意力与子模块功能，反过来，证明了有效的神经覆盖的子模块性。贪心算法近似求解子模最大化问题，不适用于自回归生成中的注意力分数优化。因此，而不是遵循如何子模函数已被广泛使用，我们提出了一个简化的，但原则性的解决方案。由此产生的注意力模块提供了一种架构简单且经验有效的方法来提高神经文本生成的覆盖率。我们在三个有向文本生成任务上进行了实验，这些任务具有不同的恢复率水平，跨越两种模式，三种不同的神经模型架构和两种训练策略变体。结果和分析表明，我们的方法在这些设置中推广良好，产生高质量的文本，并优于最先进的基线。
2020-10-04 cs.CL cs.LG
Order-Planning Neural Text Generation From Structured Data
University of Waterloo（滑铁卢大学）
从结构化数据生成文本（例如，表）对于诸如问答和对话系统的各种自然语言处理任务是重要的。在最近的研究中，研究人员使用神经语言模型和编码器-解码器框架来生成表到文本。然而，这些基于神经网络的方法在文本生成期间不对内容的顺序进行建模。当一个人根据给定的表格写摘要时，他或她可能会在措辞之前考虑内容顺序。例如，在传记中，一个人的国籍通常在传记中的职业之前提到。在本文中，我们提出了一个订单规划文本生成模型，捕捉不同领域之间的关系，并利用这种关系，使生成的文本更加流畅和光滑。我们在WikiBio数据集上进行了实验，并在BLEU，ROUGE和NIST分数方面实现了比以前方法更高的性能。
2017-09-01 cs.AI cs.CL cs.IR
Flexible and Creative Chinese Poetry Generation Using Neural Memory
Tsinghua University（清华大学）；Peking University（北京大学）；Huilan Limited（慧联（北京）有限公司）；Beijing University of Posts and Telecommunications（北京邮电大学）
研究表明，序列到序列神经模型可以成功地生成中文诗歌，特别是在注意力机制的作用下。然而，这种方法的一个潜在问题是，神经模型只能学习抽象的规则，而诗歌生成是一个高度创造性的过程，不仅涉及规则，还涉及纯统计模型原则上不适用的创新。本文提出了一种用于中文诗歌生成的记忆增强神经模型，其中神经模型和增强记忆一起工作，以平衡语言一致性和美学创新的要求，从而产生仍然符合规则的创新一代。此外，还发现记忆机制提供了有趣的灵活性，可用于生成不同风格的诗歌。
2017-05-10 cs.AI cs.CL
Recent Advances in Neural Text Generation: A Task-Agnostic Survey
University of Surrey（萨里大学）；The University of Sheffield（谢菲尔德大学）
本文是一篇任务无关的神经文本生成综述，从数据构建、神经框架等四大维度梳理最新进展，探讨未来研究方向，为该领域研发提供参考。
2023-06-12 cs.AI cs.CL
Step-by-Step: Separating Planning from Realization in Neural Data-to-Text Generation
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
数据到文本的生成在概念上可以分为两个部分：信息的排序和结构化（规划），以及生成描述信息的流畅语言（实现）。现代神经生成系统将这两个步骤合并为一个端到端的可微分系统。我们建议将生成过程分为一个忠实于输入的符号文本规划阶段，然后是一个只关注实现的神经生成阶段。为了训练计划到文本生成器，我们提出了一种将参考文本与其相应的文本计划进行匹配的方法。对于推理时间，我们描述了一种为新输入选择高质量文本计划的方法。我们在WebNLG基准上实施和评估我们的方法。我们的研究结果表明，从神经实现解耦文本规划确实提高了系统的可靠性和充分性，同时保持流畅的输出。我们观察到BLEU评分和手动评估都有所改善。我们的方法的另一个好处是能够输出相同输入的不同实现，为显式控制生成的文本结构铺平了道路。
2019-05-01 cs.AI cs.CL
Masked Adversarial Generation for Neural Machine Translation
Centrale Supelec（中央高等电力学院）；Naver Labs Europe
攻击神经机器翻译模型是离散序列上固有的组合任务，可以用近似算法解决。大多数方法使用梯度来独立地攻击每个样本上的模型。我们是否可以学习产生有意义的对抗攻击，而不是机械地应用梯度？与现有方法相比，我们通过训练基于语言模型的对抗生成器来学习攻击模型。我们提出了Masked Adversarial Generation（MAG）模型，该模型在整个训练过程中学习扰动翻译模型。实验表明，该方法提高了机器翻译模型的鲁棒性，同时比竞争方法更快。
2021-09-01 cs.AI cs.CL
NUBIA: NeUral Based Interchangeability Assessor for Text Generation
WL Research；Bogazici University（海峡大学）；Laval University（拉瓦尔大学）
我们提出了NUBIA，一种方法来建立自动评估指标的文本生成只使用机器学习模型作为核心组件。一个典型的NUBIA模型由三个模块组成：神经特征提取器，聚合器和校准器。我们展示了NUBIA的实现优于目前用于评估机器翻译的指标，总结并略超过/匹配与WMT段级直接评估任务，字幕级排名和图像描述评估的人类判断相关的最先进的指标。实现的模型是模块化的，可解释的，并设置为随着时间的推移不断改进。
2020-05-01 cs.CL cs.LG
Operations Guided Neural Networks for High Fidelity Data-To-Text Generation
Sun Yat-Sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
最近用于数据到文本生成的神经模型主要基于编码器-解码器网络上的数据驱动的端到端训练。尽管生成的文本大多是流畅的和信息丰富的，但它们通常会生成与输入结构化数据不一致的描述。这是一个关键问题，特别是在需要对原始数据进行推理或计算的领域。在本文中，我们试图通过利用预先执行的符号操作来提高神经数据到文本生成的保真度。我们提出了一个框架称为操作引导的基于注意力的序列到序列网络（OpAtt），具有专门设计的门控机制以及操作结果的量化模块，以利用来自预执行操作的信息。在两个体育数据集上的实验表明，该方法明显提高了生成文本对输入结构化数据的保真度。
2018-09-08 cs.AI cs.CL
Neural Data-to-Text Generation via Jointly Learning the Segmentation and Correspondence
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Tencent Inc（腾讯公司）
神经注意力模型在数据到文本生成任务中取得了巨大成功。虽然它通常擅长产生流畅的文本，但它存在信息缺失，重复和“幻觉”的问题。由于神经注意力结构的黑箱性质，以系统的方式避免这些问题是不平凡的。为了解决这个问题，我们建议显式地将目标文本分割成片段单元，并将它们与它们的数据对应关系对齐。分割和对应关系作为潜在变量联合学习，而无需任何人工注释。我们进一步施加一个软统计约束，以规范的分段粒度。由此产生的架构保持了与神经注意力模型相同的表达能力，同时能够以几倍的计算成本生成完全可解释的输出。在E2E和WebNLG的基准测试中，我们表明所提出的模型始终优于其神经注意力模型。
2020-05-03 cs.CL cs.LG
Negative Training for Neural Dialogue Response Generation
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
虽然深度学习模型为开放域对话响应生成领域带来了巨大的进步，但最近的研究结果表明，训练的模型具有不期望的生成行为，例如恶意响应和通用（无聊）响应。在这项工作中，我们提出了一个名为“消极训练”的框架，以尽量减少这种行为。给定一个经过训练的模型，框架将首先找到表现出不良行为的生成样本，然后使用它们来提供负面训练信号，以微调模型。我们的实验表明，负训练可以显着降低恶意响应的命中率，或阻止频繁响应，提高响应多样性。
2020-08-18 cs.CL cs.LG
Why is constrained neural language generation particularly challenging?
University of Chicago（芝加哥大学）；University of Michigan（密歇根大学）
本文综述约束神经语言生成这一新兴主题，通过区分条件与约束正式定义并分类相关问题，介绍任务、现有方法及评估指标，旨在明确该领域进展、趋势、前景方向与局限性。
2025-04-13 cs.AI cs.CL
On Training Instance Selection for Few-Shot Neural Text Generation
Saarland University（萨尔大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
大规模预训练的语言模型在文本生成方面取得了巨大的进步。通过仅对少量实例进行微调（Few-Shot设置），可以实现令人印象深刻的性能。尽管如此，几乎所有以前的工作只是简单地应用随机采样来选择Few-Shot训练实例。很少或根本没有注意到选择策略以及它们如何影响模型性能。在这项工作中，我们提出了一个在Few-Shot神经文本生成的训练实例选择的研究。选择决策仅基于未标记的数据，以便在一定的标记成本预算下识别最值得注释的数据点。基于Few-Shot训练样本应该具有多样性并代表整个数据分布的直觉，我们提出了一种简单的K均值聚类选择策略。我们表明，即使与天真的基于聚类的方法，生成模型始终优于随机抽样的三个文本生成任务：数据到文本生成，文档摘要和问题生成。我们希望，这项工作将呼吁更多地关注这一基本上未经探索的领域。
2021-07-07 cs.CL cs.LG
Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
编码器-解码器对话模型是用于在复杂领域中构建对话系统的最突出的方法之一。然而，它是有限的，因为它不能输出可解释的行动，在传统的系统，这阻碍了人类理解其生成过程。我们提出了一个无监督的离散句子表示学习方法，可以与任何现有的编码器-解码器对话模型，可解释的响应生成。在变分自编码器（VAE）的基础上，我们提出了两种新的模型DI-VAE和DI-VST，它们改进了VAE，并且可以通过自动编码或上下文预测来发现可解释的语义。我们的方法已经在真实世界的对话数据集上进行了验证，以发现语义表示并增强具有可解释生成的编码器-解码器模型。
2018-04-22 cs.AI cs.CL
Neural Machine Translation for Code Generation
University of Arizona（亚利桑那大学）
本文综述了用于代码生成的神经机器翻译（NMT）文献，根据输入输出表示、模型架构、优化技术、数据集和评估方法对各种方法进行分类，并讨论了现有局限与未来方向。
2023-05-22 cs.CL cs.LG
Content Word-based Sentence Decoding and Evaluating for Open-domain Neural Response Generation
各种编码器-解码器模型已经被应用于开放域对话中的响应生成，但是大多数传统模型直接学习从词汇输入到词汇输出的映射，而没有显式地对中间表示进行建模。利用语言层次结构和建模中间信息已被证明有利于许多语言理解和生成任务。Broca失语症的动机，我们建议使用一个内容词序列作为一个中间表示的开放域响应生成。实验结果表明，该方法提高了产生的响应的内容相关性，我们的模型通常可以选择正确的语法生成的内容词。同时，而不是评估完整的句子，我们建议计算传统的内容词序列，这是一个更好的指标的内容相关性的指标。
2019-06-26 cs.AI cs.CL
Chinese Poetry Generation with Planning based Neural Network
University of Science and Technology of China（中国科学技术大学）；Baidu Inc.（百度公司）
中文诗歌自动生成是自然语言处理中一个极具挑战性的课题。在本文中，我们提出了一种新的两阶段的诗歌生成方法，首先计划的子主题的诗歌，根据用户的写作意图，然后生成每一行的诗歌顺序，使用修改后的递归神经网络编码器-解码器框架。所提出的基于规划的方法可以确保生成的诗歌是连贯的，语义上与用户的意图一致。综合评价与人类的判断表明，我们提出的方法优于国家的最先进的诗歌生成方法和诗歌的质量在某种程度上与人类诗人。
2016-12-07 cs.AI cs.CL
Neural Machine Translation for Malayalam Paraphrase Generation
Institute of Linguistics, RAS（俄罗斯科学院语言学研究所）
本研究借助英语释义资源与预训练NMT模型探索四种马拉雅拉姆语释义生成方法，经自动指标与人工标注评估发现自动指标与人工判断存在偏差，凸显黏着语言需更精细的释义评估方案。
2024-01-31 cs.AI cs.CL
Neural Text Generation: A Practical Guide
Stanford University（斯坦福大学）
深度学习方法最近在机器翻译、对话响应生成、摘要和其他文本生成任务上取得了巨大的经验成功。在高水平上，该技术已经训练端到端神经网络模型，该模型由编码器模型组成，以产生源文本的隐藏表示，随后是解码器模型以生成目标。虽然这样的模型比早期的系统具有更少的块，但仍然需要进行大量的调优以实现良好的性能。特别是对于文本生成模型，解码器可以以不期望的方式表现，例如通过生成截断或重复的输出，输出平淡和通用的响应，或者在某些情况下产生不合语法的胡言乱语。本文旨在作为解决文本生成模型中这种不期望的行为的实用指南，旨在帮助实现现实世界的应用程序。
2017-11-27 cs.CL cs.LG stat.ML
Neural Models for Key Phrase Detection and Question Generation
Microsoft Research（微软研究院）；MILA, Université de Montréal（蒙特利尔大学米拉研究所）
我们提出了一个两阶段的神经模型来解决从文档中生成问题。首先，我们的模型通过在问答语料库中的答案上训练神经关键短语提取器来估计文档中的单词序列是人类在选择候选答案时会选择的单词序列的概率。预测的关键短语，然后作为目标答案和条件的序列到序列的问题生成模型与复制机制。从经验上讲，我们的关键短语提取模型显着优于实体标记基线和现有的基于规则的方法。我们进一步证明，我们的问题生成系统制定流畅，回答问题的关键短语。这个两阶段系统可用于增强或生成阅读理解数据集，这些数据集可用于改善机器阅读系统或教育环境。
2018-05-30 cs.AI cs.CL cs.NE
Cutting-off Redundant Repeating Generations for Neural Abstractive Summarization
NTT Communication Science Laboratories, NTT Corporation（NTT通信科学实验室，NTT公司）
本文解决了在基于RNN的编码器-解码器模型中经常观察到的冗余重复生成的减少。我们的基本思想是在编码器中联合估计每个目标词汇的上界频率，并在解码器中根据估计控制输出单词。我们的方法在基于RNN的编码器-解码器基线上显示出显着的改进，并在抽象摘要基准上取得了最佳结果。
2017-02-13 cs.AI cs.CL stat.ML
Improving Neural Story Generation by Targeted Common Sense Grounding
UC San Diego（加州大学圣地亚哥分校）
用神经语言模型生成的故事在语法和文体一致性方面表现出了希望。然而，生成的故事仍然缺乏常识推理，例如，它们往往包含剥夺世界知识的句子。我们提出了一个简单的多任务学习方案，通过利用旨在提供常识基础的数据集的辅助训练信号，在语言模型中实现定量更好的常识推理。当与我们的两阶段微调流水线相结合时，我们的方法实现了改进的常识推理和最先进的写作技巧上的困惑（Fan等人，2018）故事生成数据集。
2020-02-28 cs.CL cs.LG stat.ML
BSDAR: Beam Search Decoding with Attention Reward in Neural Keyphrase Generation
Eindhoven University of Technology（埃因霍温理工大学）；BRIN Indonesia（印度尼西亚国家研究与创新署）
本文针对神经关键短语生成中的长度偏差和束多样性问题，提出基于词级与n-gram级奖励函数的束搜索解码策略BSDAR，有效提升关键短语生成质量。
2023-10-30 cs.CL cs.LG stat.ML
Improving Neural Question Generation using Answer Separation
Seoul National University（首尔国立大学）；Automation and Systems Research Institute, Seoul National University（首尔国立大学自动化与系统研究所）
神经问题生成（NQG）是利用深度神经网络从给定段落生成问题的任务。以前的NQG模型存在一个问题，即生成的问题中有很大一部分包括问题目标中的单词，从而导致生成非预期的问题。在本文中，我们提出了答案分离seq2seq，它更好地利用了信息，从通道和目标答案。通过用特殊的标记替换原始段落中的目标答案，我们的模型学习识别应该使用哪个疑问词。我们还提出了一个新的模块称为关键词网，它有助于模型更好地捕捉目标答案中的关键信息，并生成适当的问题。实验结果表明，我们的答案分离方法显着减少了不适当的问题，其中包括答案的数量。因此，我们的模型显着优于以前的国家的最先进的NQG模型。
2018-11-19 cs.AI cs.CL cs.NE
Neural Headline Generation with Sentence-wise Optimization
Tsinghua University（清华大学）
最近，已经提出了用于标题生成的神经模型，通过学习使用递归神经网络将文档映射到标题。然而，由于传统的神经网络使用最大似然估计进行参数优化，它本质上将预期的训练目标限制在单词级别而不是句子级别。此外，模型预测的性能显著依赖于训练数据分布。为了克服这些缺点，本文采用最小风险训练策略，直接优化模型参数在句子级别的评价指标，并导致显着改善的标题生成。实验结果表明，我们的模型优于国家的最先进的系统在英文和中文标题生成任务。
2016-10-09 cs.CL
When to Finish? Optimal Beam Search for Neural Text Generation (modulo beam size)
Oregon State University（俄勒冈州立大学）
在诸如神经机器翻译、摘要和图像描述之类的神经文本生成中，束搜索被广泛用于提高输出文本质量。然而，在神经生成设置中，假设可以在不同的步骤中完成，这使得难以决定何时结束束搜索以确保最优性。我们提出了一种可证明的最优束搜索算法，该算法将始终返回最优分数完整假设（模束大小），并在建立最优性后立即完成（不晚于基线完成）。为了对抗神经生成对较短假设的倾向，我们还引入了一个有界长度奖励机制，该机制允许我们的束搜索算法的修改版本保持最优。神经机器翻译的实验表明，我们的原则性束搜索算法导致BLEU分数比以前提出的替代品的改善。
2018-08-31 cs.CL
Neural Assistant: Joint Action Prediction, Response Generation, and Latent Knowledge Reasoning
Google（谷歌）；Salesforce（赛富时）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；UC Santa Barbara（加州大学圣巴巴拉分校）
面向任务的对话提出了一个困难的挑战，包括多轮语言理解和生成，知识检索和推理，行动预测等多个问题。现代对话系统通常通过使用监督学习将对话历史转换为称为信念状态的符号对象来开始。然后，信念状态被用于推理外部知识源，其结果与会话历史一起独立地用于动作预测和响应生成任务。这种单独优化组件的管道不仅使开发过程变得繁琐，而且还使利用会话级用户强化信号变得不容易。在本文中，我们开发了神经助理：一个单一的神经网络模型，以会话历史和外部知识源作为输入，并共同产生文本响应和系统采取的行动作为输出。该模型利用来自文本生成和动作预测任务的弱监督信号学习对所提供的知识源进行推理，从而消除了对信念状态注释的需要。在MultiWOZ数据集中，我们研究了远程监督的效果，以及知识库的大小对模型性能的影响。我们发现，与Transformer相比，没有信念状态的神经助手能够结合外部知识信息，实现更高的事实准确性得分。在与报告的基线系统相当的设置中，当提供oracle信念状态时，神经助手显著提高了语言生成性能。
2019-10-31 cs.CL cs.LG stat.ML
Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement
New York University（纽约大学）
提出了一种基于迭代精化的条件非自回归神经序列模型。该模型基于隐变量模型和去噪自编码器的原理设计，一般适用于任何序列生成任务。我们广泛评估了所提出的模型对机器翻译（En-De和En-Ro）和图像字幕生成，并观察到它显着加快解码，同时保持生成质量相媲美的自回归对应。
2018-08-27 cs.CL cs.LG stat.ML
Rhythm, Chord and Melody Generation for Lead Sheets using Recurrent Neural Networks
Ghent University（根特大学）；imec（比利时微电子研究中心）
由循环神经网络生成的音乐通常缺乏方向感和连贯性。因此，我们提出了一个两阶段的LSTM为基础的模型，铅表生成，其中的谐波和节奏的模板的歌曲产生的第一，之后，在第二阶段，一个序列的旋律音符产生的条件下，这些模板。主观听力测试表明，我们的方法优于基线，并增加了感知的音乐连贯性。
2020-02-21 cs.CL cs.LG cs.SD
CoNT: Contrastive Neural Text Generation
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）
近年来，对比学习作为一种新的解决暴露偏差问题的方法，在神经文本生成领域引起了越来越多的关注。它引入了序列级训练信号，这对于始终依赖于自回归解码的生成任务至关重要。然而，以前的方法使用对比学习在神经文本生成通常会导致性能较差。在本文中，我们分析了潜在的原因，并提出了一个新的对比神经文本生成框架，CoNT。CoNT从三个方面解决了阻碍对比学习在生成任务中广泛应用的瓶颈--对比实例的构建、对比损失的选择和解码策略。我们用10个基准测试对CoNT在5个生成任务上进行了验证，包括机器翻译、摘要、代码注释生成、数据到文本生成和常识生成。实验结果表明，CoNT明显优于传统的训练框架上的所有十个基准具有令人信服的利润。特别是，CoNT超过了以前最有竞争力的文本生成对比学习方法，分别在机器翻译和摘要上分别有1.50 BLEU和1.77 ROUGE-1。它在摘要、代码注释生成（无外部数据）和数据到文本生成方面达到了最新水平。
2023-02-03 cs.CL
Select, Extract and Generate: Neural Keyphrase Generation with Layer-wise Coverage Attention
University of California, Los Angeles（加州大学洛杉矶分校）；Yahoo Research（雅虎研究院）
自然语言处理技术在关键短语生成方面已经显示出有希望的结果。然而，\emph{neural}关键短语生成的主要挑战之一是使用深度神经网络处理长文档。通常，文档在作为神经网络的输入之前被截断。因此，模型可能会错过目标文档中传达的要点。为了克服这一限制，我们提出了\emph{SEG-Net}，神经关键短语生成模型，它由两个主要组成部分，（1）选择器，选择文档中的突出句子和（2）提取器生成器，共同提取和生成关键短语从选定的句子。SEG-Net使用Transformer（一种自我关注的架构）作为基本构建块，并使用新颖的\emph{layer-wise}覆盖关注来总结文档中讨论的大多数要点。在科学和网络文档的七个关键词生成基准上的实验结果表明，SEG-Net的性能大大优于最先进的神经生成方法。
2021-06-04 cs.CL
Decoding Methods for Neural Narrative Generation
Johns Hopkins University（约翰斯·霍普金斯大学）；Stanford University（斯坦福大学）；New York University（纽约大学）
叙事生成是一个开放式的NLP任务，其中模型在给定提示的情况下生成故事。该任务类似于聊天机器人的神经反应生成;然而，响应生成的创新通常不适用于叙事生成，尽管这些任务之间存在相似性。我们的目标是通过应用和评估神经反应生成到神经叙事生成的解码方法的进展来弥合这一差距。特别是，我们采用GPT-2并在细胞核采样阈值和不同的解码超参数（特别是最大互信息）之间执行消融，通过自动和人工评估的多个标准分析结果。我们发现：（1）核采样通常是最好的阈值之间的0.7和0.9;（2）最大的互信息目标可以提高生成的故事的质量;（3）建立自动度量不相关以及与人类判断的叙事质量的任何定性指标。
2021-07-08 cs.CL
Recent Advances in Neural Question Generation
National University of Singapore（新加坡国立大学）
神经问题生成（NQG）的新兴研究已经开始整合更多种类的输入，并生成需要更高认知水平的问题。这些趋势表明NQG是NLP的领头羊，关于人类智能如何体现好奇心和整合的技能。我们提出了一个全面的调查神经问题生成，检查语料库，方法和评价方法。从这一点上，我们阐述了我们所看到的新兴的NQG的趋势：在学习范式，输入方式和认知水平的NQG考虑。最后，我们指出了未来的潜在方向。
2019-06-04 cs.CL
Self-Attention-Based Message-Relevant Response Generation for Neural Conversation Model
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
使用序列到序列框架，许多用于聊天的神经会话模型成功地实现了响应的自然性。然而，神经会话模型往往会给出通用的反应，而不是特定于给定的消息，这仍然是一个挑战。为了缓解这种倾向，我们提出了一种方法，以促进消息相关的和多样化的反应，神经会话模型，通过使用自我注意，这是时间效率和有效的。此外，我们提出了一个调查，为什么以及如何有效的自我注意是在深入的比较与标准的对话生成。实验结果表明，该方法提高了标准的对话生成在各种评价指标。
2018-05-23 cs.CL
Low-Resource Neural Headline Generation
Tallinn University of Technology（塔林理工大学）
最近的神经标题生成模型已经显示出很好的结果，但通常是在非常大的数据集上训练的。我们专注于通过预训练来提高较小数据集上的标题质量。我们提出了新的方法，可以预先训练模型的所有参数，并利用所有可用的文本，从而使困惑度相对提高了32.4%，ROUGE提高了2.84点。
2017-07-31 cs.CL
Straight to the Gradient: Learning to Use Novel Tokens for Neural Text Generation
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（赛富时亚洲研究院）
先进的大规模神经语言模型在许多语言生成任务中取得了重大成功。然而，最常用的训练目标，最大似然估计（MLE），已经被证明是有问题的，其中训练的模型更喜欢使用枯燥和重复的短语。在这项工作中，我们引入ScaleGrad，直接修改的梯度的损失函数，以弥补退化问题的标准MLE目标。通过直接操纵梯度信息，ScaleGrad使模型学习使用新的令牌。实验结果表明，我们的方法不仅在开放式生成的有效性，而且在定向生成任务。由于架构简单，我们的方法可以作为一个通用的训练目标，适用于大多数神经文本生成任务。
2021-06-14 cs.CL
NeuralREG: An end-to-end approach to referring expression generation
Tilburg University（蒂尔堡大学）；University of Leipzig（莱比锡大学）；University of Paderborn（帕德博恩大学）
传统的指称表达生成（REG）模型首先决定文本中对话语实体的指称的形式，然后决定指称的内容，通常依赖于诸如显著性和语法功能之类的特征。在本文中，我们提出了一种新方法（NeuralREG），它依赖于深度神经网络，可以在没有显式特征提取的情况下一次性做出关于形式和内容的决定。使用WebNLG语料库的去词汇化版本，我们证明了神经模型在两个强基线上有了实质性的改进。数据和模型是公开的。
2018-05-21 cs.CL
nBIIG: A Neural BI Insights Generation System for Table Reporting
IBM Research（IBM研究院）
我们提出了nBIIG，一个神经商业智能（BI）洞察生成系统。给定一个表格，我们的系统应用各种分析来创建相应的RDF表示，然后使用神经模型从这些表示中生成流畅的文本见解。分析师可以通过人在环范例使用生成的见解来增强创建引人注目的表格报告的任务。底层的生成神经模型是在大量精心提取的数据上训练的，这些数据来自多个BI领域。因此，该系统可以在开放域表上生成忠实和流畅的见解，使其实用和有用。
2022-11-08 cs.CL
Improving Quality and Efficiency in Plan-based Neural Data-to-Text Generation
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们遵循我们在Moryossef et al（2019）中提出的神经数据到文本生成的分步方法，其中生成过程分为文本规划阶段和规划实现阶段。我们对该框架提出了四个扩展：（1）我们引入了一个可训练的神经规划组件，它可以比原始规划器快几个数量级地生成有效的计划;（2）我们引入了输入提示，提高了模型处理不可见关系和实体的能力;（3）我们引入了一个通过重新排序进行验证的阶段，大大提高了结果文本的忠实性;（4）引入了一个简单有效的指称表达式生成模块。这些扩展导致生成过程更快、更流畅和更准确。
2019-09-22 cs.CL
Controlling Linguistic Style Aspects in Neural Language Generation
Bar-Ilan University（巴伊兰大学）
神经自然语言生成（NNLG）的大部分工作都集中在控制生成文本的内容上。我们尝试控制生成的文本的几个风格方面，除了它的内容。该方法基于条件RNN语言模型，其中所需的内容以及风格参数作为条件上下文。我们展示了电影评论域的方法，并表明它是成功的生成连贯的句子对应所需的语言风格和内容。
2017-07-09 cs.CL
Improving Neural Question Generation using World Knowledge
Indian Institute of Technology Patna（印度帕纳布理工大学）；Microsoft Research Montreal（微软蒙特利尔研究院）
本文提出一种利用世界知识增强神经问题生成模型，通过引入链接实体和细粒度实体类型，提升生成问题的质量，在SQuAD和MS MARCO测试集上取得显著提升。
2025-12-24 cs.CL
Steering Output Style and Topic in Neural Response Generation
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了简单而灵活的训练和解码方法，以影响基于神经编码器-解码器的语言生成的输出风格和主题。这种能力在各种应用中都是理想的，包括会话系统，成功的代理需要以特定的风格产生语言，并生成由人类操纵者或外部知识操纵的响应。我们将神经生成过程分解为经验上更容易的子问题：忠诚度模型和基于选择性采样的解码方法。我们还描述了训练和采样算法，这些算法使用特定的语言风格限制或主题限制来偏置生成过程。人工评估结果表明，我们提出的方法能够限制风格和主题，而不会降低输出质量的会话任务。
2017-09-09 cs.CL
Neural Rule-Execution Tracking Machine For Transformer-Based Text Generation
Macquarie University（麦考瑞大学）；Microsoft STCA（微软（亚洲）互联网工程院）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61所）
序列到序列（S2S）神经文本生成模型，特别是预先训练的模型（例如，BART和T5）在各种自然语言生成任务上表现出令人信服的性能。然而，这些模型的黑盒性质限制了它们在特定规则（例如，可控约束、先验知识）。以前的工作要么设计特定的模型结构（例如，对应于规则“生成的输出应该包括源输入中的某些词”的复制机制）或实现专门的推理算法（例如，受约束的束搜索）以通过文本生成执行特定规则。这些方法需要逐个案例地仔细设计，并且难以并发地支持多个规则。在本文中，我们提出了一种名为神经规则执行跟踪机的新模块，该模块可以配备到各种基于变压器的生成器中，以同时利用多个规则来指导神经生成模型，以统一和可扩展的方式实现卓越的生成性能。多个基准测试的实验结果验证了该模型在可控文本生成和一般文本生成方面的有效性。
2021-07-27 cs.CL
Positioning yourself in the maze of Neural Text Generation: A Task-Agnostic Survey
Carnegie Mellon University（卡内基梅隆大学）
神经文本生成演变成几个关键的自然语言应用，从文本完成到自由形式的叙事生成。为了推进文本生成的研究，吸收现有的研究成果，并在这个巨大的增长领域中定位是至关重要的。具体来说，本文调查了建模方法的基本组成部分，这些建模方法在各种生成任务（如讲故事、总结、翻译等）中传递任务不可知论的影响，在这种情况下，我们提出了一个抽象的必要技术方面的学习范式，预训练，建模方法，解码和关键的挑战，在每个领域突出。因此，我们为该领域的研究人员提供了一站式目的地，以便于了解在哪里重新设计他们的工作以及它如何影响其他密切相关的生成任务。
2021-03-26 cs.CL
A Simple, Fast Diverse Decoding Algorithm for Neural Generation
Stanford University（斯坦福大学）
在本文中，我们提出了一个简单，快速的解码算法，促进多样性的神经生成。该算法通过增加兄弟姐妹间的排序惩罚来修改标准的束搜索算法，有利于从不同的父母中选择假设。我们评估所提出的模型的对话响应生成，摘要摘要和机器翻译的任务。我们发现，不同的解码有助于所有的任务，特别是那些需要重新排序。我们进一步提出了一种变体，该变体能够使用强化学习（RL）针对不同输入自动调整其多样性解码率。我们观察到这种RL技术的进一步性能提升。本文包括来自未发表脚本“互信息和多样解码改善神经机器翻译“（Li和Jurafsky，2016）的材料。
2016-12-22 cs.CL
Neural Text Generation from Structured Data with Application to the Biography Domain
EPFL（洛桑联邦理工学院）；Facebook AI Research（Facebook人工智能研究院）
本文介绍了一种用于概念到文本生成的神经模型，该模型可扩展到大型，丰富的领域。我们使用维基百科上的一个新的传记数据集进行实验，该数据集比现有资源大一个数量级，样本超过70万。该数据集也更加多样化，拥有40万词汇，而Weathergov或Robocup只有几百个单词。我们的模型建立在最近的工作条件神经语言模型的文本生成。为了处理大词汇量，我们扩展了这些模型，将固定词汇与复制动作混合，将特定于样本的单词从输入数据库转移到生成的输出句子。我们的神经模型显著优于经典Kneser-Ney语言模型，适应于此任务近15 BLEU。
2016-09-23 cs.CL
