Copy mechanism and tailored training for character-based data-to-text generation
University of Turin（都灵大学）；Sorbonne Université（索邦大学）；Criteo AI Lab（Criteo人工智能实验室）
在过去的几年里，许多不同的方法都集中在使用深度递归神经网络来生成自然语言。最广泛使用的序列到序列神经方法是基于单词的：因此，它们需要一个称为去词汇化（相反，去词汇化）的预处理步骤来处理不常见或未知的单词。然而，这些形式的处理产生了依赖于所使用的词汇的模型，并且不是完全神经的。在这项工作中，我们提出了一个端到端的序列到序列模型与注意力机制的阅读和生成在一个字符的水平，不再需要去词汇化，标记化，甚至小写。此外，由于字符构成了每个文本的公共“构建块”，因此它还允许更通用的文本生成方法，从而可以利用迁移学习进行训练。这些技能的获得得益于两个主要特征：（i）在标准生成机制和复制机制之间交替的可能性，这允许直接复制输入事实以产生输出，以及（ii）使用原始训练管道，进一步提高生成文本的质量。我们还介绍了一个名为E2E+的新数据集，旨在突出基于字符的模型的复制能力，这是E2E挑战赛中使用的著名E2E数据集的修改版本。我们根据五个广泛接受的指标（包括广泛使用的BLEU）测试了我们的模型，结果表明，与基于字符和基于单词的方法相比，它具有竞争力的性能。
2020-05-11 cs.CL cs.LG cs.NE
TrICy: Trigger-guided Data-to-text Generation with Intent aware Attention-Copy
Samsung R&D Institute Bangalore（三星研究院班加罗尔分部）
针对设备端部署中大型语言模型内存占用高的问题，提出轻量级框架TrICy，利用意图感知注意力-复制机制和可选触发词引导，在多个数据集上显著提升数据到文本生成质量，超越现有LLM。
2024-01-25 cs.AI cs.CL cs.LG
Improving generation quality of pointer networks via guided attention
Adobe Research（奥多比研究院）；Carnegie Mellon University（卡内基梅隆大学）
指针生成器网络已成功地用于抽象摘要。除了生成新单词的能力外，它还允许模型从输入文本中复制来处理词汇表外的单词。在本文中，我们指出了两个关键的缺点，通过人工检查，统计分析和人类的评价与此框架生成的摘要。第一个缺点是生成的摘要的提取性质，因为网络最终会在大多数情况下从输入文章中复制，从而影响生成的摘要的抽象性质。第二个缺点是生成的文本中的事实不准确，尽管语法正确。我们的分析表明，这是由于不正确的注意力转移之间的文章的不同部分。我们提出了一个初步的尝试，通过外部附加从输入文本解析的传统语言信息，从而在底层文本的结构上教授网络，来解决这两个缺点。结果表明，这种额外的线索，以提高一代的可行性和潜力。
2019-01-20 cs.CL cs.LG stat.ML
A more abstractive summarization model
指针生成网络是一种非常流行的文本摘要方法。最近在这个领域的工作仍然建立在基线指针生成器的基础上，通过增加内容选择阶段，或通过将解码器分解为上下文网络和语言模型。然而，基于指针生成器基础架构的所有这些模型都不能在摘要中生成新的单词，并且大多数都是从源文本中复制单词。在我们的工作中，我们首先彻底调查了为什么指针生成器网络无法生成新单词，然后通过添加词汇表外（OOV）惩罚来解决这个问题。这使我们能够显著提高新颖性/抽象性的数量。我们使用规范化的n-gram的新颖性分数作为度量，用于确定抽象的水平。此外，我们还报告了我们的模型的胭脂分数，因为大多数摘要模型的评估与R-1，R-2，R-L分数。
2020-02-25 cs.CL
The Stable Entropy Hypothesis and Entropy-Aware Decoding: An Analysis and Algorithm for Robust Natural Language Generation
Mila（米拉研究所）；McGill University（麦吉尔大学）；DeepMind（深度思维）；Meta AI
最先进的语言生成模型在应用于开放式生成问题（如文本补全、故事生成或对话建模）时可能会退化。这种退化通常表现为不连贯、缺乏词汇多样性、自我重复或从上下文中复制。在本文中，我们假设“类人”代通常位于一个狭窄的和几乎平坦的熵带，这些熵边界的违反与退化行为。我们的实验表明，这种稳定的窄熵区存在于模型，任务和域中，并证实了这一假设，即违反这一区域与退化相关。然后，我们使用这种洞察力，提出了一个熵感知解码算法，尊重这些熵的界限，从而减少退化，更多的上下文，和“类人”的语言生成在开放式文本生成设置。
2023-02-14 cs.CL
A Copy Mechanism for Handling Knowledge Base Elements in SPARQL Neural Machine Translation
Polytechnique Montreal（蒙特利尔综合理工学院）
从英语到SPARQL的神经机器翻译（NMT）模型是SPARQL查询生成的一个很有前途的发展。然而，目前的架构无法集成知识库（KB）模式，并处理在训练过程中看不到的知识资源，类和属性的问题，使它们无法在训练集中覆盖的主题范围之外使用。受自然语言处理任务中性能提升的启发，我们提出将神经SPARQL查询生成的复制机制作为解决这个问题的一种方法。我们通过向两个Seq2Seq架构（CNN和Transformers）添加复制层和动态知识库词汇来说明我们的建议。这一层使模型直接从问题中复制知识库元素，而不是生成它们。我们在最先进的数据集上评估我们的方法，包括引用未知KB元素的数据集，并测量复制增强架构的准确性。我们的研究结果表明，在所有数据集上的性能显着增加相比，非复制架构。
2022-11-18 cs.CL cs.LG
Efficient Summarization with Read-Again and Copy Mechanism
Tsinghua University（清华大学）；University of Toronto（多伦多大学）
编码器-解码器模型已被广泛用于解决序列到序列预测任务。然而，目前的方法有两个缺点。首先，编码器计算每个单词的表示，只考虑到到目前为止已经读取的单词的历史，产生次优表示。第二，当前的解码器利用大的词汇表，以便最小化未知词的问题，导致解码时间慢。在本文中，我们解决这两个缺点。为了实现这个目标，我们首先引入一个简单的机制，在提交每个单词的表示之前，首先读取输入序列。此外，我们提出了一个简单的复制机制，能够利用非常小的词汇表和处理词汇表外的话。我们证明了我们的方法在Gigaword数据集和DUC竞争中的有效性，优于最先进的技术。
2016-11-10 cs.CL
Generating Titles for Web Tables
Stanford University（斯坦福大学）；Google（谷歌）
描述性标题为解释从网页中提取的表格提供了重要的上下文，并且是基于表格的Web应用程序的关键组件。先前的方法已经尝试通过选择与表格相关联的现有文本片段来产生标题。然而，这些方法受限于它们对先验存在的合适标题的依赖。在我们的用户研究中，我们观察到标题的相关信息往往分散在页面上，并且通常-超过80%的时间-不会逐字出现在页面的任何地方。我们建议，而不是序列到序列的应用程序神经网络模型作为一个更普遍的手段，产生高质量的标题。这是通过提取许多具有潜在相关信息的文本片段，将其编码到输入序列中，并在解码器中使用复制和生成机制来平衡生成标题的相关性和可读性来实现的。我们通过对样本Web表格的人工评估来验证这种方法，并报告说，虽然仅具有复制机制或仅具有生成机制的序列模型很容易被简单的基于选择的基线所超越，但具有这两种功能的模型表现优于所有模型，接近众包标题的质量，同时训练不到一万个示例。据我们所知，所提出的技术是第一个考虑表格标题的文本生成方法，并建立了一个新的艺术状态。
2019-06-05 cs.CL cs.LG stat.ML
Learning from History: Modeling Temporal Knowledge Graphs with Sequential Copy-Generation Networks
National University of Defense Technology（国防科技大学）；University of Southern California（南加州大学）
大型知识图谱通常会增长以存储时间事实，这些时间事实对实体沿时间轴的动态关系或交互进行建模。由于这样的时间知识图谱经常遭受不完整性，重要的是开发时间感知的表示学习模型，帮助推断缺失的时间事实。虽然时间事实通常是不断演变的，但据观察，许多事实往往显示出沿时间轴的重复模式，如经济危机和外交活动。这一观察表明，模型可以从历史上出现的已知事实中学到很多东西。为此，我们提出了一个新的表示学习模型的时间知识图谱，即CyGNet，基于一个新的时间感知副本生成机制。CyGNet不仅能够从整个实体词汇中预测未来的事实，而且能够识别具有重复性的事实，并参考过去的已知事实来预测这些未来的事实。我们使用五个基准数据集评估所提出的方法上的知识图谱完成任务。大量的实验表明，CyGNet的有效性预测未来的事实与重复以及从头事实预测。
2021-03-05 cs.AI cs.CL cs.LG
Get To The Point: Summarization with Pointer-Generator Networks
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
神经序列到序列模型为抽象文本摘要提供了一种可行的新方法（这意味着它们不限于简单地从原始文本中选择和重新排列段落）。然而，这些模型有两个缺点：它们容易不准确地再现事实细节，并且它们倾向于重复自己。在这项工作中，我们提出了一种新的架构，增强了标准的序列到序列的注意力模型在两个正交的方式。首先，我们使用混合指针生成器网络，它可以通过指向从源文本复制单词，这有助于准确再现信息，同时保留通过生成器生成新单词的能力。第二，我们使用覆盖率来跟踪已经总结的内容，这不鼓励重复。我们将我们的模型应用于CNN/Daily Mail摘要任务，至少比当前抽象的最先进技术高出2个ROUGE点。
2017-04-25 cs.CL
Amharic Abstractive Text Summarization
Ain-Shams University（艾因夏姆斯大学）
文本摘要是将长文本压缩成几个句子的任务。已经提出了许多方法来完成这项任务，其中一些最早的方法是建立统计模型（提取方法）能够选择重要的单词并将它们复制到输出中，但是这些模型缺乏解释句子的能力，因为它们只是选择重要的单词，而没有真正理解它们的上下文，也没有理解它们的含义，因此使用基于深度学习的架构（抽象方法），它有效地试图理解句子的含义，以建立有意义的摘要。在这项工作中，我们讨论了这些新的新颖的方法之一，结合课程学习与深度学习，这个模型被称为预定采样。我们将这项工作应用于最广泛使用的非洲语言之一，即阿姆哈拉语，因为我们试图用一流的深度学习架构来丰富非洲NLP社区。
2020-03-30 cs.CL cs.LG
Neural Machine Translation of Rare Words with Subword Units
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Samsung Electronics Polska sp. z o.o. - Samsung R&D Institute Poland（三星电子波兰有限公司——三星波兰研发中心）
神经机器翻译（NMT）模型通常使用固定的词汇表进行操作，但翻译是一个开放词汇表问题。以前的工作解决了词汇表外的单词的翻译，通过备份到字典。在本文中，我们介绍了一种更简单，更有效的方法，使NMT模型能够开放词汇翻译的编码罕见和未知的单词作为序列的子词单位。这是基于这样的直觉，即各种词类可以通过比单词更小的单位来翻译，例如名称（通过字符复制或音译），复合词（通过组合翻译），同源词和外来词（通过语音和形态转换）。我们讨论了不同的分词技术，包括简单的字符n-gram模型和分割的基础上的字节对编码压缩算法的适用性，并实证表明，子词模型提高了退避字典基线的WMT 15翻译任务英语-德语和英语-俄语的1.1和1.3 BLEU，分别。
2016-06-10 cs.CL
Retrieval is Accurate Generation
School of ECE, Peking University（北京大学电子学院）；Tencent AI Lab（腾讯人工智能实验室）
本文提出从支持文档中选取上下文感知短语的检索式生成方法，通过语言启发式初始化训练预言并迭代自强化，在知识密集型任务和开放式生成上显著提升性能，实现更精准的生成。
2024-03-16 cs.CL
Beyond Initialization Loss: A Systematic Study of Token Embedding Initialization Strategies for LLM Vocabulary Extension
该研究针对LLM词汇扩展，对比20余种初始化策略，发现子词组合方法更优，最优配置使CPT步骤减超6倍，轻量CPT可可靠选择最优初始化策略。
2026-08-05 cs.CL cs.LG
Automated Generation of Multiple-Choice Cloze Questions for Assessing English Vocabulary Using GPT-turbo 3.5
Waseda University（早稻田大学）；Center for English Language Education, Faculty of Science and Engineering（科学与工程学院英语教育中心）
本文提出基于 GPT 的 VocaTT 引擎自动生成英语词汇多项选择完形填空题，并通过 60 道学术词题目验证其质量与改进效果。
2024-03-04 cs.CL
The Copy Ceiling: An Input-Exposure Control for Ontology-Grounded Generation over Curated Corpora
DreamLab AI
本文提出暴露核算方法，通过复制上限基线评估基于图检索的语料库问答，区分暴露与恢复，揭示模型增益多源于上下文复制而非推理，并验证其作为评估控制的有效性。
2026-09-30 cs.CL cs.CY
A Comprehensive Evaluation of Neural SPARQL Query Generation from Natural Language Questions
Polytechnique Montreal（蒙特利尔综合理工学院）；LAMA-WeST Lab（LAMA-WeST实验室）
本文系统评估了基于神经机器翻译的SPARQL查询生成方法，证明复制机制和数据标注策略能显著提升预训练及非预训练语言模型的URI生成准确性，而大型语言模型表现未达预期。
2024-01-11 cs.CL cs.LG
Extended Answer and Uncertainty Aware Neural Question Generation
Xi’an Jiaotong University（西安交通大学）
在本文中，我们研究了自动问题生成，从相应的文本段落，其中一些文本的某些跨度可以作为答案创建问题的任务。我们提出了一个扩展的语音感知网络（EAN），该网络使用基于单词的覆盖机制（WCM）进行训练，并使用不确定性感知束搜索（UBS）进行解码。EAN通过编码器将目标答案用其周围的句子表示，并将扩展答案的信息融合到具有门控段落-答案注意的段落表示中，以解决目标答案表示不足的问题。为了减少不必要的重复，WCM惩罚在训练阶段中在不同的时间步长重复注意相同的单词。UBS的目标是在从输入文本段落复制单词的模型置信度和从词汇表生成单词的置信度之间寻求更好的平衡。我们在SQuAD数据集上进行了实验，结果表明我们的方法取得了显着的性能改善。
2019-11-19 cs.AI cs.CL cs.LG
Learning to Generate Questions by Learning What not to Generate
University of Alberta（阿尔伯塔大学）；Platform and Content Group, Tencent（腾讯平台与内容事业群）
自动问题生成是一种重要的技术，可以改善问答的训练，帮助聊天机器人开始或继续与人类对话，并为教育目的提供评估材料。现有的神经问题生成模型是不够的，主要是由于它们不能正确地对如何选择问题中的每个单词的过程进行建模，即，无论是重复给定的段落还是从词汇表中生成。在本文中，我们提出了我们的线索引导复制网络问题生成（CGC-QG），这是一个序列到序列的生成模型与复制机制，但采用了各种新的组件和技术，以提高问题生成的性能。在CGC-QG中，我们设计了一个多任务标记策略来识别一个疑问词是应该从输入的段落中复制还是生成，引导模型学习复制和生成之间的准确边界。此外，我们的输入通道编码器作为输入，在各种各样的其他功能，由线索词预测器，这有助于确定是否在输入通道中的每个单词是一个潜在的线索被复制到目标问题的预测。线索词预测器的设计是基于一种新的应用程序的图卷积网络的句法依赖树表示的每一个通道，从而能够预测线索词只根据他们的上下文在通道和他们的相对位置的答案在树。我们联合训练线索预测以及问题生成与多任务学习和一些实用的策略，以降低复杂性。广泛的评估表明，我们的模型显着提高了问题生成的性能，并在很大程度上优于所有以前的最先进的神经问题生成模型。
2019-02-27 cs.CL
Question Answering from Unstructured Text by Retrieval and Comprehension
Sony Corporation（索尼公司）；Carnegie Mellon University（卡内基梅隆大学）
开放域问答（QA）系统必须与外部知识源（例如网页）交互以查找相关信息。然而，像维基百科这样的信息源与知识库（KBs）相比结构不好并且难以利用。在这项工作中，我们提出了一个两步的方法来从非结构化文本的问答，包括检索步骤和理解步骤。对于理解，我们提出了一个基于RNN的注意力模型，该模型具有一种新的混合机制，用于从检索到的文章或固定词汇中选择答案。为了检索，我们引入了一个手工制作的模型和一个神经模型来对相关文章进行排名。我们在W IKI M OVIES数据集上实现了最先进的性能，将误差降低了40%。我们的实验结果进一步证明了每个引入的组件的重要性。
2017-03-26 cs.CL
Bridging the Gap between Different Vocabularies for LLM Ensemble
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Wuhan AI Research（武汉人工智能研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对大语言模型词表差异导致集成受限的问题，提出基于词表对齐的EVA方法，通过词表映射、分布投影和过滤策略实现生成步骤级的精细集成，在多类任务上性能优于单模型和传统集成方法。
2024-04-15 cs.CL
Seed Words Based Data Selection for Language Model Adaptation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们解决的问题，语言模型定制的应用程序中的ASR组件需要管理特定领域的术语，虽然目前国家的最先进的语音识别技术提供了良好的通用域的结果，适应专门的字典或词汇表仍然是一个悬而未决的问题。在这项工作中，我们提出了一种方法，用于自动选择句子，从文本语料库，匹配，语义和形态，词汇表的术语（词或复合词）提供的用户。最终目标是快速调整具有有限域内文本数据的混合ASR系统的语言模型，以便成功应对手头的语言领域;扩展和定制基线模型的词汇表，降低由此产生的OOV率。基于浅形态种子和语义相似性viaword 2 vec的数据选择策略进行了介绍和讨论;实验设置包括在同声传译的情况下，在三种语言的ASR被设计为识别特定领域的术语（即牙科）。使用不同的指标（OOV率，WER，准确率和召回率）的结果表明所提出的技术的有效性。
2021-07-20 cs.CL
Inflected Forms Are Redundant in Question Generation Models
University of Macau（澳门大学）；Meituan Inc.（美团公司）
具有编码器-解码器框架的神经模型为问题生成（QG）提供了可行的解决方案。然而，在分析模型词汇表后，我们发现当前的模型（基于RNN的和基于预训练的）有超过23%的变形形式。结果，编码器将为变形形式生成单独的嵌入，导致训练数据和参数的浪费。更糟糕的是，在解码时，这些模型容易受到不相关噪声的影响，并且它们的计算成本很高。在本文中，我们提出了一种方法，以提高QG的性能，融合词转换。首先，我们从编码器的输入中识别出词的屈折形式，并将其替换为词根词，让编码器更加关注重复的词根词。其次，我们建议将QG适应为编码器-解码器框架中以下动作的组合：生成疑问词，从源序列复制词或生成词变换类型。这种扩展可以大大减少解码器中预测字的大小以及噪声。我们将我们的方法应用于一个典型的基于RNN的模型和\textsc{UniLM}，以获得改进的版本。我们在SQuAD和MS MARCO数据集上进行了广泛的实验。实验结果表明，改进后的算法在BLEU、ROUGE-L和METEOR等性能指标以及时间开销方面都明显优于相应的基准算法。
2023-01-01 cs.CL
Topic-Preserving Synthetic News Generation: An Adversarial Deep Reinforcement Learning Approach
Arizona State University（亚利桑那州立大学）；Illinois Institute of Technology（伊利诺伊理工学院）
如今，存在强大的语言模型，例如OpenAI的GPT-2，可以生成可读的文本，并可以进行微调以生成特定领域的文本。考虑到GPT-2，它不能直接生成关于给定主题的合成新闻，并且语言模型的输出不能被显式地控制。在本文中，我们研究了新的问题的主题保持合成新闻生成。我们提出了一种新的基于深度强化学习的方法来控制GPT-2关于给定新闻主题的输出。当使用GPT-2生成文本时，默认情况下，从词汇表中选择最可能的单词。RL代理不是每次都从GPT-2的输出中选择最佳单词，而是尝试选择优化给定主题匹配的单词。此外，使用假新闻检测器作为对手，我们研究使用我们提出的方法生成真实的新闻。在本文中，我们认为真实新闻是不能被假新闻分类器轻易检测到的新闻。实验结果表明，所提出的框架在生成主题保持的新闻内容比最先进的基线的有效性。
2020-10-30 cs.CL cs.LG
The Devil is in the Prompts: Retrieval-Augmented Prompt Optimization for Text-to-Video Generation
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）
本文提出检索增强提示优化框架RAPO，通过双分支优化用户提示词以提升文本到视频生成质量，实验证明其能有效改善生成视频的静态与动态表现。
2025-05-06 cs.CL cs.CV
Frankentext: Stitching random text fragments into long-form narratives
University of Maryland, College Park（马里兰大学学院公园分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
Frankentext通过将大量随机文本片段拼接成连贯故事，挑战LLM生成质量与原创性，同时引发作者权属问题。
2026-04-19 cs.CL
