Selecting Better Samples from Pre-trained LLMs: A Case Study on Question Generation
Microsoft Research(微软研究院);National Chung Hsing University(国立中兴大学);INRIA(法国国家信息与自动化研究所)
近年来,大语言模型(LLM)在自然语言生成方面表现出了令人印象深刻的实力。提高世代多样性的一个常见做法是从模型中采样多个输出。然而,缺乏一种简单而稳健的方法来从这些随机样本中选择最佳输出。作为一个案例研究框架中的问题生成的背景下,我们提出了两个基于的方法来选择高质量的问题,从一组LLM生成的候选人。我们的方法在以下约束下工作:1)黑盒(不可修改)问题生成模型和2)缺乏对人类注释参考的访问-这两者都是LLM现实部署的现实限制。与自动以及人类的评价,我们的经验表明,我们的方法可以有效地选择更高质量的问题比贪婪的一代。
2022-09-22 cs.CL
SideControl: Controlled Open-domain Dialogue Generation via Additive Side Networks
University of Virginia(弗吉尼亚大学)
基于transformer的预训练语言模型提高了开放域对话系统的性能。先前的工作利用基于transformer的预训练语言模型来以两种一般方法生成具有期望属性的文本:(1)基于梯度的方法:用来自属性模型的梯度更新预训练模型的所有潜在表示;(2)加权解码方法:用属性函数对来自预训练模型的波束候选重新排序。然而,基于梯度的方法导致高计算成本,并且容易在小训练集上过拟合,而加权解码方法固有地受到低方差高偏差预训练模型的约束。在这项工作中,我们提出了一种新的方法来控制基于transformer的预训练语言模型的生成:SideControl框架,它利用一种新的控制属性丢失来合并有用的控制信号,并且在非常有限的训练样本下表现良好。我们在两个基准开放域对话数据集上评估了我们提出的方法,结果表明,SideControl框架具有更好的可控性,更高的生成质量和更好的样本效率比现有的基于梯度和加权解码基线。
2021-09-05 cs.CL
ELMER: A Non-Autoregressive Pre-trained Language Model for Efficient and Effective Text Generation
Renmin University of China(中国人民大学);Université de Montréal(蒙特利尔大学)
本文研究了基于预训练语言模型的文本生成任务。典型地,采用自回归(AR)方法来以逐个令牌的方式生成文本。尽管AR生成有许多优点,但它通常存在推理效率低下的问题。因此,提出了非自回归(NAR)模型来同时生成所有目标令牌。然而,NAR模型通常生成较低质量的文本,由于在输出文本中没有标记依赖性。在本文中,我们提出了ELMER:一个高效和有效的PLM NAR文本生成过程中显式建模的令牌依赖NAR生成。通过利用提前退出技术,ELMER根据其预测置信度在不同层启用令牌生成(更有信心的令牌将在较低层退出)。此外,我们提出了一种新的预训练目标,层排列语言建模,通过顺序排列每个令牌的出口层来预训练ELMER。在三个文本生成任务上的实验表明,ELMER显著优于NAR模型,并进一步缩小了与AR PLM的性能差距(\eg ELMER(29.92)与BART(30.61)ROUGE-L在XSUM中),同时实现了超过10倍的推理加速。
2022-10-28 cs.CL
Improving Non-autoregressive Generation with Mixup Training
Microsoft(微软)
虽然预训练的语言模型在各种自然语言理解任务中取得了巨大成功,但如何有效地将它们用于非自回归生成任务仍然是一个挑战。为了解决这个问题,我们提出了一个非自回归生成模型的基础上预先训练的Transformer模型。为了弥合自回归和非自回归模型之间的差距,我们提出了一种简单有效的迭代训练方法,称为MIX源和伪目标(MIST)。与其他迭代解码方法不同,这些方法基于多次解码迭代来牺牲推理速度以获得更好的性能,MIST工作在训练阶段,并且对推理时间没有影响。我们的三代基准测试,包括问题生成,摘要和释义生成,实验表明,该框架实现了新的国家的最先进的结果完全非自回归模型。我们还证明了我们的方法可以用于各种预训练模型。例如,基于小型预训练模型的MIST也获得了与seq2seq模型相当的性能。
2021-10-21 cs.CL
Table Caption Generation in Scholarly Documents Leveraging Pre-trained Language Models
University of Tsukuba(筑波大学)
本文讨论了为学术文档生成表格标题的问题,这通常需要表格之外的附加信息。为此,我们提出了一种方法,检索相关的句子,从论文的身体,和饲料的表格内容以及检索到的句子到预先训练的语言模型(如T5和GPT-2)生成表格标题。本文的贡献是:(1)讨论了学术文档的表格标题的挑战;(2)开发了一个数据集DocBank-TB,这是公开的;(3)比较了学术文档的标题生成方法与不同的策略,以检索相关的句子从论文主体。我们的实验结果表明,T5是更好的生成模型,因为它在BLEU和METEOR中的表现优于GPT-2,这意味着生成的文本更清晰,更精确。此外,输入与行标题或整个表格匹配的相关句子是有效的。
2021-08-18 cs.CL
Pre-Trained Language-Meaning Models for Multilingual Parsing and Generation
University of Groningen(格罗宁根大学)
本文提出基于话语表示结构的多语言预训练语言-意义模型,将意义表示纳入预训练并缩小预训练与微调目标差距,在多语言DRS解析与生成任务上取得最佳性能。
2023-05-31 cs.CL
Response Generation with Context-Aware Prompt Learning
School of Software, Shanghai Jiao Tong University(上海交通大学软件学院);NAVER AI Lab(NAVER AI实验室)
预训练的语言模型(PLM)标志着神经对话建模的巨大飞跃。虽然PLM是在大规模文本语料库上进行预训练的,但它们通常是在具有特定领域知识和对话风格的稀缺对话数据上进行微调的。然而,定制语言模型,同时充分利用大型预训练模型中的先验知识仍然是一个挑战。在本文中,我们提出了一种新的预训练对话建模方法,该方法将对话生成问题作为一个自动学习任务。我们的方法DialogPrompt不是对有限的对话数据进行微调,而是学习针对对话上下文进行优化的连续提示嵌入,从而适当地从大型预训练模型中获取知识。为了鼓励模型更好地利用提示嵌入,提示编码器被设计为基于对话上下文动态生成。流行的会话数据集上的实验表明,我们的方法显着优于微调基线和通用的学习方法。此外,人类的评价强烈支持对话提示在响应生成质量方面的优越性。
2021-12-13 cs.CL
TextBox 2.0: A Text Generation Library with Pre-trained Language Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE(教育部下一代智能搜索与推荐工程研究中心);DIRO, Université de Montréal(蒙特利尔大学计算机科学与运筹学系);School of Information, Renmin University of China(中国人民大学信息学院);Xidian University(西安电子科技大学)
为了促进文本生成的研究,本文提出了一个全面和统一的库,TextBox 2.0,专注于使用预先训练的语言模型(PLM)。为了全面,我们的库涵盖了$13$常见的文本生成任务及其相应的$83$数据集,并进一步整合了$45$ PLM,涵盖了通用、翻译、中文、对话、可控、提炼、提示和轻量级PLM。我们还实施了$4$高效的培训策略,并提供了$4$生成目标,用于从头开始预培训新的PLM。为了统一,我们设计了支持整个研究流程(从数据加载到训练和评估)的接口,确保每个步骤都可以以统一的方式完成。尽管功能丰富,但通过友好的Python API或命令行,很容易使用我们的库。为了验证我们的图书馆的有效性,我们进行了广泛的实验和四种类型的研究方案。该项目发布在链接:https://github.com/RUCAIBox/TextBox。
2022-12-26 cs.CL
K-PLUG: Knowledge-injected Pre-trained Language Model for Natural Language Understanding and Generation in E-Commerce
JD AI Research(京东AI研究院);University of California, Berkeley(加利福尼亚大学伯克利分校);Renmin University of China(中国人民大学)
现有的预训练语言模型(PLM)已经证明了自监督学习对广泛的自然语言处理(NLP)任务的有效性。然而,他们中的大多数并没有明确地意识到特定领域的知识,这是必不可少的下游任务在许多领域,如任务中的电子商业场景。在本文中,我们提出了K-PLUG,知识注入预训练的语言模型的基础上的编码器-解码器Transformer,可以转移到自然语言理解和生成任务。我们验证我们的方法在不同的范围内的电子商业的情况下,需要特定领域的知识。具体而言,我们提出了五个知识感知的自我监督的预训练目标,制定特定领域的知识,包括电子商业领域的知识库,产品实体的方面,产品实体的类别,和独特的销售主张的产品实体的学习。K-PLUG在一系列特定领域的NLP任务上取得了新的最先进的结果,包括产品知识库完成,抽象的产品摘要和多轮对话,全面显著优于基线,这表明所提出的方法有效地学习了语言理解和生成任务的各种特定领域的知识。
2021-09-27 cs.CL
Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph
Tsinghua University(清华大学);Microsoft Research(微软研究院)
尽管生成预训练的语言模型在一系列文本生成任务上取得了成功,但在生成过程中需要对底层常识知识进行推理的情况下,它们仍然会受到影响。将常识知识集成到生成式预训练语言模型中的现有方法简单地通过对个体知识三元组进行后训练来传递关系知识,而忽略了知识图谱内的丰富连接。我们认为,利用结构和语义信息的知识图谱有利于常识意识的文本生成。在本文中,我们提出了多跳推理流生成(GRF),它使预训练模型能够在从外部常识知识图谱中提取的多关系路径上进行动态多跳推理。我们的经验表明,我们的模型优于现有的基线上的三个文本生成任务,需要推理常识知识。我们还证明了动态多跳推理模块的有效性与推理路径推断的模型,提供合理的生成。
2020-09-24 cs.CL
Enhancing Pre-trained Models with Text Structure Knowledge for Question Generation
Peking University(北京大学)
今天,预训练的语言模型在问题生成(QG)任务中取得了巨大的成功,并且显着优于传统的序列到序列方法。然而,预先训练的模型将输入段落视为平坦序列,因此不知道输入段落的文本结构。对于QG任务,我们将文本结构建模为答案位置和句法依赖,并提出了答案局部性建模和句法掩码注意力来解决这些局限性。特别地,我们提出了带有高斯偏置的局部性建模,使模型能够关注答案周围的语境,并提出了一种掩码注意力机制,使输入语篇的句法结构在问题生成过程中可及。在SQuAD数据集上的实验表明,我们提出的两个模块比强大的预训练模型ProphetNet提高了性能,并且将它们结合在一起可以获得与最先进的预训练模型非常有竞争力的结果。
2022-09-09 cs.AI cs.CL
Are Pre-trained Language Models Knowledgeable to Ground Open Domain Dialogues?
Microsoft Corporation(微软公司);Meituan(美团)
我们研究基于知识的对话生成与预训练的语言模型。我们不是在基准上追求新的最先进技术,而是试图了解存储在预训练模型参数中的知识是否已经足以支持开放领域对话,从而使我们能够摆脱对生成过程中外部知识源的依赖。通过对基准测试的大量实验,我们发现,通过对一些包含知识的对话进行微调,预先训练的语言模型可以在自动评估和人类判断方面优于需要外部知识的最先进的模型,这对我们提出的问题给出了肯定的回答。
2020-11-19 cs.CL
proScript: Partially Ordered Scripts Generation via Pre-trained Language Models
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
描述典型日常活动的标准化事件序列-已被证明有助于通过提供期望,解决歧义和填写未陈述的信息来理解叙述。然而,到目前为止,它们已经被证明很难作者或从文本中提取。在这项工作中,我们首次证明了预先训练的神经语言模型(LM)可以被微调,以不同的粒度水平生成高质量的脚本,用于各种日常场景(例如,烤蛋糕)。为了做到这一点,我们收集了一个大型(6.4k),众包部分有序的脚本(名为proScript),这是大大大于以前的数据集,并开发了模型,生成脚本结合语言生成和结构预测。我们定义了两个互补的任务:(i)边缘预测:给定一个场景和无序事件,将事件组织成一个有效的(可能是偏序的)脚本,以及(ii)脚本生成:只给定一个场景,生成事件并将它们组织成一个(可能是偏序的)脚本。我们的实验表明,我们的模型表现良好(例如,F1=75.7(在任务(i)中),说明了一种克服以前收集脚本障碍的新方法。我们还表明,人类水平的性能仍有很大的改进空间。我们的任务、数据集和模型为学习脚本知识提供了新的研究方向。
2021-04-16 cs.CL
Automatic Code Generation using Pre-Trained Language Models
Stanford University(斯坦福大学)
自然语言处理\cite{gpt2} \cite{BERT}的最新进展已经导致在多个自然语言任务中接近人类的性能。在本文中,我们试图了解类似的技术是否可以应用到一个高度结构化的环境,严格的语法规则。具体来说,我们提出了一个端到端的机器学习模型,用于在Python语言中构建在预训练的语言模型之上的代码生成。我们证明了一个微调的模型可以在代码生成任务中表现良好,达到了0.22的BLEU分数,比合理的序列到序列基线提高了46%。所有用于训练和数据处理的结果和相关代码都可以在GitHub上找到。
2021-02-21 cs.CL cs.LG
Measuring Patent Claim Generation by Span Relevancy
Keio University(庆应义塾大学)
我们的专利权利要求生成目标是通过利用最新的深度学习技术为发明者实现“增强发明”。我们设想了在人工智能时代,为发明者构建“自动完成”功能的可能性,以构思更好的发明。为了生成高质量的专利权利要求,一个根本的问题是如何度量权利要求的质量,本文从权利要求跨度相关性的角度来解决这一问题。专利权利要求语言在NLP领域很少被探索。它以自己的方式独特,包含丰富的显式和隐式人类注释。在这项工作中,我们提出了一个跨度为基础的方法和一个通用的框架来衡量专利权利要求生成定量。为了研究专利权利要求生成的有效性,我们定义了一个度量标准来衡量生成的专利权利要求中的两个连续跨度是否相关。我们把这样的相关性测量作为一个跨度对分类问题,遵循自然语言推理的概念。从技术上讲,跨度对分类器是通过微调预训练的语言模型来实现的。专利权利要求生成通过微调其他预训练模型来实现。具体来说,我们对预先训练好的Google BERT模型进行微调,以测量由微调后的OpenAI GPT-2模型生成的专利申请跨度。通过这种方式,我们重新使用了NLP领域中两个最先进的预训练模型。我们的结果表明,微调预训练模型后的跨度对分类器的有效性。进一步验证了专利权利要求生成中跨度相关性的定量度量。特别地,我们发现当GPT-2文本生成的多样性变高时,由BERT测量的跨度相关比变低。
2019-12-02 cs.CL
Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文通过三领域大规模实验系统比较了预训练与非预训练关键词生成方法,揭示了领域内PLMs、参数预算分配和任务形式化等关键设计选择的影响,并在科学领域取得最先进性能。
2024-02-23 cs.CL
Unsupervised Paraphrase Generation using Pre-trained Language Models
Fidelity Investments(富达投资)
大规模预训练语言模型已被证明是各种自然语言任务中非常强大的方法。OpenAI的GPT-2 \cite{radford2019language}以其生成流畅,良好表达,语法一致的文本和短语完成的能力而闻名。在本文中,我们利用GPT-2的这种生成能力来生成释义,而无需对标记数据进行任何监督。我们研究了结果与其他监督和无监督方法的比较,以及使用释义进行数据增强对下游任务(如分类)的影响。我们的实验表明,与我们的模型生成的释义是质量好,是多样的,并提高下游任务的性能时,用于数据增强。
2020-06-09 cs.CL cs.LG
Pre-trained Language Models Return Distinguishable Probability Distributions to Unfaithfully Hallucinated Texts
Korea University(高丽大学)
本研究发现预训练语言模型对不忠实幻觉文本返回可区分的生成概率和不确定性分布,并基于此提出一种减少幻觉的训练算法,在保持文本质量的同时显著提升了忠实度指标。
2024-09-25 cs.CL
A Survey of Controllable Text Generation using Transformer-based Pre-trained Language Models
Beijing Institute of Technology(北京理工大学);Langboat Technology(朗博科技);The Open University(开放大学)
本文是首篇从基于Transformer的预训练语言模型视角展开的可控文本生成综述,系统梳理了该领域的常见任务、主要方法与评估方式,分析了现存挑战并提出未来研究方向,为相关研究者提供领域全景与研究路线参考。
2023-08-24 cs.CL
On Leveraging Encoder-only Pre-trained Language Models for Effective Keyphrase Generation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文研究仅编码器预训练语言模型在关键短语生成中的应用,发现前缀语言模型微调策略数据高效且性能优于通用seq2seq模型,并指出参数应向模型深度倾斜。
2024-02-21 cs.CL
Biologically Inspired Design Concept Generation Using Generative Pre-Trained Transformers
自然界中的生物系统已经进化了数百万年,以适应和生存的环境。他们开发的许多功能可以启发和有益于解决现代工业中的技术问题。这导致了一种特殊形式的类比设计,称为生物启发设计(BID)。虽然BID作为一种设计方法已被证明是有益的,生物学和工程学之间的差距不断阻碍设计师有效地应用该方法。因此,我们探讨了人工智能(AI)的最新进展,以数据驱动的方法来弥合这一差距。提出了一种基于生成式预训练语言模型(PLM)的生物类比自动检索和映射方法,并以自然语言的形式生成生物类比。最新的生成预训练Transformer,即GPT-3,被用作基础PLM。三种类型的设计概念生成器的识别和微调,从PLM根据松散的问题空间表示。机器评估器也被微调以评估所生成的BID概念内的域之间的映射相关性。该方法的评估,然后在一个现实世界的项目设计的轻型飞行汽车在其概念设计阶段,结果表明,我们的方法可以生成BID概念具有良好的性能。
2022-12-26 cs.CL
Dior-CVAE: Pre-trained Language Models and Diffusion Priors for Variational Dialog Generation
Ubiquitous Knowledge Processing Lab (UKP Lab)(普适知识处理实验室(UKP实验室));Department of Computer Science(计算机科学系);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI));Technical University of Darmstadt(达姆施塔特工业大学)
针对变分对话模型中高斯先验不兼容及后验崩溃问题,提出带扩散先验的分层CVAE模型Dior-CVAE,通过扩散模型增强先验兼容性并引入记忆丢弃机制,无需大规模预训练即可提升回复多样性。
2023-10-23 cs.CL
TaP: A Taxonomy-Guided Framework for Automated and Scalable Preference Data Generation
School of Computer Science and Technology, Tianjin University(天津大学计算机科学与技术学院);Xiaomi AI Lab(小米AI实验室)
TaP框架通过结构化分类体系实现跨语言的自动化偏好数据生成,使LLM在指令遵循和价值观对齐方面表现优于现有开源数据集。
2026-02-21 cs.CL
Neural Language Modeling for Contextualized Temporal Graph Generation
Carnegie Mellon University(卡内基梅隆大学)
本文提出了第一个研究使用大规模的预训练语言模型自动生成的事件级的时间图的文档。尽管神经预训练方法在NLP任务中取得了巨大的成功,但其在事件图上的时间推理潜力尚未得到充分探索。部分原因是难以获得具有人类注释事件和时间链接的大型训练语料库。我们通过使用现有的IE/NLP工具来自动生成大量(89,000)系统生成的文档-图对,并提出了一种新的上下文化图生成问题作为序列到序列映射任务。这些策略使我们能够在系统诱导的训练数据上利用和微调预训练的语言模型,以用于图生成任务。我们的实验表明,我们的方法是非常有效的生成结构和语义上有效的图。此外,一个具有挑战性的手标记,域外语料库的评估表明,我们的方法优于最接近的现有方法的几个指标上的大幅度。代码和预训练模型可在https://github.com/madaan/temporal-graph-gen上获得。
2021-04-12 cs.CL
Leveraging Pre-trained Models for Failure Analysis Triplets Generation
Mines Saint-Etienne(圣艾蒂安国立矿业学院);Univ. Clermont Auvergne(克莱蒙奥弗涅大学);STMicroelectronics(意法半导体)
预训练的语言模型最近在自然语言处理(NLP)领域获得了关注,用于文本摘要,生成和问答任务。这源于Transformer模型中引入的创新,以及与循环神经网络模型(长短期记忆(LSTM))相比的压倒性性能。在本文中,我们利用预先训练的因果语言模型(如Transformer模型)的注意力机制,用于生成故障分析三元组(FAT)的下游任务-用于分析半导体行业中有缺陷的组件的一系列步骤。我们比较了不同的Transformer模型,并观察到生成预训练的Transformer 2(GPT 2)优于其他Transformer模型的故障分析三元组生成(FATG)任务。特别是,我们观察到GPT 2(在1.5B参数上训练)在ROUGE上的表现大大优于预训练的BERT,BART和GPT 3。此外,我们引入Levenshstein序贯评价指标(LESE)更好地评价结构化FAT数据,并表明它与人类的判断比现有的指标相比。
2022-10-31 cs.CL cs.LG stat.AP
Do You Have the Right Scissors? Tailoring Pre-trained Language Models via Monte-Carlo Methods
ByteDance(字节跳动)
在大型语料库上预训练语言模型并根据特定任务数据对其进行微调是一种常见的方法。在实践中,我们观察到在小数据集上微调预训练模型可能会导致高估和/或低估问题。在本文中,我们提出了MC-Tailor,一种新的方法,以减轻上述问题的文本生成任务的截断和转移的概率质量从高估的地区低估的。在多种文本生成数据集上的实验表明,MC-Tailor的性能始终显著优于微调方法。我们的代码可以在这个URL上找到。
2020-07-13 cs.CL
Representation Learning for Resource-Constrained Keyphrase Generation
University of California Los Angeles(加州大学洛杉矶分校);AWS AI Labs(亚马逊云科技人工智能实验室)
最先进的关键短语生成方法通常依赖于大型注释数据集,限制了它们在具有有限注释数据的领域中的性能。为了克服这一挑战,我们设计了一种面向数据的方法,首先使用基于检索的语料库级统计来识别突出信息,然后使用大规模未标记文档基于预训练的语言模型学习特定于任务的中间表示。我们引入显著跨度恢复和显著跨度预测作为去噪训练目标,这些目标浓缩了关键短语生成所必需的文章内和文章间知识。通过在多个关键词生成基准上的实验,我们证明了所提出的方法在促进低资源关键词生成和zero-shot领域自适应方面的有效性.我们的方法特别有利于生成缺失的关键词,接近用大型训练集训练的模型的性能。
2022-10-22 cs.CL
Rethinking Model Selection and Decoding for Keyphrase Generation with Pre-trained Sequence-to-Sequence Models
University of California, Los Angeles(加州大学洛杉矶分校)
本文系统分析了模型选择与解码策略对基于预训练语言模型的键短语生成的影响,指出传统模型选择方法的局限性,并提出DeSel算法以提升贪婪搜索的召回率与语义F1表现。
2023-10-22 cs.CL
ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation
Baidu Inc.(百度公司)
预训练模型在各种自然语言处理(NLP)任务中取得了最先进的结果。最近的工作,如T5和GPT-3已经表明,扩大预训练的语言模型可以提高其泛化能力。特别地,具有1750亿个参数的GPT-3模型显示了其强大的任务不可知zero-shot/少样本学习能力。尽管它们取得了成功,但这些大规模模型是在纯文本上训练的,没有引入语言知识和世界知识等知识。此外,大多数大规模模型都是以自回归的方式训练的。因此,这种传统的微调方法在解决下游语言理解任务时表现出相对较弱的性能。为了解决上述问题,我们提出了一个统一的框架ERNIE 3.0,用于预训练大规模知识增强模型。它融合了自回归网络和自动编码网络,使得训练好的模型可以很容易地通过少样本学习、零样本学习或微调来适应自然语言理解和生成任务。我们在由纯文本和大规模知识图谱组成的4 TB语料库上训练了具有100亿个参数的模型。实验结果表明,该模型在54个中文NLP任务上的性能优于最先进的模型,其英文版本在SuperGLUE基准测试(2021年7月3日)中获得第一名,超过人类性能+0.8%(90.6% vs. 89.8%)。
2021-07-05 cs.CL
Commonsense-Aware Prompting for Controllable Empathetic Dialogue Generation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提高预训练的语言模型的情感意识是对话生成任务的一个新兴的重要问题。虽然先前的研究已经介绍了提高移情对话生成的方法,但很少有人讨论如何将常识知识结合到预先训练的语言模型中以用于可控对话生成。在这项研究中,我们提出了一个新的框架,提高移情对话生成使用预先训练的语言模型1)通过即时言语化结合常识知识,和2)控制对话生成使用策略驱动的未来会话。我们进行了实验,揭示了社会常识知识的纳入和执法控制的生成有助于提高生成性能。最后,我们讨论了我们的研究对未来研究的影响。
2023-02-02 cs.CL cs.LG
Pre-trained Language Models Do Not Help Auto-regressive Text-to-Image Generation
Stanford University(斯坦福大学);OpenAI;Apple ML Research(苹果机器学习研究部门)
研究探索将预训练语言模型适配于自回归文本到图像生成,发现其帮助有限,原因在于图像token与文本token语义差异大且图文数据集文本过于简单导致模型能力退化。
2024-09-25 cs.AI cs.CL cs.CV
Open-Domain Dialogue Generation Based on Pre-trained Language Models
DIRO, Université de Montréal(蒙特利尔大学DIRO)
预训练的语言模型已成功地用于开放域对话的响应生成。本文提出了四种主要框架:(1)分别对源语句和目标语句使用Transformer编码器和解码器的Transformer-ED;(2)对源语句和目标语句使用Transformer解码器的Transformer-Dec;(3)使用Transformer解码器的Transformer-MLM,该解码器在源侧应用双向注意力,在目标侧应用从左到右的注意力,并具有掩蔽的语言模型目标;以及(4)使用自回归目标代替的变换器-AR。在这项研究中,我们在3个数据集上比较了这些框架,我们的比较表明,最好的框架在源端使用双向注意力,并且不分离编码器和解码器。我们还研究了模型的差异,我们的实验证实了模型的性能直接受到潜在差异的影响。然后,我们提出了两种校正方法,以减少差异,都提高了模型的性能。这些结果表明,当我们使用预训练模型时,差异是需要考虑的一个重要因素,减少差异可以提高性能。
2020-10-24 cs.AI cs.CL
CDGP: Automatic Cloze Distractor Generation based on Pre-trained Language Model
National Chung Hsing University(国立中兴大学)
本文提出基于预训练语言模型的CDGP方法,自动生成完形填空干扰项,显著提升性能,NDCG@10从14.94提升至34.17。
2024-03-15 cs.AI cs.CL cs.LG
Controllable Generation from Pre-trained Language Models via Inverse Prompting
Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);Recurrent AI, Ltd.(Recurrent AI 有限公司);DAMO Academy, Alibaba Inc.(阿里巴巴达摩院)
大规模预训练的语言模型已经展示出强大的生成真实文本的能力。然而,控制生成结果仍然具有挑战性。以往的方法如提示等还远远不够,这限制了语言模型的使用。为了应对这一挑战,我们提出了一种创新的方法,反向提示,以更好地控制文本生成。反向提示的核心思想是在束搜索过程中,利用生成文本对提示进行反向预测,增强了提示与生成文本的相关性,提供了更好的可控性。在实验上,我们预训练了一个大规模的汉语语言模型,对开放域诗歌生成和开放域长篇问答任务进行了系统的研究。我们的研究结果表明,我们提出的方法大大优于基线,我们的生成质量接近人类的一些任务的表现。叙述者可以在https://pretrain.aminer.cn/apps/poetry.html尝试我们的诗歌生成演示,而我们的QA演示可以在https://pretrain.aminer.cn/app/qa找到。对于研究人员,代码在https://github.com/THUDM/InversePrompting中提供。
2021-11-09 cs.AI cs.CL cs.LG
Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models
Tsinghua University(清华大学);Tencent Inc.(腾讯公司)
大规模预训练的语言模型在自然语言生成任务上取得了巨大的成功。然而,它是很难控制的预训练的语言模型,以产生所需的属性,如主题和情感等句子,最近,贝叶斯可控语言模型(BCLMs)已被证明是有效的可控语言生成。BCLM不是微调预训练的语言模型的参数,而是使用外部判别器来指导预训练的语言模型的生成。然而,BCLM的训练和推理之间的不匹配限制了模型的性能。为了解决这个问题,在这项工作中,我们提出了一个“双子判别器”的可控语言生成,它以很小的计算成本来解决不匹配的问题。我们在两个可控的语言生成任务上测试了我们的方法:情感控制和主题控制。在这两项任务中,我们的方法在自动和人工评估中取得了新的最先进的结果。
2022-06-11 cs.AI cs.CL
A Tailored Pre-Training Model for Task-Oriented Dialog Generation
University of California, Davis(加州大学戴维斯分校)
最近大型预训练语言模型(如BERT和GPT-2)的成功表明了在下游对话生成任务中合并语言先验的有效性。然而,预训练模型在对话任务上的性能并不像预期的那样最佳。在本文中,我们提出了一个预先训练的角色交替语言模型(PRAL),专门为面向任务的会话系统。我们采用(Wu et al.,2019),分别对两个扬声器进行建模。我们还设计了一些技术,如开始位置随机化,知识蒸馏,和历史折扣,以提高预训练性能。我们通过清理13个现有的数据集来引入面向任务的对话预训练数据集。我们在三个不同的下游任务上测试PRAL。结果表明,PRAL执行更好或等同于国家的最先进的方法。
2020-04-24 cs.AI cs.CL
Explanation Graph Generation via Pre-trained Language Models: An Empirical Study with Contrastive Learning
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
预先训练的序列到序列语言模型在许多自然语言生成任务中取得了广泛的成功。然而,分析其生成图形等结构化输出的能力的工作相对较少。与自然语言不同,图在下游NLP任务的上下文中具有不同的结构和语义属性,例如,生成连接且非循环的图可以归因于其结构约束,而图的语义可以指边如何有意义地表示两个节点概念之间的关系。在这项工作中,我们研究了预训练的语言模型,以端到端的方式生成解释图,并分析了它们学习这种图的结构约束和语义的能力。我们首先表明,在有限的监督下,预先训练的语言模型通常会生成违反这些约束或语义不一致的图。由于管理大量的人类注释的图是昂贵和繁琐的,我们提出了简单而有效的方法,通过节点和边编辑操作,导致结构和语义上的积极和消极的图的图扰动。接下来,我们利用这些图在不同的对比学习模型与最大利润和InfoNCE损失。我们的方法导致显着的改进,在结构和语义的解释图的准确性,也推广到其他类似的图形生成任务。最后,我们证明了人为错误是对比学习的最佳负面因素,并且自动生成更多类似人类的负面图可以带来进一步的改进。我们的代码和模型可在https://github.com/swarnaHub/ExplagraphGen上公开获取
2022-04-11 cs.AI cs.CL cs.LG
Pre-Trained Neural Language Models for Automatic Mobile App User Feedback Answer Generation
University of British Columbia(不列颠哥伦比亚大学)
研究表明,开发人员对移动应用程序用户在应用程序商店的反馈的回答可以提高应用程序的星级。为了帮助应用程序开发人员生成与用户问题相关的答案,最近的研究开发了自动生成答案的模型。目的:应用响应生成模型使用深度神经网络,需要训练数据。用于自然语言处理(NLP)的预训练神经语言模型(PTM)以无监督的方式利用从大型语料库中学习到的信息,并且可以减少所需的训练数据的量。在本文中,我们评估PTM来生成对移动应用程序用户反馈的回复。方法:我们从头开始训练一个Transformer模型,并微调两个PTM来评估生成的响应,并将其与当前的应用响应模型RRGEN进行比较。我们还评估了模型的不同部分的训练数据。结果:通过自动度量评估的大型数据集上的结果显示,PTM获得的分数低于基线。然而,我们的人工评估证实,PTM可以对发布的反馈产生更相关和更有意义的响应。当训练数据减少到1/3时,PTM的性能下降较小。结论:PTM在生成对应用程序评论的响应时很有用,并且对于所提供的训练数据量来说是更鲁棒的模型。然而,预测时间是RRGEN的19倍。这项研究可以提供新的途径,研究在适应PTM分析移动应用程序用户反馈。Index Terms-移动应用用户反馈分析、神经预训练语言模型、自动答案生成
2022-02-04 cs.CL cs.LG cs.SE
Coherent Wave Dynamics and Language Generation of a Generative Pre-trained Transformer
Meta Platforms Inc.(元平台公司)
本研究通过分析小型GPT的隐藏状态波动力学,揭示了相干振荡模式与语言生成的关系,并观察到拼写错误分布的相变现象,为理解大型语言模型的涌现能力提供了新视角。
2023-05-08 cs.CL nlin.PS
DGRC: An Effective Fine-tuning Framework for Distractor Generation in Chinese Multi-choice Reading Comprehension
School of Computer Science and Engineering, Guangxi Normal University(广西师范大学计算机科学与工程学院)
针对中文多选阅读理解干扰项生成,提出DGRC微调框架,融合硬思维链、多任务学习与生成掩码模式,使BLEU分数提升超2.5倍。
2024-05-29 cs.AI cs.CL
Exploring Data Augmentation for Code Generation Tasks
University of Edinburgh(爱丁堡大学)
自然语言处理的进步,例如从预先训练的语言模型进行迁移学习,也影响了如何为程序设计语言任务训练模型。以前的研究主要探索代码预训练,并通过多模态和多任务来扩展它,但下游任务的数据仍然很小。专注于下游任务的数据利用率,我们提出并调整了增强方法,这些方法在代码翻译和摘要方面分别提高了6.9%和7.5%。进一步的分析表明,我们的方法正交工作,并显示输出代码风格和数值一致性的好处。我们还讨论了测试数据的缺陷。
2023-02-05 cs.AI cs.CL cs.PL
Transformer-based Conditional Variational Autoencoder for Controllable Story Generation
University at Buffalo(布法罗大学);JD Finance America Corporation(京东金融美国公司)
我们研究了用于神经故事生成的大规模潜变量模型(LVMs)-开放域长文本的一个未充分开发的应用程序-目标有两个线程:生成有效性和可控性。LVMs,特别是变分自编码器(VAE),通过利用灵活的分布式潜在表示实现了有效和可控的生成。近年来,Transformers及其变体在没有显式潜在表示学习的情况下取得了显著的效果,因此在生成过程中缺乏令人满意的可控性。在本文中,我们主张在Transformers时代恢复潜变量建模,本质上是表示学习的力量,以增强可控性,而不损害最先进的发电效率。具体来说,我们将潜在表示向量与基于transformer的预训练架构相结合,以构建条件变分自编码器(CVAE)。模型的组成部分,如编码器,解码器和变分后验都建立在预先训练的语言模型-GPT 2在本文中具体。实验证明了我们的模型的最先进的条件生成能力,以及其优秀的表示学习能力和可控性。
2021-07-08 cs.AI cs.CL cs.LG
AraGPT2: Pre-Trained Transformer for Arabic Language Generation
American University of Beirut(贝鲁特美国大学)
最近,预先训练的基于transformer的架构已被证明在语言建模和理解方面非常有效,因为它们是在足够大的语料库上训练的。与其他NLP进展相比,阿拉伯语的语言生成应用仍然落后,主要是由于缺乏先进的阿拉伯语语言生成模型。在本文中,我们开发了第一个先进的阿拉伯语语言生成模型,AraGPT 2,从头开始训练的大型阿拉伯语语料库的互联网文本和新闻文章。我们最大的模型AraGPT 2-mega拥有14.6亿个参数,这使其成为最大的阿拉伯语语言模型。Mega模型进行了评估,并在不同的任务上显示出成功,包括合成新闻生成和zero-shot问答。对于文本生成,我们最好的模型在维基百科文章上实现了29.8的困惑度。与人类评估者进行的一项研究表明,AraGPT 2-mega在生成难以与人类撰写的文章区分的新闻文章方面取得了重大成功。因此,我们开发并发布了一个自动识别模型,在检测模型生成的文本方面具有98%的准确率。这些模型也是公开的,希望能鼓励阿拉伯语NLP的新研究方向和应用。
2021-03-07 cs.CL
Adversarial Examples Generation for Reducing Implicit Gender Bias in Pre-trained Models
在过去的几年里,情境化的预训练神经语言模型,如BERT,GPT,在各种NLP任务中表现出显着的进步。为了增强现有预训练模型的鲁棒性,一种方法是对抗性示例生成和评估,以进行数据增强或对抗性学习。与此同时,在实际应用中,嵌入在模型中的性别偏见似乎是一个严重的问题。许多研究都涉及到了词汇层面的性别偏见(如性别刻板印象职业),而很少有研究涉及词汇层面的性别偏见和内隐性别偏见。本文提出了一种自动生成隐性性别偏见样本的方法和一种衡量性别偏见的指标。我们的方法生成的样品将在准确性方面进行评估。该指标将用于指导从预训练模型生成示例。因此,这些示例可以用于对预训练模型进行攻击。最后,我们讨论了我们生成的例子对减少性别偏见的评估功效,为未来的研究。
2021-10-03 cs.CL
PrahokBART: A Pre-trained Sequence-to-Sequence Model for Khmer Natural Language Generation
National Institute of Information and Communications Technology(日本信息与通信技术国家研究所)
PrahokBART是一种针对柬埔寨语言优化的预训练模型,通过改进语料库质量和引入语言组件,在机器翻译、文本摘要和标题生成任务中超越了现有多语言模型。
2025-12-15 cs.CL
CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation
Fudan University(复旦大学);Zhejiang Lab(之江实验室)
在本文中,我们利用以前的预训练模型(PTM),提出了一种新的中国预训练不平衡Transformer(CPT)。与以往的中文翻译机不同,CPT的设计是利用自然语言理解(NLU)和自然语言生成(NLG)之间的共享知识来提高性能。CPT由三部分组成:共享编码器、理解解码器和生成解码器。具有共享编码器的两个特定解码器分别使用掩码语言建模(MLM)和去噪自动编码(DAE)任务进行预训练。通过部分共享的架构和多任务预训练,CPT可以(1)使用两个解码器学习NLU或NLG任务的特定知识,(2)灵活地进行微调,充分利用模型的潜力。而且不平衡的Transformer节省了计算和存储成本,使CPT具有竞争力,大大加快了文本生成的推理。在汉语自然语言理解和自然语言学习任务上的实验结果表明了CPT的有效性。
2022-07-18 cs.CL
Leveraging Pre-trained Checkpoints for Sequence Generation Tasks
Google Research(谷歌研究院)
大型神经模型的无监督预训练最近彻底改变了自然语言处理。通过从公开发布的检查点进行热启动,NLP从业者在多个基准测试上推动了最先进的技术,同时节省了大量的计算时间。到目前为止,焦点主要集中在自然语言理解任务上。在本文中,我们证明了预先训练的检查点序列生成的有效性。我们开发了一个基于transformer的序列到序列模型,该模型与公开的预训练BERT,GPT-2和RoBERTa检查点兼容,并对使用这些检查点初始化我们的模型(编码器和解码器)的实用性进行了广泛的实证研究。我们的模型在机器翻译、文本摘要、句子分割和句子融合方面取得了最新的成果。
2020-04-16 cs.CL
PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable
Baidu Inc.(百度公司)
预训练模型已被证明是有效的广泛的自然语言处理任务。受此启发,我们提出了一种新的对话生成预训练框架,以支持各种类型的对话,包括闲聊,知识为基础的对话,会话问答。在这个框架中,我们采用灵活的注意力机制,充分利用了语境的双向性和语言生成的单向性。我们还引入离散的潜变量来解决响应生成中固有的一对多映射问题。反应生成和潜在行为识别的两个相互的任务被设计并在一个共享的网络内同时进行。在三个公开数据集上的综合实验验证了该框架的有效性和优越性。
2020-04-30 cs.CL
PAIR: Planning and Iterative Refinement in Pre-trained Transformers for Long Text Generation
Khoury College of Computer Sciences(Khoury计算机科学学院);Northeastern University(东北大学);Computer Science and Engineering(计算机科学与工程);University of Michigan(密歇根大学)
预先训练的Transformers在生成长而流畅的文本方面取得了令人印象深刻的突破,但它们的输出通常是“漫无边际”的,没有连贯的内容。在这项工作中,我们提出了一种新的内容控制的文本生成框架,PAIR,规划和迭代细化,这是建立在一个大的模型,BART。我们首先适应BERT模型自动构建的内容计划,包括关键词分配和相应的文档级别的位置。BART模型用于生成,而不修改其结构。然后,我们提出了一个细化算法,逐步提高序列到序列的框架内的生成质量。使用自动度量进行的评估表明,添加规划一致地提高了三个不同领域的生成质量,平均提高了20个BLEU点和12个METEOR点。此外,人类法官认为我们的系统输出比没有计划的比较更相关和一致。
2020-10-05 cs.CL
Self-supervised Graph Masking Pre-training for Graph-to-Text Generation
Monash University(莫纳什大学)
大规模预训练的语言模型(PLM)通过处理图的线性化版本而具有高级的图到文本(G2 T)生成。然而,已知线性化忽略结构信息。此外,PLM通常在自由文本上进行预训练,这会在预训练和下游G2 T生成任务之间引入域不匹配。为了解决这些缺点,我们提出了图掩蔽预训练策略,既不需要监督信号,也不需要调整底层预训练编码器-解码器模型的架构。当与预训练的T5一起使用时,我们的方法在WebNLG+2020和EventNarrative G2 T生成数据集上获得了最新的结果。我们的方法在低资源环境中也非常有效。
2022-10-19 cs.CL
Context Matters in Semantically Controlled Language Generation for Task-oriented Dialogue Systems
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);Ulm University(乌尔姆大学)
该方法将预先训练好的模型编码的对话历史信息与当前系统话语的意义表示相结合,实现了面向任务的对话中的语境语言生成。我们利用预训练的多上下文ConveRT模型在从头开始训练的模型中进行上下文表示;并利用紧接在前的用户话语在从预训练的GPT-2改编的模型中生成上下文。MultiWOZ数据集的两个实验都表明,由预训练模型编码的上下文信息提高了自动度量和人工评估中响应生成的性能。我们提出的上下文生成器能够更好地适应正在进行的对话生成的反应,更高的品种。分析上下文大小表明,较长的上下文并不会自动导致更好的性能,但紧接在前的用户话语上下文生成起着至关重要的作用。此外,我们还提出了一个基于GPT的生成模型的重排序器。实验结果表明,重新排序器选择的响应对自动度量有显著的改善。
2021-11-28 cs.CL
DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation
Fudan University(复旦大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软公司);Nanjing University of Science and Technology(南京理工大学)
开放域中的对话响应生成是一个重要的研究课题,其主要挑战是生成相关的和多样的响应。在本文中,我们提出了一个新的对话预训练框架称为DialogVED,它引入了连续的潜变量到增强的编码器-解码器预训练框架,以增加响应的相关性和多样性。在大型对话语料库(Reddit)的帮助下,我们使用语言模型(LM)和变分自编码器(VAE)中采用的以下4个任务来预训练模型:1)掩蔽语言模型; 2)响应生成; 3)词袋预测;以及4)KL发散减少。我们还添加了额外的参数来对对话框中的转向结构进行建模,以提高预训练模型的性能。我们在PersonaChat,DailyDialog和DSTC 7-AVSD基准测试中进行了响应生成实验。实验结果表明,我们的模型在所有这些数据集上都取得了新的最先进的结果。
2022-10-30 cs.CL
Cued Speech Generation Leveraging a Pre-trained Audiovisual Text-to-Speech Model
Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);GIPSA-lab(吉帕斯实验室)
本文将预训练视听TTS模型AVTacotron2迁移重编程为从文本生成线索手语的手部与唇部动作,并在两个公开数据集上以自动识别评估,取得约77%音素级解码准确率。
2025-01-08 cs.CL
Solving Aspect Category Sentiment Analysis as a Text Generation Task
School of Computer Science, Fudan University(复旦大学计算机科学学院);School of Engineering, Westlake University(西湖大学工程学院);Institute of Advanced Technology, Westlake Institute for Advanced Study(西湖高等研究院先进技术研究院)
方面类别情感分析越来越受到研究者的关注。主流方法通过学习有效的方面类别特定的表示来使用预训练的语言模型,并向其预训练的表示添加特定的输出层。我们考虑了一种更直接的方法来使用预先训练的语言模型,通过将ACSA任务转换为自然语言生成任务,使用自然语言句子来表示输出。我们的方法允许在seq2seq语言模型中更直接地使用预先训练的知识,直接遵循预训练期间的任务设置。在几个基准测试上的实验表明,我们的方法给出了最好的报告结果,在Few-Shot和zero-shot设置有很大的优势。
2021-10-14 cs.CL