ImaginE: An Imagination-Based Automatic Evaluation Metric for Natural Language Generation
UC Santa Barbara(加州大学圣巴巴拉分校);UC Santa Cruz(加州大学圣克鲁兹分校)
用于自然语言生成(NLG)的自动评估通常依赖于与文本引用的标记级或嵌入级比较。这与人类的语言处理不同,视觉想象通常会提高理解力。在这项工作中,我们提出了ImaginE,一个基于解释的自动评价指标的自然语言生成。借助最先进的文本到图像生成器StableDiffusion,我们自动生成一个图像作为文本片段的具体想象,并使用上下文嵌入计算想象相似度。跨几个文本生成任务的实验表明,添加机器生成的图像与我们的ImaginE显示了巨大的潜力,在引入多模态信息到NLG评估,并提高现有的自动度量的相关性与人类相似性判断在基于参考和无参考的评估方案。
2023-02-15 cs.AI cs.CL cs.CV
AutoTemplate: A Simple Recipe for Lexically Constrained Text Generation
Megagon Labs(美嘉果实验室)
本文提出 AutoTemplate 框架,通过“模板生成+占位符词汇化”两阶段方法生成满足硬词汇约束的文本,并在关键词到句子生成和实体引导摘要任务上优于强基线。
2024-08-09 cs.CL
A Self-Paced Mixed Distillation Method for Non-Autoregressive Generation
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
非自回归生成是一种序列生成范式,它消除了目标令牌之间的依赖性。该算法采用并行解码代替逐令牌的顺序解码,可以有效降低文本生成延迟。然而,由于已知的多模态问题,非自回归(NAR)模型在各种语言生成任务上的表现明显低于自回归(AR)模型。在NAR模型中,BANG是第一个在英语未标注原始文本语料库上进行大规模预训练的模型。它考虑不同的生成范式作为其预训练任务,包括自回归(AR),非自回归(NAR)和半非自回归(semi-NAR)的多流策略的信息流。它无需任何蒸馏技术即可实现最先进的性能。然而,AR蒸馏已被证明是提高NAR性能的非常有效的解决方案。在本文中,我们提出了一种新的自定步混合蒸馏方法,以进一步提高生成的BANG的质量。首先,提出了基于AR流知识的混合蒸馏策略。其次,我们鼓励模型通过自定进度的学习来关注具有相同情态的样本。所提出的自步调混合蒸馏算法提高了生成质量,并且对推理延迟没有影响。我们进行了广泛的实验总结和问题生成任务,以验证的有效性。为了进一步说明我们的方法的商业价值,我们在现实世界的广告应用程序中的三个生成任务进行实验。商业数据的实验结果表明了该模型的有效性。与BANG相比,BLEU评分有显著改善。另一方面,与自回归生成方法相比,它实现了7倍以上的加速比。
2022-05-23 cs.CL
Sketch and Refine: Towards Faithful and Informative Table-to-Text Generation
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
表到文本生成是指从键值表生成描述性文本。传统的自回归方法虽然能够生成高流畅度的文本,但存在覆盖率低和忠实度差的问题。为了缓解这些问题,我们提出了一种新的基于自回归和非自回归生成(SANA)的两阶段方法。我们的方法包括:(1)使用自回归指针网络生成骨架,从源表中选择关键标记;(2)基于编辑的非自回归生成模型,通过迭代插入和删除操作生成文本。非自回归模型通过整合骨架中的硬约束,提高了生成过程对源表的覆盖率,从而提高了生成过程的可信度。我们对WikiPerson和WikiBio数据集进行自动和人工评估。实验结果表明,我们的方法优于以前的国家的最先进的方法在自动和人工评价,特别是覆盖率和忠实度。特别是,我们在WikiPerson中实现了99.47的PARENT-T召回率,比现有的最佳结果提高了10个点以上。
2021-05-31 cs.CL
PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation
Baidu Inc(百度公司);Faculty of Science and Technology, University of Macau(澳门大学科技学院);Virginia Tech(弗吉尼亚理工学院暨州立大学)
尽管预训练的语言模型在生成流畅文本方面取得了最新进展,但现有方法在需要适当的内容控制和规划以形成连贯的高级逻辑流的长格式文本生成任务中仍然存在不连贯问题。在这项工作中,我们提出了PLANET,一个新的生成框架,利用自回归自我注意力机制进行内容规划和表面实现动态。为了指导输出句子的生成,我们的框架使用潜在表示来丰富Transformer解码器,以维护基于词袋的句子级语义计划。此外,我们引入了一个新的基于连贯性的对比学习目标,以进一步提高输出的连贯性。在两个具有挑战性的长文本生成任务上进行了大量的实验,包括反驳生成和评论文章生成。自动和人工评估都表明,我们的方法显著优于强基线,并生成内容更丰富的连贯文本。
2022-03-17 cs.CL
Directed Acyclic Transformer Pre-training for High-quality Non-autoregressive Text Generation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
本文提出 PreDAT 及其预测一致性预训练任务,使非自回归文本生成在五项任务上显著超越现有预训练 NAR 模型,并在 n-gram 指标和速度上优于自回归基线。
2023-04-24 cs.CL
Probabilistically Masked Language Model Capable of Autoregressive Generation in Arbitrary Word Order
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
掩蔽语言模型和自回归语言模型是语言模型的两种类型。虽然预训练的掩蔽语言模型(如BERT)压倒了自然语言理解(NLU)任务,但自回归语言模型(如GPT)在自然语言生成(NLG)中特别有能力。在本文中,我们提出了一个概率掩蔽计划的掩蔽语言模型,我们称之为概率掩蔽语言模型(PMLM)。我们实现了一个特定的PMLM,其掩蔽比具有均匀先验分布,名为u-PMLM。我们证明了u-PMLM等价于一个自回归置换语言模型。该模型的一个主要优点是,它支持以任意顺序生成文本,并且具有令人惊讶的良好质量,这可能会使新的应用程序超过传统的单向生成。此外,预训练的u-PMLM在一组下游NLU任务上的性能也优于BERT。
2020-04-24 cs.CL
An Auto-Encoder Matching Model for Learning Utterance-Level Semantic Dependency in Dialogue Generation
Peking University(北京大学)
生成语义一致的响应仍然是对话生成中的一个主要挑战。与传统的文本生成任务不同,会话中的输入和响应之间的映射更为复杂,这就要求理解话语级的语义依赖,即输入和输出的整体意义之间的关系。为了解决这个问题,我们提出了一个自动编码器匹配(AEM)模型来学习这种依赖关系。该模型包含两个自动编码器和一个映射模块。自动编码器学习输入和响应的语义表示,并且映射模块学习连接话语级表示。自动和人工评估的实验结果表明,与基线模型相比,我们的模型能够生成高连贯性和流畅性的响应。代码可在https://github.com/lancopku/AMM上获得
2018-08-27 cs.CL
Automatically Ranked Russian Paraphrase Corpus for Text Generation
Saint Petersburg State University(圣彼得堡国立大学);CraftTalk
本文主要研究俄语释义生成大型语料库的自动开发和排序问题,这是俄语计算语言学中第一个此类语料库。现有的俄语人工标注释义数据集仅限于小型的ParaPhraser语料库和ParaPlag,适用于一组NLP任务,如释义和剽窃检测,句子相似性和相关性估计等,由于大小限制,这些数据集很难应用于端到端的文本生成解决方案。同时,释义生成需要大量的训练数据。在我们的研究中,我们提出了一个解决问题的方法:我们收集,排名和评估一个新的公开可用的标题释义语料库(ParaPhraser Plus),然后进行文本生成实验与人工评估自动排名语料库使用通用Transformer架构。
2020-06-17 cs.CL
Unsupervised Natural Language Generation with Denoising Autoencoders
Google AI(谷歌人工智能)
从结构化数据生成文本对于诸如问答和对话系统的各种任务是重要的。我们表明,在至少一个领域,没有任何监督,只基于未标记的文本,我们能够建立一个自然语言生成(NLG)系统具有更高的性能比监督的方法。在我们的方法中,我们将结构化数据解释为所需输出的损坏表示,并使用去噪自动编码器来重建句子。我们展示了如何将噪声引入不包含结构化数据的训练样本中,并且当给定结构化数据时,所得到的去噪自动编码器可以泛化以生成正确的句子。
2018-08-24 cs.CL
Evidence-Aware Inferential Text Generation with Vector Quantised Variational AutoEncoder
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Search Technology Center Asia(微软亚洲搜索技术中心)
从不同的角度生成关于事件的推理文本需要对事件发生的不同上下文进行推理。现有的作品通常忽略了上下文,没有明确提供,导致上下文无关的语义表示,努力支持的一代。为了解决这个问题,我们提出了一种方法,自动发现证据的事件从一个大型的文本语料库,并利用证据来指导推理文本的生成。我们的方法以编码器-解码器的方式工作,并配备了矢量量化-变分自编码器,其中编码器输出离散变量分布的表示。这种离散表示使得能够自动选择相关证据,这不仅有助于证据感知生成,而且还提供了一种自然的方式来揭示生成背后的原理。我们的方法在Event 2 Mind和ATOMIC数据集上都提供了最先进的性能。更重要的是,我们发现,通过离散表示,我们的模型选择性地使用证据来生成不同的推理文本。
2020-06-15 cs.CL
PCAE: A Framework of Plug-in Conditional Auto-Encoder for Controllable Text Generation
Tsinghua University(清华大学)
可控制的文本生成技术已经向前迈出了巨大的一步。然而,现有的方法要么限制在一个一次性的模式或没有足够的效率,在每个生成阶段接收多个条件。我们提出了一个模型无关的框架插件条件自动编码器的可控文本生成(PCAE)的灵活和半监督的文本生成。我们的框架是“即插即用”的,部分参数在预训练模型中进行微调(不到一半)。PCAE成功的关键是建议的广播标签融合网络,用于将全球潜在代码导航到指定的本地和受限空间。局部潜在先验井的可视化证实了所提出的模型在隐藏空间中的主要贡献。此外,在基于RNN和基于预训练的BART [26]的自动编码器上进行的五个相关生成任务(从2个条件到10个条件)的广泛实验揭示了PCAE的高能力,这使得生成具有高度可操作性,语法多样性和节省时间的最小标记样本。我们将在https://github.com/ImKeTT/pcae上发布我们的代码。
2022-10-07 cs.CL
Reinforcement Learning for Optimizing RAG for Domain Chatbots
Flipkart Data Science(Flipkart数据科学)
本文提出一种基于强化学习的策略模型,通过动态决定是否检索FAQ上下文来优化RAG聊天机器人的LLM token成本,并在略微提升准确率的同时实现显著成本节省。
2024-01-10 cs.AI cs.CL
Automatic Generation of Technical Documentation
自然语言生成(NLG)技术可用于从领域知识库以及语言和上下文模型自动生成技术文档。我们从技术和实用性(成本和效益)的角度讨论了NLG技术的应用。本文的讨论主要基于我们在IDAS文档生成项目中的经验,以及来自工业界的各种感兴趣的人对IDAS的反应。我们希望我们对IDAS经验的总结以及从中吸取的教训能够对其他希望构建技术文档生成系统的研究人员有所帮助。
1994-11-30 cmp-lg cs.CL
Preventing posterior collapse in variational autoencoders for text generation via decoder regularization
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
训练以最小化重构误差的变分自编码器对后验崩溃问题敏感,即建议后验分布总是等于先验分布。我们提出了一种新的正则化方法的基础上的兄弟辍学,以防止后崩溃。我们使用几个指标来评估我们的方法,并观察所有测试配置的改进。
2021-10-28 cs.CL cs.LG
Read, Attend and Comment: A Deep Architecture for Automatic News Comment Generation
Beihang University(北京航空航天大学);Microsoft Corporation(微软公司)
新闻评论自动生成是自然语言生成技术的一个新的试验平台。本文提出了一种“阅读-参与-评论”的新闻评论生成过程,并利用阅读网络和生成网络对该过程进行了形式化描述。阅读网络对一篇新闻文章进行分析并从中提取一些重要的观点,然后生成网络通过关注提取的离散点和新闻标题来创建评论。我们优化的模型在一个端到端的方式,通过最大化的变化下限的真实目标,使用反向传播算法。两个数据集上的实验结果表明,我们的模型可以显着优于现有的方法在自动评估和人类判断。
2019-10-01 cs.CL cs.IR cs.LG
Autoregressive Text Generation Beyond Feedback Loops
ETH Zürich(苏黎世联邦理工学院);University of California, Irvine(加州大学欧文分校)
自回归状态转换(其中预测以过去的预测为条件)是确定性和随机序列模型的主要选择。然而,自回归反馈暴露了隐藏状态轨迹的演变,从众所周知的训练测试差异的潜在偏见。在本文中,我们结合了潜在的状态空间模型与CRF观测模型。我们认为,这样的自回归观测模型形成了一个有趣的中间立场,表示当地的相关性在字的水平,但保持状态演变的非自回归。在无条件句子生成方面,与RNN和GAN基线相比,我们显示了性能改进,同时避免了自回归模型的一些典型故障模式。
2019-08-30 cs.CL cs.LG stat.ML
Cascaded Text Generation with Markov Transformers
Harvard University(哈佛大学);Cornell University(康奈尔大学)
神经文本生成的两种主要方法是使用串行束搜索解码的完全自回归模型和使用没有输出依赖性的并行解码的非自回归模型。本文提出了一个具有次线性并行时间生成的自回归模型。注意到有界上下文的条件随机场可以并行解码,我们提出了一种高效的级联解码方法,用于生成高质量的输出。为了参数化这个级联,我们引入了一个马尔可夫Transformer,一个流行的完全自回归模型的变体,允许我们同时解码特定的自回归上下文截止。这种方法只需要对标准自回归训练进行很小的修改,同时与五个机器翻译数据集上的现有方法相比,显示出具有竞争力的准确性/速度权衡。
2020-12-05 cs.CL cs.LG cs.NE
NewsQs: Multi-Source Question Generation for the Inquiring Mind
University of Pennsylvania(宾夕法尼亚大学);AWS AI Labs(亚马逊云科技人工智能实验室);Alexa(亚马逊 Alexa 部门)
本文构建 NewsQs 多新闻文档问答数据集,利用微调 T5-Large、控制代码和 QNLI 过滤提升问题质量,并发布数据以支持基于查询的多文档摘要研究。
2024-06-15 cs.CL
Marcel: A Lightweight and Open-Source Conversational Agent for University Student Support
Marburg University(马尔堡大学)
本文介绍Marcel,一个轻量级开源对话代理,通过检索增强生成和FAQ检索器为大学生提供招生咨询,减轻员工负担,并在资源受限环境中易于部署。
2025-10-24 cs.CL
A Comparative and Experimental Study on Automatic Question Answering Systems and its Robustness against Word Jumbling
本研究探讨了自然语言处理自动问答系统在聊天机器人等场景中的应用价值,并实验分析了人类输入错误(如单词乱序)对模型性能的不利影响。
2023-11-27 cs.CL cs.LG
Tractable Control for Autoregressive Language Generation
University of California, Los Angeles(加州大学洛杉矶分校)
针对自回归语言模型生成受约束文本的不可处理问题,提出利用可处理概率模型(TPMs)施加词汇约束的GeLaTo框架,在CommonGen等基准上取得最先进性能。
2023-11-15 cs.AI cs.CL
Trace Is In Sentences: Unbiased Lightweight ChatGPT-Generated Text Detector
本文针对 ChatGPT 生成文本检测易受改写干扰和词级偏差影响的问题,提出一种基于句子内部结构建模的轻量级检测框架,并通过对比学习和因果反事实方法消除偏差,在两类数据集上验证了有效性。
2025-09-23 cs.CL eess.SP
Semantically Aligned Question and Code Generation for Automated Insight Generation
Microsoft(微软公司)
本文提出利用大语言模型同时生成数据问题与对应代码,并通过嵌入过滤语义未对齐的问题-代码对,从而提升自动洞察生成的准确性与问题多样性。
2024-03-21 cs.AI cs.CL cs.SE
Auto-ARGUE: LLM-Based Report Generation Evaluation
Johns Hopkins University(约翰霍普金斯大学);University of New Hampshire(新罕布什尔大学);IDA Center for Computing Services(IDA计算服务中心);Google(谷歌);Yale University(耶鲁大学);University of Maryland(马里兰大学)
本文提出Auto-ARGUE,一种基于大语言模型的报告生成评估工具,通过TREC 2024 NeuCLIR和RAG任务验证,展示了与人类判断的良好相关性,并发布ARGUE-Viz可视化工具。
2026-04-29 cs.AI cs.CL cs.IR
Automating question generation from educational text
Merlyn Mind Inc.(梅林思维公司)
针对教师设计QBAs的负担,本文提出基于transformer语言模型的模块化MCQ自动生成框架,并通过教师调查及多模型定量与定性评估验证其效用与权衡。
2023-09-26 cs.AI cs.CL cs.LG
PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation
Alibaba Group(阿里巴巴集团)
自监督预训练,如BERT,MASS和BART,已经成为一种强大的自然语言理解和生成技术。现有的预训练技术采用自编码和/或自回归目标来训练基于transformer的模型,通过从具有一些掩蔽令牌的损坏文本中恢复原始单词令牌。现有技术的训练目标通常与许多语言生成任务的目标不一致,例如生成式问答和会话响应生成,用于产生给定上下文的新文本。这项工作提出了一种新的计划,共同预训练的自编码和自回归语言模型上的大型未标记的语料库,专门设计用于生成新的文本条件下的上下文PALM。新方案消除了现有去噪方案在预训练和微调之间引入的不匹配,其中生成多于重建原始文本。一组广泛的实验表明,PALM在各种语言生成基准测试中取得了新的最先进的结果,包括生成式问答(官方MARCO排行榜上的排名1),CNN/DailyMail以及Gigaword上的抽象摘要,SQuAD上的问题生成以及Cornell Movie Dialogues上的会话响应生成。
2020-09-20 cs.CL
QUADRo: Dataset and Models for QUestion-Answer Database Retrieval
University of Trento(特伦托大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文提出QUADRo,一个用于开放领域问答数据库检索的大规模数据集与模型,通过神经信息检索和问答对重排序器,证明基于Transformer的模型优于仅依赖问题表示的模型,并与基于Web的方法竞争力相当。
2023-03-30 cs.CL cs.LG
Leveraging In-Context Learning and Retrieval-Augmented Generation for Automatic Question Generation in Educational Domains
IIT Kharagpur(印度理工学院卡哈拉格普尔分校)
本研究提出结合上下文学习(ICL)与检索增强生成(RAG)的混合模型,利用GPT-4和BART在教育领域自动生成更符合上下文且教学法合理的问题,实验证明ICL与混合模型优于基线方法。
2025-01-29 cs.CL
Automated Story Generation as Question-Answering
基于神经语言模型的自动故事生成方法受到两个重要限制。首先,基于语言模型的故事生成器通常不朝着给定的目标或结局工作。第二,随着故事越来越长,它们往往失去连贯性。我们提出了一种新的方法来自动生成的故事,把问题作为一个生成的问答。我们提出的故事生成系统从封装故事的最终事件的句子开始。然后,系统迭代地(1)分析描述最近事件的文本,(2)生成关于“为什么”角色正在做他们在事件中正在做的事情的问题,并且然后(3)尝试生成回答该问题的另一个先前事件。
2021-12-07 cs.CL
Event Representations for Automated Story Generation with Deep Neural Nets
Georgia Institute of Technology(佐治亚理工学院)
自动故事生成是自动选择可以作为故事讲述的事件、动作或词语的序列的问题。我们试图开发一个系统,可以通过学习它需要知道的一切从文本故事语料库生成的故事。迄今为止,在字符、单词或句子层面学习语言模型的递归神经网络在生成连贯的故事方面几乎没有成功。我们探讨的问题,提供了一个中等水平的抽象之间的单词和句子,以保留原始数据的语义信息,同时最大限度地减少事件稀疏的事件表示。我们提出了一种技术,用于将文本故事数据预处理成事件序列。然后,我们提出了一种技术,自动生成的故事,我们分解成连续的事件(event2event)和自然语言句子的事件(event2sentence)的生成问题。我们给出了实证结果,比较了不同的事件表示及其对事件后继生成和事件到自然语言的翻译的影响。
2017-09-12 cs.AI cs.CL cs.LG
Exploring Story Generation with Multi-task Objectives in Variational Autoencoders
The University of Melbourne(墨尔本大学)
GPT-2经常被应用于故事生成模型,因为它提供了强大的生成能力。然而,它仍然无法产生一致的故事,缺乏多样性。当前的故事生成模型利用GPT-2中的情节或常识等附加信息来指导生成过程。这些方法专注于提高故事的生成质量,而我们的工作则着眼于质量和多样性。我们探索结合BERT和GPT-2构建一个变分自编码器(VAE),并通过添加额外的目标来学习全局特征,如故事主题和话语关系。我们的评估表明,我们增强的VAE可以提供更好的质量和多样性的权衡,产生更少的重复故事内容,并学习更多的信息潜变量。
2021-11-15 cs.CL cs.LG