A Semi-Supervised Text Generation Framework Combining a Deep Transformer and a GAN
针对半监督文本生成问题,提出结合24层深度预训练Transformer与GAN的框架,通过Gumbel-Softmax处理token离散性,用GAN样本增强真实数据并微调模型,还提供理论推导与技巧讨论。
2025-02-09 cs.AI cs.CL
Zero-Shot Controlled Generation with Encoder-Decoder Transformers
Amazon Alexa AI(亚马逊Alexa人工智能部门)
控制用于自然语言生成(NLG)的基于神经网络的模型在诸如机器翻译、文档摘要和对话系统的许多领域中具有广泛的应用。以zero-shot方式实现这种控制的方法将是非常重要的,因为除其他原因外,它们消除了对附加注释数据和训练的需要。在这项工作中,我们提出了新的方法来控制编码器-解码器变换为基础的NLG模型在zero-shot。这是通过引入三个控制旋钮,即注意力偏置,解码器混合,上下文增强,这是适用于这些模型在生成时间。这些旋钮通过直接操纵训练的NLG模型(例如,偏置交叉注意层)以在所生成的输出中实现期望的属性。我们表明,这些NLG模型不仅对这种操作具有鲁棒性,而且它们的行为可以在不影响其生成性能的情况下进行控制。据我们所知,这些结果是同类中的第一个。通过这些控制旋钮,我们还调查了Transformer解码器的自我注意模块的作用,并显示出强有力的证据表明,其主要作用是保持这些模型生成的句子的流畅性。基于这一假设,我们表明,替代架构的Transformer解码器可能是可行的选择。我们还研究了这个假设如何导致更有效的方法来训练编码器-解码器Transformer模型。
2022-04-06 cs.AI cs.CL
Topic Sensitive Neural Headline Generation
State Key Laboratory of Intelligent Technology and Systems(智能技术与系统国家重点实验室);Tsinghua National Laboratory for Information Science and Technology(清华信息科学与技术国家实验室);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
神经模型最近被用于文本摘要,包括标题生成。该模型可以使用一组文档标题对进行训练。然而,该模型没有明确考虑主题的相似性和差异的文件。我们建议将文档分类到不同的主题中,以便同一主题中的文档在内容上相似并且共享相似的摘要模式。利用文档的主题信息,提出主题敏感的神经标题生成模型。我们的模型可以根据文档主题生成更准确的摘要。我们在LCSTS数据集上测试了我们的模型,实验表明我们的方法在每个主题上都优于其他基线,并达到了最先进的性能。
2016-08-20 cs.CL
Progressive Transformer-Based Generation of Radiology Reports
University of Zürich and University Hospital of Zürich(苏黎世大学和苏黎世大学医院);Kyoto University(京都大学)
受课程学习的启发,我们提出了一个连续的(即,图像到文本到文本)生成框架,其中我们将放射学报告生成的问题分为两个步骤。与从图像中立即生成完整的放射学报告相反,该模型在第一步中从图像中生成全局概念,然后使用Transformer架构将它们重组为更精细和连贯的文本。我们在每一步都遵循基于transformer的sequence-to-sequence范式。我们在两个基准数据集上改进了最先进的技术。
2021-08-31 cs.CL
Bird-Eye Transformers for Text Generation Models
University of Oxford(牛津大学)
Transformers在机器翻译中取得巨大成功后,已经成为文本生成模型中不可或缺的模块。以前的工作的~ Transformers的成功归因于查询键值点积注意,它提供了一个强大的电感偏置的全连接的令牌图。然而,我们发现自我注意力有严重的局限性。在预测第(i+1)个token时,自我注意只把第i个token作为信息收集器,倾向于对与自己相似的token赋予较高的注意权重。因此,在第i个令牌之前发生的大多数历史信息都没有被考虑在内。基于这一观察,在本文中,我们提出了一种新的架构,称为鸟瞰Transformer(BET),这进一步提高Transformers的性能,通过重新加权自我注意力,鼓励它更专注于重要的历史信息。我们对多个文本生成任务进行了实验,包括机器翻译(2个数据集)和语言模型(3个数据集)。这些实验结果表明,我们提出的模型实现了更好的性能比基线Transformer架构上的所有数据集。代码发布于:\url{https://sites.google.com/view/bet-transformer/home}。
2022-10-08 cs.CL
Generating Long and Informative Reviews with Aspect-Aware Coarse-to-Fine Decoding
Renmin University of China(中国人民大学);Boss Zhipin(BOSS直聘)
生成长而信息丰富的评论文本是一项具有挑战性的自然语言生成任务。以往的工作主要集中在词级生成,忽略了自然语言的主题和句法特征的重要性。在本文中,我们提出了一种新的审查生成模型,通过表征精心设计的方面感知的粗到细的生成过程。首先,我们对方面转换进行建模,以捕获整个内容流。然后,为了生成句子,将使用方面感知解码器预测方面感知草图。最后,另一个解码器通过生成相应的单词来填充语义槽。我们的方法是能够联合利用方面语义,语法草图,和上下文信息。大量的实验结果证明了该模型的有效性。
2021-04-19 cs.CL
Exploring Transformers in Natural Language Generation: GPT, BERT, and XLNet
Middle East Technical University(中东技术大学);Marmara University(马尔马拉大学);Koç University(科奇大学)
近年来,注意力机制的激增和自然语言生成(NLG)中Transformers的兴起。以前,最先进的NLG架构(如RNN和LSTM)遇到了消失梯度问题;随着句子变大,位置之间的距离保持线性,顺序计算阻碍了并行化,因为句子是逐词处理的。Transformers开创了一个新时代。在本文中,我们探讨了三个主要的基于transformer的模型,即GPT,BERT和XLNet,进行重大影响的领域。NLG是一个新兴的领域,现在得到了注意力机制快速发展的支持。从诗歌生成到摘要,文本生成得益于基于transformer的语言模型取得的突破性成果。
2021-02-16 cs.CL cs.LG
PLANET: Dynamic Content Planning in Autoregressive Transformers for Long-form Text Generation
Baidu Inc(百度公司);Faculty of Science and Technology, University of Macau(澳门大学科技学院);Virginia Tech(弗吉尼亚理工学院暨州立大学)
尽管预训练的语言模型在生成流畅文本方面取得了最新进展,但现有方法在需要适当的内容控制和规划以形成连贯的高级逻辑流的长格式文本生成任务中仍然存在不连贯问题。在这项工作中,我们提出了PLANET,一个新的生成框架,利用自回归自我注意力机制进行内容规划和表面实现动态。为了指导输出句子的生成,我们的框架使用潜在表示来丰富Transformer解码器,以维护基于词袋的句子级语义计划。此外,我们引入了一个新的基于连贯性的对比学习目标,以进一步提高输出的连贯性。在两个具有挑战性的长文本生成任务上进行了大量的实验,包括反驳生成和评论文章生成。自动和人工评估都表明,我们的方法显著优于强基线,并生成内容更丰富的连贯文本。
2022-03-17 cs.CL
CTRL: A Conditional Transformer Language Model for Controllable Generation
Salesforce Research(Salesforce研究院)
大规模的语言模型显示出有前途的文本生成能力,但用户不能容易地控制生成的文本的特定方面。我们发布了CTRL,这是一个有16.3亿个参数的条件Transformer语言模型,它被训练成控制样式、内容和特定于任务的行为的控制代码。控制代码来源于与原始文本自然共存的结构,保留了无监督学习的优点,同时对文本生成提供更明确的控制。这些代码还允许CTRL预测训练数据的哪些部分最有可能被赋予序列。这为通过基于模型的源属性分析大量数据提供了一种潜在的方法。我们已经在https://github.com/salesforce/ctrl上发布了多个全尺寸的、预训练的CTRL版本。
2019-09-20 cs.CL
Towards More Efficient Insertion Transformer with Fractional Positional Encoding
Carnegie Mellon University(卡内基梅隆大学);Apple Inc.(苹果公司);Microsoft Research(微软研究院)
自回归神经序列模型已被证明在文本生成任务中是有效的。然而,它们从左到右的解码顺序阻止了并行生成。插入式Transformer(Stern等人,2019)是一个有吸引力的替代方案,它允许在单个生成步骤中输出多个令牌。然而,由于绝对位置编码和基于插入的生成方案之间的不兼容性,需要在每个步骤刷新所生成的部分假设中的每个标记的编码,这可能是昂贵的。我们设计了一种新的可重用的位置编码方案的插入Transformers称为分数位置编码(FPE),它允许重用表示计算在前面的步骤。对各种文本生成任务的实证研究证明了FPE的有效性,它可以减少浮点运算并改善批量解码的延迟。
2023-01-31 cs.CL
Biomedical Data-to-Text Generation via Fine-Tuning Transformers
Bayer AG(拜耳股份公司)
生物医学领域的数据到文本(D2T)生成是一个很有前途的研究领域,但大多数尚未开发。在这里,我们将D2T生成的神经模型应用于由欧洲药品包装单组成的真实数据集。我们表明,微调Transformers能够产生现实的,多句文字的数据在生物医学领域,但有重要的限制。我们还发布了一个新的数据集(BioLeaflets),用于对生物医学领域的D2T生成模型进行基准测试。
2021-09-03 cs.CL cs.LG
PAIR: Planning and Iterative Refinement in Pre-trained Transformers for Long Text Generation
Khoury College of Computer Sciences(Khoury计算机科学学院);Northeastern University(东北大学);Computer Science and Engineering(计算机科学与工程);University of Michigan(密歇根大学)
预先训练的Transformers在生成长而流畅的文本方面取得了令人印象深刻的突破,但它们的输出通常是“漫无边际”的,没有连贯的内容。在这项工作中,我们提出了一种新的内容控制的文本生成框架,PAIR,规划和迭代细化,这是建立在一个大的模型,BART。我们首先适应BERT模型自动构建的内容计划,包括关键词分配和相应的文档级别的位置。BART模型用于生成,而不修改其结构。然后,我们提出了一个细化算法,逐步提高序列到序列的框架内的生成质量。使用自动度量进行的评估表明,添加规划一致地提高了三个不同领域的生成质量,平均提高了20个BLEU点和12个METEOR点。此外,人类法官认为我们的系统输出比没有计划的比较更相关和一致。
2020-10-05 cs.CL
CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation
Fudan University(复旦大学);Zhejiang Lab(之江实验室)
在本文中,我们利用以前的预训练模型(PTM),提出了一种新的中国预训练不平衡Transformer(CPT)。与以往的中文翻译机不同,CPT的设计是利用自然语言理解(NLU)和自然语言生成(NLG)之间的共享知识来提高性能。CPT由三部分组成:共享编码器、理解解码器和生成解码器。具有共享编码器的两个特定解码器分别使用掩码语言建模(MLM)和去噪自动编码(DAE)任务进行预训练。通过部分共享的架构和多任务预训练,CPT可以(1)使用两个解码器学习NLU或NLG任务的特定知识,(2)灵活地进行微调,充分利用模型的潜力。而且不平衡的Transformer节省了计算和存储成本,使CPT具有竞争力,大大加快了文本生成的推理。在汉语自然语言理解和自然语言学习任务上的实验结果表明了CPT的有效性。
2022-07-18 cs.CL
Neural Rule-Execution Tracking Machine For Transformer-Based Text Generation
Macquarie University(麦考瑞大学);Microsoft STCA(微软(亚洲)互联网工程院);CSIRO Data61(澳大利亚联邦科学与工业研究组织数据61所)
序列到序列(S2S)神经文本生成模型,特别是预先训练的模型(例如,BART和T5)在各种自然语言生成任务上表现出令人信服的性能。然而,这些模型的黑盒性质限制了它们在特定规则(例如,可控约束、先验知识)。以前的工作要么设计特定的模型结构(例如,对应于规则“生成的输出应该包括源输入中的某些词”的复制机制)或实现专门的推理算法(例如,受约束的束搜索)以通过文本生成执行特定规则。这些方法需要逐个案例地仔细设计,并且难以并发地支持多个规则。在本文中,我们提出了一种名为神经规则执行跟踪机的新模块,该模块可以配备到各种基于变压器的生成器中,以同时利用多个规则来指导神经生成模型,以统一和可扩展的方式实现卓越的生成性能。多个基准测试的实验结果验证了该模型在可控文本生成和一般文本生成方面的有效性。
2021-07-27 cs.CL
GRET: Global Representation Enhanced Transformer
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团)
Transformer基于编码器-解码器框架,在几个自然语言生成任务上实现了最先进的性能。编码器将输入句子中的单词映射成一系列隐藏状态,然后将其输入解码器以生成输出句子。这些隐藏状态通常对应于输入的单词,并专注于捕获本地信息。然而,全局(句子级)信息很少被探索,为生成质量的提高留下了空间。在本文中,我们提出了一种新的全局表示增强Transformer(GRET)显式建模全局表示的Transformer网络。具体而言,在所提出的模型中,外部状态是从编码器的全局表示生成的。然后在解码过程中将全局表示融合到解码器中,以提高生成质量。我们在两个文本生成任务中进行实验:机器翻译和文本摘要。在四个WMT机器翻译任务和LCSTS文本摘要任务上的实验结果证明了该方法在自然语言生成上的有效性。
2020-02-24 cs.CL
Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心);Institute for Artificial Intelligence, Tsinghua University(清华大学人工智能研究院);Microsoft Research Asia(微软亚洲研究院);Jiangsu Normal University(江苏师范大学);Jiangsu Collaborative Innovation Center for Language Ability(江苏省语言能力协同创新中心)
变分自动编码器(VAE)在文本生成中得到了广泛的应用。在许多变体中,递归VAE学习令牌式潜变量,每个潜变量都以前面的潜变量为条件,这在RNN时代更好地捕捉了序列变异性。然而,目前还不清楚如何将这种经常性的动态到最近占主导地位的Transformer,由于其并行性。在这项工作中,我们提出了TRACE,一个基于transformer的递归VAE结构。TRACE对具有任意分离的文本段的逐段潜变量施加递归,并构造具有残差参数化的后验分布。此外,我们设计了一个加速方法,通过近似幂等矩阵,允许并行性,同时保持条件依赖的潜在变量。我们证明了TRACE可以增强每段和前一个潜变量的纠缠度,并推导出KL项的非零下界,为世代多样性提供了理论保证。两个无条件和一个条件生成任务的实验表明,TRACE实现了显着提高多样性,同时保持令人满意的生成质量。
2022-11-23 cs.CL
Generative Transformers for Design Concept Generation
Singapore University of Technology and Design(新加坡科技设计大学)
在早期设计阶段,产生新颖和有用的概念是必不可少的,以探索各种各样的设计机会,这通常需要先进的设计思维能力和设计师的广泛知识。越来越多的计算机辅助工具的工作已经探索了从设计数据中检索知识和知识。然而,它们只能从有限的方面为设计师提供激励。本研究探讨人工智能领域中的自然语言生成(NLG)技术的最新进展,以自动化早期设计概念的生成。具体而言,提出了一种新的方法,利用生成预训练的Transformer(GPT),利用知识和推理从文本数据,并将它们转换成新的概念,在可理解的语言。三个概念生成任务被定义为利用不同的知识和推理:领域知识综合,问题驱动的综合,类比驱动的综合。人类和数据驱动的评估实验表明,在生成新颖和有用的概念方面表现良好。
2022-11-07 cs.CL
Augmenting Neural Response Generation with Context-Aware Topical Attention
University of Alberta(阿尔伯塔大学)
序列到序列(Seq2Seq)模型在生成自然会话交换方面取得了显着的成功。尽管这些神经网络模型生成的响应在句法上是良好的,但它们往往是上下文的、简短的和通用的。在这项工作中,我们介绍了一个主题分层递归编码器解码器(THRED),一种新颖的,完全数据驱动的,多轮响应生成系统,旨在产生上下文和主题感知的响应。我们的模型是建立在基本的Seq2Seq模型的基础上,通过增加一个分层的联合注意力机制,将主题概念和以前的相互作用纳入响应生成。为了训练我们的模型,我们提供了一个从Reddit评论中挖掘出来的干净且高质量的会话数据集。我们评估THRED的两个新的自动化指标,被称为语义相似性和响应回声指数,以及与人类的评价。我们的实验表明,所提出的模型是能够产生更多样化和上下文相关的反应相比,强基线。
2019-06-04 cs.CL
Controllable Topic-Focused Abstractive Summarization
University of Tuebingen(图宾根大学);EPFL(洛桑联邦理工学院)
本文提出一种基于Transformer的交叉注意力修改机制,在不增加参数的情况下实现可控主题聚焦摘要,在NEWTS数据集上达到新最优,并可微调提升BART和T5在CNN/Dailymail及XSum上的性能,生成更忠实的摘要。
2023-11-12 cs.CL cs.LG
An Augmented Transformer Architecture for Natural Language Generation Tasks
Hong Kong Applied Science and Technology Research Institute Company Limited(香港应用科技研究院有限公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
基于Transformer的神经网络由于其固有的基于结构的优势,在各种自然语言处理和其他序列到序列任务的大多数评估中显示出显著的优势。尽管人们一直在探索Transformer的主要架构,但很少关注位置编码模块。在本文中,我们通过最大化编码的连续位置之间的方差来增强正弦位置编码算法以获得额外的提升。此外,我们提出了一种增强的Transformer架构,该架构编码有额外的语言知识,例如词性(POS)标记,以提高某些自然语言生成任务的性能,例如,自动翻译和摘要任务。实验表明,该架构达到不断优于香草相比,Transformer的结果。
2019-10-30 cs.CL cs.LG
Unifying Multimodal Transformer for Bi-directional Image and Text Generation
Microsoft Research Asia(微软亚洲研究院);Sun Yat-sen University(中山大学);University of Science and Technology of China(中国科学技术大学)
我们研究了图像到文本和文本到图像生成的联合学习,这是自然的双向任务。典型的现有作品设计两个单独的任务特定的模型,每个任务,这强加了昂贵的设计工作。在这项工作中,我们提出了一个统一的图像和文本生成框架的基础上,一个单一的多模态模型,共同研究的双向任务。我们采用Transformer作为我们的统一架构,因为它具有强大的性能和与任务无关的设计。具体来说,我们将这两个任务制定为序列生成任务,其中我们将图像和文本表示为统一的令牌序列,并且Transformer学习多模态交互以生成序列。我们进一步提出了两级粒度特征表示和序列级训练,以改进基于transformer的统一框架。实验表明,我们的方法显着提高了以前的基于transformer的模型X-LXMERT的FID从37.0到29.9(越低越好)的文本到图像的生成,并提高CIDEr-D得分从100.9%到122.6%的微调图像到文本生成的MS-COCO数据集。我们的代码可在线获取。
2021-10-19 cs.CL cs.CV cs.MM
Cascaded Text Generation with Markov Transformers
Harvard University(哈佛大学);Cornell University(康奈尔大学)
神经文本生成的两种主要方法是使用串行束搜索解码的完全自回归模型和使用没有输出依赖性的并行解码的非自回归模型。本文提出了一个具有次线性并行时间生成的自回归模型。注意到有界上下文的条件随机场可以并行解码,我们提出了一种高效的级联解码方法,用于生成高质量的输出。为了参数化这个级联,我们引入了一个马尔可夫Transformer,一个流行的完全自回归模型的变体,允许我们同时解码特定的自回归上下文截止。这种方法只需要对标准自回归训练进行很小的修改,同时与五个机器翻译数据集上的现有方法相比,显示出具有竞争力的准确性/速度权衡。
2020-12-05 cs.CL cs.LG cs.NE
A Neural Topical Expansion Framework for Unstructured Persona-oriented Dialogue Generation
Shandong University(山东大学);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学);University of Amsterdam(阿姆斯特丹大学)
非结构化面向角色的对话系统(UPDS)已经被证明在通过利用预定义的自然语言用户角色描述(例如,“我是一个素食主义者”)。然而,预定义的用户角色描述通常很短,并且仅限于几个描述性词语,这使得难以将它们与对话相关联。因此,现有的方法要么无法使用的角色描述或使用它们不正确时,生成人物角色一致的响应。为了解决这个问题,我们提出了一个神经主题扩展框架,即人物角色探索和利用(PEE),它能够扩展预定义的用户角色描述与语义相关的内容,然后利用它们来生成对话响应。PEE由两个主要模块组成:角色探索和角色开发。前者通过使用基于变分自动编码器(VAE)的主题模型挖掘和关联现有对话语料库来学习扩展预定义的用户角色描述。后者通过利用预定义的和扩展的用户角色描述来学习生成角色一致的响应。为了使角色开发能够更好地利用用户的角色描述,我们还引入了两个面向角色的损失函数:面向角色匹配(Persona-oriented Matching,P-Match)损失和面向角色词袋(Persona-oriented Bag-of-Words,P-BoWs)损失,分别用于监督编码器和解码器中的角色选择。实验结果表明,我们的方法优于国家的最先进的基线,在自动和人工评估。
2020-02-06 cs.AI cs.CL cs.LG
Modeling Topical Relevance for Multi-Turn Dialogue Generation
ICT, CAS(中国科学院计算技术研究所);CAS Key Lab of Network Data Science and Technology, Institute of Computing Technology, CAS(中国科学院计算技术研究所网络数据科学与技术重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
话题漂移是多话轮对话中的一种常见现象。因此,一个理想的对话生成模型应该能够捕捉每一个语境的主题信息,检测出相关的语境,并相应地产生适当的响应。然而,现有的模型通常使用词或句子级别的相似性来检测相关的上下文,这不能很好地捕捉主题级别的相关性。在本文中,我们提出了一个新的模型,命名为STAR-BTM,来解决这个问题。首先,在整个训练数据集上对双项主题模型进行预训练。然后,基于每个上下文的主题表示来计算主题级注意力权重。最后,在解码过程中利用注意力权重和主题分布来生成相应的响应。中文客户服务数据和英文Ubuntu对话数据的实验结果表明,STAR-BTM显着优于几个国家的最先进的方法,在基于度量和人类的评估。
2020-09-27 cs.CL cs.HC cs.LG
Language Models that Seek for Knowledge: Modular Search & Generation for Dialogue and Prompt Completion
Facebook AI Research(脸书人工智能研究院);ETH Zürich(苏黎世联邦理工学院)
语言模型(LM)最近已经被证明通过采用模块化来生成更多的事实响应(Zhou等人,2021)结合检索(Adolphs等人,2021年)。我们扩展了Adolphs等人(2021)的最新方法,将互联网搜索作为一个模块。因此,我们的SeeKeR(搜索引擎->知识->响应)方法将单个LM连续应用于三个模块化任务:搜索、生成知识和生成最终响应。我们表明,当使用SeeKeR作为对话模型时,它优于最先进的模型BlenderBot 2(Chen等人,2021)在一致性,知识和每回合的知识性方面,针对相同数量的参数,对开放领域知识为基础的对话进行了研究。SeeKeR作为标准语言模型应用于主题提示完成优于GPT 2(Radford等人,2019)和GPT 3(Brown等人,2020年)的真实性和话题性,尽管GPT 3是一个更大的模型。我们的代码和模型是公开的。
2022-03-29 cs.AI cs.CL
Structural Text Segmentation of Legal Documents
Heidelberg University(海德堡大学)
随着法律案件的日益复杂化,人们对能够有效满足用户特定信息需求的法律信息检索系统的兴趣日益增加。然而,这样的下游系统通常要求文档被适当地格式化和分段,这通常是通过相对简单的预处理步骤来完成的,而不考虑片段的主题一致性。系统通常依赖于单个句子或段落的表示,这可能缺乏关键的上下文,或者文档级表示,这对于有意义的搜索结果来说太长了。为了解决这个问题,我们提出了一个分割系统,它可以预测跨几个段落的连续文本段的主题连贯性,有效地分割文档,并为下游应用程序提供更平衡的表示。我们建立我们的模型上流行的Transformer网络和制定结构文本分割为主题的变化检测,通过执行一系列独立的分类,允许有效的微调特定于任务的数据。我们抓取了一个新的数据集,该数据集大致由$74,000$在线服务条款文档组成,包括我们用于训练的分层主题注释。结果表明,我们提出的系统显着优于基线,并适应法律文件的结构特点。我们向研究社区发布数据和经过训练的模型,供未来使用work.https://github.com/dennlinger/TopicalChange
2021-05-17 cs.CL
Experiments with adversarial attacks on text genres
MIPT(莫斯科物理技术学院);University of Leeds(利兹大学)
基于预先训练的Transformers的神经模型,如BERT或XLM-RoBERTa,在许多NLP任务中展示了SOTA结果,包括非主题分类,如体裁识别。然而,通常这些方法对测试文本的微小改动表现出较低的可靠性。一个相关的问题涉及训练语料库中的主题偏差,例如,在特定体裁中关于特定主题的单词的流行度可以欺骗体裁分类器来识别该体裁中关于该主题的任何文本。为了减轻可靠性问题,本文研究了攻击类型分类器的技术,以了解Transformer模型的局限性,并提高其性能。虽然简单的文本攻击,如那些基于词替换使用关键字提取的tf-idf,不能够欺骗强大的模型,如XLM-RoBERTa,我们表明,嵌入式算法,可以取代一些最“重要”的话与他们类似的话,例如,TextFocal,有能力影响模型预测的情况下,一个显着的比例。
2021-07-05 cs.CL
Scalable and Robust Construction of Topical Hierarchies
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
自动生成高质量的主题层次结构的文本集合是知识工程中的一个梦想问题,具有许多有价值的应用。本文提出了一个可扩展的和强大的算法,用于构建一个层次的主题从文本集合。我们使用自上而下的递归框架,张量正交分解技术的基础上,分治的问题。我们解决了一个关键的挑战,我们新设计的分层主题模型进行可扩展的推理。各种现实世界的数据集的实验表明,它能够有效地生成强大的,高质量的层次结构。我们的方法减少了几个数量级的建设时间,其强大的功能使用户能够交互式地修改层次结构。
2014-03-13 cs.CL cs.DB cs.IR
Topic-Aware Response Generation in Task-Oriented Dialogue with Unstructured Knowledge Access
University College London(伦敦大学学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
为了缓解结构化数据库的有限覆盖的问题,最近的面向任务的对话系统将外部非结构化知识,以指导系统响应的生成。然而,这些通常使用单词或句子级别的相似性来检测相关的知识上下文,这只能部分捕获主题级别的相关性。在本文中,我们研究如何更好地整合主题信息的知识为基础的面向任务的对话,并提出了“主题感知响应生成”(TARG),一个端到端的响应生成模型。TARG结合了多个主题感知的注意力机制,以获得对对话话语和外部知识源的重要性加权方案,从而更好地理解对话历史。实验结果表明,TARG在知识选择和响应生成方面达到了最先进的性能,在Doc 2Dial上的EM,F1和BLEU-4中分别比以前的最先进性能高出3.2,3.6和4.2分,并在DSTC 9上与以前的工作进行了比较;两者都是以知识为基础的面向任务的对话数据集。
2022-12-10 cs.CL
Explainable and Discourse Topic-aware Neural Language Understanding
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
本文提出一种神经复合语言模型,在主题与语言模型的联合学习框架中,引入可解释的主题表示与句子级主题篇章建模,实验证明其有效提升了多任务的语言理解能力。
2023-06-27 cs.AI cs.CL cs.LG
Topic-Driven and Knowledge-Aware Transformer for Dialogue Emotion Detection
University of Warwick(华威大学);Southeast University(东南大学)
对话中的情感检测具有挑战性,因为它通常需要识别对话背后的主题、相关常识知识以及情感状态之间复杂的过渡模式。在本文中,我们提出了一个主题驱动的知识感知Transformer来处理上述挑战。我们首先设计了一个主题增强的语言模型(LM)与一个额外的层专门用于主题检测。主题增强的LM,然后与常识的语句从一个知识库的基础上的对话上下文信息。最后,一个基于转换器的编码器-解码器架构融合的主题和常识信息,并执行情感标签序列预测。该模型已在四个数据集上进行了实验,在对话情感检测,证明了其优越性经验超过现有的国家的最先进的方法。定量和定性的结果表明,该模型可以发现有助于区分情感类别的主题。
2021-06-02 cs.CL
Mapping Researcher Activity based on Publication Data by means of Transformers
Deggendorf Institute of Technology(代根多夫应用技术大学)
本研究利用Transformer架构的预训练语言模型BERT处理本地出版物数据库,通过论文编码聚类构建科研主题全景,定义作者相似度及自相似度指标,实现研究者研究活动的图谱化分析。
2023-06-15 cs.CL cs.DL cs.IR
TransCouplet:Transformer based Chinese Couplet Generation
University of Southern California(南加州大学)
对联是一种特殊的诗歌形式,它是用古老的汉语语言,用复杂的句法组合而成的。由于对联的语义和语法规则的复杂性,创造一个合适的对联是一个艰巨的挑战。提出了一种基于变换器的序列对生成模型。利用AnchiBERT,该模型能够捕捉古代汉语的语言理解。此外,我们还对对联语法规则的字形标注、拼音标注和词性标注进行了评估,以进一步完善模型。
2021-12-03 cs.AI cs.CL
A Comparative Study on Code Generation with Transformers
Tribhuvan University(特里布文大学);Thapathali Campus(塔帕塔利校区)
针对当前代码生成研究仅聚焦大语言模型、缺乏不同复杂度Transformer架构性能对比的问题,本文提出基于Transformer和NLP方法的C++代码生成模型,并通过比较研究评估不同架构复杂度的Transformer模型处理各类问题的鲁棒性。
2024-12-07 cs.AI cs.CL
Transformer with Tree-order Encoding for Neural Program Generation
TU Dresden(德累斯顿工业大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
虽然相当多的语义解析方法已经将RNN架构用于代码生成任务,但只有很少的尝试来研究Transformers在此任务中的适用性。包括底层程序设计语言语法的分层信息已被证明对于代码生成是有效的。由于Transformer的位置编码只能表示平面序列中的位置,因此我们扩展了编码方案,以允许注意力机制也关注输入中的分层位置。此外,我们还实现了一个基于限制性文法图模型的解码器,以提高生成的准确性,并确保生成代码的良好格式。虽然我们没有超越最先进的技术,我们的研究结果表明,采用基于树的位置编码与共享的自然语言子词汇表相结合,提高了生成性能的顺序位置编码。
2022-05-30 cs.AI cs.CL
Prompt-Engineering and Transformer-based Question Generation and Evaluation
本文研究如何结合微调distilBERT与LLaMA提示工程从文本生成问题,并在SQuAD上验证四种提示均取得平均超60%的相似度。
2023-10-29 cs.AI cs.CL
Estimating Confidence of Predictions of Individual Classifiers and Their Ensembles for the Genre Classification Task
MIPT(莫斯科物理技术学院);University of Leeds(利兹大学)
体裁识别是非主题文本分类的一个子类。这个任务和主题分类之间的主要区别在于,与主题不同,体裁通常不对应于简单的关键词,因此它们需要根据它们在交流中的功能来定义。基于预先训练的Transformers的神经模型,如BERT或XLM-RoBERTa,在许多NLP任务中展示了SOTA结果,包括非主题分类。然而,在许多情况下,当一些原始文本与训练集的轮廓不匹配时,它们在非常大的语料库(例如从社交媒体中提取的语料库)中的下游应用可能会导致不可靠的结果,因为数据集会发生变化。为了缓解这个问题,我们对单个模型以及它们的集合进行了实验。为了评估所有模型的鲁棒性,我们使用预测置信度度量,该度量在没有金标准标签的情况下估计预测的可靠性。我们可以通过标记测试语料库上正确分类的文本和错误分类的文本之间的置信度差距来评估鲁棒性,更高的差距使我们更容易提高我们的分类器做出正确决策的信心。我们的研究结果表明,对于本研究中测试的所有分类器,都存在置信差距,但对于集合,差距更大,这意味着集合比它们的单个模型更强大。
2022-06-15 cs.CL
Attend and select: A segment selective transformer for microblog hashtag generation
Beihang University(北京航空航天大学);University of Montreal(蒙特利尔大学);CENCERT/CC(国家计算机网络应急技术处理协调中心/国家互联网应急中心)
主题标签生成的目的是从微博帖子中生成简短和非正式的主题标签,其中标记或短语形成主题标签。这些标记或短语可以源自主要的碎片文本片段(例如,段)在原始文本中并被分成不同的段。然而,传统的序列到序列生成方法很难从不同的文本粒度中过滤出次要信息,并且不善于选择关键标记。因此,它们在生成更浓缩的主题标签方面是次优的。在这项工作中,我们提出了一个修改后的基于transformer的生成模型,增加了一个段选择过程的原始编码和解码阶段。片段选择阶段基于一种新的片段选择机制(SSM),对全局文本、本地片段和令牌的不同文本粒度进行建模,有助于生成精简的主题标签。具体来说,它首先关注主要的语义片段,然后通过选择关键的标记将源文本中的不连续片段转换为一系列主题标签。对这两个数据集的广泛评估表明,我们的方法的优越性与显着改善的提取和生成基线。代码和数据集可在https://github.com/OpenSUM/HashtagGen上获得。
2022-09-26 cs.AI cs.CL cs.IR
Logit Reweighting for Topic-Focused Summarization
本文提出通过对主题相关词元的对数几率进行直接重加权来提升摘要的主题聚焦性,并在NEWTS数据集上验证了三种技术,其中阈值选择方法能在不牺牲摘要质量的前提下改善主题相关性。
2025-07-07 cs.CL cs.LG
Open-Domain Dialogue Generation Based on Pre-trained Language Models
DIRO, Université de Montréal(蒙特利尔大学DIRO)
预训练的语言模型已成功地用于开放域对话的响应生成。本文提出了四种主要框架:(1)分别对源语句和目标语句使用Transformer编码器和解码器的Transformer-ED;(2)对源语句和目标语句使用Transformer解码器的Transformer-Dec;(3)使用Transformer解码器的Transformer-MLM,该解码器在源侧应用双向注意力,在目标侧应用从左到右的注意力,并具有掩蔽的语言模型目标;以及(4)使用自回归目标代替的变换器-AR。在这项研究中,我们在3个数据集上比较了这些框架,我们的比较表明,最好的框架在源端使用双向注意力,并且不分离编码器和解码器。我们还研究了模型的差异,我们的实验证实了模型的性能直接受到潜在差异的影响。然后,我们提出了两种校正方法,以减少差异,都提高了模型的性能。这些结果表明,当我们使用预训练模型时,差异是需要考虑的一个重要因素,减少差异可以提高性能。
2020-10-24 cs.AI cs.CL
Transformer-based Conditional Variational Autoencoder for Controllable Story Generation
University at Buffalo(布法罗大学);JD Finance America Corporation(京东金融美国公司)
我们研究了用于神经故事生成的大规模潜变量模型(LVMs)-开放域长文本的一个未充分开发的应用程序-目标有两个线程:生成有效性和可控性。LVMs,特别是变分自编码器(VAE),通过利用灵活的分布式潜在表示实现了有效和可控的生成。近年来,Transformers及其变体在没有显式潜在表示学习的情况下取得了显著的效果,因此在生成过程中缺乏令人满意的可控性。在本文中,我们主张在Transformers时代恢复潜变量建模,本质上是表示学习的力量,以增强可控性,而不损害最先进的发电效率。具体来说,我们将潜在表示向量与基于transformer的预训练架构相结合,以构建条件变分自编码器(CVAE)。模型的组成部分,如编码器,解码器和变分后验都建立在预先训练的语言模型-GPT 2在本文中具体。实验证明了我们的模型的最先进的条件生成能力,以及其优秀的表示学习能力和可控性。
2021-07-08 cs.AI cs.CL cs.LG
A Novel Approach to Scalable and Automatic Topic-Controlled Question Generation in Education
University College London(伦敦大学学院)
本文提出 T-CQG 方法,基于微调 T5-small 并结合教育数据集、量化与数据增强,生成与段落上下文语义对齐的主题聚焦问题,经离线和人工评估验证其高质量、低成本与可扩展性。
2025-01-09 cs.AI cs.CL cs.CY
ENCONTER: Entity Constrained Progressive Sequence Generation via Insertion-based Transformer
Singapore Management University(新加坡管理大学)
使用大量数据进行预训练,自回归语言模型能够生成高质量的序列。然而,这些模型在严格的词汇约束下表现不佳,因为它们缺乏对内容生成过程的精细控制。基于渐进插入的Transformers可以克服上述限制,并在给定一些输入令牌作为约束的情况下高效地并行生成序列。然而,这些Transformers可能无法支持硬词汇约束,因为它们的生成过程更有可能过早终止。本文分析了这种提前终止的问题,并提出了一种新的插入式Transformer,解决了上述缺陷,而不影响发电效率的安全约束插入式Transformer(ENCONTER)。我们引入了一种新的训练策略,该策略考虑了预定义的硬词汇约束(例如,要包括在生成的序列中的实体)。我们的实验表明,ENCONTER优于其他基准模型在几个性能指标,使其更适合在实际应用中。我们的代码可在https://github.com/LARC-CMU-SMU/Enconter上获得
2021-03-17 cs.AI cs.CL cs.LG
Towards Fine-Dining Recipe Generation with Generative Pre-trained Transformers
Athens University of Economics and Business(雅典经济与商业大学)
食物是人类生存所必需的。所以我们开发了不同的食谱来满足我们的口味需求。在这项工作中,我们提出了一种使用Transformers(特别是自回归语言模型)从头开始创建新的美食食谱的新颖方法。给定一个小的食物食谱数据集,我们尝试训练模型来识别烹饪技术,提出新的食谱,并用最少的数据测试微调的能力。
2022-09-26 cs.AI cs.CL cs.LG
Iterative Critique-Refine Framework for Enhancing LLM Personalization
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Adobe Research(Adobe研究);University of Oregon(俄勒冈大学);Cisco AI Research(思科人工智能研究)
针对现有检索增强个性化文本生成方法易出现风格语气偏移的问题,提出无需训练的PerFine迭代批评-精炼框架,通过结构化反馈与淘汰策略优化生成,在多数据集上显著提升个性化效果。
2026-10-14 cs.AI cs.CL cs.IR
Downstream Transformer Generation of Question-Answer Pairs with Preprocessing and Postprocessing Pipelines
University of Massachusetts, Lowell(马萨诸塞大学洛厄尔分校)
我们提出了一个名为TP 3的系统来执行Transformers的下游任务,从给定的文章中生成问答对(QAP)。TP 3首先在QAP数据集上微调预训练的Transformers,然后使用预处理管道选择适当的答案,将相关句子和答案馈送到微调的Transformer以生成候选QAP,最后使用后处理管道过滤不适当的QAP。特别是,使用预训练的T5模型作为Transformers,SQuAD数据集作为微调数据集,我们表明TP 3在Gaokao-EN数据集上生成了令人满意的数量的高质量QAP。
2022-05-15 cs.CL
Question Generation by Transformers
U.S. Bank(美国合众银行)
开发了一个机器学习模型,使用Transformers从维基百科的段落中自动生成问题,这是一种基于注意力的模型,避开了现有的递归神经网络(RNN)的范式。该模型是在反向斯坦福问答数据集(SQuAD)上训练的,该数据集是一个阅读理解数据集,由众包工作者对一组维基百科文章提出的10万多个问题组成。经过训练后,问题生成模型能够生成与未见过的段落相关的简单问题,以及每个问题平均包含8个单词的答案。单词出错率(WER)被用作比较SQuAD问题和模型生成的问题之间的相似性的度量。虽然高平均WER表明生成的问题与原始SQuAD问题不同,但生成的问题大多语法正确,并且本身似乎合理。
2019-09-14 cs.AI cs.CL cs.LG
EdgeFormer: A Parameter-Efficient Transformer for On-Device Seq2seq Generation
Microsoft(微软)
我们介绍了EdgeFormer --一个参数高效的Transformer,用于在严格的计算和内存限制下生成设备上的seq 2seq。与以前的参数高效的Transformers相比,EdgeFormer应用了两个新的原则,成本效益的参数化,使其能够在相同的参数预算下表现更好;此外,EdgeFormer还通过层自适应创新进一步增强,该创新旨在改善具有共享层的网络。大量的实验表明,EdgeFormer可以有效地优于以前的参数高效的Transformer基线,并在计算和内存限制下取得有竞争力的结果。鉴于有希望的结果,我们发布了EdgeLM-EdgeFormer的预训练版本,这是第一个公开可用的预训练的设备上seq 2seq模型,可以很容易地针对seq 2seq任务进行微调,并获得强大的结果,从而在实践中促进设备上seq 2seq生成。
2022-12-29 cs.CL
LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback
University of California Santa Barbara(加州大学圣巴巴拉分校);Google(谷歌);Carnegie Mellon University(卡内基梅隆大学)
本文提出推理时优化方法 LLMRefine,利用学习到的细粒度反馈模型定位缺陷,并通过模拟退火引导 LLM 迭代改进输出,在翻译、长问答和摘要任务上均显著超过基线。
2024-10-25 cs.CL
Plan ahead: Self-Supervised Text Planning for Paragraph Completion Task
UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
尽管上下文化语言模型最近在各种NLP任务上取得了成功,但语言模型本身无法捕获长的多句子文档的文本连贯性(例如,a段)。人类在说话之前,经常会做出关于说什么和如何说的结构性决定。用这种高层决策指导表面实现并以连贯的方式构造文本,本质上称为规划过程。模型在哪里可以学习这种高层次的一致性?文章提出了一个新的段落补全任务PARCOM,即预测段落中的隐藏句。然而,任务遭受预测和选择适当的主题内容相对于给定的上下文。为了解决这个问题,我们提出了一个自我监督的文本规划器SSPlanner,它首先预测要说什么(内容预测),然后使用预测的内容指导预训练的语言模型(表面实现)。SSPlanner在自动和人工评估中的段落完成任务上优于基线生成模型。我们还发现,名词和动词类型的关键字的组合是最有效的内容选择。随着提供更多数量的内容关键字,总体生成质量也提高。
2020-10-11 cs.CL
Transformer-based Lexically Constrained Headline Generation
Nagoya University(名古屋大学);Insight Edge, Inc.(Insight Edge 公司);The Asahi Shimbun Company(朝日新闻社);Tokyo Institute of Technology(东京工业大学);Tohoku University(东北大学);RIKEN AIP(理化学研究所革新智能综合研究中心)
本文探讨了自动标题生成方法的一种变体,其中生成的标题需要包括给定的短语,如公司或产品名称。使用基于变换器的模型的先前方法通过向编码器提供对应于给定短语的附加信息来生成包括给定短语的标题。然而,这些方法并不总是在生成的标题中包含短语。受以前基于RNN的方法从给定短语中向后和向前生成令牌序列的启发,我们提出了一种简单的基于Transformer的方法,该方法保证将给定短语包含在高质量的生成标题中。我们还考虑了一个新的标题生成策略,利用可控的生成顺序的Transformer。我们的日本新闻语料库的实验表明,我们的方法,这是保证包括短语在生成的标题,实现ROUGE分数相比,以前的基于transformer的方法。我们还表明,我们的一代策略比以前的策略表现更好。
2021-09-15 cs.CL
Hybrid Quantum Transformer for Language Generation
Nankai University(南开大学);Beijing Sursen Information Technology Co., Ltd(北京搜森信息技术有限公司)
针对现有量子/混合模型未应用于大规模自然语言生成的问题,提出首个混合量子-经典大语言模型HyQuT,在Transformer中集成变分量子电路,验证了少量量子资源可替代部分经典参数并保持性能,证明量子计算集成至大规模生成式语言模型可行。
2025-11-02 cs.AI cs.CL quant-ph
A Spark of Vision-Language Intelligence: 2-Dimensional Autoregressive Transformer for Efficient Finegrained Image Generation
Peking University(北京大学);Alibaba Group(阿里巴巴集团);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Beijing Institute of Technology(北京理工大学)
本文提出二维自回归Transformer(DnD-Transformer),通过在序列长度之外引入模型深度方向的自回归,以端到端方式缓解VQ自回归图像生成的信息丢失问题,在相同模型规模下实现更高质量的图像生成,并首次展示自监督训练下对图文组合模态的理解能力。
2024-10-02 cs.AI cs.CL cs.CV
How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
该研究结合数学分析与Wikipedia、LDA合成数据实验,揭示Transformer的嵌入层与自注意力层通过同主题词高内积、高注意力值编码主题结构,为其语义学习机制提供细粒度机制性理解。
2023-07-24 cs.CL cs.LG stat.ML