DiscoDVT: Generating Long Text with Discourse-Aware Discrete Variational Transformer
Tsinghua University(清华大学)
尽管最近在应用预训练的语言模型生成高质量文本方面取得了进展,但生成保持长距离连贯性的长段落对于这些模型来说仍然具有挑战性。在本文中,我们提出了DiscoDVT,一个话语感知的离散变分Transformer,以解决不一致的问题。DiscoDVT学习一个离散变量序列,它总结了文本的全局结构,然后在每个解码步骤中应用它来指导生成过程。为了进一步将话语感知信息嵌入到离散的潜在表征中,我们引入了一个辅助目标来建模文本中的话语关系。我们在两个开放式故事生成数据集上进行了广泛的实验,并证明了潜在代码可以学习到与话语结构有意义的对应关系,从而指导模型生成具有更好的长程连贯性的长文本。
2021-10-12 cs.CL
TMT: A Transformer-based Modal Translator for Improving Multimodal Sequence Representations in Audio Visual Scene-aware Dialog
Didi Chuxing(滴滴出行)
视听场景感知对话(AVSD)是一个在讨论给定视频时生成响应的任务。先前的最先进模型使用基于Transformer的架构显示了此任务的卓越性能。然而,在学习更好地表示模态方面仍然存在一些限制。受神经机器翻译(NMT)的启发,本文提出了基于转换器的模态翻译器(TMT),通过有监督的方式将源模态序列翻译成相关的目标模态序列,从而学习源模态序列的表示。在多模态Transformer网络(MTN)的基础上,将TMT应用于视频和对话,提出了基于视频的对话系统MTN-TMT。在对话系统技术挑战赛7的AVSD赛道上,MTN-TMT在视频和文本任务以及纯文本任务中的表现优于MTN和其他提交模型。与MTN相比,MTN-TMT在所有指标上都有改善,尤其是在CIDER上的相对改善高达14.1%。索引术语:多模态学习、视听场景感知对话、神经机器翻译、多任务学习
2020-10-21 cs.CL
DA-Transformer: Distance-aware Transformer
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
Transformer在NLP领域取得了巨大的成功,它包含了各种先进的模型,如BERT和GPT。然而,Transformer及其现有变体在捕获标记距离方面可能不是最佳的,因为这些方法所使用的位置或距离嵌入通常不能保持真实距离的精确信息,这可能不利于对上下文的顺序和关系进行建模。在本文中,我们提出了DA-Transformer,这是一个距离感知的Transformer,可以利用真实的距离。我们建议将令牌之间的真实距离重新缩放原始的自我注意力权重,这是由注意力查询和键之间的相关性计算。具体地说,在不同的自我注意头的每对令牌之间的相对距离加权不同的可学习参数,控制这些头的长期或短期信息的不同偏好。由于原始的加权实距离可能不是调整自我注意力权重的最佳选择,我们提出了一个可学习的sigmoid函数来将它们映射到具有适当范围的重新缩放系数中。我们首先通过ReLU函数裁剪原始的自我注意力权重,以保持非负性并引入稀疏性,然后将它们与重新缩放的系数相乘,将真实的距离信息编码为自我注意力。在五个基准数据集上的大量实验表明,DA-Transformer可以有效地提高许多任务的性能,并优于vanilla Transformer及其几个变体。
2021-04-11 cs.CL
Bridging Text and Video: A Universal Multimodal Transformer for Video-Audio Scene-Aware Dialog
Tencent Inc(腾讯公司);Chinese Academy of Sciences(中国科学院);Peking University(北京大学);University of Chinese Academy of Sciences(中国科学院大学)
视听场景感知对话(AVSD)是一项在聊天时生成给定视频的响应的任务,该任务被组织为第八届对话系统技术挑战赛(DSTC 8)的一个轨道。为了解决这个问题,我们提出了一个通用的多模态Transformer,并引入了多任务学习方法来学习不同模态之间的联合表示,以及生成信息丰富和流畅的响应。该方法将自然语言生成预训练模型扩展到多模态对话生成任务。我们的系统在客观和主观评价中都取得了最好的成绩。
2020-02-01 cs.CL
Topic-Driven and Knowledge-Aware Transformer for Dialogue Emotion Detection
University of Warwick(华威大学);Southeast University(东南大学)
对话中的情感检测具有挑战性,因为它通常需要识别对话背后的主题、相关常识知识以及情感状态之间复杂的过渡模式。在本文中,我们提出了一个主题驱动的知识感知Transformer来处理上述挑战。我们首先设计了一个主题增强的语言模型(LM)与一个额外的层专门用于主题检测。主题增强的LM,然后与常识的语句从一个知识库的基础上的对话上下文信息。最后,一个基于转换器的编码器-解码器架构融合的主题和常识信息,并执行情感标签序列预测。该模型已在四个数据集上进行了实验,在对话情感检测,证明了其优越性经验超过现有的国家的最先进的方法。定量和定性的结果表明,该模型可以发现有助于区分情感类别的主题。
2021-06-02 cs.CL
Source Dependency-Aware Transformer with Supervised Self-Attention
Nankai University(南开大学);Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院)
最近,Transformer在许多机器翻译任务上实现了最先进的性能。然而,在编码器中没有明确考虑语法知识的情况下,违反语法结构的不正确的上下文信息可能被集成到源隐藏状态中,从而导致错误的翻译。在本文中,我们提出了一种新的方法,将源依赖到Transformer。具体来说,我们采用源依赖树,并定义了两个矩阵来表示依赖关系。在此基础上,对多头自注意模块中的两个头进行有监督的训练,并在训练目标函数中引入两个额外的交叉熵损失。在此训练目标下,模型被训练成直接学习源依赖关系。在推理过程中不需要预解析的输入,我们的模型可以使用依赖感知的上下文信息生成更好的翻译。在汉英、英日和英德双向翻译任务上的实验表明,该方法能显著提高Transformer的基线。
2019-09-05 cs.CL
Syntax-Aware Graph-to-Graph Transformer for Semantic Role Labelling
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
提出 SynG2G-Tr,通过将句法图关系嵌入直接注入 Transformer 自注意力来编码句法,并在多类 SRL 数据集及域内外设置中取得优于以往方法的结果。
2023-06-02 cs.CL
Semantics-aware Attention Improves Neural Machine Translation
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
将句法结构整合到Transformer机器翻译中已经取得了积极的成果,但据我们所知,还没有工作试图这样做语义结构。在这项工作中,我们提出了两种新的无参数的方法注入语义信息到Transformers,都依赖于语义感知掩蔽(一些)的注意头。一种这样的方法通过场景感知自注意(SASA)头在编码器上操作。另一个在解码器上,通过场景感知交叉注意(SACrA)头。我们表现出一致的改进香草Transformer和语法感知模型的四种语言对。我们进一步表明,在一些语言对使用语义和句法结构时,额外的收益。
2022-05-24 cs.CL
TempoFormer: A Transformer for Temporally-aware Representations in Change Detection
Queen Mary University of London(伦敦玛丽女王大学);The Alan Turing Institute(阿兰·图灵研究所)
本文提出TempoFormer,首个任务无关且时间感知的Transformer动态表示学习模型,通过联合训练上下文内外动态并引入旋转位置嵌入的时间变体,在三个实时变化检测任务上取得SOTA性能。
2024-10-22 cs.CL
Stanceformer: Target-Aware Transformer for Stance Detection
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对现有立场检测Transformer模型无法有效关注目标的问题,提出带目标感知矩阵的Stanceformer模型,提升目标自注意力得分,在多数据集上性能更优且可泛化到其他领域。
2024-10-09 cs.CL
Dialog Action-Aware Transformer for Dialog Policy Learning
The Chinese University of Hong Kong(香港中文大学);Tencent(腾讯)
本文提出对话动作感知Transformer(DaTrans),利用预训练语言模型知识并设计掩码最后动作任务,加速强化学习对话策略学习,经模拟器与人工评估验证有效。
2023-09-05 cs.CL
Segatron: Segment-Aware Transformer for Language Modeling and Understanding
University of Waterloo(滑铁卢大学);Peking University(北京大学)
Transformers对于序列建模非常强大。几乎所有最先进的语言模型和预训练的语言模型都基于Transformer架构。但是,它仅通过标记位置索引来区分连续标记。我们假设,更好的上下文表示可以从具有更丰富的位置信息的Transformer生成。为了验证这一点,我们提出了一个段感知的Transformer(Segatron),通过替换原来的令牌位置编码与段落,句子和令牌的组合位置编码。我们首先将段感知机制引入到Transformer-XL,这是一种流行的基于transformer的语言模型,具有内存扩展和相对位置编码。我们发现,我们的方法可以进一步改善Transformer-XL基础模型和大模型,在WikiText-103数据集上实现17.1困惑度。我们进一步研究了Segatron的预训练掩蔽语言建模任务。实验结果表明,使用Segatron(SegaBERT)预训练的BERT在各种NLP任务上的性能优于使用vanilla Transformer的BERT,在zero-shot句子表示学习上的性能优于RoBERTa。
2020-12-15 cs.CL cs.LG
Quantization-Aware and Tensor-Compressed Training of Transformers for Natural Language Understanding
University of California, Santa Barbara(加州大学圣巴巴拉分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文提出量化感知的张量压缩训练方法,将Transformer嵌入层和线性层压缩为低秩张量核心并结合可学习尺度因子的量化训练,在自然语言理解任务中实现最高63倍压缩率且精度损失极小。
2023-07-08 cs.AI cs.CL
Understanding and Improving Knowledge Distillation for Quantization-Aware Training of Large Transformer Encoders
Hanyang University(汉阳大学)
知识蒸馏(KD)是模型压缩的一种常用方法,它利用教师传授的知识来增强轻量级模型的能力。特别地,KD已被用于Transformer编码器(如BERT)的量化感知训练(QAT)中,以利用降低精度的权重参数来提高学生模型的准确性。然而,很少有人知道哪种KD方法最适合Transformers的QAT。在这项工作中,我们提供了一个深入的分析机制KD的注意力恢复的量化大Transformers。特别是,我们发现,以前采用的MSE损失的注意力分数是不够的恢复自我注意力的信息。因此,我们提出了两种KD方法:注意力地图和注意力输出损失。此外,我们探讨了这两种损失的统一,以解决注意力地图和输出损失之间的任务依赖性偏好。在各种Transformer编码器模型上的实验结果表明,所提出的KD方法实现了最先进的精度与子2位权重量化的QAT。
2022-11-20 cs.AI cs.CL
Correction of Faulty Background Knowledge based on Condition Aware and Revise Transformer for Question Answering
University of Science and Technique of China(中国科学技术大学)
问答的研究近年来受到越来越多的关注。这项工作的重点是提供一个答案,既符合用户的意图和条件信息对应的问题,如交货状态和库存信息在电子商务。然而,这些条件在实际应用中可能是错误的或不完整的。现有的问答系统虽然考虑了知识库中的范畴属性、三元组等外部信息,但都假设外部信息是正确的、完整的。为了减轻有缺陷的条件值的影响,本文提出了条件感知和修正Transformer(CAR-Transformer)。CAR-Transformer(1)基于整个会话和原始条件值来修改每个条件值,并且(2)它对修改后的条件进行编码并利用条件嵌入来选择答案。在真实世界客户服务数据集上的实验结果表明,当与问题对应的条件存在错误或缺失值时,CAR-Transformer仍然可以选择适当的回复,并且在自动和人工评估方面大大优于基线模型。所提出的CAR-Transformer可以扩展到其他需要考虑条件信息的NLP任务。
2020-06-30 cs.AI cs.CL
Teacher Intervention: Improving Convergence of Quantization Aware Training for Ultra-Low Precision Transformers
Hanyang University(汉阳大学);Seoul National University(首尔国立大学)
预训练的Transformer模型(如BERT)在广泛的应用中取得了巨大的成功,但代价是模型复杂性大幅增加。量化感知训练(QAT)是一种很有前途的方法,以降低实现成本和能源消耗。然而,由于不稳定的收敛,低于2位的积极量化会导致相当大的精度下降,特别是当下游数据集不丰富时。这项工作提出了一种积极主动的知识蒸馏方法,称为教师干预(TI)的快速收敛QAT的超低精度预先训练的Transformers。TI用来自教师的完整信号干预逐层信号传播,以消除传播的量化误差的干扰,平滑QAT的损失表面并加速收敛。此外,我们提出了一个渐进的干预机制,以稳定恢复的Transformer层的子部分从量化。所提出的计划,使QAT的快速收敛,提高模型的精度,而不管下游微调任务的不同特点。我们证明,TI一贯实现卓越的准确性与显着较低的微调迭代著名的Transformers的自然语言处理以及计算机视觉相比,国家的最先进的QAT方法。
2023-02-23 cs.AI cs.CL
Audio Visual Scene-Aware Dialog Generation with Transformer-based Video Representations
NTT Computer and Data Science Laboratories, NTT Corporation(日本电信电话株式会社计算机与数据科学实验室)
已经有许多尝试来构建可以响应关于给定视听信息的问题的多模态对话系统,并且这种系统的代表性任务是视听场景感知对话(AVSD)。大多数传统的AVSD模型采用基于卷积神经网络(CNN)的视频特征提取器来理解视觉信息。虽然CNN倾向于获得时间和空间局部信息,但全局信息对于提高视频理解也至关重要,因为AVSD需要长期的时间视觉依赖性和整体视觉信息。在这项研究中,我们应用了基于变换器的视频特征,该特征可以比基于CNN的特征更有效地捕获时间和空间全局表示。我们的AVSD模型及其基于transformer的功能在答案生成方面获得了更高的客观性能分数。此外,我们的模型在DSTC 10中获得了接近人类答案的主观分数。我们观察到,基于transformer的视觉特征对AVSD任务是有益的,因为我们的模型倾向于正确回答需要时间和空间上广泛的视觉信息的问题。
2022-02-21 cs.CL cs.CV
ViNTER: Image Narrative Generation with Emotion-Arc-Aware Transformer
The University of Tokyo(东京大学);RIKEN(理化学研究所)
图像叙事生成是从图像出发,以主观视角创造故事的任务。鉴于作者、读者和人物的主观感受在讲故事中的重要性,图像叙事生成方法应该考虑人类情感。在这项研究中,我们提出了一种新的图像叙事生成方法称为ViNTER(视觉叙事Transformer与情感弧表示),它以“情感弧”作为输入,以捕捉一系列的情感变化。由于情感弧代表了情感变化的轨迹,因此我们可以将故事中情感变化的详细信息包含到模型中。我们提出了自动和手动评估的图像叙事数据集的实验结果,并证明了所提出的方法的有效性。
2022-04-07 cs.CL cs.CV
IART: Intent-aware Response Ranking with Transformers in Information-seeking Conversation Systems
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Alibaba Group(阿里巴巴集团);Ant Financial Services Group(蚂蚁金融服务集团);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Rutgers University(罗格斯大学)
个人助理系统,如Apple Siri,Google Assistant,Amazon Alexa和Microsoft Cortana,正在变得越来越广泛地使用。了解用户意图,如澄清问题,潜在的答案和用户反馈的信息寻求对话是至关重要的检索良好的反应。在本文中,我们分析了信息寻求会话中的用户意图模式,并提出了一个意图感知的神经反应排名模型“IART”,这是指“意图感知排名与Transformers”。IART建立在用户意图建模和语言表示学习与Transformer架构的集成之上,该架构完全依赖于自我注意力机制而不是递归网络。它结合了意图感知的话语注意力,以更好地理解会话历史为目的,在会话上下文中导出话语的重要性加权方案。我们进行了广泛的实验,三个信息寻求对话数据集,包括标准的基准和商业数据。我们提出的模型优于所有的基线方法就各种指标。我们还进行案例研究和分析,了解用户意图及其对信息寻求对话中的响应排名的影响,以提供结果的解释。
2020-02-03 cs.CL cs.IR
SACT: Self-Aware Multi-Space Feature Composition Transformer for Multinomial Attention for Video Captioning
University of Florida(佛罗里达大学)
视频描述主要研究两个基本概念:特征检测和特征合成。虽然现代Transformers在构成特征上是有益的,但它们缺乏对内容的选择和理解的基本问题。随着特征长度的增加,包括用于改进相关内容的捕获的规定变得越来越重要。在这项工作中,我们引入了一个新的概念,自我意识的组成Transformer(SACT),能够产生多项式注意力(MultAtt),这是一种生成各种组合的帧的分布。此外,多头注意力转换器Transformer的工作原理是将所有可能的注意力内容组合起来,这对自然语言分类很好,但对视频描述有局限性。视频内容具有重复,并且需要解析重要内容以更好地内容合成。在这项工作中,我们已经引入了SACT更多的选择性注意,并结合他们为不同的注意力头更好地捕捉可用的内容,为任何应用程序。为了解决多样化的问题,并鼓励选择性利用,我们提出了自感知组合Transformer模型密集的视频描述和应用技术的两个基准数据集,如ActivityNet和YouCookII。
2020-06-25 cs.CL cs.CV cs.NE
Transformer-based Automatic Post-Editing with a Context-Aware Encoding Approach for Multi-Source Inputs
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
自动译后编辑(APE)研究的最新方法表明,多源模型可以获得更好的结果,该模型联合编码源(src)和机器翻译输出(mt)以产生译后编辑句子(pe)。沿着这一趋势,我们提出了一个新的多源APE模型的基础上的Transformer。为了构建有效的联合表示,我们的模型内部学习将src上下文纳入mt表示。通过这种方法,我们实现了一个显着的改善基线系统,以及国家的最先进的多源APE模型。此外,为了证明我们的模型将src上下文的能力,我们表明,未知的MT系统的字对齐成功地捕获在我们的编码结果。
2019-08-15 cs.CL cs.LG
Object-aware Video-language Pre-training for Retrieval
National University of Singapore(新加坡国立大学);Tongji University(同济大学);Columbia University(哥伦比亚大学);Tencent PCG(腾讯平台与内容事业群)
近年来,通过引入大规模数据集和强大的Transformer网络,视频语言预训练在检索方面取得了巨大的成功。然而,现有的视频语言Transformer模型没有显式地细粒度语义对齐。在这项工作中,我们提出了对象感知的Transformers,一个以对象为中心的方法,扩展视频语言的Transformer,将对象表示。关键思想是利用边界框和对象标签来指导训练过程。我们评估我们的模型上的三个标准子任务的视频文本匹配四个广泛使用的基准。我们还提供了深入的分析和详细的消融所提出的方法。我们在所有考虑的任务和数据集的性能上都有明显的提高,证明了将对象表示纳入视频语言架构的模型的价值。代码将在\url{https://github.com/FingerRec/OA-Transformer}发布。
2022-05-18 cs.CL cs.CV
Multiplicative Position-aware Transformer Models for Language Understanding
AWS AI(亚马逊网络服务人工智能研究院)
Transformer模型利用了自注意力等架构改进,在自然语言处理(NLP)任务上表现非常出色。自我注意力机制是位置不可知的。为了捕获位置排序信息,已经提出了各种风格的绝对和相对位置嵌入。然而,没有系统的分析,这些方法的贡献和全面的比较是在文献中失踪。在本文中,我们回顾了现有的主要位置嵌入方法,并使用我们自己的实现比较了它们在下游NLP任务上的准确性。我们还提出了一种新的乘法嵌入方法,导致优越的精度相比,现有的方法。最后,我们证明了我们提出的嵌入方法,作为默认绝对位置嵌入的直接替代,可以改进SQuAD1.1和SQuAD2.0数据集上的RoBERTa-base和RoBERTa-large模型。
2021-09-27 cs.AI cs.CL
SBAT: Video Captioning with Sparse Boundary-Aware Transformer
College of Information Science & Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院);Baidu Research(百度研究院);Alibaba Group(阿里巴巴集团);Department of Computer Science, Binghamton University(宾汉姆顿大学计算机科学系)
本文主要研究如何将Transformer结构有效地应用于视频描述中。香草Transformer是为单模态语言生成任务,如机器翻译。然而,视频描述是一个多模态学习问题,视频特征在不同时间步长之间存在大量冗余。基于这些问题,我们提出了一种新的方法称为稀疏边界感知Transformer(SBAT),以减少冗余的视频表示。SBAT采用边界感知的池化操作,从不同的场景中选择不同的特征。此外,SBAT还包括一个局部相关方案,以补偿稀疏操作带来的局部信息损失。基于SBAT,我们进一步提出了一个对齐的跨模态编码方案,以提高多模态交互。在两个基准数据集上的实验结果表明,SBAT在大多数指标下都优于现有的方法。
2020-07-23 cs.CL cs.CV cs.LG
Value-Aware Numerical Representations for Transformer Language Models
National University of Science and Technology(科学技术大学)
本文提出一种价值意识的数值表示方法,通过在Transformer语言模型输入中加入前缀标记以显式编码数值,从而提升模型在算术任务中的表现。
2026-01-14 cs.AI cs.CL cs.LG
SMArT: Training Shallow Memory-aware Transformers for Robotic Explainability
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学);Department of Engineering “Enzo Ferrari”(恩佐·法拉利工程系)
生成以视觉感知为条件的自然语言解释的能力是走向能够解释自己并与人类交流的自主智能体的关键一步。虽然在图像和视频描述字幕的研究工作给出了有希望的结果,这往往是在牺牲的计算要求的方法,限制了它们的适用性,以真实的情况下。在本文中,我们提出了一个全注意力字幕算法,可以提供最先进的性能语言生成,同时限制其计算需求。我们的模型的灵感来自于Transformer模型,在编码和解码阶段只使用了两个Transformer层。此外,它结合了一种新的记忆感知编码的图像区域。实验表明,我们的方法取得了竞争力的结果,在字幕质量,同时具有减少计算需求。此外,为了评估其适用于自主智能体,我们进行实验的模拟场景,从家庭机器人的角度来看。
2020-03-09 cs.CL cs.CV cs.RO
Emotion-Aware Transformer Encoder for Empathetic Dialogue Generation
Delhi Technological University(德里理工大学)
现代会话代理被训练成模仿人类交流的方式。为了在情感上与用户建立联系,这些虚拟代理需要了解用户的情感状态。Transformers是序列到序列学习中的最新技术水平,其涉及使用来自话语-响应对的词嵌入来训练编码器-解码器模型。我们提出了一个情感感知的Transformer编码器,用于捕获用户话语中的情商,以产生类似人类的移情反应。本文的贡献如下:1)在输入话语上训练的情感检测器模块确定用户在初始阶段中的情感状态2)提出了一种新颖的Transformer编码器,其将词嵌入与情感嵌入相加并归一化,从而集成了输入话语的语义和情感方面3)编码器和解码器栈属于Transformer。XL体系结构,这是语言建模的最新技术水平。在基准Facebook AI移情对话数据集上的实验证实了我们模型的有效性,与现有方法相比,生成的响应获得了更高的BLEU-4分数。智能虚拟代理现在是一个现实,包括影响作为一种模态在所有人机界面预见在不久的将来。
2022-04-24 cs.CL cs.SD eess.AS
Speaker-aware speech-transformer
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Kwai(快手)
近年来,端到端(E2 E)模型成为传统的混合自动语音识别(ASR)系统的一种有竞争力的替代方案。然而,在训练和测试条件下,它们仍然受到说话人失配的影响。本文以Speech-Transformer(ST)为研究平台,对E2 E模型的说话人感知训练进行了研究。我们提出了一个模型,称为扬声器感知语音转换器(SAST),这是一个标准的ST配备了扬声器注意模块(SAM)。SAM具有由i向量组成的静态扬声器知识块(SKB)。在每个时间步,编码器输出关注块中的i向量,并生成加权的组合说话人嵌入向量,这有助于模型对说话人变化进行归一化。以这种方式训练的SAST模型变得独立于特定的训练说话者,从而更好地推广到看不见的测试说话者。我们研究了SAM的不同因素。在AISHELL-1任务上的实验结果表明,SAST在说话人无关(SI)基线上实现了相对6.5%的CER减少(CERR)。此外,我们证明了SAST仍然工作得很好,即使SKB中的i向量都来自不同的数据源,而不是声学训练集。
2020-01-02 cs.CL cs.SD eess.AS
Context-Aware Transformer Transducer for Speech Recognition
Amazon Alexa(亚马逊 Alexa)
端到端(E2 E)自动语音识别(ASR)系统通常难以识别在训练数据中不频繁出现的不常用词。一个有前途的方法,以提高识别精度的罕见的话,是锁存到个性化/上下文信息的推理。在这项工作中,我们提出了一种新的上下文感知的Transformer换能器(CATT)网络,提高了国家的最先进的变压器为基础的ASR系统,利用这样的上下文信号。具体来说,我们提出了一个基于多头注意力的上下文偏置网络,该网络与其余的ASR子网络联合训练。我们探索不同的技术来编码上下文数据,并创建最终的注意力上下文向量。我们还利用BLSTM和预训练的基于BERT的模型来编码上下文数据并指导网络训练。使用内部远场数据集,我们表明,CATT,使用基于BERT的上下文编码器,提高了基线Transformer传感器的单词出错率,并优于现有的深度上下文模型分别为24.2%和19.4%。
2021-11-05 cs.CL cs.LG cs.SD
ImmersiveTTS: Environment-Aware Text-to-Speech with Multimodal Diffusion Transformer and Domain-Specific Representation Alignment
Department of Artificial Intelligence, Korea University(韩国大学人工智能系)
提出ImmersiveTTS模型,通过多模态扩散Transformer和领域特定表示对齐,实现与环境音频自然融合的文本到语音生成。
2026-05-29 cs.AI cs.CL eess.AS
mCPT at SemEval-2023 Task 3: Multilingual Label-Aware Contrastive Pre-Training of Transformers for Few- and Zero-shot Framing Detection
Graz University of Technology(格拉茨技术大学)
本文提出基于多语言Transformers和标签感知对比损失函数的预训练系统,解决多语言少样本与零样本框架检测问题,在零样本西班牙语任务中获胜并在8种语言中表现优异。
2023-08-01 cs.AI cs.CL cs.LG
Graph-Aware Transformer: Is Attention All Graphs Need?
Samsung Advanced Institute of Technology(三星先进技术研究院)
图是表示许多领域中的关系和结构信息的自然数据结构。为了覆盖包括图分类以及图生成的广泛的图数据应用,期望具有由可以处理图数据的编码器和解码器组成的通用且灵活的模型。虽然有代表性的编码器-解码器模型,Transformer,在各种任务,特别是自然语言处理,表现出优越的性能,它不是立即可用于图,由于其非顺序特性。为了解决这种不兼容性,我们提出了GRaph-Aware Transformer(GRAT),这是第一个基于Transformer的模型,可以以端到端的方式对整个图进行编码和解码。GRAT具有自适应边缘信息的自注意机制和基于双路径方法的自回归解码机制,该双路径方法包括子图编码路径和每个解码步骤的节点和边缘生成路径。我们在多个设置上经验性地评估了GRAT,包括基于编码器的任务,例如对QM 9数据集的分子性质预测和基于编码器-解码器的任务,例如有机分子合成领域中的分子图生成。GRAT已经显示出非常有前途的结果,包括在QM 9基准测试中的4个回归任务上的最新性能。
2020-06-09 cs.CL cs.LG stat.ML
Explainable AI: Context-Aware Layer-Wise Integrated Gradients for Explaining Transformer Models
College of Engineering and Applied Science, University of Colorado Colorado Springs(科罗拉多州立大学工程与应用科学学院)
本文提出了一种上下文感知分层集成梯度框架(CA-LIG),用于解释Transformer模型的决策过程,通过计算每个Transformer块内的分层集成梯度,并将这些token级属性与类特定的注意力梯度融合,从而生成具有符号和上下文敏感性的属性图,以捕捉支持和反对的证据,并追踪Transformer层中的相关性层次流动。
2026-05-19 cs.AI cs.CL cs.CV
AWARE, Beyond Sentence Boundaries: A Contextual Transformer Framework for Identifying Cultural Capital in STEM Narratives
本文提出AWARE框架,通过引入领域意识、上下文意识和类别重叠意识提升Transformer模型识别学生叙事中文化资本主题的能力,在Macro-F1上超越基线2.1个百分点。
2025-11-03 cs.AI cs.CL cs.CY
Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers
本文提出 Graph-Aware Isomorphic Attention,将注意力机制重构为图操作,利用 GIN 和 PNA 增强关系结构表示,并引入 Sparse GIN-Attention 微调法,以更低开销提升预训练模型的图感知能力与泛化性。
2025-03-05 cond-mat.mes-hall cond-mat.mtrl-sci cs.AI