Template-Free Retrosynthesis with Graph-Prior Augmented Transformers
Youjun Zhao(独立研究者)
本文提出了一种无模板的 retrosynthesis 模型,通过引入分子图信息和配对数据增强策略,实现了比传统 transformer 基线更高的准确性和鲁棒性。
2025-12-15 cs.LG
Retrieval-Augmented Transformer-XL for Close-Domain Dialog Generation
University of Turin(都灵大学);Nuance Communications Inc.(Nuance通讯公司)
基于transformer的模型在自然语言生成中表现出了很好的模式和结构捕捉能力,并在许多任务中取得了最先进的结果。在本文中,我们提出了一个基于transformer的多轮对话响应生成模型。我们的解决方案是基于一种混合的方法,它增强了基于变换的生成模型与一种新的检索机制,它利用记忆的信息,通过k-最近邻搜索的训练数据。我们的系统在两个由客户/助理对话框制作的数据集上进行评估:由Google发布的Taskmaster-1,拥有高质量,面向目标的会话数据和从真实客户服务呼叫中心收集的专有数据集。两者都能在强基线上获得更好的BLEU分数。
2021-05-19 cs.AI cs.CL
Recurrent Memory-Augmented Transformers with Chunked Attention for Long-Context Language Modeling
Independent Researcher(独立研究者)
本文提出一种结合分块局部注意力与门控FIFO记忆机制的循环记忆增强Transformer,以线性成本高效建模长上下文依赖,并在PyTorch中从零实现,适用于对话、代码补全和文档理解等任务。
2025-07-01 cs.LG
Segatron: Segment-Aware Transformer for Language Modeling and Understanding
University of Waterloo(滑铁卢大学);Peking University(北京大学)
Transformers对于序列建模非常强大。几乎所有最先进的语言模型和预训练的语言模型都基于Transformer架构。但是,它仅通过标记位置索引来区分连续标记。我们假设,更好的上下文表示可以从具有更丰富的位置信息的Transformer生成。为了验证这一点,我们提出了一个段感知的Transformer(Segatron),通过替换原来的令牌位置编码与段落,句子和令牌的组合位置编码。我们首先将段感知机制引入到Transformer-XL,这是一种流行的基于transformer的语言模型,具有内存扩展和相对位置编码。我们发现,我们的方法可以进一步改善Transformer-XL基础模型和大模型,在WikiText-103数据集上实现17.1困惑度。我们进一步研究了Segatron的预训练掩蔽语言建模任务。实验结果表明,使用Segatron(SegaBERT)预训练的BERT在各种NLP任务上的性能优于使用vanilla Transformer的BERT,在zero-shot句子表示学习上的性能优于RoBERTa。
2020-12-15 cs.CL cs.LG
Rethinking Spatio-Temporal Transformer for Traffic Prediction:Multi-level Multi-view Augmented Learning Framework
Heilongjiang University(黑龙江大学)
针对交通预测中复杂的时空相关性问题,提出LVSTformer模型,通过多级多视图空间注意力、门控时间注意力及时空上下文广播模块捕捉依赖关系,在六个基准上实现SOTA性能,最大提升4.32%。
2024-06-17 cs.AI cs.LG
Optimal Scaling Laws for Efficiency Gains in a Theoretical Transformer-Augmented Sectional MoE Framework
Collins Aerospace(柯林斯宇航公司)
本文提出一种分段式MoE架构,通过分割嵌入维度并利用前置Transformer层保持表示,推导最优缩放定律以在硬件约束下确定专家数量,提升计算效率与可扩展性。
2025-03-26 cs.AI cs.LG
Language Modeling with Deep Transformers
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
我们探索深度自回归Transformer模型在语音识别语言建模中的应用。我们重点关注两个方面。首先,我们回顾专门用于语言建模的Transformer模型配置。我们发现,基于LSTM递归神经网络层的浅栈,配置良好的Transformer模型优于我们的基线模型。我们在开源LibriSpeech 960 hr任务上进行了实验,用于200 K词汇单词级和10 K字节对编码子单词级语言建模。我们应用我们的词级模型,传统的混合语音识别的格重评分,和子词级模型的注意基于编码器-解码器模型的浅层融合。其次,我们证明了深度Transformer语言模型不需要位置编码。位置编码是自我注意力机制的一种重要的增强机制,它对序列排序是不变的。然而,在自回归设置中,就像语言建模的情况一样,信息量沿着位置维度增加,这本身就是一个位置信号。对注意权重的分析表明,深度自回归自注意模型可以自动利用这种位置信息。我们发现,删除位置编码,甚至略有改善这些模型的性能。
2019-07-11 cs.CL cs.LG
A Tensorized Transformer for Language Modeling
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Microsoft Research Asia(微软亚洲研究院);School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机学院)
神经模型的最新发展是通过自我注意力机制将编码器和解码器连接起来。特别是完全基于自我注意力的Transformer,在自然语言处理(NLP)任务上取得了突破性进展。然而,作为Transformer关键组件的多头注意力机制限制了模型在资源有限的环境中的有效部署。基于张量分解和参数共享的思想,提出了一种新的基于块项张量分解的自注意模型(即多线性注意力模型).我们在三个语言建模任务上测试和验证了所提出的注意力方法(即,PTB、WikiText-103和10亿)和神经机器翻译任务(即,WMT-2016英语-德语)。与Transformer、Transformer-XL和带张量训练分解的Transformer等语言建模方法相比,多线性注意力不仅可以大大压缩模型参数,而且可以获得性能上的提高。
2019-11-06 cs.CL cs.LG
Exploring Transformer-Augmented LSTM for Temporal and Spatial Feature Learning in Trajectory Prediction
University of Tennessee(田纳西大学)
本文提出一种结合LSTM与Transformer编码器的混合模型,用于车辆轨迹预测的时空特征学习,虽未超越现有LSTM方法,但展示了构建可解释预测模型的潜力。
2024-12-18 cs.CV cs.LG cs.RO
RingFormer: A Neural Vocoder with Ring Attention and Convolution-Augmented Transformer
Kwangwoon University(光云大学)
RingFormer通过引入环注意力机制和卷积增强变换器,提升神经语音合成器在实时音频生成中的性能。
2025-07-19 cs.LG cs.SD eess.AS
MossFormer: Pushing the Performance Limit of Monaural Speech Separation using Gated Single-Head Transformer with Convolution-Augmented Joint Self-Attentions
Alibaba Group(阿里巴巴集团)
基于Transformer的模型在单声道语音分离中提供了显著的性能改进。然而,与最近提出的上限相比,仍然存在性能差距。目前双通道Transformer模型的主要局限性是对长距离元素相互作用和局部特征模式的建模效率低下。在这项工作中,我们实现了上限,提出了一个门控单头Transformer架构与卷积增强联合自关注,命名为\textit{MossFormer}(\textit{Mo}自然\textit{s}语音\textit{s}分离\textit{Former})。为了有效地解决双路径架构中跨块的间接元素交互,MossFormer采用了一种联合的局部和全局自注意架构,该架构同时对局部块执行全计算自注意和对全序列执行线性化低成本自注意。联合注意力使MossFormer能够直接模拟全序列元素相互作用。此外,我们采用了一个强大的注意门控机制与简化的单头自我关注。除了精心的长期建模,我们还增加了MossFormer与卷积的位置明智的局部模式建模。因此,MossFormer显著优于以前的模型,并在WSJ 0 -2/3 mix和WHAM上实现了最先进的结果!/哇!基准。我们的模型在WSJ 0 - 3 mix上实现了21.2 dB的SI-SDRi上限,在WSJ 0 - 2 mix上仅低于23.1 dB的上限0.3 dB。
2023-02-23 cs.LG cs.SD eess.AS
Conformer LLMs -- Convolution Augmented Large Language Models
Stanford University(斯坦福大学)
本工作将卷积层与Transformer结合用于大型语言模型,通过因果卷积滤波器结合局部与全局依赖,在性能上取得显著提升,并展示了一种可超越语音应用用于大规模语言建模的稳健架构。
2023-07-02 cs.AI cs.CL cs.LG
Approximation Rate of the Transformer Architecture for Sequence Modeling
National University of Singapore(新加坡国立大学)
本文研究单层单头Transformer的逼近率,通过提出新的复杂度度量建立Jackson型逼近率估计,揭示其结构特性并分析其与循环神经网络等经典序列建模方法的差异。
2025-01-02 cs.LG
Finnish Language Modeling with Deep Transformer Models
Aalto University(阿尔托大学)
Transformers最近在语言建模中占据了中心地位,因为LSTM被认为是长期以来占主导地位的模型架构。在这个项目中,我们调查的性能的Transformer架构BERT和Transformer-XL的语言建模任务。我们使用芬兰语的子词模型设置,并将其与之前的最新技术水平(SOTA)LSTM模型进行比较。BERT达到了14.5的伪困惑分数,这是我们所知道的第一个这样的指标。Transformer-XL将困惑分数提高到73.58,比LSTM模型高出27%。
2020-03-27 cs.CL cs.LG cs.SD
State-of-the-Art Augmented NLP Transformer models for direct and single-step retrosynthesis
Helmholtz Zentrum München(亥姆霍兹慕尼黑中心);Institute of Structural Biology(结构生物学研究所);BigChem GmbH(BigChem有限公司);Firmenich International SA(芬美意国际公司)
我们研究了不同的训练方案对使用化学反应的文本表示(SMILES)和自然语言处理神经网络Transformer架构预测化合物(逆)合成的影响。数据增强是图像处理中的一种有效方法,它消除了神经网络的数据记忆效应,提高了神经网络对新序列的预测性能。当同时对输入和目标数据同时使用增强时,观察到这种效果。USPTO-50 k测试数据集最大片段预测的前5名准确度为84.8%(从而确定经典逆合成的主要转换),并且是通过SMILES增强和束搜索算法的组合实现的。同样的方法为预测单步的【形】USPTO-MIT测试集的直接反应提供了明显更好的结果。我们的模型在其具有挑战性的混合集上达到了90.6%的前1和96.1%的前5准确度,在USPTO-MIT分离集上达到了97%的前5准确度。它还显着提高了USPTO-全套单步的【形】逆合成的前1和前10精度的结果。最丰富生成的SMILES的出现频率与预测结果有很好的相关性,可以作为反应预测质量的衡量标准。
2020-09-22 cs.LG stat.ML
Memory Transformer
Neural Networks and Deep Learning Lab(神经网络与深度学习实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Intento, Inc.(Intento公司)
基于转换器的模型在许多自然语言处理任务中取得了最先进的成果。自注意体系结构允许Transformer将来自序列的所有元素的信息组合成上下文感知的表示。然而,关于上下文的信息主要存储在相同的元素表示中。这可能会限制处理与序列相关的属性的整体难度。添加可训练记忆以选择性地存储序列的局部以及全局表示是改进Transformer模型的有希望的方向。记忆增强的神经网络(MANN)扩展了传统的神经架构与通用存储器的表示。MANN已经证明了学习简单算法(如Copy或Reverse)的能力,并且可以通过反向传播成功地训练各种任务,从问答到语言建模,性能优于RNN和LSTM。在这项工作中,我们提出并研究了几个扩展的Transformer基线(1)通过添加内存令牌来存储非本地表示,(2)创建内存瓶颈的全局信息,(3)控制内存更新与专用层。我们评估这些内存增强的Transformers,并证明存在的内存正相关的模型性能的机器翻译和语言建模任务。使用记忆令牌增强预训练的掩蔽语言模型显示了来自GLUE基准测试的任务的混合结果。对记忆中注意力模式的可视化表明,它提高了模型处理全局上下文的能力。
2021-02-16 cs.CL cs.LG cs.NE
Understanding Transfer Learning for Chest Radiograph Clinical Report Generation with Modified Transformer Architectures
Stanford University(斯坦福大学);Stanford Medicine(斯坦福医学院)
图像字幕任务在医学人工智能应用中越来越普遍。一个重要的应用是从胸部射线照片生成临床报告。非结构化报告的临床写作是耗时且容易出错的。自动化系统将提高标准化,减少错误,节省时间和医疗服务。在本文中,我们证明了特定领域的预训练的重要性,并提出了一个修改后的Transformer架构的医学图像字幕任务。为了实现这一点,我们训练了一系列经过修改的Transformers,以从胸部射线照片图像输入生成临床报告。这些修改的Transformers包括:具有使用ImageNet预训练权重的视觉提取器的网状存储器增强的Transformer架构,具有使用CheXpert预训练权重的视觉提取器的网状存储器增强的Transformer架构,以及网状存储器增强的Transformer,其编码器通过使用ImageNet预训练权重和CheXpert预训练权重的级联嵌入。我们使用BLEU(1-4)、ROUGE-L、CIDER和临床CheXbert F1评分来验证我们的模型,并展示与最先进模型的竞争性评分。我们提供的证据表明,ImageNet预训练不适合医学图像字幕任务,特别是对于不太常见的情况(例如:扩大的心内膜,肺部病变,气胸)。此外,我们证明了双特征模型可以提高特定医疗条件(水肿,实变,气胸,支持设备)和整体CheXbert F1评分的性能,并应在未来的工作中进一步开发。这样的双特征模型,包括ImageNe…
2022-05-05 cs.AI cs.CV cs.LG
MALT Diffusion: Memory-Augmented Latent Transformers for Any-Length Video Generation
KAIST(韩国科学技术院);Google DeepMind(谷歌DeepMind);Georgia Tech(佐治亚理工学院);Luma AI;Google Research(谷歌研究)
提出MALT Diffusion,通过记忆增强潜在变换器和片段级自回归生成,实现长视频生成,在UCF-101上FVD达220.4,优于先前最优。
2025-07-08 cs.CV cs.LG
RS-CA-HSICT: A Residual and Spatial Channel Augmented CNN Transformer Framework for Monkeypox Detection
University of Engineering and Applied Sciences (UEAS)(工程与应用科学大学)
RS-CA-HSICT框架通过残差和空间通道增强,结合CNN和Transformer提升猴痘检测的准确性和鲁棒性。
2025-11-19 cs.AI cs.CV cs.LG
Stepwise Extractive Summarization and Planning with Structured Transformers
Google Research(谷歌研究院)
我们提出了以编码器为中心的逐步模型提取摘要使用结构化的变压器- HiBERT和扩展Transformers。我们通过将先前生成的摘要作为辅助子结构注入到结构化的Transformer中来实现逐步摘要。我们的模型不仅可以有效地对长输入的结构进行建模,而且它们也不依赖于特定于任务的冗余感知建模,使它们成为不同任务的通用提取内容规划器。当在CNN/DailyMail提取摘要上进行评估时,逐步模型在Rouge方面实现了最先进的性能,而无需任何冗余感知建模或句子过滤。这也适用于Rotowire表格到文本生成,我们的模型超过了之前报道的内容选择,规划和订购指标,突出了逐步建模的优势。在我们测试的两个结构化转换器中,逐步扩展的Transformers在两个数据集上提供了最佳性能,并为这些挑战设定了新的标准。
2020-10-06 cs.CL
Kinematics Transformer: Solving The Inverse Modeling Problem of Soft Robots using Transformers
Bahcesehir University(巴耶塞特大学)
软机器人操纵器在脆弱的环境如海洋环境中提供了许多优于传统刚性操纵器的优点。然而,发展必要的形状,运动和力控制的机器人的解析逆模型仍然是一个具有挑战性的问题。作为分析模型的替代方案,可以使用强大的机器学习方法来学习数值模型。在本文中,Kinetics Transformer提出了发展准确和精确的逆运动学模型的软机器人肢体。该方法将机器人逆运动学问题转化为序列预测问题,并基于Transformer结构。数值仿真结果表明,该方法可以有效地用于控制软肢体。基准研究也表明,与基线前馈神经网络相比,该方法具有更好的准确性和精度
2022-11-12 cs.LG cs.RO
Continuous Spatiotemporal Transformers
Yale University(耶鲁大学);Wu Tsai Institute(吴蔡研究所)
针对传统Transformer在建模连续时空动力系统时无法保证连续采样的局限,提出新型架构CST,通过在Sobolev空间优化保证输出的连续平滑性,并在合成与真实系统任务上取得卓越性能。
2023-07-28 cs.CV cs.LG
Generative Modeling of Networked Time-Series via Transformer Architectures
Virginia Tech(弗吉尼亚理工大学)
针对安全领域数据受限且现有合成样本难以提升模型性能的问题,本文提出一种高效的基于 Transformer 的时间序列生成框架,可跨数据集生成高质量样本并取得 SOTA 结果。
2025-06-08 cs.AI cs.LG
Preference Transformer: Modeling Human Preferences using Transformers for RL
KAIST(韩国科学技术院);University of Michigan(密歇根大学);LG AI Research(LG人工智能研究院);UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
基于偏好的强化学习(RL)提供了一个框架,训练代理使用人类偏好之间的两个行为。然而,基于偏好的强化学习在规模上一直具有挑战性,因为它需要大量的人类反馈来学习与人类意图一致的奖励函数。在本文中,我们提出了偏好Transformer,一个神经架构,使用Transformers模型人类的喜好。不同于以往的方法假设人类的判断是基于马尔可夫奖励的决定,同样的,我们引入了一个新的偏好模型的基础上加权和的非马尔可夫奖励。然后,我们设计了建议的偏好模型使用Transformer架构,堆栈因果和双向自我注意层。我们证明,偏好Transformer可以解决各种控制任务,使用真正的人类偏好,而以前的方法无法工作。我们还表明,偏好Transformer可以诱导一个指定的奖励,并出席的轨迹中的关键事件,通过自动捕捉人类决策的时间依赖性。代码可在项目网站上获得:https://sites.google.com/view/preference-transformer。
2023-03-02 cs.AI cs.LG cs.RO
Stateful Memory-Augmented Transformers for Efficient Dialogue Modeling
Columbia University(哥伦比亚大学)
针对 Transformer 模型无法处理长对话历史导致上下文截断的问题,提出一种兼容现有预训练模型的记忆增强 Transformer,通过独立记忆模块实现记忆状态与当前输入的信息交互,在多个数据集上取得更优的效率与性能。
2023-05-23 cs.CL
An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks
University College London(伦敦大学学院);Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));University of Edinburgh(爱丁堡大学)
对外部知识的访问对于许多自然语言处理任务(例如问答和对话)是必不可少的。现有的方法通常依赖于在其参数中存储知识的参数模型,或者使用可以访问外部知识源的检索增强模型。参数和检索增强模型在计算效率和预测准确性方面具有互补优势。为了结合这两种方法的优势,我们提出了高效内存增强的Transformer(EMAT)-它将外部知识编码到键值内存中,并利用快速最大内积搜索进行内存查询。我们还介绍了预训练任务,使EMAT编码信息的键值表示,并学习一个隐式的策略,将多个内存插槽到Transformer。在各种知识密集型任务(如问答和对话数据集)上的实验表明,使用我们的方法简单地增强参数模型(T5-base)会产生更准确的结果(例如,25.8- NQ上的44.3EM),同时保持高吞吐量(例如,1000查询/秒的NQ)。与检索增强模型相比,EMAT在WoW和ELI 5上运行速度更快,结果更准确。我们的代码和数据集可以在https://github上找到。com/uclnlp/EMAT。
2022-10-30 cs.AI cs.CL cs.LG
RAAT: Relation-Augmented Attention Transformer for Relation Modeling in Document-Level Event Extraction
Tencent Cloud(腾讯云)
在文档级事件抽取(DEE)任务中,事件论元通常分散在句子中(跨句子问题),多个事件可能位于一个文档中(多事件问题)。在本文中,我们认为,事件参数的关系信息是解决上述两个问题的重要意义,并提出了一个新的DEE框架,它可以建模的关系依赖,称为扩展文档级事件提取(ReDEE)。更具体地说,这个框架的特点是一个新的和定制的Transformer,命名为增强注意力的Transformer(RAAT)。RAAT是可扩展的,以捕获多尺度和多数量的参数关系。为了进一步利用关系信息,我们引入了一个单独的事件关系预测任务,并采用多任务学习方法来显式地提高事件提取性能。大量的实验表明,该方法的有效性,它可以实现最先进的性能在两个公共数据集。我们的代码可以在https://github上找到。com/YoutuResearch/RAAT.
2022-06-07 cs.CL
Augmented Transformers with Adaptive n-grams Embedding for Multilingual Scene Text Recognition
Guangdong University of Foreign Studies(广东外语外贸大学);Bielefeld University(比勒费尔德大学);East China University of Science and Technology(华东理工大学)
虽然视觉Transformer已经非常成功地提高了基于图像的任务中的性能,没有太多的工作已经报道了应用Transformers的多语言场景文本识别由于在视觉外观的复杂性,多语言文本。为了填补这一空白,本文提出了一个增强的Transformer架构与n-gram嵌入和跨语言校正(TANGER)。TANGER由一个主Transformer和一个辅助Transformer组成,前者具有视觉图像的单块嵌入,后者具有自适应n-gram嵌入,旨在灵活地探索相邻视觉块之间的潜在相关性,这对于从多语言场景文本中提取特征提取至关重要。跨语言校正是通过一个损失函数来实现的,该函数同时考虑了语言识别和上下文连贯性评分。广泛的比较研究进行了四个广泛使用的基准数据集,以及一个新的多语言场景文本数据集,包含印尼语,英语和中文收集的旅游场景在印尼。我们的实验结果表明,TANGER是相当好的相比,国家的最先进的,特别是在处理复杂的多语言场景文本。
2023-02-28 cs.CL
KAT: A Knowledge Augmented Transformer for Vision-and-Language
Carnegie Mellon University(卡内基梅隆大学);Yale University(耶鲁大学);Microsoft Research(微软研究院)
最近的工作与大型Transformers的主要重点是优化的信息量包装成模型的参数。在这项工作中,我们问一个不同的问题:多模态Transformers可以利用明确的知识在他们的推理?现有的,主要是单峰的,方法已经探索的范式下的知识检索,然后回答预测的方法,但留下开放的问题的质量和相关性检索到的知识,以及如何推理过程中的隐含和明确的知识应该被整合。为了解决这些挑战,我们提出了一种新的模型-知识增强的Transformer(KAT)-它实现了强大的最先进的结果(+6点绝对值)的开放域多模态任务的OK-VQA。我们的方法集成了隐式和显式的知识,在端到端的编码器-解码器架构,同时在答案生成过程中仍然联合推理两个知识源。在我们的分析中,显式知识集成的另一个好处是模型预测的可解释性得到了改善。
2022-05-05 cs.CL
L1 Augmented Attention as an Improved Vector Similarity Metric
研究针对缩放点积注意力在Transformer模型中作为相似性度量的局限,提出L1增强注意力方法,通过减去特定头的L1距离改进相似性计算,经实验在WikiText 2上取得更好效果,揭示了各层几何作用及头级专业化,有效提升语言模型相似性计算。
2026-07-21 cs.CL cs.LG
Streaming Simultaneous Speech Translation with Augmented Memory Transformer
Facebook(脸书);Johns Hopkins University(约翰斯·霍普金斯大学)
基于transformer的模型在语音翻译任务上取得了最先进的性能。然而,该模型架构对于流场景不够有效,因为自注意力是在整个输入序列上计算的,并且计算成本随着输入序列的长度二次增长。然而,大多数关于同时语音翻译的先前工作,即从部分音频输入生成翻译的任务,在分析延迟时忽略了生成翻译所花费的时间。在这种假设下,系统可能具有良好的延迟质量权衡,但在实时场景中不适用。在本文中,我们重点关注流同步语音翻译的任务,其中系统不仅能够在部分输入的情况下进行翻译,而且还能够处理非常长或连续的输入。我们提出了一个端到端的变压器为基础的序列到序列模型,配备了一个增强内存的Transformer编码器,它已显示出巨大的成功,在流自动语音识别任务与混合或基于传感器的模型。我们进行实证评估的建议模型段,上下文和内存大小,我们比较我们的方法与单向掩码的Transformer。
2020-10-30 cs.CL
Streaming Transformer-based Acoustic Models Using Self-attention with Augmented Memory
Facebook AI(Facebook人工智能实验室)
基于变换器的声学建模在混合语音识别和序列到序列语音识别中取得了巨大的成功。然而,它需要访问完整的序列,并且计算成本相对于输入序列长度成二次方增长。这些因素限制了它在流应用程序中的采用。在这项工作中,我们提出了一种新的增强记忆自我注意,它关注的是一个短的输入序列和一个记忆库。存储器组存储用于所有处理的片段的嵌入信息。在librispeech基准测试中,与广泛使用的LC-BLSTM基准测试相比,我们提出的方法的性能大大优于现有的流Transformer方法,并实现了超过15%的相对误差减少。我们的发现也在一些大型内部数据集上得到了证实。
2020-05-16 cs.CL eess.AS
Memory-Augmented Generative Adversarial Transformers
Leiden University(莱顿大学);TNO(荷兰应用科学研究组织);University of Applied Sciences, Utrecht(乌得勒支应用科学大学);Institute of Psychology, Leiden University(莱顿大学心理学院);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
本文提出记忆增强的生成对抗 Transformer,通过外部记忆库与额外注意力层融入事实等信息,以支持事实问答和风格适应。
2024-02-29 cs.CL
TyphoFormer: Language-Augmented Transformer for Accurate Typhoon Track Forecasting
Florida State University(佛罗里达州立大学);FAMU-FSU College of Engineering(FAMU-FSU 工程学院);University of Southern California(南加州大学);University of Maryland(马里兰大学)
TyphoFormer通过结合自然语言描述提升台风路径预测准确性,优于现有方法,尤其在复杂场景中表现突出。
2025-11-22 cs.CL cs.LG
Improving Mandarin Speech Recogntion with Block-augmented Transformer
Mininglamp Technology(明略科技)
最近,卷积增强的Transformer(Conformer)在自动语音识别(ASR)中表现出了良好的效果,超过了之前最好的Transformer Transducer。在本工作中,我们认为编码器和解码器中每个块的输出信息不是完全包容的,换句话说,它们的输出信息可能是互补的。我们研究了如何利用每个块的互补信息的参数有效的方式,预计这可能会导致更强大的性能。因此,我们提出了块增强的Transformer的语音识别,命名为Blockformer。我们实现了两种块集成方法:基本块输出加权和(Base-WSBO)和块输出加权和(SE-WSBO)的挤压和激励模块。在AISHELL-1上的实验表明,Blockformer模型的性能明显优于现有的Conformer模型,在不使用语言模型的情况下,该模型的CER为4.29%,在使用外部语言模型的情况下,该模型的CER为4.05%.
2022-12-01 cs.CL cs.SD eess.AS
Memformer: A Memory-Augmented Transformer for Sequence Modeling
University of California, Davis(加州大学戴维斯分校);Westlake University(西湖大学);Facebook AI(脸书人工智能研究院)
Transformers在层序建模中取得了显著的成功。然而,这些模型存在效率问题,因为它们需要将所有历史标记级表示存储为内存。我们提出Memformer,一个有效的神经网络序列建模,利用外部动态记忆编码和检索过去的信息。我们的模型在处理长序列时达到了线性时间复杂度和恒定内存空间复杂度。我们还提出了一个新的优化方案,内存重放反向传播(MRBP),促进远程反向传播通过时间与显着降低内存需求。实验结果表明,Memformer与基线相比,通过使用少8.1倍的内存空间和快3.2倍的推理速度,实现了相当的性能。对注意模式的分析表明,我们的外部记忆槽可以通过时间步长编码和保留重要信息。
2022-04-12 cs.CL
Pre-training of Graph Augmented Transformers for Medication Recommendation
IQVIA(艾昆纬);Georgia Institute of Technology(佐治亚理工学院);IBM Research AI(IBM人工智能研究院)
药物推荐是一个重要的医疗保健应用。它通常被表述为时间预测任务。因此,大多数现有的作品只利用纵向电子健康记录(EHR)从少数患者多次访问忽略了大量的患者与一次访问(选择偏差)。此外,在表示学习过程中没有利用重要的分层知识,例如诊断分层。为了应对这些挑战,我们提出了G-BERT,这是一种新的模型,它结合了图神经网络(GNNs)和BERT(来自Transformers的双向编码器表示)的功能,用于医疗代码表示和药物推荐。我们使用GNN来表示医疗代码的内部层次结构。然后,我们将GNN表示集成到一个基于transformer的访问编码器中,并在来自仅进行一次访问的患者的EHR数据上对其进行预训练。然后,针对来自多次就诊的患者的纵向EHR的下游预测任务,对预先训练的就诊编码器和表示进行微调。G-BERT是第一个将语言模型预训练模式引入医疗保健领域的公司,它在药物推荐任务上取得了最先进的性能。
2019-11-27 cs.AI cs.CL cs.LG
MATTER: Memory-Augmented Transformer Using Heterogeneous Knowledge Sources
Amazon AGI(亚马逊AGI);Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程学系)
本文提出MATTER,一种内存增强Transformer,通过固定长度神经记忆从段落和问答对等异构知识源中高效检索,在问答基准上兼顾准确性与速度,并以100倍推理吞吐量取得竞争性结果。
2024-06-07 cs.AI cs.CL
Language Modeling using LMUs: 10x Better Data Efficiency or Improved Scaling Compared to Transformers
Applied Brain Research(应用大脑研究公司)
最近的研究表明,Transformers的语言建模任务的性能服从幂律关系模型的大小超过六个数量级。虽然Transformers表现出令人印象深刻的可扩展性,但它们的性能取决于处理大量数据,并且它们的计算和内存需求随着序列长度呈二次方增长。出于这些考虑,我们构建了一个基于Legendre内存单元的模型,该模型引入了一般的序列处理之前,并表现出$O(n)$和$O(n \ln n)$(或更好)的内存和计算的依赖性。超过三个数量级,我们表明我们的新架构达到了与Transformers相同的精度,但令牌减少了10倍。我们还表明,对于相同的训练量,我们的模型改善了Transformers器的损耗,就像Transformers改善LSTM一样。此外,我们证明,增加全球自我关注补充我们的架构和增强模型进一步提高性能。
2021-10-05 cs.CL cs.LG
CMATH: Cross-Modality Augmented Transformer with Hierarchical Variational Distillation for Multimodal Emotion Recognition in Conversation
Chongqing University of Technology(重庆理工大学);Fuzhou University(福州大学);China Automotive Engineering Research Institute Co., Ltd.(中国汽车工程研究院股份有限公司);Chongqing Changan Automobile Co., Ltd.(重庆长安汽车股份有限公司)
针对多模态情感识别中模态质量不均和单一粒度融合不充分的问题,提出CMATH模型,通过非对称跨模态增强Transformer和分层变分蒸馏实现多粒度模态融合,在IEMOCAP和MELD数据集上优于现有基线。
2024-11-15 cs.CL cs.MM
An Evidence-Grounded Retrieval-Augmented Transformer Framework for Health Misinformation Verification
Yobe State University(约贝州立大学);Yobe AI Research Laboratory (YAIR Lab)(约贝人工智能研究实验室);Novosibirsk State University(新西伯利亚国立大学);College of Computer Science and Engineering, Hamad Bin Khalifa University(哈马德·本·哈利法大学计算机科学与工程学院)
本研究针对发展中国家健康虚假信息验证的本地语境缺失问题,提出基于WHO和尼日利亚疾控中心证据的检索增强Transformer框架,经实验评估BERT模型表现最佳,为资源受限地区开发相关系统提供基础。
2026-08-04 cs.CL
Transformer Tafsir at QIAS 2025 Shared Task: Hybrid Retrieval-Augmented Generation for Islamic Knowledge Question Answering
QIAS 2025 Shared Task(QIAS 2025 共同任务)
该研究提出融合 BM25、稠密嵌入检索与交叉编码器重排序的三阶段混合 RAG 流程,并在 QIAS 2025 两个子任务上验证其对 Fanar、Mistral 的增强效果。
2025-09-28 cs.CL
Cross-Domain Aspect Extraction using Transformers Augmented with Knowledge Graphs
Intel Labs(英特尔实验室)
体词提取是文本细粒度情感分析的关键步骤。当训练和测试数据来自同一个域时,用于此任务的现有方法已经产生了令人印象深刻的结果。然而,当应用于测试数据的域不同于训练数据的域的跨域设置时,这些方法显示出性能的急剧下降。为了解决这种缺乏可扩展性和鲁棒性,我们提出了一种新的方法来自动构建特定领域的知识图谱,其中包含相关的信息方面的识别条款。我们介绍了一种方法,从这些知识图谱注入到Transformer模型,包括两种替代机制的知识插入:通过查询丰富和通过操纵的注意力模式。我们使用我们的方法在跨域方面术语提取的基准数据集上展示了最先进的性能,并研究了Transformer可用的外部知识量如何影响模型性能。
2022-10-18 cs.AI cs.CL
Retrieval-Augmented Transformer for Image Captioning
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
图像描述模型旨在通过提供对输入图像的自然语言描述来连接视觉和语言。在过去的几年里,这项任务已经通过学习参数模型和提出视觉特征提取改进或通过建模更好的多模态连接来解决。在本文中,我们研究了一个图像描述方法与kNN记忆,知识可以从外部语料库检索,以帮助生成过程的发展。我们的架构结合了基于视觉相似性的知识检索器,可区分的编码器和kNN增强的注意力层,以根据过去的上下文和从外部存储器中检索的文本来预测令牌。在COCO数据集上进行的实验结果表明,采用显式外部存储器可以帮助生成过程并提高字幕质量。我们的工作开辟了新的途径,改善图像描述模型在更大的规模。
2022-08-22 cs.AI cs.CL cs.CV
TorchScale: Transformers at Scale
Microsoft(微软)
大型Transformers在许多任务中实现了最先进的性能。大多数扩展Transformers的开源库都专注于通过更好的并行化来改进训练或推理。在这项工作中,我们提出了TorchScale,一个开源工具包,允许研究人员和开发人员有效地扩展Transformers。TorchScale实现了多种建模技术,可以提高建模的通用性和能力,以及训练的稳定性和效率。对语言建模和神经机器翻译的实验结果表明,TorchScale可以成功地将Transformers缩放到不同的大小,而不会出现撕裂。该库可在https://aka.ms/torchscale上查阅。
2022-11-23 cs.CL cs.LG
Hi-Transformer: Hierarchical Interactive Transformer for Efficient and Effective Long Document Modeling
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
Transformer对于文本建模非常重要。然而,由于输入文本长度的二次复杂性,它在处理长文档时有困难。为了处理这个问题,我们提出了一个层次化的交互式Transformer(Hi-Transformer),以实现高效和有效的长文档建模。Hi-Transformer以分层的方式对文档进行建模,即,首先学习句子表示,然后学习文档表示。它可以有效地降低复杂度,同时捕获全局文档上下文的建模中的每一个句子。更具体地说,我们首先使用句子Transformer来学习每个句子的表示。然后,我们使用一个文档Transformer来从这些句子表示中建模全局文档上下文。接下来,我们使用另一个句子Transformer来使用全局文档上下文增强句子建模。最后,我们使用层次池方法来获得文档嵌入。在三个基准数据集上的大量实验验证了Hi-Transformer在长文档建模中的效率和有效性。
2021-12-09 cs.CL
QU-NLP at CheckThat! 2025: Multilingual Subjectivity in News Articles Detection using Feature-Augmented Transformer Models with Sequential Cross-Lingual Fine-Tuning
Qatar University(卡塔尔大学)
本研究针对CheckThat! 2025新闻主观性检测任务,提出融合上下文嵌入与统计/语言特征的特征增强Transformer模型,通过序列跨语言微调在多语言、单语言及零样本设置下取得有竞争力的性能,并验证了特征组合与跨语言迁移的作用。
2025-07-01 cs.CL
MALM: Mixing Augmented Language Modeling for Zero-Shot Machine Translation
BITS Pilani(博拉理工学院)
大型预训练语言模型为NLP带来了显著的进步。预训练和微调在文本处理的任务中提供了最先进的性能。数据增强技术也有助于在低资源或零资源任务上构建最先进的模型。过去的许多工作都试图学习一个单一的多语种机器翻译模型的zero-shot翻译。虽然这些翻译模型产生了正确的翻译,但主要的挑战是这些模型产生了错误的语言用于zero-shot翻译。这项工作和它的结果表明,提示条件大模型不遭受小康目标语言的错误,即由于翻译错误的语言所产生的错误。我们实证证明了自监督预训练和数据增强对于zero-shot多语言机器翻译的有效性。
2022-10-01 cs.CL cs.LG
Transformer-based language modeling and decoding for conversational speech recognition
Columbia University in the City of New York(纽约哥伦比亚大学)
我们提出了一种在会话语音识别中使用基于转换器的语言模型的方法。具体来说,我们专注于解码有效地加权有限状态换能器框架。我们展示了一种方法,格重新评分,允许更长的范围内的历史记录捕获的一个基于多变量的语言模型,并利用一个Transformer的能力,以避免计算顺序。
2020-01-04 cs.CL cs.LG eess.AS
A Meta-Learning Perspective on Transformers for Causal Language Modeling
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文从元学习视角解析了Transformer在因果语言建模中的训练过程,通过阐明其内部优化机制,发现并理论分析了学习到的token表示范数的特殊特征,且得到了多设置实验的支持。
2024-03-25 cs.AI cs.CL cs.LG
PATCorrect: Non-autoregressive Phoneme-augmented Transformer for ASR Error Correction
Stony Brook University(石溪大学);Amazon.com Inc(亚马逊公司)
提出PATCorrect,一种基于文本与音素多模态融合的非自回归ASR纠错模型,在英文语料上实现11.62%的WER降低,推理延迟仅数十毫秒,满足工业低延迟需求。
2023-06-21 cs.CL cs.LG cs.SD
Iterative Answer Prediction with Pointer-Augmented Multimodal Transformers for TextVQA
Facebook AI Research (FAIR)(脸书人工智能研究院);University of California, Berkeley(加州大学伯克利分校)
许多视觉场景包含携带关键信息的文本,因此理解图像中的文本对于下游推理任务至关重要。例如,警告标志上的深水标签警告人们现场的危险。最近的工作探索了TextVQA任务,该任务需要阅读和理解图像中的文本来回答问题。然而,现有的TextVQA方法大多是基于一对两种模态之间的自定义成对融合机制,并且通过将TextVQA作为分类任务来限制于单个预测步骤。在这项工作中,我们提出了一种新的模型,TextVQA任务的基础上,多模态Transformer架构伴随着丰富的图像中的文本表示。我们的模型自然地融合不同的模态均匀地嵌入到一个共同的语义空间,自我注意力被应用到模型间和内模态上下文。此外,它支持使用动态指针网络进行迭代答案解码,允许模型通过多步预测而不是一步分类来形成答案。我们的模型在TextVQA任务的三个基准数据集上的表现优于现有方法。
2020-03-24 cs.CL cs.CV
Multi-Faceted Evaluation of Modeling Languages for Augmented Reality Applications -- The Case of ARWFML
University of Fribourg(弗里堡大学);Smart Living Lab(智能生活实验室);EPFL(洛桑联邦理工学院);HEIA-FR(弗里堡高等工程学院)
本文针对增强现实建模语言ARWFML提出了两个设计迭代,通过比较评估、引入3D表示法及开发新3D建模环境并进行可理解性研究,展示了其向适合实证评估的成熟度演进的过程。
2024-08-26 cs.CL cs.ET
MCL@IITK at SemEval-2021 Task 2: Multilingual and Cross-lingual Word-in-Context Disambiguation using Augmented Data, Signals, and Transformers
Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎普尔分校)
在这项工作中,我们提出了解决SemEval 2021任务2:多语言和跨语言上下文消歧(MCL-WiC)的方法。该任务是一个句子对分类的问题,其目标是检测是否一个给定的词共同的两个句子唤起相同的含义。我们提交了两种设置的系统-多语言(成对的句子属于同一种语言)和跨语言(成对的句子属于不同的语言)。训练数据仅以英文提供。因此,我们采用了跨语言迁移技术。我们的方法采用微调预训练的基于transformer的语言模型,如ELECTRA和ALBERT,用于英语任务,XLM-R用于所有其他任务。为了提高这些系统的性能,我们建议在要消除歧义的单词中添加一个信号,并通过句子对反转来增强我们的数据。我们使用WiC、XL-WiC和SemCor 3.0进一步增强了提供给我们的数据集。使用合奏,我们在多语言任务中取得了很好的成绩,在EN-EN和FR-FR子任务中排名第一。对于跨语言设置,我们使用了多语言模型,采用了随机测试方法和zero-shot方法,后者的表现略好。
2021-04-04 cs.CL