Plausibility Processing in Transformer Language Models: Focusing on the Role of Attention Heads in GPT
University of Michigan(密歇根大学)
本文探索Transformer语言模型如何处理名词与动词关系的合理性,发现GPT2与人类处理方式高度相似,并证实其内部多个注意力头共同因果地促成了这种合理性处理能力。
2023-10-20 cs.CL
Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects
University of Stuttgart(斯图加特大学)
本文通过对比不同大小和架构的Transformer模型,评估其在英语一致吸引配置中的表现,发现模型在处理宾语提取相对从句时表现不佳,无法复制人类的不对称干扰模式。
2026-08-31 cs.CL
Developmental Negation Processing in Transformer Language Models
University of South Florida(南佛罗里达大学)
使用否定的推理对于基于转换器的语言模型来说是困难的。虽然之前的研究已经使用心理语言学工具来探讨Transformer推理否定的能力,但没有人关注发展心理学中研究的否定类型。我们探讨如何以及Transformers可以处理这些类别的否定,通过框架的问题作为一个自然语言推理(NLI)的任务。我们从流行的NLI数据集中为我们的目标类别策划了一组诊断问题,并评估了一套模型对它们的推理能力。我们发现,模型只在某些类别上表现得更好,这表明它们在处理方式上有明显的区别。
2022-04-29 cs.CL
HuggingFace's Transformers: State-of-the-art Natural Language Processing
Hugging Face
自然语言处理的最新进展受到模型架构和模型预训练的推动。Transformer体系结构促进了构建更高容量的模型,并且预训练使得有效地利用这种容量来执行各种任务成为可能。\textit{Transformers}是一个开源库,其目标是向更广泛的机器学习社区开放这些进步。该库由统一API下精心设计的最先进的Transformer架构组成。支持这个库的是由社区制作并可供社区使用的预训练模型的精选集合。\textit{Transformers}设计为可由研究人员扩展,对从业人员简单,在工业部署中快速而强大。该文库可在\url{https://github.com/huggingface/transformers}上获得。
2020-07-14 cs.CL
Transformer ASR with Contextual Block Processing
Sony Corporation(索尼公司);Johns Hopkins University(约翰斯·霍普金斯大学)
Transformer自注意网络最近显示出作为端到端(E2 E)自动语音识别(ASR)系统中的递归神经网络(RNN)的替代方案的有前途的性能。然而,Transformer的缺点在于需要整个输入序列来计算自注意。在本文中,我们提出了一种新的块处理方法的Transformer编码器通过引入上下文感知的继承机制。从先前处理的块移交的附加上下文嵌入向量不仅有助于对局部声学信息进行编码,还有助于对全局语言、通道和扬声器属性进行编码。为了有效地训练模型,我们引入了一种新的掩码技术来实现上下文继承。华尔街日报(WSJ),Librispeech,VoxForge意大利语,和AISHELL-1普通话语音识别数据集的评估表明,我们提出的上下文块处理方法优于天真块处理一致。此外,每一层的注意力权重的趋势进行了分析,以阐明如何添加上下文继承机制模型的全局信息。
2019-10-16 cs.CL eess.AS
Transformer-based Approaches for Legal Text Processing
Japan Advanced Institute of Science and Technology(日本先进科学技术学院);Institute of Statistical Mathematics(统计数学研究所);University of Engineering and Technology, VNU(越南国立大学工程技术学院);National Institute of Informatics(日本国立信息学研究所)
在本文中,我们介绍了我们的方法,使用基于transformer的模型的不同问题的科利埃2021年自动法律文本处理的竞争。由于法律文件的特点以及数据量的限制,法律文件的自动处理是一项具有挑战性的任务。通过我们详细的实验,我们发现基于transformer的预训练语言模型可以很好地解决自动法律文本处理问题。我们详细描述了每个任务的处理步骤,如问题制定,数据处理和增强,预训练,微调。此外,我们还向社区介绍了两个预训练模型,它们利用了法律领域的并行翻译,NFSP和NMSP。其中,NFSP在比赛任务5中取得了最先进的成绩。虽然本文侧重于技术报告,但其方法的新颖性也可以成为使用基于transformer的模型进行自动化法律文档处理的有用参考。
2022-02-13 cs.AI cs.CL cs.NE
Transformers in Speech Processing: A Survey
Queensland University of Technology(昆士兰理工大学);Information Technology University(信息科技大学);University of Lincoln(林肯大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);National University of Computer and Emerging Sciences(国家计算机与新兴科学大学);Qatar University(卡塔尔大学)
本文综述了Transformer在自动语音识别、合成、翻译、增强及多模态等语音处理各子领域中的应用、挑战与解决方案。
2025-06-04 cs.CL cs.SD eess.AS
Chunk, Align, Select: A Simple Long-sequence Processing Method for Transformers
Tencent AI Lab(腾讯AI实验室);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学)
本文提出一种分块、对齐、选择的简单长序列处理方法,通过块间信息对齐和强化学习驱动的隐藏状态选择策略,使预训练 Transformer 以线性复杂度处理长序列,并在长文本摘要和阅读理解任务上取得有效提升。
2024-07-05 cs.AI cs.CL
Mechanisms of Symbol Processing for In-Context Learning in Transformer Networks
Microsoft Research(微软研究院);Yale University(耶鲁大学);University of Edinburgh(爱丁堡大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种基于生产系统语言PSL的转换器架构,用于提升转换器在符号处理中的能力,展示了其在抽象符号任务中的应用和图灵通用性。
2025-12-02 cs.AI cs.CL cs.NE
Aligning Brain Activity with Advanced Transformer Models: Exploring the Role of Punctuation in Semantic Processing
University of Strathclyde(思克莱德大学);University of Glasgow(格拉斯哥大学)
本研究评估了四种高级Transformer模型与神经活动的一致性,发现RoBERTa与神经活动对齐最佳且超越BERT,同时揭示了去除标点符号能提升BERT准确率,为理解语言表征及标点对人脑语义处理的影响提供了新见解。
2025-02-02 cs.CL cs.LG
Banach-Tarski Embeddings and Transformers
本文提出一种将递归数据结构嵌入高维向量的新方法,为transformer潜在状态提供可解释模型,支持直接在嵌入空间通过向量操作进行计算与解码。
2023-11-21 cs.CL cs.DS cs.LG
Partial Tensorized Transformers for Natural Language Processing
Mercer Island High School(默瑟岛高中);University of California Santa Barbara(加州大学圣塔芭芭拉分校)
本文提出部分张量化神经网络(PTNN)方法,通过张量列分解压缩BERT和ViT的嵌入层及部分结构,无需训练后调整即可将模型准确率提升最高5%。
2023-10-30 cs.CL cs.LG
Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing
University of Oregon(俄勒冈大学)
我们介绍Trankit,一个轻量级的基于transformer的多语言自然语言处理(NLP)工具包。它为超过100种语言的基本NLP任务提供了一个可训练的管道,并为56种语言提供了90个预训练管道。Trankit建立在最先进的预训练语言模型之上,在句子分割、词性标记、形态特征标记和依存句法分析方面显著优于之前的多语言NLP管道,同时在标记化、多词标记扩展和词形化方面保持了超过90个通用词典树库的竞争性能。尽管使用了一个大型的预训练的Transformer,我们的工具包在内存使用和速度方面仍然很高效。这是通过我们新颖的Adapters即插即用机制实现的,其中多语言预训练的Transformer在不同语言的管道中共享。我们的工具包以及预训练的模型和代码可在https://github.com/nlp-uoregon/trankit上公开获取。我们的工具包的演示网站也可以在:http://nlp.uoregon.edu/trankit。最后,我们在https://youtu.be/q0KGP3zGjGc上为Trankit创建了一个演示视频。
2021-10-15 cs.CL
Human Sentence Processing: Recurrence or Attention?
Radboud University(拉德堡德大学)
递归神经网络(RNN)长期以来一直是人类句子处理的计算模型的感兴趣的架构。最近推出的Transformer架构在许多自然语言处理任务上优于RNN,但对其建模人类语言处理的能力知之甚少。我们比较了基于Transformer和RNN的语言模型在衡量人类阅读努力方面的能力。我们的分析表明,Transformers在解释英语句子阅读过程中的自定阅读时间和神经活动方面优于RNN,挑战了人们普遍认为的人类句子处理涉及循环和即时处理的观点,并为基于线索的检索提供了证据。
2021-05-04 cs.CL
Can Transformer be Too Compositional? Analysing Idiom Processing in Neural Machine Translation
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
与字面表达不同,习语的意义并不直接从其部件中推导出来,这给神经机器翻译(NMT)带来了挑战。NMT模型通常无法准确地翻译习语,并且过度生成合成的字面翻译。本文以英语为源语言,欧洲七种语言中的一种为目标语言,通过分析模式的隐藏状态和注意模式,探讨习语的非组合性是否反映在主导的NMT模型Transformer的机制中。当Transformer发出一个非字面翻译时--也就是说,将表达式标识为惯用的--与字面表达式相比,编码器更强烈地将惯用作为单个词汇单元处理。这主要表现在习语的各个部分通过注意力的作用而被组合在一起,习语与语境之间的互动减少。在解码器的交叉注意中,比喻性输入导致对源端令牌的注意力降低。这些结果表明,Transformer倾向于将成语作为组合表达进行处理,这有助于成语的字面翻译。
2022-05-30 cs.CL
Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming
University of Florida(佛罗里达大学)
本研究评估 RNN 和 Transformer 模型在汉英跨语言结构启动中的表现,发现 Transformer 优于 RNN,挑战了传统循环处理观点,提示基于线索的检索机制作用。
2024-10-15 cs.CL cs.LG
Global memory transformer for processing long documents
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
Transformer变体在不同的自然语言处理任务(如翻译、阅读理解和摘要)中占据主导地位。我们的论文更多的是针对使用一般的内存插槽添加到输入和研究添加这些插槽的结果。本文继续研究了在以前的工作中添加到所提出的模型的输入的一般内存插槽规则。我们有两个主要任务:1)使用掩码语言建模的预训练任务和b)使用HotpotQA的微调任务。本研究的目的是验证所提出的模型处理块的能力,如果他们是一个块与基础模型相比。我们使用T5 Transformer作为基线。我们研究了内存槽扩展到每个输入块的规则,并研究了没有选择器的模型性能。我们发现,向输入组块添加记忆有助于所提出的模型克服具有特定训练参数的掩蔽语言建模任务的基线。消融研究揭示了使用压缩输入块的能力,性能下降。
2022-12-03 cs.CL cs.LG
Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing
Carnegie Mellon University(卡内基梅隆大学);Google AI Brain Team(谷歌人工智能大脑团队)
随着语言预训练的成功,人们非常希望开发更有效的可扩展性更好的架构,可以以更低的成本利用丰富的未标记数据。为了提高效率,我们研究了在维护全长令牌级演示时被忽视的冗余,特别是对于只需要序列的单向量演示的任务。基于这种直觉,我们提出了漏斗变换器,它逐渐将隐藏状态的序列压缩到一个较短的序列,从而降低了计算成本。更重要的是,通过将长度减少节省的FLOP重新投资于构建更深或更宽的模型,我们进一步提高了模型容量。此外,为了执行常见预训练目标所需的令牌级预测,Funnel-Transformer能够通过解码器从减少的隐藏序列中恢复每个令牌的深度表示。从经验上看,在具有相当或更少的FLOP的情况下,Funnel-Transformer在各种序列级预测任务上都优于标准的Transformer,包括文本分类、语言理解和阅读理解。代码和预先训练的检查点可在https://github.com/laiguokun/Funnel-Transformer上获得。
2020-06-05 cs.CL cs.LG stat.ML
Incremental Sentence Processing Mechanisms in Autoregressive Transformer Language Models
University of Amsterdam(阿姆斯特丹大学);Northeastern University(东北大学);Technion – IIT(以色列理工学院)
该研究针对自回归Transformer语言模型增量语言输入处理特征不明的问题,通过稀疏自编码器分析花园路径句处理机制,发现模型兼具句法特征与浅层启发式特征、同时考量两种解读且不复用相关特征回答后续问题。
2024-12-06 cs.CL
Actuarial Applications of Natural Language Processing Using Transformers: Case Studies for Using Text Features in an Actuarial Context
AT Analytics AG(AT分析公司);Swiss Re(瑞士再保险公司)
本教程展示了如何利用基于Transformer的NLP模型将多语言、长文本的事故与保险索赔描述融入精算分类和回归任务,并通过微调与少样本方法(含ChatGPT)验证了迁移学习在精算实践中的有效性。
2023-09-25 cs.CL
Energy-Based Transformers as Predictors of Reading Difficulty
Utrecht University(乌得勒支大学)
研究提出基于能量的Transformer模型中的能量度量作为阅读时间预测器,在三个语料库上显著优于惊奇度,并在关系从句处理中捕捉主/宾语不对称,可能统一多个互补度量。
2026-09-02 cs.AI cs.CL
Greedy-layer Pruning: Speeding up Transformer Models for Natural Language Processing
DeepOpinion(DeepOpinion公司);University of Innsbruck(因斯布鲁克大学)
在无监督预训练之后微调Transformer模型在许多不同的自然语言处理任务上达到了非常高的性能。不幸的是,Transformers遭受长的推理时间,这大大增加了生产成本。一个可能的解决方案是使用知识蒸馏,它通过将信息从大型教师模型转移到较小的学生模型来解决这个问题。知识蒸馏保持高性能并达到高压缩率,然而,学生模型的大小在预训练后是固定的,并且不能针对给定的下游任务和用例单独改变以达到期望的性能/加速比。另一种以更细粒度和计算成本更低的方式减小模型大小的解决方案是在预训练后修剪层。代价是逐层剪枝算法的性能不能与最先进的知识蒸馏方法相提并论。在本文中,贪婪层修剪引入(1)优于当前的逐层修剪的最新技术水平,(2)关闭性能差距相比,知识蒸馏,同时(3)提供了一种方法,以适应模型的大小动态地达到所需的性能/加速比的权衡,而不需要额外的预训练阶段。我们的源代码可以在https://github.com/deepopinion/greedy-layer-pruning上找到。
2022-03-29 cs.CL
COOL, a Context Outlooker, and its Application to Question Answering and other Natural Language Processing Tasks
National University of Singapore(新加坡国立大学)
本文提出COOL,一种用于自然语言处理的展望注意力机制,通过编码局部句法上下文提升变换器模型性能,在问答等任务上取得竞争性结果。
2023-05-15 cs.AI cs.CL
Extracting Thyroid Nodules Characteristics from Ultrasound Reports Using Transformer-based Natural Language Processing Methods
University of Florida(佛罗里达大学);Mayo Clinic Rochester(梅奥诊所罗切斯特院区)
本研究比较了BERT、RoBERTa、LongFormer、DeBERTa和GatorTron等5种基于Transformer的NLP模型,从超声报告中提取16项甲状腺结节特征,GatorTron表现最佳,为评估超声报告质量和患者结局奠定基础。
2023-03-31 cs.CL
A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks
Concordia University(康考迪亚大学);Khalifa University(哈利法大学);Princess Sumaya University for Technology(苏玛雅公主科技大学);University of Alberta(阿尔伯塔大学);Polish Academy of Sciences(波兰科学院);Istinye University(伊斯廷耶大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
本文针对现有Transformer综述缺乏跨领域全面性的问题,对2017-2022年的Transformer模型进行广泛调研,确定五大应用领域并提出分类法分析模型影响,为相关研究提供参考。
2023-06-11 cs.CL cs.LG
Injecting Hierarchy with U-Net Transformers
UMass Lowell(马萨诸塞大学洛厄尔分校)
Transformer架构在过去的两年中变得越来越流行,这是由于它在许多自然语言处理(NLP)任务上的出色性能。然而,所有的Transformer计算都发生在单词表示的级别上,因此,可以认为Transformer模型没有明确地尝试学习被广泛认为是语言不可或缺的层次结构。在目前的工作中,我们引入层次处理的Transformer模型,从U-Net架构,流行的计算机视觉的自然图像的层次视图的灵感。我们的经验表明,所提出的架构优于香草Transformer和一些强大的基线在聊天对话领域。
2021-04-01 cs.CL cs.LG stat.ML
AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing
National Institute of Technology Trichy(特里奇国立理工学院)
基于transformer的预训练语言模型(T-PTLM)在几乎所有的NLP任务中都取得了巨大的成功。这些模型的发展始于GPT和BERT。这些模型是建立在Transformers,自监督学习和迁移学习。基于转换的PTLM使用自监督学习从大量文本数据中学习通用语言表示,并将此知识转移到下游任务。这些模型为下游任务提供了良好的背景知识,避免了从头开始训练下游模型。在这篇全面的综述论文中,我们首先简要概述了自监督学习。接下来,我们将解释各种核心概念,如预训练,预训练方法,预训练任务,嵌入和下游适应方法。接下来,我们提出了一个新的分类T-PTLM,然后简要概述了各种基准,包括内在和外在的。我们总结了各种有用的库与T-PTLM一起工作。最后,我们强调了一些未来的研究方向,这将进一步改善这些模型。我们坚信,这份全面的调查报告将作为一个很好的参考,以了解核心概念,以及保持与最近发生的T-PTLM更新。
2021-08-28 cs.CL
HMT: Hierarchical Memory Transformer for Efficient Long Context Language Processing
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of California, San Diego(加利福尼亚大学圣迭戈分校)
HMT通过模仿人类分层记忆机制,利用记忆增强的段级循环组织token保留、记忆传递与历史召回,以更少参数和推理内存显著提升长上下文语言处理能力。
2025-02-06 cs.CL cs.LG
Signatures of human-like processing in Transformer forward passes
Kempner Institute Harvard University(哈佛大学 Kempner 院);Department of Computer Science Brown University(布朗大学计算机科学系);Department of Linguistics University of Tübingen(图宾根大学语言学系)
该研究探究人类实时处理与Transformer层计算动态的关联,通过多领域多模型实验发现前向传播存在类人竞争者干扰特征,动态指标对人类处理特征的预测优于静态最终层指标,提出了用AI模型研究人类认知的新路径。
2025-05-18 cs.AI cs.CL
Processing Long Legal Documents with Pre-trained Transformers: Modding LegalBERT and Longformer
Athens University of Economics and Business(雅典经济与商业大学);University of Copenhagen(哥本哈根大学);Cognitiv+
预先训练的Transformers目前主导着大多数NLP任务。然而,它们对最大输入长度(BERT中的512个子字)施加了限制,这在法律领域中限制太多。即使是稀疏注意模型,如Longformer和BigBird,将最大输入长度增加到4,096个子词,也会严重截断LexGLUE六个数据集中的三个数据集的文本。具有TF-IDF特征的更简单的线性分类器可以处理任何长度的文本,需要更少的资源来训练和部署,但通常优于预先训练的Transformers。我们探索了两个方向来处理长的法律文本:(i)修改从LegalBERT开始的Longformer warm-started来处理更长的文本(多达8,192个子字),以及(ii)修改LegalBERT以使用TF-IDF表示。第一种方法在性能方面是最好的,超过了LegalBERT的分层版本,这是LexGLUE之前的最先进的方法。第二种方法以较低的性能为代价导致计算效率更高的模型,但所得模型在长法律文档分类中的整体性能仍然优于具有TF-IDF特征的线性SVM。
2022-11-10 cs.CL
Staircase Attention for Recurrent Processing of Sequences
Facebook AI Research(脸书人工智能研究院)
注意力机制已经成为序列建模任务的标准工具,特别是通过在整个输入序列上堆叠自注意力层,如在Transformer架构中。在这项工作中,我们介绍了一种新的注意力程序称为楼梯注意力,不像自我注意力,在整个序列(在时间上)通过添加另一个步骤的处理递归地处理输入。阶梯中的一个步骤由向后标记(编码到目前为止看到的序列)和向前标记(插入序列的新部分)组成,或者是一个极端的阶梯版本,向前步骤为零,简单地在阶梯的每一步上重复Transformer,共享权重。因此,我们描述了一系列这样的模型,可以权衡性能和计算,通过增加随时间推移的递归量,通过递归深度的顺序处理量,或两者兼而有之。楼梯的注意力被证明能够解决的任务,涉及跟踪,传统的Transformers不能,由于这种复发。此外,它被证明提供了改进的建模能力为相同大小的模型(参数数)相比,自我专注的Transformers对大型语言建模和对话任务,产生显着的困惑收益。
2021-06-08 cs.CL cs.LG
A Survey of Transformers
Fudan University(复旦大学)
Transformers在很多人工智能领域都取得了巨大的成功,比如自然语言处理、计算机视觉、音频处理等。因此,很自然地吸引了学术界和行业研究人员的大量兴趣。到目前为止,各种各样的Transformer变体(也称为X型),然而,这些Transformer变体的系统和全面的文献综述仍然缺失。在这次调查中,我们提供了各种X型的全面审查。我们首先简要介绍了香草Transformer,然后提出了一个新的分类X-former。接下来,我们从三个角度介绍各种X-former:架构修改,预训练和应用程序。最后,我们概述了未来研究的一些潜在方向。
2021-06-15 cs.AI cs.CL cs.LG
Advancements in Natural Language Processing: Exploring Transformer-Based Architectures for Text Understanding
OceanAI(海洋人工智能公司)
本文探讨Transformer架构(如BERT和GPT)在文本理解中的进展,通过统计分析和2024年研究,展示其在GLUE和SQuAD上F1超90%的领先性能,并指出计算成本挑战及未来优化方向。
2025-03-26 cs.AI cs.CL
Online Gesture Recognition using Transformer and Natural Language Processing
University College Dublin(都柏林大学学院);University of Pisa(比萨大学)
本研究提出基于Transformer的在线手写手势识别方法,结合注意力机制、BPE大解码空间与多语言迁移学习,在新数据集上实现英法德94%-96%的识别准确率。
2023-05-05 cs.CL
Transformer-based Detection of Multiword Expressions in Flower and Plant Names
University of Wolverhampton(伍尔弗汉普顿大学);University of Granada(格拉纳达大学)
多词表达是一系列的词,这些词共同表达一个意义,而这个意义不是从单个词派生出来的。处理MWE的任务在许多自然语言处理(NLP)应用中是至关重要的,包括机器翻译和术语提取。因此,检测不同领域的MWE是一个重要的研究课题。在本文中,我们探讨了国家的最先进的神经Transformers在花卉和植物名称中检测MWE的任务。我们评估不同的Transformer模型上创建的植物和花卉百科全书的数据集。我们的经验表明,Transformer模型优于以前的基于长短期记忆(LSTM)的神经模型。
2022-09-20 cs.CL
Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models
Aleph Alpha Research(Aleph Alpha研究院)
本研究提出分层自回归Transformer,结合字符级与词级处理,避免固定词汇表,在70亿参数规模下匹配子词模型性能,同时显著增强对输入扰动的稳健性,并在跨语言持续预训练中实现近两倍加速和更优目标语言性能。
2025-01-20 cs.AI cs.CL cs.LG
When Language Models Fall in Love: Animacy Processing in Transformer Language Models
ILLC(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学);Technion—IIT(以色列理工学院)
探究transformer语言模型在缺乏语言外信息时如何处理有生性,发现其能捕捉微妙线索适应非典型有生性实体,表现出对词汇语义的敏感性。
2023-10-23 cs.CL
A Novel Method of Fuzzy Topic Modeling based on Transformer Processing
National Chiao Tung University(国立交通大学);National Chung Hsing University(国立中兴大学);SparkAmplify;Institue of Technology Management(技术管理学院)
本文针对LDA主题建模结果不直观、关键词关联可靠性存疑及主题数难以预先确定等问题,提出基于Transformer文档嵌入与软聚类的模糊主题建模方法,并在新闻稿监测应用中取得比LDA更自然的结果。
2023-09-18 cs.CL
Recurrent Memory Transformer
Moscow Institute of Physics and Technology(莫斯科物理技术学院);AIRI(AIRI(人工智能研究所))
基于transformer的模型在多个领域和任务中显示出其有效性。自注意允许将来自所有序列元素的信息组合成上下文感知表示。然而,全局和局部信息必须大部分存储在相同的元素表示中。此外,输入序列的长度受到自注意的二次计算复杂性的限制。在这项工作中,我们提出并研究了一个内存增强的段级递归Transformer(RMT)。内存允许存储和处理本地和全局信息,以及在递归的帮助下在长序列的段之间传递信息。我们实现了一个内存机制,没有改变Transformer模型,通过添加特殊的内存令牌的输入或输出序列。然后训练模型来控制记忆操作和序列表示处理。实验结果表明,RMT的表现与Transformer-XL语言建模较小的内存大小,并优于它的任务,需要较长的序列处理。我们表明,添加内存令牌的Tr-XL是能够提高其性能。这使得递归内存Transformer成为一种很有前途的架构,适用于需要学习长期依赖关系和内存处理中的通用目的的应用程序,例如算法任务和推理。
2022-12-08 cs.CL cs.LG
Enhancing Cloud-Based Large Language Model Processing with Elasticsearch and Transformer Models
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Southern California(南加利福尼亚大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文探讨语义向量搜索原理,并结合 Elasticsearch 与 Transformer 模型提升云端 LLM 处理的准确性、相关性及实际部署能力。
2024-02-24 cs.CL cs.DC cs.DL
LMN at SemEval-2022 Task 11: A Transformer-based System for English Named Entity Recognition
Van Ho Middle School(范和中学)
处理复杂且有歧义的命名实体是一个具有挑战性的研究问题,但它还没有得到自然语言处理界的足够重视。在这篇简短的论文中,我们介绍了我们参与SemEval-2022任务11:多语言复杂命名实体识别的英语轨道。受预训练的Transformer语言模型的最新进展的启发,我们提出了一个简单而有效的基于Transformer的任务基线。尽管它很简单,我们提出的方法在排行榜上显示出有竞争力的结果,因为我们在30个团队中排名12。我们的系统实现了宏观F1分数为72.50%的举行了测试集。我们还探索了使用实体链接的数据增强方法。虽然这种方法并没有提高最终的性能,我们也讨论了它在本文中。
2022-02-13 cs.CL
Blockwise Parallel Transformer for Large Context Models
UC Berkeley(加州大学伯克利分校)
提出分块并行Transformer(BPT),通过分块计算自注意力和融合前馈网络降低内存成本,支持比原始Transformer长32倍、比现有高效方法长4倍的序列训练,实验验证其在语言建模和强化学习中的有效性。
2023-08-28 cs.CL cs.LG
Explicit Sparse Transformer: Concentrated Attention Through Explicit Selection
Peking University(北京大学)
基于自注意的Transformer在许多自然语言处理任务中表现出了最先进的性能。自我注意能够对长期依赖进行建模,但它可能会受到提取上下文中不相关信息的影响。为了解决这个问题,我们提出了一个新的模型称为\textbf{Explicit Sparse Transformer}。显式稀疏Transformer能够通过显式选择最相关的片段来提高对全局上下文的注意力集中。在一系列自然语言处理和计算机视觉任务(包括神经机器翻译、图像描述和语言建模)上的大量实验结果都证明了显式稀疏Transformer在模型性能上的优势。我们还表明,我们提出的稀疏注意力方法比以前的稀疏注意力方法取得了相当或更好的结果,但显着减少了训练和测试时间。例如,推理速度是Transformer模型中sparsemax的两倍。代码将在\url{https://github.com/lancopku/Explicit-Sparse-Transformer}上提供
2019-12-25 cs.CL cs.LG
Language Modeling using LMUs: 10x Better Data Efficiency or Improved Scaling Compared to Transformers
Applied Brain Research(应用大脑研究公司)
最近的研究表明,Transformers的语言建模任务的性能服从幂律关系模型的大小超过六个数量级。虽然Transformers表现出令人印象深刻的可扩展性,但它们的性能取决于处理大量数据,并且它们的计算和内存需求随着序列长度呈二次方增长。出于这些考虑,我们构建了一个基于Legendre内存单元的模型,该模型引入了一般的序列处理之前,并表现出$O(n)$和$O(n \ln n)$(或更好)的内存和计算的依赖性。超过三个数量级,我们表明我们的新架构达到了与Transformers相同的精度,但令牌减少了10倍。我们还表明,对于相同的训练量,我们的模型改善了Transformers器的损耗,就像Transformers改善LSTM一样。此外,我们证明,增加全球自我关注补充我们的架构和增强模型进一步提高性能。
2021-10-05 cs.CL cs.LG
HAT: Hardware-Aware Transformers for Efficient Natural Language Processing
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出 HAT,通过神经架构搜索、SuperTransformer 权重共享与延迟约束进化搜索,为 CPU、GPU 和 IoT 硬件自动发现高效 Transformer。
2020-05-28 cs.CL cs.LG cs.NE
SpeechFormer++: A Hierarchical Efficient Framework for Paralinguistic Speech Processing
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室);UBTECH Robotics Corporation(优必选科技股份有限公司);iFLYTEK Corporation(科大讯飞股份有限公司)
副语言语音处理在解决许多问题,如情感和神经认知障碍分析中很重要。最近,Transformer在自然语言处理领域取得了显著的成功,并展示了它对语音的适应能力。然而,以前的工作Transformer在语音领域没有纳入语音的属性,留下的全部潜力Transformer未开发。在本文中,我们认为语音的特点,并提出了一个通用的结构为基础的框架,称为SpeechFormer++,用于非语言语音处理。更具体地说,遵循语音信号中的分量关系,我们设计了一个单元编码器来对单元内和单元间信息(即,框架、音素和单词)。根据语音信号的层次关系,利用合并块生成不同粒度的特征,与语音信号的结构模式相一致。此外,引入了一个字编码器,将字粒度的特征集成到每个单元编码器中,有效地平衡了细粒度和粗粒度的信息。SpeechFormer++在语音情感识别(IEMOCAP & MELD)、抑郁症分类(DAIC-WOZ)和阿尔茨海默病检测(Pitt)任务上进行了评估。结果表明,SpeechFormer++的性能优于标准的Transformer,同时大大降低了计算成本。此外,与最先进的方法相比,它提供了更好的结果。
2023-02-27 cs.CL cs.SD eess.AS
Fast-FNet: Accelerating Transformer Encoder Models via Efficient Fourier Layers
Bilkent University(比尔肯特大学);KU Leuven(荷语鲁汶大学);TU Darmstadt(达姆施塔特工业大学)
针对Transformer注意力机制计算复杂度高的问题,提出Fast-FNet,利用傅里叶变换替代注意力层并优化其部署,在减少参数、训练时间和内存的同时提升性能。
2023-05-16 cs.AI cs.CL cs.GL
Compress, Gather, and Recompute: REFORMing Long-Context Processing in Transformers
KAIST(韩国科学技术院);Amazon AGI(亚马逊人工智能实验室)
针对Transformer处理超长上下文时的信息丢失或内存过高问题,提出两阶段推理框架REFORM,通过压缩KV缓存、提前退出、关键token聚集重计算,在多任务上实现性能提升并减少推理时间与内存。
2025-11-17 cs.CL cs.LG
Analysing similarities between legal court documents using natural language processing approaches based on Transformers
TRT5 - Regional Labour Court of the 5th Region(第五地区地区劳工法院);SENAI CIMATEC University Center(SENAI CIMATEC大学中心);Surrey Institute for People-Centred AI(萨里以人为本人工智能研究所);University of Surrey(萨里大学)
本研究利用六种基于Transformer的NLP模型(如BERT、GPT-2和RoBERTa)分析巴西法律文书相似性,通过微调210,000个诉讼并基于嵌入聚类评估,发现RoBERTa模型表现最佳,且方法可推广至其他语言。
2023-05-11 cs.AI cs.CL cs.LG
A Review of Bangla Natural Language Processing Tasks and the Utility of Transformer Models
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);Cognitive Insight Limited(认知洞察有限公司);BJIT Limited(BJIT有限公司);Dhaka University(达卡大学)
孟加拉语是世界上使用最广泛的第六种语言(https://www.ethnologue.com/guides/ethnologue200),有2.3亿人以孟加拉语为母语,但在自然语言处理(NLP)社区中,孟加拉语仍然被认为是一种低资源语言。经过三十年的研究,孟加拉语自然语言处理(BNLP)仍然落后,主要是由于资源的稀缺和随之而来的挑战。在BNLP的不同领域,工作很少;然而,尚未完成一项全面的调查报告以前的工作和最新进展。在这项研究中,我们首先回顾了研究社区可用的孟加拉NLP任务、资源和工具;我们使用当前最先进的算法(即,基于变压器的模型)。我们通过比较不同大小的单语与多语言模型,为所研究的NLP任务提供了比较结果。我们使用个人和合并数据集报告我们的结果,并为未来的研究提供数据分割。我们共查阅了108篇论文,进行了175组实验。我们的结果显示,使用基于变换器的模型具有良好的性能,同时强调了与计算成本的权衡。我们希望这样一个全面的调查将激励社区建立和进一步推进对孟加拉语NLP的研究。
2021-07-25 cs.AI cs.CL cs.IR
From Rule-Based Models to Deep Learning Transformers Architectures for Natural Language Processing and Sign Language Translation Systems: Survey, Taxonomy and Performance Evaluation
United Arab Emirates University(阿联酋大学);Emirates Center for Mobility Research(阿联酋移动性研究中心)
本文综述手语机器翻译从规则模型到 Transformers 架构的发展与分类,指出实时端到端手语-gloss-文本互译系统的需求和未来方向。
2024-08-27 cs.AI cs.CL cs.CV
Transformer Encoder for Social Science
Princeton University(普林斯顿大学);Boston University(波士顿大学)
高质量的文本数据已经成为社会科学家的重要数据来源。我们已经见证了预训练的深度神经网络模型的成功,例如BERT和RoBERTa,在最近的社会科学研究中。在本文中,我们提出了一个紧凑的预训练深度神经网络,Transformer Encoder for Social Science(TESS),旨在解决社会科学研究中的文本处理任务。使用两个验证测试,我们证明了TESS优于BERT和RoBERTa平均16.7%的训练样本的数量是有限的(<1,000训练实例)。结果显示TESS在社会科学文本处理任务上优于BERT和RoBERTa。最后,我们讨论了我们的模型的局限性和未来的研究提出了建议。
2022-08-17 cs.AI cs.CL
Non-autoregressive Transformer-based End-to-end ASR using BERT
National Taiwan University of Science and Technology(台湾科技大学)
基于transformer的模型在经典和实际的学科中带来了重大的创新,如语音处理,自然语言处理和计算机视觉。在Transformer之上,基于注意力的端到端自动语音识别(ASR)模型最近变得流行起来。具体而言,非自回归建模,它拥有快速的推理和性能相媲美的传统自回归方法,是一个新兴的研究课题。在自然语言处理的背景下,来自Transformers(BERT)模型的双向编码器表示受到了广泛关注,部分原因是它能够推断上下文化的单词表示,并为下游任务提供卓越的性能,同时只需简单的微调。受成功的启发,我们打算将语音识别视为BERT的下游任务,因此期望通过执行微调来推导ASR系统。因此,为了不仅继承非自回归ASR模型的优点,而且还享受预先训练的语言模型(例如,BERT),我们提出了一种基于BERT的基于非自回归变换器的端到端ASR模型。我们在AISHELL-1数据集上进行了一系列实验,与最先进的ASR系统相比,这些实验证明了该模型的竞争力或优越性。
2022-05-18 cs.CL cs.SD eess.AS
Bangla Grammatical Error Detection Using T5 Transformer Model
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本文提出了一种使用文本到文本转换Transformer(T5)语言模型检测孟加拉语语法错误的方法,使用BanglaT5的小变体,在9385个句子的语料库上进行微调,其中错误由专用的分界符号括起来。T5模型主要是为翻译而设计的,并不是专门为此任务而设计的,因此需要大量的后处理来使其适应错误检测任务。我们的实验表明,T5模型可以实现低Levenshtein距离在孟加拉语中检测语法错误,但后处理是必不可少的,以实现最佳性能。在5000个句子的测试集上,对微调模型的输出进行后处理后的最终平均Levenshtein距离为1.0394。本文还提出了一个详细的分析模型检测到的错误,并讨论了适应语法的翻译模型的挑战。我们的方法可以扩展到其他语言,证明了T5模型在检测各种语言中的语法错误方面的潜力。
2023-03-19 cs.CL cs.LG