Information Extraction from Swedish Medical Prescriptions with Sig-Transformer Encoder
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
依赖于大型预训练语言模型,例如来自Transformers的双向编码器表示(BERT)进行编码并添加简单的预测层,在许多临床自然语言处理(NLP)任务中取得了令人印象深刻的性能。在这项工作中,我们提出了一种新的扩展的Transformer架构,将签名转换与自我注意力模型。该架构被添加在嵌入层和预测层之间。一个新的瑞典处方数据上的实验表明,该架构是优于三个信息抽取任务中的两个,与基线模型。最后,我们评估了应用多语言BERT和将瑞典语文本翻译为英语然后使用临床笔记预训练的BERT模型进行编码之间的两种不同嵌入方法。
2020-10-10 cs.CL
Layer-wise Pruning of Transformer Attention Heads for Efficient Language Modeling
Seoul National University(首尔国立大学);Hanyang University(汉阳大学)
虽然基于transformer的模型已经显示出令人印象深刻的语言建模性能,但大量的计算成本通常使实际使用望而却步。注意头修剪技术是解决这一问题的一种有效方法,它可以去除多个注意头中不必要的注意头。然而,它并没有均匀地减少整体负载,因为重前馈模块不受头部修剪的影响。在本文中,我们将逐层注意力头部修剪应用于全注意力Transformer,使得整个计算和参数的数量可以与修剪头部的数量成比例地减少。虽然该架构有可能充分利用头部修剪,我们提出了三种训练方法,特别有助于最大限度地减少性能下降和稳定的修剪过程。我们的修剪模型在WikiText-103语言建模基准测试中显示出比Transformer-XL更低的困惑度。
2021-10-07 cs.CL
Sparse is Enough in Scaling Transformers
University of Warsaw(华沙大学);Google Research(谷歌研究院);OpenAI
大型Transformer模型在许多任务上都能产生令人印象深刻的结果,但训练或甚至微调都很昂贵,而且解码速度太慢,以至于它们的使用和研究变得遥不可及。我们通过利用稀疏性来解决这个问题。我们研究了Transformer中所有层的稀疏变体,并提出了Scaling Transformers,这是下一代Transformer模型的一个系列,它使用稀疏层来有效地扩展,并在我们扩展模型大小时比标准Transformer更快地执行非批量解码。令人惊讶的是,稀疏层足以获得与具有相同数量参数的标准Transformer相同的困惑。我们还集成了先前的稀疏性方法来注意,即使在内存有限的情况下,也可以对长序列进行快速推理。这导致性能竞争的国家的最先进的长文本摘要。
2021-11-24 cs.CL cs.LG
Transformer-Based Low-Resource Language Translation: A Study on Standard Bengali to Sylheti
University of Vermont(佛蒙特大学);University of Brahmanbaria(布拉曼巴里亚大学)
针对锡尔赫特语这类低资源语言翻译研究不足的问题,本研究微调多语言Transformer模型并与零样本大语言模型对比,发现微调模型表现更优,为低资源语言翻译及包容性语言技术发展提供参考。
2025-10-20 cs.CL cs.CY
Generating abstractive summaries of Lithuanian news articles using a transformer model
Faculty of Informatics, Kaunas University of Technology(考纳斯理工大学信息学学院)
在这项工作中,我们训练第一单语立陶宛Transformer模型上的立陶宛新闻文章的一个相对较大的语料库,并比较各种输出解码算法的抽象新闻摘要。我们实现了平均ROUGE-2得分0.163,生成的摘要是连贯的,乍一看令人印象深刻。然而,其中一些包含不容易发现的误导性信息。我们描述了所有的技术细节,并在一个在线开源存储库中分享了我们的训练模型和附带的代码,以及生成的摘要的一些特征样本。
2021-06-22 cs.CL cs.IR cs.LG
Domain Private Transformers for Multi-Domain Dialog Systems
ASAPP Inc(ASAPP公司)
针对多领域语言模型易跨领域泄漏的问题,本文提出领域隐私度量、词元级领域分类策略函数及高效微调方法,并在成员推理攻击下验证其防护效果。
2023-12-07 cs.CL cs.LG
Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search
Clova AI, NAVER Corp.(NAVER公司Clova AI);New York University(纽约大学)
尽管Transformers具有令人印象深刻的精度,但其计算成本通常在有限的计算资源下无法使用。大多数以前的方法,以提高推理效率需要一个单独的模型,为每一个可能的计算预算。在本文中,我们扩展了POWER-BERT(Goyal等人,2020),并提出了长度自适应Transformer,可用于各种推理场景后,一次性训练。我们用LengthDrop(dropout的一种结构变体)训练一个Transformer,它随机确定每一层的序列长度。然后,我们进行多目标的进化搜索,找到一个长度配置,最大限度地提高精度,并在任何给定的计算预算的效率指标最小化。此外,我们显着扩展的POWER-BERT的适用性超出序列级分类到标记级分类与丢弃和恢复过程,暂时丢弃字向量在中间层和恢复在最后一层,如果必要的。我们实证验证所提出的方法的效用,通过展示优越的准确性和效率的权衡下,各种设置,包括跨度为基础的问答和文本分类。代码可在https://github.com/clovaai/length-adaptive-transformer上获得。
2021-06-11 cs.CL cs.LG
DP-KB: Data Programming with Knowledge Bases Improves Transformer Fine Tuning for Answer Sentence Selection
Alexa AI(亚马逊Alexa人工智能部门)
虽然Transformers在许多知识密集型(KI)任务上表现出令人印象深刻的性能,但它们作为隐式知识库(KB)的能力仍然有限,如几个插槽填充,问答(QA),事实验证和实体链接任务所示。在本文中,我们实现了一个高效的,数据编程技术,丰富的训练数据与知识库派生的上下文,并提高Transformer利用编码的知识时,微调一个特定的QA任务,即答案句子选择(AS2)。我们的方法优于最先进的Transformer方法在WikiQA和TrecQA,两个广泛研究的AS2基准测试中,分别增加了2.0%p@1,1.3%MAP,1.1%MRR和4.4%p@1,0.9%MAP,2.4%MRR。为了证明我们在行业环境中的改进,我们还在Alexa QA对的专有数据集上评估了我们的方法,并显示F1增加了2.3%,MAP增加了2.0%。我们还发现,即使在推理时省略KB上下文,这些改进仍然存在,允许在现有的Transformer工作流中使用我们的模型,而不会产生额外的延迟或部署成本。
2022-03-17 cs.CL cs.LG
Cross-Domain Aspect Extraction using Transformers Augmented with Knowledge Graphs
Intel Labs(英特尔实验室)
体词提取是文本细粒度情感分析的关键步骤。当训练和测试数据来自同一个域时,用于此任务的现有方法已经产生了令人印象深刻的结果。然而,当应用于测试数据的域不同于训练数据的域的跨域设置时,这些方法显示出性能的急剧下降。为了解决这种缺乏可扩展性和鲁棒性,我们提出了一种新的方法来自动构建特定领域的知识图谱,其中包含相关的信息方面的识别条款。我们介绍了一种方法,从这些知识图谱注入到Transformer模型,包括两种替代机制的知识插入:通过查询丰富和通过操纵的注意力模式。我们使用我们的方法在跨域方面术语提取的基准数据集上展示了最先进的性能,并研究了Transformer可用的外部知识量如何影响模型性能。
2022-10-18 cs.AI cs.CL
Simplified Self-Attention for Transformer-based End-to-End Speech Recognition
Northwestern Polytechnical University(西北工业大学);School of Computer Science(计算机学院);Alibaba DAMO Academy(阿里巴巴达摩院)
Transformer模型由于其在建模长期依赖关系方面的优势,已被引入到端到端语音识别中,在各种任务上具有最先进的性能。然而,这种改进通常是通过使用非常大的神经网络来获得的。Transformer模型主要包括位置前馈层和自注意(SAN)层两个子模块。在本文中,为了降低模型的复杂性,同时保持良好的性能,我们提出了一个简化的自我注意(SSAN)层,使用FSMN内存块,而不是投影层,以形成查询和关键向量的转换为基础的端到端语音识别。我们评估了基于SSAN和传统的基于SAN的Transformers器上的公共AISHELL-1,内部1000小时和20,000小时的大规模普通话任务。结果表明,我们提出的基于SSAN的Transformer模型可以实现超过20%的相对减少模型参数和6.7%的相对CER减少AISHELL-1任务。令人印象深刻的是,我们的模型在20,000小时的大规模任务中没有表现出识别性能的损失。
2020-11-17 cs.CL cs.SD eess.AS
Evaluation of ChatGPT on Biomedical Tasks: A Zero-Shot Comparison with Fine-Tuned Generative Transformers
York University(约克大学);Dialpad Canada Inc.(Dialpad加拿大公司)
本文首次全面评估ChatGPT在生物医学领域的性能,发现其在小训练集生物医学数据集上的零样本表现优于现有最优微调生成式Transformer模型,可为缺标注数据的生物医学任务提供新工具。
2023-08-24 cs.CL cs.LG
Randomized Positional Encodings Boost Length Generalization of Transformers
DeepMind(深度思维(DeepMind))
本文提出随机化位置编码方案,通过模拟更长序列位置并随机选取有序子集,解决Transformer在长度泛化上的分布外问题,在15个算法推理任务上平均提升测试准确率12.0%。
2023-05-26 cs.AI cs.CL cs.LG
Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models
Google DeepMind(谷歌DeepMind)
本文通过受控的 $(x, f(x))$ 序列实验表明,Transformer 的上下文模型选择能力高度依赖预训练数据覆盖,域外任务会导致明显失败。
2023-11-01 cs.CL cs.LG stat.ML