Bhav-Net: Knowledge Transfer for Cross-Lingual Antonym vs Synonym Distinction via Dual-Space Graph Transformers
Department of Computer Science and Engineering(计算机科学与工程系);Indian Institute of Technology Delhi(印度理工学院德里)
Bhav-Net提出双空间图变换器架构,利用语言特定BERT编码器与图网络结合,实现跨八种语言的反义词与同义词区分,兼顾性能与可解释性。
2025-10-25 cs.CL
Moving Beyond Next-Token Prediction: Transformers are Context-Sensitive Language Generators
Inha University(仁荷大学)
本文提出将Transformer驱动的LLMs解释为概率性左上下文敏感语言生成器的框架,分解其为三个基础组件,突破传统观点,为生成式AI理论与应用发展奠定基础。
2025-04-15 cs.AI cs.CL
Extrapolation by Association: Length Generalization Transfer in Transformers
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学);Microsoft Research(微软研究院)
本文通过任务关联视角研究Transformer的长度泛化,发现相关任务间可迁移该能力,并在算法任务及预训练模型中验证,机制上与注意力头重用相关。
2025-08-04 cs.AI cs.CL
Fine-Tuning Transformers: Vocabulary Transfer
Yandex;Higher School of Economics(高等经济大学);Facebook UK(英国脸书);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学与科学研究所);University of Lisbon(里斯本大学);CEMAPRE
本文研究微调时使用语料专属分词对Transformer模型性能的影响,提出结合词汇token初始化与微调策略的词汇迁移方法,可加快迁移速度并提升微调后模型性能。
2022-12-12 cs.AI cs.CL cs.LG
Understanding In-Context Learning Beyond Transformers: An Investigation of State Space and Hybrid Architectures
The University of British Columbia(不列颠哥伦比亚大学)
本文通过行为探测和干预方法,探讨了不同架构在ICL任务中的表现差异,发现FVs主要位于自注意力和Mamba层,并揭示了Mamba2的ICL机制与FVs的不同。
2026-02-26 cs.AI cs.CL
Style Transformer: Unpaired Text Style Transfer without Disentangled Latent Representation
Fudan University(复旦大学)
在不成对的文本风格迁移中,普遍存在着在潜空间中将内容与风格分离的现象。然而,目前大多数神经模型存在两个主要问题。1)很难从句子的语义中完全剥离样式信息。2)基于递归神经网络(RNN)的编码器和解码器以潜在表示为中介,不能很好地处理长期依赖性问题,导致非风格语义内容的保存较差。本文提出了风格转换器Transformer,它不需要对源语句的潜在表征做任何假设,而是在Transformer中加入了注意力机制,以实现更好的风格转换和更好的内容保持。
2019-08-20 cs.CL
Improving the Downstream Performance of Mixture-of-Experts Transformers via Weak Vanilla Transformers
Research Center for Social Computing and Interactive Robotics(社会计算与交互机器人研究中心);Harbin Institute of Technology(哈尔滨工业大学)
针对MoE Transformer下游性能弱于普通Transformer的问题,本文提出迁移能力蒸馏概念,以弱普通Transformer为教师引导MoE模型,在BERT上验证了该方法可显著提升MoE的下游性能。
2025-11-14 cs.CL
Beyond Semantics: How Temporal Biases Shape Retrieval in Transformer and State-Space Models
本研究探究了Transformer和状态空间模型在上下文学习中受时间偏差影响的检索行为,通过消除语义混淆的序列实验发现模型偏向于检索输入开头或结尾附近的重复标记后的信息,且该现象与归纳头相关,揭示了时间分离对情景记忆检索的作用。
2026-09-30 cs.AI cs.CL
UofA-Truth at Factify 2022 : Transformer And Transfer Learning Based Multi-Modal Fact-Checking
University of Alberta(阿尔伯塔大学)
识别假新闻是一项非常困难的任务,特别是考虑到通过文本、图像、视频和/或音频传递信息的多种模式时。我们试图通过我们在De-Factify@ AAAI 2022的FACTIFY共享任务中简单而有效的方法来解决多模态新闻源(包括文本和图像)中的自动错误信息/虚假信息检测问题。我们的模型产生了74.807%的F1加权分数,这是所有提交中第四好的。在本文中,我们将解释我们的方法来承担共同的任务。
2022-01-28 cs.AI cs.CL cs.MM
A Comparative Analysis of Task-Agnostic Distillation Methods for Compressing Transformer Language Models
IBM Research AI(IBM研究院人工智能部门)
本文比较分析了任务无关蒸馏方法(OD、HS、MHA)压缩Transformer语言模型,发现基于MiniLMv2的MHA迁移最优,HS迁移有竞争力,OD迁移最差,并用于延迟关键型应用。
2023-10-13 cs.AI cs.CL
Scaling Transformer to 1M tokens and beyond with RMT
MIPT(莫斯科物理技术学院);AIRI(人工智能研究所);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本研究提出循环记忆增强方法(RMT),使预训练Transformer在计算量线性扩展下处理长达两百万token的输入,提升语言建模困惑度,增强长期依赖处理能力。
2024-02-06 cs.AI cs.CL cs.LG
GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer
近年来,非平行语篇风格迁移引起了越来越多的研究兴趣。尽管在基于编码器-解码器框架的风格转换方面取得了成功,但目前的方法仍然缺乏保留原始句子的内容甚至逻辑的能力,这主要是由于大的无约束模型空间或对潜在嵌入空间的过于简化的假设。由于语言本身是人类使用特定语法的智能产品,并且本质上具有有限的基于规则的模型空间,因此缓解这个问题需要协调深层神经网络的模型容量与人类语言规则的内在模型约束。为此,我们提出了一种称为基于图Transformer的自动编码器(GTAE)的方法,该方法将句子建模为语言图,并在图级别上执行特征提取和风格转换,以最大限度地保留原始句子的内容和语言结构。三个非平行文本风格迁移任务的定量实验结果表明,我们的模型优于国家的最先进的方法,在内容保存,同时实现了相当的性能,转移的准确性和句子的自然。
2021-02-01 cs.AI cs.CL cs.CV
Scaling Probabilistic Transformer via Efficient Cross-Scale Hyperparameter Transfer
School of Information Science and Technology, ShanghaiTech University(信息科学与技术学院,上海科技大学)
本文通过maximal update parametrization方法,将概率变换器参数扩展至0.4B规模,在相同参数预算下,MLM任务中性能优于标准变换器。
2026-04-28 cs.CL
Does Transformer Interpretability Transfer to RNNs?
EleutherAI
本文研究 Transformer 可解释性方法向 Mamba、RWKV 等 RNN 架构的迁移,验证对比激活添加、tuned lens 和潜在知识引出均大多有效,并利用 RNN 压缩状态加以改进。
2024-04-09 cs.AI cs.CL cs.LG
Improving Portuguese Semantic Role Labeling with Transformers and Transfer Learning
LIAAD - INESC TEC;University of Porto(波尔图大学)
确定“谁对谁做了什么”的自然语言处理任务称为语义角色标注。对于英语,最近的方法基于Transformer模型已经允许在这个任务中的重大改进,在以前的状态的art.However,对于低资源的语言,如葡萄牙语,目前可用的语义角色标注模型是由稀缺的训练数据阻碍。在本文中,我们探索了一种模型架构,该架构仅包含一个预训练的基于transformer的模型,一个线性层,softmax和Viterbi解码。我们大幅提高了葡萄牙语的最先进性能超过15 F1。此外,我们利用跨语言的迁移学习,使用多语言的预训练模型,并从依存句法分析在葡萄牙语迁移学习,经验评估各种建议的方法,提高语义角色标注结果在葡萄牙语语料库。
2021-10-30 cs.CL
Transfer Learning of Transformer-based Speech Recognition Models from Czech to Slovak
University of West Bohemia in Pilsen(西波希米亚大学)
本文探索将捷克语预训练Wav2Vec 2.0模型迁移学习至斯洛伐克语,发现在预训练初期初始化权重效果最佳,其表现超越更大型的公开多语言模型。
2023-06-07 cs.CL
APPDIA: A Discourse-aware Transformer-based Style Transfer Model for Offensive Social Media Conversations
University of Pittsburgh(匹兹堡大学)
使用风格转移模型来减少社交媒体评论的攻击性,可以帮助营造一个更具包容性的环境。然而,没有包含攻击性文本及其无害对应物的相当大的数据集,并且使用有限的标记数据微调预训练模型可能会导致风格转换文本中的原始含义丢失。为了解决这个问题,我们提供了两个主要贡献。首先,我们发布了第一个公开的、平行的Reddit攻击性评论语料库,以及由社会语言学家专家注释的风格转换对应语料库。然后,我们介绍了第一个话语感知的风格转移模型,可以有效地减少Reddit文本中的攻击性,同时保留原始文本的含义。这些模型是第一个在转移攻击性Reddit文本的风格时检查评论与其回复的文本之间的推理联系的模型。我们提出了两种不同的方法,将话语关系与预训练的Transformer模型相结合,并在我们的Reddit攻击性评论数据集上对其进行评估。在自动度量和人工评估方面的基线改进表明,与最先进的话语不可知模型相比,我们的话语感知模型更好地保留了风格转移文本中的含义。
2022-09-17 cs.CL
Cross-Architecture Transfer Learning for Linear-Cost Inference Transformers
Department of CSE, HKUST(香港科技大学计算机科学与工程系)
针对线性成本推理架构需从头预训练的问题,本文提出 XATL,将自注意力 Transformer 的共享权重直接迁移至新架构,最高节省 2.5 倍训练时间并提升 2.6% 基准性能。
2024-04-03 cs.AI cs.CL cs.LG
Revisiting Offline Compression: Going Beyond Factorization-based Methods for Transformer Language Models
Jagiellonian University(雅盖隆大学);EPFL(洛桑联邦理工学院)
最近的Transformer语言模型在许多自然语言处理(NLP)任务中取得了突出的成绩。然而,它们的巨大尺寸通常使它们在内存受限的设备上不切实际,需要从业者将其压缩到较小的网络中。在本文中,我们将探索离线压缩方法,这意味着计算成本低的方法,不需要进一步微调压缩模型。我们提出了一种新的,更好的性能自动编码器为基础的框架,挑战经典的矩阵分解方法。我们对我们的方法进行了全面的消融研究,在一组不同的评估设置中检查其不同方面。此外,我们表明,通过将某些模块压缩在一起来实现跨层模块之间的协作,对最终模型性能产生了积极影响。各种NLP任务的实验表明,我们的方法显着优于常用的基于因式分解的离线压缩方法。
2023-02-08 cs.CL
Extreme Multi-Domain, Multi-Task Learning With Unified Text-to-Text Transfer Transformers
Carnegie Mellon University(卡内基梅隆大学)
文本到文本Transformers在多任务迁移学习任务中取得了显着的成功,特别是在自然语言处理(NLP)中。然而,虽然已经有几次尝试在不同的域上训练Transformers,但是这些域之间通常有明确的关系,例如,代码摘要,其中自然语言摘要描述代码。很少有人尝试研究多任务迁移学习如何在不同领域的任务上发挥作用。在这个项目中,我们使用多域文本到文本转换Transformers(MD-T5)在两个域(Python Code和Chess)的四个任务上研究了多域多任务学习的行为。我们使用三种流行的训练策略进行了广泛的实验:Bert风格的联合预训练+连续微调,GPT风格的联合预训练+连续微调,以及GPT风格的联合预训练+联合微调。此外,我们还根据四个指标对模型进行了评估- Play Score,Eval Score,BLEU Score和Multi-Domain Learning Score(MDLS)。这些指标衡量各种任务和多领域学习的性能。我们发现,虽然负知识转移和灾难性遗忘对所有模型来说仍然是相当大的挑战,但GPT风格的联合预训练+联合微调策略在多领域,多任务学习中表现最好,因为它在所有四个任务中表现良好,同时仍然保持其多领域知识。
2022-09-21 cs.CL cs.LG
Transfer Learning from Transformers to Fake News Challenge Stance Detection (FNC-1) Task
University of Pisa(比萨大学)
在本文中,我们报告了假新闻挑战第一阶段(FNC-1)立场检测任务的改进结果。这种性能上的提升是由于基于Transformer架构的大语言模型的泛化能力,该架构是在过去两年中发明、训练和公开发布的。具体而言,(1)我们改进了FNC-1最佳性能模型,添加了输入序列的BERT句子嵌入作为模型特征,(2)我们在FNC-1扩展数据集上微调了BERT,XLNet和RoBERTa Transformers,并在FNC-1任务上获得了最先进的结果。
2019-10-31 cs.CL cs.IR cs.LG
Brain encoding models based on multimodal transformers can transfer across language and vision
UT Austin(德克萨斯大学奥斯汀分校);Intel Labs(英特尔实验室);UCLA(加州大学洛杉矶分校)
本研究利用多模态transformers的表示训练脑编码模型,发现其能跨语言和视觉模态迁移以预测fMRI大脑反应,揭示了大脑多模态概念处理的共享语义维度。
2023-05-20 cs.CL cs.CV
Introduction to Neural Transfer Learning with Transformers for Social Science Text Analysis
Ludwig-Maximilians-Universität München(慕尼黑大学)
基于transformer的迁移学习模型具有在相对较少的训练数据实例的情况下实现基于文本的监督学习任务的高预测精度的潜力。因此,这些模型很可能有利于社会科学家,寻求尽可能准确的基于文本的措施,但只有有限的资源来注释训练数据。为了使社会科学家能够利用这些潜在的好处,他们的研究,本文解释了这些方法是如何工作的,为什么他们可能是有利的,以及他们的局限性是什么。此外,三个基于transformer的迁移学习模型,BERT(Devlin et al. 2019),RoBERTa(Liu et al. 2019)和Longformer(Beltagy et al. 2020),在三个应用程序上与传统的机器学习算法进行了比较。在所有评估的任务、文本风格和训练数据集大小中,传统模型的表现始终优于使用Transformers的迁移学习,从而证明了这些模型可以为基于文本的社会科学研究带来的好处。
2022-08-31 cs.CL stat.AP
Beyond Components: Singular Vector-Based Interpretability of Transformer Circuits
Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎浦尔(IIT坎浦尔))
本文提出基于奇异向量的Transformer电路可解释性方法,揭示了模型内部更分布、结构化和组合化的计算特性。
2025-11-25 cs.AI cs.CL cs.LG
Do Transformer Modifications Transfer Across Implementations and Applications?
Google(谷歌)
自从Transformer体系结构在三年多前引入以来,研究界已经提出了大量的修改,其中相对较少的被广泛采用。在本文中,我们全面评估了许多这些修改在一个共享的实验设置,涵盖了Transformer在自然语言处理中的大多数常见用途。令人惊讶的是,我们发现大多数修改并没有有意义地提高性能。此外,我们发现的大多数有益的Transformer变体要么是在我们使用的相同代码库中开发的,要么是相对较小的变化。我们推测,性能的改善可能强烈依赖于实现细节,并相应地提出了一些建议,以提高实验结果的一般性。
2021-09-10 cs.CL cs.LG
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑)
Transformers具有学习长期依赖的潜力,但在语言建模的设置中受到固定长度上下文的限制。我们提出了一种新的神经架构transformer-XL,使学习的依赖性超过一个固定的长度,而不会破坏时间的连贯性。它包括一个段级递归机制和一个新的位置编码方案。我们的方法不仅能够捕获长期依赖,而且还解决了上下文碎片问题。因此,Transformer-XL学习的依赖性比RNN长80%,比vanilla Transformers长450%,在短序列和长序列上都实现了更好的性能,并且在评估过程中比vanilla Transformers快1,800多倍。值得注意的是,我们将bpc/困惑度的最新结果提高到enwiki 8上的0.99,text 8上的1.08,WikiText-103上的18.3,One Billion Word上的21.8,以及Penn Treebank上的54.5(没有微调)。当只在WikiText-103上训练时,Transformer-XL设法生成具有数千个令牌的合理连贯,新颖的文本文章。我们的代码、预训练模型和超参数在Tensorflow和PyTorch中都可用。
2019-06-02 cs.CL cs.LG stat.ML
An Empirical Study of Pre-trained Transformers for Arabic Information Extraction
Ohio State University(俄亥俄州立大学);Georgia Institute of Technology(佐治亚理工学院)
多语言预训练的Transformers,例如mBERT(Devlin等人,2019)和XLM-RoBERTa(Conneau等人,2020 a)已经显示出能够实现有效的跨语言zero-shot转移。然而,阿拉伯语信息抽取(IE)任务的性能不是很好的研究。在本文中,我们预训练了一个定制的双语BERT,称为GigaBERT BERT,专门为阿拉伯语NLP和英语到阿拉伯语zero-shot迁移学习设计。我们研究了GigaBERT在四个IE任务上的零短转移的有效性:命名实体识别,词性标注,参数角色标注和关系抽取。我们的最佳模型显著优于mBERT、XLM-RoBERTa和AraBERT(Antoun等人,2020)在监督和zero-shot传输设置中。我们已经在https://github.com/lanwuwei/GigaBERT上公开了我们的预训练模型。
2020-11-07 cs.CL
TANDA: Transfer and Adapt Pre-Trained Transformer Models for Answer Sentence Selection
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Amazon Alexa(亚马逊Alexa)
我们提出了TANDA,这是一种有效的技术,用于微调自然语言任务的预训练Transformer模型。具体来说,我们首先通过使用大型高质量数据集对其进行微调,将预先训练的模型转换为一般任务的模型。然后,我们执行第二个微调步骤,以使传输的模型适应目标域。我们证明了我们的方法的好处,答案句子的选择,这是一个众所周知的推理任务,在问答。我们构建了一个大规模的数据集来启用传输步骤,利用Natural Questions数据集。我们的方法在两个著名的基准测试WikiQA和TREC-QA上建立了最先进的技术,分别获得了92%和94.3%的MAP分数,这在很大程度上超过了最近工作中获得的83.4%和87.5%的最高分数。我们的经验表明,TANDA生成更稳定和鲁棒的模型,减少了选择最佳超参数所需的工作。此外,我们表明,TANDA的转移步骤使自适应步骤对噪声更具鲁棒性。这使得能够更有效地使用噪声数据集进行微调。最后,我们还确认了TANDA在工业环境中的积极影响,使用受不同类型噪声影响的特定领域数据集。
2019-11-20 cs.CL
Stable Style Transformer: Delete and Generate Approach with Encoder-Decoder for Text Style Transfer
Kakao Enterprise Corp.(Kakao企业公司)
文本风格转换是指在保持输入句子内容的基础上,转换文本的风格,从而生成句子的任务。由于并行数据集的有限性和难以构建性,现有的研究大多是在非并行数据集上进行的。在这项工作中,我们介绍了一种方法,在非并行数据集的两个阶段。第一阶段是通过分类器直接删除句子的属性标记。第二阶段是通过组合内容令牌和目标样式来生成转移的句子。我们在两个基准数据集上进行实验,并评估上下文,风格,流畅性和语义。仅使用这些自动度量很难选择最佳系统,但可以选择稳定的系统。我们认为,在所有的自动评估指标中,只有鲁棒系统才是可以在实际应用中使用的最低条件。许多以前的系统很难在某些情况下使用,因为性能在几个评估指标中显着较低。然而,我们的系统在所有自动评估指标中都是稳定的,并且具有与其他模型相当的结果。此外,我们比较了我们的系统和不稳定的系统,通过人的评价的性能结果。我们的代码和数据可以在链接(https://github.com/rungjoo/Stable-Style-Transformer)上找到。
2020-11-26 cs.CL
Transfer-learning for video classification: Video Swin Transformer on multiple domains
INESC-ID;Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学)
本文研究Video Swin Transformer在视频分类中的域外泛化能力,通过从Kinetics-400迁移学习,发现当目标类别与训练集同类时表现优异,不同类时准确率显著下降。
2025-03-28 cs.AI cs.CL cs.CV
Transfer Learning and Distant Supervision for Multilingual Transformer Models: A Study on African Languages
Saarland University(萨尔兰大学);Saarland Informatics Campus(萨尔兰信息学园区);DFKI GmbH(德国人工智能研究中心);Nuhu Bamalli Polytechnic(努胡·巴马里理工学院)
多语言Transformer模型,如mBERT和XLM-RoBERTa,已经在各种语言的许多NLP任务中获得了很大的改进。然而,最近的工作也表明,从高资源语言的结果不能很容易地转移到现实的,低资源的情况。在这项工作中,我们研究了三种非洲语言Hausa,isiXhosa和Yorkebá在NER和主题分类上的不同可用资源的性能趋势。我们表明,结合迁移学习或远程监督,这些模型可以实现与10或100个标记的句子相同的性能与基线更多的监督训练数据。然而,我们也发现了这并不成立的设置。我们的讨论和其他实验的假设,如时间和硬件的限制突出的挑战和机会,在低资源的学习。
2020-10-07 cs.CL cs.LG
Beyond Self Attention: A Subquadratic Fourier Wavelet Transformer with Multi Modal Fusion
University of California, Berkeley(加州大学伯克利分校)
本文提出一种多域傅里叶小波注意力(MDFWA)机制,以次二次复杂度替代Transformer中的自注意力,在PubMed摘要任务上验证了其高效性与表达能力的提升。
2025-04-22 cs.CL cs.LG
Transfer Learning and Transformer Architecture for Financial Sentiment Analysis
Jadavpur University(jadavpur大学);Tata Consultancy Services(塔塔咨询服务公司);Indian Association for the Cultivation of Science(印度科学促进协会)
本文提出一种基于迁移学习与Transformer架构的预训练语言模型,用于在标注数据较少且考虑疫情影响的金融情感分析任务中提升性能。
2024-04-28 cs.CL
Pretrained Transformers for Text Ranking: BERT and Beyond
David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学大卫·切里顿计算机科学学院);University of Amsterdam(阿姆斯特丹大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
文本排序的目标是生成一个有序的文本列表,从语料库中检索到的响应于查询。虽然文本排序最常见的公式是搜索,但在许多自然语言处理应用程序中也可以找到该任务的实例。本调查概述了使用称为Transformers的神经网络架构进行文本排名,其中BERT是最知名的例子。Transformers和自我监督预训练的结合导致了自然语言处理(NLP)、信息检索(IR)等领域的范式转变。在这项调查中,我们提供了一个现有的工作作为一个单一的切入点,从业者谁希望获得更好地了解如何应用Transformers的文本排名问题和研究人员谁希望在这一领域的工作。我们涵盖了广泛的现代技术,分为两个高层次的类别:Transformer模型,在多阶段架构和稠密检索技术,直接执行排名。我们的调查中有两个主题:处理长文档的技术,超越了NLP中典型的逐句处理,以及解决有效性之间权衡的技术(即,结果质量)和效率(例如,查询等待时间、模型和索引大小)。虽然Transformer架构和预训练技术是最近的创新,但它们如何应用于文本排名的许多方面都相对较好地理解,并且代表了成熟的技术。然而,仍然有许多开放的研究问题,因此除了为文本排名奠定预先训练的Transformers的基础之外,这项调查还试图说明该领域的发展方向。
2021-08-19 cs.CL cs.IR
CU-ICU: Customizing Unsupervised Instruction-Finetuned Language Models for ICU Datasets via Text-to-Text Transfer Transformer
Faculty of Engineering Chulalongkorn University(工程学院朱拉隆功大学)
CU-ICU利用T5架构结合少样本提示与稀疏参数更新,在仅更新不到1%参数的情况下,显著提升ICU场景中脓毒症检测、死亡率预测和临床记录生成的准确性与可解释性。
2025-07-18 cs.CL
Grapheme-to-Phoneme Transformer Model for Transfer Learning Dialects
AI Foundation(AI基金会)
字形到音素(G2P)模型将单词转换为语音发音。经典的G2P方法包括基于规则的系统和发音词典,而现代的G2P系统则包含了学习,例如LSTM和基于transformer的注意力模型。通常,基于词典的方法需要大量的手动工作来构建,并且对未见过的单词具有有限的适应性。基于transformer的模型需要大量的训练数据,并且不能很好地推广,特别是对于数据有限的方言。我们提出了一种新的使用transformer为基础的注意力模型,可以适应看不见的方言的英语语言,同时使用一个小字典。我们表明,我们的方法具有潜在的应用口音转移的文本到语音,并建立强大的G2P模型,有限的发音字典大小的方言。我们用两种英语方言做实验:印度语和英国语。使用来自英国英语词典的1000个单词从头开始训练的模型,具有14211个单词,在使用完整词典生成的测试集上,导致音素出错率(PER)为26.877%。相同的模型在CMUDict美国英语词典上进行预训练,并在相同的数据集上进行微调,导致测试集的PER为2.469%。
2021-04-08 cs.CL cs.LG cs.SD
DTW at Qur'an QA 2022: Utilising Transfer Learning with Transformers for Question Answering in a Low-resource Domain
University of Wolverhampton(伍尔弗汉普顿大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
机器阅读理解(MRC)任务是评价机器对自然语言理解能力的一个有用的基准。它在自然语言处理(NLP)领域中很受欢迎,主要是因为许多语言发布了大量的数据集。然而,MRC的研究在包括宗教文本在内的几个领域都没有得到充分的研究。古兰经问答2022共享任务的目标是通过制作最先进的古兰经问答和阅读理解研究来填补这一空白。本文介绍了DTW进入古兰经QA 2022共享任务。我们的方法使用迁移学习来利用可用的阿拉伯语MRC数据。我们使用各种集成学习策略进一步改善结果。我们的方法在测试集上提供了0.49的部分倒数排名(pRR)得分,证明了其在任务上的强大性能。
2022-05-12 cs.CL
Cross-Domain Generalization and Knowledge Transfer in Transformers Trained on Legal Data
Carnegie Mellon University(卡内基梅隆大学);Université de Montréal(蒙特利尔大学)
我们分析了预训练的语言模型在不同类型系统注释的数据集之间传递知识的能力,以及在它们所训练的领域和数据集之外进行泛化的能力。我们创建了一个Meta任务,在多个数据集上专注于预测修辞角色。预测一个句子在案件判决中的修辞作用是人工智能与法律中一个重要且经常研究的任务。通常,它需要注释大量句子来训练模型,这可能是耗时且昂贵的。此外,模型的应用被限制在它被训练的同一数据集上。我们微调语言模型并评估它们在数据集上的性能,以研究模型跨领域泛化的能力。我们的研究结果表明,该方法可能有助于克服主动或交互式学习中的冷启动问题,并显示了模型在数据集和领域之间推广的能力。
2021-12-15 cs.CL
Keyword Extraction from Short Texts with a Text-To-Text Transfer Transformer
University of Łódź(罗兹大学);VoiceLab;Polish Academy of Sciences(波兰科学院)
本文探讨了文本到文本传输Transformer语言模型(T5)波兰语(plT5)的任务的相关性的内在和外在的关键字提取短文本段落。评估是在新的波兰开放科学元数据语料库(POSMAC)上进行的,该语料库与本文一起发布:收集了CURLICAT项目中编译的216,214篇科学出版物摘要。我们比较了四种不同的方法,即plT5kw,extremeText,TermoPL,KeyBERT得到的结果,并得出结论,plT5kw模型产生特别有前途的结果,为频繁和稀疏表示的关键字。此外,在POSMAC上训练的plT5kw关键字生成模型似乎也在跨域文本标签场景中产生了非常有用的结果。我们讨论了新闻故事和基于电话的对话成绩单,代表文本类型和域外部的科学摘要数据集的模型的性能。最后,我们还试图描述评估文本到文本模型的内在和外在关键字提取的挑战。
2022-10-17 cs.CL
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
Google(谷歌)
本文提出统一的文本到文本框架,系统比较NLP迁移学习各因素,并结合大规模语料在多个基准上取得最先进结果。
2023-09-19 cs.CL cs.LG stat.ML
Most Transformer Modifications Still Do Not Transfer at 1-3B: A 2020-2026 Update to Narang et al. (2021) with Downstream Evaluation and a Noise Floor
Tencent(腾讯)
本文在1-3B参数规模下,大多数变换器修改仍无法迁移,通过严格的等数据、等计算、等配方控制测试,并结合下游评估和噪声底限进行验证。
2026-05-20 cs.CL cs.LG
Beyond Universal Transformer: block reusing with adaptor in Transformer for automatic speech recognition
NTNU(挪威科技大学);KU Leuven(鲁汶大学);National Institute of Informatics(国立信息学研究所);Zhejiang University(浙江大学)
针对边缘设备ASR模型参数量大的问题,提出块重用策略BRST与适配器模块ADM,在AISHELL-1上仅用7.6M/8.3M参数即实现9.3%/6.63%的CER,有效平衡了资源限制与识别准确率。
2023-04-05 cs.CL cs.SD eess.AS
Transforming Delete, Retrieve, Generate Approach for Controlled Text Style Transfer
Agara(阿加拉)
文本风格转换是指在保持文本内容或非风格信息的同时,转换具有一定风格属性的文本的风格。在这项工作中,我们介绍了生成风格Transformer(GST)-一种新的方法来重写句子的目标风格在没有平行的风格语料库。GST利用了大型无监督预训练语言模型和Transformer的强大功能。GST是一个更大的“删除样式生成”框架的一部分,在该框架中,我们还提出了一种新的方法,通过利用Transformer的内部工作原理从源语句中删除样式属性。我们的模型在情感,性别和政治倾向转移的5个数据集上优于最先进的系统。我们还建议使用GLEU指标作为评估风格转移的自动指标,我们发现它比主要使用的BLEU分数更好地与人类评级进行比较。
2019-08-25 cs.CL cs.LG
Beyond Binary: Multiclass Paraphasia Detection with Generative Pretrained Transformers and End-to-End Models
University of Michigan(密歇根大学)
本文提出使用GPT和端到端模型进行多类别错语检测,证明单序列模型优于GPT基线,有助于失语症临床评估与治疗规划。
2024-07-16 cs.CL cs.SD eess.AS