Adapting Pretrained Transformer to Lattices for Spoken Language Understanding
National Taiwan University（国立台湾大学）
格是对多个假设进行编码的紧凑表示，例如语音识别结果或不同的分词。结果表明，与自动语音识别器（ASR）产生的1-最佳结果相比，编码格提高了口语语言理解（SLU）的性能。近年来，基于Transformer结构的预训练语言模型在自然语言理解方面取得了令人瞩目的成果，但其对格的编码能力尚未得到充分的研究。因此，本文旨在将预训练的Transformers适应于格输入，以便执行专门针对口语的理解任务。我们在基准ATIS数据集上的实验表明，使用lattice输入微调预训练的Transformers比使用1-best结果进行微调有明显的改善。进一步的评估表明，我们的方法在不同的声学条件下的有效性。我们的代码可在https://github.com/MiuLab/Lattice-SLU上获得
2020-11-02 cs.AI cs.CL
Text Role Classification in Scientific Charts Using Multimodal Transformers
Universität Ulm（乌尔姆大学）
本文研究科学图表中文本角色的语义分类问题，通过微调LayoutLMv3和UDOP两种多模态Transformer，并结合数据增强与平衡方法，在多个数据集上验证了LayoutLMv3的优越性能与泛化能力。
2024-02-08 cs.CL cs.CV cs.LG
Learning dynamic and hierarchical traffic spatiotemporal features with Transformer
交通预测是智能交通系统（ITS）中不可或缺的重要组成部分，而长期准确的全路网交通速度预测是其中最具挑战性的任务之一。最近，深度学习方法在该领域变得流行。由于交通数据与道路网络的物理关联，大多数模型将其视为时空图建模问题，并使用基于图卷积网络（GCN）的方法。这些基于GCN的模型高度依赖于预定义的和固定的邻接矩阵来反映空间依赖性。然而，预定义的固定邻接矩阵在反映业务流的实际相关性方面是有限的。本文提出了一种新的模型，交通Transformer，时空图建模和长期的交通预测，以克服这些局限性。Transformer是自然语言处理（NLP）中最流行的框架。Traffic Transformer将其应用于时空问题，通过多头注意力和屏蔽多头注意力机制，动态地从数据中分层提取时空特征，并融合这些特征进行流量预测。此外，分析注意力权重矩阵可以找到道路网络的影响部分，使我们能够更好地学习交通网络。在公共交通网络数据集和真实交通网络数据集上的实验结果表明，该模型具有更好的性能.
2021-04-12 cs.AI
Vision Transformers for Action Recognition: A Survey
Charles Sturt University（查尔斯特大学）；University of Western Austrlia（西澳大学）
视觉Transformer正在成为解决计算机视觉问题的强大工具。最近的技术也证明了图像域以外的Transformers解决许多视频相关任务的功效。其中，人体动作识别由于其广泛的应用而受到研究界的特别关注。本文提供了第一个全面的调查视觉Transformer技术的行动识别。我们分析和总结了现有的和新兴的文献在这个方向上，同时突出了流行的趋势，适应Transformers的动作识别。由于它们的特殊应用，我们将这些方法统称为“动作转换器”。我们的文献综述提供了合适的分类，基于其架构，模态和预期目标的行动Transformers。在动作Transformers的上下文中，我们探讨了时空数据编码，降维，帧补丁和时空立方体的建设，以及各种表示方法的技术。我们还研究了时空注意力在Transformer层的优化，以处理较长的序列，通常通过减少在一个单一的注意力操作的令牌的数量。此外，我们还研究了不同的网络学习策略，如自监督和零样本学习，以及它们对基于transformer的动作识别的相关损失。本调查还概述了在利用行动Transformers在重要基准的评价指标得分方面取得的进展。最后，它提供了一个讨论的挑战，前景，和未来的途径，这一研究方向。
2022-09-13 cs.AI cs.CV eess.IV
TENER: Adapting Transformer Encoder for Named Entity Recognition
Fudan University（复旦大学）
双向长短期记忆网络（BiLSTM）已被广泛用作解决命名实体识别（NER）任务的模型中的编码器。近年来，由于其并行性和优越的性能，Transformer在各种自然语言处理（NLP）任务中被广泛采用。然而，Transformer在NER中的性能不如在其他NLP任务中的性能好。在本文中，我们提出了TENER，NER架构采用自适应Transformer编码器来模拟字符级特征和单词级特征。通过结合方向和相对距离感知注意力和未缩放注意力，我们证明了类似于transformer的编码器对于NER和其他NLP任务一样有效。
2019-12-10 cs.CL cs.LG
Adapting Sentence Transformers for the Aviation Domain
The MITRE Corporation（MITRE公司）
本文提出两阶段方法适配航空领域句向量Transformer，先以TSDAE进行航空文本预训练，再在SBERT架构中用NLI数据微调，显著提升航空下游任务性能。
2023-11-29 cs.CL
ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning
York University（约克大学）；Nanyang Technological University（南洋理工大学）；Salesforce Research（赛富时研究院）
图表在分析数据方面非常受欢迎。在探索图表时，人们经常会问各种复杂的推理问题，涉及几个逻辑和算术运算。他们通常也会在问题中提到图表的视觉特征。然而，大多数现有的数据集并不关注这样复杂的推理问题，因为它们的问题是基于模板的，答案来自固定的词汇表。在这项工作中，我们提出了一个大规模的基准测试，涵盖了9.6K人类书写的问题以及从人类书写的图表摘要生成的23.1K问题。为了解决我们的基准测试中涉及图表的视觉和逻辑推理的独特挑战，我们提出了两个基于transformer的模型，它们以统一的方式将图表的视觉特征和数据表结合起来来回答问题。虽然我们的模型在以前的数据集以及我们的基准测试中获得了最先进的结果，但评估也揭示了在回答复杂推理问题时面临的几个挑战。
2022-03-19 cs.CL
Adapting Transformer Language Models for Predictive Typing in Brain-Computer Interfaces
Khoury College of Computer Sciences（胡里计算机学院）；Northeastern University（东北大学）
本文针对脑机接口打字速度慢的问题，适配多种基于词片的Transformer语言模型进行字符级预测，实验表明GPT-2在干净文本上表现最佳，并分析了字符位置和上下文长度的影响。
2023-05-05 cs.CL
Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们在机器翻译的迁移学习背景下研究了Transformer架构中的交叉注意力，并将研究结果扩展到从头开始训练时的交叉注意力。我们进行了一系列的实验，通过微调的数据源或目标语言已经改变的翻译模型。这些实验表明，仅微调交叉注意参数几乎与微调所有参数一样有效（即，整个翻译模式）。我们提供的见解，为什么会出现这种情况，并观察到，以这种方式限制微调产生跨语言对齐的嵌入。这一发现对研究人员和从业者的影响包括减轻灾难性遗忘，zero-shot翻译的潜力，以及将机器翻译模型扩展到几种新语言对的能力，同时减少参数存储开销。
2021-09-14 cs.CL
Identifying and Adapting Transformer-Components Responsible for Gender Bias in an English Language Model
University of Amsterdam（阿姆斯特丹大学）；Pegasystems（佩加系统公司）；Institute for Logic, Language & Computation（逻辑、语言与计算研究所）
本文研究了三种识别语言模型中导致性别偏见的组件的方法，并利用发现的组件进行参数高效微调，成功缓解偏见且对通用性能损害更小。
2023-10-19 cs.AI cs.CL
PsychAdapter: Adapting LLM Transformers to Reflect Traits, Personality and Mental Health
Stony Brook University（石溪大学）；New York University（纽约大学）；University of Melbourne（墨尔本大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
PsychAdapter通过对Transformer各层进行轻量级适配，将经验性特质—语言模式注入GPT-2、Gemma和Llama 3，使其无需提示即可生成符合指定人格、人口学及心理健康特征的自然语言，并实现高准确率匹配。
2025-01-01 cs.AI cs.CL
AdapterHub: A Framework for Adapting Transformers
Technical University of Darmstadt（达姆施塔特工业大学）；New York University（纽约大学）；University of Cambridge（剑桥大学）；DeepMind（深度思维）
目前NLP的工作方式包括下载和微调由数百万或数十亿个参数组成的预训练模型。存储和共享这样的大型训练模型是昂贵的，缓慢的，耗时的，这阻碍了向更通用和通用的NLP方法的进展，这些方法可以从许多任务中学习。适配器--在预训练模型的每一层中插入小的学习瓶颈层--通过避免对整个模型进行完全微调来改善这个问题。然而，共享和集成适配器层并不简单。我们提出了AdapterHub，一个框架，允许动态的“嵌入式”的预训练的适配器为不同的任务和语言。该框架建立在流行的HuggingFace Transformers库之上，能够非常容易和快速地适应最先进的预训练模型（例如，BERT、RoBERTa、XLM-R）。下载、共享和训练适配器是尽可能无缝的，只需对训练脚本和专门的基础设施进行最小的更改。我们的框架使可扩展的和容易访问的共享特定于任务的模型，特别是在低资源的情况下。AdapterHub包括所有最新的适配器架构，可以在https://AdapterHub.ml上找到。
2020-10-06 cs.CL
ChartAdapter: Large Vision-Language Model for Chart Summarization
The Hong Kong Polytechnic University（香港理工大学）
本文提出轻量级模块 ChartAdapter，通过可学习查询向量和跨模态对齐投影器桥接图表与文本，并结合三阶段训练及 190,618 样本数据集，显著提升图表摘要质量。
2024-12-30 cs.CL cs.MM
Union of Experts: Adapting Hierarchical Routing to Equivalently Decomposed Transformer
Dalian University of Technology（大连理工大学）
针对传统MoE架构协调动态次优、未有效扩展到注意力块的问题，提出UoE，将Transformer等价分解为专家组并采用分层路由，在多任务中提升性能且降低计算量，优于现有模型。
2025-09-23 cs.AI cs.CL cs.LG
Adapting Monolingual Models: Data can be Scarce when Language Similarity is High
University of Groningen（格罗宁根大学）
对于许多（少数）语言来说，无法获得训练大型模型所需的资源。我们调查的性能zero-shot迁移学习尽可能少的数据，在这个过程中的语言相似性的影响。我们使用来自两种低资源目标语言的数据重新训练四个基于BERT的模型的词法层，而Transformer层在模型的源语言中独立地对POS标记任务进行微调。通过结合新的词汇层和微调的Transformer层，我们实现了两种目标语言的高任务性能。由于语言相似性高，10MB的数据似乎足以实现实质性的单语迁移性能。基于单语BERT的模型在重新训练词汇层之后通常比多语言BERT实现更高的下游任务性能，即使在多语言模型中包括目标语言时也是如此。
2021-05-22 cs.CL
Qualitative Analysis of a Graph Transformer Approach to Addressing Hate Speech: Adapting to Dynamically Changing Content
University of Waterloo（滑铁卢大学）
该研究提出结合图Transformer、注意力建模与BERT的社交媒体仇恨言论预测方法，经定性分析明确其优劣场景，指明多模态拓展方向，契合动态变化需求且可助力心理健康福祉。
2023-05-01 cs.CL cs.LG cs.SI
Adapting Natural Language Processing Models Across Jurisdictions: A pilot Study in Canadian Cancer Registries
School of Population and Public Health University of British Columbia（流行病学与公共卫生学院 首都大学）；Newfoundland & Labrador Health Services（纽芬兰与拉布拉多省卫生服务）；Data Science Institute University of British Columbia（数据科学研究所 首都大学）
本研究通过结合两种模型，提高了癌症登记处NLP的性能，减少了遗漏癌症并提升了错误覆盖，展示了跨司法管辖区适应的可行性。
2026-01-02 cs.CL
Layer-Wise Evolution of Representations in Fine-Tuned Transformers: Insights from Sparse AutoEncoders
本文通过激活相似性分析、稀疏自编码器训练和token级激活可视化，揭示了BERT微调中表征的逐层演化：早期层保留通用特征，中间层过渡，后期层专精于任务，为理解微调机制提供了关键见解。
2025-02-23 cs.AI cs.CL
LowCLIP: Adapting the CLIP Model Architecture for Low-Resource Languages in Multimodal Image Retrieval Task
George Washington University（乔治华盛顿大学）；ADA University（ADA大学）
本研究针对阿塞拜疆语等低资源语言的图像检索，集成 CLIP 架构与 Multilingual BERT 及多种图像编码器，通过机器翻译、图像增强和注意力机制微调，在 Flickr30k 和 MSCOCO 数据集上刷新了 SOTA。
2024-08-25 cs.CL cs.CV
Query-Key Normalization for Transformers
Cyndx Technologies（Cyndx Technologies（Cyndx科技公司））
低资源语言翻译是一项具有挑战性但具有社会价值的NLP任务。在最近的工作适应Transformer的规范化到这种设置的基础上，我们提出了QKNorm，一种规范化技术，修改了注意力机制，使softmax函数不太容易任意饱和，而不牺牲表现力。具体来说，我们在将它们相乘之前沿着每个查询和键矩阵的头部维度应用$\ell_2$归一化，然后通过可学习的参数而不是除以嵌入维度的平方根来扩大规模。对于来自TED Talks语料库和IWITAL '15的5个低资源翻译对，我们显示了平均0.928 BLEU的改进。
2020-10-08 cs.AI cs.CL cs.LG
Adapting to Non-Centered Languages for Zero-shot Multilingual Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
多语言神经机器翻译可以在训练过程中翻译看不见的语言对，即zero-shot翻译。然而，zero-shot翻译总是不稳定的。虽然以前的作品将不稳定性归因于中心语言（例如英语）的统治，但我们用非中心语言的严格依赖性来补充这一观点。在这项工作中，我们提出了一个简单的，轻量级的，但有效的语言特定的建模方法，通过适应非中心的语言，并结合共享信息和语言特定的信息，以抵消不稳定的zero-shot翻译。在IWSLT17、Europarl、TED talks和OPUS-100数据集上使用Transformer进行的实验表明，该方法不仅在中心数据条件下表现得比强基线更好，而且可以很容易地适应非中心数据条件。通过进一步研究层属性，我们表明，我们提出的方法可以解开耦合表示在正确的方向。
2022-09-09 cs.CL
Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection
EPFL（洛桑联邦理工学院）
本研究提出多语言适配方法，将英文质量分类器转为多语言变体，用于100余种语言的LLM预训练数据选择，实验表明该方法可维持下游基准性能且具备跨语言泛化能力。
2026-10-09 cs.AI cs.CL
Complaint Identification in Social Media with Transformer Networks
University of Sheffield（谢菲尔德大学）；Department of Computer Science, University of Sheffield（谢菲尔德大学计算机科学系）
抱怨是人类广泛使用的一种言语行为，用于传达现实与期望之间的负面不一致。以前在社交媒体中自动识别投诉的工作主要集中在使用基于特征和特定任务的神经网络模型。调整最先进的预训练神经语言模型及其与来自主题或情绪的其他语言信息的组合以进行投诉预测还有待探索。在本文中，我们评估了一组神经模型支持的Transformer网络，我们随后结合语言信息。在一个公开的投诉数据集上的实验表明，我们的模型比以前的最先进的方法有很大的优势，实现了高达87的宏F1。
2020-10-21 cs.CL
Can Model Fusing Help Transformers in Long Document Classification? An Empirical Study
University of Wolverhampton（伍尔弗汉普顿大学）；Aston University（阿斯顿大学）；Lancaster University（兰卡斯特大学）
针对主流Transformer模型受512 token长度限制、难以处理长文档分类的问题，本研究实证探索模型融合方法在该任务中的效果，并与BERT、Longformer架构的表现进行对比。
2023-07-18 cs.CL
Adapting and evaluating a deep learning language model for clinical why-question answering
Mayo Clinic（梅奥诊所）；Suez Canal University（苏伊士运河大学）
目的：调整和评估深度学习语言模型，以基于患者特定的临床文本回答为什么问题。材料与方法：使用不同的数据源训练来自Transformers（BERT）模型的双向编码器表示，以对临床笔记执行SQuAD 2.0风格的why-问答（why-QA）。评估的重点是：1）比较不同训练数据的优点，2）误差分析。结果：最佳模型的准确度为0.707（部分匹配为0.760）。针对临床语言定制的培训有助于提高6%的准确性。讨论内容：错误分析表明，该模型并没有真正执行深度推理，临床why-QA可能需要更复杂的解决方案。结论：BERT模型在临床why-QA中达到了中等准确度，应该从快速发展的技术中受益。尽管存在已识别的局限性，但它可以作为问题驱动的临床信息抽取的合格代理。
2019-11-13 cs.CL
Uni-SMART: Universal Science Multimodal Analysis and Research Transformer
DP Technology（度势科技）；AI for Science Institute, Beijing（北京人工智能科学研究院）
针对科学文献中表格、图表和分子等多模态内容难以被文本型 LLM 理解的问题，本文提出 Uni-SMART，并在多领域定量评估及专利、图表应用中验证其优越性能。
2024-06-15 cs.CL cs.CV
Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling
Tohoku University（东北大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出多模态深度扩展方法，通过在冻结的文本LLM中插入新层并仅训练这些层来适应语音数据，实验表明其在ASR性能上接近全微调，且文本能力退化更少。
2026-04-01 cs.CL
Adapting Long Context NLM for ASR Rescoring in Conversational Agents
Amazon AWS AI（亚马逊云科技人工智能部门）
神经语言模型（NLM）在使用跨越多个话语的上下文进行训练和评估时，已被证明始终优于传统的n-gram语言模型和使用有限上下文的NLM。在本文中，我们研究了各种技术，将基于回合的上下文历史纳入基于递归（LSTM）和Transformer-XL的NLM。对于基于循环的NLM，我们探索上下文结转机制和基于特征的增强，其中我们将其他形式的上下文信息，如机器人响应和系统对话行为，如由自然语言理解（NLU）模型分类。为了减轻上下文NLM的尖锐附近，模糊远处的问题，我们提出了在词汇元数据上使用注意力层来改进基于特征的增强。此外，我们调整我们的上下文NLM对用户提供的即时语音模式，利用编码从一个大的预训练掩蔽语言模型和执行融合与基于NLM的transformer-XL。我们测试我们提出的模型，使用N-最好的重新评分的ASR假设面向任务的对话，也评估下游的NLU任务，如意图分类和槽标签。表现最好的模型显示相对WER在1.6%和9.1%之间，与非背景基线相比，插槽标签F1得分提高了4%。
2021-06-04 cs.CL cs.LG cs.SD
XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
基于转换器的模型广泛用于自然语言理解（NLU）任务，多模态Transformers在视觉语言任务中非常有效。本研究探讨了从预训练的多模态Transformers到预训练的语言编码器的视觉信息提取。我们的框架的灵感来自于跨模态编码器在视觉语言任务中的成功，同时我们改变了学习目标以迎合NLU的语言重特性。经过少量额外的自适应步骤和微调训练后，所提出的XDBERT（跨模态蒸馏BERT）在一般语言理解评估（GLUE），对抗生成（SWAG）基准测试和可读性基准测试中的性能优于预训练的BERT。我们分析了XDBERT在GLUE上的性能，以表明这种改进可能是视觉上的。
2022-05-03 cs.AI cs.CL cs.LG
Adapting Decoder-Based Language Models for Diverse Encoder Downstream Tasks
Google Inc（谷歌公司）
本文提出Gemma Encoder，将Gemma解码器模型适配为编码器架构，通过系统分析池化策略、注意力机制与超参数优化适配过程，在GLUE和MS MARCO基准上验证了其在分类、回归和排序等非生成式任务中的有效性与多功能性。
2025-03-04 cs.CL cs.LG
ForeCite: Adapting Pre-Trained Language Models to Predict Future Citation Rates of Academic Papers
Memorial University of Newfoundland and Labrador（纽芬兰纪念大学）
本文提出 ForeCite 框架，在预训练因果语言模型上增加线性头以回归预测论文月均引用率，并在大规模生物医学论文数据集上显著刷新性能。
2025-05-13 cs.CL cs.LG
Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation
Heriot-Watt University（赫瑞瓦特大学）；Microsoft Research（微软研究院）
领域自适应是近年来对话系统研究中的一个关键问题。深度学习虽然是建模此类系统的首选技术，但在给定大量训练数据的情况下效果最佳。然而，在现实世界的场景中，这样的资源并不适用于每个新领域，因此使用一些对话示例进行训练的能力可以被认为是必不可少的。在大数据源上进行预训练并适应目标数据已经成为深度学习框架内解决Few-Shot问题的标准方法。在本文中，我们提出了获奖作品在快速领域自适应任务的DSTC 8，混合生成检索模型的基础上GPT-2微调到多域MetaLWOz数据集。我们的模型在响应生成方面具有强大和多样性，使用检索逻辑作为后备，在人类评估中是MetaLWOz上的SoTA（比第二名系统提高了>4%），并在适应看不见的MultiWOZ数据集方面获得了有竞争力的泛化性能。
2020-03-06 cs.CL
TNT-KID: Transformer-based Neural Tagger for Keyword Identification
Jožef Stefan Institute（约瑟夫·斯蒂芬研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯蒂芬国际研究生院）
随着可用文本数据量的增加，开发能够自动分析、分类和汇总这些数据的算法已成为必要。在这项研究中，我们提出了一种新的算法的关键字识别，即，提取代表给定文档关键方面的一个或多个单词短语，称为基于转换器的关键词识别神经标记器（TNT-KID）。通过使Transformer架构适应手头的特定任务并利用领域特定语料库上的语言模型预训练，该模型能够通过在各种不同的数据集上提供有竞争力和鲁棒的性能，同时仅需要最佳性能系统所需的一小部分手动标记数据，来克服关键字提取的有监督和无监督的最先进方法的不足。这项研究还提供了彻底的错误分析，对模型的内部工作有价值的见解，以及测量关键字识别工作流程的特定组件对整体性能的影响的消融研究。
2021-11-30 cs.CL
Eliciting and Understanding Cross-Task Skills with Task-Level Mixture-of-Experts
University of Southern California（南加州大学）
最近的研究表明，Transformer模型能够在不同的NLP任务上进行多任务处理，并有效地适应新的任务。然而，这些多任务模型的潜力可能是有限的，因为它们对所有任务使用相同的参数集。相比之下，人类以更灵活的方式处理任务，对相关的技能和知识做出适当的假设，只执行必要的计算。受此启发，我们建议使用任务级专家混合模型，它具有Transformer层的集合（即，专家）和从这些专家中动态地和灵活地选择的路由器组件。我们发现，这些模型有助于提高平均性能增益（ARG）指标2.6%时，适应看不见的任务在Few-Shot设置和5.6%的zero-shot泛化设置。此外，我们表明，学习路由决策部分重新发现人类分类的NLP任务-某些专家与提取任务，一些分类任务，一些任务需要世界知识。
2022-11-22 cs.CL cs.LG
xVLM2Vec: Adapting LVLM-based embedding models to multilinguality using Self-Knowledge Distillation
University of Bari Aldo Moro（巴里大学阿尔多莫罗分校）
本文提出通过自知识蒸馏将英文训练的大型视觉-语言模型适配为多语言、多模态嵌入模型，并构建基准评估其有效性。
2025-03-16 cs.CL cs.IR
Bangla Grammatical Error Detection Using T5 Transformer Model
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
本文提出了一种使用文本到文本转换Transformer（T5）语言模型检测孟加拉语语法错误的方法，使用BanglaT5的小变体，在9385个句子的语料库上进行微调，其中错误由专用的分界符号括起来。T5模型主要是为翻译而设计的，并不是专门为此任务而设计的，因此需要大量的后处理来使其适应错误检测任务。我们的实验表明，T5模型可以实现低Levenshtein距离在孟加拉语中检测语法错误，但后处理是必不可少的，以实现最佳性能。在5000个句子的测试集上，对微调模型的输出进行后处理后的最终平均Levenshtein距离为1.0394。本文还提出了一个详细的分析模型检测到的错误，并讨论了适应语法的翻译模型的挑战。我们的方法可以扩展到其他语言，证明了T5模型在检测各种语言中的语法错误方面的潜力。
2023-03-19 cs.CL cs.LG
Adapting GPT, GPT-2 and BERT Language Models for Speech Recognition
Cambridge University Engineering Dept.（剑桥大学工程系）
在大量文本上预训练的语言模型（LM），特别是来自Transformers（BERT）、生成预训练（GPT）和GPT-2的双向编码器表示，已经成为许多自然语言处理任务的关键技术。在本文中，我们提出了使用微调GPT，GPT-2，以及它们的组合自动语音识别（ASR）的结果。与单向LM GPT和GPT-2不同，BERT是双向的，其输出概率的直积不再是有效的语言先验概率。提出了一种基于双向LM输出的转换方法，以数学上精确的方式计算正确的语言先验概率。在广泛使用的AMI和Switchboard ASR任务上的实验结果表明，微调的GPT和GPT-2的组合优于三种具有不同架构的神经LM的组合，这些神经LM在域内文本上从头开始训练，相对单词出错率降低高达12%。此外，在AMI语料库上，所提出的语言先验概率转换方法使BERT获得了额外的3%的相对WERR，而BERT、GPT和GPT-2的结合则进一步提高了WERR。
2021-10-01 cs.CL cs.SD eess.AS
Adapting Language Models for Non-Parallel Author-Stylized Rewriting
IIIT Hyderabad（印度国际信息技术研究所海得拉巴分校）；Adobe Research（奥多比研究院）
鉴于最近的进展，在语言建模中使用基于transformer的神经模型和积极的兴趣，在生成风格化的文本，我们提出了一种方法，利用泛化能力的语言模型重写输入文本的目标作者的风格。我们提出的方法采用预训练的语言模型，通过使用级联编码器-解码器框架中的去噪自动编码器（DAE）损失对作者特定的语料库进行微调来生成作者风格化的文本。通过对DAE损失进行优化，我们的模型可以在不依赖并行数据的情况下学习作者风格的细微差别，这是该领域以前相关工作的严重限制。为了评估我们的方法的有效性，我们提出了一个语言动机的框架来量化生成的文本的风格对齐目标作者在词汇，句法和表面水平。评估框架是可解释的，因为它导致了关于模型的几个见解，并且是自包含的，因为它不依赖于外部分类器，例如情感或形式分类器。定性和定量评估表明，所提出的方法重写输入文本与目标风格更好地对齐，同时保留原始内容比国家的最先进的基线。
2020-10-31 cs.CL cs.LG
Domain Adaptation of Transformer-Based Models using Unlabeled Data for Relevance and Polarity Classification of German Customer Feedback
University of Applied Sciences and Arts Dortmund (FHDO)（多特蒙德应用科学与艺术大学）；University Hospital Essen（埃森大学医院）
了解客户反馈正成为企业发现问题并改进产品和服务的必要条件。文本分类和情感分析可以通过使用各种机器和深度学习方法在分析这些数据中发挥重要作用。在这项工作中，利用不同的基于transformer的模型来探索这些模型在使用德国客户反馈数据集时的效率。此外，这些预先训练的模型将被进一步分析，以确定使用未标记的数据将它们适应特定领域是否可以产生比现成的预先训练的模型更好的结果。为了评估模型，考虑了GermEval 2017的两个下游任务。实验结果表明，与fastText基线相比，基于transformer的模型可以实现显着的改进，并且优于已发布的分数和以前的模型。对于子任务相关性分类，最佳模型在第一测试集上实现了96.1%的微平均$F1$分数，在第二测试集上实现了95.9%的微平均$F1$分数，并且对于子任务极性分类实现了85.1%和85.3%的分数。
2023-03-08 cs.CL cs.LG
