How does Architecture Influence the Base Capabilities of Pre-trained Language Models? A Case Study Based on FFN-Wider and MoE Transformers
Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology(哈尔滨工业大学社会计算与信息检索研究中心);Du Xiaoman (Beijing) Science Technology Co., Ltd.(度小满(北京)科技有限公司)
本研究探究架构对预训练语言模型基础能力的影响,发现多头注意力贡献占比是关键因素,提出CEA解决FFN-Wider Transformer能力下降问题,并拓展至14B参数MoE模型实现显著提升,为架构设计提供指导。
2024-10-31 cs.CL
Biologically Inspired Design Concept Generation Using Generative Pre-Trained Transformers
自然界中的生物系统已经进化了数百万年,以适应和生存的环境。他们开发的许多功能可以启发和有益于解决现代工业中的技术问题。这导致了一种特殊形式的类比设计,称为生物启发设计(BID)。虽然BID作为一种设计方法已被证明是有益的,生物学和工程学之间的差距不断阻碍设计师有效地应用该方法。因此,我们探讨了人工智能(AI)的最新进展,以数据驱动的方法来弥合这一差距。提出了一种基于生成式预训练语言模型(PLM)的生物类比自动检索和映射方法,并以自然语言的形式生成生物类比。最新的生成预训练Transformer,即GPT-3,被用作基础PLM。三种类型的设计概念生成器的识别和微调,从PLM根据松散的问题空间表示。机器评估器也被微调以评估所生成的BID概念内的域之间的映射相关性。该方法的评估,然后在一个现实世界的项目设计的轻型飞行汽车在其概念设计阶段,结果表明,我们的方法可以生成BID概念具有良好的性能。
2022-12-26 cs.CL
Finding Skill Neurons in Pre-trained Transformer-based Language Models
Tsinghua University(清华大学)
基于transformer的预训练语言模型在各种自然语言处理任务上表现出优越的性能。然而,目前尚不清楚处理这些任务所需的技能如何在模型参数之间分布。在本文中,我们发现,在针对特定任务进行提示微调后,预先训练的Transformers中的一些神经元的激活对任务标签具有高度预测性。我们将这些神经元称为技能神经元,并通过以下发现证实它们编码特定于任务的技能:(1)技能神经元对于处理任务至关重要。当相应的技能神经元受到干扰时,预先训练好的Transformers在任务上的表现会显著下降。(2)技能神经元是任务特定的。相似的任务往往具有相似的技能神经元分布。此外,我们证明了技能神经元最有可能在预训练而不是微调中生成,通过显示提示微调发现的技能神经元对于其他微调方法(冻结神经元权重)也至关重要,例如基于适配器的调整和BitFit。我们还探索了技能神经元的应用,包括通过网络修剪加速Transformers和构建更好的可转移性指标。这些发现可能会促进进一步的研究,了解Transformers。源代码可以从https://github.com/THU-KEG/Skill-Neuron获得。
2022-11-14 cs.CL cs.LG
OPT: Open Pre-trained Transformer Language Models
Meta AI
大语言模型通常经过数十万个计算日的训练,在零样本学习和少样本学习方面表现出了卓越的能力。考虑到它们的计算成本,这些模型很难在没有大量资本的情况下复制。对于通过API提供的少数几个模型,无法访问完整的模型权重,这使得它们难以研究。我们提出了开放式预训练Transformers(OPT),这是一套仅解码器预训练的transformers,参数范围从125 M到175 B,我们的目标是完全负责任地与感兴趣的研究人员分享。我们发现OPT-175 B与GPT-3相当,而仅需要1/7的碳足迹来开发。我们还发布了我们的日志,详细介绍了我们面临的基础设施挑战,以及用于测试所有已发布模型的代码。
2022-06-21 cs.CL cs.LG
Experiments in News Bias Detection with Pre-Trained Neural Transformers
Information Access Research Group, Coburg University of Applied Sciences(信息获取研究组、科堡应用科学大学);University of Sheffield, Department of Computer Science(谢菲尔德大学计算机科学系)
本文通过对比多种预训练语言模型,探讨了新闻偏见检测与子类型分类的有效性及性能表现。
2024-06-14 cs.AI cs.CL
Uncovering More Shallow Heuristics: Probing the Natural Language Inference Capacities of Transformer-Based Pre-Trained Language Models Using Syllogistic Patterns
University of St.Gallen(圣加仑大学)
在本文中,我们将探讨基于transformer的预训练语言模型(PLM)所使用的浅层语法,这些模型针对自然语言推理(NLI)进行了微调。为此,我们基于三段论构建或拥有数据集,并在我们的数据集上评估许多模型的性能。我们发现的证据表明,该模型严重依赖于某些浅的物理学,拿起对称性和不对称性之间的前提和假设。我们认为,在我们的研究中,这正在成为一个活跃的辩论在该领域的话题,缺乏概括性,这意味着PLM目前没有学习NLI,而是虚假的语法。
2022-01-19 cs.CL cs.LG
What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding
National Taiwan University(台湾大学)
近年来,预先训练的Transformers已经主导了大多数NLP基准测试任务。许多经过预先训练的Transformers变体不断爆发,大多数都专注于设计不同的预先训练目标或自我注意力的变体。在自我注意力机制中嵌入位置信息也是Transformers中不可或缺的因素,但经常被随意讨论。因此,本文对主流的预训练Transformers的职位嵌入进行了实证研究,主要关注两个问题:1)职位嵌入是否真的学习了职位的含义?2)这些不同的学习位置嵌入如何影响NLP任务的Transformers?本文旨在通过对大多数标志性NLP任务的特征级分析和实证实验,为预训练位置嵌入提供新的见解。相信我们的实验结果可以指导未来的工作,选择合适的位置编码功能,为特定的任务给定的应用属性。
2020-10-10 cs.AI cs.CL
Open-Domain Dialogue Generation Based on Pre-trained Language Models
DIRO, Université de Montréal(蒙特利尔大学DIRO)
预训练的语言模型已成功地用于开放域对话的响应生成。本文提出了四种主要框架:(1)分别对源语句和目标语句使用Transformer编码器和解码器的Transformer-ED;(2)对源语句和目标语句使用Transformer解码器的Transformer-Dec;(3)使用Transformer解码器的Transformer-MLM,该解码器在源侧应用双向注意力,在目标侧应用从左到右的注意力,并具有掩蔽的语言模型目标;以及(4)使用自回归目标代替的变换器-AR。在这项研究中,我们在3个数据集上比较了这些框架,我们的比较表明,最好的框架在源端使用双向注意力,并且不分离编码器和解码器。我们还研究了模型的差异,我们的实验证实了模型的性能直接受到潜在差异的影响。然后,我们提出了两种校正方法,以减少差异,都提高了模型的性能。这些结果表明,当我们使用预训练模型时,差异是需要考虑的一个重要因素,减少差异可以提高性能。
2020-10-24 cs.AI cs.CL
Leveraging Pre-trained Models for Failure Analysis Triplets Generation
Mines Saint-Etienne(圣艾蒂安国立矿业学院);Univ. Clermont Auvergne(克莱蒙奥弗涅大学);STMicroelectronics(意法半导体)
预训练的语言模型最近在自然语言处理(NLP)领域获得了关注,用于文本摘要,生成和问答任务。这源于Transformer模型中引入的创新,以及与循环神经网络模型(长短期记忆(LSTM))相比的压倒性性能。在本文中,我们利用预先训练的因果语言模型(如Transformer模型)的注意力机制,用于生成故障分析三元组(FAT)的下游任务-用于分析半导体行业中有缺陷的组件的一系列步骤。我们比较了不同的Transformer模型,并观察到生成预训练的Transformer 2(GPT 2)优于其他Transformer模型的故障分析三元组生成(FATG)任务。特别是,我们观察到GPT 2(在1.5B参数上训练)在ROUGE上的表现大大优于预训练的BERT,BART和GPT 3。此外,我们引入Levenshstein序贯评价指标(LESE)更好地评价结构化FAT数据,并表明它与人类的判断比现有的指标相比。
2022-10-31 cs.CL cs.LG stat.AP
Reasoning in Transformers -- Mitigating Spurious Correlations and Reasoning Shortcuts
University of Gothenburg(哥德堡大学);Chalmers University of Technology(查尔姆斯理工大学)
本文研究Transformer在命题逻辑推理中如何避免虚假相关导致的推理捷径,提出神经符号模型SIP-BART并验证其有效性,同时识别出四类新的推理错误。
2024-03-17 cs.CL cs.LG
Trained Transformers Learn Linear Models In-Context
UC Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind)
研究单层线性自注意力Transformer通过梯度流学习线性回归的上下文学习机制,证明其能找到全局最优且媲美最佳线性预测器,并揭示其对协变量分布偏移的脆弱性及大型非线性架构的鲁棒性。
2023-10-19 cs.AI cs.CL cs.LG
THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption
Beihang University(北京航空航天大学);Microsoft Research(微软研究院);Microsoft STCA(微软亚洲互联网工程院)
随着越来越多的预训练语言模型采用云上部署,隐私问题迅速增长,主要是针对纯文本用户数据的暴露(例如,搜索历史、医疗记录、银行账户)。Transformer模型的隐私保护推理是云服务用户的需求。在同态加密中,为了保护隐私,只使用密文进行计算是一种很有吸引力的选择。然而,由于Transformer块中的复杂计算,使得对密文数据进行预训练模型推断是困难的,这还不被当前HE工具支持。在这项工作中,我们介绍了$\textit{THE-X}$,Transformers的近似方法,它使隐私保护的流行框架开发的预训练模型的推理。$\textit{THE-X}$提出了一个工作流来处理Transformer网络中的复杂计算,包括所有非多项式函数,如GELU,softmax和LayerNorm。实验表明,我们提出的$\textit{THE-X}$可以使Transformer推理加密数据的不同下游任务,所有的性能下降可以忽略不计,但享受理论保证的隐私保护的优势。
2022-06-02 cs.CL cs.CR
On Mesa-Optimization in Autoregressively Trained Transformers: Emergence and Capability
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);RIKEN AIP(理化学研究所人工智能项目);School of Software, Shandong University(山东大学软件学院);Dept. of Comp. Sci. & Tech., BNRist Center, THU-Bosch ML Center, Tsinghua University(清华大学计算机科学与技术系、BNRist中心、THU-Bosch机器学习中心)
本文分析单层线性因果自注意力在自回归梯度流训练下的非凸动态,证明其可通过一步 OLS 梯度下降形成 mesa-optimizer,并刻画其恢复数据分布的能力边界。
2024-10-26 cs.CL cs.LG stat.ML
In-Context Learning with Representations: Contextual Generalization of Trained Transformers
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学);The Ohio State University(俄亥俄州立大学)
本文研究Transformer在非线性回归任务中的训练动态,证明一层多头Transformer能线性收敛至全局最小值并执行岭回归,首次可证明地展示其能从少量示例中学习上下文模板信息以泛化到未见示例和任务。
2024-09-25 cs.CL cs.IT cs.LG
Transformer over Pre-trained Transformer for Neural Text Segmentation with Enhanced Topic Coherence
Monash University(莫纳什大学);Deakin University(迪肯大学)
本文提出了一个Transformer over Transformer框架,称为Transformer $^2$,执行神经文本分割。它由两部分组成:使用预先训练的Transformers的底层句子编码器,以及基于句子嵌入的基于转换器的上层分割模型。底层组件传输在单个和成对监督NLP任务下从大型外部语料库学习的预训练知识,以对文档的句子嵌入进行建模。给定句子嵌入,训练上层Transformer以恢复每个句子的分割边界以及主题标签。配备了多任务损失和预先训练的知识,Transformer $^2$可以更好地捕获相同段内的语义一致性。我们的实验表明:(1)Transformer $^2$在常用的语义一致性度量方面超越了最先进的文本分割模型;(2)在大多数情况下,单个和成对的预训练知识都有助于模型性能;(3)在特定语言上预训练的底层句子编码器比在特定领域上预训练的句子编码器产生更好的性能。
2021-10-14 cs.CL
Sample Efficient Text Summarization Using a Single Pre-Trained Transformer
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
语言模型(LM)预训练在各种语言理解任务上取得了令人印象深刻的性能和样本效率。然而,目前还不清楚如何最好地使用预训练的LM生成任务,如抽象总结,特别是提高样本效率。在这些序列到序列设置中,先前的工作已经试验了将预训练的权重加载到编码器和/或解码器网络中,但是使用了非预训练的编码器-解码器注意力权重。相反,我们使用一个预先训练的仅解码器网络,其中相同的Transformer LM既编码源又生成摘要。这确保了网络中的所有参数,包括那些控制对源状态的注意力的参数,都在微调步骤之前进行了预训练。在CNN/Daily Mail数据集上的实验表明,我们预先训练的Transformer LM在有限的数据设置中大大改善了预先训练的Transformer编码器-解码器网络。例如,它仅使用1%的训练数据(约3000个示例)就达到了13.1 ROUGE-2,而预训练的编码器-解码器模型得分为2.3 ROUGE-2。
2019-05-21 cs.CL
ISCAS at SemEval-2020 Task 5: Pre-trained Transformers for Counterfactual Statement Modeling
University of Chinese Academy of Sciences(中国科学院大学)
ISCAS参与了SemEval 2020任务5的两个子任务:检测反事实陈述和检测前因和后果。本文介绍了我们的系统,这是基于预先训练的Transformers。对于第一个子任务,我们训练几个基于transformer的分类器来检测反事实陈述。对于第二个子任务,我们制定了一个基于查询的问答问题的前件和后果提取。这两个子系统在评估中均获得第三名。我们的系统在https://github.com/casnlu/ISCAS-SemEval2020Task5上公开发布。
2020-09-17 cs.CL
UHH-LT at SemEval-2020 Task 12: Fine-Tuning of Pre-Trained Transformer Networks for Offensive Language Detection
University of Hamburg(汉堡大学)
对预训练的Transformer网络(如BERT)进行微调,可为文本分类任务产生最先进的结果。通常,微调是以监督的方式在特定于任务的训练数据集上执行的。还可以通过进一步预训练掩码语言建模(MLM)任务来预先以无监督的方式进行微调。因此,类似于实际分类目标数据集的无监督MLM的域内数据允许模型的领域自适应。在本文中,我们比较了当前预训练的Transformer网络,以及没有MLM微调的攻击性语言检测性能。我们的MLM微调的基于RoberTa的分类器在SemEval 2020共享任务中正式排名第一,英语语言为12。用ALBERT模型进行的进一步实验甚至超过了这一结果。
2020-06-10 cs.CL
Multilingual Pre-Trained Transformers and Convolutional NN Classification Models for Technical Domain Identification
LTRC(语言技术研究中心);IIIT-Hyderabad(海得拉巴国际信息技术学院)
在本文中,我们提出了一个迁移学习系统进行多语言文本数据的技术领域识别。我们已经提交了两次运行,一次使用Transformer模型BERT,另一次使用XLM-ROBERTA和CNN模型进行文本分类。这些模型使我们能够为ICON 2020共享任务TechDOification识别给定句子的领域:技术领域识别。对于给定的TechDOfication数据集,我们的系统对子任务1d,1g排名最好。
2021-01-22 cs.CL
Do Syntax Trees Help Pre-trained Transformers Extract Information?
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);School of Computer Science, McGill University(麦吉尔大学计算机学院);Stanford University(斯坦福大学)
最近的许多工作表明,从依赖树中合并语法信息可以改进特定于任务的Transformer模型。然而,将依赖性树信息并入到预先训练的Transformer模型(例如,BERT)仍然不清楚,特别是考虑到最近的研究强调了这些模型如何隐式编码语法。在这项工作中,我们系统地研究了将依赖树预训练的Transformers上的三个代表性的信息抽取任务:语义角色标注(SRL),命名实体识别,和关系抽取的效用。我们提出并研究了两种不同的策略,将依赖结构:后期融合的方法,它适用于一个图神经网络的输出的Transformer,和一个联合融合的方法,注入语法结构到Transformer注意层。这些策略是以前的工作的代表,但我们引入额外的模型设计元素,获得更好的性能是必要的。我们的实证分析表明,这些注入语法的Transformers在SRL和关系抽取任务上获得了最先进的结果。然而,我们的分析也揭示了这些模型的一个关键缺点:我们发现它们的性能增益高度依赖于人类注释的依赖解析的可用性,这就提出了关于语法增强Transformers在现实应用中的可行性的重要问题。
2021-01-27 cs.CL
mhGPT: A Lightweight Generative Pre-Trained Transformer for Mental Health Text Analysis
Children’s National Hospital(儿童国家医院);George Washington University(乔治·华盛顿大学)
本研究提出轻量级生成式预训练Transformer模型mhGPT,通过整合多元心理健康数据、自定义分词器并优化小模型架构,在低算力、少数据条件下实现了优于大模型的心理健康文本分析性能,助力低资源地区的AI心理健康护理发展。
2024-08-15 cs.CL
How does a Pre-Trained Transformer Integrate Contextual Keywords? Application to Humanitarian Computing
European Commission Joint Research Centre(欧洲委员会联合研究中心)
在分类任务中,处理文本片段和元数据通常需要处理多模态方法。当这些元数据是文本的时候,为了利用模型内部编码的语义信息,很容易将它们与预先训练的Transformer一起使用。本文描述了如何通过将危机事件类型添加到要分类的每个推文来改进人道主义分类任务。基于模型权重和行为的附加实验,它识别了所提出的神经网络方法如何部分地过度拟合危机基准的特殊性,以更好地突出模型如何毫无疑问地学习使用和利用元数据的文本语义。
2021-11-07 cs.CL
Can pre-trained Transformers be used in detecting complex sensitive sentences? -- A Monsanto case study
UNSW Sydney(新南威尔士大学悉尼分校);Data61 Cyber Security CRC(Data61网络安全合作研究中心);Penten(Penten公司)
每个组织都以各种形式发布信息,从年度报告到法律诉讼。这些文件可能包含敏感信息,公开发布可能导致机密信息泄露。检测文档中包含敏感信息的句子可以帮助组织防止有价值的机密信息泄露。当这些句子包含大量信息或是已知敏感内容的释义版本时,这尤其具有挑战性。在这种复杂设置中检测敏感信息的当前方法基于基于关键字的方法或标准机器学习模型。在本文中,我们希望探讨预训练的Transformer模型是否非常适合检测复杂的敏感信息。预先训练的Transformers通常在大量文本上进行训练,因此很容易学习语法,结构和其他语言特征,这使得它们对这项任务特别有吸引力。通过对Monsanto试验数据集的实验,我们观察到经过微调的双向编码器表示Transformers(BERT)Transformer模型比传统模型表现得更好。我们对Monsanto数据集中的四种不同类别的文档进行了实验,观察到与现有的敏感信息检测模型相比,BERT在GHOST、TOXIC、CHEMI和REGUL中分别获得了24.13%至65.79%、30.14%至54.88%、39.22%和53.57%的F2分数。
2022-03-14 cs.CL
An Empirical Study of Pre-trained Transformers for Arabic Information Extraction
Ohio State University(俄亥俄州立大学);Georgia Institute of Technology(佐治亚理工学院)
多语言预训练的Transformers,例如mBERT(Devlin等人,2019)和XLM-RoBERTa(Conneau等人,2020 a)已经显示出能够实现有效的跨语言zero-shot转移。然而,阿拉伯语信息抽取(IE)任务的性能不是很好的研究。在本文中,我们预训练了一个定制的双语BERT,称为GigaBERT BERT,专门为阿拉伯语NLP和英语到阿拉伯语zero-shot迁移学习设计。我们研究了GigaBERT在四个IE任务上的零短转移的有效性:命名实体识别,词性标注,参数角色标注和关系抽取。我们的最佳模型显著优于mBERT、XLM-RoBERTa和AraBERT(Antoun等人,2020)在监督和zero-shot传输设置中。我们已经在https://github.com/lanwuwei/GigaBERT上公开了我们的预训练模型。
2020-11-07 cs.CL
CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation
Fudan University(复旦大学);Zhejiang Lab(之江实验室)
在本文中,我们利用以前的预训练模型(PTM),提出了一种新的中国预训练不平衡Transformer(CPT)。与以往的中文翻译机不同,CPT的设计是利用自然语言理解(NLU)和自然语言生成(NLG)之间的共享知识来提高性能。CPT由三部分组成:共享编码器、理解解码器和生成解码器。具有共享编码器的两个特定解码器分别使用掩码语言建模(MLM)和去噪自动编码(DAE)任务进行预训练。通过部分共享的架构和多任务预训练,CPT可以(1)使用两个解码器学习NLU或NLG任务的特定知识,(2)灵活地进行微调,充分利用模型的潜力。而且不平衡的Transformer节省了计算和存储成本,使CPT具有竞争力,大大加快了文本生成的推理。在汉语自然语言理解和自然语言学习任务上的实验结果表明了CPT的有效性。
2022-07-18 cs.CL
mT5: A massively multilingual pre-trained text-to-text transformer
Google Research(谷歌研究院)
最近的“Text-to-Text Transfer Transformer”(T5)利用统一的文本到文本格式和规模,在各种英语NLP任务上获得了最先进的结果。在本文中,我们介绍了mT5,这是T5的多语言变体,它在一个新的基于Common Crawl的数据集上进行了预训练,涵盖了101种语言。我们详细介绍了mT5的设计和修改后的训练,并在许多多语言基准测试中展示了其最先进的性能。我们还描述了一种简单的技术,以防止“意外翻译”的zero-shot设置,其中生成模型选择(部分)翻译成错误的语言的预测。在这项工作中使用的所有代码和模型检查点都是公开的。
2021-03-11 cs.CL
Comparison of Czech Transformers on Text Classification Tasks
University of West Bohemia in Pilsen(西波希米亚大学)
在本文中,我们提出了我们的进展,在预训练单语Transformers为捷克和贡献的研究社区,公开发布我们的模型。对这种模型的需求来自于我们在特定语言任务中使用Transformers的努力,但我们发现已发布的多语言模型的性能非常有限。由于多语言模型通常是从100多种语言中预先训练出来的,因此大多数低资源语言(包括捷克语)在这些模型中的代表性不足。与此同时,在Common Crawl等Web档案中有大量的单语训练数据可用。我们已经预先训练并公开发布了两个单语捷克语Transformers,并将它们与相关的公共模型进行了比较,这些模型至少部分地针对捷克语进行了训练。本文介绍了Transformers的预训练过程,以及来自不同领域的文本分类任务的预训练模型的比较。
2021-07-21 cs.CL
Adaptation of domain-specific transformer models with text oversampling for sentiment analysis of social media posts on Covid-19 vaccines
新型冠状病毒肺炎(COVID-19,即2019冠状病毒病)已在全球蔓延,人们已开发出多种疫苗来应对疫情的激增。为了从社交媒体帖子中识别与疫苗相关的正确情绪,我们在与Covid-19疫苗相关的推文上微调各种最先进的预训练Transformer模型。具体来说,我们使用最近推出的最先进的预训练Transformer模型RoBERTa、XLNet和BERT,以及针对Covid-19推文预训练的特定领域Transformer模型CT-BERT和BERTweet。我们进一步探索了文本增强的选项,通过使用基于语言模型的过采样技术(LMOTE)来提高这些模型的准确性,特别是对于小样本数据集,其中在正面,负面和中性情感类之间存在不平衡的类分布。我们的研究结果总结了我们对不平衡小样本数据集的文本过采样的适用性的研究结果,这些数据集用于微调最先进的预训练Transformer模型,以及特定于域的Transformer模型在分类任务中的实用性。
2023-01-13 cs.CL
Generating Query Focused Summaries without Fine-tuning the Transformer-based Pre-trained Models
University of Lethbridge(莱斯布里奇大学)
为每个新数据集微调自然语言处理(NLP)模型需要更长的计算时间,这与增加的碳足迹和成本相关。然而,微调有助于预训练的模型适应最新的数据集;如果我们避免微调步骤,并尝试仅使用预训练的模型来生成摘要,以减少计算时间和成本,会怎么样?在本文中,我们试图省略微调步骤,并研究基于边际最大相关性(MMR)的方法是否可以帮助预训练模型直接从未用于预训练模型的新数据集获得以查询为中心的摘要。首先,我们在维基百科时事门户(WCEP)和Debatepedia数据集上使用主题建模来生成摘要任务的查询。然后,使用MMR,我们根据查询对文档的句子进行排序。接下来,我们将排名的句子传递给七个基于transformer的预训练模型来执行摘要任务。最后,我们再次使用MMR方法从各个预训练模型生成的摘要中选择查询相关句子,并构建最终摘要。正如实验结果所示,我们基于MMR的方法成功地排名并选择了最相关的句子作为摘要,并且表现出比单独的预训练模型更好的性能。
2023-03-10 cs.CL
Stateful Memory-Augmented Transformers for Efficient Dialogue Modeling
Columbia University(哥伦比亚大学)
针对 Transformer 模型无法处理长对话历史导致上下文截断的问题,提出一种兼容现有预训练模型的记忆增强 Transformer,通过独立记忆模块实现记忆状态与当前输入的信息交互,在多个数据集上取得更优的效率与性能。
2023-05-23 cs.CL
PathologyBERT -- Pre-trained Vs. A New Transformer Language Model for Pathology Domain
Emory University(埃默里大学);Mayo Clinic(妙佑医疗国际);Indian Institute of Technology (IIT)(印度理工学院);Arizona State University(亚利桑那州立大学)
病理学文本挖掘是一项具有挑战性的任务,因为癌症亚型定义中的报告可变性和不断的新发现。然而,大型病理学数据库的成功文本挖掘可以在推进“大数据”癌症研究中发挥关键作用,如基于相似性的治疗选择,病例识别,诊断,监测,临床试验筛选,风险分层等。虽然人们对开发用于更具体的临床领域的语言模型的兴趣越来越大,但是不存在病理学特定的语言空间来支持病理学空间中的快速数据挖掘开发。在文献中,一些方法在保持原始分词器的同时在专门的语料库上微调通用Transformer模型,但在需要专门术语的领域中,这些模型通常无法充分执行。我们提出了PathologyBERT -一个预先训练的掩蔽语言模型,它在347,173份组织病理学标本报告上进行了训练,并在Huggingface存储库中公开发布。我们的综合实验表明,与非特异性语言模型相比,Transformer模型在病理语料库上的预训练在自然语言理解(NLU)和乳腺癌诊断分类方面产生了性能改进。
2022-05-13 cs.CL
Processing Long Legal Documents with Pre-trained Transformers: Modding LegalBERT and Longformer
Athens University of Economics and Business(雅典经济与商业大学);University of Copenhagen(哥本哈根大学);Cognitiv+
预先训练的Transformers目前主导着大多数NLP任务。然而,它们对最大输入长度(BERT中的512个子字)施加了限制,这在法律领域中限制太多。即使是稀疏注意模型,如Longformer和BigBird,将最大输入长度增加到4,096个子词,也会严重截断LexGLUE六个数据集中的三个数据集的文本。具有TF-IDF特征的更简单的线性分类器可以处理任何长度的文本,需要更少的资源来训练和部署,但通常优于预先训练的Transformers。我们探索了两个方向来处理长的法律文本:(i)修改从LegalBERT开始的Longformer warm-started来处理更长的文本(多达8,192个子字),以及(ii)修改LegalBERT以使用TF-IDF表示。第一种方法在性能方面是最好的,超过了LegalBERT的分层版本,这是LexGLUE之前的最先进的方法。第二种方法以较低的性能为代价导致计算效率更高的模型,但所得模型在长法律文档分类中的整体性能仍然优于具有TF-IDF特征的线性SVM。
2022-11-10 cs.CL
AraGPT2: Pre-Trained Transformer for Arabic Language Generation
American University of Beirut(贝鲁特美国大学)
最近,预先训练的基于transformer的架构已被证明在语言建模和理解方面非常有效,因为它们是在足够大的语料库上训练的。与其他NLP进展相比,阿拉伯语的语言生成应用仍然落后,主要是由于缺乏先进的阿拉伯语语言生成模型。在本文中,我们开发了第一个先进的阿拉伯语语言生成模型,AraGPT 2,从头开始训练的大型阿拉伯语语料库的互联网文本和新闻文章。我们最大的模型AraGPT 2-mega拥有14.6亿个参数,这使其成为最大的阿拉伯语语言模型。Mega模型进行了评估,并在不同的任务上显示出成功,包括合成新闻生成和zero-shot问答。对于文本生成,我们最好的模型在维基百科文章上实现了29.8的困惑度。与人类评估者进行的一项研究表明,AraGPT 2-mega在生成难以与人类撰写的文章区分的新闻文章方面取得了重大成功。因此,我们开发并发布了一个自动识别模型,在检测模型生成的文本方面具有98%的准确率。这些模型也是公开的,希望能鼓励阿拉伯语NLP的新研究方向和应用。
2021-03-07 cs.CL
BERT Busters: Outlier Dimensions that Disrupt Transformers
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);University of Copenhagen(哥本哈根大学)
多项研究表明,Transformers对修剪非常健壮。与这种公认的智慧相反,我们证明了预先训练的Transformer编码器对于去除层输出中的极少数特征(<0.0001%的模型权重)是非常脆弱的。在BERT和其他预先训练的编码器Transformers的情况下,受影响的组件是LayerNorm中的缩放因子和偏差。离群值是在预训练早期出现的高量级归一化参数,并且在整个模型中始终显示在相同的维度位置。我们发现,禁用它们显着降低传销损失和下游任务的性能。在几个BERT系列模型和其他流行的预训练Transformer架构(包括BART、XLNet和ELECTRA)中观察到了这种效应;我们在GPT-2中也显示了类似的效应。
2021-06-02 cs.CL
Generative Pre-trained Transformer for Vietnamese Community-based COVID-19 Question Answering
University of Information Technology, Ho Chi Minh city, Vietnam(胡志明市信息技术大学);Vietnam National University, Ho Chi Minh city, Vietnam(越南国立大学胡志明市分校)
本文针对越南语社区COVID-19问答研究不足的问题,提出GPT-2实现方案,并通过与多种Transformer及SOTA模型的比较实验证明其性能优于现有越南语社区问答模型。
2023-10-31 cs.CL
PAIR: Planning and Iterative Refinement in Pre-trained Transformers for Long Text Generation
Khoury College of Computer Sciences(Khoury计算机科学学院);Northeastern University(东北大学);Computer Science and Engineering(计算机科学与工程);University of Michigan(密歇根大学)
预先训练的Transformers在生成长而流畅的文本方面取得了令人印象深刻的突破,但它们的输出通常是“漫无边际”的,没有连贯的内容。在这项工作中,我们提出了一种新的内容控制的文本生成框架,PAIR,规划和迭代细化,这是建立在一个大的模型,BART。我们首先适应BERT模型自动构建的内容计划,包括关键词分配和相应的文档级别的位置。BART模型用于生成,而不修改其结构。然后,我们提出了一个细化算法,逐步提高序列到序列的框架内的生成质量。使用自动度量进行的评估表明,添加规划一致地提高了三个不同领域的生成质量,平均提高了20个BLEU点和12个METEOR点。此外,人类法官认为我们的系统输出比没有计划的比较更相关和一致。
2020-10-05 cs.CL
An Empirical Investigation of Matrix Factorization Methods for Pre-trained Transformers
Kahlert School of Computing(卡勒特计算学院);University of Utah(犹他大学)
本文比较预训练 Transformer 的低秩与 Monarch 矩阵分解压缩,提出分阶段分解和分块低秩方法,实验表明低秩分解在六类文本任务及不同压缩率下始终更优。
2024-06-17 cs.CL
Gender Biases and Where to Find Them: Exploring Gender Bias in Pre-Trained Transformer-based Language Models Using Movement Pruning
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
语言模型去偏已经成为自然语言处理领域的一个重要研究领域。提出了许多去偏置技术,但偏置消融仍然是一个未解决的问题。我们展示了一种新的框架,用于通过运动修剪来检查预训练的基于transformer的语言模型中的偏差。给定一个模型和一个去偏置目标,我们的框架会找到一个包含比原始模型更少偏差的模型子集。我们通过修剪模型来实现我们的框架,同时根据去偏目标对其进行微调。优化的只是修剪分数--与模型权重相结合的参数,这些参数充当门。我们尝试修剪注意力头部,这是Transformers的一个重要组成部分:我们修剪正方形块,并建立了一种修剪整个头部的新方法。最后,我们展示了我们的框架使用性别偏见,并根据我们的研究结果,我们提出了一个改进现有的去偏置方法。此外,我们重新发现了一个偏差-性能权衡:模型性能越好,它包含的偏差就越多。
2022-07-06 cs.CL
On Initializing Transformers with Pre-trained Embeddings
State University of New York, Korea(韩国纽约州立大学);Stony Brook University(石溪大学)
本研究探讨用预训练嵌入初始化Transformer的效果,发现GloVe、T5和mT5嵌入因分布过宽而劣于随机初始化,标准化后可显著提升,而BERT嵌入因接近Xavier范围表现更好。
2024-07-17 cs.CL
MeLT: Message-Level Transformer with Masked Document Representations as Pre-Training for Stance Detection
Stony Brook University(石溪大学)
大部分自然语言处理都集中在利用大容量语言模型上,这些语言模型通常是在单个消息上训练的,任务是预测一个或多个标记。然而,在更高层次的上下文(即,消息的序列)是未被探索的。在立场检测和其他社交媒体任务中,目标是预测消息的属性,我们有上下文数据,这些数据通过作者身份松散地连接在一起。在这里,我们介绍了消息级Transformer(MeLT)--一个通过Twitter预先训练的分层消息编码器,并应用于立场预测任务。我们专注于立场预测,作为一项受益于了解消息上下文的任务(即,先前消息的序列)。该模型使用掩码语言建模的变体进行训练;其中,它不是预测令牌,而是试图通过重建损失生成整个掩码(聚合)消息向量。我们发现,将这种预训练的掩蔽消息级Transformer应用于下游的姿态检测任务,实现了67%的F1性能。
2021-11-01 cs.CL
The Dark Side of the Language: Pre-trained Transformers in the DarkNet
University of Rome Tor Vergata(罗马第二大学);University of Rome "Sapienza"(罗马智慧大学)
本文研究预训练 Transformer 在暗网语料上的表现,发现其优势依赖预训练语料覆盖,需通过极端领域适应才能恢复高水平性能。
2023-11-17 cs.CL cs.LG
Effective Use of Transformer Networks for Entity Tracking
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在过程语言中跟踪实体需要理解对实体的操作所引起的转换以及这些实体的交互。虽然GPT和BERT等基于自我注意力的预训练语言编码器已成功应用于一系列自然语言理解任务,但它们处理过程文本细微差别的能力仍未得到测试。在本文中,我们探讨了使用预训练的Transformer网络的实体跟踪任务的过程文本。首先,我们使用预先训练的Transformers测试了标准的轻量级预测方法,发现这些方法甚至不如简单的基线。我们表明,更强大的结果,可以通过重组的输入,以指导Transformer模型专注于一个特定的实体。其次,我们评估Transformer网络捕获过程动态的程度,调查合并实体和倾斜实体引用等因素。在两个不同的任务上,配方中的成分检测和科学过程中的QA,我们实现了最先进的结果,但我们的模型仍然主要关注浅层上下文线索,并且没有形成中间实体或过程状态的复杂表示。
2019-09-05 cs.CL
Data Augmentation using Pre-trained Transformer Models
Alexa AI(Alexa人工智能)
基于语言模型的预训练模型,如BERT,在不同的NLP任务中提供了显着的收益。在本文中,我们研究了不同类型的基于Transformer的预训练模型,如自回归模型(GPT-2),自动编码器模型(BERT)和seq 2seq模型(BART),用于条件数据增强。我们表明,将类标签前置到文本序列提供了一种简单而有效的方法来调节预训练模型以进行数据增强。此外,在三个分类基准上,预训练的Seq 2Seq模型在低资源设置中优于其他数据增强方法。此外,我们探讨了不同的基于预训练模型的数据增强在数据多样性方面的不同之处,以及这些方法如何保留类标签信息。
2021-01-31 cs.CL cs.LG
Exploiting Pre-trained Encoder-Decoder Transformers for Sequence-to-Sequence Constituent Parsing
Universidade de Vigo, Departamento de Informática(维戈大学计算机系)
本文提出利用预训练的编码器-解码器模型进行短语结构解析,通过微调生成线性解析树并在不同线性化策略下评估,优于传统序列到序列模型并能与任务专用解析器竞争。
2026-05-13 cs.CL
Fine-tuning Pre-Trained Transformer Language Models to Distantly Supervised Relation Extraction
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
距离监督关系抽取被广泛用于从文本中抽取关系事实,但受到噪声标签的影响。当前的关系抽取方法试图通过多实例学习来减轻噪声,并通过提供支持语言和上下文信息来更有效地指导关系分类。在实现最先进的结果的同时,我们观察到这些模型偏向于以高精度识别有限的关系集,而忽略了长尾中的关系。为了解决这一差距,我们利用了一个预训练的语言模型,OpenAI生成预训练的Transformer(GPT)[Radford et al.,2018年]。GPT和类似的模型已被证明可以捕获语义和句法特征,以及大量的“常识”知识,我们假设这些知识是识别更多样化关系的重要特征。通过将GPT扩展到远程监督设置,并在NYT10数据集上对其进行微调,我们表明它可以预测更大的一组具有高置信度的不同关系类型。对我们模型的手动和自动评估表明,它在NYT10数据集上实现了最先进的AUC得分0.422,并且在较高的召回水平下表现得特别好。
2019-06-19 cs.CL
Generative Pre-Trained Transformer for Design Concept Generation: An Exploration
Singapore University of Technology and Design(新加坡科技设计大学)
新颖的概念对于设计创新是必不可少的,并且可以在数据刺激和计算机的帮助下产生。然而,目前的生成式设计算法集中在图形或空间的概念,要么太抽象的理解或太详细的早期阶段的设计探索。本文探讨了生成预训练的Transformers(GPT)的自然语言设计概念生成的使用。我们的实验涉及使用GPT-2和GPT-3不同的创造性推理在设计任务。这两个都显示出相当好的性能口头设计概念生成。
2021-11-16 cs.CL cs.LG
TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models
Microsoft Research Asia(微软亚洲研究院)
文本识别是文献数字化的一个长期研究课题。现有的方法通常基于用于图像理解的CNN和用于字符级文本生成的RNN来构建。此外,作为后处理步骤,通常需要另一个语言模型来提高整体准确性。在本文中,我们提出了一个端到端的文本识别方法与预训练的图像Transformer和文本Transformer模型,即TrOCR,它利用Transformer架构的图像理解和单词级文本生成。TrOCR模型简单但有效,可以使用大规模合成数据进行预训练,并使用人工标记的数据集进行微调。实验结果表明,TrOCR模型在印刷体、手写体和场景文本识别任务上的性能优于当前最先进的模型。TrOCR模型和代码可在\url{https://aka.ms/trocr}上公开获得。
2022-09-06 cs.CL cs.CV
Detecting Emotion Drift in Mental Health Text Using Pre-Trained Transformers
Author(作者)
本研究利用预训练变换器模型检测心理健康文本中的情绪变化,通过分析句子层面的情感来识别情绪漂移模式。
2025-12-15 cs.AI cs.CL
Testing pre-trained Transformer models for Lithuanian news clustering
Faculty of Informatics Kaunas University of Technology(考纳斯理工大学信息学院);Kaunas University of Technology(考纳斯理工大学)
最近推出的Transformer深度学习架构在各种自然语言处理任务中取得了突破。然而,非英语语言无法利用英语文本预训练模型的新机会。这种情况随着多语言模式的研究而改变,其中较少使用的语言是主要受益者。我们比较了预训练的多语言BERT,XLM-R和旧的学习文本表示方法作为立陶宛新闻聚类任务的编码。我们的研究结果表明,公开的预训练多语言Transformer模型可以进行微调,以超过单词向量,但仍然比专门训练的doc 2 vec嵌入得分低得多。
2020-04-03 cs.CL cs.IR cs.LG
cs60075_team2 at SemEval-2021 Task 1 : Lexical Complexity Prediction using Transformer-based Language Models pre-trained on various text corpora
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
本文描述了团队cs60075_team2在SemEval 2021任务1 -词汇复杂度预测中的表现。本文的主要贡献是对基于transformer的语言模型进行微调,这些语言模型在几个文本语料库上进行了预训练,其中一些是通用的(例如,维基百科,BooksCorpus),一些是语料库的CompLex数据集被提取,和其他的是从其他特定的领域,如金融,法律等,我们进行消融研究选择的Transformer模型,以及如何他们的个人复杂性得分汇总得到的复杂性得分。我们的方法在子任务1(单个词)中实现了$0.784$的最佳Pearson相关,并且在子任务2(多个词表达)中实现了$0.836$的最佳Pearson相关。
2021-06-04 cs.AI cs.CL
End-to-end spoken language understanding using transformer networks and self-supervised pre-trained features
IBM Research(IBM研究院)
Transformer网络和自监督预训练在自然语言处理(NLP)领域一直提供最先进的结果;然而,它们在口语语言理解(SLU)领域的优点仍需要进一步研究。在本文中,我们介绍了一个模块化的端到端(E2 E)SLU Transformer网络的基础架构,允许使用自我监督的预训练的声学特征,预训练模型初始化和多任务训练。使用ATIS数据集进行了几个SLU实验,用于预测意图和实体标签/值。这些实验研究了预训练模型初始化和多任务训练与传统滤波器组或自监督预训练声学特征的相互作用。结果表明,自监督预训练的声学特征不仅在几乎所有的实验中都优于滤波器组特征,而且当这些特征与多任务训练相结合时,它们几乎消除了预训练模型初始化的必要性。
2020-11-16 cs.CL cs.SD eess.AS
Towards Fine-Dining Recipe Generation with Generative Pre-trained Transformers
Athens University of Economics and Business(雅典经济与商业大学)
食物是人类生存所必需的。所以我们开发了不同的食谱来满足我们的口味需求。在这项工作中,我们提出了一种使用Transformers(特别是自回归语言模型)从头开始创建新的美食食谱的新颖方法。给定一个小的食物食谱数据集,我们尝试训练模型来识别烹饪技术,提出新的食谱,并用最少的数据测试微调的能力。
2022-09-26 cs.AI cs.CL cs.LG
JDI-T: Jointly trained Duration Informed Transformer for Text-To-Speech without Explicit Alignment
Kakao Corp.(卡考公司);Kakao Enterprise Corp.(卡考企业公司)
我们提出了联合训练的持续时间通知Transformer(JDI-T),前馈Transformer与持续时间预测器联合训练,没有明确的对齐,以产生一个声学特征序列从输入文本。在这项工作中,受FastSpeech和Durian等持续时间通知网络最近成功的启发,我们进一步将其顺序的两阶段训练管道简化为单阶段训练。具体来说,我们在联合训练期间从自回归Transformer中实时提取音素持续时间,而不是预先训练自回归模型并将其用作音素持续时间提取器。据我们所知,这是第一个联合训练前馈Transformer而不依赖于单个训练管道中的预训练音素持续时间提取器的实现。我们评估所提出的模型的有效性公开可用的韩国单说话人语音(KSS)数据集相比,基线文本转语音(TTS)模型训练ESPnet-TTS。
2020-10-05 cs.CL cs.LG cs.SD
Are Transformers in Pre-trained LM A Good ASR Encoder? An Empirical Study
Alibaba Group(阿里巴巴集团)
本研究实证探讨了将预训练语言模型中的 Transformer 用作 ASR 编码器的有效性,发现其能显著降低 CER 和 WER,并在需要语义理解的场景中大幅提升系统性能。
2024-09-26 cs.CL cs.SD eess.AS