An Ensemble of Pre-trained Transformer Models For Imbalanced Multiclass Malware Classification
Kadir Has University(卡迪尔哈斯大学);Huawei R&D Center(华为研发中心)
恶意软件家族的分类对于全面了解它们如何感染设备,计算机或系统至关重要。因此,恶意软件识别使安全研究人员和事件响应者能够采取预防措施来防范恶意软件并加速缓解。由恶意软件进行的API调用序列是机器和深度学习模型广泛使用的用于恶意软件分类的特征,因为这些序列表示恶意软件的行为。然而,传统的机器和深度学习模型仍然无法捕获API调用之间的序列关系。另一方面,基于transformer的模型将序列作为一个整体进行处理,并由于多头注意力机制和位置嵌入而学习API调用之间的关系。我们的实验表明,具有一个Transformer块层的Transformer模型超越了广泛使用的基础架构LSTM。此外,BERT或CANINE,预训练的Transformer模型,在根据评估指标,F1分数和AUC分数对高度不平衡的恶意软件家族进行分类方面表现出色。此外,所提出的基于装袋的随机Transformer森林(RTF),BERT或CANINE的集成,已经达到了四个数据集中的三个的最先进的评估分数,特别是最先进的F1分数为0.6149的常用基准数据集之一。
2022-06-22 cs.AI cs.CR cs.LG
Trained Transformers Learn Linear Models In-Context
UC Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind)
研究单层线性自注意力Transformer通过梯度流学习线性回归的上下文学习机制,证明其能找到全局最优且媲美最佳线性预测器,并揭示其对协变量分布偏移的脆弱性及大型非线性架构的鲁棒性。
2023-10-19 cs.AI cs.CL cs.LG
On the Training Convergence of Transformers for In-Context Classification of Gaussian Mixtures
University of Virginia(弗吉尼亚大学)
本文从理论上研究了transformer在上下文分类任务中的训练动态,证明通过梯度下降训练的单层transformer在Gaussian mixtures分类中以线性速率收敛到全局最优模型,并量化了提示长度对ICL推理误差的影响。
2025-05-29 cs.IT cs.LG math.IT
PrefixGPT: Prefix Adder Optimization by a Generative Pre-trained Transformer
PrefixGPT通过生成式预训练变换器优化前缀加法器,实现7.7%的ADP改进和79.1%的平均ADP降低。
2025-11-26 cs.AI cs.AR cs.LG
On Mesa-Optimization in Autoregressively Trained Transformers: Emergence and Capability
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);RIKEN AIP(理化学研究所人工智能项目);School of Software, Shandong University(山东大学软件学院);Dept. of Comp. Sci. & Tech., BNRist Center, THU-Bosch ML Center, Tsinghua University(清华大学计算机科学与技术系、BNRist中心、THU-Bosch机器学习中心)
本文分析单层线性因果自注意力在自回归梯度流训练下的非凸动态,证明其可通过一步 OLS 梯度下降形成 mesa-optimizer,并刻画其恢复数据分布的能力边界。
2024-10-26 cs.CL cs.LG stat.ML
In-Context Learning with Representations: Contextual Generalization of Trained Transformers
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学);The Ohio State University(俄亥俄州立大学)
本文研究Transformer在非线性回归任务中的训练动态,证明一层多头Transformer能线性收敛至全局最小值并执行岭回归,首次可证明地展示其能从少量示例中学习上下文模板信息以泛化到未见示例和任务。
2024-09-25 cs.CL cs.IT cs.LG
Uniform Scaling Limits in AdamW-Trained Transformers
Mathematical Institute(数学研究所);University of Oxford(牛津大学)
本文研究了使用AdamW训练的变换器在深度趋近于无穷时的行为,通过将隐藏状态动态建模为相互作用粒子系统,证明了在适当缩放注意力头数下,隐藏状态和反向传播变量的联合动态以特定速率收敛到一个正向-反向ODE系统。
2026-05-11 cs.LG math.PR stat.ML
Understanding Transfer Learning for Chest Radiograph Clinical Report Generation with Modified Transformer Architectures
Stanford University(斯坦福大学);Stanford Medicine(斯坦福医学院)
图像字幕任务在医学人工智能应用中越来越普遍。一个重要的应用是从胸部射线照片生成临床报告。非结构化报告的临床写作是耗时且容易出错的。自动化系统将提高标准化,减少错误,节省时间和医疗服务。在本文中,我们证明了特定领域的预训练的重要性,并提出了一个修改后的Transformer架构的医学图像字幕任务。为了实现这一点,我们训练了一系列经过修改的Transformers,以从胸部射线照片图像输入生成临床报告。这些修改的Transformers包括:具有使用ImageNet预训练权重的视觉提取器的网状存储器增强的Transformer架构,具有使用CheXpert预训练权重的视觉提取器的网状存储器增强的Transformer架构,以及网状存储器增强的Transformer,其编码器通过使用ImageNet预训练权重和CheXpert预训练权重的级联嵌入。我们使用BLEU(1-4)、ROUGE-L、CIDER和临床CheXbert F1评分来验证我们的模型,并展示与最先进模型的竞争性评分。我们提供的证据表明,ImageNet预训练不适合医学图像字幕任务,特别是对于不太常见的情况(例如:扩大的心内膜,肺部病变,气胸)。此外,我们证明了双特征模型可以提高特定医疗条件(水肿,实变,气胸,支持设备)和整体CheXbert F1评分的性能,并应在未来的工作中进一步开发。这样的双特征模型,包括ImageNe…
2022-05-05 cs.AI cs.CV cs.LG
Are Pre-trained Convolutions Better than Pre-trained Transformers?
在预训练语言模型的时代,Transformers是模型架构的实际选择。虽然最近的研究已经显示出完全卷积或CNN架构的前景,但尚未使用预训练微调范式对其进行探索。在语言模型的背景下,卷积模型在预训练时与Transformers竞争吗?本文探讨了这一研究问题,并提出了几个有趣的发现。在对8个数据集/任务进行的大量实验中,我们发现基于CNN的预训练模型具有竞争力,并且在某些情况下优于Transformer对应模型,尽管需要注意。总的来说,本文中概述的调查结果表明,将预培训和架构进步混为一谈是错误的,这两种进步应该独立考虑。我们相信我们的研究为替代架构中的健康乐观铺平了道路。
2022-01-30 cs.CL cs.LG
Trained Transformer Classifiers Generalize and Exhibit Benign Overfitting In-Context
UC Davis(加州大学戴维斯分校);Weizmann Institute of Science(魏茨曼科学研究院)
该研究针对随机线性分类任务下训练的线性Transformer,通过分析梯度下降隐式正则化明确其泛化的条件,并证实其存在上下文内良性过拟合现象,即记忆带噪样本仍能对干净样本近最优泛化。
2024-12-13 cs.LG stat.ML
Automated Interpretability Metrics Do Not Distinguish Trained and Random Transformers
University of Bristol(布里斯托大学)
该研究发现自动可解释性度量无法区分训练过的和随机初始化的Transformer,表明高得分不保证恢复了计算相关的特征,建议使用随机基线和抽象性测量来提高可解释性评估的可靠性。
2026-01-27 cs.LG
The Dark Side of the Language: Pre-trained Transformers in the DarkNet
University of Rome Tor Vergata(罗马第二大学);University of Rome "Sapienza"(罗马智慧大学)
本文研究预训练 Transformer 在暗网语料上的表现,发现其优势依赖预训练语料覆盖,需通过极端领域适应才能恢复高水平性能。
2023-11-17 cs.CL cs.LG
Data Augmentation using Pre-trained Transformer Models
Alexa AI(Alexa人工智能)
基于语言模型的预训练模型,如BERT,在不同的NLP任务中提供了显着的收益。在本文中,我们研究了不同类型的基于Transformer的预训练模型,如自回归模型(GPT-2),自动编码器模型(BERT)和seq 2seq模型(BART),用于条件数据增强。我们表明,将类标签前置到文本序列提供了一种简单而有效的方法来调节预训练模型以进行数据增强。此外,在三个分类基准上,预训练的Seq 2Seq模型在低资源设置中优于其他数据增强方法。此外,我们探讨了不同的基于预训练模型的数据增强在数据多样性方面的不同之处,以及这些方法如何保留类标签信息。
2021-01-31 cs.CL cs.LG
Testing pre-trained Transformer models for Lithuanian news clustering
Faculty of Informatics Kaunas University of Technology(考纳斯理工大学信息学院);Kaunas University of Technology(考纳斯理工大学)
最近推出的Transformer深度学习架构在各种自然语言处理任务中取得了突破。然而,非英语语言无法利用英语文本预训练模型的新机会。这种情况随着多语言模式的研究而改变,其中较少使用的语言是主要受益者。我们比较了预训练的多语言BERT,XLM-R和旧的学习文本表示方法作为立陶宛新闻聚类任务的编码。我们的研究结果表明,公开的预训练多语言Transformer模型可以进行微调,以超过单词向量,但仍然比专门训练的doc 2 vec嵌入得分低得多。
2020-04-03 cs.CL cs.IR cs.LG
Generative Pre-Trained Transformer for Design Concept Generation: An Exploration
Singapore University of Technology and Design(新加坡科技设计大学)
新颖的概念对于设计创新是必不可少的,并且可以在数据刺激和计算机的帮助下产生。然而,目前的生成式设计算法集中在图形或空间的概念,要么太抽象的理解或太详细的早期阶段的设计探索。本文探讨了生成预训练的Transformers(GPT)的自然语言设计概念生成的使用。我们的实验涉及使用GPT-2和GPT-3不同的创造性推理在设计任务。这两个都显示出相当好的性能口头设计概念生成。
2021-11-16 cs.CL cs.LG
A Mechanistic Analysis of a Transformer Trained on a Symbolic Multi-Step Reasoning Task
University of Mannheim(曼海姆大学);Heinrich-Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学);Georgia Institute of Technology(佐治亚理工学院)
本文通过机制性分析揭示在符号化多步推理任务上训练的Transformer采用深度有界的并行循环机制,并在特定token位置存储中间结果,为理解更复杂模型提供基础。
2024-06-30 cs.LG
Finding Skill Neurons in Pre-trained Transformer-based Language Models
Tsinghua University(清华大学)
基于transformer的预训练语言模型在各种自然语言处理任务上表现出优越的性能。然而,目前尚不清楚处理这些任务所需的技能如何在模型参数之间分布。在本文中,我们发现,在针对特定任务进行提示微调后,预先训练的Transformers中的一些神经元的激活对任务标签具有高度预测性。我们将这些神经元称为技能神经元,并通过以下发现证实它们编码特定于任务的技能:(1)技能神经元对于处理任务至关重要。当相应的技能神经元受到干扰时,预先训练好的Transformers在任务上的表现会显著下降。(2)技能神经元是任务特定的。相似的任务往往具有相似的技能神经元分布。此外,我们证明了技能神经元最有可能在预训练而不是微调中生成,通过显示提示微调发现的技能神经元对于其他微调方法(冻结神经元权重)也至关重要,例如基于适配器的调整和BitFit。我们还探索了技能神经元的应用,包括通过网络修剪加速Transformers和构建更好的可转移性指标。这些发现可能会促进进一步的研究,了解Transformers。源代码可以从https://github.com/THU-KEG/Skill-Neuron获得。
2022-11-14 cs.CL cs.LG
Negative binomial regression and inference using a pre-trained transformer
Tahoe Therapeutics(塔霍制药公司)
针对大规模比较中负二项回归参数估计的计算难题,提出用预训练Transformer从计数数据估计参数,虽优于最大似然且快20倍,但矩估计更快更准,成为最优方案。
2025-08-06 cs.LG stat.ML
JDI-T: Jointly trained Duration Informed Transformer for Text-To-Speech without Explicit Alignment
Kakao Corp.(卡考公司);Kakao Enterprise Corp.(卡考企业公司)
我们提出了联合训练的持续时间通知Transformer(JDI-T),前馈Transformer与持续时间预测器联合训练,没有明确的对齐,以产生一个声学特征序列从输入文本。在这项工作中,受FastSpeech和Durian等持续时间通知网络最近成功的启发,我们进一步将其顺序的两阶段训练管道简化为单阶段训练。具体来说,我们在联合训练期间从自回归Transformer中实时提取音素持续时间,而不是预先训练自回归模型并将其用作音素持续时间提取器。据我们所知,这是第一个联合训练前馈Transformer而不依赖于单个训练管道中的预训练音素持续时间提取器的实现。我们评估所提出的模型的有效性公开可用的韩国单说话人语音(KSS)数据集相比,基线文本转语音(TTS)模型训练ESPnet-TTS。
2020-10-05 cs.CL cs.LG cs.SD
Pre-Trained Image Processing Transformer
Peking University(北京大学);Huawei Technologies(华为技术有限公司);The University of Sydney(悉尼大学);Peng Cheng Laboratory(鹏城实验室)
随着现代硬件的计算能力的强劲增长,预训练的深度学习模型(例如,BERT,GPT-3)在大规模数据集上学习的方法已经显示出其优于传统方法的有效性。这主要归功于Transformer及其变体体系结构的表示能力。在本文中,我们研究了低级计算机视觉任务(例如,去噪、超分辨率和去噪),并开发了一种新的预训练模型,即图像处理Transformer(IPT)。为了最大限度地挖掘Transformer的能力,我们提出利用著名的ImageNet基准来生成大量的损坏图像对。IPT模型在这些具有多头和多尾的图像上进行训练。此外,为了更好地适应不同的图像处理任务,还引入了对比学习。因此,经过微调后,预训练的模型可以有效地用于所需的任务。只有一个预训练模型,IPT在各种低级基准测试中的表现优于当前最先进的方法。代码可在https://github.com/huawei-noah/Pretrained-IPT和https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/IPT上获得
2021-11-08 cs.CV cs.LG
On the validity of pre-trained transformers for natural language processing in the software engineering domain
University of Goettingen(哥廷根大学);TU Clausthal(克劳斯塔尔工业大学)
Transformers是当前许多领域中最先进的自然语言处理技术,并且也在软件工程研究中发挥着牵引作用。这些模型是在大量数据上预先训练的,通常来自一般领域。然而,我们对Transformers在软件工程领域内的有效性只有有限的理解,即,这些模型在理解软件工程上下文中的单词和句子方面有多好,以及这如何提高了最先进的水平。在本文中,我们将阐明这个复杂但关键的问题。我们比较了用软件工程数据训练的BERT Transformer模型和基于一般领域数据的Transformers模型在多个维度上的表现:它们的词汇量,它们理解哪些单词缺失的能力,以及它们在分类任务中的表现。我们的研究结果表明,对于需要理解软件工程上下文的任务,使用软件工程数据进行预训练是有价值的,而一般的领域模型对于一般的语言理解是足够的,也在软件工程领域内。
2022-05-12 cs.LG cs.SE
Transformers Trained via Gradient Descent Can Provably Learn a Class of Teacher Models
The University of Hong Kong(香港大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文研究了通过Transformer学习各类教师模型的理论基础,证明单层Transformer能恢复教师模型的所有参数块并达到最优损失,同时展示其在分布外数据上的泛化能力。
2026-03-24 cs.LG
Towards Fine-Dining Recipe Generation with Generative Pre-trained Transformers
Athens University of Economics and Business(雅典经济与商业大学)
食物是人类生存所必需的。所以我们开发了不同的食谱来满足我们的口味需求。在这项工作中,我们提出了一种使用Transformers(特别是自回归语言模型)从头开始创建新的美食食谱的新颖方法。给定一个小的食物食谱数据集,我们尝试训练模型来识别烹饪技术,提出新的食谱,并用最少的数据测试微调的能力。
2022-09-26 cs.AI cs.CL cs.LG
Scaling Transformers for Time Series Forecasting: Do Pretrained Large Models Outperform Small-Scale Alternatives?
Department of Computer and Information Science (IDA), REAL, AIICS, Linköping University, Sweden(计算机与信息科学系(IDA)、REAL、AIICS、利厄普大学,瑞典)
本文实证比较预训练大规模时间序列模型(如Moirai、TimeGPT)与传统小规模Transformer在多个基准上的表现,揭示预训练模型的优势与局限及其适用场景。
2025-06-24 cs.LG
OPT: Open Pre-trained Transformer Language Models
Meta AI
大语言模型通常经过数十万个计算日的训练,在零样本学习和少样本学习方面表现出了卓越的能力。考虑到它们的计算成本,这些模型很难在没有大量资本的情况下复制。对于通过API提供的少数几个模型,无法访问完整的模型权重,这使得它们难以研究。我们提出了开放式预训练Transformers(OPT),这是一套仅解码器预训练的transformers,参数范围从125 M到175 B,我们的目标是完全负责任地与感兴趣的研究人员分享。我们发现OPT-175 B与GPT-3相当,而仅需要1/7的碳足迹来开发。我们还发布了我们的日志,详细介绍了我们面临的基础设施挑战,以及用于测试所有已发布模型的代码。
2022-06-21 cs.CL cs.LG
Uncovering More Shallow Heuristics: Probing the Natural Language Inference Capacities of Transformer-Based Pre-Trained Language Models Using Syllogistic Patterns
University of St.Gallen(圣加仑大学)
在本文中,我们将探讨基于transformer的预训练语言模型(PLM)所使用的浅层语法,这些模型针对自然语言推理(NLI)进行了微调。为此,我们基于三段论构建或拥有数据集,并在我们的数据集上评估许多模型的性能。我们发现的证据表明,该模型严重依赖于某些浅的物理学,拿起对称性和不对称性之间的前提和假设。我们认为,在我们的研究中,这正在成为一个活跃的辩论在该领域的话题,缺乏概括性,这意味着PLM目前没有学习NLI,而是虚假的语法。
2022-01-19 cs.CL cs.LG
SMILES Transformer: Pre-trained Molecular Fingerprint for Low Data Drug Discovery
University of Tokyo(东京大学);International Research Center for Neurointelligence(国际神经智能研究中心);RIKEN Center for Biosystems Dynamics Research(理化学研究所生物系统动力学研究中心)
在药物发现相关的任务中,如虚拟筛选,机器学习正在成为预测分子特性的一种有前途的方法。传统上,分子指纹(分子的数字表示)是通过基于规则的算法计算的,该算法将分子映射到稀疏的离散空间。然而,这些算法对于浅预测模型或小数据集表现不佳。为了解决这个问题,我们提出了SMILES Transformer。受Transformer和来自自然语言处理的预训练语言模型的启发,SMILES Transformer通过使用SMILES(一种分子文本表示系统)的庞大语料库对序列到序列语言模型进行无监督预训练来学习分子指纹。我们对现有的指纹和基于图的方法在10个数据集上进行了基准测试,并证明了所提出的算法在小数据环境中的优越性,其中预训练有助于良好的泛化。此外,我们定义了一个新的指标,同时衡量模型的准确性和数据效率。
2019-11-12 cs.LG stat.ML
Emotion Recognition with Pre-Trained Transformers Using Multimodal Signals
Orange Labs(奥兰治实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院)
在本文中,我们解决的问题,多模态情感识别从多个生理信号。我们证明了一个基于transformer的方法是适合这项任务。此外,我们提出了如何在多模态场景中对这些模型进行预训练,以提高情感识别性能。我们评估了使用多模态输入和预训练的好处,并在最先进的数据集上使用我们的方法。
2022-12-22 cs.AI cs.LG eess.SP
Modeling and Predicting Transistor Aging under Workload Dependency using Machine Learning
University of Stuttgart(斯图加特大学);UC Irvine(加州大学欧文分校)
针对晶体管老化建模依赖机密物理参数且计算昂贵的问题,提出用机器学习复制物理模型,不泄露机密,跨电路泛化误差仅1.7%,加速20倍,为设计优化提供高精度老化模型。
2022-07-08 cs.LG
FedTune: A Deep Dive into Efficient Federated Fine-Tuning with Pre-trained Transformers
The Hong Kong Polytechnic University(香港理工大学);Huazhong University of Science and Technology(华中科技大学)
联邦学习(FL)是一种新兴的范例,它使分布式用户能够协作和迭代地训练机器学习模型,而无需共享他们的私有数据。受基于自我注意力的架构的有效性和鲁棒性的激励,研究人员正在转向使用预先训练的Transformers(即,基础模型),而不是FL中的传统卷积神经网络,以利用其出色的迁移学习能力。尽管最近取得了进展,但预训练的Transformer模型如何在FL中发挥作用仍然不清楚,即如何在FL中有效地微调这些预训练模型以及FL用户如何从这种新范式中受益。在本文中,我们探讨了这个问题,并证明了微调Transformers实现FL非凡的性能,轻量级的微调方法有利于快速收敛速度和低通信成本。具体地,我们对三种调谐方法进行了严格的实证研究(即,修改输入、添加额外模块、以及调整主干)使用两种类型的预训练模型(即,视觉语言模型和视觉模型)。我们的实验表明:1)当依赖于强的预训练模型时,骨干的偏置项的微调表现最好; 2)视觉语言模型(例如,CLIP)优于纯视觉模型(例如,ViT),并且对Few-Shot设置更鲁棒; 3)与纯局部训练相比,使用预训练模型的FL具有更高的准确性,因为它消除了过拟合问题。我们将发布我们的代码,并鼓励进一步探索预先训练的Transformers和FL。
2022-11-15 cs.CL cs.CV cs.LG
Diffusion-Inspired Reconfiguration of Transformers for Uncertainty Calibration
National University of Singapore(新加坡国立大学);Hanoi University of Science and Technology(河内科学技术大学);National Institute of Advanced Industrial Science and Technology(国家先进工业科学与技术研究院);Washington State University(华盛顿州立大学)
本文提出一种受扩散启发的Transformer重构方法,通过概率映射模拟扩散过程,实现不确定性校准和预测精度提升。
2026-09-09 cs.LG
Tracing Stereotypes in Pre-trained Transformers: From Biased Neurons to Fairer Models
University of Salerno(萨勒诺大学)
本文通过追踪预训练转换器中的偏见神经元,提出了一种在BERT模型中抑制偏见的方法,从而减少模型中的偏见并提升公平性。
2026-01-09 cs.LG cs.SE
Improving N-gram Language Models with Pre-trained Deep Transformer
Facebook(脸书)
尽管n-gram语言模型(language models,LM)的性能已经被最先进的神经LM所超越,但由于其推理效率高,仍然被广泛应用于语音识别中。在本文中,我们证明了n-gram LM可以通过基于文本生成的数据增强方法由神经LM来改进。与以前的方法相比,我们采用大规模的一般域预训练,然后在域微调策略,以构建基于深度Transformer的神经LM。使用经过良好训练的深度Transformer生成大量域内文本数据,以构建新的n-gram LM,然后使用基线n-gram系统进行插值。对不同语音识别任务的实验研究表明,该方法能有效提高识别准确率。特别是,我们提出的方法带来了显着的相对字出错率减少到6.0%的域有限的域内数据。
2019-11-22 cs.CL cs.LG
On the Effect of Pre-training for Transformer in Different Modality on Offline Reinforcement Learning
我们实证研究了对不同模式(如语言和视觉)的数据进行预训练如何影响基于Transformer的模型对Mujoco离线强化学习任务的微调。内部表示的分析表明,预训练的Transformers在预训练前后获得了很大不同的表示,但在微调中获得的数据信息比随机初始化的少。仔细观察预训练的Transformers的参数变化,可以发现它们的参数变化不大,并且用图像数据预训练的模型的不良性能可能部分来自大梯度和梯度裁剪。为了研究使用语言数据预训练的Transformer利用了哪些信息,我们在没有提供上下文的情况下对该模型进行了微调,发现即使没有上下文信息,该模型也能有效地学习。后续的分析支持了这一假设,即用语言数据进行预训练很可能使Transformer获得类似上下文的信息,并利用它来解决下游任务。
2022-11-17 cs.LG stat.ML
Spectrum-Adaptive Generalization Bounds for Trained Deep Transformers
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(日本Advanced Intelligence Project研究中心);Kyoto University(京都大学)
本文提出基于谱适应的深度变换器泛化界,通过层间Schatten量分析谱结构,实现在训练后动态调整谱复杂度与深度维度的平衡,实验表明其泛化能力优于传统范数方法。
2026-11-09 cs.LG stat.ML
Calibration of Pre-trained Transformers
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
预先训练的Transformers现在在自然语言处理中无处不在,但是尽管它们具有高端的任务性能,但很少有人知道它们是否经过校准。具体来说,这些模型的后验概率是否提供了一个准确的经验测量,来衡量模型在给定示例中正确的可能性?我们专注于BERT和RoBERTa在这项工作中,并分析他们的校准跨越三个任务:自然语言推理,释义检测,和常识推理。对于每一项任务,我们都考虑了域内和具有挑战性的域外设置,在这些设置中,模型面临更多的不确定示例。我们证明:(1)当开箱即用时,预训练模型在域内进行校准,与基线相比,其域外校准误差可以低3.5倍;(2)温度缩放在进一步减少域内校准误差方面是有效的,并且使用标签平滑故意增加经验不确定性有助于校准域外后验。
2020-10-15 cs.CL cs.LG
Leveraging Pre-trained and Transformer-derived Embeddings from EHRs to Characterize Heterogeneity Across Alzheimer's Disease and Related Dementias
Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
本研究利用EHR中的预训练医疗代码嵌入和Clinical BERT文本嵌入进行无监督学习,识别阿尔茨海默病及相关痴呆患者中基于共病和文本特征的临床亚群,揭示疾病异质性。
2024-03-30 cs.LG
DNNFuser: Generative Pre-Trained Transformer as a Generalized Mapper for Layer Fusion in DNN Accelerators
Georgia Institute of Technology(佐治亚理工学院)
数据流/映射决定了DNN加速器的计算和能源效率。已经提出了许多映射器来处理层内映射空间。然而,用于层间映射空间(aka层融合映射空间)的映射器很少被讨论。在这项工作中,我们提出了一个映射器,DNNFuser,专门专注于这个层融合映射空间。虽然现有的SOTA DNN映射探索依赖于基于搜索的映射器,但据我们所知,这是第一个提出基于一次性推理的映射器的工作。我们利用Transformer作为DNN架构,将层融合优化作为序列建模问题进行学习。此外,经过训练的DNNFuser可以概括其知识,并为看不见的条件推断新的解决方案。在一次推理过程中,DNNFuser可以推断出与高度优化的基于搜索的映射器找到的解决方案具有兼容性能的解决方案,同时速度提高66 - 127倍。
2022-06-07 cs.AI cs.LG
On the Effect of Dropping Layers of Pre-trained Transformer Models
Dalhousie University(达尔豪斯大学);Qatar Computing Research Institute, Hamad Bin Khalifa University(哈马德·本·哈利法大学卡塔尔计算研究所);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
基于transformer的NLP模型使用数亿甚至数十亿个参数进行训练,限制了它们在计算受限环境中的适用性。虽然参数的数量通常与性能相关,但尚不清楚下游任务是否需要整个网络。受最近关于修剪和提取预训练模型的工作的启发,我们探索了在预训练模型中删除层的策略,并观察修剪对下游GLUE任务的影响。我们能够将BERT、RoBERTa和XLNet模型修剪高达40%,同时保持高达98%的原始性能。此外,我们表明,我们的修剪模型与那些使用知识蒸馏,无论是在规模和性能方面。我们的实验产生了有趣的观察结果,例如,(i)较低的层对于维持下游任务性能是最关键的,(ii)一些任务,如释义检测和句子相似性对层的丢弃更鲁棒,以及(iii)使用不同目标函数训练的模型表现出不同的学习模式和层丢弃。
2022-08-13 cs.CL cs.LG
ScaLA: Accelerating Adaptation of Pre-Trained Transformer-Based Language Models via Efficient Large-Batch Adversarial Noise
Microsoft(微软)
近年来,基于transformer的大型预训练语言模型在许多自然语言理解任务中取得了巨大的进步。为了训练这些模型,许多神经网络从业者试图增加批量大小,以便利用多个GPU来提高训练速度。然而,增加批量大小通常会使优化变得更加困难,导致收敛速度慢或泛化能力差,可能需要多几个数量级的训练时间才能达到相同的模型质量。在本文中,我们探讨了大批量优化的损失景观的陡峭程度,以适应预训练的基于transformer的语言模型特定于领域的任务,并发现它往往是高度复杂和不规则的,对下游任务的泛化提出了挑战。为了应对这一挑战,我们提出了ScaLA,一种新颖而有效的方法来加快预训练的Transformer网络的适应速度。与现有方法不同,我们采用了一种顺序博弈论方法,将轻量级对抗性噪声添加到大批量优化中,从而在保持模型泛化的同时显着提高了自适应速度。实验结果表明,ScaLA在BERT-base和Roberta-large上的GLUE自适应加速比达到2.7- 9.8 $\times$,同时达到了与现有大批量优化方法相当的精度,有时甚至更高。最后,我们还解决了大批量优化与对抗噪声的理论方面,并提供了一个理论收敛率分析ScaLA使用技术分析非凸鞍点问题。
2022-01-29 cs.CL cs.LG
BERT4ETH: A Pre-trained Transformer for Ethereum Fraud Detection
National University of Singapore(新加坡国立大学);Georgia Institute of Technology(佐治亚理工学院)
随着各种形式的欺诈在以太坊上激增,必须防范这些恶意活动,以保护易受影响的用户免受伤害。虽然目前的研究仅仅依赖于基于图的欺诈检测方法,但有人认为它们可能不适合处理高度重复、倾斜分布和异构的以太坊交易。为了解决这些挑战,我们提出了BERT4ETH,这是一种通用的预训练Transformer编码器,可以作为账户表示提取器,用于检测以太坊上的各种欺诈行为。BERT4ETH具有Transformer卓越的建模能力,可以捕捉以太坊交易中固有的动态序列模式,并通过三种实用有效的策略解决了以太坊BERT模型预训练的挑战,即减少重复性,缓解偏斜和异构建模。我们的实证评估表明,BERT4ETH在网络钓鱼账户检测和去匿名化任务方面的性能优于最先进的方法。BERT4ETH的代码可以在https://github.com/git-disl/BERT4ETH上找到。
2023-10-30 cs.CR cs.LG
Federated Learning with Dynamic Transformer for Text to Speech
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
文本到语音(TTS)是用户交互的关键任务,但TTS模型训练依赖于大量高质量的原始数据集。由于隐私和安全问题,原始数据集通常无法直接使用。最近,联邦学习提出了一种流行的分布式机器学习范式,具有增强的隐私保护机制。它为数据所有者提供了一个实用而安全的框架,以便与其他人合作,从而获得在更大数据集上训练的更好的全局模型。然而,由于Transformer模型的高度复杂性,在联邦学习设置中,收敛过程变得缓慢且不稳定。此外,在联邦学习中训练的Transformer模型是昂贵的通信和有限的客户端计算速度,阻碍了其普及。为了应对这些挑战,我们提出了联邦动态Transformer。一方面,与联邦transformer Transformer相比,性能有了很大的提高,随着客户端数量的增加,性能接近集中训练的transformer-TTS。另一方面,它在训练阶段实现了更快,更稳定的收敛,并显着减少了通信时间。在LJSpeech数据集上的实验也有力地证明了该方法的优越性。
2021-07-09 cs.LG
L3Cube-HindBERT and DevBERT: Pre-Trained BERT Transformer models for Devanagari based Hindi and Marathi Languages
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);L3Cube Pune(L3Cube浦那)
模型中心目前提供的单语印地语BERT模型在下游任务上的表现并不比多语言模型好。我们提出了L3 Cube-HindBERT,一个在印地语单语语料库上预训练的印地语BERT模型。此外,由于印度语、印地语和马拉地语共享梵文脚本,我们为两种语言训练单个模型。我们发布了DevBERT,这是一个在马拉地语和印地语单语数据集上训练的Devanagari BERT模型。我们评估这些模型的下游印地语和马拉地语文本分类和命名实体识别任务。基于HindBERT和DevBERT的模型比多语言MuRIL、IndicBERT和XLM-R有显著的改进。基于这些观察,我们还发布了其他印度语言卡纳达语,泰卢固语,马拉雅拉姆语,泰米尔语,古吉拉特语,阿萨姆语,奥迪亚语,孟加拉语和旁遮普语的单语BERT模型。这些模型在https://huggingface.co/l3cube-pune上共享。
2023-01-08 cs.CL cs.LG
HULAT at SemEval-2023 Task 9: Data augmentation for pre-trained transformers applied to Multilingual Tweet Intimacy Analysis
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
本文介绍了我们参与SemEval-2023任务9,多语言推文的亲密度分析。我们使用不同数据增强技术生成的训练数据集和合成数据对一些最流行的Transformer模型进行了微调。在开发阶段,我们使用XLM-T获得了最佳结果。数据增强技术在结果中提供非常轻微的改进。我们的系统在45个参与系统中排名第27位。尽管结果不多,但我们的系统在葡萄牙语、英语和荷兰语等语言中显示出令人鼓舞的结果。我们所有的代码都可以在存储库\url{https://github.com/isegura/hulat_intimacy}中找到。
2023-02-24 cs.AI cs.CL cs.LG
Unsupervised Out-of-Domain Detection via Pre-trained Transformers
Columbia University(哥伦比亚大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学);Salesforce Research(赛富时研究院)
部署的真实世界机器学习应用程序经常受到不受控制甚至潜在恶意输入的影响。这些域外输入可能导致不可预测的输出,有时甚至是灾难性的安全问题。以前的研究领域外的检测需要领域内的任务标签,并限于监督分类的情况下。我们的工作解决了只有无监督的域内数据检测域外样本的问题。我们利用预先训练的Transformers的潜在表示,并提出了一种简单而有效的方法来转换所有层的特征,以有效地构建域外检测器。进一步提出了两种特定领域的微调方法,以提高检测精度。我们在两个数据集上对相关方法进行了实证评估,验证了我们的方法在更一般的情况下大大提高了域外检测能力。
2022-05-20 cs.CL cs.LG
Domain Adaptation with Pre-trained Transformers for Query Focused Abstractive Text Summarization
Dialpad Canada Inc.(Dialpad加拿大公司);Information Retrieval & Knowledge Management Research Lab, York University(约克大学信息检索与知识管理研究实验室);School of Information Technology, York University(约克大学信息技术学院)
以查询为中心的文本摘要(QFTS)任务旨在构建基于给定查询生成文本文档摘要的系统。解决此任务的一个关键挑战是缺乏用于训练摘要模型的大型标记数据。在本文中,我们通过探索一系列领域自适应技术来应对这一挑战。鉴于最近成功的预训练的Transformer模型在广泛的自然语言处理任务,我们利用这样的模型生成抽象摘要的QFTS任务的单文档和多文档的情况。对于领域自适应,我们使用预先训练的基于transformer的摘要模型应用各种技术,包括迁移学习,弱监督学习和远程监督。在六个数据集上进行的大量实验表明,我们提出的方法在为QFTS任务生成抽象摘要方面非常有效,同时在一组自动和人工评估指标的多个数据集中设置了一个新的最先进的结果。
2021-12-22 cs.AI cs.CL cs.LG
GPT4MIA: Utilizing Generative Pre-trained Transformer (GPT-3) as A Plug-and-Play Transductive Model for Medical Image Analysis
Nanjing University of Science and Technology(南京理工大学);University of Notre Dame(圣母大学)
在本文中,我们提出了一种新的方法(称为GPT 4 MIA),利用生成预训练的Transformer(GPT)作为一个即插即用的医学图像分析(MIA)的转导推理工具。我们提供了理论分析,为什么一个大的预训练的语言模型,如GPT-3可以用作MIA的即插即用的转导推理模型。在方法层面,我们开发了几种技术处理方法来提高GPT 4 MIA的效率和有效性,包括更好的提示结构设计,样本选择和代表性样本/特征的提示排序。我们提出了GPT 4 MIA的两个具体用例(带有工作流程):(1)检测预测错误和(2)提高预测准确性,使用完善的基于视觉的图像分类模型进行推测(例如,ResNet)。实验证明,我们提出的方法是有效的,这两个任务。我们进一步讨论的机会和挑战,利用基于transformer的大语言模型更广泛的MIA应用程序。
2023-03-21 cs.AI cs.CV cs.LG
raceBERT -- A Transformer-based Model for Predicting Race and Ethnicity from Names
New York University(纽约大学)
本文介绍了raceBERT --一个基于transformer的模型,用于从名字中的字符序列预测种族和民族,以及一个附带的Python包。该模型使用在美国佛罗里达州选民登记数据集上训练的基于transformer的模型,预测姓名属于5个美国人口普查种族类别(白人,黑人,西班牙裔,亚洲和太平洋岛民,美洲印第安人和阿拉斯加原住民)的可能性。我在Sood和Laohaprapanon(2018)的基础上,用基于transformer的模型(预训练的BERT模型和从头开始训练的roBERTa模型)替换他们的LSTM模型,并比较结果。据我所知,raceBERT在使用名字进行种族预测方面取得了最先进的结果,平均f1分数为0.86 -比之前的最先进水平提高了4.1%,对于非白人名字的改进在15-17%之间。
2021-12-09 cs.CL cs.LG
Detecting COVID-19 Conspiracy Theories with Transformers and TF-IDF
University of California, Berkeley(加州大学伯克利分校)
在社交媒体上分享假新闻和阴谋论会产生广泛的负面影响。通过设计和应用不同的机器学习模型,研究人员在从文本中检测假新闻方面取得了进展。然而,现有的研究非常重视一般的、常识性的假新闻,而在现实中,假新闻往往涉及快速变化的话题和特定领域的词汇。在本文中,我们介绍了MediaEval基准测试2021中三个假新闻检测任务的方法和结果,这些任务具体涉及COVID-19相关主题。我们实验了一组基于文本的模型,包括支持向量机,随机森林,BERT,和ROBERTa。我们发现,一个预先训练的Transformer产生最好的验证结果,但一个随机初始化的Transformer与智能设计也可以训练,以达到接近的精度,预先训练的Transformer。
2022-05-01 cs.CL cs.LG
Transformers trained on proteins can learn to attend to Euclidean distance
University of Oxford(牛津大学);Exscientia
本研究证明输入坐标线性嵌入的Transformer可独立作为结构模型,解释了其注意力形成3D高斯的机制,验证了理论并表明结构预训练能提升蛋白质Transformer的下游任务表现。
2025-02-03 cs.AI cs.LG q-bio.BM
Pre-trained Transformer Uncovers Meaningful Patterns in Human Mobility Data
Rakuten Institute of Technology(乐天技术研究所)
本研究通过在国家级未标记人类移动数据上预训练Transformer,得到的嵌入经微调可理解地理与移动模式,在多类相关任务中最高提升38%性能,为下游应用提供稳健表征。
2024-12-12 cs.AI cs.CY cs.LG
TransOpt: Transformer-based Representation Learning for Optimization Problem Classification
Jožef Stefan Institute(约泽夫·斯蒂芬研究所);Jožef Stefan International Postgraduate School(约泽夫·斯蒂芬国际研究生院)
本文提出TransOpt,利用Transformer架构学习优化问题表示,在BBOB基准的24类问题分类中达到70%-80%准确率,验证了Transformer用于黑盒优化问题表示学习的可行性。
2023-11-29 cs.LG math.OC
MoRE: Batch-Robust Multi-Omics Representations from Frozen Pre-trained Transformers
Lovemunote AI
MoRE通过参数高效微调策略,实现多组学数据的鲁棒表示学习,减少可训练参数并提升跨细胞类型和平台的泛化能力。
2025-11-26 cs.LG q-bio.GN
Gene Regulatory Network Inference from Pre-trained Single-Cell Transcriptomics Transformer with Joint Graph Learning
Virginia Polytechnic Institute and State University(弗吉尼亚理工大学)
本研究提出一种联合图学习方法,结合预训练单细胞语言模型scBERT与图神经网络,整合基因表达约束与GRN结构化知识,在BEELINE基准上优于现有基线,深化了对细胞调控机制的理解。
2024-07-25 cs.AI cs.LG