Transformers on Markov Data: Constant Depth Suffices
UC Berkeley(加州大学伯克利分校);EPFL(洛桑联邦理工学院)
研究Transformer在k阶马尔可夫数据上的行为,发现固定深度单头模型即可实现低测试损失,并证明三层Transformer能表示上下文条件经验分布,揭示了其捕获上下文的机制。
2024-07-25 cs.CL cs.IT cs.LG
BITS Pilani at HinglishEval: Quality Evaluation for Code-Mixed Hinglish Text Using Transformers
BITS Pilani(比尔拉科学技术学院皮拉尼分校)
代码混合文本数据由包含来自多种语言的单词或短语的句子组成。世界上大多数多语言社区使用多种语言进行交流,英语通常是其中之一。印度式英语是一种由印度语和英语组成的代码混合文本,但以罗马字母书写。本文的目的是确定影响由系统生成的代码混合文本数据的质量的因素。对于Hinglish Eval任务,该模型使用多语言BERT来找到合成生成的句子和人类生成的句子之间的相似性,以预测合成生成的Hinglish句子的质量。
2022-06-17 cs.CL cs.LG
Code Prediction by Feeding Trees to Transformers
Facebook Inc.(脸书公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Columbia University(哥伦比亚大学)
本文提出让 Transformer 感知代码句法树结构以提升代码下一个 token 预测准确率,并在标准及 Facebook 内部 Python 数据集上显著超越 RNN、Deep3 与 Code2Seq。
2021-03-08 cs.LG cs.SE
An Empirical Study of Training End-to-End Vision-and-Language Transformers
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Corporation(微软公司)
视觉和语言(VL)预培训已被证明对各种VL下游任务非常有效。虽然最近的工作表明,完全基于transformer的VL模型可以比以前的基于区域特征的方法更有效,但它们在下游任务上的性能往往会显着下降。在本文中,我们提出了METER,一个多模式端到端的Transformer框架,通过它,我们研究了如何以端到端的方式设计和预训练一个完全基于transformer的VL模型。具体来说,我们沿着多个维度剖析模型设计:视觉编码器(例如,CLIP-ViT、Swin Transformer)、文本编码器(例如,RoBERTa,DeBERTa),多模态融合模块(例如,合并注意力对共同注意力),建筑设计(例如,仅编码器对编码器-解码器),以及预训练目标(例如,掩码图像建模)。我们进行全面的实验,并提供有关如何训练一个高性能的VL Transformer的见解。METER仅使用4 M图像进行预训练,在VQAv 2测试标准集上实现了77.64%的准确率,超过了最先进的基于区域特征的模型1.04%,并超过了之前最好的完全基于transformer的模型1.6%。值得注意的是,当进一步扩大规模时,我们最好的VQA模型的准确率达到80.54%。代码和预训练模型在https://github.com/zdou0830/METER上发布。
2022-03-18 cs.CL cs.CV cs.LG
Calibration of Pre-trained Transformers
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
预先训练的Transformers现在在自然语言处理中无处不在,但是尽管它们具有高端的任务性能,但很少有人知道它们是否经过校准。具体来说,这些模型的后验概率是否提供了一个准确的经验测量,来衡量模型在给定示例中正确的可能性?我们专注于BERT和RoBERTa在这项工作中,并分析他们的校准跨越三个任务:自然语言推理,释义检测,和常识推理。对于每一项任务,我们都考虑了域内和具有挑战性的域外设置,在这些设置中,模型面临更多的不确定示例。我们证明:(1)当开箱即用时,预训练模型在域内进行校准,与基线相比,其域外校准误差可以低3.5倍;(2)温度缩放在进一步减少域内校准误差方面是有效的,并且使用标签平滑故意增加经验不确定性有助于校准域外后验。
2020-10-15 cs.CL cs.LG
StructCoder: Structure-Aware Transformer for Code Generation
Virginia Tech(弗吉尼亚理工大学)
针对现有代码生成模型对代码语法语义理解不足的问题,提出结构感知Transformer模型StructCoder,通过在编码器和解码器中分别融入语法、数据流信息及相关辅助任务,在多个代码生成基准上取得优于同规模基线的性能。
2024-01-30 cs.LG cs.SE
Palomino-Ochoa at SemEval-2020 Task 9: Robust System based on Transformer for Code-Mixed Sentiment Classification
Universidad Católica San Pablo(圣巴勃罗天主教大学)
我们提出了一个迁移学习系统来执行混合的西班牙语-英语情感分类任务。我们的建议使用最先进的语言模型BERT,并将其嵌入ULMFiT迁移学习管道中。这种组合使我们能够预测代码混合(英语-西班牙语)推文的极性检测。因此,在29个提交的系统中,我们的方法(称为dplominop)在SemEval 2020任务9的Sentimix Spanglish测试集上排名第四。事实上,我们的系统产生的加权F1得分值为0.755,可以很容易地复制-源代码和实现细节是可用的。
2020-11-18 cs.CL cs.LG
TreeGen: A Tree-Based Transformer Architecture for Code Generation
Peking University(北京大学);University of Alberta(阿尔伯塔大学)
一种代码生成系统基于输入的自然语言描述生成程序设计语言代码。现有技术的方法依赖于神经网络来进行代码生成。然而,这些代码生成器存在两个问题。一个是长依赖性问题,其中代码元素通常依赖于另一个遥远的代码元素。例如,变量引用取决于它的定义,它可能出现在相当多的行之前。另一个问题是结构建模,因为程序包含丰富的结构信息。在本文中,我们提出了一种新的基于树的神经架构,TreeGen,代码生成。TreeGen使用Transformers的注意力机制来缓解长依赖问题,并引入了一种新的AST阅读器(编码器),将语法规则和AST结构纳入网络。我们在一个Python基准测试HearthStone和两个语义解析基准测试ATIS和GEO上评估了TreeGen。TreeGen在HearthStone上的表现超过了之前最先进的方法4.5个百分点,并且在ATIS(89.1%)和GEO(89.6%)上实现了基于神经网络的方法中的最佳准确性。我们还进行了消融测试,以更好地了解我们模型的每个组件。
2019-11-28 cs.LG cs.SE
Understanding Code Semantics: An Evaluation of Transformer Models in Summarization
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文通过改名、死代码和注释代码等对抗实验,评估Transformer模型在代码摘要中是否真正理解代码语义,旨在揭示模型内部机制并提升软件开发效率。
2023-10-27 cs.LG
CMLFormer: A Dual Decoder Transformer with Switching Point Learning for Code-Mixed Language Modeling
Courant Institute of Mathematical Sciences(Courant数学科学研究所);Tandon School of Engineering(Tandon工程学院)
针对语码混合语言的结构挑战,提出带共享编码器与同步交叉注意力的双解码器Transformer模型CMLFormer,结合多任务预训练捕捉切换特性,在HASOC-2021基准上性能优于现有方法,且对切换点具备识别敏感性。
2025-05-19 cs.CL cs.LG
Why are Sensitive Functions Hard for Transformers?
Saarland Informatics Campus(萨尔兰信息学园区);Saarland University(萨尔兰大学)
本研究证明Transformer的损失景观受输入空间敏感性约束,敏感函数导致参数空间孤立点,从而产生低敏感性泛化偏差,统一解释了其学习困难,强调需结合损失景观理解归纳偏差。
2024-05-27 cs.LG
DeepSumm -- Deep Code Summaries using Neural Transformer Architecture
源代码摘要是编写源代码在运行时间期间的行为的简短、自然语言描述的任务。这样的摘要对于软件开发和维护非常有用,但是手动编写成本很高,因此它只针对生成的一小部分代码完成,并且经常被忽略。自动化的代码文档可能以较低的成本解决这个问题。因此,这是一个新兴的研究领域,进一步应用程序的理解,软件维护。传统的方法通常依赖于以模板形式构建的认知模型,这些模型由开发人员社区在不同程度上采用。但随着最近的进步,基于神经技术的端到端数据驱动方法已经在很大程度上超过了传统技术。目前的大部分景观采用基于神经翻译的架构,具有递归和注意力,这是资源和时间密集型的训练过程。在本文中,我们采用神经技术来解决源代码总结的任务,并具体比较基于NMT的技术,更简化和吸引人的Transformer架构上的Java方法和注释的数据集。我们提出了一个论点,以免除在培训过程中的需要递归。据我们所知,基于Transformer的模型以前没有用于该任务。通过超过210万条评论和代码的监督样本,我们将训练时间减少了50%以上,并在测试样本集上获得了17.99的BLEU分数。
2020-03-31 cs.CL cs.LG
Transformer Scalability Crisis: The First Comprehensive Empirical Analysis of Performance Walls in Modern Language Models
Research Division, BrightMind AI(BrightMind AI研究部);Texas Tech University(德克萨斯科技大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文通过评估118种transformer模型,揭示了模型在序列长度扩展时的性能瓶颈,发现随着序列长度增加,模型处理能力显著下降,挑战了传统扩展假设。
2026-05-14 cs.LG
A Transformer-based Approach for Source Code Summarization
University of California, Los Angeles(加州大学洛杉矶分校);Columbia University(哥伦比亚大学)
生成描述程序功能的可读摘要称为源代码摘要。在这个任务中,通过对代码标记之间的成对关系建模来学习代码表示以捕获它们的长期依赖关系是至关重要的。为了学习用于摘要的代码表示,我们探索了使用自我注意力机制的Transformer模型,该模型已被证明在捕获长距离依赖关系方面是有效的。在这项工作中,我们表明,尽管这种方法很简单,但它的性能明显优于最先进的技术。我们进行了广泛的分析和消融研究,揭示了几个重要的发现,例如,源代码标记的位置的绝对编码阻碍了摘要的性能,而相对编码显著提高了摘要的性能。我们已经公开了我们的代码,以方便未来的研究。
2020-05-01 cs.AI cs.LG cs.SE
Empirical Capacity Model for Self-Attention Neural Networks
Maastricht University(马斯特里赫特大学)
本文通过常见训练算法与合成数据研究Transformer的记忆容量,提出经验容量模型ECM,用于在给定目标记忆能力时设计参数数量最优的任务专用Transformer。
2024-07-31 cs.AI cs.CL cs.LG
Seamlessly Integrating Tree-Based Positional Embeddings into Transformer Models for Source Code Representation
Adam Mickiewicz University(亚当·密茨凯维奇大学)
针对传统Transformer位置嵌入无法捕捉源代码层次结构的问题,提出基于AST的树状位置嵌入方法增强CodeBERTa模型,经MLM预训练和克隆检测任务验证,多项指标均优于基线。
2025-07-05 cs.LG
Explicit Reordering for Neural Machine Translation
National Institute of Information and Communications Technology (NICT)(信息通信研究机构(NICT))
在基于transformer的神经机器翻译(NMT)中,位置编码机制帮助自注意网络学习具有顺序依赖性的源表示,使得基于transformer的NMT在各种翻译任务中都能获得最佳的结果。然而,基于变换器的NMT仅将位置的表示顺序地添加到输入句子中的词向量,并且没有显式地考虑该句子中的重排序信息。本文首先实证研究了源语重排信息与翻译效果之间的关系。实验结果表明,从双语并行数据集学习的目标顺序的源输入可以大大提高翻译性能。因此,我们提出了一种新的重排序方法来明确地为基于变换器的NMT建模这种重排序信息。在WMT 14英-德、WAT ASPEC日-英和WMT 17中-英翻译任务上的实验结果表明了该方法的有效性。
2020-04-08 cs.CL cs.LG
TransICD: Transformer Based Code-wise Attention Model for Explainable ICD Coding
The Ohio State University(俄亥俄州立大学)
国际疾病分类(ICD)编码程序是指在医疗记录上标注诊断代码,已被证明是有效的,对医疗部门的计费系统至关重要。目前,ICD代码是手动分配给临床记录的,这可能会导致许多错误。此外,培训熟练的程序员也需要时间和人力资源。因此,自动化ICD代码确定过程是一项重要任务。随着人工智能理论和计算硬件的发展,机器学习方法已经成为一种合适的解决方案来自动化这个过程。在这个项目中,我们应用基于transformer的架构来捕获文档的令牌之间的相互依赖性,然后使用代码方面的注意力机制来学习整个文档的特定于代码的表示。最后,它们被馈送到单独的密集层,用于相应的代码预测。此外,为了处理临床数据集的代码频率的不平衡,我们采用标签分布感知边缘(LDAM)损失函数。MIMIC-III数据集上的实验结果表明,我们提出的模型明显优于其他基线。特别是,我们的最佳设置实现了0.923的微AUC得分,而双向递归神经网络的得分为0.868。我们还表明,通过使用代码明智的注意力机制,该模型可以提供更多的见解,其预测,因此它可以支持临床医生作出可靠的决定。我们的代码可在线获取(https://github.com/biplob1ly/TransICD)
2021-03-28 cs.CL cs.LG
Solving Empirical Bayes via Transformers
Department of EECS, MIT(MIT电子工程与计算机科学系)
本工作提出使用transformers解决经验贝叶斯下的泊松均值估计问题,通过在合成数据上预训练实现上下文学习,理论上证明其遗憾值随维度趋于零,实践中极小模型即超越经典NPMLE算法。
2025-05-28 cs.LG stat.ML
JavaBERT: Training a transformer-based model for the Java programming language
Kiel University(基尔大学)
在开发新的软件代码时,代码质量是并将是一个关键因素,需要适当的工具来确保代码的功能和可靠性。机器学习技术仍然很少用于软件工程工具,错过了其应用的潜在好处。自然语言处理已经显示出处理关于各种任务的文本数据的潜力。我们认为,这样的模型也可以显示类似的好处,软件代码处理。在本文中,我们研究了如何用于自然语言处理的模型可以在软件代码上进行训练。我们介绍了一个数据检索管道的软件代码和训练模型上的Java软件代码。由此产生的模型,JavaBERT,显示了高精度的掩蔽语言建模任务显示其潜在的软件工程工具。
2021-10-20 cs.LG cs.SE
PyMT5: multi-mode translation of natural language and Python code with transformers
Microsoft Cloud and AI(微软云和人工智能部门);Stanford University(斯坦福大学)
同时对源代码和自然语言建模在自动化软件开发和理解中有许多令人兴奋的应用。为了实现这种技术,我们引入了PyMT 5,Python方法文本到文本转换Transformer,它被训练为在所有Python方法特征组合之间进行转换:一个单一的模型,既可以从自然语言文档字符串(docstrings)预测整个方法,也可以将代码总结为任何常见风格的docstrings。我们对一个包含2600万个Python方法和770万个方法-文档字符串对的大规模并行语料库进行了分析和建模,结果表明,对于文档字符串和方法生成,PyMT 5的性能优于类似大小的自回归语言模型(GPT 2),后者是英语预训练或随机初始化的。在CodeSearchNet测试集上,我们的最佳模型预测了92.1%的语法正确的方法体,方法生成的BLEU得分为8.59,文档字符串生成(摘要)的BLEU得分为16.3,方法生成的ROUGE-LF得分为24.8,文档字符串生成的ROUGE-LF得分为36.7。
2020-10-07 cs.LG cs.SE
An Empirical Study Of Self-supervised Learning Approaches For Object Detection With Transformers
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
自监督学习(SSL)方法(如掩蔽语言建模)通过预训练用于各种自然语言处理任务的Transformer模型而显示出巨大的性能增益。后续研究采用了类似的方法,如视觉Transformer中的掩码图像建模,并证明了图像分类任务的改进。对于目标检测Transformers(DETR,可变形DETR),没有详尽地研究这种简单的自监督方法,因为它们的Transformer编码器模块在卷积神经网络(CNN)提取的特征空间中而不是像一般的视觉Transformer那样在图像空间中获取输入。然而,CNN特征图仍然保持空间关系,我们利用这一属性来设计自监督学习方法,以在预训练和多任务学习设置中训练目标检测Transformers的编码器。我们探讨了常用的基于图像重建、掩码图像建模和拼图的自监督方法。在iSAID数据集中的初步实验表明,在预训练和多任务学习设置中,DETR在初始阶段的收敛速度更快;然而,在使用可变形DETR的多任务学习中没有观察到类似的改进。我们用DETR和可变形DETR进行实验的代码可分别在https://github.com/gokulkarthik/detr和https://github.com/gokulkarthik/Deformable-DETR上获得。
2022-05-11 cs.AI cs.CV cs.LG
Setting the Record Straight on Transformer Oversmoothing
University College London(伦敦大学学院);University of Oxford(牛津大学)
本研究澄清了Transformer的过度平滑问题,发现特征相似度增加并非不可避免,理论上其取决于value和projection权重的特征谱及层归一化权重符号,并提出通过参数化更新方程影响平滑行为的方法。
2024-07-27 cs.LG
Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer
Key Laboratory of High Confidence Software Technology (PKU), MOE, Beijing, China(高可信软件技术重点实验室(PKU),教育部,北京,中国);School of Computer Science, Peking University, Beijing, China(计算机学院,北京大学,北京,中国);Shanghai AI Lab, Shanghai, China(上海人工智能实验室,上海,中国);Shanghai Innovation Institute, Shanghai, China(上海创新研究院,上海,中国)
提出离散Transformer架构,通过温度退火采样注入离散性,结合假设检验和符号回归从模型权重中提取可解释算法,在离散任务上性能与RNN基线相当,并扩展到连续中间计算任务。
2026-05-29 cs.CL cs.LG
Empirical Evaluation of Pretraining Strategies for Supervised Entity Linking
Google Research(谷歌研究院)
在这项工作中,我们提出了一个实体链接模型,它结合了Transformer架构与大规模的预训练维基百科链接。我们的模型在两个常用的实体链接数据集上达到了最先进的水平:CoNLL上的96.7%和TAC-KBP上的94.9%。我们提出了详细的分析,以了解什么样的设计选择是重要的实体链接,包括选择负实体候选人,Transformer架构,和输入扰动。最后,我们提出了更有挑战性的设置,如端到端的实体链接和实体链接,没有域内训练数据有希望的结果。
2020-05-28 cs.CL cs.LG
Hierarchical Label-wise Attention Transformer Model for Explainable ICD Coding
University of New South Wales(新南威尔士大学);The Australian e-Health Research Centre, CSIRO(澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心);Australian Institute of Health and Welfare(澳大利亚卫生与福利研究所)
国际疾病分类(ICD)编码在发病率和死亡率数据的系统分类中发挥着重要作用。在这项研究中,我们提出了一个分层的标签式注意力Transformer模型(HiLAT)的ICD代码的解释性预测从临床文件。HiLAT首先微调预训练的Transformer模型以表示临床文档的标记。随后,我们采用了两个层次的标签明智的注意力机制,创建标签特定的文档表示。这些表示又被前馈神经网络用来预测特定ICD代码是否被分配给感兴趣的输入临床文档。我们使用来自MIMIC-III数据库的出院总结及其相应ICD-9代码评价HiLAT。为了研究不同类型的Transformer模型的性能,我们开发了ClinicalplusXLNet,它使用所有MIMIC-III临床笔记从XLNet-Base进行持续的预训练。实验结果表明,HiLAT+ClinicalplusXLNet的F1评分优于MIMIC-III中前50个最常见ICD-9代码的先前最先进模型。注意力权重的可视化提供了一个潜在的可解释性工具,用于检查ICD代码预测的表面有效性。
2022-09-30 cs.CL cs.LG
Understanding the Generalization of In-Context Learning in Transformers: An Empirical Study
Tsinghua University(清华大学)
该研究通过三维任务框架实证探究Transformer上下文学习的泛化能力,发现其缺乏问题间泛化但任务内、问题内泛化优异,混合多样训练任务可显著提升泛化效果,为训练数据设计提供指导。
2025-03-19 cs.LG
Automating Code-Related Tasks Through Transformers: The Impact of Pre-training
USI Università della Svizzera italiana(瑞士意大利语区大学)
Transformers在软件工程(SE)文献中已经得到普及。这些深度学习模型通常通过自我监督目标进行预训练,旨在为模型提供关于感兴趣语言的基本知识(例如,Java)。经典的预训练目标是掩码语言模型(MLM),其中来自输入的令牌的百分比(例如,Java方法)被屏蔽,模型负责预测它们。一旦预训练,然后微调模型以支持感兴趣的特定下游任务(例如,代码摘要)。虽然有证据表明预培训可以提高绩效,但对所使用的具体预培训目标的影响知之甚少。事实上,MLM只是可能的预训练目标之一,最近自然语言处理领域的工作表明,为特定的下游任务量身定制的预训练目标可能会大大提高模型的性能。在这项研究中,我们专注于自动化代码相关任务时,预训练目标对Transformers性能的影响。我们首先进行了系统的文献综述,旨在确定SE中使用的预培训目标。然后,我们使用(i)SE中通常采用的通用预训练目标和(ii)针对我们实验主题的特定代码相关任务(即bug修复,代码总结和代码完成)量身定制的预训练目标来预训练32个Transformers。我们还将预训练模型与非预训练模型进行了比较。我们的研究结果表明:(i)只有在可用的微调数据量很小的情况下,预训练才有助于提高性能;(ii)MLM目标通常足以最大限度地提高模型的预测性能,即使将其与专门针对当前下游任务的预训练目标进行比较。
2023-02-08 cs.LG cs.SE
ViTAMINS: An Empirical Study of Training Self-Supervised Vision Transformers with Synthetic Hard Negatives
Imperial College London(帝国理工学院)
本研究提出ViTAMINS方法,将合成难负样本用于视觉Transformer预训练,经多任务基准测试,该方法性能优于竞争模型且资源效率更高,推动对比学习成为主流生成式与自蒸馏方法的替代方案。
2026-09-02 cs.AI cs.CV cs.LG
Unified Error Correction Code Transformer with Low Complexity
针对现有AI纠错码解码器计算复杂度高的问题,提出一种低复杂度统一Transformer解码器,通过标准化单元对齐、低秩统一注意力和稀疏掩码实现多码型解码,复杂度降86%且性能更优,为6G通信提供高效方案。
2025-10-30 cs.IT cs.LG math.IT
Planning with Large Language Models for Code Generation
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);The University of Hong Kong(香港大学);MIT(麻省理工学院);UMass Amherst(马萨诸塞大学阿默斯特分校)
现有的基于大型语言模型的代码生成流水线通常在解码过程期间使用束搜索或采样算法。虽然它们生成的程序获得了很高的基于标记匹配的分数,但它们通常无法编译或生成不正确的输出。主要原因是传统的Transformer解码算法可能不是代码生成的最佳选择。在这项工作中,我们提出了一种新的Transformer解码算法,规划引导的Transformer解码(PG-TD),使用规划算法做前瞻搜索,并指导Transformer生成更好的程序。具体地说,Transformer不是简单地优化生成序列的可能性,而是利用规划器来生成候选程序并在公共测试用例上测试它们。因此,Transformer可以做出更明智的决策,并生成最终导致更高质量程序的令牌。我们还设计了一个机制,共享信息之间的Transformer和规划,使我们的算法计算效率。我们以几个大语言模型作为公共编码挑战基准测试的主干,对我们的框架进行了经验评估,结果表明:1)与竞争基线方法相比,它可以生成持续实现更高性能的程序; 2)它可以通过优化修改目标来实现可控的代码生成,例如简洁代码和高度注释的代码。
2023-03-09 cs.AI cs.CL cs.LG
Contextual Hate Speech Detection in Code Mixed Text using Transformer Based Approaches
Sri Jayachamarajendra College of Engineering(斯里贾亚查马拉杰德拉工程学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
最近,社交媒体平台帮助人们与更广泛的受众进行联系和沟通。但这也导致了网络欺凌的急剧增加。必须检测和遏制仇恨言论,以保持社交媒体平台的正常运作。此外,在这些平台上经常使用包含多种语言的代码混合文本。因此,我们提出了自动化技术,从刮Twitter的代码混合文本中的仇恨言论检测。我们特别关注混合英语-印地语文本和基于transformer的方法的代码。虽然常规方法独立分析文本,但我们也以父推文的形式使用内容文本。我们尝试评估多语言BERT和Indic-BERT在单编码器和双编码器设置下的性能。第一种方法是使用分隔符标记连接目标文本和上下文文本,并从BERT模型中获得单个表示。第二种方法使用双BERT编码器独立地对两个文本进行编码,并且对相应的表示进行平均。我们表明,双编码器的方法,使用独立的表示产生更好的性能。我们还采用简单的集成方法,以进一步提高性能。使用这些方法,我们在HASOC 2021 ICHCL代码混合数据集上报告了73.07%的最佳F1得分。
2021-11-01 cs.CL cs.LG
GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization
University of Southern California(南加州大学)
与自然语言相反,源代码理解受标记之间的语法关系的影响,而不管它们的标识符名称。源代码的图形表示(如抽象树(AST))可以捕获标记之间的关系,这些关系在源代码中并不明显。我们提出了一种新的方法,GN-Transformer在融合序列和图形模态上学习端到端,我们称之为Syntax-Code-Graph(SCG)。GN-Transformer使用自注意机制扩展了图网络(GN)框架。SCG是源代码片段和AST表示之间早期融合的结果。我们对SCG的结构进行了实验,对模型设计进行了消融研究,并得出结论,性能优势来自融合表示。所提出的方法在两个代码摘要数据集和三个自动代码摘要度量(BLEU,METEOR,ROUGE-L)上实现了最先进的性能。我们进一步评估我们的模型和以前的工作与专家用户的研究人类感知质量。我们的模型在人类感知质量和准确性方面优于最先进的技术。
2021-11-17 cs.LG cs.PL
Efficient Software Vulnerability Detection Using Transformer-based Models
DePaul University(德保罗大学)
本文提出利用变压器模型进行C/C++漏洞检测,通过程序切片提取关键语法和语义特征,结合数据平衡和超参数调优,实现高效准确的漏洞识别。
2026-03-31 cs.CR cs.LG cs.SE
Transformers as Multi-task Learners: Decoupling Features in Hidden Markov Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文通过分析 Transformer 在隐马尔可夫模型上的逐层行为,发现低层提取邻近 token 特征、高层实现特征解耦与时序解纠缠,并据此给出表达能力理论分析,为多任务序列学习提供理论支撑。
2025-06-02 cs.AI cs.LG
A Transformer-Based Approach for Smart Invocation of Automatic Code Completion
Delft University of Technology(代尔夫特理工大学)
针对代码补全模型过度建议干扰开发者的问题,提出基于Transformer的调用预测模型,利用代码上下文和遥测数据决定何时触发补全,实验显示性能优于基线且延迟低,并在真实环境中验证了有效性。
2024-05-23 cs.AI cs.HC cs.LG
Hybrid Mamba-Transformer Decoder for Error-Correcting Codes
School of Electrical and Computer Engineering(电气与计算机工程学院);Ben-Gurion University of the Negev(贝内尔-加利利大学内盖夫分校);Blavatnik School of Computer Science(Blavatnik计算机科学学院);Tel Aviv University(特拉维夫大学)
本文提出一种混合Mamba-Transformer解码器,结合Mamba高效序列建模与Transformer全局上下文,并引入逐层掩蔽和渐进损失,在多种线性码上显著优于纯Transformer和标准Mamba解码器。
2025-05-23 cs.AI cs.IT cs.LG
An Empirical Study of Training Self-Supervised Vision Transformers
Facebook AI Research (FAIR)(脸书人工智能研究院)
本文没有描述一种新方法。相反,鉴于计算机视觉的最新进展,它研究了一个简单的,增量的,但必须知道的基线:视觉Transformer(ViT)的自监督学习。虽然标准卷积网络的训练方法已经非常成熟和强大,但ViT的方法还有待建立,特别是在训练变得更具挑战性的自监督场景中。在这项工作中,我们回到基础知识,并研究了几个基本组成部分对训练自我监督ViT的影响。我们观察到,不稳定性是降低准确性的主要问题,并且它可以被表面上良好的结果所隐藏。我们发现,这些结果确实是部分失败的,他们可以得到改善时,培训更加稳定。我们在MoCo v3和其他几个自监督框架中对ViT结果进行了基准测试,并在各个方面进行了消融。我们讨论了目前的积极证据以及挑战和开放的问题。我们希望这项工作将为未来的研究提供有用的数据点和经验。
2021-08-16 cs.CV cs.LG
Tree-Transformer: A Transformer-Based Method for Correction of Tree-Structured Data
Boston University(波士顿大学);Draper(德雷珀实验室)
许多常见的顺序数据源(如源代码和自然语言)都具有自然的树结构表示。这些树可以通过将序列拟合到语法来生成,从而产生序列中标记的层次排序。这种结构编码了高度的句法信息,使其成为解决语法纠正等问题的理想方法。然而,很少有工作已经做了开发神经网络,可以操作和利用树结构的数据。在本文中,我们提出了树转换器\textemdash{},一种新的神经网络架构,旨在任意输入和输出树之间的转换。我们将此架构应用于源代码和自然语言领域的校正任务。在源代码上,我们的模型实现了$25\%$ $\text{F}0.5$的最佳顺序方法的改进。在自然语言方面,我们取得了与最复杂的最先进系统相当的结果,在CoNLL 2014基准测试中获得了$10\%$召回率的改善,并在$50.43$的AESW基准测试中获得了迄今为止最高的$\text{F}0.5$分数。
2019-08-01 cs.CL cs.LG stat.ML
Fix Bugs with Transformer through a Neural-Symbolic Edit Grammar
Iowa State University(爱荷华州立大学);AWS AI(AWS人工智能)
我们介绍了NSEdit(神经符号编辑),一种新的基于transformer的代码修复方法。只给出包含bug的源代码,NSEdit预测可以修复bug的编辑序列。编辑语法被公式化为正则语言,并且Transformer将其用作神经符号脚本接口来生成编辑程序。我们修改Transformer并添加一个指针网络来选择编辑位置。训练重排序器的集合以重排序由束搜索生成的编辑序列。我们对验证集上的重排序器进行微调,以减少过度拟合。NSEdit在各种代码修复数据集上进行了评估,并在CodeXGLUE基准测试的Tufano小数据集上实现了新的最先进的精度($24.04\%$)。NSEdit在程序因包而异以及有bug的程序是具体的情况下执行稳健。我们对我们的方法进行了详细的分析,并证明了每个组件的有效性。
2022-04-13 cs.AI cs.LG cs.PL
Error Correction Code Transformer
Tel Aviv University(特拉维夫大学)
纠错码是通信物理层的主要组成部分,确保数据在噪声信道上的可靠传输。最近,神经解码器被证明优于经典解码技术。然而,现有的神经方法由于指数训练复杂性而呈现出强烈的过拟合,或者由于依赖于置信传播而呈现出限制性的归纳偏差。最近,由于Transformers能够表示元素之间的复杂交互,因此它已成为许多应用程序中的首选方法。在这项工作中,我们提出了第一次扩展的Transformer架构的线性码在任意块长度的软解码。我们将每个通道的输出维度编码为高维,以便更好地表示要单独处理的比特信息。逐元素处理允许信道输出可靠性的分析,而代数码和位之间的相互作用通过自适应掩蔽自注意模块插入到模型中。所提出的方法展示了Transformers的强大功能和灵活性,并在时间复杂度的一小部分上大幅优于现有的最先进的神经解码器。
2022-03-27 cs.AI cs.IT cs.LG
MOLOT System Card: Malicious Operational Logic Observation Transformer
False Positive Community
提出MOLOT系统,利用静态调用图的行为序列进行恶意代码检测,结合解释阶段定位可疑行为,在PyPI和npm包上评估,并发布Open Malicious-Code Bench基准。
2026-06-05 cs.CR cs.LG cs.SE
Distilling Transformers for Neural Cross-Domain Search
Microsoft(微软)
经过预先训练的Transformers最近在自然语言任务领域占据了领先地位,并开创了软件工程任务的解决方案。即使是信息检索也不能不受Transformer的影响,尽管它们的大尺寸和成本通常是部署的障碍。虽然在精简、缓存和修改生产Transformer架构方面做了很多工作,但在这里我们探索了一个新的方向:将一个大型的预训练翻译模型提炼成一个轻量级的双向编码器,可以有效地缓存和查询。我们认为,从概率的角度来看,序列到序列模型是一个概念上理想的-虽然非常不切实际-检索。我们得到一个新的蒸馏目标,实现它作为一个数据增强计划。使用自然语言源代码搜索作为跨域搜索的案例研究,我们证明了这一想法的有效性显着改善后,目前的领导者CodeSearchNet的挑战,最近的自然语言代码搜索基准。
2021-08-06 cs.IR cs.LG cs.SE
MLP Architectures for Vision-and-Language Modeling: An Empirical Study
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Microsoft Corporation(微软公司)
我们发起了第一个实证研究使用MLP架构的视觉和语言(VL)融合。通过对5个VL任务和5个鲁棒VQA基准测试的广泛实验,我们发现:(i)在没有预训练的情况下,使用MLP进行多模态融合与Transformers相比具有明显的性能差距;(ii)然而,VL预训练可以帮助缩小性能差距;(iii)而不是沉重的多头注意力,向MLP添加微小的单头注意力足以实现与Transformers相当的性能。此外,我们还发现,MLP和Transformers之间的性能差距并没有扩大时,更硬的鲁棒VQA基准进行评估,这表明使用MLP的VL融合可以概括大致类似的程度,使用Transformers。这些结果表明,MLP可以有效地学习对齐从较低级别编码器提取的视觉和文本特征,而无需严重依赖自我注意力。在此基础上,我们提出了一个更大胆的问题:我们能否拥有一个全MLP架构的VL建模,其中VL融合和视觉编码器都被MLP取代?我们的结果表明,与最先进的全功能VL模型相比,全MLP VL模型是次优的,当它们都经过预训练时。然而,预训练全MLP可以令人惊讶地获得比没有预训练的全功能Transformer模型更好的平均分数。这表明了大规模预训练的MLP类架构的VL建模的潜力,并启发了未来的研究方向,简化完善的VL建模,减少归纳设计偏差。我们的代码可在https://github.com/easonnie/mlp-vil上公开获取
2021-12-08 cs.CL cs.CV cs.LG
Birth of a Transformer: A Memory Viewpoint
Flatiron Institute(熨斗研究所);FAIR, Meta(Meta AI 基础人工智能研究中心)
该研究从记忆视角出发,通过合成二元组设置与两层Transformer实验,分析全局知识与上下文知识的学习差异,揭示权重矩阵的联想记忆作用与梯度学习机制,深化对Transformer内部原理的理解。
2023-11-06 cs.CL cs.LG stat.ML
Low-Rank Adaptation Reduces Catastrophic Forgetting in Sequential Transformer Encoder Fine-Tuning: Controlled Empirical Evidence and Frozen-Backbone Representation Probes
本研究通过受控实验发现,低秩适应(LoRA)在序列Transformer编码器微调中显著降低灾难性遗忘,且冻结背骨机制能维持任务间相似性,验证了LoRA在持续学习中的有效性。
2026-03-29 cs.LG
Backdoor Attacks on Transformers for Tabular Data: An Empirical Study
Radboud University(拉德堡德大学);Delft University of Technology(代尔夫特理工大学);Ikerlan Technology Research Centre(Ikerlan技术研究中心);University of Zagreb Faculty of Electrical Engineering and Computing(Zagreb大学电子工程与计算学院);University of Bergen(卑尔根大学)
本文实证研究了表格数据Transformer的后门攻击,提出隐蔽且高效的in-bounds attack触发器构造方法,发现此类攻击成功率高且准确率损失极小,并指出需开发表格数据专属防御对策。
2025-09-17 cs.CR cs.LG
Malicious Source Code Detection Using Transformer
Ben-Gurion University(本-古里安大学)
开源代码被认为是现代软件开发中的常见做法。然而,重复使用其他代码会使恶意攻击者能够访问广泛的开发人员社区,从而访问依赖于它的产品。这些攻击被归类为供应链攻击。近年来,越来越多的供应链攻击在软件开发过程中利用开源,自动或手动地中继下载和安装过程。多年来,已经发明了许多方法来检测易受攻击的软件包。但是,在包中检测恶意代码并不常见。这些检测方法可以大致分类为使用(动态)和不使用(静态)代码执行的分析。在这里,我们介绍了恶意源代码检测使用Transformers(MSDT)算法。MSDT是一种基于深度学习方法的新型静态分析,可检测源代码包的真实代码注入情况。在这项研究中,我们使用MSDT和一个包含60多万个不同函数的数据集来嵌入各种函数,并对生成的向量应用聚类算法,通过检测离群值来检测恶意函数。我们进行了广泛的实验,并证明了我们的算法能够检测到注入恶意代码的功能,精度@k值高达0.909。
2022-09-16 cs.CR cs.LG
Should we hard-code the recurrence concept or learn it instead ? Exploring the Transformer architecture for Audio-Visual Speech Recognition
Trinity College Dublin(都柏林圣三一学院)
视听语音融合策略AV Align在具有挑战性的LRS2数据集上的视听语音识别(AVSR)中表现出显着的性能改进。性能提高范围在7%到30%之间,具体取决于除了听觉模态之外还利用语音的视觉模态时的噪声水平。这项工作提出了AV Align的一个变体,其中经常性的长短期记忆(LSTM)计算块被最近提出的Transformer块取代。我们比较了这两种方法,更详细地讨论了它们的优点和缺点。我们发现,Transformers也学习跨模态单调对齐,但与LSTM模型一样存在视觉收敛问题,需要对机器学习中的主导模态问题进行更深入的研究。
2020-05-19 cs.LG eess.AS
Provable optimal transport with transformers: The essence of depth and prompt engineering
Department of Computer Science(计算机科学系);University of Virginia(弗吉尼亚大学)
本文通过理论分析揭示变换器模型在机器翻译中通过最优传输近似实现令牌对齐的机制,并证明变换器深度影响近似精度。
2025-12-17 cs.LG math.OC stat.ML
CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes
POSTECH(POSTECH大学);University of Ulsan(乌山大学);Sungkyunkwan University(全北大学);Seoul National University(首尔国立大学)
本文提出CrossMPT,一种基于交叉注意力消息传递的Transformer解码器,通过分别迭代更新幅度与伴随式向量并利用奇偶校验矩阵掩码,在多种纠错码上显著超越现有神经解码器,同时大幅降低资源消耗。
2024-10-11 cs.IT cs.LG math.IT
JoFormer (Journey-based Transformer): Theory and Empirical Analysis on the Tiny Shakespeare Dataset
Mahesh Godavarti(独立研究者)
本文提出基于非交换代数、沿序列复合可学习方向变换的 JoFormer,从理论上推广 RoFormer,并在 Tiny Shakespeare 字符级建模中取得更低困惑度与更快收敛。
2025-06-10 cs.AI cs.LG
Stability of Measure-to-Measure Transformers on Sub-Gaussian Data
UCLA(加州大学洛杉矶分校);UT Austin(德克萨斯大学奥斯汀分校);Doshisha University(同志社大学);RIKEN AIP(理化学研究所人工智能研究中心)
本文从数学上研究变换器定义的测度到测度算子,证明其将亚高斯输入映射为亚高斯输出且关于1-Wasserstein距离Hölder连续,并给出误差传播估计、交叉注意力的正则性与样本复杂度分析及逼近保证,为亚高斯数据上的变换器奠定稳定性与有限样本理论基础。
2026-10-07 cs.LG stat.ML
Memory Limitations of Prompt Tuning in Transformers
Department of Mathematics, National University of Singapore(新加坡国立大学数学系);IPAL, IRL2955, Singapore(新加坡IPAL);School of Computing, National University of Singapore(新加坡国立大学计算机学院);Department of Electrical and Computer Engineering, National University of Singapore(新加坡国立大学电气与计算机工程系)
该研究聚焦Transformer提示调优的记忆能力理论问题,证明其记忆信息量与提示长度呈线性增长关系,并首次形式化验证长上下文下性能下降的现象,揭示了Transformer架构的固有记忆局限。
2025-08-30 cs.LG