TransICD: Transformer Based Code-wise Attention Model for Explainable ICD Coding
The Ohio State University（俄亥俄州立大学）
国际疾病分类（ICD）编码程序是指在医疗记录上标注诊断代码，已被证明是有效的，对医疗部门的计费系统至关重要。目前，ICD代码是手动分配给临床记录的，这可能会导致许多错误。此外，培训熟练的程序员也需要时间和人力资源。因此，自动化ICD代码确定过程是一项重要任务。随着人工智能理论和计算硬件的发展，机器学习方法已经成为一种合适的解决方案来自动化这个过程。在这个项目中，我们应用基于transformer的架构来捕获文档的令牌之间的相互依赖性，然后使用代码方面的注意力机制来学习整个文档的特定于代码的表示。最后，它们被馈送到单独的密集层，用于相应的代码预测。此外，为了处理临床数据集的代码频率的不平衡，我们采用标签分布感知边缘（LDAM）损失函数。MIMIC-III数据集上的实验结果表明，我们提出的模型明显优于其他基线。特别是，我们的最佳设置实现了0.923的微AUC得分，而双向递归神经网络的得分为0.868。我们还表明，通过使用代码明智的注意力机制，该模型可以提供更多的见解，其预测，因此它可以支持临床医生作出可靠的决定。我们的代码可在线获取（https：//github.com/biplob1ly/TransICD）
2021-03-28 cs.CL cs.LG
Hierarchical Label-wise Attention Transformer Model for Explainable ICD Coding
University of New South Wales（新南威尔士大学）；The Australian e-Health Research Centre, CSIRO（澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心）；Australian Institute of Health and Welfare（澳大利亚卫生与福利研究所）
国际疾病分类（ICD）编码在发病率和死亡率数据的系统分类中发挥着重要作用。在这项研究中，我们提出了一个分层的标签式注意力Transformer模型（HiLAT）的ICD代码的解释性预测从临床文件。HiLAT首先微调预训练的Transformer模型以表示临床文档的标记。随后，我们采用了两个层次的标签明智的注意力机制，创建标签特定的文档表示。这些表示又被前馈神经网络用来预测特定ICD代码是否被分配给感兴趣的输入临床文档。我们使用来自MIMIC-III数据库的出院总结及其相应ICD-9代码评价HiLAT。为了研究不同类型的Transformer模型的性能，我们开发了ClinicalplusXLNet，它使用所有MIMIC-III临床笔记从XLNet-Base进行持续的预训练。实验结果表明，HiLAT+ClinicalplusXLNet的F1评分优于MIMIC-III中前50个最常见ICD-9代码的先前最先进模型。注意力权重的可视化提供了一个潜在的可解释性工具，用于检查ICD代码预测的表面有效性。
2022-09-30 cs.CL cs.LG
Seamlessly Integrating Tree-Based Positional Embeddings into Transformer Models for Source Code Representation
Adam Mickiewicz University（亚当·密茨凯维奇大学）
针对传统Transformer位置嵌入无法捕捉源代码层次结构的问题，提出基于AST的树状位置嵌入方法增强CodeBERTa模型，经MLM预训练和克隆检测任务验证，多项指标均优于基线。
2025-07-05 cs.LG
Injecting Hierarchy with U-Net Transformers
UMass Lowell（马萨诸塞大学洛厄尔分校）
Transformer架构在过去的两年中变得越来越流行，这是由于它在许多自然语言处理（NLP）任务上的出色性能。然而，所有的Transformer计算都发生在单词表示的级别上，因此，可以认为Transformer模型没有明确地尝试学习被广泛认为是语言不可或缺的层次结构。在目前的工作中，我们引入层次处理的Transformer模型，从U-Net架构，流行的计算机视觉的自然图像的层次视图的灵感。我们的经验表明，所提出的架构优于香草Transformer和一些强大的基线在聊天对话领域。
2021-04-01 cs.CL cs.LG stat.ML
GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization
University of Southern California（南加州大学）
与自然语言相反，源代码理解受标记之间的语法关系的影响，而不管它们的标识符名称。源代码的图形表示（如抽象树（AST））可以捕获标记之间的关系，这些关系在源代码中并不明显。我们提出了一种新的方法，GN-Transformer在融合序列和图形模态上学习端到端，我们称之为Syntax-Code-Graph（SCG）。GN-Transformer使用自注意机制扩展了图网络（GN）框架。SCG是源代码片段和AST表示之间早期融合的结果。我们对SCG的结构进行了实验，对模型设计进行了消融研究，并得出结论，性能优势来自融合表示。所提出的方法在两个代码摘要数据集和三个自动代码摘要度量（BLEU，METEOR，ROUGE-L）上实现了最先进的性能。我们进一步评估我们的模型和以前的工作与专家用户的研究人类感知质量。我们的模型在人类感知质量和准确性方面优于最先进的技术。
2021-11-17 cs.LG cs.PL
Unified Error Correction Code Transformer with Low Complexity
针对现有AI纠错码解码器计算复杂度高的问题，提出一种低复杂度统一Transformer解码器，通过标准化单元对齐、低秩统一注意力和稀疏掩码实现多码型解码，复杂度降86%且性能更优，为6G通信提供高效方案。
2025-10-30 cs.IT cs.LG math.IT
Code Prediction by Feeding Trees to Transformers
Facebook Inc.（脸书公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）
本文提出让 Transformer 感知代码句法树结构以提升代码下一个 token 预测准确率，并在标准及 Facebook 内部 Python 数据集上显著超越 RNN、Deep3 与 Code2Seq。
2021-03-08 cs.LG cs.SE
A Transformer-based Approach for Source Code Summarization
University of California, Los Angeles（加州大学洛杉矶分校）；Columbia University（哥伦比亚大学）
生成描述程序功能的可读摘要称为源代码摘要。在这个任务中，通过对代码标记之间的成对关系建模来学习代码表示以捕获它们的长期依赖关系是至关重要的。为了学习用于摘要的代码表示，我们探索了使用自我注意力机制的Transformer模型，该模型已被证明在捕获长距离依赖关系方面是有效的。在这项工作中，我们表明，尽管这种方法很简单，但它的性能明显优于最先进的技术。我们进行了广泛的分析和消融研究，揭示了几个重要的发现，例如，源代码标记的位置的绝对编码阻碍了摘要的性能，而相对编码显著提高了摘要的性能。我们已经公开了我们的代码，以方便未来的研究。
2020-05-01 cs.AI cs.LG cs.SE
Error Correction Code Transformer
Tel Aviv University（特拉维夫大学）
纠错码是通信物理层的主要组成部分，确保数据在噪声信道上的可靠传输。最近，神经解码器被证明优于经典解码技术。然而，现有的神经方法由于指数训练复杂性而呈现出强烈的过拟合，或者由于依赖于置信传播而呈现出限制性的归纳偏差。最近，由于Transformers能够表示元素之间的复杂交互，因此它已成为许多应用程序中的首选方法。在这项工作中，我们提出了第一次扩展的Transformer架构的线性码在任意块长度的软解码。我们将每个通道的输出维度编码为高维，以便更好地表示要单独处理的比特信息。逐元素处理允许信道输出可靠性的分析，而代数码和位之间的相互作用通过自适应掩蔽自注意模块插入到模型中。所提出的方法展示了Transformers的强大功能和灵活性，并在时间复杂度的一小部分上大幅优于现有的最先进的神经解码器。
2022-03-27 cs.AI cs.IT cs.LG
TreeGen: A Tree-Based Transformer Architecture for Code Generation
Peking University（北京大学）；University of Alberta（阿尔伯塔大学）
一种代码生成系统基于输入的自然语言描述生成程序设计语言代码。现有技术的方法依赖于神经网络来进行代码生成。然而，这些代码生成器存在两个问题。一个是长依赖性问题，其中代码元素通常依赖于另一个遥远的代码元素。例如，变量引用取决于它的定义，它可能出现在相当多的行之前。另一个问题是结构建模，因为程序包含丰富的结构信息。在本文中，我们提出了一种新的基于树的神经架构，TreeGen，代码生成。TreeGen使用Transformers的注意力机制来缓解长依赖问题，并引入了一种新的AST阅读器（编码器），将语法规则和AST结构纳入网络。我们在一个Python基准测试HearthStone和两个语义解析基准测试ATIS和GEO上评估了TreeGen。TreeGen在HearthStone上的表现超过了之前最先进的方法4.5个百分点，并且在ATIS（89.1%）和GEO（89.6%）上实现了基于神经网络的方法中的最佳准确性。我们还进行了消融测试，以更好地了解我们模型的每个组件。
2019-11-28 cs.LG cs.SE
End-to-End Whisper to Natural Speech Conversion using Modified Transformer Network
Samsung Research Institute（三星研究院）
对耳语音等非典型语音的机器识别是一项具有挑战性的任务。我们介绍了耳语到自然语音转换使用序列到序列的方法，提出了增强的Transformer架构，它使用并行和非并行数据。我们研究不同的功能，如梅尔频率倒谱系数和平滑的频谱特征。所提出的网络使用监督方法进行端到端的特征到特征转换。此外，我们还研究了在N个编码器子层之后使用的嵌入式辅助解码器的有效性，该解码器用帧级目标函数进行训练以识别源音素标签。我们通过使用端到端ASR测量单词错误率以及生成的语音的BLEU分数来显示开源wTIMIT和CHAINS数据集的结果。另外，我们还提出了一种新的方法来测量它的频谱形状通过测量共振峰分布w.r.t.参考语音，作为共振峰发散度量。我们已经发现，耳语到自然转换的语音共振峰的概率分布是类似的地面实况分布。据作者所知，这是第一次提出增强型Transformer，无论是否有辅助解码器，都可以实现耳语到自然语音的转换，反之亦然。
2021-04-05 cs.CL cs.LG cs.SD
Should we hard-code the recurrence concept or learn it instead ? Exploring the Transformer architecture for Audio-Visual Speech Recognition
Trinity College Dublin（都柏林圣三一学院）
视听语音融合策略AV Align在具有挑战性的LRS2数据集上的视听语音识别（AVSR）中表现出显着的性能改进。性能提高范围在7%到30%之间，具体取决于除了听觉模态之外还利用语音的视觉模态时的噪声水平。这项工作提出了AV Align的一个变体，其中经常性的长短期记忆（LSTM）计算块被最近提出的Transformer块取代。我们比较了这两种方法，更详细地讨论了它们的优点和缺点。我们发现，Transformers也学习跨模态单调对齐，但与LSTM模型一样存在视觉收敛问题，需要对机器学习中的主导模态问题进行更深入的研究。
2020-05-19 cs.LG eess.AS
In Transformer We Trust? A Perspective on Transformer Architecture Failure Modes
WPI（韦帕研究所）
本文探讨了Transformer架构在关键应用中的可信度问题，分析了其结构漏洞、领域风险及开放研究挑战。
2026-02-15 cs.LG
CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes
POSTECH（POSTECH大学）；University of Ulsan（乌山大学）；Sungkyunkwan University（全北大学）；Seoul National University（首尔国立大学）
本文提出CrossMPT，一种基于交叉注意力消息传递的Transformer解码器，通过分别迭代更新幅度与伴随式向量并利用奇偶校验矩阵掩码，在多种纠错码上显著超越现有神经解码器，同时大幅降低资源消耗。
2024-10-11 cs.IT cs.LG math.IT
BinBert: Binary Code Understanding with a Fine-tunable and Execution-aware Transformer
Sapienza University of Rome（罗马第一大学）
二进制代码分析的最近趋势促进了基于指令嵌入模型的神经解决方案的使用。指令嵌入模型是将汇编指令序列转换为嵌入向量的神经网络。如果嵌入网络经过训练，使得从代码到向量的转换部分地保留了语义，则网络有效地表示汇编代码模型。在本文中，我们提出了BinBert，一种新的汇编代码模型。BinBert构建在一个Transformer上，该transformer在一个包含汇编指令序列和符号执行信息的巨大数据集上进行了预训练。BinBert可以应用于汇编指令序列，并且它是可微调的，即它可以作为任务特定数据的神经架构的一部分进行重新训练。通过微调，BinBert学习如何将预训练获得的一般知识应用于特定任务。我们在一个多任务基准上评估了BinBert，该基准是我们专门设计来测试对汇编代码的理解的。基准测试由几个任务组成，其中一些来自文献，还有一些我们设计的新任务，以及内在和下游任务的混合。我们的研究结果表明，BinBert优于最先进的二进制指令嵌入模型，提高了二进制代码理解的标准。
2022-08-13 cs.CR cs.LG
The Chess Transformer: Mastering Play using Generative Language Models
PeopleTec；Auburn University（奥本大学）
这项工作表明，自然语言Transformers可以支持更通用的战略建模，特别是对文本存档的游戏。除了学习自然语言技能之外，抽象的Transformer架构还可以在棋盘上生成有意义的移动。通过进一步的微调，Transformer通过在Portable Game Notation中对280万盘国际象棋进行训练来学习复杂的游戏玩法。经过30，000个训练步骤后，OpenAI的生成式预训练Transformer（GPT-2）优化了7.74亿个参数的权重。这款经过微调的国际象棋Transformer可以生成合理的策略，并显示可识别为经典开局的游戏阵型，例如英语或斯拉夫交换。最后，在现场比赛中，新模型展示了一个人对Transformer的界面，正确过滤非法移动，并提供了一种新的方法来挑战Transformer的象棋策略。我们预计未来的工作将建立在这个Transformer的承诺，特别是在其他战略游戏中，功能可以捕获简单但富有表现力的玩家注释的基础复杂的规则语法。
2020-09-18 cs.AI cs.CL cs.GT
Transformer-Based Decoding in Concatenated Coding Schemes Under Synchronization Errors
School of Computation, Information and Technology, Technical University of Munich（计算、信息与技术学院，慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对DNA数据存储中等多副本受插入、删除和替换破坏的码字重建问题，提出基于Transformer的内层解码器BCJRFormer及交叉注意力架构ConvBCJRFormer，将复杂度降至二次方并实现端到端高效解码。
2025-11-02 cs.IT cs.LG math.IT
Accelerating Error Correction Code Transformers
The Blavatnik School of Computer Science（布拉瓦尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
针对纠错码Transformer（ECCT）计算与内存需求高、低精度量化易降效的问题，提出三值权重量化、码感知自注意力、Tanner图特征分解位置编码的加速方案，实现90%压缩率与超224倍算术能耗降低，推动其在资源受限场景落地。
2024-10-08 cs.AI cs.IT cs.LG
Transformers for scientific data: a pedagogical review for astronomers
University of Pennsylvania（宾夕法尼亚大学）
本文是一篇面向科学家的教学性综述，介绍了ChatGPT等生成式AI背后的transformers架构及其自注意力机制，并涵盖其数学基础、原始架构及在天文学时间序列与成像数据中的应用。
2023-10-19 astro-ph.IM cs.LG
Qubit-centric Transformer for Surface Code Decoding
本文提出一种基于变换器架构的量子纠错解码器，通过量子比特中心注意力机制提升解码性能，实现接近理论上限的高阈值解码效果。
2026-10-07 cs.AI cs.LG quant-ph
ETC: Encoding Long and Structured Inputs in Transformers
Google Research（谷歌研究院）
Transformer模型在许多自然语言处理（NLP）任务中推进了最先进的技术水平。在本文中，我们提出了一种新的Transformer架构，扩展的Transformer构造（ETC），解决了标准Transformer架构的两个关键挑战，即缩放输入长度和编码结构化输入。为了将注意力扩展到更长的输入，我们在全局令牌和常规输入令牌之间引入了一种新的全局-局部注意力机制。我们还表明，将全局-局部注意力与相对位置编码和对比预测编码（CPC）预训练目标相结合，可以使ETC对结构化输入进行编码。我们在四个需要长和/或结构化输入的自然语言数据集上实现了最先进的结果。
2020-10-27 cs.LG stat.ML
How to Mask in Error Correction Code Transformer: Systematic and Double Masking
Seoul National University（首尔大学）；University of Ulsan（蔚山大学）；Sungkyunkwan University（成均馆大学）；Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
针对提升纠错码Transformer（ECCT）解码性能的问题，提出系统化掩码矩阵和双重掩码ECCT架构两种方法，通过优化掩码设计学习更多样化的码字比特关系特征，最终以显著优势取得当前最优解码性能。
2023-08-25 cs.AI cs.IT cs.LG
Distilling Transformers for Neural Cross-Domain Search
Microsoft（微软）
经过预先训练的Transformers最近在自然语言任务领域占据了领先地位，并开创了软件工程任务的解决方案。即使是信息检索也不能不受Transformer的影响，尽管它们的大尺寸和成本通常是部署的障碍。虽然在精简、缓存和修改生产Transformer架构方面做了很多工作，但在这里我们探索了一个新的方向：将一个大型的预训练翻译模型提炼成一个轻量级的双向编码器，可以有效地缓存和查询。我们认为，从概率的角度来看，序列到序列模型是一个概念上理想的-虽然非常不切实际-检索。我们得到一个新的蒸馏目标，实现它作为一个数据增强计划。使用自然语言源代码搜索作为跨域搜索的案例研究，我们证明了这一想法的有效性显着改善后，目前的领导者CodeSearchNet的挑战，最近的自然语言代码搜索基准。
2021-08-06 cs.IR cs.LG cs.SE
Lay-Your-Scene: Natural Scene Layout Generation with Diffusion Transformers
UC San Diego（加州大学圣地亚哥分校）；Tsingua University（清华大学）
本文提出Lay-Your-Scene（LayouSyn），利用轻量级开源语言模型和宽高比感知的开放词表扩散Transformer进行自然场景文本到布局生成，在空间与数值推理基准上达到最先进性能，并展示了其在布局优化和图像编辑中的应用潜力。
2025-05-07 cs.CV cs.LG
A Mixture of Experts Vision Transformer for High-Fidelity Surface Code Decoding
Hanoi University of Science and Technology（河内科学技术大学）；VinUniversity（文大学）；Singapore University of Technology and Design（新加坡科技与设计大学）
本文提出QuantumSMoE，一种基于量子视觉变换器的解码器，通过嵌入和自适应遮蔽捕捉局部交互和晶格连接性，利用专家混合层提升可扩展性，实验显示其优于现有机器学习解码器和经典基线。
2026-04-25 cs.IT cs.LG math.IT
Cross-Attention Message-Passing Transformers for Code-Agnostic Decoding in 6G Networks
Institute of Artificial Intelligence, Pohang University of Science and Technology (POSTECH)（人工智能研究院，POSTECH大学）；Department of Electrical, Electronic and Computer Engineering, University of Ulsan（电子电气与计算机工程系，乌山大学）；Department of Electrical and Computer Engineering, Sungkyunkwan University（电气与计算机工程系，全北国立大学）；Department of Electrical Engineering, Pohang University of Science and Technology (POSTECH)（电气工程系，POSTECH大学）；Department of Electrical and Computer Engineering, Seoul National University（电气与计算机工程系，首尔国立大学）
本文提出基于交叉注意力消息传递Transformer的AI原生代码无关解码器，通过CrossMPT、FCrossMPT和CrossED实现单一模型对多种码型的统一高性能解码，为6G信道编码提供灵活可扩展的解决方案。
2025-06-22 cs.IT cs.LG eess.SP
Transformer-QEC: Quantum Error Correction Code Decoding with Transferable Transformers
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Yale University（耶鲁大学）；Arizona State University（亚利桑那州立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出基于Transformer的量子纠错解码器，利用自注意力机制和混合损失训练实现全局感受野，支持跨码距高效迁移学习，在多种配置下优于传统及ML解码器并大幅降低训练成本。
2023-11-27 cs.AI cs.AR cs.ET
CMSAOne@Dravidian-CodeMix-FIRE2020: A Meta Embedding and Transformer model for Code-Mixed Sentiment Analysis on Social Media Text
International Institute of Information Technology - Hyderabad (IIIT-Hyderabad)（海得拉巴国际信息技术学院（IIIT-Hyderabad））
语码混用是一种常见的语言现象，它是指在一个话语或句子中使用多种语言。CM主要在各种社交媒体平台和非正式对话中进行。情感分析是自然语言处理中的一个基本步骤，在单语文本中得到了很好的研究。语码混合由于其非标准的表示方式给情感分析带来了挑战。本文提出了一种基于Transformer的Meta嵌入方法，用于对Dravidian代码混合数据集进行情感分析。在我们的方法中，我们使用Meta嵌入来捕获富文本表示。我们将所提出的方法用于任务：“代码混合文本中的达罗毗荼语的情感分析”，并且对于给定的达罗毗荼语代码混合数据集，它实现了$0.58$和$0.66$的F1得分。代码在Github https://github.com/suman101112/fire-2020-Dravidian-CodeMix中提供。
2021-01-22 cs.CL cs.LG
BITS Pilani at HinglishEval: Quality Evaluation for Code-Mixed Hinglish Text Using Transformers
BITS Pilani（比尔拉科学技术学院皮拉尼分校）
代码混合文本数据由包含来自多种语言的单词或短语的句子组成。世界上大多数多语言社区使用多种语言进行交流，英语通常是其中之一。印度式英语是一种由印度语和英语组成的代码混合文本，但以罗马字母书写。本文的目的是确定影响由系统生成的代码混合文本数据的质量的因素。对于Hinglish Eval任务，该模型使用多语言BERT来找到合成生成的句子和人类生成的句子之间的相似性，以预测合成生成的Hinglish句子的质量。
2022-06-17 cs.CL cs.LG
Uncovering More Shallow Heuristics: Probing the Natural Language Inference Capacities of Transformer-Based Pre-Trained Language Models Using Syllogistic Patterns
University of St.Gallen（圣加仑大学）
在本文中，我们将探讨基于transformer的预训练语言模型（PLM）所使用的浅层语法，这些模型针对自然语言推理（NLI）进行了微调。为此，我们基于三段论构建或拥有数据集，并在我们的数据集上评估许多模型的性能。我们发现的证据表明，该模型严重依赖于某些浅的物理学，拿起对称性和不对称性之间的前提和假设。我们认为，在我们的研究中，这正在成为一个活跃的辩论在该领域的话题，缺乏概括性，这意味着PLM目前没有学习NLI，而是虚假的语法。
2022-01-19 cs.CL cs.LG
Palomino-Ochoa at SemEval-2020 Task 9: Robust System based on Transformer for Code-Mixed Sentiment Classification
Universidad Católica San Pablo（圣巴勃罗天主教大学）
我们提出了一个迁移学习系统来执行混合的西班牙语-英语情感分类任务。我们的建议使用最先进的语言模型BERT，并将其嵌入ULMFiT迁移学习管道中。这种组合使我们能够预测代码混合（英语-西班牙语）推文的极性检测。因此，在29个提交的系统中，我们的方法（称为dplominop）在SemEval 2020任务9的Sentimix Spanglish测试集上排名第四。事实上，我们的系统产生的加权F1得分值为0.755，可以很容易地复制-源代码和实现细节是可用的。
2020-11-18 cs.CL cs.LG
Empirical Study of Transformers for Source Code
HSE University（高等经济大学）
最初是为自然语言处理（NLP）而开发的，由于源代码和文本之间的格式相似性，Transformers现在广泛用于源代码处理。与自然语言相比，源代码是严格结构化的，即，它遵循程序设计语言的语法。最近的几项工作开发了Transformer修改，用于捕获源代码中的语法信息。这些作品的缺点是它们不相互比较，考虑不同的任务。在这项工作中，我们进行了彻底的实证研究的能力，Transformers利用句法信息在不同的任务。我们考虑三个任务（代码完成，函数命名和错误修复），并在一个统一的框架中重新实现不同的语法捕获修改。我们表明，Transformers能够作出有意义的预测纯粹基于语法信息，并强调考虑到语法信息的最佳做法，以提高模型的性能。
2021-06-24 cs.CL cs.LG cs.SE
Language Modelling for Source Code with Transformer-XL
University of Newcastle（纽卡斯尔大学）
已经发现，软件，如自然语言文本，表现出“自然性”，这可以通过统计语言模型来捕获。近年来，已经提出了神经语言模型，以通过深度学习来表示软件的自然性。在本文中，我们进行了实验评估的国家的最先进的神经语言模型的源代码，包括基于RNN的模型和基于Transformer-XL的模型。通过在大规模Python代码语料库上的实验，我们发现Transformer-XL模型在捕捉软件自然性方面优于基于RNN的模型（包括LSTM和GRU模型），并且计算成本要低得多。
2020-07-31 cs.CL cs.LG cs.SE
Teach me how to Label: Labeling Functions from Natural Language with Text-to-text Transformers
注释数据已成为训练准确机器学习模型的最重要瓶颈，特别是对于需要领域专业知识的领域。处理上述问题的最新方法提出使用自然语言解释而不是标记各个数据点，从而提高了人类注释者的效率并大大降低了成本。本文的重点是将这些自然语言描述转换为Python标签函数，通过使用预训练的文本到文本Transformers进行语义解析的新方法。在一系列的实验中，我们的方法在语义解析基准测试CoNaLa上达到了一个新的水平，超过了以前的最佳方法3.7个BLEU点。此外，在手动构造的自然语言标注-标记函数对的数据集上，我们实现了0.39的BLEU。我们的方法可以被看作是一个垫脚石模型，教导如何标记在自然语言，而不是提供特定的标记样本。我们的代码，构造的数据集和模型可在https://github.com/ypapanik/t5-for-code-generation上获得。
2021-01-18 cs.CL cs.LG
CMLFormer: A Dual Decoder Transformer with Switching Point Learning for Code-Mixed Language Modeling
Courant Institute of Mathematical Sciences（Courant数学科学研究所）；Tandon School of Engineering（Tandon工程学院）
针对语码混合语言的结构挑战，提出带共享编码器与同步交叉注意力的双解码器Transformer模型CMLFormer，结合多任务预训练捕捉切换特性，在HASOC-2021基准上性能优于现有方法，且对切换点具备识别敏感性。
2025-05-19 cs.CL cs.LG
Code Structure Guided Transformer for Source Code Summarization
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；University of Warwick（华威大学）；The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Huawei（华为）
代码摘要帮助开发人员理解程序，并减少他们在软件维护期间推断程序功能的时间。最近的努力诉诸于深度学习技术，例如用于生成准确代码摘要的序列到序列模型，其中基于transformer的方法已经取得了有希望的性能。然而，有效地将代码结构信息集成到Transformer中，在这个任务领域中还没有得到充分的探索。在本文中，我们提出了一种新的方法命名为SG-transans纳入代码的结构特性到Transformer。具体来说，我们注入本地符号信息（例如，代码令牌和语句）和全局语法结构（例如，数据流图）输入到Transformer的自注意模块中作为感应偏置。为了进一步捕捉代码的层次特性，将局部信息和全局结构分别分布在Transformer的低层和高层的注意头中。广泛的评估表明，SG-Trans的性能优于最先进的方法。与表现最好的基线相比，SG-Trans在METEOR得分方面仍然提高了1.4%和2.0%，METEOR得分是一种广泛用于衡量生成质量的指标，分别在两个基准数据集上。
2022-07-22 cs.CL
Parameter-Efficient Finetuning of Transformers for Source Code
HSE University（高等经济大学）；Naver Labs Europe（Naver欧洲实验室）
预训练的Transformers在各种代码处理任务中实现了最先进的性能，但可能太大而无法部署。由于软件开发工具通常包含用于各种目的的模块，这些模块可能潜在地使用预训练模型的单个实例，因此似乎与针对代码的预训练模型利用参数高效微调相关。在这项工作中，我们测试了两种广泛使用的方法，适配器和LoRA，这是最初测试的NLP任务，四个代码处理任务。我们发现，虽然有效的微调方法可能会实现可比或更高的性能比标准的，完整的，微调的代码理解任务，他们表现不佳的代码生成任务的全面微调。这些结果强调了在NLP之外的其他领域测试有效微调方法的重要性，并激励了未来对源代码进行有效微调的研究。
2022-12-12 cs.CL cs.LG cs.SE
Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer
Key Laboratory of High Confidence Software Technology (PKU), MOE, Beijing, China（高可信软件技术重点实验室（PKU），教育部，北京，中国）；School of Computer Science, Peking University, Beijing, China（计算机学院，北京大学，北京，中国）；Shanghai AI Lab, Shanghai, China（上海人工智能实验室，上海，中国）；Shanghai Innovation Institute, Shanghai, China（上海创新研究院，上海，中国）
提出离散Transformer架构，通过温度退火采样注入离散性，结合假设检验和符号回归从模型权重中提取可解释算法，在离散任务上性能与RNN基线相当，并扩展到连续中间计算任务。
2026-05-29 cs.CL cs.LG
Contextual Hate Speech Detection in Code Mixed Text using Transformer Based Approaches
Sri Jayachamarajendra College of Engineering（斯里贾亚查马拉杰德拉工程学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
最近，社交媒体平台帮助人们与更广泛的受众进行联系和沟通。但这也导致了网络欺凌的急剧增加。必须检测和遏制仇恨言论，以保持社交媒体平台的正常运作。此外，在这些平台上经常使用包含多种语言的代码混合文本。因此，我们提出了自动化技术，从刮Twitter的代码混合文本中的仇恨言论检测。我们特别关注混合英语-印地语文本和基于transformer的方法的代码。虽然常规方法独立分析文本，但我们也以父推文的形式使用内容文本。我们尝试评估多语言BERT和Indic-BERT在单编码器和双编码器设置下的性能。第一种方法是使用分隔符标记连接目标文本和上下文文本，并从BERT模型中获得单个表示。第二种方法使用双BERT编码器独立地对两个文本进行编码，并且对相应的表示进行平均。我们表明，双编码器的方法，使用独立的表示产生更好的性能。我们还采用简单的集成方法，以进一步提高性能。使用这些方法，我们在HASOC 2021 ICHCL代码混合数据集上报告了73.07%的最佳F1得分。
2021-11-01 cs.CL cs.LG
Field-testing items using artificial intelligence: Natural language processing with transformers
Smarter Balanced（智能平衡组织）
本研究通过让RoBERTa模型的5000个变体完成29道多选题的英语读写考试，测试了项目的心理测量学属性，发现其与人类考生数据具有一定一致性。
2023-10-18 cs.CL
Code Summarization with Structure-induced Transformer
Shanghai Jiao Tong University（上海交通大学）；Soochow University（苏州大学）
代码摘要是近年来语言理解研究的一个热点，它旨在以源代码的形式自动生成程序设计语言的合理的人类语言，以最大限度地方便程序员的开发。众所周知，程序设计语言是高度结构化的。因此，以前的工作尝试应用基于结构的遍历（SBT）或非顺序模型，如Tree-LSTM和图神经网络（GNN）来学习结构化程序语义。然而，令人惊讶的是，将SBT纳入高级编码器（如Transformer）而不是LSTM并没有表现出性能提升，这使得GNN成为唯一的休息手段，在源代码中建模这种必要的结构线索。为了解决这一问题，我们提出了结构诱导的Transformer，它利用一种新提出的结构诱导的自注意力机制，对具有多视角结构线索的序列代码输入进行编码。大量的实验表明，我们提出的结构诱导的Transformer有助于实现新的国家的最先进的基准测试结果。
2021-06-01 cs.CL
The Go Transformer: Natural Language Modeling for Game Play
PeopleTec Inc.（PeopleTec公司）；Auburn University（奥本大学）
这项工作应用自然语言建模，以产生合理的战略行动，在古老的游戏围棋。我们训练生成预训练的Transformer（GPT-2）来模仿智能游戏格式（SGF）中存档的围棋冠军的风格，该格式提供了移动序列的文本描述。经过训练的模型进一步生成有效但以前看不见的Go策略。因为GPT-2保留了标点符号和空格，文本生成器的原始输出为游戏可视化和创意模式提供了输入，例如Sabaki项目的游戏引擎使用自动重放。结果表明，语言建模可以捕捉到冠军围棋比赛的顺序格式和他们的战略形成。与随机游戏板相比，GPT-2微调显示了有效的开局移动序列，有利于角落发挥不太有利的中心和侧面发挥。作为语言建模任务的游戏生成为40多个其他棋盘游戏提供了新颖的方法，其中历史文本注释提供了训练数据（例如，Amazons & Connect 4/6）。
2020-09-07 cs.CL cs.LG
Ad Text Classification with Transformer-Based Natural Language Processing Methods
AdresGezgini A.Ş.（AdresGezgini股份公司）；Garanti BBVA Teknoloji（担保BBVA科技公司）
在这项研究中，提出了一种基于自然语言处理（NLP）的方法，用于在线广告平台上创建的广告文本的行业自动分类。我们的数据集由来自12个不同行业的约21，000个标记广告文本组成。在这项研究中，双向编码器表示从Transformers（BERT）模型，这是一个基于transformer的语言模型，最近使用的领域，如文本分类在自然语言处理文献中，被使用。使用预训练的BERT模型的土耳其语的分类效率得到详细的。
2021-06-23 cs.CL
AST-Transformer: Encoding Abstract Syntax Trees Efficiently for Code Summarization
Nanjing University（南京大学）；Saarland Informatics Campus（萨尔兰信息学园区）
代码摘要旨在为源代码生成简短的自然语言描述。由于源代码是高度结构化的，并且遵循严格的程序设计语言语法，因此通常利用其抽象树（AST）来通知编码器有关结构信息。然而，AST通常比源代码长得多。目前的方法忽略了大小限制，并简单地将整个线性化AST馈送到编码器中。为了解决这个问题，我们提出了AST-Transformer来有效地编码树结构的AST。实验结果表明，AST-变压器优于国家的艺术由一个相当大的保证金，同时能够降低$90\sim95\%$的计算复杂性在编码过程中。
2021-12-02 cs.CL cs.SE
Source Code Summarization with Structural Relative Position Guided Transformer
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；The Chinese University of Hong Kong（香港中文大学）
源代码摘要旨在为程序设计语言生成简洁明了的自然语言描述。编写良好的代码摘要有利于程序员参与软件开发和维护过程。为了学习源代码的语义表示，最近的努力集中在将代码的语法结构合并到神经网络（如Transformer）中。这种基于变换器的方法可以比包括递归神经网络（RNN）的其他神经网络更好地捕获长程依赖性，然而，它们中的大多数没有考虑令牌之间的结构相对相关性，例如，抽象树（AST）中的相对位置，这有利于代码语义学习。为了对结构依赖性进行建模，我们提出了一种结构相对位置引导的Transformer，命名为STRT。该算法首先通过解析源代码的AST来获得标记之间的结构相对位置，然后将其传递给两种类型的Transformer编码器。一个Transformer根据结构相对距离直接调整输入，另一个Transformer在计算自我注意分数时对结构相对位置进行编码。最后，我们堆叠这两种类型的Transformer编码器来学习源代码的表示。实验结果表明，该方法在BLEU、ROUGE-L和METEOR三种测试数据集上的性能分别比现有方法提高了1.6%、1.4%和2.8%。我们进一步表明，如何建议的CRAFT捕获的结构相对依赖关系。
2022-02-14 cs.CL cs.SE
Tree-Transformer: A Transformer-Based Method for Correction of Tree-Structured Data
Boston University（波士顿大学）；Draper（德雷珀实验室）
许多常见的顺序数据源（如源代码和自然语言）都具有自然的树结构表示。这些树可以通过将序列拟合到语法来生成，从而产生序列中标记的层次排序。这种结构编码了高度的句法信息，使其成为解决语法纠正等问题的理想方法。然而，很少有工作已经做了开发神经网络，可以操作和利用树结构的数据。在本文中，我们提出了树转换器\textemdash{}，一种新的神经网络架构，旨在任意输入和输出树之间的转换。我们将此架构应用于源代码和自然语言领域的校正任务。在源代码上，我们的模型实现了$25\%$ $\text{F}0.5$的最佳顺序方法的改进。在自然语言方面，我们取得了与最复杂的最先进系统相当的结果，在CoNLL 2014基准测试中获得了$10\%$召回率的改善，并在$50.43$的AESW基准测试中获得了迄今为止最高的$\text{F}0.5$分数。
2019-08-01 cs.CL cs.LG stat.ML
Transformer Working Memory Enables Regular Language Reasoning and Natural Language Length Extrapolation
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
针对Transformer难以建模正则语言的问题，提出RegularGPT变体，通过权重共享、自适应深度和滑动膨胀注意力构建工作记忆，成功建模PARITY等正则语言，并在长度外推中重现局部窗口注意力效应。
2023-05-05 cs.CL
A Comparative Study on Code Generation with Transformers
Tribhuvan University（特里布文大学）；Thapathali Campus（塔帕塔利校区）
针对当前代码生成研究仅聚焦大语言模型、缺乏不同复杂度Transformer架构性能对比的问题，本文提出基于Transformer和NLP方法的C++代码生成模型，并通过比较研究评估不同架构复杂度的Transformer模型处理各类问题的鲁棒性。
2024-12-07 cs.AI cs.CL
Advancing Sentiment Analysis in Tamil-English Code-Mixed Texts: Challenges and Transformer-Based Solutions
Instituto Politécnico Nacional (IPN)（墨西哥国立理工学院）；Centro de Investigación en Computación (CIC)（计算机研究中心）；Escuela Superior de Ingeniería Mecánica y Eléctrica (ESIME)（机械与电气工程高等学院）
本文针对泰米尔语-英语混合文本的情感分析挑战，评估了XLM-RoBERTa等Transformer模型在低资源环境中的表现，并指出数据增强与混合建模是未来提升准确率的关键方向。
2025-03-30 cs.CL
HuggingFace's Transformers: State-of-the-art Natural Language Processing
Hugging Face
自然语言处理的最新进展受到模型架构和模型预训练的推动。Transformer体系结构促进了构建更高容量的模型，并且预训练使得有效地利用这种容量来执行各种任务成为可能。\textit{Transformers}是一个开源库，其目标是向更广泛的机器学习社区开放这些进步。该库由统一API下精心设计的最先进的Transformer架构组成。支持这个库的是由社区制作并可供社区使用的预训练模型的精选集合。\textit{Transformers}设计为可由研究人员扩展，对从业人员简单，在工业部署中快速而强大。该文库可在\url{https://github.com/huggingface/transformers}上获得。
2020-07-14 cs.CL
Towards Emotion Recognition in Hindi-English Code-Mixed Data: A Transformer Based Approach
Netaji Subhas University of Technology（贾瓦哈拉尔·尼赫鲁技术大学）；Department of Computer Engineering（计算机工程系）
在过去的几年中，社交媒体文本中的情感检测已经成为一个流行的问题，因为它在更好地理解消费者，心理学，帮助人类与计算机交互，设计智能系统等方面的广泛应用，由于社交媒体中经常用于表达情感和意见的大量数据的可用性，这个问题已经引起了极大的关注。在本文中，我们提出了一个标记为情绪检测的Hinglish数据集。我们强调了一种基于深度学习的方法，用于检测印地语-英语代码混合推文中的情绪，使用来自FastText和Word 2 Vec方法的双语词嵌入，以及基于Transformer的模型。我们尝试了各种深度学习模型，包括CNN、LSTM、双向LSTM（有注意力和无注意力），以及BERT、RoBERTa和ALBERT等Transformers。基于Transformer的BERT模型优于所有其他模型，其精度为71.43%。
2021-02-28 cs.CL
Enhanced Transformer Architecture for Natural Language Processing
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Cho Chun Shik Graduate School of Mobility（赵春植移动性研究生院）
本文提出一种增强型Transformer架构，通过全层归一化、加权残差连接、强化学习位置编码和零掩码自注意力，在Multi30k数据集上BLEU分数较原始Transformer提高202.96%。
2023-10-17 cs.AI cs.CL
Planning with Large Language Models for Code Generation
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；The University of Hong Kong（香港大学）；MIT（麻省理工学院）；UMass Amherst（马萨诸塞大学阿默斯特分校）
现有的基于大型语言模型的代码生成流水线通常在解码过程期间使用束搜索或采样算法。虽然它们生成的程序获得了很高的基于标记匹配的分数，但它们通常无法编译或生成不正确的输出。主要原因是传统的Transformer解码算法可能不是代码生成的最佳选择。在这项工作中，我们提出了一种新的Transformer解码算法，规划引导的Transformer解码（PG-TD），使用规划算法做前瞻搜索，并指导Transformer生成更好的程序。具体地说，Transformer不是简单地优化生成序列的可能性，而是利用规划器来生成候选程序并在公共测试用例上测试它们。因此，Transformer可以做出更明智的决策，并生成最终导致更高质量程序的令牌。我们还设计了一个机制，共享信息之间的Transformer和规划，使我们的算法计算效率。我们以几个大语言模型作为公共编码挑战基准测试的主干，对我们的框架进行了经验评估，结果表明：1）与竞争基线方法相比，它可以生成持续实现更高性能的程序; 2）它可以通过优化修改目标来实现可控的代码生成，例如简洁代码和高度注释的代码。
2023-03-09 cs.AI cs.CL cs.LG
Guiding Symbolic Natural Language Grammar Induction via Transformer-Based Sequence Probabilities
SingularityNET Foundation（奇点网基金会）；The Hong Kong Polytechnic University（香港理工大学）
提出了一种基于Transformer神经网络语言模型分配给句子（以及可能更长的单词序列）的概率来指导聚类和规则归纳等符号学习过程的自然语言句法规则自动学习的新方法。这种方法利用Transformers学习的语言知识，没有任何参考他们的内部表示，因此，该技术很容易适应更强大的语言模型的连续出现。我们展示了我们所提出的技术的概念验证示例，使用它来指导从我们先前的研究中得出的无监督符号链接语法归纳方法。
2020-05-26 cs.AI cs.CL
