CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes
POSTECH(POSTECH大学);University of Ulsan(乌山大学);Sungkyunkwan University(全北大学);Seoul National University(首尔国立大学)
本文提出CrossMPT,一种基于交叉注意力消息传递的Transformer解码器,通过分别迭代更新幅度与伴随式向量并利用奇偶校验矩阵掩码,在多种纠错码上显著超越现有神经解码器,同时大幅降低资源消耗。
2024-10-11 cs.IT cs.LG math.IT
Relevance Transformer: Generating Concise Code Snippets with Relevance Feedback
University of Glasgow(格拉斯哥大学)
能够自动生成代码生成的工具有可能增强程序员的能力。虽然直接的代码检索被集成到许多IDE中,但一个新兴的领域是显式代码生成。代码生成目前被视为机器翻译任务,其中基于递归神经网络(RNN)的编码器-解码器架构在代码描述对上进行训练。在这项工作中,我们介绍和研究现代Transformer架构,这项任务。我们进一步提出了一个新的模型,称为相关性Transformer,采用伪相关反馈的外部知识。相关性Transformer使解码过程偏向于与现有检索代码相似,同时实施多样性。我们在用于代码生成的多个标准基准数据集上进行实验,包括Django,Hearthstone和CoNaLa。结果表明,基于BLEU评估的最先进的方法的改进。相关性Transformer模型显示了基于Transformer的架构在代码生成方面的潜力,并引入了一种在推理过程中结合伪相关反馈的方法。
2020-12-08 cs.CL cs.LG
Hierarchical Attention Transformer Architecture For Syntactic Spell Correction
Samsung Research(三星研究院)
注意力机制在序列到序列问题的研究中起着推动作用。Transformer架构在机器翻译中取得了新的技术成果,并且它的变体被引入到其他几个序列到序列的问题中。涉及共享词汇的问题可以受益于源句子和目标句子中相似的语义和句法结构。为了构建一个可靠、快速的文本后处理模块,以帮助手机中所有与文本相关的用例,我们承担了流行的拼写校正问题。在本文中,我们提出了多编码器单解码器的变化,传统的Transformer。来自具有字符级1-gram、2-gram和3-gram输入的三个编码器的输出在解码器中以分级方式参与。来自编码器的上下文向量与自注意力一起放大了字符级别的n-gram属性,并有助于准确解码。我们在三星研究中心的拼写校正数据集上展示了我们的模型,并报告了现有最先进的机器翻译架构在字符(CER),单词(WER)和句子(SER)出错率方面的0.11%,0.32%和0.69%的显着改善。我们的架构也比下一个最精确的模型快7.8倍,大小只有大约1/3。
2020-05-11 cs.LG stat.ML
Transformer-Based Decoding in Concatenated Coding Schemes Under Synchronization Errors
School of Computation, Information and Technology, Technical University of Munich(计算、信息与技术学院,慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对DNA数据存储中等多副本受插入、删除和替换破坏的码字重建问题,提出基于Transformer的内层解码器BCJRFormer及交叉注意力架构ConvBCJRFormer,将复杂度降至二次方并实现端到端高效解码。
2025-11-02 cs.IT cs.LG math.IT
Correction of Transformer-Based Models with Smoothing Pseudo-Projector
Profiteya LLC;Mass General Brigham
本文提出一种基于伪投影器的变换器模型校正方法,通过抑制噪声敏感性提升训练动态和鲁棒性。
2026-03-10 cs.AI cs.LG
A Transformer-based Approach for Source Code Summarization
University of California, Los Angeles(加州大学洛杉矶分校);Columbia University(哥伦比亚大学)
生成描述程序功能的可读摘要称为源代码摘要。在这个任务中,通过对代码标记之间的成对关系建模来学习代码表示以捕获它们的长期依赖关系是至关重要的。为了学习用于摘要的代码表示,我们探索了使用自我注意力机制的Transformer模型,该模型已被证明在捕获长距离依赖关系方面是有效的。在这项工作中,我们表明,尽管这种方法很简单,但它的性能明显优于最先进的技术。我们进行了广泛的分析和消融研究,揭示了几个重要的发现,例如,源代码标记的位置的绝对编码阻碍了摘要的性能,而相对编码显著提高了摘要的性能。我们已经公开了我们的代码,以方便未来的研究。
2020-05-01 cs.AI cs.LG cs.SE
Seamlessly Integrating Tree-Based Positional Embeddings into Transformer Models for Source Code Representation
Adam Mickiewicz University(亚当·密茨凯维奇大学)
针对传统Transformer位置嵌入无法捕捉源代码层次结构的问题,提出基于AST的树状位置嵌入方法增强CodeBERTa模型,经MLM预训练和克隆检测任务验证,多项指标均优于基线。
2025-07-05 cs.LG
Natural Language to Code Using Transformers
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Dept. of Computer Science(计算机科学系)
我们解决了使用CoNaLa数据集从自然语言描述生成代码片段的问题。我们使用的自注意力的Transformer架构,并表明它比经常性的注意力为基础的编码器解码器的性能更好。此外,我们开发了一种修改后的形式的反向翻译和使用周期一致的损失,训练的模型在一个端到端的方式。我们实现了16.99的BLEU评分,击败了之前报道的CoNaLa挑战基线。
2022-02-01 cs.CL cs.LG
Transformer-QEC: Quantum Error Correction Code Decoding with Transferable Transformers
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学);Yale University(耶鲁大学);Arizona State University(亚利桑那州立大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出基于Transformer的量子纠错解码器,利用自注意力机制和混合损失训练实现全局感受野,支持跨码距高效迁移学习,在多种配置下优于传统及ML解码器并大幅降低训练成本。
2023-11-27 cs.AI cs.AR cs.ET
Lerna: Transformer Architectures for Configuring Error Correction Tools for Short- and Long-Read Genome Sequencing
Purdue University(普渡大学);Indian Institute of Technology Bombay(印度理工学院孟买分校);Adobe Research(Adobe 研究院)
测序技术容易出错,这使得下游应用必须进行纠错(EC)。EC工具需要手动配置以获得最佳性能。我们发现,最佳参数(例如,k-聚体大小)都依赖于工具和模板。此外,评估性能(即,给定工具的比对率或增益通常依赖于参考基因组,但质量参考基因组并不总是可用的。我们介绍Lerna用于基于k-mer的EC工具的自动化配置。Lerna首先创建未校正的基因组读段的语言模型(LM);然后,计算困惑度度量以针对不同参数选择来评估校正的读段。接下来,它找到一个在不使用参考基因组的情况下产生最高比对率的基因组。我们的方法的基本直觉是,困惑度量与纠错后的组装质量成反比。结果:首先,我们表明,最佳的k-mer值可以为不同的数据集,即使是相同的EC工具。其次,我们使用其组件注意力为基础的Transformers显示我们的LM的增益。我们展示了模型在误差校正之前和之后对困惑度度量的估计。校正后的混乱度越低,k聚体尺寸越好。我们还表明,校正读取计算的比对率和组装质量与困惑度呈强负相关,从而能够自动选择k-mer值以进行更好的纠错,从而提高组装质量。此外,我们还表明,我们的基于注意力的模型在整个流水线上有显着的运行时改进-比以前的作品快18倍,这是由于并行化了注意力机制和使用JIT编译进行GPU推理。
2021-12-19 cs.LG q-bio.GN
A Mixture of Experts Vision Transformer for High-Fidelity Surface Code Decoding
Hanoi University of Science and Technology(河内科学技术大学);VinUniversity(文大学);Singapore University of Technology and Design(新加坡科技与设计大学)
本文提出QuantumSMoE,一种基于量子视觉变换器的解码器,通过嵌入和自适应遮蔽捕捉局部交互和晶格连接性,利用专家混合层提升可扩展性,实验显示其优于现有机器学习解码器和经典基线。
2026-04-25 cs.IT cs.LG math.IT
Cross-Attention Message-Passing Transformers for Code-Agnostic Decoding in 6G Networks
Institute of Artificial Intelligence, Pohang University of Science and Technology (POSTECH)(人工智能研究院,POSTECH大学);Department of Electrical, Electronic and Computer Engineering, University of Ulsan(电子电气与计算机工程系,乌山大学);Department of Electrical and Computer Engineering, Sungkyunkwan University(电气与计算机工程系,全北国立大学);Department of Electrical Engineering, Pohang University of Science and Technology (POSTECH)(电气工程系,POSTECH大学);Department of Electrical and Computer Engineering, Seoul National University(电气与计算机工程系,首尔国立大学)
本文提出基于交叉注意力消息传递Transformer的AI原生代码无关解码器,通过CrossMPT、FCrossMPT和CrossED实现单一模型对多种码型的统一高性能解码,为6G信道编码提供灵活可扩展的解决方案。
2025-06-22 cs.IT cs.LG eess.SP
GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization
University of Southern California(南加州大学)
与自然语言相反,源代码理解受标记之间的语法关系的影响,而不管它们的标识符名称。源代码的图形表示(如抽象树(AST))可以捕获标记之间的关系,这些关系在源代码中并不明显。我们提出了一种新的方法,GN-Transformer在融合序列和图形模态上学习端到端,我们称之为Syntax-Code-Graph(SCG)。GN-Transformer使用自注意机制扩展了图网络(GN)框架。SCG是源代码片段和AST表示之间早期融合的结果。我们对SCG的结构进行了实验,对模型设计进行了消融研究,并得出结论,性能优势来自融合表示。所提出的方法在两个代码摘要数据集和三个自动代码摘要度量(BLEU,METEOR,ROUGE-L)上实现了最先进的性能。我们进一步评估我们的模型和以前的工作与专家用户的研究人类感知质量。我们的模型在人类感知质量和准确性方面优于最先进的技术。
2021-11-17 cs.LG cs.PL
Code Prediction by Feeding Trees to Transformers
Facebook Inc.(脸书公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Columbia University(哥伦比亚大学)
本文提出让 Transformer 感知代码句法树结构以提升代码下一个 token 预测准确率,并在标准及 Facebook 内部 Python 数据集上显著超越 RNN、Deep3 与 Code2Seq。
2021-03-08 cs.LG cs.SE
Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了浅侵略解码(SAD),以提高即时语法错误纠正(GEC)的Transformer的在线推理效率。SAD通过两个创新优化了GEC的在线推理效率:1)它并行地积极解码尽可能多的令牌,而不是总是在每个步骤中仅解码一个令牌,以提高计算并行性; 2)它使用浅解码器而不是具有平衡的编码器-解码器深度的传统Transformer架构,以降低推理期间的计算成本。在中英文GEC基准测试中的实验表明,积极解码可以产生与贪心解码相同的预测,但具有显着的在线推理速度。它与浅层解码器的结合可以在不损失质量的情况下提供比强大的Transformer基线更高的在线推理加速。我们的方法不仅允许单个模型在英语GEC基准测试中实现最先进的结果:CoNLL-14中的66.4 F0.5和ESTA-19测试集中的72.9 F0.5,在线推理速度比Transformer-big模型快近10倍,而且它很容易适应其他语言。我们的代码可在https://github.com/AutoTemp/Shallow-Aggressive-Decoding上获得。
2021-06-09 cs.CL cs.LG
Qubit-centric Transformer for Surface Code Decoding
本文提出一种基于变换器架构的量子纠错解码器,通过量子比特中心注意力机制提升解码性能,实现接近理论上限的高阈值解码效果。
2026-10-07 cs.AI cs.LG quant-ph
TreeGen: A Tree-Based Transformer Architecture for Code Generation
Peking University(北京大学);University of Alberta(阿尔伯塔大学)
一种代码生成系统基于输入的自然语言描述生成程序设计语言代码。现有技术的方法依赖于神经网络来进行代码生成。然而,这些代码生成器存在两个问题。一个是长依赖性问题,其中代码元素通常依赖于另一个遥远的代码元素。例如,变量引用取决于它的定义,它可能出现在相当多的行之前。另一个问题是结构建模,因为程序包含丰富的结构信息。在本文中,我们提出了一种新的基于树的神经架构,TreeGen,代码生成。TreeGen使用Transformers的注意力机制来缓解长依赖问题,并引入了一种新的AST阅读器(编码器),将语法规则和AST结构纳入网络。我们在一个Python基准测试HearthStone和两个语义解析基准测试ATIS和GEO上评估了TreeGen。TreeGen在HearthStone上的表现超过了之前最先进的方法4.5个百分点,并且在ATIS(89.1%)和GEO(89.6%)上实现了基于神经网络的方法中的最佳准确性。我们还进行了消融测试,以更好地了解我们模型的每个组件。
2019-11-28 cs.LG cs.SE
Should we hard-code the recurrence concept or learn it instead ? Exploring the Transformer architecture for Audio-Visual Speech Recognition
Trinity College Dublin(都柏林圣三一学院)
视听语音融合策略AV Align在具有挑战性的LRS2数据集上的视听语音识别(AVSR)中表现出显着的性能改进。性能提高范围在7%到30%之间,具体取决于除了听觉模态之外还利用语音的视觉模态时的噪声水平。这项工作提出了AV Align的一个变体,其中经常性的长短期记忆(LSTM)计算块被最近提出的Transformer块取代。我们比较了这两种方法,更详细地讨论了它们的优点和缺点。我们发现,Transformers也学习跨模态单调对齐,但与LSTM模型一样存在视觉收敛问题,需要对机器学习中的主导模态问题进行更深入的研究。
2020-05-19 cs.LG eess.AS
Cleansing Jewel: A Neural Spelling Correction Model Built On Google OCR-ed Tibetan Manuscripts
Harvard University(哈佛大学);Massachusetts Institute of Technology (MIT)(麻省理工学院(MIT))
本文提出基于谷歌OCR的藏文手稿的神经拼写纠正模型,通过改进的Transformer架构实现自动纠正OCR噪声输出,实验表明其优于其他序列模型。
2024-05-14 cs.AI cs.CL cs.CY
DeepSumm -- Deep Code Summaries using Neural Transformer Architecture
源代码摘要是编写源代码在运行时间期间的行为的简短、自然语言描述的任务。这样的摘要对于软件开发和维护非常有用,但是手动编写成本很高,因此它只针对生成的一小部分代码完成,并且经常被忽略。自动化的代码文档可能以较低的成本解决这个问题。因此,这是一个新兴的研究领域,进一步应用程序的理解,软件维护。传统的方法通常依赖于以模板形式构建的认知模型,这些模型由开发人员社区在不同程度上采用。但随着最近的进步,基于神经技术的端到端数据驱动方法已经在很大程度上超过了传统技术。目前的大部分景观采用基于神经翻译的架构,具有递归和注意力,这是资源和时间密集型的训练过程。在本文中,我们采用神经技术来解决源代码总结的任务,并具体比较基于NMT的技术,更简化和吸引人的Transformer架构上的Java方法和注释的数据集。我们提出了一个论点,以免除在培训过程中的需要递归。据我们所知,基于Transformer的模型以前没有用于该任务。通过超过210万条评论和代码的监督样本,我们将训练时间减少了50%以上,并在测试样本集上获得了17.99的BLEU分数。
2020-03-31 cs.CL cs.LG
BinBert: Binary Code Understanding with a Fine-tunable and Execution-aware Transformer
Sapienza University of Rome(罗马第一大学)
二进制代码分析的最近趋势促进了基于指令嵌入模型的神经解决方案的使用。指令嵌入模型是将汇编指令序列转换为嵌入向量的神经网络。如果嵌入网络经过训练,使得从代码到向量的转换部分地保留了语义,则网络有效地表示汇编代码模型。在本文中,我们提出了BinBert,一种新的汇编代码模型。BinBert构建在一个Transformer上,该transformer在一个包含汇编指令序列和符号执行信息的巨大数据集上进行了预训练。BinBert可以应用于汇编指令序列,并且它是可微调的,即它可以作为任务特定数据的神经架构的一部分进行重新训练。通过微调,BinBert学习如何将预训练获得的一般知识应用于特定任务。我们在一个多任务基准上评估了BinBert,该基准是我们专门设计来测试对汇编代码的理解的。基准测试由几个任务组成,其中一些来自文献,还有一些我们设计的新任务,以及内在和下游任务的混合。我们的研究结果表明,BinBert优于最先进的二进制指令嵌入模型,提高了二进制代码理解的标准。
2022-08-13 cs.CR cs.LG
TransICD: Transformer Based Code-wise Attention Model for Explainable ICD Coding
The Ohio State University(俄亥俄州立大学)
国际疾病分类(ICD)编码程序是指在医疗记录上标注诊断代码,已被证明是有效的,对医疗部门的计费系统至关重要。目前,ICD代码是手动分配给临床记录的,这可能会导致许多错误。此外,培训熟练的程序员也需要时间和人力资源。因此,自动化ICD代码确定过程是一项重要任务。随着人工智能理论和计算硬件的发展,机器学习方法已经成为一种合适的解决方案来自动化这个过程。在这个项目中,我们应用基于transformer的架构来捕获文档的令牌之间的相互依赖性,然后使用代码方面的注意力机制来学习整个文档的特定于代码的表示。最后,它们被馈送到单独的密集层,用于相应的代码预测。此外,为了处理临床数据集的代码频率的不平衡,我们采用标签分布感知边缘(LDAM)损失函数。MIMIC-III数据集上的实验结果表明,我们提出的模型明显优于其他基线。特别是,我们的最佳设置实现了0.923的微AUC得分,而双向递归神经网络的得分为0.868。我们还表明,通过使用代码明智的注意力机制,该模型可以提供更多的见解,其预测,因此它可以支持临床医生作出可靠的决定。我们的代码可在线获取(https://github.com/biplob1ly/TransICD)
2021-03-28 cs.CL cs.LG
Hierarchical Label-wise Attention Transformer Model for Explainable ICD Coding
University of New South Wales(新南威尔士大学);The Australian e-Health Research Centre, CSIRO(澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心);Australian Institute of Health and Welfare(澳大利亚卫生与福利研究所)
国际疾病分类(ICD)编码在发病率和死亡率数据的系统分类中发挥着重要作用。在这项研究中,我们提出了一个分层的标签式注意力Transformer模型(HiLAT)的ICD代码的解释性预测从临床文件。HiLAT首先微调预训练的Transformer模型以表示临床文档的标记。随后,我们采用了两个层次的标签明智的注意力机制,创建标签特定的文档表示。这些表示又被前馈神经网络用来预测特定ICD代码是否被分配给感兴趣的输入临床文档。我们使用来自MIMIC-III数据库的出院总结及其相应ICD-9代码评价HiLAT。为了研究不同类型的Transformer模型的性能,我们开发了ClinicalplusXLNet,它使用所有MIMIC-III临床笔记从XLNet-Base进行持续的预训练。实验结果表明,HiLAT+ClinicalplusXLNet的F1评分优于MIMIC-III中前50个最常见ICD-9代码的先前最先进模型。注意力权重的可视化提供了一个潜在的可解释性工具,用于检查ICD代码预测的表面有效性。
2022-09-30 cs.CL cs.LG
Distilling Transformers for Neural Cross-Domain Search
Microsoft(微软)
经过预先训练的Transformers最近在自然语言任务领域占据了领先地位,并开创了软件工程任务的解决方案。即使是信息检索也不能不受Transformer的影响,尽管它们的大尺寸和成本通常是部署的障碍。虽然在精简、缓存和修改生产Transformer架构方面做了很多工作,但在这里我们探索了一个新的方向:将一个大型的预训练翻译模型提炼成一个轻量级的双向编码器,可以有效地缓存和查询。我们认为,从概率的角度来看,序列到序列模型是一个概念上理想的-虽然非常不切实际-检索。我们得到一个新的蒸馏目标,实现它作为一个数据增强计划。使用自然语言源代码搜索作为跨域搜索的案例研究,我们证明了这一想法的有效性显着改善后,目前的领导者CodeSearchNet的挑战,最近的自然语言代码搜索基准。
2021-08-06 cs.IR cs.LG cs.SE
Hybrid Mamba-Transformer Decoder for Error-Correcting Codes
School of Electrical and Computer Engineering(电气与计算机工程学院);Ben-Gurion University of the Negev(贝内尔-加利利大学内盖夫分校);Blavatnik School of Computer Science(Blavatnik计算机科学学院);Tel Aviv University(特拉维夫大学)
本文提出一种混合Mamba-Transformer解码器,结合Mamba高效序列建模与Transformer全局上下文,并引入逐层掩蔽和渐进损失,在多种线性码上显著优于纯Transformer和标准Mamba解码器。
2025-05-23 cs.AI cs.IT cs.LG
Tree-Transformer: A Transformer-Based Method for Correction of Tree-Structured Data
Boston University(波士顿大学);Draper(德雷珀实验室)
许多常见的顺序数据源(如源代码和自然语言)都具有自然的树结构表示。这些树可以通过将序列拟合到语法来生成,从而产生序列中标记的层次排序。这种结构编码了高度的句法信息,使其成为解决语法纠正等问题的理想方法。然而,很少有工作已经做了开发神经网络,可以操作和利用树结构的数据。在本文中,我们提出了树转换器\textemdash{},一种新的神经网络架构,旨在任意输入和输出树之间的转换。我们将此架构应用于源代码和自然语言领域的校正任务。在源代码上,我们的模型实现了$25\%$ $\text{F}0.5$的最佳顺序方法的改进。在自然语言方面,我们取得了与最复杂的最先进系统相当的结果,在CoNLL 2014基准测试中获得了$10\%$召回率的改善,并在$50.43$的AESW基准测试中获得了迄今为止最高的$\text{F}0.5$分数。
2019-08-01 cs.CL cs.LG stat.ML
Cross-Modal Transformer-Based Neural Correction Models for Automatic Speech Recognition
NTT Media Intelligence Laboratories, NTT Corporation(日本电信电话株式会社媒体智能研究所)
提出了一种基于跨模态变换的神经校正模型,该模型对自动语音识别(ASR)系统的输出进行改进,以排除ASR错误。一般来说,神经校正模型由编码器-解码器网络组成,可以直接模拟序列到序列的映射问题。最成功的方法是使用输入语音及其ASR输出文本作为编码器-解码器网络的输入上下文。然而,传统的方法不能考虑这两个不同的模态输入之间的关系,因为输入上下文被单独编码为每个模态。为了有效地利用两个不同模态输入之间的相关信息,我们提出的模型编码两个不同的上下文联合使用Transformer的跨模态自我注意的基础上。我们期望跨通道自我注意能有效地捕捉两个不同通道之间的关系,以完善ASR假设。我们还引入了一种浅层融合技术,有效地整合了第一遍ASR模型和我们提出的神经校正模型。日语自然语言ASR任务的实验表明,我们提出的模型实现了更好的ASR性能比传统的神经校正模型。
2021-07-04 cs.CL cs.LG
VT-Former: Efffcient Transformer-based Decoder for Varshamov-Tenengolts Codes
Center for Applied Mathematics, KL-AAGDM, Tianjin University(天津大学应用数学中心、KL-AAGDM);State Key Laboratory of Synthetic Biology, Tianjin University(天津大学合成生物学国家重点实验室)
本文提出VT-Former,一种基于Transformer的解码器,用于多错误纠正的Varshamov-Tenengolts码,实验显示其在单错误纠正和多错误解码任务中均表现出高准确性和效率。
2026-04-01 cs.IT cs.LG math.IT
5G LDPC Linear Transformer for Channel Decoding
University of Puerto Rico(波多黎各大学)
本文提出一种线性时间复杂度的Transformer解码器,用于5G NR LDPC码,复杂度为O(n),性能匹配常规Transformer并优于单次迭代BP,时间性能与BP相当。
2025-01-23 cs.IT cs.LG math.IT
UWB TDoA Error Correction using Transformers: Patching and Positional Encoding Strategies
IDLab, Department of Information Technology, Ghent University—imec(IDLab,信息科技系,根特大学—imec)
本文提出一种基于Transformer的UWB TDoA位置校正方法,利用所有锚节点的原始CIR并设计多种排序、分块与位置编码策略,在几乎全NLOS环境中将定位精度提升至0.39 m,较基线改善73.6%。
2025-07-04 cs.LG eess.SP
ASR Error Correction in Low-Resource Burmese with Alignment-Enhanced Transformers using Phonetic Features
Language Understanding Laboratory, Myanmar(缅甸语言理解实验室);Department of Computer Engineering, KMITL, Bangkok, Thailand(泰国曼谷KMITL计算机工程系);Language and Semantic Technology Research Team, NECTEC, Bangkok, Thailand(泰国曼谷NECTEC语言与语义技术研究团队)
本文提出了一种结合IPA和对齐信息的ASR错误校正方法,有效提升了低资源缅甸语ASR的词和字符级准确率。
2025-11-26 cs.CL cs.LG cs.SD
Understanding Code Semantics: An Evaluation of Transformer Models in Summarization
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文通过改名、死代码和注释代码等对抗实验,评估Transformer模型在代码摘要中是否真正理解代码语义,旨在揭示模型内部机制并提升软件开发效率。
2023-10-27 cs.LG
Empirical Study of Transformers for Source Code
HSE University(高等经济大学)
最初是为自然语言处理(NLP)而开发的,由于源代码和文本之间的格式相似性,Transformers现在广泛用于源代码处理。与自然语言相比,源代码是严格结构化的,即,它遵循程序设计语言的语法。最近的几项工作开发了Transformer修改,用于捕获源代码中的语法信息。这些作品的缺点是它们不相互比较,考虑不同的任务。在这项工作中,我们进行了彻底的实证研究的能力,Transformers利用句法信息在不同的任务。我们考虑三个任务(代码完成,函数命名和错误修复),并在一个统一的框架中重新实现不同的语法捕获修改。我们表明,Transformers能够作出有意义的预测纯粹基于语法信息,并强调考虑到语法信息的最佳做法,以提高模型的性能。
2021-06-24 cs.CL cs.LG cs.SE
Language Modelling for Source Code with Transformer-XL
University of Newcastle(纽卡斯尔大学)
已经发现,软件,如自然语言文本,表现出“自然性”,这可以通过统计语言模型来捕获。近年来,已经提出了神经语言模型,以通过深度学习来表示软件的自然性。在本文中,我们进行了实验评估的国家的最先进的神经语言模型的源代码,包括基于RNN的模型和基于Transformer-XL的模型。通过在大规模Python代码语料库上的实验,我们发现Transformer-XL模型在捕捉软件自然性方面优于基于RNN的模型(包括LSTM和GRU模型),并且计算成本要低得多。
2020-07-31 cs.CL cs.LG cs.SE
Planning with Large Language Models for Code Generation
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);The University of Hong Kong(香港大学);MIT(麻省理工学院);UMass Amherst(马萨诸塞大学阿默斯特分校)
现有的基于大型语言模型的代码生成流水线通常在解码过程期间使用束搜索或采样算法。虽然它们生成的程序获得了很高的基于标记匹配的分数,但它们通常无法编译或生成不正确的输出。主要原因是传统的Transformer解码算法可能不是代码生成的最佳选择。在这项工作中,我们提出了一种新的Transformer解码算法,规划引导的Transformer解码(PG-TD),使用规划算法做前瞻搜索,并指导Transformer生成更好的程序。具体地说,Transformer不是简单地优化生成序列的可能性,而是利用规划器来生成候选程序并在公共测试用例上测试它们。因此,Transformer可以做出更明智的决策,并生成最终导致更高质量程序的令牌。我们还设计了一个机制,共享信息之间的Transformer和规划,使我们的算法计算效率。我们以几个大语言模型作为公共编码挑战基准测试的主干,对我们的框架进行了经验评估,结果表明:1)与竞争基线方法相比,它可以生成持续实现更高性能的程序; 2)它可以通过优化修改目标来实现可控的代码生成,例如简洁代码和高度注释的代码。
2023-03-09 cs.AI cs.CL cs.LG
CMSAOne@Dravidian-CodeMix-FIRE2020: A Meta Embedding and Transformer model for Code-Mixed Sentiment Analysis on Social Media Text
International Institute of Information Technology - Hyderabad (IIIT-Hyderabad)(海得拉巴国际信息技术学院(IIIT-Hyderabad))
语码混用是一种常见的语言现象,它是指在一个话语或句子中使用多种语言。CM主要在各种社交媒体平台和非正式对话中进行。情感分析是自然语言处理中的一个基本步骤,在单语文本中得到了很好的研究。语码混合由于其非标准的表示方式给情感分析带来了挑战。本文提出了一种基于Transformer的Meta嵌入方法,用于对Dravidian代码混合数据集进行情感分析。在我们的方法中,我们使用Meta嵌入来捕获富文本表示。我们将所提出的方法用于任务:“代码混合文本中的达罗毗荼语的情感分析”,并且对于给定的达罗毗荼语代码混合数据集,它实现了$0.58$和$0.66$的F1得分。代码在Github https://github.com/suman101112/fire-2020-Dravidian-CodeMix中提供。
2021-01-22 cs.CL cs.LG
Parameter-Efficient Finetuning of Transformers for Source Code
HSE University(高等经济大学);Naver Labs Europe(Naver欧洲实验室)
预训练的Transformers在各种代码处理任务中实现了最先进的性能,但可能太大而无法部署。由于软件开发工具通常包含用于各种目的的模块,这些模块可能潜在地使用预训练模型的单个实例,因此似乎与针对代码的预训练模型利用参数高效微调相关。在这项工作中,我们测试了两种广泛使用的方法,适配器和LoRA,这是最初测试的NLP任务,四个代码处理任务。我们发现,虽然有效的微调方法可能会实现可比或更高的性能比标准的,完整的,微调的代码理解任务,他们表现不佳的代码生成任务的全面微调。这些结果强调了在NLP之外的其他领域测试有效微调方法的重要性,并激励了未来对源代码进行有效微调的研究。
2022-12-12 cs.CL cs.LG cs.SE
A Transformer-Based Approach for Smart Invocation of Automatic Code Completion
Delft University of Technology(代尔夫特理工大学)
针对代码补全模型过度建议干扰开发者的问题,提出基于Transformer的调用预测模型,利用代码上下文和遥测数据决定何时触发补全,实验显示性能优于基线且延迟低,并在真实环境中验证了有效性。
2024-05-23 cs.AI cs.HC cs.LG
BITS Pilani at HinglishEval: Quality Evaluation for Code-Mixed Hinglish Text Using Transformers
BITS Pilani(比尔拉科学技术学院皮拉尼分校)
代码混合文本数据由包含来自多种语言的单词或短语的句子组成。世界上大多数多语言社区使用多种语言进行交流,英语通常是其中之一。印度式英语是一种由印度语和英语组成的代码混合文本,但以罗马字母书写。本文的目的是确定影响由系统生成的代码混合文本数据的质量的因素。对于Hinglish Eval任务,该模型使用多语言BERT来找到合成生成的句子和人类生成的句子之间的相似性,以预测合成生成的Hinglish句子的质量。
2022-06-17 cs.CL cs.LG
PATCorrect: Non-autoregressive Phoneme-augmented Transformer for ASR Error Correction
Stony Brook University(石溪大学);Amazon.com Inc(亚马逊公司)
提出PATCorrect,一种基于文本与音素多模态融合的非自回归ASR纠错模型,在英文语料上实现11.62%的WER降低,推理延迟仅数十毫秒,满足工业低延迟需求。
2023-06-21 cs.CL cs.LG cs.SD
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google(谷歌)
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音,但它们使用的递归或卷积层通常会限制它们的有效感受域,这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率,由于它们的电感偏置,能够利用输入信号中的长程依赖性。因此,我们使用预训练的Transformer与卷积编码器串联,卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明,用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器,当以相同的比特率训练时,该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明,所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
Fix Bugs with Transformer through a Neural-Symbolic Edit Grammar
Iowa State University(爱荷华州立大学);AWS AI(AWS人工智能)
我们介绍了NSEdit(神经符号编辑),一种新的基于transformer的代码修复方法。只给出包含bug的源代码,NSEdit预测可以修复bug的编辑序列。编辑语法被公式化为正则语言,并且Transformer将其用作神经符号脚本接口来生成编辑程序。我们修改Transformer并添加一个指针网络来选择编辑位置。训练重排序器的集合以重排序由束搜索生成的编辑序列。我们对验证集上的重排序器进行微调,以减少过度拟合。NSEdit在各种代码修复数据集上进行了评估,并在CodeXGLUE基准测试的Tufano小数据集上实现了新的最先进的精度($24.04\%$)。NSEdit在程序因包而异以及有bug的程序是具体的情况下执行稳健。我们对我们的方法进行了详细的分析,并证明了每个组件的有效性。
2022-04-13 cs.AI cs.LG cs.PL
StructCoder: Structure-Aware Transformer for Code Generation
Virginia Tech(弗吉尼亚理工大学)
针对现有代码生成模型对代码语法语义理解不足的问题,提出结构感知Transformer模型StructCoder,通过在编码器和解码器中分别融入语法、数据流信息及相关辅助任务,在多个代码生成基准上取得优于同规模基线的性能。
2024-01-30 cs.LG cs.SE
Palomino-Ochoa at SemEval-2020 Task 9: Robust System based on Transformer for Code-Mixed Sentiment Classification
Universidad Católica San Pablo(圣巴勃罗天主教大学)
我们提出了一个迁移学习系统来执行混合的西班牙语-英语情感分类任务。我们的建议使用最先进的语言模型BERT,并将其嵌入ULMFiT迁移学习管道中。这种组合使我们能够预测代码混合(英语-西班牙语)推文的极性检测。因此,在29个提交的系统中,我们的方法(称为dplominop)在SemEval 2020任务9的Sentimix Spanglish测试集上排名第四。事实上,我们的系统产生的加权F1得分值为0.755,可以很容易地复制-源代码和实现细节是可用的。
2020-11-18 cs.CL cs.LG
Fourier-Based 3D Multistage Transformer for Aberration Correction in Multicellular Specimens
Howard Hughes Medical Institute(霍华德·休斯医学研究所);Department of Molecular and Cell Biology, University of California Berkeley(加州大学伯克利分校分子与细胞生物学系);Lawrence Berkeley National Laboratory(伯克利国家实验室);Chan Zuckerberg Biohub(查兰·泽伯生物枢纽);Department of Physics, University of California(加州大学物理系);Helen Wills Neuroscience Institute(海伦·威尔斯神经科学研究所)
本文提出基于傅里叶域3D多级Vision Transformer的AOViFT框架,无需波前传感器即可估计并校正多细胞样品中的空间变化像差,并在活体斑马鱼胚胎中验证。
2025-05-23 cs.AI cs.LG eess.IV
Malicious Source Code Detection Using Transformer
Ben-Gurion University(本-古里安大学)
开源代码被认为是现代软件开发中的常见做法。然而,重复使用其他代码会使恶意攻击者能够访问广泛的开发人员社区,从而访问依赖于它的产品。这些攻击被归类为供应链攻击。近年来,越来越多的供应链攻击在软件开发过程中利用开源,自动或手动地中继下载和安装过程。多年来,已经发明了许多方法来检测易受攻击的软件包。但是,在包中检测恶意代码并不常见。这些检测方法可以大致分类为使用(动态)和不使用(静态)代码执行的分析。在这里,我们介绍了恶意源代码检测使用Transformers(MSDT)算法。MSDT是一种基于深度学习方法的新型静态分析,可检测源代码包的真实代码注入情况。在这项研究中,我们使用MSDT和一个包含60多万个不同函数的数据集来嵌入各种函数,并对生成的向量应用聚类算法,通过检测离群值来检测恶意函数。我们进行了广泛的实验,并证明了我们的算法能够检测到注入恶意代码的功能,精度@k值高达0.909。
2022-09-16 cs.CR cs.LG
CMLFormer: A Dual Decoder Transformer with Switching Point Learning for Code-Mixed Language Modeling
Courant Institute of Mathematical Sciences(Courant数学科学研究所);Tandon School of Engineering(Tandon工程学院)
针对语码混合语言的结构挑战,提出带共享编码器与同步交叉注意力的双解码器Transformer模型CMLFormer,结合多任务预训练捕捉切换特性,在HASOC-2021基准上性能优于现有方法,且对切换点具备识别敏感性。
2025-05-19 cs.CL cs.LG
Hierarchical Character Tagger for Short Text Spelling Error Correction
eBay Inc.(eBay公司)
最先进的拼写错误纠正方法包括基于Transformer的Seq 2Seq模型,它需要大量的训练集,并且推理时间很慢;以及基于Transformer编码器(如BERT)的序列标记模型,它涉及标记级标签空间,因此需要大量的预定义词汇词典。在本文中,我们提出了一个层次化的字符标记模型,或HCTagger,短文本拼写错误校正。我们在字符级使用预先训练的语言模型作为文本编码器,然后预测字符级编辑,以将原始文本转换为具有更小标签空间的无错误形式。对于解码,我们提出了一个分层的多任务方法,以减轻长尾标签分布的问题,而不引入额外的模型参数。在两个公开的拼写错误纠正数据集上的实验表明,HCTagger是一种准确且比许多现有模型快得多的方法。
2021-09-29 cs.CL cs.LG
SNLP: Layer-Parallel Inference via Structured Newton Corrections
Core AI, IBM(IBM核心AI)
提出结构化牛顿层并行(SNLP)框架,通过将Transformer层间依赖视为非线性残差方程并用结构化牛顿校正并行求解,实现推理加速,在0.5B模型上获得高达2.58倍加速。
2026-07-09 cs.LG
GECToR -- Grammatical Error Correction: Tag, Not Rewrite
Grammarly(Grammarly公司)
在本文中,我们提出了一个简单而有效的GEC序列标签使用Transformer编码器。我们的系统在合成数据上进行预训练,然后分两个阶段进行微调:第一阶段是在有错误的语料库上,第二阶段是在有错误和无错误的并行语料库的组合上。我们设计了自定义的令牌级转换,以将输入令牌映射到目标更正。我们最好的单模型/集合GEC标记器在CoNLL-2014(测试)上实现了65.3/66.5的$F_{0.5}$,在NLL-2019(测试)上实现了72.4/73.6的$F_{0.5}$。它的推理速度是基于transformer的seq 2seq GEC系统的10倍。代码和训练模型是公开的。
2020-05-29 cs.CL cs.LG
JavaBERT: Training a transformer-based model for the Java programming language
Kiel University(基尔大学)
在开发新的软件代码时,代码质量是并将是一个关键因素,需要适当的工具来确保代码的功能和可靠性。机器学习技术仍然很少用于软件工程工具,错过了其应用的潜在好处。自然语言处理已经显示出处理关于各种任务的文本数据的潜力。我们认为,这样的模型也可以显示类似的好处,软件代码处理。在本文中,我们研究了如何用于自然语言处理的模型可以在软件代码上进行训练。我们介绍了一个数据检索管道的软件代码和训练模型上的Java软件代码。由此产生的模型,JavaBERT,显示了高精度的掩蔽语言建模任务显示其潜在的软件工程工具。
2021-10-20 cs.LG cs.SE
Efficient Software Vulnerability Detection Using Transformer-based Models
DePaul University(德保罗大学)
本文提出利用变压器模型进行C/C++漏洞检测,通过程序切片提取关键语法和语义特征,结合数据平衡和超参数调优,实现高效准确的漏洞识别。
2026-03-31 cs.CR cs.LG cs.SE
Dual input stream transformer for vertical drift correction in eye-tracking reading data
Bournemouth University(伯恩茅斯大学);University College London(伦敦大学学院)
提出双输入流 Transformer(DIST)校正眼动阅读数据的垂直漂移,并通过九数据集评估与消融证明其高准确率、鲁棒性及关键设计因素。
2024-02-15 cs.CV cs.LG
PyMT5: multi-mode translation of natural language and Python code with transformers
Microsoft Cloud and AI(微软云和人工智能部门);Stanford University(斯坦福大学)
同时对源代码和自然语言建模在自动化软件开发和理解中有许多令人兴奋的应用。为了实现这种技术,我们引入了PyMT 5,Python方法文本到文本转换Transformer,它被训练为在所有Python方法特征组合之间进行转换:一个单一的模型,既可以从自然语言文档字符串(docstrings)预测整个方法,也可以将代码总结为任何常见风格的docstrings。我们对一个包含2600万个Python方法和770万个方法-文档字符串对的大规模并行语料库进行了分析和建模,结果表明,对于文档字符串和方法生成,PyMT 5的性能优于类似大小的自回归语言模型(GPT 2),后者是英语预训练或随机初始化的。在CodeSearchNet测试集上,我们的最佳模型预测了92.1%的语法正确的方法体,方法生成的BLEU得分为8.59,文档字符串生成(摘要)的BLEU得分为16.3,方法生成的ROUGE-LF得分为24.8,文档字符串生成的ROUGE-LF得分为36.7。
2020-10-07 cs.LG cs.SE