Error Correction Code Transformer
Tel Aviv University(特拉维夫大学)
纠错码是通信物理层的主要组成部分,确保数据在噪声信道上的可靠传输。最近,神经解码器被证明优于经典解码技术。然而,现有的神经方法由于指数训练复杂性而呈现出强烈的过拟合,或者由于依赖于置信传播而呈现出限制性的归纳偏差。最近,由于Transformers能够表示元素之间的复杂交互,因此它已成为许多应用程序中的首选方法。在这项工作中,我们提出了第一次扩展的Transformer架构的线性码在任意块长度的软解码。我们将每个通道的输出维度编码为高维,以便更好地表示要单独处理的比特信息。逐元素处理允许信道输出可靠性的分析,而代数码和位之间的相互作用通过自适应掩蔽自注意模块插入到模型中。所提出的方法展示了Transformers的强大功能和灵活性,并在时间复杂度的一小部分上大幅优于现有的最先进的神经解码器。
2022-03-27 cs.AI cs.IT cs.LG
ResiDual: Transformer with Dual Residual Connections
Microsoft Research(微软研究院);Microsoft Azure Translation(微软Azure翻译);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对Transformer中Post-LN梯度消失、Pre-LN表征坍缩的问题,提出融合二者残差连接的ResiDual架构,经理论和实验验证其性能更优,可作为AI模型基础架构。
2023-04-28 cs.AI cs.CL cs.LG
A Novel Stochastic Transformer-based Approach for Post-Traumatic Stress Disorder Detection using Audio Recording of Clinical Interviews
LISSI Université Paris-Est Créteil (UPEC)(巴黎东部克雷泰伊大学LISSI实验室)
本文提出一种基于MFCC特征和随机Transformer的深度学习方法,利用临床访谈音频检测PTSD,在eDAIC数据集上取得RMSE 2.92的最新性能。
2024-03-28 cs.LG cs.SD eess.AS
Probing self-attention in self-supervised speech models for cross-linguistic differences
University of Maryland, College Park(马里兰大学帕克分校)
本文以小型自监督语音Transformer模型TERA为对象,探究自注意力机制在不同语言中的差异,发现注意力头模式多样且与语言无关,并证明模型能学到音系信息,且主要依赖对角注意力头进行音素分类。
2024-09-04 cs.CL cs.LG
Dilated Neighborhood Attention Transformer
U of Oregon(俄勒冈大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR))
Transformers正在迅速成为跨模态、领域和任务应用最广泛的深度学习架构之一。在愿景中,除了正在进行的普通Transformers的努力之外,分层Transformers也受到了极大的关注,这要归功于它们的性能和易于集成到现有框架中。这些模型通常采用局部注意力机制,例如滑动窗口邻域注意(NA)或Swin Transformer的移位窗口自注意。虽然局部注意力有效地降低了自我注意力的二次复杂性,但它削弱了自我注意力的两个最理想的特性:长距离相互依赖模型和全局感受野。在本文中,我们介绍了扩张邻域注意力(DiNA),一个自然,灵活和有效的扩展NA,可以捕捉更多的全球范围内,并在没有额外的成本呈指数级扩大感受野。NA的局部注意力和DiNA的稀疏全局注意力相辅相成,因此我们引入了扩张邻域注意力Transformer(DiNAT),这是一种建立在两者之上的新的分层视觉Transformer。DiNAT变体比NAT、Swin和ConvNeXt等强基线有显著改进。我们的大型模型更快,在COCO目标检测中有1.6%的box AP,在COCO实例分割中有1.4%的mask AP,在ADE 20 K语义分割中有1.4%的mIoU。与新框架配对,我们的大型变体是COCO(58.5 PQ)和ADE 20 K(49.4 PQ)上最先进的新全景分割模型,以及Cityscapes(45.1 AP)和ADE …
2023-01-16 cs.AI cs.CV cs.LG
A Transformer-Based Framework for Payload Malware Detection and Classification
University of West Florida(西佛罗里达大学);Florida Institute For Human and Machine Cognition (IHMC)(佛罗里达人机认知研究所);Center for Cybersecurity, University of West Florida(西佛罗里达大学网络安全中心)
提出基于Transformer的DPI算法,使用原始载荷字节检测并分类恶意流量,在UNSW-NB15和CIC-IOT23数据集上二分类准确率达79%,多分类达72%。
2024-03-27 cs.AI cs.CR cs.LG
The silence of the weights: a structural pruning strategy for attention-based audio signal architectures with second order metrics
本文提出一种针对注意力机制的通道剪枝技术,通过二阶指标评估参数重要性,验证在AST和Whisper模型中50%参数剪枝后性能仍保持良好。
2026-03-16 cs.LG cs.SD
pNLP-Mixer: an Efficient all-MLP Architecture for Language
IBM Research(IBM研究院);Telepathy Labs(心灵感应实验室)
本文提出pNLP-Mixer,一种面向端侧NLP的无嵌入全MLP架构,通过新颖投影层实现高权重效率,仅1MB模型在多语言语义解析任务上以极低参数量接近mBERT性能并超越pQRNN。
2023-05-25 cs.AI cs.CL cs.LG
Skill matching at scale: freelancer-project alignment for efficient multilingual candidate retrieval
Malt
本文提出一种基于预训练多语言语言模型和自定义Transformer架构的神经检索器,利用对比损失训练,实现大规模多语言环境下自由职业者与项目的高效技能匹配,优于传统方法。
2024-09-19 cs.CL cs.IR cs.LG
SeRpEnt: Selective Resampling for Expressive State Space Models
ItalAI S.R.L(意塔尔人工智能有限公司);Sapienza University of Rome(罗马第一大学);Panasonic AI Lab(松下人工智能实验室)
本文提出SeRpEnt架构,通过选择性重采样机制按信息内容压缩序列,在Long Range Arena等基准上验证了其有效性,优于传统状态空间模型。
2025-01-20 cs.CV cs.LG
Characterizing State Space Model and Hybrid Language Model Performance with Long Context
本文研究了长上下文推理中Transformer、状态空间模型(SSM)及混合模型的性能差异,发现SSM在处理长上下文时效率显著高于Transformer,且内存占用更低。
2026-03-22 cs.AI cs.AR cs.LG
Fine-tuning Transformer-based Encoder for Turkish Language Understanding Tasks
Istanbul Bilgi University(伊斯坦布尔比尔基大学)
本研究针对土耳其语自然语言理解任务,微调基础版土耳其语BERT模型BERTurk,在命名实体识别等四项任务上超越现有基线,公开发布相关模型资源以支持领域研究。
2024-01-30 cs.AI cs.CL
GMAT: Global Memory Augmentation for Transformers
Tel Aviv University(特拉维夫大学);Allen Institute for AI(艾伦人工智能研究所)
基于transformer的模型由于其大容量、固有的并行性和高性能而在自然语言处理中无处不在。Transformer块的上下文组件是$\textit{pairwise dot-product}$ attention,它对长度$L$序列有很大的$Ω(L^2)$内存需求,限制了它处理长文档的能力。这一直是最近的实质性兴趣的主题,其中提出了多个近似,以减少使用稀疏注意矩阵的二次记忆要求。在这项工作中,我们建议增加稀疏的Transformer块与密集的注意力为基础的$\textit{global memory}$的长度$M$($\ll L$),它提供了一个聚合的全局视图的整个输入序列的每个位置。我们的增强具有可管理的$O(M\cdot(L+M))$内存开销,并且可以与先前的稀疏解决方案无缝集成。此外,全局存储器也可以用于序列压缩,通过仅用存储器表示来表示长输入序列。我们的经验表明,我们的方法导致一系列任务的实质性改善,包括(a)需要全局推理的合成任务,(b)掩蔽语言建模,(c)阅读理解。
2020-06-05 cs.CL cs.LG stat.ML
LLMs Are Zero-Shot Context-Aware Simultaneous Translators
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Nara Women’s University(奈良女子大学)
本文证明开源LLMs在零样本同声机器翻译任务中表现媲美最先进基线,注入背景信息可提升技术主题翻译性能,凸显其无需训练即可构建多语言上下文感知系统的潜力。
2024-06-25 cs.CL