Power Law Graph Transformer for Machine Translation and Representation Learning
Fromthesky Research Labs LLC(Fromthesky研究实验室有限责任公司)
我们提出了幂律图Transformer,一个Transformer模型,具有定义良好的演绎和归纳任务,用于预测和表示学习。演绎任务根据可学习的幂律分布参数学习数据集级别(全局)和实例级别(局部)图结构。归纳任务使用演绎任务输出来输出预测概率,类似于转换模型。我们用来自TED演讲稿的土耳其语-英语和葡萄牙语-英语数据集训练了我们的模型,用于机器翻译,并将模型的性能和特征与Transformer模型进行了比较,该模型具有在相同实验设置上训练的缩放点积注意力。我们报告BLEU分数的$17.79$和$28.33$的土耳其语-英语和葡萄牙语-英语翻译任务与我们的模型,分别。我们还展示了如何利用量化集和N维流形表示之间的对偶,使用连续应用线性和非线性变换端到端在局部和全局演绎归纳输出之间进行变换。
2021-06-27 cs.AI cs.CL cs.LG
How Do Nonlinear Transformers Learn and Generalize in In-Context Learning?
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
本文首次理论分析含非线性自注意力与 MLP 的 Transformer 的 ICL 训练动态、跨任务泛化、组件作用及幅度剪枝影响,并以数值实验验证。
2024-06-16 cs.LG
Persformer: A Transformer Architecture for Topological Machine Learning
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);L2F SA(L2F公司)
拓扑数据分析(TDA)的主要挑战之一是从持久图中提取机器学习算法直接可用的特征。实际上,持久性图本质上是$\mathbb{R}^2$中的点的(多)集合,并且不能以直接的方式被视为向量。在本文中,我们将介绍$\texttt{Persformer}$,它是第一个接受持久性图作为输入的Transformer神经网络体系结构。$\texttt{Persformer}$架构在经典合成和图形基准数据集上的性能显著优于以前的拓扑神经网络架构。此外,它还满足一个普适逼近定理。这使我们能够介绍拓扑机器学习的第一个可解释性方法,我们在两个例子中探索。
2022-09-26 cs.LG math.AT
Dissecting Lottery Ticket Transformers: Structural and Behavioral Study of Sparse Neural Machine Translation
MIT(麻省理工学院)
最近对彩票假说的研究已经为NMT产生了高度稀疏的Transformers,同时保持了BLEU。然而,目前还不清楚这种修剪技术如何影响模型的学习表示。通过探测具有越来越多的低量级权重被修剪掉的Transformers,我们发现复杂的语义信息首先被降级。内部激活的分析表明,高层分歧最修剪的过程中,逐渐变得不那么复杂,比密集的同行。同时,稀疏模型的早期层开始执行更多的编码。随着稀疏度的增加,注意力机制保持显著一致。
2020-10-12 cs.CL cs.LG stat.ML
Nonlinear Dynamic Factor Analysis With a Transformer Network
University of Helsinki(赫尔辛基大学)
本文提出一种基于Transformer的非线性动态因子分析方法,通过引入正则化项提升小数据集性能,并利用注意力矩阵分析变量重要性,实证应用构建了美国经济活动同步指数。
2026-01-17 cs.LG econ.EM
Hierarchical Transformer for Multilingual Machine Translation
Innopolis University(因诺波利斯大学);University of Campinas(坎皮纳斯大学)
多语言机器翻译模型中参数共享策略的选择决定了参数空间的最优使用,从而直接影响最终的翻译质量。受语言树的启发,最近提出了多语言机器翻译中参数共享的通用方法。主要思想是使用这些专家语言层次结构作为多语言架构的基础:两种语言越接近,它们共享的参数就越多。在这项工作中,我们使用Transformer架构来测试这个想法,并表明尽管在以前的工作中取得了成功,但训练这种分层模型存在固有的问题。我们证明,在精心选择的训练策略的情况下,层次结构可以优于双语模型和多语言模型与充分的参数共享。
2021-03-05 cs.CL cs.LG
Transformers Learn Nonlinear Features In Context: Nonconvex Mean-field Dynamics on the Attention Landscape
University of Tokyo(东京大学);RIKEN(理化学研究所)
研究由MLP和线性注意力层组成的Transformer的优化,证明在平均场极限下参数分布的无穷维非凸损失景观变得温和,并首次对一般平均场动力学进行鞍点分析。
2024-06-02 cs.LG stat.ML
Nexusformer: Nonlinear Attention Expansion for Stable and Inheritable Transformer Scaling
The School of Computer Science, China University of Geosciences, 388 Lumo Road, Wuhan, 430074, Hubei, China(中国地质大学(北京)计算机科学学院)
Nexusformer通过非线性映射解决传统Transformer扩展中的线性瓶颈,实现无损结构扩展,实验表明其在语言模型和推理任务中以更低的计算成本达到与Tokenformer相当的性能。
2026-04-21 cs.AI cs.LG
Provable In-Context Learning of Nonlinear Regression with Transformers
Department of ECE(电子工程系);The Ohio State University(俄亥俄州立大学);Engineering Systems and Design Pillar(工程系统与设计支柱);Singapore University of Technology and Design(新加坡科技设计大学)
本文研究Transformer在非线性回归任务中的上下文学习机制,分析注意力分阶段动力学,指出Lipschitz常数L是收敛关键因素,分情形推导收敛时间界并证明其对未见函数的ICL能力。
2025-10-01 cs.LG
Gating Dropout: Communication-efficient Regularization for Sparsely Activated Transformers
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Microsoft(微软)
稀疏激活的Transformers,如混合专家模型(MoE),已收到极大的兴趣,由于其惊人的缩放能力,使戏剧性地增加模型的大小,而不会显着增加计算成本。为了实现这一点,MoE模型在Transformers中用专家混合子层替换前馈子层,并使用门控网络将每个令牌路由到其分配的专家。由于这种模型的有效训练的常见做法需要在不同的机器上分配专家和令牌,这种路由策略通常会产生巨大的跨机器通信成本,因为令牌及其分配的专家可能驻留在不同的机器上。在本文中,我们提出了\emph{Gating Dropout},它允许令牌忽略门控网络,并留在他们的本地机器,从而减少跨机器通信。与传统的dropout类似,我们还证明了Gating Dropout在训练过程中具有正则化效果,从而提高了泛化性能。我们在多语言机器翻译任务上验证了门控丢弃的有效性。我们的研究结果表明,门控Dropout改进了最先进的MoE模型,具有更快的挂钟时间收敛速度和更好的BLEU分数,适用于各种模型大小和数据集。
2022-07-04 cs.LG
Position-Agnostic Pre-Projection for Transformer Attention: Nonlinear Feature Construction and Content Skip Before Q/K/V
Independent Researcher(独立研究员)
本文提出两种改进Transformer注意力机制的方法,通过非线性预投影MLP构建位置无关的丰富特征,并通过内容跳过连接绕过注意力机制,提升模型在Pythia-160M和410M上的表现,实现LAMBADA准确率提升40.6%和困惑度降低39%。
2026-04-12 cs.CL cs.LG
Extremely Low Bit Transformer Quantization for On-Device Neural Machine Translation
Samsung Research(三星研究院)
广泛使用的Transformer架构的部署是具有挑战性的,因为在推理期间的繁重计算负载和存储器开销,特别是当目标设备在计算资源方面受到限制时,例如移动或边缘设备。量化是应对这些挑战的有效技术。我们的分析表明,对于给定数量的量化位,每个块的Transformer有助于翻译质量和推理计算以不同的方式。此外,即使在一个嵌入块中,每个单词的贡献也大不相同。相应地,我们提出了一种混合精度量化策略,以通过极低数量的比特来表示Transformer权重(例如,低于3比特)。例如,对于嵌入块中的每个字,我们基于统计特性分配不同的量化比特。我们的量化Transformer模型实现了比基线模型小11.8 $\times$的模型大小,具有小于-0.5 BLEU。我们实现了8.3 $\times$减少运行时内存占用和3.5 $\times$加速(银河N10+),使我们提出的压缩策略,使设备上的NMT的有效实施。
2020-10-13 cs.CL cs.LG stat.ML
T-AutoML: Automated Machine Learning for Lesion Segmentation using Transformers in 3D Medical Imaging
NVIDIA(英伟达)
医学图像中的病变分割一直是临床研究的重要课题。研究人员已经提出了各种检测和分割算法来解决这一任务。最近,基于深度学习的方法比传统方法显着提高了性能。然而,大多数最先进的深度学习方法需要手动设计多个网络组件和训练策略。在本文中,我们提出了一种新的自动化机器学习算法T-AutoML,它不仅可以搜索最佳神经结构,还可以同时找到超参数和数据增强策略的最佳组合。该方法利用现代Transformer模型,引入该模型以适应搜索空间嵌入长度的动态变化,显著提高了搜索能力。我们在几个大规模的公共病变分割数据集上验证了T-AutoML,并实现了最先进的性能。
2021-11-15 cs.CV cs.LG eess.IV
Fast weight programming and linear transformers: from machine learning to neurobiology
Harvard University(哈佛大学);Center for Brain Science(脑科学中心);Kempner Institute for the Study of Natural and Artificial Intelligence(自然与人工智能研究学院)
本文探讨了快速权重编程器(FWPs)的理论基础、计算特性及其与变换器和状态空间模型的联系,并讨论了FWPs与大脑突触可塑性模型的关联,揭示了自然与人工智能的交汇。
2026-09-28 cs.AI cs.LG q-bio.NC
Deep Learning Transformer Architecture for Named Entity Recognition on Low Resourced Languages: State of the art results
University of Pretoria(比勒陀利亚大学)
本文报告了对10种低资源南非(SA)语言的深度学习(DL)Transformer架构模型进行命名实体识别(NER)的评估。此外,这些DL Transformer模型与其他神经网络和机器学习(ML)NER模型进行了比较。研究结果表明,Transformer模型大大提高性能时,应用离散微调参数每种语言。此外,微调Transformer模型优于其他神经网络和机器学习模型的NER与低资源的SA语言。例如,Transformer模型在10种SA语言中的6种语言中获得了最高的F分数,并且最高的平均F分数超过了条件随机场ML模型。实际意义包括以更少的努力和资源成本开发高性能NER能力,可能改善下游NLP任务,如机器翻译(MT)。因此,DL Transformer架构模型在低资源SA语言上的NLP NER序列标记任务的应用是可行的。进一步的研究可以评估其他自然语言处理任务和应用程序上的最新Transformer架构模型,例如短语组块、MT和词性标记。
2022-10-01 cs.AI cs.CL
Dynamic Transformer for Efficient Machine Translation on Embedded Devices
University of Southampton(南安普顿大学)
Transformer架构广泛用于机器翻译任务。然而,其资源密集型的性质使得它具有挑战性的约束嵌入式设备上实现,特别是在可用的硬件资源可以在运行时变化。我们提出了一个动态的机器翻译模型,根据任何特定时间的可用资源来扩展Transformer架构。所提出的方法,“动态HAT”,使用一个HAT超级变压器作为骨干搜索SubTransformers与不同的精度延迟权衡在设计时。最佳SubTransformer在运行时从SuperTransformer中采样,这取决于延迟约束。动态HAT在Jetson Nano上进行了测试,该方法使用直接从SuperTransformer采样的继承SubTransformers,切换时间<1 s。使用继承的SubTransformers会导致BLEU分数损失<1.5%,因为SubTransformer配置在采样后没有从头开始重新训练。然而,为了恢复这种性能损失,可以减小设计空间的尺寸以将其定制为目标硬件系列。新的设计空间减少导致次优模型的BLEU分数从原始设计空间增加约1%,GPU的性能扩展范围为0.356s - 1.526s,CPU的性能扩展范围为2.9s - 7.31s。
2021-07-30 cs.CL cs.LG
Training-Free ANN-to-SNN Conversion for High-Performance Spiking Transformer
本文提出无需训练的ANN到SNN转换框架,通过多基指数衰减神经元有效近似非线性操作,实现高效高精度的SNN转换。
2025-12-14 cs.AI cs.LG
Asymptotic Study of In-context Learning with Random Transformers through Equivalent Models
MLIP Research Group, KUIS AI Center \& Department of EEE, Koç University İstanbul, Turkey
本文在渐近机制下证明带非线性MLP头的随机Transformer在上下文学习误差上与有限阶Hermite多项式模型等价,并通过仿真揭示非线性、过参数化及双下降现象对ICL性能的影响。
2025-09-18 cs.LG stat.ML
Half the Nonlinearity Is Wasted: Measuring and Reallocating the Transformer's MLP Budget
研究发现Transformer中MLP非线性浪费问题,通过门控技术将部分MLP替换为线性层,从而降低困惑度并提升性能。
2026-03-06 cs.CL cs.LG
Generative Chemical Transformer: Neural Machine Learning of Molecular Geometric Structures from Chemical Language via Attention
Seoul National University(首尔大学);Ewha Womans University(梨花女子大学)
发现更适合特定用途的新材料是提高人类生活质量的一个重要问题。在这里,提出了一种基于对化学语言的深刻理解来创建满足某些期望条件的分子的神经网络(生成化学Transformer,GCT)。GCT中的注意力机制使我们能够超越化学语言本身的局限性,对分子结构有更深层次的理解。通过对生成分子质量的定量评价,研究了语言模型在反分子设计问题中的意义。GCT生成高度逼真的化学字符串,满足化学和语言语法规则。从生成的字符串中解析出的分子同时满足多个目标属性,并且针对单个条件集而变化。这些进展将有助于通过加速所需材料发现的过程来改善人类生活质量。
2021-12-03 cs.LG physics.chem-ph
Transformer-based Machine Learning for Fast SAT Solvers and Logic Synthesis
University of California Los Angeles(加利福尼亚大学洛杉矶分校);The Pennsylvania State University(宾夕法尼亚州立大学);University of Virginia(弗吉尼亚大学)
基于CNF的SAT和MaxSAT求解器是逻辑综合和验证系统的核心。这些约束问题在电子设计自动化中的日益普及,鼓励了对不同SAT问题及其性质的研究,以进一步提高计算效率。现代的基于语法驱动的子句学习SAT求解器在理论和实践上都取得了成功,它允许在相对较短的时间内解决非常大的工业实例。最近,机器学习方法为解决这一具有挑战性的问题提供了新的维度。神经符号模型可以作为通用求解器,可以基于数据专门用于特定领域,而无需对模型的结构进行任何更改。在这项工作中,我们提出了一个单次模型来自Transformer架构来解决最大SAT问题,这是SAT的优化版本,其目标是满足最大数量的条款。我们的模型具有无标度结构,可以处理不同大小的实例。我们使用元路径和自我注意力机制来捕捉同构节点之间的交互。我们在二分图上采用交叉注意力机制来捕捉异构节点之间的交互。我们进一步应用迭代算法,我们的模型,以满足额外的条款,使解决方案接近的一个确切的SAT问题。注意力机制利用并行性来加速。我们的评估表明,改进的加速比相比,启发式方法和改进的完成率相比,机器学习方法。
2021-07-15 cs.AI cs.LG cs.NE
Benchmarking On-Device Machine Learning on Apple Silicon with MLX
该研究构建MLX-transformers框架,在Apple Silicon设备上对BERT等Transformer模型开展推理延迟基准测试,对比PyTorch与CUDA GPU性能,验证了MLX赋能苹果生态高效端侧机器学习的潜力。
2025-10-21 cs.AI cs.CL cs.LG
State Space Models are Provably Comparable to Transformers in Dynamic Token Selection
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目)
本文证明状态空间模型结合全连接神经网络在动态Token选择和非参数回归任务中,其能力可证明与Transformer相当,填补了SSMs与非线性层结合的理论空白。
2025-03-05 cs.LG stat.ML
Transformer Dissection: A Unified Understanding of Transformer's Attention via the Lens of Kernel
Carnegie Mellon University(卡内基梅隆大学);Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能研究中心)
Transformer是一个功能强大的架构,可以在各种序列学习任务上实现卓越的性能,包括神经机器翻译、语言理解和序列预测。Transformer的核心是注意力机制,它同时处理流中的所有输入。在本文中,我们提出了一个新的配方的注意通过镜头的内核。更准确地说,我们意识到注意力可以被看作是对输入应用内核平滑器,内核得分是输入之间的相似性。这个新的公式为我们提供了一个更好的方法来理解Transformer注意力的各个组成部分,例如整合位置嵌入的更好方法。我们基于内核的公式化的另一个重要优点是,它为Transformer的注意力组成的更大空间铺平了道路。作为一个例子,我们提出了一个新的变形Transformer的注意力模型的输入作为一个产品的对称内核。这种方法实现了竞争力的性能,以更少的计算量的最先进的模型的当前状态。在我们的实验中,我们实证研究了两个广泛使用的任务:神经机器翻译和序列预测不同的内核构建策略。
2019-11-11 cs.LG stat.ML
Transfer Learning for Transformer-Based Modeling of Nonlinear Pulse Evolution in Er-Doped Fiber Amplifiers
Novosibirsk State University(新西伯利亚国立大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所)
本文提出基于Transformer的神经网络模型,通过合成数据预训练与少量实验数据微调的两阶段迁移学习策略,解决了掺铒光纤放大器中非线性脉冲演化建模的数据稀缺问题,并精确再现了调制不稳定性和高阶孤子传播等复杂光谱结构。
2025-11-06 physics.optics
A generative pre-trained transformer with Kerr-soliton attention
National Institute of Standards and Technology(美国国家标准与技术研究院);University of Colorado, Boulder(科罗拉多大学博尔德分校)
提出克尔孤子注意力机制,利用谐振器中的驱动耗散非线性动力学实现物理硬件上的深度学习注意力操作,并验证了其在变压器语言模型中的高保真度生成推理。
2026-10-15 physics.optics
Optical Darboux Transformer
本文提出光学达布变换器,可在光学域直接执行达布变换,实现任意数量孤子波形的复用与选择性滤波,为非线性傅里叶域信号处理和光通信提供通用工具。
2024-02-21 nlin.PS physics.optics
FrFT based estimation of linear and nonlinear impairments using Vision Transformer
Huazhong University of Science and Technology(华中科技大学)
针对现有光纤通信损伤估计范围窄、种类少的问题,提出结合FrFT时频表征与Transformer网络的方法,实现四类关键损伤的大范围高精度联合估计,推动光性能监测技术发展。
2023-08-25 cs.AI eess.SP physics.optics