LiFT: Local Search via Linear Programming for Overfitting-Controlled Transformers
Department of Management Sciences, Indian Institute of Technology Kanpur(印度理工学院坎普尔分校管理科学系);Department of Civil Engineering, Indian Institute of Technology Kanpur(印度理工学院坎普尔分校土木工程系);Operations and Decision Sciences, Indian Institute of Management Ahmedabad(印度管理学院艾哈迈达巴德分校运营与决策科学系);Brij Disa Centre for Data Science and AI, Indian Institute of Management Ahmedabad(印度管理学院艾哈迈达巴德分校Brij Disa数据科学与人工智能中心)
提出基于线性规划的局部搜索框架,通过双层优化联合更新模型参数和正则化超参数,利用验证梯度和Hessian信息构造局部下降方向,在保持训练最优性的同时减少过拟合,实验表明在GPT-2 Small微调中持续改善测试困惑度。
2026-06-16 cs.CL cs.LG
Relaxed Attention for Transformer Models
Technische Universität Braunschweig(布伦瑞克工业大学)
基于所有注意力的Transformer架构的强大建模能力通常会导致过拟合,并且对于自然语言处理任务,会导致自回归Transformer解码器中隐式学习的内部语言模型,从而使外部语言模型的集成变得复杂。在本文中,我们探讨放松注意力,一个简单的和易于实现的平滑的注意力权重,产生两个方面的改进,一般的Transformer架构:首先,放松注意力提供正则化时,应用到编码器中的自我注意力层。其次,我们表明,它自然支持外部语言模型的整合,因为它通过放松解码器中的交叉注意力来抑制内隐学习的内部语言模型。我们证明了放松注意力在几个任务中的好处,结合最近的基准方法有明显的改善。具体而言,我们在最大的公共唇读LRS 3基准测试中超过了26.90%的最先进的单词出错率,单词出错率为26.31%,并且我们在IWSLT14(DE $\rightarrow$ EN)机器翻译任务中获得了37.67的最佳BLEU得分,而无需外部语言模型,几乎没有额外的模型参数。代码和模型将公开发布。
2022-09-20 cs.CL cs.LG eess.AS
Nonparametric Variational Regularisation of Pretrained Transformers
Idiap Research Institute(Idiap 研究院);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文扩展NVIB框架替换Transformer所有注意力函数,提出恒等初始化将预训练Transformer重新解释为非参数变分模型,并证明改变初始化可在无训练情况下引入信息论正则化以改善域外泛化。
2023-12-01 cs.CL cs.LG
Why Does Reasoning Length Converge? Unveiling the Underfitting-Overfitting Trade-off in Chain-of-Thought
Zeyu Gan, Yi Hao, Yong Liu(GAN 赵毅、LIU 刘永)
本文提出CoT-Space理论框架,通过强化学习将推理过程从离散的token预测任务转化为连续的推理层面语义空间中的优化过程,揭示了测试时扩展中最优CoT长度的收敛是欠拟合与过拟合基本权衡的自然结果。
2026-06-09 cs.AI cs.CL
A Length-Extrapolatable Transformer
Microsoft(微软)
位置建模在Transformers中起着至关重要的作用。在本文中,我们专注于长度外推,即,在评估较长序列的同时训练短文本。我们将注意力分辨率定义为外推的指标。然后,我们提出了两个设计,以改善上述度量的Transformers。具体来说,我们引入了一个相对位置嵌入显式最大化注意力分辨率。此外,我们在推理过程中使用分块因果注意力,以获得更好的解决方案。我们用语言建模来评估不同的Transformer变体。实验结果表明,我们的模型实现了很强的性能,在两个内插和外推设置。该代码将在https://aka.ms/LeX-Transformer上提供。
2022-12-20 cs.CL
Transformer and Hybrid Deep Learning Based Models for Machine-Generated Text Detection
University of Bucharest(布加勒斯特大学)
该论文提出基于Transformer和混合深度学习的模型,用于多生成器、多领域和多语言的机器生成文本检测,在SemEval 2024任务8的子任务B中取得第二名(准确率86.95%),但子任务A和C存在过拟合问题。
2024-05-28 cs.CL
Transformer Working Memory Enables Regular Language Reasoning and Natural Language Length Extrapolation
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
针对Transformer难以建模正则语言的问题,提出RegularGPT变体,通过权重共享、自适应深度和滑动膨胀注意力构建工作记忆,成功建模PARITY等正则语言,并在长度外推中重现局部窗口注意力效应。
2023-05-05 cs.CL
Length-Aware Multi-Kernel Transformer for Long Document Classification
University of Memphis(孟菲斯大学)
针对长文档分类中现有模型存在的上下文碎片化、长度泛化性差的问题,提出长度感知多核Transformer(LAMKIT),通过多Transformer核编码与长度向量化提升鲁棒性,在5个基准上最高超SOTA模型10.9%。
2024-05-11 cs.CL
Dissecting Transformer Length Extrapolation via the Lens of Receptive Field Analysis
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
本文通过感受野分析剖析ALiBi,并基于此提出首个无参数相对位置编码Sandwich,与KERPLE和T5共享对数衰减偏置模式,为未来位置编码设计提供启示。
2023-05-23 cs.CL
A Decoding Algorithm for Length-Control Summarization Based on Directed Acyclic Transformers
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR))
本文提出基于有向无环Transformer和SeqMAP解码的长度控制摘要算法,通过路径边缘化与束搜索重排序,在Gigaword和DUC2004上取得最优性能。
2025-02-06 cs.CL
Revisiting Intermediate Layer Distillation for Compressing Language Models: An Overfitting Perspective
KAIST(韩国科学技术院)
知识蒸馏(KD)是一种非常有前途的方法,用于减轻预训练语言模型(PLM)的计算问题。在各种KD方法中,中间层蒸馏(ILD)已成为NLP领域的事实标准KD方法。在本文中,我们发现现有的ILD方法容易过拟合训练数据集,尽管这些方法比原始KD传递更多的信息。接下来,我们提出了一些简单的观察来减轻ILD的过拟合:只提取最后一个Transformer层,并在补充任务上进行ILD。基于我们的两个发现,我们提出了一个简单而有效的一致性正则化ILD(CR-ILD),它可以防止学生模型过度拟合训练数据集。在GLUE基准数据集和多个合成数据集上提取BERT的大量实验表明,我们提出的ILD方法优于其他KD技术。我们的代码可在https://github.com/jongwooko/CR-ILD上获得。
2023-02-03 cs.AI cs.CL cs.LG
Length Extrapolation of Transformers: A Survey from the Perspective of Positional Encoding
Harbin Institute of Technology(哈尔滨工业大学);The University of Hong Kong(香港大学);Peng Cheng Laboratory(鹏城实验室);Du Xiaoman Financial (Beijing)(度小满金融(北京))
该综述针对Transformer模型长度外推能力不足的问题,从位置编码视角系统梳理了可外推位置编码及基于其的位置插值、随机位置等外推方法,并提出了该领域的挑战与未来方向。
2024-10-06 cs.CL
Length Generalization of Causal Transformers without Position Encoding
School of Computer Science, East China Normal University(华东师范大学计算机科学学院);School of Computer Science, Fudan University(复旦大学计算机科学学院);International Human Phenome Institutes, Shanghai(国际人类表型组研究院(上海));Shanghai AI Lab(上海人工智能实验室);Institute of Modern Languages and Linguistics, Fudan University(复旦大学现代语言与语言学研究所)
本文研究无位置编码(NoPE)的因果Transformer的长度泛化问题,发现其失败与注意力分散有关,并提出参数高效的温度超参数调优方法,显著扩展上下文长度,在长序列任务上取得与最先进算法竞争的性能。
2024-05-28 cs.CL
Adapting Sentence Transformers for the Aviation Domain
The MITRE Corporation(MITRE公司)
本文提出两阶段方法适配航空领域句向量Transformer,先以TSDAE进行航空文本预训练,再在SBERT架构中用NLI数据微调,显著提升航空下游任务性能。
2023-11-29 cs.CL
Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search
Clova AI, NAVER Corp.(NAVER公司Clova AI);New York University(纽约大学)
尽管Transformers具有令人印象深刻的精度,但其计算成本通常在有限的计算资源下无法使用。大多数以前的方法,以提高推理效率需要一个单独的模型,为每一个可能的计算预算。在本文中,我们扩展了POWER-BERT(Goyal等人,2020),并提出了长度自适应Transformer,可用于各种推理场景后,一次性训练。我们用LengthDrop(dropout的一种结构变体)训练一个Transformer,它随机确定每一层的序列长度。然后,我们进行多目标的进化搜索,找到一个长度配置,最大限度地提高精度,并在任何给定的计算预算的效率指标最小化。此外,我们显着扩展的POWER-BERT的适用性超出序列级分类到标记级分类与丢弃和恢复过程,暂时丢弃字向量在中间层和恢复在最后一层,如果必要的。我们实证验证所提出的方法的效用,通过展示优越的准确性和效率的权衡下,各种设置,包括跨度为基础的问答和文本分类。代码可在https://github.com/clovaai/length-adaptive-transformer上获得。
2021-06-11 cs.CL cs.LG
$\infty$-former: Infinite Memory Transformer
Instituto de Telecomunicações(电信研究所);DeepMind(深度思维);Institute of Systems and Robotics(系统与机器人研究所);Instituto Superior Técnico(里斯本高等理工学院);Unbabel(Unbabel公司)
Transformers无法有效地对长期记忆建模,因为它们需要执行的计算量随着上下文长度而增长。虽然已经提出了高效Transformers的变体,但它们都具有有限的存储容量,并且被迫丢弃旧信息。在本文中,我们提出了$\infty$ -前,它扩展了香草Transformer与无界的长期记忆。通过利用连续空间的注意力机制来关注长期记忆,$\infty$ -former的注意复杂度变得与上下文长度无关,从而在记忆长度与精度之间进行权衡。为了控制精度更重要的地方,$\infty$ -former保持“粘性记忆”,能够在保持计算预算固定的同时对任意长的上下文进行建模。综合排序任务,语言建模和文档接地对话生成的实验证明了$\infty$ -前者的能力,以保留信息的长序列。
2022-03-25 cs.CL
A distributional simplicity bias in the learning dynamics of transformers
International School for Advanced Studies(国际先进研究学校)
本研究发现自监督训练的Transformer存在分布性简单性偏差,会按序学习词元多体相互作用,低阶先饱和,同时提出数据集克隆方法以支撑该分析,拓展了相关研究路径。
2025-02-14 cs.CL
Efficient Pretraining Length Scaling
ByteDance Seed(字节跳动种子);Peking University(北京大学);Hong Kong University(香港大学)
提出PHD-Transformer框架,通过区分原始与隐藏解码令牌的KV缓存管理,在预训练中实现高效长度扩展,并推出PHD-SWA和PHD-CSWA变体,在多个基准上取得一致改进。
2025-04-24 cs.CL
ZeroLM: Data-Free Transformer Architecture Search for Language Models
Wuhan University(武汉大学);City University of Macau(澳门城市大学);University of Alberta(阿尔伯塔大学);Istinye University(伊斯蒂涅大学)
针对现有神经架构搜索零成本代理方法排序性能差、自动化代理方法存在效率与过拟合问题,本文提出ZeroLM无数据搜索方法,通过权重统计量化模型容量、分解Transformer子模块优化贡献平衡,在FlexiBERT基准上取得优异排序性能且计算效率高,为大规模架构搜索提供实用方案。
2025-03-24 cs.CL
THG: Transformer with Hyperbolic Geometry
Dalian University of Technology(大连理工大学)
最近,Transformer模型架构已经成为深度学习中不可或缺的主食,因为它们在一系列任务中的有效性。最近,提出了一系列“X-former”模型,这些模型改进了原始的Transformer架构。然而,这些变体中的大多数仅围绕自注意的二次时间和内存复杂度进行更改,即查询和键之间的点积。更重要的是,它们仅在欧几里得空间中计算。本文提出了一种新的双曲几何Transformer(THG)模型,该模型结合了欧氏空间和双曲空间的优点。THG改进了自注意力的线性变换,将其应用于输入序列以获得查询和密钥,并提出了双曲线性变换。在序列标记任务、机器阅读理解任务和分类任务上的实验证明了该模型的有效性和推广性。这也证明了THG可以减轻过拟合。
2021-06-01 cs.AI cs.CL
Grokked Transformers are Implicit Reasoners: A Mechanistic Journey to the Edge of Generalization
The Ohio State University(俄亥俄州立大学);Carnegie Mellon University(卡内基梅隆大学)
该研究发现Transformer可通过grokking学会隐式推理,不同推理类型泛化能力有差异,揭示了其内部机制,为架构改进提供方向,且完全grokked的Transformer在复杂推理上优于主流大模型。
2024-10-30 cs.CL
Attention Alignment and Flexible Positional Embeddings Improve Transformer Length Extrapolation
Carnegie Mellon University(卡内基梅隆大学)
本文提出通过温度缩放的注意力对齐策略,缓解T5模型因位置嵌入灵活性导致的注意力分散问题,从而无需微调即可提升其在长上下文任务中的外推能力。
2023-11-15 cs.CL cs.LG
From Interpolation to Extrapolation: Complete Length Generalization for Arithmetic Transformers
RDFZ(中国人民大学附属中学);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
针对 Transformer 学习算术算法时难以外推到更长序列的问题,提出 Attention Bias Calibration(ABC)自动校准注意力偏置,实现近乎完美的长度泛化并攻克 Parity 任务。
2024-05-10 cs.CL cs.LG
Parallelizing Linear Transformers with the Delta Rule over Sequence Length
Massachusetts Institute of Technology(麻省理工学院);Soochow University(苏州大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
具有线性注意力的Transformers(即,线性Transformers)和状态空间模型最近被建议作为具有softmax关注的Transformers的可行线性时间替代。然而,这些模型仍然不如transformer,特别是在需要上下文检索的任务上。虽然已经发现用增量规则(DeltaNet)替换线性Transformers中的加法更新的线性Transformers的更有表现力的变体在关联召回方面更有效,但是用于训练这种模型的现有算法在序列长度上不并行化,因此在现代硬件上训练效率低下。这项工作描述了一个硬件高效的算法,用于训练线性Transformers的delta规则,它利用了一个内存高效的表示计算产品的Householder矩阵。该算法允许我们将DeltaNet扩展到标准语言建模设置。我们训练了一个1.3B模型,用于100 B令牌,发现它在下游任务的困惑和zero-shot性能方面优于最近的线性时间基线,如Mamba和GLA。我们还对两个混合模型进行了实验,这些模型将DeltaNet层与(1)每隔一层的滑动窗口注意力层或(2)两个全局注意力层相结合,并发现这些混合模型的性能优于强Transformer基线。
2025-01-15 cs.CL cs.LG
Transformers Can Achieve Length Generalization But Not Robustly
Google DeepMind(谷歌DeepMind);University of Toronto(多伦多大学)
本文通过整数加法任务测试了Transformer的长度泛化能力,发现使用正确的数据格式与位置编码组合可实现2.5倍长度外推,但该能力受随机种子等因素影响仍显脆弱。
2024-02-14 cs.AI cs.CL cs.LG
Evaluating K-Fold Cross Validation for Transformer Based Symbolic Regression Models
Algoverse AI Research(Algoverse AI研究院)
针对符号回归中Transformer模型在小数据集上性能下降的问题,提出应用k折交叉验证技术,在缩减至15,000个数据点的数据集上训练,验证损失相对改进53.31%,显著提升模型泛化与一致性。
2025-06-30 cs.CL cs.LG
Extrapolation by Association: Length Generalization Transfer in Transformers
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学);Microsoft Research(微软研究院)
本文通过任务关联视角研究Transformer的长度泛化,发现相关任务间可迁移该能力,并在算法任务及预训练模型中验证,机制上与注意力头重用相关。
2025-08-04 cs.AI cs.CL
Barriers to Universal Reasoning With Transformers (And How to Overcome Them)
Saarland University(萨尔兰大学);Ohio State University(俄亥俄州立大学)
研究探讨了Transformer在长CoT轨迹上的泛化能力限制,并提出通过动态词汇增长和符号标记实现长度可扩展性。
2026-08-11 cs.CL cs.LG
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑)
Transformers具有学习长期依赖的潜力,但在语言建模的设置中受到固定长度上下文的限制。我们提出了一种新的神经架构transformer-XL,使学习的依赖性超过一个固定的长度,而不会破坏时间的连贯性。它包括一个段级递归机制和一个新的位置编码方案。我们的方法不仅能够捕获长期依赖,而且还解决了上下文碎片问题。因此,Transformer-XL学习的依赖性比RNN长80%,比vanilla Transformers长450%,在短序列和长序列上都实现了更好的性能,并且在评估过程中比vanilla Transformers快1,800多倍。值得注意的是,我们将bpc/困惑度的最新结果提高到enwiki 8上的0.99,text 8上的1.08,WikiText-103上的18.3,One Billion Word上的21.8,以及Penn Treebank上的54.5(没有微调)。当只在WikiText-103上训练时,Transformer-XL设法生成具有数千个令牌的合理连贯,新颖的文本文章。我们的代码、预训练模型和超参数在Tensorflow和PyTorch中都可用。
2019-06-02 cs.CL cs.LG stat.ML
The Role of Sparsity for Length Generalization in Transformers
MIT EECS(麻省理工学院电子工程与计算机科学系);Harvard University(哈佛大学);Kempner Institute at Harvard University(哈佛大学肯普纳研究所)
本文提出理论框架证明,当每个预测词元仅依赖少量先前词元(稀疏依赖)时,Transformer可实现长度泛化,并据此引入预测性位置耦合方法以扩展应用范围。
2025-02-24 cs.AI cs.CL cs.LG
What Algorithms can Transformers Learn? A Study in Length Generalization
Apple(苹果公司);Mila, Université de Montréal(米拉研究所,蒙特利尔大学);Tel Aviv University(特拉维夫大学)
研究Transformer在算法任务上的长度泛化能力,提出RASP泛化猜想,指出若任务可用适用于所有输入长度的简短RASP程序解决则Transformer能实现长度泛化,并据此大幅提升了奇偶性和加法等困难任务的泛化性能。
2023-10-24 cs.AI cs.CL cs.LG
Spike-Triggered Non-Autoregressive Transformer for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
非自回归Transformer模型在神经机器翻译中实现了极快的推理速度和与自回归序列到序列模型相当的性能。大多数非自回归Transformers从预定义长度的掩码序列解码目标序列。如果预定义的长度太长,则会导致大量的冗余计算。如果预定义的长度小于目标序列的长度,则会损害模型的性能。为了解决这个问题,提高推理速度,本文提出了一种用于端到端语音识别的尖峰触发非自回归Transformer模型,该模型引入CTC模块来预测目标序列的长度,加速收敛。所有的实验都是在公开的汉语普通话数据集AISHELL-1上进行的。结果表明,该模型能够准确预测目标序列的长度,并取得了与先进的Transformers竞争的性能。更重要的是,该模型甚至达到了0.0056的实时系数,超过了所有主流的语音识别模型。
2020-05-16 cs.CL cs.SD eess.AS
Randomized Positional Encodings Boost Length Generalization of Transformers
DeepMind(深度思维(DeepMind))
本文提出随机化位置编码方案,通过模拟更长序列位置并随机选取有序子集,解决Transformer在长度泛化上的分布外问题,在15个算法推理任务上平均提升测试准确率12.0%。
2023-05-26 cs.AI cs.CL cs.LG
The Impact of Positional Encoding on Length Generalization in Transformers
Mila, McGill University(米拉-麦吉尔大学);IBM Research(IBM研究院);Facebook CIFAR AI Chair(Facebook CIFAR AI主席);ServiceNow Research(ServiceNow研究院)
该研究通过实证对比五种位置编码方案在仅解码器Transformer上的长度泛化表现,发现无位置编码方案性能更优且无需额外计算,同时指出草稿板对长度泛化的作用不稳定,证明显式位置嵌入并非长序列泛化的必需条件。
2023-11-06 cs.AI cs.CL cs.LG
Evaluation of Coding Schemes for Transformer-based Gene Sequence Modeling
University of Science and Technology of China(科学技术大学);University of Washington(华盛顿大学)
本文系统比较了k-mer切分、BPE分词及三种位置编码在DNA Transformer中的效果,发现BPE整体性能更高更稳定,RoPE擅长周期性基序与长序列外推,并指出12层为较优深度。
2025-07-20 cs.AI cs.CL
Mitigating the Position Bias of Transformer Models in Passage Re-Ranking
TU Wien(维也纳工业大学);University College London(伦敦大学学院)
受监督的机器学习模型及其评估在很大程度上取决于底层数据集的质量。当我们搜索一条相关的信息时,它可能出现在给定段落的任何地方。然而,我们观察到一个偏见的正确答案在文本中的位置在两个流行的问答数据集用于通道重新排名。过度偏爱通道内的较早位置是不想要的人工制品。这导致了三种常见的基于transformer的重新排序模型,以忽略未看到的段落中的相关部分。更令人担忧的是,由于评估集来自相同的偏置分布,因此过拟合该偏置的模型高估了它们的真实有效性。在这项工作中,我们分析了数据集上的位置偏差,上下文表示,以及它们对检索结果的影响。我们提出了一个去偏方法检索数据集。我们的研究结果表明,在位置偏置数据集上训练的模型在去偏置数据集上进行评估时,重新排名的有效性显着降低。我们证明,通过减轻位置偏差,基于transformer的重新排序模型在有偏和去偏数据集上同样有效,并且在两个不同偏数据集之间的迁移学习设置中更有效。
2021-01-18 cs.CL cs.IR
On the "Induction Bias" in Sequence Models
Qualcomm AI Research is an initiative of Qualcomm Technologies, Inc(高通人工智能研究,由高通技术公司发起)
通过大规模实验比较Transformer和RNN在状态跟踪任务上的数据效率,发现Transformer需要更多训练数据且难以跨长度共享权重,而RNN通过权重共享实现有效学习。
2026-05-29 cs.CL cs.LG
Position as Probability: Self-Supervised Transformers that Think Past Their Training for Length Extrapolation
Xenon Labs LLC(Xenon实验室)
PRISM通过概率相对位置隐式叠加模型实现超越训练长度的稳健外推,提升Transformer在复杂任务中的泛化能力。
2025-12-22 cs.AI cs.CL cs.LG
A Comparison of Transformer, Convolutional, and Recurrent Neural Networks on Phoneme Recognition
Seoul National University(首尔国立大学)
音素识别是语音识别的一个重要组成部分,它要求能够从多帧中提取语音特征。在本文中,我们比较和分析CNN,RNN,Transformer和Conformer模型使用音素识别。对于CNN,使用ContextNet模型进行实验。首先,我们比较了不同的约束条件下,如感受野长度,参数大小和层深度的各种架构的准确性。其次,我们解释了这些模型的性能差异,特别是当可观测序列长度变化时。我们的分析表明,Transformer和Conformer模型受益于通过输入帧的自我注意的长距离可达性。
2022-10-01 cs.CL eess.AS
Fusion Matters: Length-Aware Analysis of Positional-Encoding Fusion in Transformers
School of Computer Science and Technology(计算机科学与技术学院);Harbin Institute of Technology(哈尔滨工业大学)
本文研究了Transformer中位置编码融合机制对长序列性能的影响,发现融合策略的选择对长文档有显著提升,且提出了轻量级卷积门控机制以增强模型效果。
2026-01-09 cs.CL cs.LG
Landmark Attention: Random-Access Infinite Context Length for Transformers
EPFL(洛桑联邦理工学院)
提出Landmark Attention方法,通过landmark token表示输入块并直接利用注意力机制检索相关块,在保留随机访问灵活性的同时支持无限上下文长度,微调LLaMA 7B将上下文扩展至32k tokens。
2023-11-20 cs.CL cs.LG
Understanding Transformers via N-gram Statistics
Google DeepMind(谷歌DeepMind)
本文通过N-gram统计规则集近似Transformer预测,提出检测过拟合、量化学习进展的方法,并发现TinyStories和Wikipedia上79%和68%的top-1预测与规则集一致。
2024-11-05 cs.AI cs.CL cs.LG
Bridging Kolmogorov Complexity and Deep Learning: Asymptotically Optimal Description Length Objectives for Transformers
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出基于柯尔莫哥洛夫复杂性的渐近最优描述长度目标,用于改进Transformer模型的压缩与泛化能力,揭示了优化挑战。
2026-03-02 cs.AI cs.CL cs.LG
Born a Transformer -- Always a Transformer? On the Effect of Pretraining on Architectural Abilities
Saarland University(萨尔兰大学);Brown University(布朗大学)
本研究通过检索与复制任务,发现预训练Transformer存在归纳优于反归纳的不对称性,且该不对称性在理论保证下可经微调消除,表明预训练增强特定能力但未克服长度泛化限制。
2025-10-23 cs.CL cs.LG
Towards Robust Few-Shot Text Classification Using Transformer Architectures and Dual Loss Strategies
Brown University(布朗大学);Rochester Institute of Technology(罗切斯特理工学院);Northeastern University(东北大学);Shanghai Jiao Tong University(上海交通大学)
本文提出结合自适应微调、对比学习与正则化优化的策略,在FewRel 2.0上验证了T5-small、DeBERTa-v3和RoBERTa-base的小样本分类效果,并通过双重损失缓解过拟合、提升泛化能力。
2025-05-09 cs.CL cs.LG
Position Coupling: Improving Length Generalization of Arithmetic Transformers Using Task Structure
Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院);Google Research(谷歌研究院);NYU(纽约大学)
针对Transformer算术任务长度泛化差的问题,提出将任务结构嵌入位置编码的位置耦合方法,经实验和理论验证可大幅提升泛化能力,且适用于多种算法任务。
2024-10-30 cs.AI cs.CL cs.LG
On the Ability of Transformers to Verify Plans
Saarland University(萨尔兰大学);Australian National University(澳大利亚国立大学);University of Toulouse / LAAS-CNRS(图卢兹大学 / LAAS-CNRS)
研究分析了解码器-only模型验证计划的能力,提出C*-RASP框架以保证序列长度和词汇量增长时的泛化能力,发现某些经典规划领域中Transformer能有效学习验证长计划。
2026-07-07 cs.AI cs.CL cs.LG
Robust and Unbounded Length Generalization in Autoregressive Transformer-Based Text-to-Speech
Google DeepMind(谷歌DeepMind)
本文提出Very Attentive Tacotron,通过可学习的对齐机制为交叉注意力提供相对位置信息,解决了自回归Transformer TTS在长语音上的重复、丢词和长度泛化问题,同时保持与T5基线相当的自然度。
2025-03-11 cs.CL cs.LG cs.SD
Semantic Mask for Transformer based End-to-End Speech Recognition
Microsoft(微软公司)
基于注意力的编码器-解码器模型在自动语音识别(ASR)和文本到语音(TTS)任务中都取得了令人印象深刻的结果。该方法利用神经网络的记忆能力,从零开始学习从输入序列到输出序列的映射,而不需要假设诸如比对之类的先验知识。然而,这种模型容易过拟合,特别是当训练数据的量是有限的。受SpecAugment和BERT的启发,本文提出了一种基于语义掩码的正则化方法来训练这种端到端(E2 E)模型。其思想是屏蔽对应于特定输出令牌的输入特征,例如,单词或单词片段,以便鼓励模型基于上下文信息来填充标记。虽然这种方法适用于任何类型的神经网络架构的编码器-解码器框架,我们在这项工作中研究了基于变换器的ASR模型。我们在Librispeech 960 h和TedLium 2数据集上进行了实验,在E2 E模型范围内,在测试集上达到了最先进的性能。
2020-03-16 cs.CL cs.SD eess.AS
Recurrent Looped Transformer
Princeton University(普林斯顿大学);University of Pennsylvania(宾夕法尼亚大学)
提出循环循环 Transformer(RLT),通过循环解码器使计算路径随序列长度增长,在算法任务上显著提升状态跟踪泛化能力,超越固定深度 Transformer。
2026-10-14 cs.AI cs.CL cs.LG
LipFormer: Learning to Lipread Unseen Speakers based on Visual-Landmark Transformers
Hefei University of Technology(合肥工业大学);Anhui University(安徽大学)
唇读是指理解并进一步将视频中说话者的语音翻译成自然语言。最先进的唇读方法擅长解释重叠的扬声器,即,说话人出现在训练集和推理集中。然而,将这些方法推广到看不见的扬声器会导致灾难性的性能下降,这是由于训练库中的扬声器数量有限以及不同扬声器的嘴唇形状/颜色引起的明显视觉变化。因此,仅仅依赖于嘴唇的可见变化容易导致模型过拟合。为了解决这个问题,我们建议使用跨视觉和地标的多模态特征,它可以描述嘴唇运动,而不管说话人的身份。然后,我们开发了一个基于视觉地标Transformers的唇读框架,即LipFormer。具体来说,LipFormer由嘴唇运动流、面部地标流和跨模态融合组成。来自两个流的嵌入由自我注意产生,其被馈送到交叉注意模块以实现视觉和地标之间的对准。最后,融合后的特征可以通过级联seq 2seq模型解码为输出文本。实验结果表明,该方法可以有效地提高模型的泛化能力。
2023-02-04 cs.CL cs.CV cs.MM