A Language Model with Limited Memory Capacity Captures Interference in Human Sentence Processing
New York University(纽约大学)
本研究开发了一个具有单一自注意力头的循环神经语言模型,更紧密地对应认知理论假设的记忆系统,成功捕捉了人类句子处理实验中观察到的语义和句法干扰效应。
2023-10-24 cs.AI cs.CL cs.LG
Theory of Generative Deep Learning : Probe Landscape of Empirical Error via Norm Based Capacity Control
University of Chinese Academy of Sciences(中国科学院大学)
尽管深度学习作为人工智能的一个极具竞争力的分支,在经验上取得了显著的成功,但它经常因其广为人知的低解释性和缺乏坚实严谨的数学基础而受到指责。然而,大多数理论研究都集中在判别式深度学习的情况下,其补充部分是生成式深度学习。据我们所知,我们首先突出景观的经验错误生成的情况下,完成完整的图片,通过精致的设计图像超分辨率下基于范数的容量控制。我们在解释训练动态方面的理论进展是从数学和生物学两个方面实现的。
2018-10-03 cs.CV cs.LG
Attention-based Deep Neural Networks for Battery Discharge Capacity Forecasting
Xi’an Jiaotong University(西安交通大学)
提出基于注意力机制的深度退化网络,利用流式传感器数据预测电池放电容量,在MIT-Stanford数据集上均方根误差1.3 mAh,平均绝对百分比误差0.06%,并在牛津数据集验证鲁棒性。
2022-02-14 cs.LG eess.SP
Is Attention All What You Need? -- An Empirical Investigation on Convolution-Based Active Memory and Self-Attention
The University of Newcastle(纽卡斯尔大学)
Transformer模型的关键是自注意力机制,它允许模型以计算高效的方式分析整个序列。最近的研究表明,RNN使用的一般注意力机制可能被主动记忆机制取代。在这项工作中,我们评估是否各种主动记忆机制可以取代自注意力力的Transformer。我们的实验表明,单独使用主动记忆可以达到与语言建模的自注意力机制相当的结果,但最佳结果大多是通过同时使用主动记忆和自注意力机制来实现的。我们还注意到,对于某些特定的算法任务,主动记忆机制单独优于自注意力和两者的组合。
2019-12-30 cs.CL cs.LG stat.ML
A Capacity-Based Rationale for Multi-Head Attention
Micah Adler(独立研究者)
本文提出基于容量的多头注意力机制理论,通过关系图识别证明多头能提高容量并减少干扰,实验验证了理论预测的容量相变。
2026-02-02 cs.LG
Memorization Capacity of Multi-Head Attention in Transformers
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(矢量人工智能研究院)
本文研究Transformer多头注意力的记忆容量,基于输入线性无关假设证明含H头、维度d且n<d的注意力层可记忆Ω(Hn)个示例,并通过合成实验验证。
2024-03-02 cs.LG
Retrieval Capacity of Self-Attention Under Competition
University of Luxembourg(卢森堡大学);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本研究通过自注意力机制测量语言模型的有效注意力集合大小,发现保留少量高注意力标记即可保持性能,且集合大小受上下文长度、竞争和权重归一化影响,为理解模型检索容量提供新方法。
2026-09-30 cs.CL cs.LG
Kernelized Linear Attention: Breaking the Capacity Wall with Symmetric Cones
研究线性注意力在关联记忆上的退化问题,提出核化线性注意力激活框架KATA,通过自对偶齐次锥认证非负权重导出特征图,实现高效计算,在长距离记忆等任务中表现出色,揭示了特征相关权衡及相互作用。
2026-07-21 cs.AI cs.IT cs.LG
Conditional Diffusion Modeling with Attention for Probabilistic Battery Capacity Prediction under Real-World Condition
University of Electronic Science and Technology of China(电子科技大学);University of Twente(代尔夫特理工大学)
本文提出CDUA模型,结合特征工程与深度学习,通过扩散生成模型和注意力机制提升电池容量预测精度与不确定性量化能力。
2026-04-21 cs.LG
In-Context Learning in Linear vs. Quadratic Attention Models: An Empirical Study on Regression Tasks
University of California, Berkeley(加州大学伯克利分校)
本文通过实证研究比较了线性与二次注意力模型在回归任务中的上下文学习表现,分析了模型深度对性能的影响,并揭示了两者在ICL任务中的异同。
2026-02-19 cs.AI cs.LG
Breaking the Correlation Plateau: On the Optimization and Capacity Limits of Attention-Based Regressors
Computer Science and Engineering Department University of Texas at Arlington(计算机科学与工程系得克萨斯大学阿灵顿分校)
本文提出ECA模型,通过理论驱动的机制突破基于注意力的回归器中PCC平台期,提升相关性的同时保持MSE性能。
2026-02-19 cs.LG
On Measuring Excess Capacity in Neural Networks
University of Salzburg(萨尔茨堡大学);Institute for AI and Health(人工智能与健康研究所);Helmholtz Munich(亥姆霍兹慕尼黑中心);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
我们在监督分类的背景下研究了深度网络的过剩容量。也就是说,给定一个潜在假设类的能力度量--在我们的例子中,是经验的拉德马赫复杂性--在多大程度上,我们可以(先验地)约束这个类,同时保留与无约束机制相当的经验误差?为了评估现代架构(如剩余网络)中的过剩容量,我们扩展并统一了先前的Rademacher复杂性界限,以适应函数的合成和加法,以及卷积的结构。我们边界中的容量驱动项是层的Lipschitz常数和到卷积权重初始化的(2,1)群范数距离。在不同任务难度的基准数据集上进行的实验表明:(1)每个任务都有大量的过剩容量,(2)跨任务的容量可以保持在惊人的相似水平。总的来说,这表明了关于权重范数的可压缩性的概念,与通过权重修剪的经典压缩互补。源代码可在https://github.com/rkwitt/excess_capacity上获得。
2023-01-19 cs.LG stat.ML
On Characterizing the Capacity of Neural Networks using Algebraic Topology
Carnegie Mellon University(卡内基梅隆大学)
不同神经结构的可学习性可以直接通过数据复杂性的可计算度量来表征。在本文中,我们将架构选择的问题重新定义为理解数据如何决定最适合该数据的表达性和可推广的架构,超越归纳偏见。在提出代数拓扑作为数据复杂性的度量之后,我们证明了网络在其决策区域中表达数据集的拓扑复杂性的能力是其泛化能力的严格限制因素。然后,我们提供了第一个经验表征的神经网络的拓扑能力。我们的实证分析表明,在数据集复杂性的每一个层次上,神经网络都表现出拓扑相变。这一观察使我们能够将现有的理论与经验驱动的关于全连接神经网络架构选择的理论联系起来。
2018-02-13 cs.CG cs.LG cs.NE
An Empirical Study of Spatial Attention Mechanisms in Deep Networks
University of Science and Technology of China(中国科学技术大学);Beijing Institute of Technology(北京理工大学);Microsoft Research Asia(微软亚洲研究院)
注意力机制已经成为深度神经网络中的一个流行组件,但很少有人研究不同的影响因素和从这些因素计算注意力的方法如何影响性能。为了更好地理解注意力机制,我们提出了一个实证研究,消融各种空间注意力元素内的广义注意力公式,包括占主导地位的Transformer注意力以及流行的变形卷积和动态卷积模块。该研究在各种应用中进行,产生了关于深度网络中空间注意力的重要发现,其中一些与传统理解背道而驰。例如,我们发现Transformer注意中的查询和关键内容比较对于自我注意是可以忽略的,但是对于编码器-解码器注意是至关重要的。可变形卷积与仅关键内容显著性的适当组合在自注意中实现了最佳的准确性-效率权衡。我们的研究结果表明,在注意力机制的设计上还有很大的改进空间。
2019-04-11 cs.CL cs.CV cs.LG
Self-Attention as Transport: Limits of Symmetric Spectral Diagnostics
Red Hat AI(红帽人工智能)
研究语言模型注意力路由的两种失效形状(过度集中或过度分散),证明对称谱诊断对方向不敏感,并揭示因果注意力中传输容量的理论下限,提出基于容量和方向的双轴诊断方法。
2026-07-20 cs.CL cs.LG stat.ML
Falsification and future performance
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们从信息论的角度重新定义了统计学习理论中的两种能力度量:经验VC熵和经验拉德马赫复杂度。我们表明,这些能力的措施计数的数量的假设,一个学习算法伪造的数据集,当它发现分类器在其剧目最小化的经验风险。因此,预测器在未知数据上的未来表现部分取决于学习者伪造了多少假设。作为一个推论,我们表明,经验VC熵量化的消息长度的真实假设在一个特定的概率分布,所谓的实际剧目的最佳代码。
2011-11-23 cs.IT cs.LG math.IT
When Attention Sink Emerges in Language Models: An Empirical View
Sea AI Lab(Sea AI实验室);National University of Singapore(新加坡国立大学)
本研究实证揭示了语言模型中注意力汇聚现象在预训练中涌现的机制,发现其源于softmax归一化导致的token内在依赖,并证明替换为无归一化的sigmoid attention可消除该现象。
2025-03-02 cs.AI cs.CL cs.LG
Noise Immunity in In-Context Tabular Learning: An Empirical Robustness Analysis of TabPFN's Attention Mechanisms
Model Development Innovation, Risk Management TD Bank(TD银行风险管理模型开发创新部门)
本文通过实验证明TabPFN在存在无关预测器、相关特征组和标签噪声等条件下表现出高度鲁棒性,其预测性能和内部行为保持稳定。
2026-04-07 cs.AI cs.LG stat.ML
Capacity-Controlled Global Attention for Graph Transformers
Brain Investing Limited;The University of Hong Kong(香港大学);Stellaris AI Limited
本文提出SigGate-GT,通过在图变换器中引入可学习的sigmoid门来缓解全局注意力的保守约束,从而解决过平滑、低秩瓶颈和训练不稳定等问题,提升了多个基准测试的性能。
2026-06-07 cs.AI cs.LG
Lexical Perturbations Disrupt LLM Reasoning: An Empirical Study of Attention Diversion
Missouri University of Science and Technology(密苏里科技大学);University of North Texas(北得克萨斯大学)
该研究通过实证分析发现词汇扰动会破坏LLM的推理能力,揭示了注意力转移机制及词元内容与注意力分配的耦合关系,解释了现有推理策略难以修复性能的原因。
2026-08-25 cs.AI cs.CL cs.LG
Empirical Study on Deep Learning Models for Question Answering
IBM Watson(IBM沃森)
在本文中,我们探索深度学习模型与记忆组件或注意力机制的问答任务。我们结合和比较三种模型,神经机器翻译,神经图灵机,和记忆网络的模拟QA数据集。本文是第一篇将神经机器翻译和神经图灵机用于解决QA问题的论文。我们的研究结果表明,注意和记忆的结合有潜力解决某些问答问题。
2015-11-20 cs.AI cs.CL cs.LG
Small ReLU networks are powerful memorizers: a tight analysis of memorization capacity
MIT(麻省理工学院)
我们研究有限样本的表现力,即,ReLU网络的记忆能力。最近的结果需要$N$隐藏节点来存储/内插任意$N$数据点。相比之下,通过利用深度,我们证明了具有$Ω(\sqrt{N})$隐藏节点的3层ReLU网络可以完美地记住大多数具有$N$点的数据集。我们还证明了宽度$Θ(\sqrt{N})$是必要的和足够的记忆$N$数据点,证明紧边界的记忆能力。充分性结果可以扩展到更深的网络,我们表明,$L$层网络与$W$参数在隐藏层可以记住$N$数据点,如果$W = Ω(N)$。结合最近VC维上界$O(WL\log W)$,我们的构造对于任何固定的$L$都是几乎紧的.随后,我们分析了记忆能力的剩余网络的一般位置假设下,我们证明的结果,大大减少了已知的要求$N$隐藏节点。最后,我们研究了随机梯度下降(SGD)的动力学,并表明,当初始化附近的记忆全局最小的经验风险,SGD迅速找到一个附近的点与小得多的经验风险。
2019-10-29 cs.LG stat.ML
AVQ-Attention: Adaptive Vector-Quantized Attention
QUVA Lab, University of Amsterdam(QUVA实验室,阿姆斯特丹大学);AMLab, Informatics Institute, University of Amsterdam(AMLab,阿姆斯特丹大学信息学院);AI4Science Lab, University of Amsterdam(AI4Science实验室,阿姆斯特丹大学);Korteweg-de Vries Institute for Mathematics, University of Amsterdam(科特韦格 - 德弗里斯数学研究所,阿姆斯特丹大学);Qualcomm AI Research(高通人工智能研究公司);FunAI Lab, University of Technology Nuremberg(FunAI实验室,纽伦堡工业大学)
研究针对Transformer模型注意力机制计算瓶颈,提出自适应向量量化(AVQ)注意力,基于注意力重要性分配码本容量,前向传播识别重要代码并用子码字细化,开发相关实现,保持\(\mathcal{O}(MN)\)复杂度,提升精度-效率权衡。
2026-07-15 cs.CV cs.LG
Attention as In-Context Empirical Bayes: A Two-Stage View via Particle Dynamics
Lewis-Sigler Institute for Integrative Genomics(利斯-西格尔整合基因组研究所);Princeton University(普林斯顿大学);Department of Mathematics(数学系);Rutgers University(罗格斯大学);Department of Physics and Astronomy(物理与天文学系);Center for Computational Quantum Physics and Center for Computational Mathematics(计算量子物理中心和计算数学中心);Flatiron Institute(Flatiron研究所);Simons Foundation(西蒙斯基金会)
本文通过粒子动力学将最小注意力仅变换器解释为两阶段经验贝叶斯过程,揭示了深度和注意力残差的统计角色,并证明无需显式噪声调度即可实现有效去噪。
2026-11-10 cs.LG math.DS stat.ML
Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?
The University of Tokyo(东京大学)
现有的Transformer模型的表达能力的分析需要过深的数据存储层,导致与实际使用的Transformers不一致。这主要是由于将softmax函数解释为hardmax函数的近似。通过澄清softmax函数和玻尔兹曼算子之间的联系,我们证明了具有低秩权重矩阵的单层自注意力具有完美捕获整个输入序列的上下文的能力。因此,我们表明,一层和单头Transformers有记忆能力有限的样本,和Transformers组成的一个自注意力层与两个前馈神经网络是通用的逼近连续置换等变函数的紧域。
2024-01-29 cs.LG
The Anxiety of Influence: Bloom Filters in Transformer Attention Heads
研究发现变换器注意力头中存在布洛姆过滤器功能,通过成员测试策略实现高效重复标记识别,且误报率随嵌入距离降低而减少。
2026-02-19 cs.AI cs.CL cs.LG
Capacity Control of ReLU Neural Networks by Basis-path Norm
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
最近,路径范数被提出来作为一种新的基于修正线性单元(ReLU)激活函数的神经网络的容量度量,它考虑了ReLU的重标度不变特性。已经表明,根据路径范数的泛化误差界比其他容量度量更好地解释了ReLU神经网络的经验泛化行为。此外,以路径范数作为损失函数的正则化项的优化算法,如Path-SGD,已被证明具有更好的泛化性能。然而,路径范数计算所有路径的值,并且因此基于路径范数的容量度量可能不适当地受到不同路径之间的依赖性的影响。众所周知,ReLU网络的每条路径都可以用一小组线性独立的基路径表示,这表明网络的泛化行为只依赖于少数几条基路径。基于此,我们提出了一种新的基于线性无关路径的范数\emph{Basis-path Norm},以更准确地度量神经网络的容量。我们基于这个基本路径范数建立了一个泛化误差界,并通过大量的实验表明,它比以前的容量度量更准确地解释了ReLU网络的泛化行为。此外,我们开发的优化算法,最大限度地减少经验风险正规化的基础路径规范。我们在基准数据集上的实验表明,所提出的正则化方法在测试集上的性能明显优于以前的正则化方法。
2018-09-19 cs.LG stat.ML
Multi-head or Single-head? An Empirical Comparison for Transformer Training
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
多头注意力在最近Transformer模型的成功中起着至关重要的作用,这导致了在各种应用中相对于传统注意力的一致性能改进。普遍的看法是,这种有效性源于共同参加多个职位的能力。在本文中,我们首先证明,共同出席多个位置是不是一个独特的特点,多头注意力,作为多层次的单头注意也出席多个位置,更有效。然后,我们认为多头注意力的主要优点是训练的稳定性,因为它具有较少的层数比单头注意,当出席相同数量的位置。例如,24层16头Transformer(BERT-large)和384层单头Transformer的总关注头数相同,模型尺寸大致相同,而多头的要明显浅一些。同时,我们表明,随着深度学习的最新进展,我们可以成功地稳定384层Transformer的训练。由于训练难度不再是瓶颈,因此更深的单头Transformer实现了一致的性能改进,而无需调整超参数。
2021-06-17 cs.CL cs.LG
Exploring the Efficacy of Federated-Continual Learning Nodes with Attention-Based Classifier for Robust Web Phishing Detection: An Empirical Investigation
School of Computer Science and Engineering(计算机科学与工程学院);Vellore Institute of Technology(韦洛尔理工学院)
本文提出联邦-持续学习混合范式与带残差连接的注意力分类器,用于鲁棒网络钓鱼检测,在LwF策略下取得0.93准确率、0.90精确率、0.96召回率和0.93 F1分数,优于传统方法。
2024-06-16 cs.AI cs.LG
Is attention truly all we need? An empirical study of asset pricing in pretrained RNN sparse and global attention models
Department of Economics and Related Studies, Univiersity of York(经济与相关研究系,约克大学)
本文研究了预训练RNN注意力模型在资产定价中的应用,探讨了注意力机制在捕捉时间依赖性和长期记忆方面的改进,以及在不同市场条件下的稳定性。
2026-06-03 cs.LG econ.EM q-fin.CP
Attention that does not Explain Away
Google(谷歌);UT Austin(德克萨斯大学奥斯汀分校)
对于大量任务,基于Transformer架构的模型比基于竞争架构的模型具有更好的准确性。Transformer的一个独特之处在于它普遍应用了自我注意机制,允许在任意距离上自由地传递信息。通过高斯混合模型的概率观点的注意,我们发现的经验证据表明,Transformer的注意往往“解释”某些输入神经元。为了弥补这一点,我们提出了一个双重规范化的注意力计划,这是简单的实现,并提供了理论保证,避免“解释”的效果,而不引入显着的计算或内存成本。从经验上讲,我们表明,新的注意力计划的结果在几个著名的基准提高了性能。
2020-09-29 cs.LG stat.ML
On the generalization capacity of neural networks during generic multimodal reasoning
T.J. Watson Research Center, IBM Research(IBM研究院T.J.沃森研究中心)
本文构建多模态问答基准gCOG,系统比较RNN、Transformer、Perceiver等架构在三类OOD泛化上的表现,揭示注意力机制的作用与局限。
2024-03-04 cs.LG
From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs
Technical University of Munich(慕尼黑技术大学);Helmholtz Munich(亥姆霍兹慕尼黑);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文通过逐层线性探测评估MLLMs整个流程,揭示适配器导致的分割表示下降及LLM层通过注意力机制逐步恢复的机制,为未来分割模型设计提供依据。
2026-03-18 cs.AI cs.CV cs.LG
The Entropic Bound for Transformers: Why Static Rank Fails and Attention-Native Rank Recovers
研究固定任务所需最小Transformer模型容量,通过熵界证明线性注意力替代中令牌混合算子内在秩\(r^*\)是紧密下界,梯度下降可恢复此秩,引入注意力原生内在秩恢复完整熵界结构,绘制数据可预测性边界,将熵界重构为注意力原生容量度量。
2026-07-28 cs.LG
Link Prediction with Mutual Attention for Text-Attributed Networks
Université de Lyon, Lyon 2(里昂大学里昂第二大学)
在这个扩展的摘要中,我们提出了一个算法,该算法从结构化语料库的网络拓扑结构中学习文档之间的相似性度量。我们利用最近提出的一种注意力机制Scaled Dot-Product Attention来设计文档对之间的相互注意力机制。为了训练其参数,我们使用网络链路作为监督。我们提供了两个预测任务的引文数据集的初步实验结果,证明了我们的模型学习有意义的文本相似性的能力。
2019-03-20 cs.CL cs.LG cs.SI
Geometric Capacity of Transformers: A Tropical Geometry Perspective
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院)
本文从热带几何学角度研究Transformer的几何表达能力,通过将自注意力建模为向量值热带有理映射,证明其在零温极限下精确生成幂 Voronoi 图,并推导出Transformer线性区域数量的紧渐进行为。
2026-07-22 cs.LG
Conceptual capacity and effective complexity of neural networks
University of Otago(奥塔哥大学)
我们提出了一种基于不同输入的切空间集合的多样性的神经网络映射函数的复杂性度量。将每个切空间视为线性PAC概念,我们使用基于熵的概念束度量来估计网络的概念容量。ReLU网络的理论最大容量相当于其神经元的数量。然而,在实践中,由于网络内神经元活动之间的相关性,即使对于非常大的网络,实际容量也可能非常小。经验评估表明,这种新的措施是相关的映射函数的复杂性,从而相应的网络的泛化能力。它捕捉了网络功能的有效复杂性,而不是理论复杂性。我们还展示了一些用途的建议措施的训练神经网络模型的分析和比较。
2021-03-13 cs.LG stat.ML
Modified Gaussian Process Regression Models for Cyclic Capacity Prediction of Lithium-ion Batteries
The University of Warwick(华威大学)
本文介绍了机器学习支持的数据驱动模型的开发,用于不同循环条件下锂离子电池的有效容量预测。为了实现这一目标,首先提出了一个模型结构,考虑电池老化趋势和相应的工作温度和放电深度。然后基于对高斯过程回归中协方差函数的系统理解,开发了两个相关的数据驱动模型。具体地,通过用自动相关性确定结构修改各向同性平方指数核,“模型A”可以提取用于容量预测的高度相关的输入特征。通过将阿克里尼乌斯定律和多项式方程耦合到组成核中,“模型B”能够考虑电池退化的电化学和经验知识。所开发的模型进行了验证和比较的镍锰钴氧化物(NMC)锂离子电池与各种循环模式。实验结果表明,改进的高斯过程回归模型考虑电池电化学和经验老化签名优于其他同行,能够取得令人满意的结果,无论是一步和多步预测。所提出的技术是有前途的各种循环情况下的电池容量预测。
2020-12-31 cs.LG cs.SY eess.SY
A Random Matrix Theory Perspective on the Learning Dynamics of Multi-head Latent Attention
New York University(纽约大学)
本文利用Marchenko-Pastur诊断工具分析多头潜在注意力在预训练中的学习动态,发现共享旋转子向量的MLA-Decoupled变体能有效避免秩崩溃与谱碎片化,从而保留模型的表示容量。
2025-07-12 cs.LG
Follow-up Attention: An Empirical Study of Developer and Neural Model Code Exploration
University of Stuttgart(斯图加特大学);Microsoft Research(微软研究院)
本研究对比了开发者与大型语言模型在代码探索时的注意力模式,贡献了眼动追踪数据集,并提出名为 follow-up attention 的新方法,以 47% 准确率预测开发者下一行查看代码,优于基线。
2024-08-29 cs.AI cs.HC cs.LG
BASENet: Band-Adapted Speech Enhancement Network with Cross-Band Attention
Thales SIX GTS, FRANCE(泰雷兹SIX GTS公司,法国)
提出BASENet,通过Bark尺度划分频带并分配自适应容量编码器,结合跨频带注意力模块,以最少参数实现高PESQ和STOI,适用于资源受限设备。
2026-06-12 cs.AI cs.LG cs.SD
AgilePruner: An Empirical Study of Attention and Diversity for Adaptive Visual Token Pruning in Large Vision-Language Models
Pusan National University(釜山国立大学);LG Electronics(LG电子)
AgilePruner通过实证研究揭示了基于注意力和多样性的视觉标记剪枝方法的优劣,并提出了一种改进的自适应剪枝机制。
2026-03-01 cs.CV cs.LG
An empirical study of the relation between network architecture and complexity
KTH(瑞典皇家理工学院);Science for Life Laboratory(生命科学实验室)
在这个预注册提交,我们提出了一个网络如何处理数据的复杂性变化的实证研究。我们研究了网络容量对泛化性能的影响,在面对日益增加的数据复杂性。为此,我们测量图像分类任务的类的数量稳步增加的泛化误差。我们比较了一些现代建筑在不同规模的设置。在进行实验之前,通过同行评审对本提案中描述的方法、设置和假设进行了评估。
2019-11-11 cs.LG stat.ML
Self-Adaptive Training: beyond Empirical Risk Minimization
Peking University(北京大学);TTIC(丰田工业大学芝加哥分校)
我们提出了自适应训练--一种新的训练算法,通过模型预测动态纠正有问题的训练标签,而不会产生额外的计算成本--以提高深度学习对潜在损坏的训练数据的泛化能力。这个问题对于从被破坏的数据中鲁棒地学习至关重要,例如,标签噪声和分布外样本。然而,这种数据的标准经验风险最小化(ERM)可能很容易过拟合噪声,从而遭受次优性能。在本文中,我们观察到模型预测可以大大有利于训练过程:自适应训练在各种噪声水平下显着提高了ERM的泛化能力,并减轻了自然和对抗训练中的过拟合问题。我们评估了自适应训练的误差容量曲线:测试误差是单调递减的w.r.t.示范能力。这与最近在ERM中发现的双下降现象形成鲜明对比,双下降现象可能是噪声过拟合的结果。在CIFAR和ImageNet数据集上的实验验证了我们的方法在两个应用中的有效性:带有标签噪声的分类和选择性分类。我们在https://github.com/LayneH/self-adaptive-training上发布代码。
2020-09-30 cs.CV cs.LG stat.ML
AdaHAT: Adaptive Hard Attention to the Task in Task-Incremental Learning
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Population Health Sciences Institute, Newcastle University(纽卡斯尔大学人口健康科学研究所);School of Engineering Mathematics and Technology, University of Bristol(布里斯托尔大学工程数学与技术学院);School of Computing and Creative Technologies, University of the West of England(西英格兰大学计算与创意技术学院)
本文针对任务增量学习中长任务序列下的网络容量问题,提出AdaHAT机制,改进HAT方法,经多数据集实验,其平均性能优于基线,可平衡网络稳定性与可塑性。
2026-08-04 cs.AI cs.LG
Dynamic Capacity Networks
MILA(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学);Hulu LLC.(葫芦有限责任公司);Twitter(推特)
我们介绍了动态容量网络(DCN),一个神经网络,可以自适应地分配其容量跨输入数据的不同部分。这是通过组合两种类型的模块来实现的:低容量子网和高容量子网。低容量子网络应用于大部分输入,但也提供了选择输入的几个部分以应用高容量子网络的指导。选择是使用一种新的基于梯度的注意力机制,有效地识别输入区域的DCN的输出是最敏感的,我们应该投入更多的容量。我们专注于我们的经验评估的杂乱MNIST和SVHN图像数据集。我们的研究结果表明,与传统的卷积神经网络相比,DCN能够大幅减少计算次数,同时保持相似甚至更好的性能。
2016-05-22 cs.LG cs.NE
Power law graph attention: exact generalization of scaled dot-product attention, empirical collapse at inference
Fromthesky Research Labs LLC(弗洛姆斯基研究实验室有限责任公司)
该研究提出PLGA注意力机制,其在$G_{LM}=I$时精确包含SDPA,还证明了推理崩溃定理,在测试样本上的分块与顺序评分结果与TruthfulQA度量偏差极小,相关证明核心已通过Lean 4机器验证。
2026-11-04 cs.CL cs.LG
Effects of Feature Correlations on Associative Memory Capacity
Department of Computer Science and Electrical Engineering University of California, Berkeley(计算机科学与电气工程系加州大学伯克利分校)
本文研究特征相关性对密集联想记忆容量影响,发现容量随输入分离度指数增长,特征相关性在恒定分离度下轻微降低容量,且高阶能量函数中效应增强,弥合理论与实际差距。
2025-08-02 cs.LG stat.ML
Memory capacity of neural networks with threshold and ReLU activations
University of California, Irvine(加州大学欧文分校)
压倒性的理论和经验证据表明,轻度过度参数化的神经网络--连接数多于训练数据大小的网络--通常能够以$100\%$的准确度记住训练数据。这在具有sigmoid激活函数的网络中得到了严格的证明,最近,ReLU激活也得到了严格的证明。解决1988年Baum的一个公开问题,我们证明了这种现象适用于一般的多层感知器,即具有阈值激活函数的神经网络,或者具有阈值和ReLU激活的任何混合。我们的建设是概率和利用稀疏性。
2020-06-02 cs.IT cs.LG cs.NE
Nexusformer: Nonlinear Attention Expansion for Stable and Inheritable Transformer Scaling
The School of Computer Science, China University of Geosciences, 388 Lumo Road, Wuhan, 430074, Hubei, China(中国地质大学(北京)计算机科学学院)
Nexusformer通过非线性映射解决传统Transformer扩展中的线性瓶颈,实现无损结构扩展,实验表明其在语言模型和推理任务中以更低的计算成本达到与Tokenformer相当的性能。
2026-04-21 cs.AI cs.LG
Quantum Adaptive Self-Attention for Financial Rebalancing: An Empirical Study on Automated Market Makers in Decentralized Finance
Omnis Labs Cambridge, USA(奥密斯实验室(剑桥,美国));Omnis Labs New York, USA(奥密斯实验室(纽约,美国))
本文提出量子自适应自注意力(QASA),将自动做市商再平衡建模为二分类检测问题,利用变分量子电路构造注意力模块,并在BTCUSDC数据上验证其相较经典与纯量子基线具有更优的风险调整收益。
2025-09-21 cs.LG q-fin.CP quant-ph
CoAtNet: Marrying Convolution and Attention for All Data Sizes
Google Research, Brain Team(谷歌研究院大脑团队)
Transformers在计算机视觉中引起了越来越多的兴趣,但它们仍然落后于最先进的卷积网络。在这项工作中,我们表明,虽然Transformers往往具有更大的模型容量,但由于缺乏正确的归纳偏差,它们的泛化能力可能比卷积网络更差。为了有效地结合这两种架构的优势,我们提出了CoAtNets(发音为“coat”nets),这是一个基于两个关键见解的混合模型家族:(1)dependency卷积和self-Attention可以通过简单的相对注意力自然地统一起来;(2)以原则性的方式垂直堆叠卷积层和注意力层在提高泛化能力,容量和效率方面令人惊讶地有效。实验表明,我们的CoAtNet在不同的资源约束下,在不同的数据集上实现了最先进的性能:在没有额外数据的情况下,CoAtNet达到了86.0%的ImageNet top-1准确率;当使用ImageNet-21 K的13 M图像进行预训练时,我们的CoAtNet达到了88.56%的top-1准确率,将ViT-huge预训练与JFT-300 M的300 M图像进行匹配,同时使用23倍的数据;值得注意的是,当我们使用JFT-3B进一步扩展CoAtNet时,它在ImageNet上实现了90.88%的top-1准确率,建立了一个新的最先进的结果。
2021-09-15 cs.CV cs.LG
Transformers Provably Learn Algorithmic Solutions for Graph Connectivity, But Only with the Right Data
研究证明,Transformer 在图连通性问题上能学习算法性解决方案,但需训练数据在模型容量范围内。
2026-02-17 cs.LG
The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting
Nanjing University(南京大学)
本文通过实证与理论分析揭示了多元时间序列预测中通道独立策略优于通道依赖策略的原因,指出CD容量高但鲁棒性差,CI以容量换鲁棒性,并提出PRReg方法以超越CI策略。
2023-04-11 cs.LG