Learning to update Auto-associative Memory in Recurrent Neural Networks for Improving Sequence Memorization
IBM Research(IBM研究院)
学习记忆长序列仍然是循环神经网络的一项具有挑战性的任务。寄存器记忆和注意力机制都被提出来解决这个问题,要么高计算成本,以保持记忆的可微性,或通过折扣的RNN表示学习编码更短的本地上下文比鼓励长序列编码。联想记忆研究的是在一个固定大小的存储器中压缩多个模式,近年来很少被考虑。虽然最近的一些工作试图在RNN中引入联想记忆,并模仿Hopfield网络中的能量衰减过程,但它继承了基于规则的记忆更新的缺点,并且记忆容量有限。本文提出了一种结合任务目标学习记忆更新规则的方法,以提高对长序列的记忆能力。此外,我们提出了一个架构,使用多个这样的联想记忆更复杂的输入编码。与其他RNN架构相比,我们在一些经过充分研究的序列学习任务中观察到了一些有趣的事实。
2017-10-03 cs.AI cs.LG stat.ML
Quantifying Memorization and Privacy Risks in Genomic Language Models
Case Western Reserve University(凯斯西储大学);UTHealth(UT健康);Rutgers University(罗格斯大学)
本文提出多向量隐私评估框架,量化基因组语言模型的记忆风险与隐私威胁,揭示不同架构和训练制度下的记忆差异。
2026-10-20 cs.CR cs.LG q-bio.GN
On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
Apple(苹果公司);Harvard University(哈佛大学)
本研究通过理论和实验揭示,门控机制使状态空间模型偏向记忆化而延迟上下文学习,但有助于长序列泛化,为改进线性时间模型提供依据。
2026-09-16 cs.AI cs.LG
Memorization Capacity of Neural Networks with Conditional Computation
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
许多实证研究已经证明了条件计算在神经网络中的性能优势,包括减少推理时间和功耗。我们从记忆能力的角度研究了神经条件计算的基本限制。对于没有条件计算的整流线性单元(ReLU)网络,已知的是,可以经由具有$O(\sqrt{n})$神经元的神经网络来完成记忆$n$输入-输出关系的集合。计算该神经网络的输出可以使用针对每个输入的加法、乘法和比较的$O(\sqrt{n})$基本算术运算来完成。使用条件ReLU网络,我们证明了每个输入仅使用$O(\log n)$操作就可以完成相同的任务。与没有条件计算的网络相比,这代表了几乎指数级的改进。我们还表明,$Θ(\log n)$率是最好的。我们的可扩展性结果利用了一种通用的方法,以计算效率高的方式从无条件网络中合成出一个条件网络,弥合了无条件和条件架构之间的差距。
2023-03-20 cs.LG
Small ReLU networks are powerful memorizers: a tight analysis of memorization capacity
MIT(麻省理工学院)
我们研究有限样本的表现力,即,ReLU网络的记忆能力。最近的结果需要$N$隐藏节点来存储/内插任意$N$数据点。相比之下,通过利用深度,我们证明了具有$Ω(\sqrt{N})$隐藏节点的3层ReLU网络可以完美地记住大多数具有$N$点的数据集。我们还证明了宽度$Θ(\sqrt{N})$是必要的和足够的记忆$N$数据点,证明紧边界的记忆能力。充分性结果可以扩展到更深的网络,我们表明,$L$层网络与$W$参数在隐藏层可以记住$N$数据点,如果$W = Ω(N)$。结合最近VC维上界$O(WL\log W)$,我们的构造对于任何固定的$L$都是几乎紧的.随后,我们分析了记忆能力的剩余网络的一般位置假设下,我们证明的结果,大大减少了已知的要求$N$隐藏节点。最后,我们研究了随机梯度下降(SGD)的动力学,并表明,当初始化附近的记忆全局最小的经验风险,SGD迅速找到一个附近的点与小得多的经验风险。
2019-10-29 cs.LG stat.ML
A Language Model with Limited Memory Capacity Captures Interference in Human Sentence Processing
New York University(纽约大学)
本研究开发了一个具有单一自注意力头的循环神经语言模型,更紧密地对应认知理论假设的记忆系统,成功捕捉了人类句子处理实验中观察到的语义和句法干扰效应。
2023-10-24 cs.AI cs.CL cs.LG
Memorization Capacity for Additive Fine-Tuning with Small ReLU Networks
Yonsei University(延世大学);University of Seoul(首尔大学);Korea Institute for Advanced Study(韩国高等研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
该研究提出微调容量(FTC)度量,分析小型ReLU网络加法式微调的记忆容量,得到2层、3层网络的紧上下界,拓展了记忆容量概念的应用场景。
2024-08-19 cs.LG stat.ML
Auditing Reasoning-Trace Memorization Claims after Unlearning with Head-Conditioned Canaries
Northeastern University, USA(东北大学);University of Illinois Urbana-Champaign, USA(伊利诺伊大学厄巴纳-香槟分校);Southern Methodist University, USA(南方 Methodist 大学)
该研究通过在DeepSeek-R1-Distill-Qwen-7B上使用LoRA记忆化的虚构作者和NPO取消学习,结合六token候鸟头部条件,审计推理轨迹记忆化声明,发现正向解析器拆分绕过间隙本身并不能识别隐藏的权重级记忆化,也不能排除其存在。
2026-05-17 cs.AI cs.LG
From Memorization to Creativity: LLM as a Designer of Novel Neural Architectures
Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany(计算机视觉实验室,CAIDAS与IFI,乌尔姆大学,德国)
本文提出NNGPT框架,通过闭环架构合成流水线,利用代码型LLM的监督微调循环,结合MinHash-Jaccard新颖性过滤和低保真性能信号,迭代提升生成架构的有效性、性能和多样性,实现从记忆到创造的转变。
2026-04-16 cs.CV cs.LG
Memorization capacity of deep ReLU neural networks characterized by width and depth
School of Mathematics (Zhuhai), Sun Yat-sen University, Zhuhai, China(中山大学数学学院(珠海)、中山大学珠海校区,中国);School of Mathematics (Zhuhai) and Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University, Zhuhai, China(中山大学数学学院(珠海)和广东省计算科学重点实验室,中山大学珠海校区,中国)
本文通过分析深度ReLU神经网络的宽度和深度,确定了记忆容量的最优权衡关系。
2026-11-18 cs.LG cs.NA math.NA
Too Big to Think: Capacity, Memorization, and Generalization in Pre-Trained Transformers
Amazon(亚马逊)
本研究通过预训练容量受限的Transformer模型,发现模型容量在算术外推与事实记忆间存在权衡,且联合训练时无法外推,揭示了容量对学习模式的影响。
2025-06-17 cs.AI cs.CL cs.LG
Weight Decay Regimes in Grokking Transformers: Cheap Online Diagnostics
Independent Researcher(独立研究者)
研究探讨了在模运算中训练的Transformer模型在记忆、泛化和崩溃之间的尖锐转变,并通过权重衰减作为标量经验控制参数来分析这些区域,引入了两种廉价的在线诊断方法,通过注意力激活来跟踪训练动态,并在较低计算成本下补充损失景观诊断。
2026-05-19 cs.AI cs.LG cs.NE
Cascaded Head-colliding Attention
The University of Hong Kong(香港大学);Sun Yat-sen University(中山大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
Transformers在各种重要任务上推进了自然语言处理(NLP)领域。Transformer体系结构的基石是多头注意力(MHA)机制,它对序列元素之间的成对交互进行建模。尽管取得了巨大的成功,但目前的框架忽略了不同头部之间的相互作用,导致许多头部在实践中是多余的,这极大地浪费了模型的容量。为了提高参数效率,我们重新制定的MHA作为一个潜在的变量模型从概率的角度来看。我们提出了级联头碰撞注意力(CODA),显式模型之间的相互作用,通过层次变分分布的注意头。我们进行了大量的实验,并证明CODA优于Transformer基线,通过在语言建模中的\texttt{Wikitext-103}上的$0.6$困惑,以及在机器翻译中的\texttt{WMT14 EN-DE}上的$0.6$ BLEU,由于它在参数效率上的改进。\footnote{Our implementation is publicly available at \url{https://github.com/LZhengisme/CODA}.}
2021-05-31 cs.CL cs.LG
ComplexFormer: Disruptively Advancing Transformer Inference Ability via Head-Specific Complex Vector Attention
ComplexFormer通过复数多头注意力机制,在每个注意力头中统一建模语义和位置差异,显著提升了Transformer在多项任务上的性能与长上下文连贯性。
2025-05-27 cs.CL cs.LG
An Exponential Improvement on the Memorization Capacity of Deep Threshold Networks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Yale University(耶鲁大学)
众所周知,现代深度神经网络足够强大,即使在标签被随机化的情况下也能记住数据集。最近,Vershynin(2020)解决了Baum(1988)提出的一个长期存在的问题,证明\emph{deep threshold}网络可以使用$\widetilde{\mathcal{O}}(e^{1/δ^2}+\sqrt{n})$神经元和$\widetilde{\mathcal{O}}(e^{1/δ^2}(d+\sqrt{n})+n)$权重记忆$d$维中的$n$点,其中$δ$是点之间的最小距离。在这项工作中,我们提高了对$δ$的依赖从指数到几乎线性,证明了$\widetilde{\mathcal{O}}(\frac{1}δ+\sqrt{n})$神经元和$\widetilde{\mathcal{O}}(\frac{d}δ+n)$权重是足够的。我们的构造仅在第一层使用高斯随机权重,而所有后续层都使用二进制或整数权重。我们还证明了新的下界连接记忆在神经网络中的纯几何问题的分离$n$点的球体上使用超平面。
2021-06-14 cs.IT cs.LG math.IT
The Rules-and-Facts Model for Simultaneous Generalization and Memorization in Neural Networks
Statistical Physics of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院统计物理与计算实验室)
本文提出规则与事实模型,通过结合泛化和记忆的理论框架,探讨神经网络如何同时学习规则和记忆事实,分析过参数化对两者平衡的影响。
2026-09-09 cond-mat.dis-nn cs.LG stat.ML
A Closer Look at Memorization in Deep Networks
Montréal Institute for Learning Algorithms(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学);Jagiellonian University(雅盖隆大学);McGill University(麦吉尔大学);University of California, Berkeley(加州大学伯克利分校);Polytechnique Montréal(蒙特利尔理工学院);University of Bonn(波恩大学)
我们研究了记忆在深度学习中的作用,将其与能力、泛化和对抗鲁棒性联系起来。虽然深度网络能够记住噪声数据,但我们的研究结果表明,它们倾向于优先学习简单的模式。在我们的实验中,我们揭示了基于噪声与真实数据的深度神经网络(DNN)的梯度优化的质的差异。我们还证明,对于适当调整的显式正则化(例如,dropout),我们可以降低DNN在噪声数据集上的训练性能,而不会影响对真实数据的泛化。我们的分析表明,独立于数据集的有效容量的概念不太可能解释使用基于梯度的方法训练时深度网络的泛化性能,因为训练数据本身在确定记忆程度方面起着重要作用。
2017-07-01 cs.LG stat.ML
Online Memorization of Random Firing Sequences by a Recurrent Neural Network
ETH Zürich(苏黎世联邦理工学院)
研究了循环神经网络模型通过简单的局部学习规则记忆随机动态放电模式的能力。考虑两种学习/记忆模式:第一种模式是严格在线的,通过数据进行单次传递,而第二种模式使用多次传递数据。在这两种模式下,学习都是严格局部的(准赫布):在任何给定的时间步,只有在前一个时间步发射(或假设发射)的神经元和在当前时间步发射(或假设发射)的神经元之间的权重被修改。本文的主要结果是上界的概率,单遍记忆是不完美的。由此可见,这种模式下的记忆能力与经典Hopfield模型(相反,它记忆静态模式)的记忆能力类似。然而,多轮记忆被证明可以实现更高的容量(每个连接/突触的位数不为零)。这些数学发现可能有助于理解短期记忆和长期记忆在神经科学中的功能。
2020-01-09 cs.IT cs.LG cs.NE
Multi-Head Mixture-of-Experts
Tsinghua University(清华大学);Microsoft Research(微软研究院)
针对SMoE存在的专家激活率低和单token多语义概念分析能力不足的问题,提出多头混合专家(MH-MoE),通过多头机制将token拆分为子token并行交由多专家处理并重组,显著提升专家激活率与上下文理解能力。
2024-04-23 cs.AI cs.CL cs.LG
Fundamental Limits of Prompt Tuning Transformers: Universality, Capacity and Efficiency
Northwestern University(西北大学);National Taiwan University(台湾大学);Fuzhou University(福州大学);UC Berkeley(加州大学伯克利分校)
本文从统计和计算角度揭示单层单头Transformer上提示微调的通用逼近能力、所需token数量的指数下界以及由软提示键查询范数决定的效率相变,为设计高效提示微调方法提供理论基础。
2025-06-05 cs.AI cs.CL cs.LG
Memorization With Neural Nets: Going Beyond the Worst Case
Mathematical Institute(数学研究所);Utrecht University(乌得勒支大学);Merantix Momentum GmbH
本文从实例特定视角研究神经网络插值,提出可在多项式时间内构造三层插值网络的随机算法,其参数需求取决于两类数据的几何结构,给出独立于样本数的保证,并在 MNIST 和 CIFAR-10 上验证。
2024-12-06 cs.LG math.ST stat.ML
A Capacity-Based Rationale for Multi-Head Attention
Micah Adler(独立研究者)
本文提出基于容量的多头注意力机制理论,通过关系图识别证明多头能提高容量并减少干扰,实验验证了理论预测的容量相变。
2026-02-02 cs.LG
Differential learning kinetics govern the transition from memorization to generalization during in-context learning
Princeton University(普林斯顿大学);Princeton Neuroscience Institute(普林斯顿神经科学研究所)
本研究通过小型Transformer的理论与实验,发现记忆与泛化子电路相对独立,其差异学习动力学而非容量约束决定上下文学习中记忆到泛化的转变,还揭示记忆标度律并定量解释多种ICL相关现象。
2024-12-12 cond-mat.dis-nn cs.AI cs.LG
A Random Matrix Theory Perspective on the Learning Dynamics of Multi-head Latent Attention
New York University(纽约大学)
本文利用Marchenko-Pastur诊断工具分析多头潜在注意力在预训练中的学习动态,发现共享旋转子向量的MLA-Decoupled变体能有效避免秩崩溃与谱碎片化,从而保留模型的表示容量。
2025-07-12 cs.LG
Geometric Capacity of Transformers: A Tropical Geometry Perspective
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院)
本文从热带几何学角度研究Transformer的几何表达能力,通过将自注意力建模为向量值热带有理映射,证明其在零温极限下精确生成幂 Voronoi 图,并推导出Transformer线性区域数量的紧渐进行为。
2026-07-22 cs.LG
Prism Transformer: Progressive Head Schedules for Hierarchical Attention Processing
alumni.iitm.ac.in(印度理工学院校友)
提出Prism Transformer,通过逐层增加注意力头数建立局部到全局的表示层次,在参数和计算量不变下提升性能。
2026-06-29 cs.LG
MIDUS: Memory-Infused Depth Up-Scaling
Yonsei University(延世大学);Upstage AI
本文提出MIDUS,通过将复制的FFN分支替换为记忆层,利用轻量级检索残差能力提升模型性能与效率,引入Head-wise Memory Layer和HIVE实现头条件残差扩展。
2026-05-09 cs.AI cs.LG
Analyzing the Power of Chain of Thought through Memorization Capabilities
Institute of AI for Industries(人工智能产业研究院);State Key Laboratory of Mathematical Sciences(数学科学国家重点实验室);Academy of Mathematics and Systems Science(数学与系统科学学院);University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of System Software of Chinese Academy of Sciences(中国科学院系统软件重点实验室)
本文通过记忆能力视角分析思维链(CoT),证明带有或不带CoT的固定精度transformers记忆有限推理数据集的参数量上下界均为$overlineΘ(N)$,得出CoT并不能在所有推理任务上增强transformers推理能力的结论。
2025-11-03 cs.LG stat.ML
Provably Optimal Memory Capacity for Modern Hopfield Models: Transformer-Compatible Dense Associative Memories as Spherical Codes
Northwestern University(西北大学);Center for Foundation Models and Generative AI(基础模型与生成式AI中心)
该研究通过关联核化Hopfield模型(KHMs)记忆配置与球面码,首次得到现代Hopfield模型紧致最优的渐近记忆容量,提出亚线性时间算法U-Hop+实现最优容量,并分析特征维度缩放规律,提升了KHMs检索能力与对应Transformer的表示学习效果。
2024-10-31 cs.AI cs.LG cs.NE
The Effect of Attention Head Count on Transformer Approximation
本文研究了变换器中注意力头数对近似性质的影响,推导了参数复杂度的上下界,并通过实验验证了理论结果。
2026-03-31 cs.LG stat.ML
Weak and Strong Gradient Directions: Explaining Memorization, Generalization, and Hardness of Examples at Scale
Google AI(谷歌人工智能)
相干性因子(CGH)是最近提出的一个假说,用来解释为什么用梯度下降训练的过参数化神经网络即使有足够的记忆训练集的能力也能很好地泛化。CGH的关键见解是,由于SGD的单步的的整体梯度是每个示例梯度的总和,因此如果存在这样的方向,则在减少多个示例的损失的方向上最强。在本文中,我们在ImageNet上的ResNet,Inception和VGG模型上验证了CGH。由于原始论文中提出的技术不能扩展到玩具模型和数据集之外,因此我们提出了新的方法。通过提出抑制弱梯度方向的问题作为一个问题的鲁棒均值估计,我们开发了一个基于坐标的中值均值方法。我们提出了该算法的两个版本,M3,它将一个小批量划分为3组并计算中值,以及一个更有效的版本RM3,它重用前两个时间步的梯度来计算中值。由于它们抑制弱梯度方向而不需要每个示例的梯度,因此它们可以用于大规模训练模型。在实验中,我们发现它们确实大大减少了过度拟合(和记忆),从而提供了第一个令人信服的证据,证明计算全息在规模上是成立的。我们还提出了一种新的CGH测试,它不依赖于向训练标签添加噪声或抑制弱梯度方向。使用CGH背后的直觉,我们认为在训练过程的早期学习的例子(即,“简单”示例)恰恰是那些与其他训练样本具有更多共同点的示例。因此,根据CGH,简单的例子应该比困难的例子更好地推广。我们通过详细的实验验证了这一假设,并认为这为计算全息提供了进一步的正交证据。
2020-07-21 cs.LG stat.ML
Empirical Capacity Model for Self-Attention Neural Networks
Maastricht University(马斯特里赫特大学)
本文通过常见训练算法与合成数据研究Transformer的记忆容量,提出经验容量模型ECM,用于在给定目标记忆能力时设计参数数量最优的任务专用Transformer。
2024-07-31 cs.AI cs.CL cs.LG
Attention over noisy examples: generalization and memorization in the exponential Hopfield network
该研究将Hebbian学习协议迁移至指数型Hopfield模型,通过信噪比分析得出其泛化特性,发现其记忆机制与随机能量模型相关,在MNIST和fashion-MNIST上验证了诊断方法并确定最佳准确率区间。
2026-10-20 cond-mat.dis-nn cs.LG cs.NE
The Anxiety of Influence: Bloom Filters in Transformer Attention Heads
研究发现变换器注意力头中存在布洛姆过滤器功能,通过成员测试策略实现高效重复标记识别,且误报率随嵌入距离降低而减少。
2026-02-19 cs.AI cs.CL cs.LG
Scaled Idempotence in Transformer Attention: Paired OV Geometry and Shared-Value Algebras
College of Computer Science, Beijing University of Technology(北京工业大学计算机学院);School of Mathematics, Statistics and Mechanics, Beijing University of Technology(北京工业大学数学、统计与力学学院)
该研究发现Transformer注意力中存在缩放幂等性的代数规律,通过OV几何分解与值共享扩展,揭示了训练注意力头的稀疏方向特性及局部算子代数关系。
2026-09-02 cs.LG
Heads, Tails, and AI Fails: LLMs, Randomness, and Human Judgments
Cornell University(康奈尔大学)
本研究通过生成二元随机序列的视角,探讨 LLM 如何处理随机性及其失败方式,发现 GPT 4 和 Llama 3 加剧了人类偏见,而 GPT 3.5 更随机,并提出随机性与人类特征的二分法是 LLM 的基本问题。
2026-10-05 cs.AI cs.LG
Runtime-Incremental Transformer for Reinforcement-Learning-Based Adaptive Control
Université de Picardie Jules Verne(皮卡第儒勒·凡尔纳大学);University of Palermo(巴勒莫大学)
本文提出一种运行时增量Transformer机制,在强化学习过程中根据上下文分布有效秩和头输出幅度动态增减注意力头数,消除了长记忆下固定容量控制器的灾难性故障,并在Stribeck摩擦两连杆机械臂上实现全记忆范围成功。
2026-09-15 cs.LG cs.RO
Examining Two Hop Reasoning Through Information Content Scaling
EleutherAI
本研究通过容量缩放探究Transformer两跳推理能力不稳定的原因,发现潜在两跳问答需模型对每个事实学习两次,还可通过数据集参数让小模型陷入独立记忆答案的状态,验证了容量缩放测量可补充可解释性方法。
2025-03-21 cs.AI cs.LG
Capacity-Controlled Global Attention for Graph Transformers
Brain Investing Limited;The University of Hong Kong(香港大学);Stellaris AI Limited
本文提出SigGate-GT,通过在图变换器中引入可学习的sigmoid门来缓解全局注意力的保守约束,从而解决过平滑、低秩瓶颈和训练不稳定等问题,提升了多个基准测试的性能。
2026-06-07 cs.AI cs.LG
Next-token prediction capacity: general upper bounds and a lower bound for transformers
Department of Computer Science, University of British Columbia(计算机科学系,不列颠哥伦比亚大学);Department of Electrical and Computer Engineering, University of British Columbia(电气与计算机工程系,不列颠哥伦比亚大学)
研究确定了变换器在下一个token预测任务中的上界和下界,揭示了解码器模型的能力限制及单射属性对模型训练的影响。
2025-06-25 cs.LG math.OC
Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers
针对多语言Transformer模型随适配语言增多性能下降的干扰问题,提出用Shapley值识别引发干扰的注意力头并剪枝的方法,最高可提升目标语言任务性能24.7%,并通过可视化提供了相关洞见。
2022-10-11 cs.CL cs.LG
Excess Capacity and Backdoor Poisoning
Toyota Technological Institute Chicago(芝加哥丰田技术研究所)
后门数据投毒攻击是一种对抗攻击,其中攻击者将几个带水印的、错误标记的训练样本注入训练集中。水印不会影响模型在典型数据上的测试时性能;然而,模型在水印示例上可靠地出错。为了更好地了解后门数据投毒攻击的基础,我们提出了一个正式的理论框架内,可以讨论后门数据投毒攻击的分类问题。然后,我们使用它来分析围绕这些攻击的重要统计和计算问题。在统计方面,我们确定了一个参数,我们称之为记忆能力,它捕捉了学习问题对后门攻击的内在脆弱性。这使我们能够讨论几个自然学习问题对后门攻击的鲁棒性。我们的研究结果有利于攻击者提出明确的构造后门攻击,我们的鲁棒性结果表明,一些自然的问题设置不能产生成功的后门攻击。从计算的角度来看,我们证明了在某些假设下,对抗训练可以检测到训练集中后门的存在。然后,我们表明,在类似的假设下,两个密切相关的问题,我们称之为后门过滤和强大的推广几乎是等价的。这意味着,设计能够识别训练集中的水印示例的算法,以获得既能很好地推广到看不见的数据又对后门具有鲁棒性的学习算法,这是渐进必要的,也是足够的。
2021-11-03 cs.CR cs.LG stat.ML
Prediction of Discharge Capacity of Labyrinth Weir with Gene Expression Programming
Laval University(拉瓦尔大学);Razi University(拉齐大学);University of Guelph(圭尔夫大学);J. Selye University(J.塞利耶大学)
提出了一种基于基因表达式编程的三角形迷宫堰流量系数预测模型。首先考察了影响流量系数预测的参数,并给出了堰顶水头与堰高比、堰顶水长与渠道宽度比、堰顶水长与堰顶水头比、弗劳德数和顶角等无量纲参数。不同的模型,然后使用敏感性分析,以检查本研究中提出的每个无量纲参数。此外,通过使用非线性回归(NLR),提出了一个方程的目的是与GEP进行比较。使用不同统计指标进行的研究结果表明,GEP比NLR更有能力。这是因为GEP预测的排放系数的平均相对误差约为2.5%,其预测值在最差模型中的相对误差小于5%。
2020-01-16 cs.LG cs.NE physics.flu-dyn
Deep Fusion: Capturing Dependencies in Contrastive Learning via Transformer Projection Heads
Wisconsin Institute of Discovery(威斯康星发现研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究首次将Transformer用作对比学习的投影头,发现Deep Fusion现象并构建理论框架解释,实验证明该方法性能优于传统前馈层投影头方案。
2024-10-07 cs.AI cs.LG
Large-Scale High-Quality 3D Gaussian Head Reconstruction from Multi-View Captures
Apple(苹果公司)
HeadsUp通过高效编码器-解码器架构实现大规模多视角捕获下高质量3D高斯头部重建,利用UV参数化高斯体实现与输入图像数量和分辨率解耦,支持高分辨率输入图像训练,取得最佳重建质量并能泛化到新身份。
2026-07-02 cs.CV cs.LG
Test-Time Training with KV Binding Is Secretly Linear Attention
NVIDIA, Toronto, Ontario, Canada(NVIDIA,多伦多,安大略省,加拿大);University of Toronto, Toronto, Ontario, Canada(多伦多大学,多伦多,安大略省,加拿大);Vector Institute, Toronto, Ontario, Canada(向量研究所,多伦多,安大略省,加拿大);Technion -- Israel Institute of Technology, Haifa, Israel(技术ion -- 以色列理工学院,海法,以色列)
本文揭示测试时训练与KV绑定实际上是学习的线性注意力,而非记忆,提出简化架构、并行计算和统一模型形式的改进方法。
2026-05-12 cs.AI cs.CV cs.LG
MAFS: Multi-head Attention Feature Selection for High-Dimensional Data via Deep Fusion of Filter Methods
Department of Statistics, University of Auckland(统计系,奥克兰大学)
MAFS通过结合统计先验与深度学习能力,提出多头注意力特征选择方法,提升高维生物医学数据的可解释性和稳定性。
2026-01-06 cs.LG stat.ME
RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention
Tsinghua University(清华大学);Baidu Inc.(百度公司)
针对多头潜在注意力的2比特KV缓存误差问题,提出RoLaQ联合旋转与范围校准方法,在多模型基准测试中获最高平均准确率,在DeepSeek-V2-Lite上显著提升KV缓存容量与解码吞吐量。
2026-10-16 cs.LG stat.ML
Magnitude Profile Pruning: Calibration-Free Structured Attention Head Removal for Transformer Compression
提出无校准的注意力头重要性评分方法MP及GQA变体MP-G,通过权重范数统计异常值检测剪枝,在多个模型上匹配或超越数据依赖方法,实现零成本结构化剪枝。
2026-09-23 cs.AI cs.CL cs.LG