Approximating Incomplete Kernel Matrices by the em Algorithm
在生物数据中，通常情况下，观察到的数据仅适用于样本的子集。当从这样的数据导出核矩阵时，我们必须将不可用样本的条目保留为缺失。在本文中，我们利用核矩阵的参数模型，并估计缺失的条目拟合模型现有的条目。参数模型被创建为从另一个信息源导出的完整核矩阵的一组谱变量。对于模型拟合，我们采用了基于正定矩阵信息几何的em算法。我们将报告使用两个标记序列：16S和gyrB的细菌聚类实验的有希望的结果。
2002-11-07 cs.LG
Approximating Sparse PCA from Incomplete Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）
研究如何利用少量数据元素形成的草图恢复数据矩阵的稀疏主成分，证明草图接近原矩阵时可获得近优解，提出稀疏PCA算法并展示其在多领域数据上的有效性，提升运行效率。
2015-03-12 cs.IT cs.LG cs.NA
Non-Negative Stiefel Approximating Flow: Orthogonalish Matrix Optimization for Interpretable Embeddings
Department of Radiology and Medical Imaging（放射科与医学影像学系）；University of Virginia（弗吉尼亚大学）
本文提出非负Stiefel逼近流（NSA-Flow），通过结合稀疏矩阵分解、正交化与约束流形学习，在Stiefel流形附近以可调权重平衡重构保真度和逐列去相关，实现稀疏、稳定且可解释的表示学习，并在生物医学数据上验证其有效性与通用性。
2025-11-09 cs.CV cs.LG stat.ME
Fishers for Free? Approximating the Fisher Information Matrix by Recycling the Squared Gradient Accumulator
University of Toronto \& Vector Institute
本文提出复用 Adam 等优化器训练中已有的平方梯度累加器，以零额外成本近似 Fisher 对角线，并在五类应用中验证其效果接近 Fisher 且优于基线。
2025-07-24 cs.LG
Accelerating Matrix Diagonalization through Decision Transformers with Epsilon-Greedy Optimization
University of Virginia（弗吉尼亚大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Georgia Institute of Technology（佐治亚理工学院）
该研究将矩阵对角化重构为序列决策问题，结合Decision Transformer与epsilon-greedy策略优化Jacobi算法的主元选择，实现显著加速与更强鲁棒性，还通过迁移学习验证了小尺寸矩阵上的泛化性。
2024-06-23 cs.AI cs.LG cs.NA
Is In-Context Universality Enough? MLPs are Also Universal In-Context
The Vector Institute（向量研究所）；McMaster University（麦克马斯特大学）；Shimane University（岛根大学）
本文通过证明具有可训练激活函数的 MLP 同样具备上下文内通用性，否定了上下文内通用性是 Transformer 相对经典模型优势来源的观点，指出其成功更可能源于归纳偏置或训练稳定性等因素。
2025-02-05 cs.LG cs.NA cs.NE
DPPNet: Approximating Determinantal Point Processes with Deep Networks
Massachusetts Institute of Technology（麻省理工学院）；Google Brain（谷歌大脑）
确定性点过程（DPPs）提供了一种优雅而通用的方法来对项目集进行采样，该方法平衡了所选项目的逐点质量和逐集多样性。由于这个原因，它们在许多依赖子集选择的机器学习应用中获得了突出地位。然而，在大小为$N$的基集上从DPP采样是昂贵的操作，通常需要$O(N^3)$预处理成本和大小为$k$的子集的$O(Nk^3)$采样成本。我们通过引入DPPNets来解决这个问题：生成深度模型，为任意基集生成类似DPP的样本。我们开发了一个抑制注意力机制的基础上，Transformer网络，捕捉特征向量之间的相异性的概念。我们从理论上表明，这样的近似是明智的，因为它保持了抑制或相异性，使DPP如此强大和独特的保证。从经验上讲，我们证明了我们的模型中的样本在更昂贵的DPP替代方案下获得了很高的可能性。
2019-01-07 cs.LG stat.ML
On Approximating the Lp Distances for p>2
Cornell University（康奈尔大学）
机器学习和数据采掘中的应用需要计算数据矩阵A中的成对Lp距离。对于大量高维数据，计算A的所有成对距离可能是不可行的。事实上，即使将A或A的所有成对距离存储在存储器中也可能是不可行的。本文对p = 2，4，6，.给出了一个简单的方法。我们首先将l_p（其中p是偶数）距离分解为2个边际范数和p-1个不同阶的“内积”之和。然后，我们应用正常或亚高斯随机投影来近似所得的“内积”，假设边缘范数可以通过线性扫描精确计算。我们提出了两种策略应用随机预测。基本投影策略只需要一个投影矩阵，但分析起来比较困难;交替投影策略需要p-1个投影矩阵，但理论分析起来比较容易。在精度方面，至少对于p=4，如果数据是非负的，基本策略总是比替代策略更准确，这在现实中是常见的。
2008-06-27 cs.LG
Residual Matrix Transformers: Scaling the Size of the Residual Stream
University of California Santa Cruz（加州大学圣克鲁兹分校）
本文提出Residual Matrix Transformer (RMT)，通过外积记忆矩阵替换传统残差流，使残差流规模能独立扩展，在减少计算量、参数和训练数据的同时提升性能并优于传统transformer。
2025-06-28 cs.CL cs.LG
Variance-Reducing Couplings for Random Features
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）；Columbia（哥伦比亚大学）；Alan Turing Institute（阿兰·图灵研究所）
本文通过最优传输视角研究随机特征的方差缩减问题，提出适用于欧几里得和离散输入空间的耦合方法，并揭示了方差缩减在高效Transformer注意力估计中的局限性。
2024-10-02 cs.LG stat.ML
Approximating the Permanent by Sampling from Adaptive Partitions
Stanford University（斯坦福大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
计算非负矩阵的积和式是从目标跟踪到统计热力学等实际应用中的核心问题。然而，这个问题也是P-完全的，这使得找到可以有效计算的精确解的希望很小。虽然该问题允许完全多项式随机近似方案，但这种方法几乎没有使用，因为它在实践中效率低下且难以实现。我们提出了AdaPart，一个简单而有效的方法，从非归一化分布绘制精确的样本。使用AdaPart，我们展示了如何构建紧边界上的永久举行的概率高，保证多项式的密集矩阵运行。我们发现，AdaPart可以提供超过25倍的经验加速比以前的采样方法的矩阵，是具有挑战性的变分方法。最后，在多目标跟踪的背景下，从由矩阵永久定义的分布中精确采样允许我们在粒子滤波期间使用最佳建议分布。使用AdaPart，我们表明，这导致使用数量级更少的样本，以提高跟踪性能。
2019-11-26 cs.LG stat.ML
A general technique for approximating high-dimensional empirical kernel matrices
School of Electrical and Computer Engineering, Georgia Institute of Technology（电气与计算机工程学院，佐治亚理工学院）；School of Industrial & Systems Engineering, Georgia Institute of Technology（工业与系统工程学院，佐治亚理工学院）
本文提出一种基于U-统计量解耦和非交换Khintchine不等式的通用技术，用于逼近高维经验核矩阵的期望算子范数，并给出内积核矩阵的更紧逼近及核回归偏差下界。
2025-11-05 cs.LG stat.ML
Spectraformer: A Unified Random Feature Framework for Transformer
University of New South Wales（新南威尔士大学）
本文提出统一随机特征框架Spectraformer，系统比较不同权重矩阵与组件函数组合，首次在Long Range Arena基准上使随机特征方法达到与稀疏和低秩方法相当的性能，为高效Transformer建立了新的最优水平。
2025-09-23 cs.LG
Transformers as Unrolled Inference in Probabilistic Laplacian Eigenmaps: An Interpretation and Potential Improvements
University of Cambridge（剑桥大学）
本文基于 ProbDR 的概率拉普拉斯特征映射模型，将 transformer 解释为展开推理，并据此用注意力矩阵减单位矩阵的图扩散步骤改进语言与视觉模型验证性能。
2025-07-28 cs.LG stat.ML
Learning Accurate Integer Transformer Machine-Translation Models
Xilinx, Inc.（赛灵思公司）
我们描述了一种训练精确的Transformer机器翻译模型的方法，以使用8位整数（INT 8）硬件矩阵乘法器来运行推理，而不是更昂贵的单精度浮点（FP 32）硬件。与以前的工作不同，以前的工作只将85个Transformer矩阵乘法转换为INT 8，由于不可接受的精度损失，其中133个中的48个留在FP 32中，我们将它们全部转换为INT 8而不影响精度。在最新的2014年英语到德语翻译任务测试中，我们的INT 8 Transformer Base和Transformer Big型号的BLEU评分比相应的FP 32型号高99.3%到100%。我们的方法通过在训练过程中自动进行范围-精度权衡，将现有FP 32模型中的所有矩阵乘法张量转换为INT 8张量。为了证明这种方法的鲁棒性，我们还包括从INT 6 Transformer模型的结果。
2020-01-03 cs.CL cs.LG stat.ML
An Attention Matrix for Every Decision: Faithfulness-based Arbitration Among Multiple Attention-Based Interpretations of Transformers in Text Classification
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
Transformers广泛用于自然语言处理中，它们始终实现最先进的性能。这主要是由于它们基于注意力的架构，这使得它们能够对（子）词之间丰富的语言关系进行建模。然而，Transformers很难解释。能够为其决策提供推理是影响人类生活的领域中模型的重要属性。随着Transformers在这些领域的广泛使用，需要为他们量身定制的可解释性技术。我们提出了一种新的技术，选择最忠实的基于注意力的解释之间的几个，可以通过结合不同的头，层和矩阵操作。此外，引入了两种变化，以（i）降低计算复杂性，从而更快和更友好的环境，以及（ii）提高多标签数据的性能。我们进一步提出了一个新的忠诚度度量，更适合于Transformer模型，并表现出高度的相关性，根据地面真理的基础上的准确率-召回率曲线下的面积。我们验证了我们的贡献的效用与一系列的定量和定性实验7个数据集。
2022-11-28 cs.CL cs.LG
Random Projections through multiple optical scattering: Approximating kernels at the speed of light
Laboratoire de Physique Statistique, CNRS UMR 8550 & École Normale Supérieure（统计物理实验室，CNRS UMR 8550 & 巴黎高等师范学院）；Institut Langevin, ESPCI and CNRS UMR 7587（朗之万研究所，ESPCI 与 CNRS UMR 7587）；Paris Diderot University, Sorbonne Paris Cité（巴黎狄德罗大学，索邦巴黎西岱）；ENSTA Bretagne and Lab-STICC UMR 6285（ENSTA 布列塔尼与 Lab-STICC UMR 6285）；Laboratoire Kastler Brossel, CNRS UMR 8552 & École Normale Supérieure（卡斯特勒-布罗塞尔实验室，CNRS UMR 8552 & 巴黎高等师范学院）；Sorbonne Universités, Université Pierre et Marie Curie Paris 06（索邦大学群，皮埃尔和玛丽·居里大学（巴黎第六大学））；PSL Research University（巴黎文理研究大学）
随机投影已被证明在许多信号处理和机器学习应用中非常有用。然而，它们通常需要存储非常大的随机矩阵，或者使用不同的结构化矩阵以减少计算和存储成本。在这里，我们通过提出一种模拟光学设备来克服这个困难，该设备可以以光速执行随机投影，而无需在存储器中存储任何矩阵。这是利用随机介质中相干光的多重相干散射的物理特性实现的。我们使用这个设备上的一个简单的任务与内核机器的分类，我们表明，在MNIST数据库，实验结果密切匹配的理论性能相应的内核。这个框架可以帮助使内核方法适用于具有大型训练集和/或需要实时预测的应用程序。我们讨论了可能的扩展的方法在一类内核，速度，内存消耗和不同的问题。
2015-10-25 cs.ET cs.LG physics.optics
LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）；Hugging Face（拥抱脸）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）
大语言模型已被广泛采用，但需要大量的GPU内存进行推理。我们开发了一个Int 8矩阵乘法的程序，用于Transformers中的前馈和注意力投影层，它将推理所需的内存减少了一半，同时保持了完整的精度性能。使用我们的方法，可以加载175 B参数16/32位检查点，转换为Int 8，并立即使用，而不会降低性能。这是通过理解和解决Transformer语言模型中高度系统化的涌现特征的属性来实现的，这些特征支配着注意力和Transformer预测性能。为了应对这些特性，我们开发了一个两部分量化过程LLM.int8（）。我们首先使用矢量量化，对矩阵乘法中的每个内积使用单独的归一化常数，以消除大多数特征。然而，对于出现的异常值，我们还包括一个新的混合精度分解方案，该方案将异常值特征维度隔离到16位矩阵乘法中，同时仍有超过99.9%的值以8位相乘。使用LLM.int8（），我们根据经验证明，可以在具有多达175 B参数的LLM中执行推理，而不会降低任何性能。这一结果使得这些模型更容易访问，例如，可以在具有消费者GPU的单个服务器上使用OPT-175 B/BLOOM。我们开源我们的软件。
2022-11-10 cs.AI cs.LG
Approximating Simple ReLU Networks based on Spectral Decomposition of Fisher Information
Joint Graduate School of Mathematics for Innovation（创新数学联合研究生学校）；Kyushu University（九州大学）；Faculty of Information Science and Electrical Engineering（信息科学与电气工程学系）
研究2层ReLU网络随机隐藏权重的Fisher信息矩阵性质，发现前三个特征空间贡献了97.7%的迹，定义了对应函数空间为阶数不超过2的球面调和函数。
2026-05-12 cs.LG stat.ML
Approximating Softmax in Pretrained LLMs: Model Sensitivity and Kernel Acceleration
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对预训练LLM中softmax近似，提出Rowmax-PoT及其硬件特化Rowmax-H15，在B200上实现FP8注意力前向加速12.4%-25.8%，能耗降低8.4%，困惑度影响极小。
2026-09-29 cs.LG
H-Transformer-1D: Fast One-Dimensional Hierarchical Attention for Sequences
Google Research（谷歌研究院）
我们描述了一个有效的分层方法来计算注意力的Transformer架构。所提出的注意力机制利用类似于由数值分析团体开发的分层矩阵（H-Matrix）的矩阵结构，并且具有线性的运行时间和存储复杂度。我们进行了大量的实验，以表明我们的分层注意体现的归纳偏见是有效的捕捉典型的自然语言和视觉任务的序列中的层次结构。我们的方法优于其他次二次建议，在长距离竞技场基准上平均超过+6点。它还在10亿字数据集上设置了一个新的SOTA测试困惑度，模型参数比以前最好的基于transformer的模型少5倍。
2021-07-25 cs.CL cs.LG
Boolean Matrix Factorization with SAT and MaxSAT
Université du Québec à Montréal（魁北克大学蒙特利尔分校）
布尔矩阵分解问题在于通过两个较小布尔矩阵的布尔乘积来近似矩阵。为了获得最佳的解决方案时，要因式分解的矩阵是小的，我们提出了SAT和MaxSAT编码;然而，当要因式分解的矩阵是大的，我们提出了一个启发式的基础上搜索最大biclique边缘覆盖。我们的实验表明，我们的方法允许一个更好的因式分解比现有的方法，同时保持合理的计算时间。我们的方法也允许处理不完整的矩阵与失踪的条目。
2021-06-18 cs.LG
COMPOT: Calibration-Optimized Matrix Procrustes Orthogonalization for Transformers Compression
Fundamental Research Center MWS AI（MWS AI基础研究中心）
COMPOT是一种无需训练的Transformer压缩框架，通过校准优化矩阵Procrustes正交化实现高质量压缩，优于低秩和稀疏基线。
2026-10-28 cs.LG
Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer
Duke University（杜克大学）；Tencent AI Lab（腾讯人工智能实验室）
开发能够进行逻辑推理的神经架构对于广泛的应用（例如，自然语言处理）。为了实现这一宏伟目标，我们提出了一个符号推理架构，链接许多连接运算符在一起，以模拟输出逻辑表达式。特别是，我们证明了这样的合奏的连接链可以表示一个广泛的子集的“树结构”的一阶逻辑表达式，名为FOET，这是特别有用的建模自然语言。为了赋予它可微的学习能力，我们仔细研究了各种神经算子近似的符号连接链。有趣的是，我们发现Transformer中广泛使用的多头自注意模块可以理解为一种特殊的神经算子，它实现了概率谓词空间中连接算子的联合界。我们的分析不仅为BERT等预训练模型用于自然语言理解的机制提供了新的视角，而且还提出了几个重要的未来改进方向。
2022-10-23 cs.CL cs.LG
Learnable Permutation for Structured Sparsity on Transformer Models
本文提出了一种可学习的排列框架，用于提升Transformer模型的结构稀疏性剪枝效果，通过引入可学习成本矩阵和优化损失函数，实现了端到端的排列优化。
2026-01-30 cs.CL cs.LG
Enhancing Transformer-based models for Long Sequence Time Series Forecasting via Structured Matrix
University of Electronic Science and Technology of China（电子科技大学）
本文提出一种通过集成替代注意力块和前馈块来增强Transformer模型的新框架，在保持表达能力的同时降低复杂度，实验显示平均性能提升12.4%，参数量减少61.3%。
2024-12-16 cs.AI cs.LG
On approximating $\nabla f$ with neural networks
NNAISENSE；UC Berkeley（加州大学伯克利分校）
考虑前馈神经网络$ψ: \mathbb{R}^d\rightarrow \mathbb{R}^d$，使得$ψ\approx \nabla f$，其中$f:\mathbb{R}^d \rightarrow \mathbb{R}$是光滑函数，因此$ψ$必须逐点满足$\partial_j ψ_i = \partial_i ψ_j$。我们证明了一个定理，一个$ψ$网络与一个以上的隐藏层只能表示一个功能在其第一个隐藏层，这是一个戏剧性的偏离众所周知的结果为一个隐藏层。该定理的证明很简单，其中两条反向路径和一个权重捆绑矩阵起着关键作用。然后，我们提出的替代方案，隐式参数化，其中的神经网络是$ϕ: \mathbb{R}^d \rightarrow \mathbb{R}$和$\nabla ϕ\approx \nabla f$ ;此外，“软分析”的$\nabla ϕ$给出了一个双重的角度上的定理。在整个过程中，我们回到最近的概率模型，制定为$\nabla ϕ\approx \nabla f$，并结束与去噪自动编码器的批评。
2019-11-06 cs.LG stat.ML
Approximating Network Centrality Measures Using Node Embedding and Machine Learning
National Laboratory for Scientific Computing (LNCC)（国家科学计算实验室（LNCC））；DASA；DeepMind
从现实世界的大型网络中提取信息是当今的一个关键挑战。例如，计算节点中心性可能由于其计算成本而变得不可行，这取决于预期的中心性。一种解决方案是开发能够近似网络中心的快速方法。在这里，我们提出了一种方法，有效地近似节点中心的大型网络使用神经网络和图形嵌入技术。我们提出的模型名为Network Centrality Approximation using Graph Embedding（NCA-GE），它使用图的邻接矩阵和每个节点的一组特征（这里，我们只使用度）作为输入，并计算每个节点的近似中心性秩。NCA-GE的时间复杂度为$O(|E|)$，其中$E$是图的边的集合，这使得它适用于大型网络。NCA-GE的训练速度也相当快，只需要一组1000个小的合成无标度图（每个图从100到1000个节点不等），并且它适用于不同的节点中心、网络大小和拓扑。最后，我们将我们的方法与最先进的方法进行比较，该方法使用程度和特征向量中心作为输入来近似中心性排名，在那里我们表明NCA-GE在各种情况下都优于前者。
2020-11-01 cs.LG cs.SI physics.soc-ph
Zero-shot generalization of transformer neural operators to larger domains
CEREA, ENPC, EDF R&D, Institut Polytechnique de Paris（CEREA, ENPC, EDF研发部, 巴黎综合理工学院）；SINCLAIR AI Laboratory（SINCLAIR人工智能实验室）；EDF R&D（EDF研发部）；CEA, DAM, DIF（法国原子能委员会, 军事应用局, 法兰西岛）
提出一种在注意力对数计算中引入可分解局部性偏置的方法，结合旋转位置嵌入，使Transformer神经算子能零样本泛化到更大空间域，在PDE和3D工业流中验证有效性。
2026-10-02 cs.LG
Your Transformer May Not be as Powerful as You Expect
Peking University（北京大学）；Zhejiang Lab（之江实验室）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
相对位置编码（RPE），它编码任何一对标记之间的相对距离，是对原始Transformer最成功的修改之一。据我们所知，基于RPE的Transformers的理论理解在很大程度上是未探索的。在这项工作中，我们从数学上分析了基于RPE的Transformers模型是否能够近似任何连续序列到序列函数的能力。人们可能会自然地认为答案是肯定的--基于RPE的Transformers是通用函数逼近器。然而，我们提出了一个否定的结果，通过显示存在连续的序列到序列的功能，基于RPE的Transformers不能近似的神经网络是多么深和宽。一个关键原因在于，大多数RPE都被放置在softmax注意力中，总是生成正确的随机矩阵。这限制了网络捕获RPE中的位置信息并限制了其容量。为了克服这个问题，使模型更强大，我们首先提出了基于RPE的Transformers实现通用函数逼近的充分条件。在理论指导下，我们开发了一个新的注意模块，称为通用RPE为基础的（URPE）注意，它满足的条件。因此，相应的基于URPE的Transformers成为通用函数逼近器。覆盖典型架构和任务的大量实验表明，我们的模型是参数高效的，可以在广泛的应用中实现卓越的性能。该守则将在https://github.com/lsj2408/URPE上公布。
2022-10-28 cs.CL cs.LG stat.ML
Multistability of Self-Attention Dynamics in Transformers
Division of Automatic Control, Dept. of Electrical Engineering, Linköping University（自动控制系，电气工程系，_linköping大学）
本文针对Transformer的自注意力机制，证明其连续时间类多智能体动力学与多智能体版Oja流相关，分类单头自注意力系统平衡点并分析其多稳定性与特征向量对齐特性。
2025-11-14 cs.LG cs.SY eess.SY
Share Your Attention: Transformer Weight Sharing via Matrix-based Dictionary Learning
MTS AI（MTS人工智能公司）；ITMO University（ITMO大学）
MASA通过矩阵基字典学习实现变换器层间权重共享，减少66.7%的参数同时保持性能，适用于大规模语言模型和视觉变换器。
2026-02-19 cs.AI cs.CL cs.LG
