Fast Forwarding Low-Rank Training
Technion – Israel Institute of Technology（以色列理工学院）；Kempner Institute at Harvard University（哈佛大学肯普纳研究所）；Harvard University（哈佛大学）
本文针对LoRA等低秩微调提出Fast Forward优化策略，通过重复最近优化器步骤并交替常规训练，在保持性能的同时显著降低计算量与训练时间。
2024-09-06 cs.CL cs.LG
Fast Rank-1 NMF for Missing Data with KL Divergence
National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
提出了一种快速的基于非梯度的缺失数据秩1非负矩阵分解（NMF）方法，称为A1GM，它能最小化从输入矩阵到重构秩1矩阵的库尔贝克-莱布勒散度.我们的方法是基于我们的最佳秩1非负多重矩阵分解（NMMF），各种NMF的分析封闭公式的新发现。已知NMMF在缺失值的位置满足一定条件时可以精确求解缺失数据的NMF，A1GM对给定的矩阵进行变换，从而可以应用NMMF的解析解。我们的经验表明，A1GM是更有效的比梯度方法具有竞争力的重建误差。
2022-02-18 cs.LG stat.ML
Fast and Scalable Estimator for Sparse and Unit-Rank Higher-Order Regression Models
Southeast University（东南大学）
由于张量数据越来越频繁地出现在各种科学研究和实际应用中，分析张量特征与单变量结果之间的关系成为许多领域的一项基本任务。为了解决这个问题，我们提出了基于单位秩CANDECOMP/PARAFAC分解的\underline{Fa} st \underline{S} parse \underline{T} ensor \underline{R} egression model（FasTR）. FasTR首先将张量系数分解为分量向量，然后使用$\ell_1$正则化回归估计每个向量。由于各分量向量的独立性，FasTR能够并行求解，其时间复杂度优于以往的模型。我们评估了几个模拟数据集和真实世界的fMRI数据集上的性能。实验结果表明，与四种基线模型相比，在每种情况下，FasTR都能在更短的时间内计算出更好的解。
2019-11-29 cs.LG stat.ML
Fast Low-rank Metric Learning for Large-scale and High-dimensional Data
Tsinghua University（清华大学）；BNRist（北京信息科学与技术国家研究中心）；KLISS（信息安全与可信计算重点实验室）；University of Maryland, College Park（马里兰大学帕克分校）
低秩度量学习的目的是学习更好地区分受低秩约束的数据。它保持了数据集固有的低秩结构，减少了度量学习的时间开销和内存占用。然而，它仍然是一个挑战，目前的方法来处理数据集与高维和大量的样本。针对这一问题，本文提出了一种新的快速低秩度量学习方法（FLRML），该方法将低秩度量学习问题转化为Stiefel流形上的无约束优化问题，通过沿流形下降曲线进行搜索，有效地降低了优化的复杂度和内存占用，此外，本文还引入了小批量版本的FLRML，使得该方法能够扩展到更大的数据集，而这些数据集在有限的内存中难以加载和分解。实验结果表明，在多个基准测试中，该方法在高维数据量较大的情况下，具有较高的准确率，并且比现有方法快得多。代码已在https://github.com/highan911/FLRML上提供
2019-09-13 cs.LG stat.ML
Direction-Magnitude Decomposition for Low-Rank Matrix Optimization: Faster Convergence and Saddle-to-saddle Dynamics
Department of Mathematics, ETH Zurich（苏黎世联邦理工学院数学系）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
提出方向-幅度分解（DMD）框架，将优化变量分解以提升效率，开发过参数化和递归两种方法，在矩阵分解中实现指数级加速收敛。
2026-07-01 cs.LG math.OC
Fast Low-Rank Bayesian Matrix Completion with Hierarchical Gaussian Prior Models
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（斯蒂文斯理工学院）
研究了低秩矩阵的完备化问题。为了利用数据矩阵的底层低秩结构，我们提出了一个分层高斯先验模型，其中假设低秩矩阵的列遵循具有零均值和公共精度矩阵的高斯分布，并将Wishart分布指定为精度矩阵的超先验。我们表明，这样的分层高斯先验有可能鼓励低秩的解决方案。基于所提出的层次先验模型，提出了一种矩阵完备化的变分贝叶斯方法，该方法将广义近似消息传递（GAMP）技术嵌入到变分贝叶斯推理中，以避免繁琐的矩阵求逆运算.仿真结果表明，我们提出的方法表现出优于现有的国家的最先进的矩阵完成方法。
2017-08-26 cs.LG stat.ML
Algorithmic Regularization in Learning Deep Homogeneous Models: Layers are Automatically Balanced
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）；University of Southern California（南加州大学）
我们研究了由梯度下降施加的隐式正则化，用于学习多层齐次函数，包括前馈全连接和卷积深度神经网络，具有线性，ReLU或Leaky ReLU激活。我们严格证明了梯度流（即具有无穷小步长的梯度下降）有效地强制不同层的平方范数之间的差异保持不变，而无需任何显式正则化。这一结果意味着，如果权重最初很小，梯度流会自动平衡所有层的大小。利用离散化方法，我们分析了非凸低秩非对称矩阵分解问题的正步长梯度下降算法。我们的研究结果的启发梯度流，我们证明了梯度下降步长$η_t = O\left(t^{-\left( \frac12+δ\right)} \right)$（$0<δ\le\frac12$）自动平衡两个低秩的因素，并收敛到一个有界的全局最优。此外，对于秩- $1$不对称矩阵分解，我们给出了一个更精细的分析，显示梯度下降与恒定的步长收敛到全局最小值在一个全局线性的速度。我们认为，在学习同质模型时检查一阶算法所施加的不变性的想法可以作为研究深度模型学习优化的基本构建块。
2018-10-31 cs.LG math.OC stat.ML
Accelerating Power Method with Fast Sketching for Stronger Low-Rank Approximation
University of Michigan（密歇根大学）
本文提出通过快速草图技术加速幂方法，提升低秩近似性能，方法在奇异值分解、低秩分解和Nyström近似中表现优异。
2026-05-10 cs.DS cs.LG cs.NA
Balanced One-shot Neural Architecture Optimization
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
对候选结构进行排序的能力是神经结构搜索性能的关键。One-shot NAS是为了降低成本而提出的，但与传统NAS相比表现出较差的性能，并且不够稳定。我们对此进行了调查，发现一次性训练下的架构与独立完整训练下的架构之间的排名相关性很差，这会误导算法发现更好的架构。此外，我们表明，在当前的一次性方法下，不同大小的架构的训练是不平衡的，这导致架构的评估性能对其真实性能的预测性较低，并严重影响排名相关性。因此，我们提出了平衡NAO，在搜索过程中引入超网的平衡训练，通过与模型大小成比例的采样架构，鼓励大型架构比小型架构进行更多的更新。实验结果表明，该方法具有较好的鲁棒性和有效性，搜索结果更加稳定。最终发现的架构显示出与基线相比的显着改进，CIFAR-10上的测试出错率为2.60\%，移动设置下ImageNet上的top-1准确率为74.4%。代码和模型检查点将公开提供。该代码可在github.com/renqianluo/NAO_pytorch上获得。
2020-03-31 cs.LG cs.NE stat.ML
Cascaded Learned Bloom Filter for Optimizing Model-Filter Size Balance and Fast Rejection
The University of Tokyo（东京大学）
本文提出级联学习型布隆过滤器（CLBF），通过动态规划优化器平衡模型与过滤器尺寸，在真实数据集上较分区LBF内存降17%、拒斥时间缩65倍。
2026-08-25 cs.CC cs.DS cs.LG
Accurate and fast matrix factorization for low-rank learning
Ferdowsi University of Mashhad（马什哈德菲尔多西大学）；University of Tehran（德黑兰大学）
本文主要研究了低秩学习中的两个重要问题：大型矩阵的部分奇异值分解和数值秩估计。通过使用Krylov子空间的概念，如Golub-Kahan双对角化（GK-双对角化）以及Ritz向量，我们提出了两种方法来解决这些问题的快速和准确的方式。我们的实验表明，所提出的方法相比，传统的和随机奇异值分解方法的优势。所提出的方法是适当的应用程序涉及巨大的矩阵，所需的奇异值的准确性，也是所有其相应的奇异向量是必不可少的。作为一个实际的应用程序，我们评估我们的方法在两个不同的图像数据集的MNIST和USPS之间的黎曼相似性学习的问题上的性能。
2021-09-04 cs.CV cs.LG stat.ML
ProPPA: A Fast Algorithm for $\ell_1$ Minimization and Low-Rank Matrix Completion
提出了一种求解一类优化问题的投影邻近点算法（ProPPA）.该算法迭代计算最后估计的解的邻近点投影到一个仿射空间，这本身是平行的，并接近可行集。我们提供了理论上支持的一般算法的收敛性分析，然后将其应用于解决$\ell_1$ -最小化问题和矩阵完成问题。这些问题出现在许多应用中，包括机器学习、图像和信号处理。我们比较我们的算法与现有的国家的最先进的算法。实验结果表明，该算法是非常有效的和有竞争力的解决这些问题。
2012-05-19 cs.LG math.OC
Exploiting Correlation to Achieve Faster Learning Rates in Low-Rank Preference Bandits
University of Michigan（密歇根大学）；Microsoft Research（微软研究院）
我们介绍了\emph{Correlated Preference Bandits}问题与随机效用为基础的选择模型（RUM），其目标是确定最好的项目从一个给定的池$n$项目通过在线subsetwise偏好反馈。我们研究了具有简单相关结构的模型，例如低秩模型，是否可以导致更快的学习率。虽然我们表明，这个问题可能是不可能解决的一般“低排名”的选择模型，更快的学习率可以达到假设更多的结构化项目的相关性。特别是，我们介绍了一类新的\emph{Block-Rank}基于RUM模型，其中最好的项目是$(ε,δ)$ -PAC学习只有$O(r ε^{-2} \log(n/δ))$的样本。这改进了通常学习算法已知的$\tilde{O}(nε^{-2} \log(1/δ))$的标准样本复杂度界限，通常学习算法可能不利用项目相关性（$r \ll n$）。我们补充了上述样本的复杂性与匹配的下限（对数因子），证明我们的分析的紧密性。令人惊讶的是，我们还显示了一个下界的$Ω(nε^{-2}\log(1/δ))$时，学习者被迫发挥只是决斗，而不是更大的subsetwise查询。此外，我们将结果扩展到更一般的“\emph{noisy Block-Rank}”模型，这确保了我们的技术的鲁棒性。总的来说，我们的研究结果证明了优势，发挥subsetwise查询成对的偏好$(k=2)$，我们证明了后者未能利用相关性。
2022-02-23 cs.AI cs.LG
Strict-Saddle Landscapes and Multi-Rank Geometry in Low-Tubal-Rank Tensor Sensing
Michigan State University（密歇根州立大学）；Iowa State University（爱荷华州立大学）
本研究通过平衡分解分析低管秩张量感知的优化景观，建立严格鞍点性质，揭示局部几何由傅里叶切片秩决定，并区分均匀与非均匀秩下的不同增长行为。
2026-09-30 cs.LG math.OC
Fast Optimization Algorithm on Riemannian Manifolds and Its Application in Low-Rank Representation
Beijing Key Laboratory of Multimedia and Intelligent Technology（北京多媒体与智能技术重点实验室）；College of Metropolitan Transportation, Beijing University of Technology（北京理工大学城市交通学院）；School of Computing and Mathematics, Charles Sturt University（查尔斯·斯特劳特大学计算机与数学学院）
本文提出了一种具有快速收敛速度的新型一阶优化算法FOA，并在低秩表示模型中应用了基于FOA的快速子空间追踪方法，实验表明其在收敛速度和准确性方面优于其他方法。
2015-12-07 cs.CV cs.LG cs.NA
A Riemannian Approach to Low-Rank Optimal Transport
Centre for Machine Intelligence and Data Science, IIT Bombay（印度理工学院孟买分校机器智能与数据科学中心）；Microsoft India（微软印度）
提出黎曼几何框架用于低秩最优传输，通过将平衡与不平衡秩r正因子耦合建模为光滑子流形，并采用Fisher-Rao乘积度量，实现高效的一阶和二阶求解器，在收敛速度和性能上超越现有方法。
2026-06-23 cs.LG math.OC
Neural Learning of Fast Matrix Multiplication Algorithms: A StrassenNet Approach
Italian Institute of Technology, Genoa, Italy（意大利理工学院）
StrassenNet通过神经学习重现Strassen算法，并发现3×3矩阵乘法张量的有效最小秩为23。
2026-02-25 cs.LG math.AG
FILM: A Fast, Interpretable, and Low-rank Metric Learning Approach for Sentence Matching
Institute of Computing Technology（计算技术研究所）；Chinese Academy of Sciences（中国科学院）；Department of Mathematics（数学系）；UC Berkeley（加州大学伯克利分校）
语义相似度检测在句子匹配中起着至关重要的作用。它要求学习自然语言的判别表示。最近，由于越来越复杂的模型架构，已经取得了令人印象深刻的进展，以及耗时的训练过程和不可解释的推理。为了缓解这个问题，我们探索了一种度量学习方法，名为FILM（快速，可解释和低秩度量学习），以有效地找到高维数据的高分辨投影。我们构造这个度量学习问题作为一个流形优化问题，并解决它的Cayley变换方法与Barzilai-Borwein步长。在实验中，我们将FILM与三重损失最小化目标应用于Quora挑战和语义文本相似性（STS）任务。实验结果表明，FILM方法具有更好的性能和最快的计算速度，这与我们对时间复杂度的理论分析是一致的。
2020-10-13 cs.AI cs.CL cs.LG
Fast Multichannel Source Separation Based on Jointly Diagonalizable Spatial Covariance Matrices
Center for Advanced Intelligence Project (AIP), RIKEN（理化学研究所先进智能项目中心）；Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所）
本文介绍了一种通用的方法，加速多通道声源分离方法的基础上满秩空间建模。多通道声源分离的一种流行方法是将空间模型与源模型相结合，用于估计每个声源在时频域中的空间协方差矩阵（SCM）和功率谱密度（PSD）。这种方法最成功的例子之一是基于满秩空间模型和低秩源模型的多通道非负矩阵分解（MNMF）。然而，MNMF是计算昂贵的，往往工作不佳，由于估计的无约束满秩SCM的困难。而不是限制的SCM秩-1矩阵的空间建模能力的严重损失，在独立的低秩矩阵分析（ILRMA），我们限制的SCM的每个频率箱联合对角化，但仍然满秩矩阵。对于这样一个快速版本的MNMF，我们提出了一个计算效率和收敛保证算法，是类似的形式ILRMA。同样，我们提出了一种基于深度语音模型和低秩噪声模型的最先进语音增强方法的快速版本。实验结果表明，快速版本的MNMF和深度语音增强方法的速度是几倍，甚至比这些方法的原始版本更好。
2019-03-08 cs.LG cs.SD eess.AS
Extreme compression of sentence-transformer ranker models: faster inference, longer battery life, and less storage on edge devices
Xayn AG（Xayn公司）
现代搜索系统使用几个大的排名模型与Transformer架构。这些模型需要大量的计算资源，并且不适合在具有有限计算资源的设备上使用。知识蒸馏是一种流行的压缩技术，可以减少这种模型的资源需求，其中一个大的教师模型将知识转移到一个小的学生模型。为了大大减少内存需求和能源消耗，我们提出了两个扩展的流行的存储器变压器蒸馏过程：生成一个最佳大小的词汇和降维的嵌入维数的教师蒸馏前。我们评估这些扩展两种不同类型的排名模型。这将导致非常压缩的学生模型，其对测试数据集的分析显示了我们提出的扩展的意义和实用性。
2022-06-29 cs.CL cs.IR cs.LG
Fast Algorithm for Low-rank matrix recovery in Poisson noise
Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种从受泊松噪声污染的低秩矩阵的线性测量中恢复低秩矩阵的快速算法：泊松噪声极大似然奇异值阈值（PMLSV）算法。我们提出了一个凸优化公式，其代价函数由一个似然函数和一个正则化函数组成，正则化函数是矩阵的核范数。本文通过扩展似然函数，提出了一种迭代奇异值阈值算法，而不是直接用半定规划（SDP）求解最优化问题。我们证明了所提出的算法恢复太阳耀斑图像与泊松噪声的良好性能：该算法是更有效的比求解SDP使用的邻域点算法，它产生了一个很好的近似解相比，从SDP解决。
2014-12-19 cs.LG math.ST stat.ML
Fast and Accurate Randomized Algorithms for Low-rank Tensor Decompositions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
低秩Tucker和CP张量分解是数据分析中的强大工具。广泛使用的交替最小二乘（ALS）方法，它解决了一系列超定最小二乘子问题，是昂贵的大型和稀疏张量。我们提出了一个快速，准确的草图ALS算法的塔克分解，解决了一系列的草图秩约束线性最小二乘法子问题。理论草图大小上界提供实现$O(ε)$相对误差的每个子问题与两个草图技术，TensorSketch和杠杆得分采样。实验结果表明，这种新的ALS算法，结合一个新的初始化方案的基础上随机测距仪，产量高达$22.0\%$相对分解残留的改善相比，国家的最先进的草图随机算法的各种合成和真实数据集的塔克分解。该Tucker-ALS算法进一步用于加速CP分解，通过使用随机化Tucker压缩，然后对Tucker核心张量进行CP分解。实验结果表明，该算法不仅收敛速度快，而且CP分解精度高。
2021-08-25 cs.DS cs.LG cs.NA
Fast Learning of MNL Model from General Partial Rankings with Application to Network Formation Modeling
University of Michigan（密歇根大学）
多项Logit（MNL）是最流行的离散选择模型之一，并已被广泛用于建模排名数据。然而，从许多真实世界的排名数据中学习MNL存在长期的技术挑战：\emph{partial rankings}的MNL可能性的精确计算通常是棘手的。在这项工作中，我们开发了一个可扩展的方法近似MNL的一般部分排名在多项式时间复杂性的可能性。我们还扩展了所提出的方法来学习MNL的混合。我们证明，所提出的方法是特别有帮助的应用程序的选择为基础的网络形成建模，在网络中的新的边缘的形成被视为个人选择他们的朋友在一个候选集。从部分排名学习MNL模型的混合物的问题自然会出现在这样的应用中。所提出的方法可以用来学习MNL模型从网络数据，而没有强烈的假设，所有的边缘形成的时间顺序是可用的。我们在合成和真实网络数据上进行了实验，证明与传统方法相比，所提出的方法实现了更准确的参数估计和更好的数据拟合。
2021-12-31 cs.AI cs.IR cs.LG
ISLET: Fast and Optimal Low-rank Tensor Regression via Importance Sketching
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）
在本文中，我们开发了一种新的程序，即\emph{\underline{I}mportance \underline{S}ketching \underline{L}ow-rank \underline{E}stimation for \underline{T}ensors}（ISLET）的低秩张量回归。ISLET背后的中心思想是\emph{importance sketching}，即，基于感兴趣的参数的响应和低维结构精心设计的草图。我们表明，所提出的方法是急剧minimax最优的均方误差低秩Tucker假设下，随机高斯系综设计。此外，如果一个张量是低秩的组稀疏，我们的程序也实现了极大极小最优性。此外，我们通过数值研究表明，ISLET实现可比或更好的均方误差性能，现有的最先进的方法，同时具有大量的存储和运行时的优势，包括并行和分布式计算的能力。特别是，我们的程序进行可靠的估计与张量的尺寸$p = O(10^8)$和$1$或$2$数量级快于基线方法。
2020-05-08 cs.LG cs.NA math.NA
FLuRKA: Fast and accurate unified Low-Rank & Kernel Attention
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google DeepMind（谷歌DeepMind）
提出FLuRKA，通过融合低秩与核方法构建新型transformer，在保证模型质量的同时显著提升训练速度，在多任务上实现与底层方法相当甚至更优的准确度。
2024-06-02 cs.CL cs.LG cs.PF
Low-Rank Matrix Recovery with Scaled Subgradient Methods: Fast and Robust Convergence Without the Condition Number
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
数据科学中的许多问题都可以被视为从高度不完整的，有时甚至是损坏的观测值中估计低秩矩阵。一种流行的方法是采用矩阵分解，其中低秩矩阵因子通过一阶方法在平滑损失函数（例如残差平方和）上进行优化。虽然近年来已经取得了巨大的进展，自然光滑公式遭受两个来源的病态，其中梯度下降的迭代复杂度与低秩矩阵的维数以及条件数的比例都很差。此外，光滑公式对腐败不具有鲁棒性。在本文中，我们提出了缩放次梯度方法，以尽量减少家庭的非光滑和非凸配方-特别是，绝对误差的残差和-这是保证收敛速度快，几乎是无量纲和独立的条件数，即使在腐败的存在。我们说明了我们的方法的有效性时，观察算子满足一定的混合范数限制等距属性，并获得国家的最先进的性能保证的各种问题，如鲁棒低秩矩阵传感和二次采样。
2021-04-22 cs.IT cs.LG eess.SP
