Convolutional neural networks with low-rank regularization
Princeton University（普林斯顿大学）；The Chinese University of Hong Kong（香港中文大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
大型CNN在各种计算机视觉应用中提供了令人印象深刻的性能。但是存储和计算需求使得在移动设备上部署这些模型成为问题。最近，张量分解已被用于加速CNN。在本文中，我们进一步发展了张量分解技术。我们提出了一种新的算法来计算低秩张量分解，以消除卷积核中的冗余。该算法找到了分解的精确全局最优解，比迭代法更有效。基于分解，我们进一步提出了一种从头开始训练低秩约束CNN的新方法。有趣的是，虽然实现了显着的加速，但有时低秩约束CNN的性能明显优于非约束CNN。在CIFAR-10数据集上，所提出的低秩NIN模型达到了$91.31\%$精度（没有数据增强），这也改善了最先进的结果。我们在CIFAR-10和ILSVRC 12数据集上评估了所提出的方法，用于各种现代CNN，包括AlexNet，NIN，VGG和GoogleNet。例如，VGG-16的转发时间减少了一半，而性能仍然相当。经验上的成功表明，低秩张量分解可以成为加速大型CNN的非常有用的工具。
2016-02-14 cs.CV cs.LG stat.ML
MLOW: Interpretable Low-Rank Frequency Magnitude Decomposition of Multiple Effects for Time Series Forecasting
Macquarie University（麦考瑞大学）；Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）；Hong Kong Polytechnic University（香港理工大学）
MLOW通过低秩频率幅度分解方法，实现时间序列中多效应的可解释分解，解决了传统模型在可解释性、效率和泛化性上的不足。
2026-03-19 cs.LG
Weight Set Decomposition for Weighted Rank Aggregation: An interpretable and visual decision support tool
Rice University（莱斯大学）；College of Charleston（查尔斯顿学院）；xCures, Inc.（xCures公司）
解释或聚合多个排名的问题在许多现实世界的应用程序中很常见。也许最简单和最常见的方法是加权排名聚合，其中（凸）权重被应用于每个输入排名，然后进行排序。本文介绍了一种新的工具，用于可视化和显示加权排名聚合方法的排名信息。传统上，排名聚合的目的是总结来自输入排名的信息，并提供一个最终排名，希望代表比任何一个输入排名更准确或更真实的结果。虽然这种综合排名对许多应用程序是有用的，而且显然一直是有用的，但它也掩盖了信息。在本文中，我们展示了丰富的信息，可用于加权秩聚合问题，由于其结构。我们将权集分解应用到凸乘子集，研究有助于理解这种分解的性质，并可视化无差异区域。这种方法揭示了信息-否则被聚合排名折叠-成为一个有用的，可解释的和直观的决策支持工具。包括多个说明性的例子，以及启发式和精确算法计算的权重集分解。
2022-05-31 cs.AI cs.IR cs.LG
A Multi-resolution Low-rank Tensor Decomposition
King Juan Carlos University（胡安·卡洛斯国王大学）
针对高阶张量分解的基础问题，受PARAFAC启发提出一种多分辨率低秩张量分解方法，通过将张量重塑为多个低维张量以分层利用不同分辨率结构，并讨论了交替最小二乘算法，初步仿真验证了其潜在实用性。
2024-05-27 cs.LG math.GM
A rank-adaptive higher-order orthogonal iteration algorithm for truncated Tucker decomposition
Peking University（北京大学）
提出了一种新的秩自适应高阶正交迭代（HOOI）算法，在给定的误差容限下计算高阶张量的截断Tucker分解，并证明了该算法是局部最优的和单调收敛的.一系列的数值实验进行了相关的合成和现实世界的张量，以表明所提出的秩自适应HOOI算法是在精度和效率方面的优势。对HOOI算法和经典的交替最小二乘法进行了进一步的分析，以进一步理解为什么可以将秩自适应引入HOOI算法以及它是如何工作的。
2021-10-25 cs.LG cs.NA math.NA
Unified Framework for Pre-trained Neural Network Compression via Decomposition and Optimized Rank Selection
Université Grenoble Alpes, CNRS, Computer Science Laboratory LIG（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、计算机科学实验室LIG）
本文提出统一框架，在连续空间中自动搜索最优秩并同时进行张量分解，无需额外训练数据即可高效压缩预训练模型，并通过微调保持与原始模型相当的性能。
2025-09-21 cs.CV cs.LG
Fast and Accurate Randomized Algorithms for Low-rank Tensor Decompositions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
低秩Tucker和CP张量分解是数据分析中的强大工具。广泛使用的交替最小二乘（ALS）方法，它解决了一系列超定最小二乘子问题，是昂贵的大型和稀疏张量。我们提出了一个快速，准确的草图ALS算法的塔克分解，解决了一系列的草图秩约束线性最小二乘法子问题。理论草图大小上界提供实现$O(ε)$相对误差的每个子问题与两个草图技术，TensorSketch和杠杆得分采样。实验结果表明，这种新的ALS算法，结合一个新的初始化方案的基础上随机测距仪，产量高达$22.0\%$相对分解残留的改善相比，国家的最先进的草图随机算法的各种合成和真实数据集的塔克分解。该Tucker-ALS算法进一步用于加速CP分解，通过使用随机化Tucker压缩，然后对Tucker核心张量进行CP分解。实验结果表明，该算法不仅收敛速度快，而且CP分解精度高。
2021-08-25 cs.DS cs.LG cs.NA
The Panaceas for Improving Low-Rank Decomposition in Communication-Efficient Federated Learning
Huazhong University of Science and Technology（华中科技大学）；Shenzhen Technology University（深圳科技大学）；FiT, Tencent（FiT，腾讯）
本文针对通信高效联邦学习中的低秩分解，提出MUD、BKD和AAD三种互补技术，分别解决分解对象、分解方式和聚合策略问题，并通过理论分析和实验证明其能实现更快收敛和更高准确率。
2025-08-17 cs.DC cs.LG
High Dimensional Low Rank plus Sparse Matrix Decomposition
University of Central Florida（中佛罗里达大学）
本文提出一种可扩展的子空间追猎方法，将矩阵分解问题转化为子空间学习问题，通过小数据草稿实现分解，适应性采样算法提升了处理结构化数据的效率。
2017-03-16 cs.DS cs.LG cs.NA
Context Features Are Cheap: Rank-Aware Decomposition for Efficient Feature Interaction in Recommender Systems
Taboola Israel（Taboola以色列）
提出一种秩感知分解方法，通过将上下文相关计算从每个候选一次减少为每个请求一次，在不改变模型预测的情况下显著提升工业推荐系统的吞吐量。
2026-05-24 cs.IR cs.LG
Updating Singular Value Decomposition for Rank One Matrix Perturbation
School of Engineering \& Applied Science, Ahmedabad University, Ahmedabad-380009, India
本文提出一种高效算法，用于在O(n² log(1/ε))时间内更新秩一扰动矩阵的奇异值分解，利用快速多极子方法在O(n log(1/ε))时间内更新奇异向量。
2017-07-26 cs.LG cs.NA math.NA
Penalty Decomposition Methods for Rank Minimization
本文提出罚分解方法求解目标或约束中含秩的秩最小化问题，通过块坐标下降法求解子问题，并证明序列聚点满足一阶最优性条件，在矩阵补全和最近低秩相关矩阵问题上表现优于或持平现有方法。
2012-05-29 cs.LG cs.NA cs.SY
Supermodular Rank: Set Function Decomposition and Optimization
UCLA（加州大学洛杉矶分校）；Harvard University（哈佛大学）；MPI MiS（马克斯·普朗克数学研究所）
本文定义了格上函数的超模秩与子模秩，并提出一种利用子模分解将优化问题拆分为子模子问题的算法，从而在取决于子模秩的计算开销下，有效提升了单调集合函数最大化等问题的近似比保证。
2026-10-22 cs.CC cs.DM cs.LG
Masked-RPCA: Sparse and Low-rank Decomposition Under Overlaying Model and Application to Moving Object Detection
New York University（纽约大学）；Expedia Inc.（亿客行公司）
在视频监控系统等计算机视觉应用中，视频序列中的前景检测是一个关键步骤。鲁棒主成分分析（RPCA）进行低秩和稀疏分解，并完成这样的任务时，背景是静止的，前景是动态的，相对较小。RPCA的一个基本问题是假设在每个元素处添加低秩和稀疏分量，而实际上，移动的前景覆盖在背景上。我们提出了通过掩码分解（即覆盖模型）的表示，其中每个元素属于低秩或稀疏分量，由掩码决定。我们提出了Masked-RPCA算法，利用线性化和交替方向技术，同时恢复掩模和低秩分量。我们进一步扩展我们的配方是强大的动态变化的背景和执行空间连接的前景组件。我们的研究表明，与其他框架获得的稀疏分量的后处理相比，检测到的掩模有了显着的改进。
2019-09-17 cs.CV cs.LG eess.IV
Low-Rank Tensor Decompositions for the Theory of Neural Networks
Université de Lorraine, CNRS, CRAN（洛林大学、法国国家科学研究中心、CRAN）
本文综述了低秩张量分解在深度神经网络理论中的核心作用，涵盖其在表达能力、算法可学习性、泛化能力及可识别性等方面的应用。
2025-12-16 cs.AI cs.LG
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization
张量分解是深度卷积神经网络模型压缩的基本技术之一，因为它能够揭示复杂结构之间的潜在关系。然而，大多数现有的方法，压缩网络逐层，这不能提供一个令人满意的解决方案，以实现全局优化。在本文中，我们提出了一种模型简化方法，使用卷积层的低秩张量分解来压缩预训练网络。我们的方法是基于优化技术来选择适当的层次分解的网络层。提出了一种新的正则化方法--漏斗函数法，用来抑制压缩过程中的不重要因素，从而更容易地显示出合适的秩。实验结果表明，与其他张量压缩方法相比，该算法可以减少更多的模型参数。对于使用ImageNet 2012的ResNet 18，我们的简化模型在GMAC方面可以达到两倍以上的速度，而Top-1精度仅下降0.7%，这在两个指标上都优于大多数现有方法。
2021-12-07 cs.AI cs.CV cs.LG
Training Acceleration of Low-Rank Decomposed Networks using Sequential Freezing and Rank Quantization
Toronto Research Center, Huawei Technologies（华为技术有限公司多伦多研究中心）
本文提出秩优化与顺序冻结两种技术，在不使用小秩的情况下加速低秩分解模型训练与推理，实验显示结合使用可提升训练吞吐量60%、推理吞吐量37%，且精度接近原始模型。
2023-09-07 cs.AI cs.CL cs.LG
Robust Tensor CUR Decompositions: Rapid Low-Tucker-Rank Tensor Recovery with Sparse Corruption
University of Central Florida（中佛罗里达大学）；University of California Los Angeles（加州大学洛杉矶分校）；Michigan State University（密歇根州立大学）
针对张量鲁棒主成分分析问题，提出基于交替投影框架的快速鲁棒张量CUR分解算法，利用张量CUR分解降低计算复杂度，开发四种变体，在合成与真实数据集上验证了其有效性与计算优势。
2023-10-10 cs.LG cs.NA math.NA
Fast Low-Rank Tensor Decomposition by Ridge Leverage Score Sampling
Google Research（谷歌研究院）；Georgia Tech（佐治亚理工学院）
低秩张量分解推广了低秩矩阵近似，是发现高维数据中低维结构的有力技术。在本文中，我们研究了塔克分解，并使用随机数值线性代数的工具，称为岭杠杆分数，以加速核心张量更新步骤中广泛使用的交替最小二乘（ALS）算法。更新核心张量是ALS中的一个严重瓶颈，是一个高度结构化的岭回归问题，其中设计矩阵是因子矩阵的克罗内克积。我们展示了如何使用近似的岭杠杆分数来构造任何岭回归问题的草图实例，使得草图问题的解向量是原始实例的$(1+\varepsilon)$近似。此外，我们表明，经典的杠杆分数足以作为近似值，这使我们能够利用克罗内克结构并及时更新核心张量，这主要取决于秩和草图参数（即，在输入张量的大小上是次线性的）。我们还给出了脊杠杆分数的上限，因为行从设计矩阵中删除（例如，如果张量有丢失的条目），我们证明了我们的近似岭回归算法的有效性大，低秩塔克分解合成和真实世界的数据。
2021-07-22 cs.DS cs.LG math.ST
