Bootstrap-Based Regularization for Low-Rank Matrix Estimation
Agrocampus Ouest（西部农业学院）；INRIA Saclay（法国国家信息与自动化研究所萨克莱分部）；Université Paris-Sud（巴黎南大学）；Stanford University（斯坦福大学）
我们开发了一个灵活的低秩矩阵估计框架，使我们能够通过一个简单的自举算法将噪声模型转换为正则化方案。有效地，我们的程序寻求一个自动编码的基础上观察到的矩阵是稳定的，相对于指定的噪声模型，我们称之为一个稳定的自动编码器的过程。在最简单的情况下，与各向同性噪声模型，我们的方法是等价的经典奇异值收缩估计。对于非各向同性噪声模型，例如，泊松噪声，该方法不减少奇异值收缩，而是产生新的估计，在实验中表现良好。此外，通过迭代我们的稳定自动编码方案，我们可以自动生成低秩估计，而无需指定目标秩作为调优参数。
2016-06-28 cs.LG stat.ME stat.ML
Fast Algorithm for Low-rank matrix recovery in Poisson noise
Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种从受泊松噪声污染的低秩矩阵的线性测量中恢复低秩矩阵的快速算法：泊松噪声极大似然奇异值阈值（PMLSV）算法。我们提出了一个凸优化公式，其代价函数由一个似然函数和一个正则化函数组成，正则化函数是矩阵的核范数。本文通过扩展似然函数，提出了一种迭代奇异值阈值算法，而不是直接用半定规划（SDP）求解最优化问题。我们证明了所提出的算法恢复太阳耀斑图像与泊松噪声的良好性能：该算法是更有效的比求解SDP使用的邻域点算法，它产生了一个很好的近似解相比，从SDP解决。
2014-12-19 cs.LG math.ST stat.ML
Mismatched estimation of non-symmetric rank-one matrices corrupted by structured noise
Tsinghua University（清华大学）；Institute of Science and Technology, Austria（奥地利科学技术研究所）；Huawei Technologies Co., Ltd.（华为技术有限公司）
我们研究了贝叶斯统计学家的性能，他估计了一个被非对称旋转不变噪声破坏的秩一信号，该噪声具有奇异值的通用分布。由于信噪比和噪声结构是未知的，因此错误地假设了高斯设置。我们推导出不匹配贝叶斯估计误差的精确解析表达式，并提供了近似消息传递（AMP）算法的分析。第一个结果利用了矩形矩阵和低秩矩阵扰动的球积分的渐近行为;第二个结果依赖于辅助AMP的设计和分析。数值实验表明，AMP和贝叶斯估计器之间存在性能差距，这是由于不正确的估计信号范数。
2023-02-08 cs.IT cs.LG math.IT
Weak Detection in the Spiked Wigner Model with General Rank
KAIST（韩国科学技术院）；KIAS（韩国高等研究院）
本文研究了在加性Wigner噪声下从“信号+噪声”型矩阵模型中检测信号的统计决策过程。我们提出了一个假设检验的基础上的线性谱统计的数据矩阵，这不依赖于信号或噪声的分布。如果信噪比小，则该测试在高斯噪声下是最佳的，因为它使I型和II型误差的总和最小化。在非高斯噪声下，可以通过对数据矩阵进行逐项变换来改进测试。我们还介绍了一种算法，估计信号的秩时，它是不知道的先验。
2021-03-04 cs.LG math.PR math.ST
ARMAX identification of low rank graphical models
College of Engineering, Peking University（北京大学工学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
针对测量噪声掩盖低秩随机过程秩亏缺结构的问题，提出稀疏加低秩 ARMAX 图模型的最大似然辨识框架，并证明其可辨识性与一致性。
2025-01-16 cs.LG
How Many Ranks Does a Token Need? A Noise-Floor Squelch for Rank-One LoRA Experts
University of Edinburgh（爱丁堡大学）；Delft University of Technology（代尔夫特理工大学）
针对LoRA的固定秩混合专家问题，提出无路由的SQUELCH机制，使每个Token的激活秩自适应，在多任务基准上优于LoRA及最强混合基线，激活分量更少且性能提升显著。
2026-10-13 cs.LG
Robust Sparse Reduced Rank Regression in High Dimensions
我们提出了一种稳健的稀疏降秩回归方法，用于分析具有重尾随机噪声的大型复杂高维数据。该方法是基于一个凸松弛的秩和稀疏约束的非凸优化问题，然后使用交替方向法的乘子算法来解决。我们建立了非渐近估计误差界下的Frobenius和核规范在高维设置。这是对降秩回归现有结果的重大贡献，降秩回归主要集中在秩选择和预测一致性上。我们的理论结果量化的随机噪声和统计偏差的重尾之间的权衡。对于随机噪声与有界$(1+δ)$次矩与$δ\in (0,1)$，收敛速度是一个函数的$δ$，是慢于次高斯型偏差界;对于随机噪声与有界的二阶矩，我们得到的收敛速度，如果次高斯噪声被假定。此外，这两种制度之间的过渡是平稳的。我们通过大量的数值研究和数据应用说明了所提出的方法的性能。
2019-04-14 cs.LG stat.ML
Low-rank matrix completion and denoising under Poisson noise
Georgia Institute of Technology（佐治亚理工学院）
本文针对泊松噪声下的低秩矩阵去噪与补全问题，分析三种估计器并给出依赖秩、观测比例及行列和的上界误差，证明其极小极大最优性，并扩展到多项情形。
2020-04-30 cs.LG math.ST stat.ML
On Deterministic Sampling Patterns for Robust Low-Rank Matrix Completion
Columbia University（哥伦比亚大学）；Purdue University（普渡大学）
在这封信中，我们研究了确定性采样模式的低秩矩阵的完成，当破坏与稀疏噪声，也被称为鲁棒矩阵完成。我们推广了最近的结果确定性抽样模式的基础上的几何分析的格拉斯曼流形上的噪音。一个特殊的情况下，每列有一定数量的噪声条目被认为是，我们的概率分析执行非常有效。此外，假设原始矩阵的秩没有给出，我们提供了一个分析，以确定是否一个有效的完成的秩确实是与稀疏噪声损坏的数据的实际秩通过验证一些条件。
2017-12-05 cs.CV cs.IT cs.LG
Low-Multi-Rank High-Order Bayesian Robust Tensor Factorization
Zhejiang University（浙江大学）；Ningbo Research Institute, Zhejiang University（浙江大学宁波研究院）
提出一种基于贝叶斯框架的高阶张量鲁棒主成分分析方法，通过显式建模噪声并自动确定多秩，有效处理高阶数据，提升分解性能。
2023-11-10 cs.LG
DoRAN: Stabilizing Weight-Decomposed Low-Rank Adaptation via Noise Injection and Auxiliary Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Science, VNU-HCM（胡志明市国家大学科学大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；Trivita AI
DoRAN通过噪声注入和辅助网络提升低秩适应的稳定性与样本效率
2026-02-06 cs.CV cs.LG
Fisher Rank Inflation: A Spectral Signature of Memorization under Label Noise
University of Southern California（南加州大学）
研究标签噪声下深度网络记忆损坏标签过程中Fisher秩膨胀现象，推导相关公式并确定条件，通过实验验证其与记忆的关系及随损坏严重程度的变化，建立其作为连接多种因素的谱特征。
2026-07-15 cs.LG stat.ML
The price of ignorance: how much does it cost to forget noise structure in low-rank matrix estimation?
International Center for Theoretical Physics (ICTP)（国际理论物理中心）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
我们考虑的问题，估计秩-1的信号损坏的结构旋转不变的噪声，并解决以下问题：如何做推理算法执行时，噪声统计是未知的，因此高斯噪声是假设？虽然与非结构化噪声匹配的贝叶斯最优设置是很好的理解，这个不匹配的问题的分析只是在其前提。在本文中，我们朝着理解失配的强源的影响，这是噪声统计。我们的主要技术贡献是严格的分析贝叶斯估计和近似消息传递（AMP）算法，这两个错误地假设高斯设置。第一个结果利用球面积分和低秩矩阵扰动的理论;第二个背后的想法是设计和分析一个人工AMP，通过利用去噪器的灵活性，能够“纠正”失配。有了这些尖锐的渐近刻画，我们揭示了丰富的，往往是意想不到的现象学。例如，尽管AMP原则上被设计为有效地计算贝叶斯估计量，但前者在均方误差方面优于后者。我们表明，这种性能差距是由于一个不正确的估计的信号范数。事实上，当SNR足够大时，AMP和贝叶斯估计器的重叠重合，并且它们甚至匹配考虑噪声结构的最优估计器的重叠。
2022-05-20 cs.IT cs.LG math.IT
Perturbation Bounds for Low-Rank Inverse Approximations under Noise
Yale University（耶鲁大学）
针对噪声下低秩逆近似的谱范数鲁棒性认知不足问题，采用围道积分技术推导非渐近扰动界，揭示误差与特征间隙等的关联，优于经典界，为噪声环境下低秩逆近似提供实用谱感知保证。
2025-10-29 cs.DS cs.LG cs.NA
Introducing the Huber mechanism for differentially private low-rank matrix completion
IIT Madras（印度理工学院马德拉斯分校）
对敏感的用户数据执行低秩矩阵补全需要隐私保护方法。在这项工作中，我们提出了一种新的噪声添加机制，以保持差分隐私的噪声分布的启发Huber损失，一个众所周知的损失函数在鲁棒统计。建议的Huber机制进行评估，对现有的差分隐私机制，同时解决矩阵完成问题，使用交替最小二乘法。我们还建议使用迭代重加权最小二乘算法来完成低秩矩阵，并研究不同噪声机制在合成和真实数据集中的性能。我们证明了该机制实现了类似于拉普拉斯机制的ε-差分隐私。此外，实证结果表明，Huber机制优于拉普拉斯和高斯在某些情况下，是可比的，否则。
2022-06-16 cs.CR cs.LG
Learning with Confident Examples: Rank Pruning for Robust Classification with Noisy Labels
Massachusetts Institute of Technology（麻省理工学院）
噪声PN学习是二进制分类的问题，当训练样本可能被错误标记（翻转）时，正样本的噪声率为rho 1，负样本的噪声率为rho 0。我们提出秩修剪（RP）来解决噪声PN学习和估计噪声率的开放问题，即错误的正面和负面标签的比例。与以前的解决方案不同，RP是时间有效的和一般的，需要O（T）的任何不受限制的概率分类器的选择与T拟合时间。我们证明了RP具有一致的噪声估计和等价的期望风险的学习与未损坏的标签在理想条件下，并推导出封闭形式的解决方案时，条件是非理想的。无论噪声量如何，RP都可以为MNIST和CIFAR数据集实现最先进的噪声估计以及F1、误差和AUC-PR，并且当大部分训练示例是来自第三分布的噪声时，RP的表现也同样令人印象深刻。为了突出显示，具有CNN分类器的RP可以预测MNIST数字是“1“还是“不是”，只有0.25%的误差，并且所有数字的误差为0.46，即使50%的阳性样本被错误标记，并且50%的观察到的阳性标签是错误标记的阴性样本。
2017-08-09 cs.LG stat.ML
Tackling the Noisy Elephant in the Room: Label Noise-robust Out-of-Distribution Detection via Loss Correction and Low-rank Decomposition
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Central Florida（中央佛罗里达大学）
针对标签噪声下OOD检测性能退化问题，提出结合损失校正与低秩稀疏分解的鲁棒检测框架，在合成及真实数据集上显著超越现有方法。
2025-09-08 cs.AI cs.LG
Adaptive Fusion Affinity Graph with Noise-free Online Low-rank Representation for Natural Image Segmentation
Hubei University of Technology（湖北工业大学）；Huazhong University of Science and Technology（华中科技大学）；Nanjing University（南京大学）
基于仿射图的图像分割方法已成为计算机视觉的一个主要发展趋势。这些方法的性能依赖于构造的亲和图，特别强调超像素之间的邻域拓扑和成对亲和度。多尺度融合图由于具有同化不同图的优点，比单一尺度的单一图具有更好的性能。然而，这些方法忽略了图像中的噪声，这影响了两两相似度的准确性。多尺度组合分组和图融合也产生较高的计算复杂性。在本文中，我们提出了一个自适应融合亲和图（AFA图）与无噪声的低秩表示在自然图像分割的在线方式。该算法首先将输入图像过分割为不同尺度的超像素，然后采用改进的核密度估计方法进行滤波。此外，我们选择这些超像素的全局节点的基础上，他们的子空间保持表示，这揭示了超像素的特征分布准确。为了在提高性能的同时降低时间复杂度，使用基于无噪声在线低秩表示的全局节点的稀疏表示来获得每个尺度下的全局图。全局图最终用于更新局部图，该局部图建立在每个尺度下的所有超像素上。在BSD 300、BSD 500、MSRC、SBD和PASCAL VOC上的实验结果表明了AFA图与现有方法相比的有效性。
2021-10-22 cs.CV cs.LG cs.MM
Learning from Noise: Effective-Rank Collapse and Out-of-Distribution Rejection in Restricted Boltzmann Machines
University of Virginia（弗吉尼亚大学）
研究受限玻尔兹曼机在分布外输入下的脆弱性，通过分析可见-可见相互作用\(J\)的谱，提出用随机辅助曝光使相互作用有效秩坍缩，能在保持MNIST准确率时拒绝结构化OOD图像数据集。
2026-07-14 cond-mat.dis-nn cs.LG
ThRIve: Thermally Robust CNN Inference via Low-Rank Adaptation in Heterogeneous PIM Architectures
Washington State University（华盛顿州立大学）
研究针对基于非易失性内存的PIM架构存在热噪声影响推理准确性的问题，提出ThRIve方法，利用低秩自适应实现热鲁棒推理，在异构PIM架构上实验，准确率与SRAM相当，且降低了能量延迟积。
2026-07-21 cs.AR cs.ET cs.LG
Adaptive Quantile Low-Rank Matrix Factorization
Xi’an Jiaotong University（西安交通大学）
低秩矩阵分解（LRMF）由于其在计算机视觉和数据挖掘中的成功应用而受到广泛关注。通过假设噪声来自高斯分布、拉普拉斯分布或高斯分布的混合，已经在优化观察矩阵与其双线性分解之间的（加权）$L_1$或$L_2$ -范数损失方面做出了显著的努力。然而，在实际应用中，噪声分布的类型通常是未知的，不适当的假设将不可避免地恶化LRMF的行为。另一方面，真实数据经常被偏斜而不是对称噪声破坏。为了解决这个问题，本文提出了一种新的LRMF模型称为AQ-LRMF建模噪声与非对称拉普拉斯分布的混合。一个有效的算法的基础上的期望最大化（EM）算法也提供了估计的参数参与AQ-LRMF。AQ-LRMF模型的优点是，它可以很好地逼近噪声，无论实际噪声是对称的还是斜的。AQ-LRMF的核心思想在于解决一个加权的$L_1$问题，从数据中学习权重。在合成数据集和真实数据集上进行的实验表明，AQ-LRMF优于几种最先进的技术。此外，AQ-LRMF在捕捉真实图像中包含的局部结构信息方面也具有优于其他算法的优势。
2020-03-03 cs.LG stat.ML
How robust is randomized blind deconvolution via nuclear norm minimization against adversarial noise?
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Munich Data Science Institute（慕尼黑数据科学研究所）；KU Eichstätt-Ingolstadt（艾希施泰特-英戈尔施塔特天主教大学）
本文研究了从两个未知信号的卷积中恢复两个未知信号的问题，即通常所说的盲反卷积。在过去的十年中，由于核范数最小化启发式的成功，盲反卷积作为一个低秩恢复问题的重新表述导致了多个理论恢复保证。特别是，在没有噪声的情况下，精确的恢复已经建立了足够的非相干信号包含在低维子空间。然而，如果卷积被加性有界噪声破坏，恢复问题的稳定性仍然不太清楚。特别是，现有的重建界涉及大的维度因子，因此无法解释核范数最小化的维度无关鲁棒性的经验证据。最近，理论上的证据已经出现了病态行为的低秩矩阵恢复足够小的噪声水平。在这项工作中，我们开发了改进的恢复保证盲反卷积与对抗性噪声表现出平方根缩放的噪声水平。因此，我们的研究结果与现有的反例是一致的，这些反例反对相关的低秩矩阵恢复问题所证明的噪声水平的线性缩放。
2023-03-17 cs.IT cs.LG eess.SP
Federated Low-Rank Adaptation with Differential Privacy over Wireless Networks
The Hong Kong University of Science and Technology（香港科技大学）
针对分布式边缘设备微调大型预训练基础模型的计算与隐私挑战，提出结合低秩自适应（LoRA）与差分隐私的拆分联邦微调框架，利用无线信道噪声实现隐私保证，在严格隐私预算下提升准确性。
2024-11-27 cs.CR cs.LG eess.SP
Gradient Descent Robustly Learns the Intrinsic Dimension of Data in Training Convolutional Neural Networks
The University of Hong Kong（香港大学）
本文研究梯度下降训练的卷积神经网络对图像背景噪声的秩稳健性，通过理论证明和实验验证CNN能学习干净图像的内在维度。
2025-04-11 cs.LG stat.ML
Transfer Denoising of Low-Rank Plus Sparse Matrices under Ambient and Rank Growth
Department of Operations Research & Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）；Department of Technology, Operations, & Statistics, New York University（纽约大学技术、运营与统计系）；Department of Computer Science, Dartmouth College（达特茅斯学院计算机科学系）
本文提出了一种在环境维度和表示同时增长下的迁移学习框架，通过低秩和稀疏分解实现高效的目标参数估计，并在理论和实验上验证了其有效性。
2026-10-14 cs.LG stat.ML
SAKI-RoPE: Score-Aware Low-Rank Key Indexing with RoPE-Aware Covariance and Random-Matrix Noise Analysis
该研究提出无需训练的KV缓存索引SAKI，通过优化注意力分数目标，在多个开源大模型上的长上下文KV检索任务中，相比键PCA方法显著提升了前k个召回率。
2026-10-27 cs.LG stat.AP
Fundamental limits for rank-one matrix estimation with groupwise heteroskedasticity
Duke University（杜克大学）
涉及高维和异构数据的低秩矩阵恢复问题出现在整个统计和机器学习的应用中。本文的贡献是建立一个广泛的一类这些问题的基本限制恢复。特别是，我们研究的问题，估计秩一矩阵高斯观测不同块的矩阵下观察到不同的噪声水平。在块的数量是固定的，而变量的数量趋于无穷大的设置中，我们证明了渐近精确的最小均方误差估计矩阵和相关因素的公式。这些结果是基于一种新的减少从低秩矩阵张量积模型（均匀噪声）的秩一模型与异方差噪声。作为我们的主要结果的应用，我们表明，最近提出的方法的基础上应用主成分分析（PCA）的数据加权组合是最佳的，但在某些设置次优的。我们还提供了数值结果比较我们的渐近公式与加权PCA，梯度下降，近似消息传递的基础上的方法的性能。
2022-03-21 cs.LG stat.ML
Matrix Completion with Sparse Noisy Rows
Stanford University（斯坦福大学）
在不同的基础条件下，研究了矩阵的精确完备化和低秩矩阵的估计问题。本文研究了非退化噪声模型下的精确低秩完备化问题。非退化随机噪声模型在噪声稀疏且存在于某些列中的情况下，已被许多研究者研究过。在本文中，我们假设每行可以接收随机噪声，而不是列，并提出了一个交互式算法，是强大的这种噪声。我们表明，我们使用的参数化技术给出了一个条件时，底层矩阵可以恢复，并提出了一个算法，恢复底层矩阵。
2022-04-05 cs.LG
Adaptive Noisy Matrix Completion
Carnegie Mellon University（卡内基梅隆大学）
低秩矩阵完备化在各种范畴下得到了广泛的研究。该问题可以归类为噪音补全或精确补全，也可以归类为主动或被动补全算法。在本文中，我们专注于自适应矩阵完成与有界类型的噪声。我们假设我们要恢复的矩阵$\mathbf{M}$是由低秩矩阵加上有界小噪声组成的。这个问题以前已经研究了\cite{nina}，在一个固定的抽样模型。在这里，我们研究这个问题在自适应设置，我们不断估计的角度与底层的低秩子空间和噪声添加子空间的上界。此外，这里建议的方法，可以被证明需要比上述方法小得多的观察。
2022-03-16 cs.LG
Rank-Order N-of-M Codes for Sparse Distributed Memory: Disentangling Representation and Learning Effects in Noise Robustness Against Contemporary Neuromorphic Architectures
Independent Researcher（独立研究者）；Bengaluru, India（印度班加罗尔）
研究针对大语言模型持续学习受限问题，评估秩排序N选M编码替代稀疏分布式内存阈值二进制编码器。通过重新实现验证架构等效，实验表明其在容量和误码率鲁棒性上有优势，还分析了编码能量，为相关架构提供指导。
2026-07-08 cs.LG cs.NE
Statistical mechanics of low-rank tensor decomposition
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
通常，跨多个模式收集的大型高维数据集可以组织为更高阶张量。低秩张量分解作为一种强大而广泛使用的工具，可以发现这些数据背后的简单低维结构。然而，我们目前缺乏对低秩张量分解的算法行为的理论理解。我们推导出贝叶斯近似消息传递（AMP）算法恢复任意形状的低秩张量埋在噪声中，我们采用动态平均场理论来精确地表征其性能。我们的理论揭示了容易，困难和不可能的推理制度之间的相变的存在，并显示出良好的匹配与模拟。此外，它揭示了几个定性的惊喜相比，对称，立方张量分解的行为。最后，我们比较我们的AMP算法最常用的算法，交替最小二乘（ALS），并证明AMP显着优于ALS的存在噪声。
2018-10-23 cs.LG q-bio.NC stat.ML
Cauchy noise loss for stochastic optimization of random matrix models via free deterministic equivalents
University of Tokyo（东京大学）
对于随机矩阵模型，基于传统的似然函数的参数估计并不简单，特别是当我们只有一个样本矩阵时。我们介绍了一种新的随机矩阵模型的参数优化方法，即使在这样的情况下。该方法是基于谱分布而不是传统的似然。在该方法中，柯西噪声有一个重要的作用，因为自由确定性等价，这是一个工具，在自由概率论，使我们能够近似的谱分布扰动柯西噪声由一个光滑的和可访问的密度函数。此外，我们还研究了决定间隙的一个渐近性质，它与推广间隙具有类似的作用。此外，我们提出了一种新的信号加噪声模型的维数恢复方法，并通过实验证明，即使真秩不小，它也能恢复信号部分的秩。这是一个同时进行秩选择和参数估计的过程。
2019-09-03 cs.LG math.OA math.PR
From Noise to Order: Learning to Rank via Denoising Diffusion
University of Guelph（圭尔夫大学）；Independent Researcher（独立研究者）；University of California, Berkeley（加州大学伯克利分校）；McGill University（麦吉尔大学）；University of Toronto（多伦多大学）
提出基于去噪扩散的生成式排序模型DiffusionRank，通过建模特征向量与相关性标签的联合分布，在四个标准LTR数据集上优于传统判别式方法。
2026-06-23 cs.AI cs.IR cs.LG
Computational and statistical lower bounds for low-rank estimation under general inhomogeneous noise
本研究证明在一般非均匀噪声下，当谱算法无法检测低秩信号时，任何低度多项式算法也无法检测，从而为计算困难性猜想提供首个证据，并推广了信息论下界至更广信号分布。
2025-10-09 cs.DS cs.LG math.PR
Rank-one matrix estimation: analytic time evolution of gradient descent dynamics
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们考虑一个秩一对称矩阵被加性噪声破坏。秩一矩阵由半径为$\sqrt{n}$的球体上的$n$ -分量未知向量形成，并且我们考虑了在$n$大的高维极限中通过球体上的二次成本函数的梯度下降从损坏的矩阵估计该向量的问题。严格推导出估计量和未知向量之间的重叠以及成本的整个时间演化的显式公式。在很长的时间限制，我们恢复众所周知的光谱相变，作为信噪比的函数。显式公式还允许指出有趣的瞬态特性的时间演化。我们的分析技术是基于随机矩阵理论的最新进展，并使用当地版本的半圆法。
2021-05-25 cs.LG math.PR stat.ML
DeepTensor: Low-Rank Tensor Decomposition with Deep Network Priors
Rice University（莱斯大学）
DeepTensor是一个计算效率高的框架，用于使用深度生成网络对矩阵和张量进行低秩分解。我们将张量分解为低秩张量因子的乘积（例如，作为两个向量的外积的矩阵），其中每个低秩张量由以自监督方式训练的深度网络（DN）生成，以最小化均方近似误差。我们的关键观察是，DN中固有的隐式正则化使它们能够捕获非线性信号结构（例如，流形），这是经典的线性方法，如奇异值分解（SVD）和主成分分析（PCA）无法达到的。此外，与SVD和PCA相比，当张量的条目偏离加性高斯白噪声时，其性能会恶化，我们证明了DeepTensor的性能对广泛的分布具有鲁棒性。我们通过探索一系列现实世界的应用，包括高光谱图像去噪，3D MRI断层扫描和图像分类，验证了DeepTensor是SVD，PCA，非负矩阵分解（NMF）和类似分解的强大且计算效率高的替代品。特别是，DeepTensor为泊松噪声破坏的信号提供了比标准去噪方法高出6dB的信噪比，并且学习分解3D张量的速度比配备3D卷积的单个DN快60倍。
2022-04-07 cs.LG stat.AP stat.ML
Detection problems in the spiked matrix models
KAIST（韩国科学技术院）
我们研究的统计决策过程检测低秩信号从各种信号加噪声类型的数据矩阵，称为尖峰随机矩阵模型。我们首先表明，主成分分析，可以改善由entrywise预变换的数据矩阵，如果噪声是非高斯，推广已知的结果与rank-1信号的尖峰随机矩阵模型。作为中间步骤，我们发现尖锐的相变阈值的极端特征值的尖峰随机矩阵，推广的Baik-Ben Arous-Péché（BBP）转变。我们还证明了加标随机矩阵线性谱统计量的中心极限定理，并提出了一个假设检验，它不依赖于信号或噪声的分布。当噪声是非高斯噪声时，可以通过对具有加性噪声的数据矩阵进行逐项变换来改进测试。我们还介绍了一种算法，估计信号的秩时，它是不知道的先验。
2023-01-16 cs.LG math.PR math.ST
On the Analysis of Trajectories of Gradient Descent in the Optimization of Deep Neural Networks
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
近年来，对深度神经网络的误差景观的理论分析引起了人们的极大兴趣。在这项工作中，我们从理论上研究了噪声的重要性，在梯度下降的轨迹走向最优解的多层神经网络。我们表明，在训练时向神经网络中添加噪声（以不同的方式）会增加多层线性神经网络的权重矩阵乘积的秩。因此，我们研究如何添加噪声可以帮助达到全局最优时，产品矩阵是满秩（在某些条件下）。我们建立了引入神经网络的噪声--梯度、结构或神经网络的输入/输出--与权矩阵乘积的秩之间的理论基础。我们证实了我们的理论研究结果与实证结果。
2018-07-21 cs.LG math.OC stat.ML
Stability of Low-Rank Implicit Regularization in Perturbed Deep Matrix Factorization
Department of Informatics and Networked Systems, University of Pittsburgh（信息学与网络系统系，匹兹堡大学）；Department of Mathematics, University of Pittsburgh（数学系，匹兹堡大学）
本文研究扰动深度矩阵分解中低秩隐式正则化的稳定性，通过推导谱条件分析无噪声情况下的低秩阶段，并证明扰动下梯度下降的收敛性与低秩阶段的保持性。
2026-07-23 cs.LG math.OC stat.ML
Causal Discovery via Transformed Low-Rank Quantile Surfaces
Shiga University（滋贺大学）；RIKEN AIP（理化学研究所人工智能研究中心）；The University of Osaka（大阪大学）
提出低秩分位数曲面模型，通过非参数拟合实现因果方向识别，在分布形状超出位置-尺度假设时表现优异。
2026-10-22 cs.AI cs.LG stat.ME
Robust Matrix Completion with Heavy-tailed Noise
Princeton University（普林斯顿大学）
本文研究了存在重尾和可能的非对称噪声的低秩矩阵完备化问题，我们的目标是在给定一组高度不完整的噪声条目的情况下估计一个潜在的低秩矩阵。虽然矩阵完备化问题在过去的十年里引起了人们的广泛关注，但对于观测值被重尾噪声污染的情况，仍然缺乏理论上的理解。现有的理论无法解释经验结果，也无法捕捉到估计误差对噪声水平的最佳依赖关系。在本文中，我们采用了自适应Huber损失，以适应重尾噪声，这是强大的对大的，可能是不对称的错误时，精心设计的损失函数中的参数，以平衡的Huber偏差和鲁棒性离群值。然后，我们提出了一个有效的非凸算法，通过平衡的低秩Burer-Monteiro矩阵分解和梯度下降与强大的谱初始化。证明了在误差分布仅满足有界二阶矩条件下，而不是在亚高斯假设下，该算法产生的迭代的欧氏误差几何快速减小，直至达到极小极大最优统计估计误差，其阶数与亚高斯情形相同.这一重大进步背后的关键技术是一个强大的留一分析框架。我们的模拟研究证实了理论结果。
2022-06-09 cs.IT cs.LG math.IT
