On the approximation of a matrix
Indian Statistical Institute(印度统计学院)
令$F^{*}$是通过非随机化方法导出的给定$(a \times b)$矩阵$F$的近似。我们证明了对于给定的$F$和$F^{*}$,$H$和$T$可以用随机算法计算,使得$(HT)$是$F$的一个近似,优于$F^{*}$ .
2021-08-25 cs.LG cs.NA math.NA
Optimal Randomized Approximations for Matrix based Renyi's Entropy
UiT The Arctic University of Norway(挪威北极大学)
基于矩阵的Renyi熵使我们能够直接从给定的数据中度量信息量,而无需对底层分布进行代价高昂的概率密度估计,因此已被广泛应用于众多的统计学习和推理任务中。然而,精确地计算该新的信息量需要访问半正定(SPD)矩阵$A$的本征谱,该本征谱随着样本$n$的数量线性增长,导致$O(n^3)$时间复杂度对于大规模应用是禁止的。为了解决这个问题,本文利用随机跟踪近似的矩阵为基础的Renyi的熵与任意$α\in R^+$命令,降低复杂性转换的熵近似矩阵向量乘法问题。具体来说,我们开发的随机近似整数顺序$α$的情况下和多项式级数近似(泰勒和切比雪夫)的非整数$α$的情况下,导致$O(n^2sm)$的整体时间复杂度,其中$s,m \ll n$分别表示向量查询和多项式阶数的数量。我们从理论上建立统计保证所有的近似算法,并给出明确的顺序s和m的近似误差$\varepsilon$,显示最佳的收敛速度为两个参数的对数因子。大规模的模拟和实际应用验证了开发的近似的有效性,表现出显着的加速与精度可以忽略不计的损失。
2022-05-16 cs.LG stat.ML
Bounded Projection Matrix Approximation with Applications to Community Detection
Dalian Maritime University(大连海事大学);University of Toronto(多伦多大学)
针对社区检测问题,本文提出带逐元素有界约束的投影矩阵近似模型,设计新的可微凸惩罚与ADMM算法,证明其收敛性,并通过数值实验验证其优于半定松弛和谱聚类方法。
2023-05-21 cs.LG cs.SI
Linear Matrix Inequality Approaches to Koopman Operator Approximation
McGill University(麦吉尔大学)
被认为是回归问题,找到一个矩阵近似的Koopman运营商的数据。回归问题被表述为一个线性矩阵不等式(LMI)约束下的凸优化问题。这样做允许将额外的LMI约束纳入回归问题。特别是,渐近稳定性约束,正则化使用矩阵范数,甚至正则化使用系统范数可以很容易地纳入回归问题。
2021-10-18 cs.LG cs.SY eess.SY
Computationally Efficient Approximations for Matrix-based Renyi's Entropy
UiT - The Arctic University of Norway(挪威北极大学);Vrije University Amsterdam(阿姆斯特丹自由大学)
最近开发的矩阵基于Renyi的熵,使测量数据中的信息简单地使用再生核希尔伯特空间中的对称半正定(PSD)矩阵的特征谱,而无需估计底层数据分布。这一有趣的性质使得新的信息度量在多重统计推断和学习任务中被广泛采用。然而,这样的量的计算涉及PSD矩阵$G$上的迹运算符以给$α$提供功率(即,$tr(G^α)$),具有接近$O(n^3)$的正常复杂度,当样本的数量(即,$n$)很大。在这项工作中,我们提出了计算效率的近似这个新的熵功能,可以降低其复杂性,甚至显着低于$O(n^2)$。为此,我们利用随机数值线性代数的最新进展,通过将其转换为矩阵向量乘法问题,对$α$的任意值,发展了$tr(G^α)$的Taylor,Chebyshev和Lanczos近似。我们还建立了基于矩阵的Renyi熵和PSD矩阵近似之间的联系,这使得利用$G$的聚类和块低秩结构,以进一步降低计算成本。我们从理论上提供近似精度保证,并说明不同的近似的属性。对合成数据和真实数据的大规模实验评估证实了我们的理论发现,显示出有希望的加速效果,而准确性损失可以忽略不计。
2023-01-09 cs.LG stat.ML
Maximal Volume Matrix Cross Approximation for Image Compression and Least Squares Solution
University of Georgia(佐治亚大学);Georgia Institute of Technology(佐治亚理工学院)
本文改进经典最大体积子矩阵交叉逼近的估计常数,提出一族具有收敛保证的贪心最大体积算法以提升计算效率,并在图像压缩和连续函数最小二乘逼近中验证了有效性。
2024-12-27 cs.LG cs.NA math.NA
Analysis of a randomized approximation scheme for matrix multiplication
Microsoft Research(微软研究院);Rutgers University(罗格斯大学)
本文分析了Sarlos (2006)提出的基于随机旋转和均匀列采样的矩阵乘法随机近似方案,利用矩阵Bernstein不等式和次高斯随机向量二次型的尾部不等式给出简单分析。
2012-11-23 cs.DS cs.LG cs.NA
Beyond Nyströmformer -- Approximation of self-attention by Spectral Shifting
Transformer是一种基于自注意力的自然语言处理工具,该机制将其他标记对每个特定标记的依赖性进行编码,但自注意力的计算因其二次时间复杂度而成为一个瓶颈。有多种方法可以降低算法的时间复杂度,矩阵逼近就是其中之一。在Nyströmformer中,作者使用基于Nyström的方法来近似softmax。Nyström方法生成一个快速近似任何大型对称半正定(SPSD)矩阵使用只有几列的SPSD矩阵。然而,当SPSD矩阵的谱缓慢衰减时,由于Nyström近似是低秩的,所以Nyström近似的精度低。在这里,提出了一种替代方法的近似具有更强的误差界比Nyström方法。它的时间复杂度与Nyströmformer相同,它是$O\left({n}\right)$。
2021-03-09 cs.CL cs.LG
Approximation Schemes for Low-Rank Binary Matrix Approximation Problems
University of Bergen(卑尔根大学)
我们提供了一个随机的线性时间近似方案的一个通用问题的二进制向量的聚类受到额外的约束。新的约束聚类问题包括一些问题,并通过解决它,我们得到了一些研究良好的基本问题,关于二进制向量的聚类和低秩逼近的二进制矩阵的第一线性时间近似计划。我们的方法可以解决的问题包括\textsc{Low GF(2)-Rank Approximation}、\textsc{Low Boolean-Rank Approximation}和各种版本的\textsc{Binary Clustering}。例如,对于\textsc{Low GF(2)-Rank Approximation}问题,其中对于$m\times n$二进制矩阵$A$和整数$r>0$,我们寻找$GF_2$秩至多为$r$的二进制矩阵$B$,使得矩阵$A-B$的$\ell_0$范数最小,我们的算法对于时间上的任何$ε>0$ $ f(r,ε)\cdot n\cdot m$,其中$f$是某个可计算函数,输出概率至少为$(1-\frac{1}{e})$的$(1+ε)$近似解。我们的近似算法大大提高了以前的作品的运行时间和近似因子。我们还给出了这些问题在时间上运行的(确定性)PTASes $n^{f(r)\frac{1}{ε^2}\log \frac{1}ε}$,其中$f$是依赖于问题的一些函数。我们的算法的约束聚类问题是基于一个新的采样引理,这是有趣的。
2018-07-18 cs.CC cs.DS cs.LG
Improving CUR Matrix Decomposition and the Nyström Approximation via Adaptive Sampling
Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学)
本文通过建立自适应列/行采样算法的更一般误差界,提出了具有预期相对误差界的更精确CUR和Nyström算法,并给出了标准Nyström方法和集成Nyström方法的低误差界理论分析。
2013-10-01 cs.LG cs.NA math.NA
Missing Entries Matrix Approximation and Completion
School of Electrical Engineering Tel Aviv University(电气工程学院 特拉维夫大学);School of Computer Science Tel Aviv University(计算机科学学院 特拉维夫大学)
针对仅部分条目已知的矩阵,提出一系列算法实现矩阵补全与逼近,支持低秩、核范数、谱范数等多种约束,并证明凸情形下全局收敛,无需参数且适用于图像重建及偏微分方程数据恢复。
2014-06-29 cs.LG cs.NA math.NA
Fast approximation of matrix coherence and statistical leverage
Rensselaer Polytechnic Institute(伦斯勒理工学院);Stanford University(斯坦福大学);IBM Almaden Research Center(IBM阿尔马登研究中心)
矩阵$A$的统计杠杆分数是包含其(顶部)左奇异向量的矩阵的平方行范数,并且相干性是最大的杠杆分数。这些数量感兴趣的最近流行的问题,如矩阵完成和Nyström为基础的低秩矩阵近似,以及在大规模的统计数据分析应用程序更普遍;此外,他们的兴趣,因为他们定义的关键结构的非均匀性,必须处理在开发快速随机矩阵算法。我们的主要结果是一个随机算法,作为输入的任意$n \times d$矩阵$A$,与$n \gg d$,并返回作为输出的相对误差近似所有$n$的统计杠杆分数。所提出的算法在$O(n d \log n)$时间内运行(在$n$和$d$的精确值的假设下),与涉及计算$A$范围的正交基的朴素算法所需的$O(nd^2)$时间相反。我们的分析可以看作是计算一个欠约束的最小二乘近似问题的相对误差近似,或者,相关地,它可以被看作是一个应用程序的约翰逊-林登施特劳斯类型的想法。我们的基本结果的几个实际重要的扩展也被描述,包括所谓的交叉杠杆分数的近似,这些想法的扩展矩阵与$n \approx d$,和扩展到流媒体环境。
2012-12-05 cs.DM cs.DS cs.LG
Private Matrix Approximation and Geometry of Unitary Orbits
Worcester Polytechnic Institute(伍斯特理工学院);Yale University(耶鲁大学);Google Research(谷歌研究院)
考虑以下优化问题:给定$n \times n$矩阵$A$和$Λ$,最大化$\langle A, UΛU^*\rangle$,其中$U$在酉群$\mathrm{U}(n)$上变化。该问题寻求通过其谱与$Λ$相同的矩阵来近似$A$,并且通过将$Λ$设置为适当的对角矩阵,可以恢复矩阵近似问题,例如PCA和秩- $k$近似。我们研究了在使用用户的私有数据构建矩阵$A$的设置中为该优化问题设计差异私有算法的问题。我们给出了有效的和私人的算法,来与上界和下界的近似误差。我们的结果统一和改进了一些私人矩阵逼近问题的工作。他们依赖于扩展包装/覆盖数界的格拉斯曼酉轨道应该是独立的利益。
2022-07-06 cs.CR cs.DS cs.LG
Low-Rank Boolean Matrix Approximation by Integer Programming
Mathematical Institute(数学研究所);IBM Research(IBM研究院);Alan Turing Institute(阿兰·图灵研究所);Pembroke College(彭布罗克学院)
数据矩阵的低秩近似是机器学习和回归分析中重要的降维工具。我们考虑的情况下,分类变量,它可以制定为问题找到低秩近似布尔矩阵。在本文中,我们给出了什么是我们所知的第一个整数规划公式,只依赖于多项式的许多变量和约束,我们讨论了如何解决它的计算和报告的数值测试合成和真实世界的数据。
2018-03-13 cs.DM cs.LG stat.ML
Learning-Based Low-Rank Approximations
University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Tsinghua University(清华大学)
我们引入了一个“基于学习”的算法的低秩分解问题:给定一个$n \times d$矩阵$A$,和一个参数$k$,计算一个秩$k$矩阵$A'$,最大限度地减少近似损失$\|A-A'\|_F$。该算法使用输入矩阵的训练集,以优化其性能。具体地,用于计算低秩近似的一些最有效的近似算法通过计算投影$SA$来进行,其中$S$是稀疏随机$m \times n$“草图矩阵”,然后执行$SA$的奇异值分解。我们展示了如何用相同稀疏度的“学习”矩阵替换随机矩阵$S$以减少误差。我们的实验表明,对于多种类型的数据集,学习草图矩阵可以大大减少近似损失相比,随机矩阵$S$,有时一个数量级。我们还研究了混合矩阵,其中只有一些行是训练的,其余的是随机的,并表明矩阵仍然提供了改进的性能,同时保留最坏情况的保证。最后,为了理解我们方法的理论方面,我们研究了$m=1$的特殊情况。特别地,我们给出了一个最小化经验损失的近似算法,近似因子依赖于训练集中矩阵的稳定秩。我们还展示了草图矩阵学习问题的泛化界。
2019-10-30 cs.DS cs.LG stat.ML
DyKAF: Dynamical Kronecker Approximation of the Fisher Information Matrix for Gradient Preconditioning
HSE University(俄罗斯伏尔加格勒国立大学);HSE University Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)(俄罗斯伏尔加格勒国立大学人工智能基础研究实验室);Innopolis University(因诺波利斯大学)
本文提出 DyKAF 优化器,利用投影分裂积分器动态构建 Fisher 矩阵的 Kronecker 近似作为预条件器,在大语言模型预训练和微调中优于现有优化器。
2025-11-09 cs.LG cs.NA math.NA
Uniform Sampling for Matrix Approximation
Massachusetts Institute of Technology(麻省理工学院)
随机抽样已成为解决大规模矩阵问题的重要工具。对于线性回归,可以随机选择一个小的、可管理的数据行集来近似一个高而瘦的数据矩阵,从而显著缩短处理时间。对于理论上的性能保证,必须以与其统计杠杆得分成比例的概率对每一行进行采样。不幸的是,杠杆分数很难计算。一个简单的替代方法是随机对行进行均匀采样。虽然这通常有效,但均匀采样将消除许多自然实例的关键行信息。我们重新审视均匀抽样,看看它保留了什么信息。具体来说,我们表明,均匀采样产生一个矩阵,在某种意义上说,以及近似的原始的一个大部分。虽然这种弱形式的近似不足以直接求解线性回归,但它足以计算更好的近似。这一观察导致简单的迭代行采样算法的矩阵近似,运行在输入稀疏时间和保留行结构和稀疏在所有中间步骤。除了提高对均匀采样的理解,我们的主要证明还引入了一个独立感兴趣的结构结果:我们证明了每个矩阵都可以通过重新加权其行的一个小子集来获得低相干性。
2014-08-21 cs.DS cs.LG stat.ML
Collaborative Filtering with Stability
IBM Research - China(IBM中国研究院);University of Colorado Boulder(科罗拉多大学博尔德分校)
协同过滤(CF)是当前推荐系统中的一种流行技术,基于矩阵近似的CF方法在评分预测和top-N推荐任务中取得了巨大的成功。然而,现实世界的用户-项目评分矩阵通常是稀疏的、不完整的和有噪声的,这对矩阵近似的算法稳定性提出了挑战,即,训练数据中的小变化可能显著地改变模型。结果,现有的矩阵近似解决方案产生低泛化性能,在训练数据上表现出高误差方差,并且最小化训练误差可能不能保证在测试数据上的误差减少。本文研究了矩阵近似方法的算法稳定性问题,以及如何通过稳定的矩阵近似实现稳定的协同过滤。提出了一种新的算法设计框架,该框架(1)引入新的优化目标来指导稳定矩阵近似算法的设计,(2)求解优化问题以获得具有良好泛化性能的稳定近似解.在真实数据集上的实验结果表明,与现有的矩阵近似方法和集成方法相比,该方法在评分预测和top-N推荐任务中具有更高的准确率.
2018-11-06 cs.IR cs.LG stat.ML
From-Below Approximations in Boolean Matrix Factorization: Geometry and New Algorithm
Modeling Lab Dept. Computer Science, Palack\'y University, Czech Republic e-mail
本文提出布尔矩阵分解的新结果及新算法,强调从下逼近在输入矩阵中的重要性,并通过实验验证了算法在覆盖性和分解效率上的优势。
2013-06-20 cs.LG cs.NA math.NA
Tangent Space Based Alternating Projections for Nonnegative Low Rank Matrix Approximation
Weifang University(潍坊学院);The University of Hong Kong(香港大学);Southwestern University of Finance and Economics(西南财经大学)
本文提出了一种新的计算非负矩阵低秩逼近的交替投影方法。在非负低秩矩阵逼近方法中,由于需要奇异值分解,固定秩矩阵在流形上的投影代价很高。我们建议使用流形上的点的切空间来近似流形上的投影,以减少计算量。我们证明了由固定秩矩阵流形和非负矩阵流形的切线空间上的交替投影所产生的序列线性收敛到两个流形的交点上的一个点,该点的收敛点足够接近最优解。这种基于流形上不精确投影的收敛结果是新的,在文献中没有研究过。在数据聚类、模式识别和高光谱数据分析中的数值算例表明,该方法在计算时间和精度方面均优于非负矩阵分解方法.
2020-09-02 cs.CV cs.LG stat.ML
Low-Rank Matrix Approximation in the Infinity Norm
Department of Mathematics and Operational Research, University of Mons(蒙斯大学数学与运筹学系);National Research University Higher School of Economics(俄罗斯国家研究大学高等经济学院)
本文研究了以无穷范数为度量的低秩矩阵逼近问题,证明了当秩r=1时该问题的决策变种是NP难的,并分析了在某些情况下该问题可以在多项式时间内解决,同时提出了一种实用的启发式算法用于恢复量化低秩矩阵。
2017-05-31 cs.CC cs.LG cs.NA