Column and row subset selection using nuclear scores: algorithms and theory for Nyström approximation, CUR decomposition, and graph Laplacian reduction
列选择是保持结构的低秩逼近的重要工具，在数据科学、机器学习和理论化学等众多领域具有广泛应用。本文开发了用于快速、高效且具有理论保证的列选择的统一方法。首先，我们推导并实现了一种利用稀疏性的确定性算法，适用于核逼近和 CUR 分解等任务。随后，我们建立了一种无矩阵形式体系，其依赖满足可保证集中界的随机化方案，并将该构造同时应用于 CUR 分解以及图 Laplacian 矩阵函数的逼近。重要的是，随机化只与我们用于列选择的分数计算有关，而与给定这些分数后的选择本身无关。对于确定性算法和无矩阵算法，我们都给出了性能界，其结果相对于行列式点过程（DPP）采样的期望性能具有优势，在部分情形下也相对于精确最优子集选择具有优势。一般情形需要对 DPP 期望进行新的分析。最后，我们在一组多样的示例逼近任务上证明了算法在真实世界中的优异性能。
英文摘要：
Column selection is an essential tool for structure-preserving low-rank approximation, with wide-ranging applications across many fields, such as data science, machine learning, and theoretical chemistry. In this work, we develop unified methodologies for fast, efficient, and theoretically guaranteed column selection. First we derive and implement a sparsity-exploiting deterministic algorithm applicable to tasks including kernel approximation and CUR decomposition. Next, we develop a matrix-free formalism relying on a randomization scheme satisfying guaranteed concentration bounds, applying this construction both to CUR decomposition and to the approximation of matrix functions of graph Laplacians. Importantly, the randomization is only relevant for the computation of the scores that we use for column selection, not the selection itself given these scores. For both deterministic and matrix-free algorithms, we bound the performance favorably relative to the expected performance of determinantal point process (DPP) sampling and, in select scenarios, that of exactly optimal subset selection. The general case requires new analysis of the DPP expectation. Finally, we demonstrate strong real-world performance of our algorithms on a diverse set of example approximation tasks.
Stability estimates of Nyström discretizations of Helmholtz decomposition boundary integral equation formulations for the solution of Navier scattering problems in two dimensions with Dirichlet boundary conditions
Quaternion Maximum-Volume Submatrix Selection with Applications to Multichannel Imaging and Visual Data
Institute of Data Science and Artificial Intelligence, Innopolis University（因诺波利斯大学数据科学与人工智能研究所）；Department of Mathematics, Faculty of Science, Hong Kong Baptist University, Hong Kong, China（香港浸会大学理学院数学系）
本文基于离散经验插值方法（DEIM）推导了一种CUR矩阵分解。对于给定的矩阵$A$，这样的因式分解提供了形式为$A \approx C U R$的低秩近似分解，其中$C$和$R$是$A$的列和行的子集，并且$U$被构造为使$CUR$成为良好的近似。给定低秩奇异值分解$A \approx V S W^T$，DEIM过程使用$V$和$W$来选择形成$C$和$R$的$A$的列和行。通过适用于一般类的CUR分解的误差分析，我们表明，精度跟踪的最佳逼近误差内的一个因素，取决于条件的子矩阵的$V$和$W$。对于大规模问题，$V$和$W$可以使用增量QR算法近似，该算法通过$A$一次。数值例子说明了良好的性能的DEIM-CUR方法相比，CUR近似的基础上杠杆分数。
Low-rank approximation in the Frobenius norm by column and row subset selection
矩阵$A$的CUR近似是特定类型的低秩近似$A \approx C U R$，其中$C$和$R$分别由$A$的列和行组成。获得这种近似的一种方法是将列子集选择应用于$A$和$A^T$。在这项工作中，我们描述了一个强大的数值和更快的变形列子集选择算法提出的Deshpande和Rademacher，这保证了误差接近Frobenius范数的最佳逼近误差。对于交叉近似，其中$U$需要是由$C$和$R$的交集描述的$A$的子矩阵的逆，我们得到一个新的算法，其误差界保持在最佳秩的因子$k + 1$内- $k$近似误差在Frobenius范数。据我们所知，这是第一个确定性的多项式时间算法，这个因素是有界的多项式在$k$。我们的推导和分析的算法是基于去随机化Zamarashkin和Osinsky最近存在的结果。为了说明我们的新的列子集选择算法的多功能性，低多线性秩张量近似的扩展。
Sublinear randomized algorithms for skeleton decompositions
令$A$是$n$乘$n$矩阵。骨架分解是$CUR$形式的任何因式分解，其中$C$包括$A$的列，$R$包括$A$的行。在本文中，我们考虑均匀采样$ł\simeq k \log n$的行和列，以产生一个骨架分解。该算法在$O(ł^3)$时间内运行，并具有以下错误保证。令$\norm{\cdot}$表示2-范数。假设$A\simeq X B Y^T$，其中$X,Y$各自具有$k$正交归一化列。假设$X,Y$是不相干的，我们表明，以高概率，近似误差$\norm{A-CUR}$将规模与$(n/ł)\norm{A-X B Y^T}$或更好。该算法中的关键步骤涉及正则化。这一步对于非对称$A$是至关重要的，正如经验结果所表明的那样。最后，我们使用我们的证明框架，以直观的方式分析两个现有的算法。
RSVDPACK: An implementation of randomized algorithms for computing the singular value, interpolative, and CUR decompositions of matrices on multi-core and GPU architectures
