List-Decodable Mean Estimation in Nearly-PCA Time
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
传统上，稳健统计学的重点是设计容忍少数污染数据的估计。健壮的列表可解码学习专注于更具挑战性的机制，其中仅从感兴趣的分布中提取数据集的少数$\frac 1 k$部分，并且对剩余数据不做任何假设。我们研究的基本任务列表解码的平均估计在高维。我们的主要结果是一个新的列表解码的均值估计算法有界协方差分布的最佳样本复杂度和错误率，运行在近PCA时间。假设$\mathbb{R}^d$上的地面真值分布具有有界协方差，我们的算法输出一个$O(k)$候选均值列表，其中一个在距离真值$O(\sqrt{k})$的范围内。我们的算法在时间$\widetilde{O}(ndk)$中运行所有$k = O(\sqrt{d}) \cup Ω(d)$，其中$n$是数据集的大小。我们还表明，我们的算法的一个变体具有运行时$\widetilde{O}(ndk)$的所有$k$，在恢复保证的$O(\sqrt{\log k})$因素的费用。该运行时间与对数据执行单个$k$-PCA的成本的对数因子相匹配，这是已知算法对于我们问题的（非常）特殊情况的自然瓶颈，例如聚类分离良好的混合物。在我们的工作之前，最快的列表可解码均值估计算法具有运行时$\widetilde{O}(n^2 d k^2)$和$\widetilde{O}(nd k^{\ge 6})$。我们的方法建立在一种新的软降权方法，$\mathsf{SIFT}$，这可以说是…
2020-11-19 cs.DS cs.LG math.OC
Nearly Optimal Sparse Polynomial Multiplication
在稀疏多项式乘法问题中，要求将两个稀疏多项式f和g在时间上相乘，该时间与输入的大小加上输出的大小成比例。多项式分别通过其系数F和G的列表给出。Cole和Hariharan（STOC 02）给出了一个接近最优的算法，当系数为正时，Arnold和Roche（ISSAC 15）设计了一个算法，该算法在时间上与乘积的“结构稀疏性”成比例，即supp（F）+supp（G）。后一种算法在乘积中的系数没有“太多消除”时特别有效。在这项工作中，我们给出了一个干净的，几乎最优的算法稀疏多项式乘法问题。
2020-04-20 cs.DS cs.SC
Nonparametric covariance estimation with bias correction for spatial lattice processes
TU Dortmund University（多特蒙德工业大学）
本文针对$\boldsymbol{Z}^2$上平稳格点过程，推导样本协方差估计量的有限样本偏差公式，提出联合偏差校正的几乎无偏协方差估计量，经模拟和地形数据克里金应用验证了其降低偏差等优势。
2026-10-09 stat.ME
Efficient Structured Matrix Recovery and Nearly-Linear Time Algorithms for Solving Inverse Symmetric $M$-Matrices
在本文中，我们将展示如何恢复一个谱近似的结构矩阵的广泛的类别，只使用一个多对数的自适应线性测量矩阵或其逆。利用这一结果，我们得到更快的算法，各种线性代数问题。主要成果包括：$\bullet$一种近似线性时间算法，用于求解对称$M$ -矩阵的逆，对称矩阵是拉普拉斯算子和SDD矩阵的严格超集。$\bullet$一种用于求解$n \times n$线性系统的$\tilde{O}(n^2)$时间算法，该线性系统是拉普拉斯算子或更一般的SDD矩阵的常数谱近似。$\bullet$一种$\tilde{O}(n^2)$算法，用于仅使用$\tilde{O}(1)$矩阵向量乘以其拉普拉斯矩阵来恢复$n$ -顶点图的谱近似。以前每个问题的最佳结果要么使用少量的查询来精确地恢复矩阵，要么使用少量的$O(n^ω)$运行时间，其中$ω$是矩阵乘法常数。我们通过推广Lee和Sun（2017）最近基于半定规划的线性大小稀疏器结果，并提供受Kapralov，Lee，Musco，Musco和Sidford（2014）的半流稀疏化结果启发的迭代法以及Li，Miller和Peng（2013）的输入稀疏时间线性系统求解结果来实现这些结果。我们希望，通过启动这些自然问题的研究，扩大最近的近线性时间线性系统求解研究的鲁棒性和范围，并提供一般的矩阵恢复机器这项工作可以作为更快的算法的垫脚石。
2018-12-15 cs.DS math.OC math.ST
Nearly Optimal Robust Covariance and Scatter Matrix Estimation Beyond Gaussians
Lucerne School of Computer Science and Information Technology（卢塞恩计算机科学与信息技术学院）
针对强污染高维场景下椭圆分布的协方差/散布矩阵鲁棒估计问题，提出近最优样本复杂度的多项式时间算法，扩展至非高斯分布并构造谱协方差滤波算法，取得与高斯情况相当的误差保证且具独立应用价值。
2025-04-12 cs.DS cs.LG math.ST
De-biasing the Lasso: Optimal Sample Size for Gaussian Designs
在高维空间中进行统计推断是一个突出的挑战。困难的一个主要来源是没有精确的信息分布的高维估计。在这里，我们考虑线性回归的高维制度$p\gg n$。在此上下文中，我们想要对高维参数向量$θ^*\in{\mathbb R}^p$执行推断。在计算单一坐标$θ^*_i$的置信区间方面取得了重要进展。在这些新的方法中，一个关键的作用是发挥一定的去偏估计$\hatθ^{\rm d}$，是从拉索构造。早期的工作建立，在适当的假设下的设计矩阵，$\hatθ^{\rm d}$的坐标是渐近高斯提供$θ^*$是$s_0$ -稀疏与$s_0 = o(\sqrt{n}/\log p )$。条件$s_0 = o(\sqrt{n}/ \log p )$比一致估计的条件$s_0 = o(n/ \log p)$强。我们研究具有已知或未知总体协方差的高斯设计。在协方差已知的情况下，在近似最优条件$s_0 = o(n/ (\log p)^2)$下，证明了去偏估计是渐近高斯的。请注意，即使对于完全已知的协方差，早期的工作也仅限于$s_0 = o(\sqrt{n}/\log p)$。如果总体协方差是未知的，但可以足够好地估计，例如，在与早期工作假设的逆协方差相同的稀疏条件下，同样的结论也成立。对于中间政权，我们描述的稀疏系数和设计的逆协方差之间的权衡。我们进一步讨论了我们的结果高维推理的几个应用。特别是，我们提出了一个新的估…
2016-06-13 math.ST stat.ML stat.TH
Sparse Inverse Covariance Estimation for High-throughput microRNA Sequencing Data in the Poisson Log-Normal Graphical Model
我们介绍了泊松对数正态图模型的计数数据，并提出了一个正态变换的数据从这个分布。该模型和转换对于高通量microRNA（miRNA）测序数据是可行的，并且直接解释了该数据集中存在的已知过度分散关系。该模型允许对网络依赖关系进行建模，并且我们提供了一种算法，该算法利用基于EM的一步结果，以便在确定网络结构时允许可证明的性能增加。该模型被证明提供了一个范围内的网络结构在模拟设置的性能增加。该模型应用于癌症基因组图谱（TCGA）乳腺癌患者的高通量miRNA测序数据。通过选择拟合网络中连接最紧密的miRNA分子，我们发现几乎所有的miRNA分子都参与了乳腺癌的调控。
2017-08-15 stat.AP stat.CO stat.ME
Robust Sub-Gaussian Principal Component Analysis and Width-Independent Schatten Packing
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
我们开发了两种方法用于以下基本统计任务：给定来自$d$维亚高斯分布的$n$样本的$ε$损坏集，返回协方差矩阵的近似顶部特征向量。我们的第一个强大的PCA算法在多项式时间内运行，返回一个$1 - O(ε\logε^{-1})$近似的顶部特征向量，并基于一个简单的迭代滤波方法。我们的第二个，它达到了一个稍微差的近似因子，运行在一个温和的频谱间隙假设下，在接近线性的时间和样本的复杂性。这些是第一个多项式时间算法产生的非平凡的信息的协方差损坏的次高斯分布，而不需要额外的代数结构的时刻。作为一个关键的技术工具，我们开发了$p$范数填充半定规划的第一个宽度无关的求解器，在$O(p\log(\tfrac{nd}ε)ε^{-1})$输入稀疏时间迭代中给出了$(1 + ε)$ -近似解（其中$n$，$d$是问题维数）。
2020-06-12 cs.DS cs.LG math.OC
Information-Theoretic Bounds for Sparse Covariance Estimation in the Vertical-Split Distributed Model
University of Hong Kong（香港大学）
研究垂直分割分布式设置下稀疏协方差矩阵的极小化估计误差，证明稀疏性可降低通信和样本复杂度，并给出匹配的上下界。
2026-09-28 cs.IT math.IT stat.ML
Efficient Parallel Computation of the Estimated Covariance Matrix
信号的估计协方差矩阵的计算是信号处理中的重要构建块，例如，用于谱估计。每个矩阵元素是在滑动窗口上取得的输入矩阵中的元素的乘积之和。任何给定的产品都有多个输出元素，从而使并行化复杂化。我们提出了一种新的算法，达到非常高的并行性，而无需重复乘法或需要核间同步。关键在于为每个内核分配输出矩阵的不同对角段，选择这些对角段使得不需要重复乘法，而只有一个内核写入任何给定的输出矩阵元素，以及利用共享内存（包括L1缓存），从而避免了在内核之间进行相应的笨拙内存分区的需要。在Plurality的HyperCore共享内存众核架构上的实现展示了高达64个核心的线性加速比和128个核心的约85倍加速比。在一个x86系统上，我们证明了新算法已考虑并行加速比，但也表明，新算法的顺序实现优于基线方法的并行实现。在四核x86系统上，新算法比顺序基线快20倍，比基线的并行实现快5倍。
2013-03-10 cs.DM cs.DS
High-Dimensional Robust Mean Estimation in Nearly-Linear Time
Duke University（杜克大学）；University of Southern California（南加州大学）
我们研究了高维均值估计的基本问题，在一个强大的模型中，一个常数部分的样本是adversarially损坏。最近的工作给出了这个问题的第一个多项式时间算法与维数无关的误差保证几个家庭的结构化分布。本文首次给出了高维稳健均值估计的近似线性时间算法。具体来说，我们专注于分布（i）已知的协方差和亚高斯尾，和（ii）未知的有界协方差。给定$\mathbb{R}^d$上的$N$样本，其中的一个$ε$-分数可能被任意损坏，我们的算法在时间上运行$\tilde{O}(Nd) / \mathrm{poly}(ε)$，并在信息理论上最优的误差范围内近似真实均值，直到常数因子。具有可比误差保证的先前鲁棒算法具有$\tildeΩ(N d^2)$的运行时间，对于$ε= Ω(1)$。我们的算法依赖于一个自然的家庭的SDP参数化我们目前的猜测$ν$未知的意思$μ^\star$。我们给出了一个双赢的分析，建立以下：要么一个接近最佳的解决方案，以原始SDP产生一个很好的候选人$μ^\star$-独立于我们目前的猜测$ν$-或双SDP产生一个新的猜测$ν'$，其距离$μ^\star$较小的一个常数因子。我们利用相应的SDPs的特殊结构，表明它们在近线性时间内近似可解。我们的方法是相当普遍的，我们相信它也可以应用到获得近似线性时间算法的其他高维鲁棒学习问题。
2018-11-23 cs.DS cs.LG math.ST
Solving Tall Dense Linear Programs in Nearly Linear Time
本文给出了求解具有$n$约束和$d$变量的线性规划问题的一个$\tilde{O}(nd+d^{3})$时间随机算法。为了获得这一结果，我们提供了一种鲁棒的原始-对偶$\tilde{O}(\sqrt{d})$ -迭代内点方法，该方法受到Lee和Sidford（2014，2019）方法的启发，并展示了如何使用基于重命中器，Johnson-Lindenstrauss引理和逆维护的新数据结构有效地实现这种方法。有趣的是，我们得到这个运行时间，而不使用快速矩阵乘法，因此，除非在线性系统求解的重大进展，我们的运行时间是接近最佳的算法，不使用快速矩阵乘法解决密集的线性程序。
2021-08-22 cs.DS math.OC
Pseudospectral Shattering, the Sign Function, and Diagonalization in Nearly Matrix Multiplication Time
我们展示了一个随机算法，给出了一个矩阵$A\in \mathbb{C}^{n\times n}$与$\|A\|\le 1$和$δ>0$，计算具有高概率的可逆$V$和对角$D$，使$\|A-VDV^{-1}\|\le δ$使用$O(T_{MM}(n)\log^2(n/δ))$算术运算，在有限算术与$O(\log^4(n/δ)\log n)$位的精度。这里，$T_{MM}(n)$是将两个$n\times n$复矩阵在数值上稳定地相乘所需的算术运算的数目，已知对于每个$η>0$满足$T_{MM}(n)=O(n^{ω+η})$，其中$ω$是矩阵乘法的指数（Demmel等人，编号。数学、2007年）。我们的结果显著地改进了用于一般矩阵对角化的$O(n^{10}/δ^2)$算术运算的先前最佳已知的可证明运行时间（Armentano等人，J. Eur.数学会，2018），以及（关于对$n$的依赖性）用于厄米特矩阵的$O(n^3)$算术运算（Dekker和Traub，Lin. Alg.应用程序、1971年）。它是第一个在任何计算模型（实数算术、有理数算术或有限算术）中实现几乎矩阵乘法对角化的算法，从而与其他密集线性代数运算（如求逆和$QR$因式分解）的复杂性相匹配。证据在于两种新的成分。(1)我们发现，添加一个小的复杂的高斯扰动的任何矩阵分裂成$n$小分离的组件其伪谱。特别是，这意味着扰动矩阵的特…
2022-07-20 cs.CC cs.DS cs.NA
Near-Optimal Algorithms for Linear Algebra in the Current Matrix Multiplication Time
MIT（麻省理工学院）；IBM Research Almaden（IBM阿尔马登研究院）；CMU（卡内基梅隆大学）
在数值线性代数社区中，有人建议要获得各种问题的近似最优边界，例如秩计算，找到列的最大线性无关子集（基），回归或低秩近似，一种自然的方法是解决Nelson和Nguyen的主要开放问题（FOCS，2013）。这个问题是关于对数因子在现有的不经意子空间嵌入，实现常数因子近似的草图尺寸。我们将展示如何绕过这个问题，使用一个精致的草图技术，并获得这些问题的最佳或接近最佳的界限。我们使用的一个关键技术是基于不确定性原理和提取器的Indyk显式映射，在首先应用已知的不经意子空间嵌入之后，使我们能够快速扩展向量的质量，以便采样现在是有效的。因此，我们避免了对数因子的草图尺寸，这是标准的边界证明，使用矩阵Beschoff不等式。对于秩计算和找到基的基本问题，我们的算法改进了Cheung，Kwok和Lau（JACM，2013），并且分别在常数因子和poly（log log（n））因子内是最优的。此外，对于常因子回归和低秩近似，我们给出了当前矩阵乘法指数的第一个最优算法。
2021-11-02 cs.DS cs.LG
Invariant subspaces and PCA in nearly matrix multiplication time
本文研究广义特征值问题不变子空间的高精度逼近，借助 Cholesky 稳定性与谱间隔平滑分析，在近矩阵乘法时间内给出 PCA 及随机低秩逼近的位复杂度上界。
2024-10-28 cs.DS cs.NA math.NA
New constructions of RIP matrices with fast multiplication and fewer rows
在压缩感知中，“受限等距属性”（RIP）是从m个线性测量值Φ x有效重构C^d中的近k稀疏向量x的充分条件。期望m较小，并且Φ支持快速矩阵-向量乘法。本文给出了C^{mxd}中RIP矩阵Phi的一个随机构造，它保持了所有k-稀疏向量的L_2范数，其中矩阵与向量的乘积Phix可以在近似线性时间内计算.行数m大约为eps^{-2}klog dlog ^2（klog d）。先前对支持快速矩阵-向量乘法的RIP矩阵（例如采样离散傅立叶矩阵）的构造的分析要求m大大约一个log k因子。支持快速矩阵向量乘法对于重复乘以Φ或Φ ^* 的迭代恢复算法是有用的。此外，我们的结构，以及RIP矩阵和约翰逊-林登施特劳斯引理之间的联系[Krahmer-Ward，SIAM。J. Math. Anal. 2011年]，意味着快速的约翰逊-林登施特劳斯嵌入与渐近更少的行比以前已知的。我们的方法是对以前结构的简单扭曲。我们不是选择嵌入矩阵的行是从一些更大的结构化矩阵（如离散傅立叶变换或随机循环矩阵）中采样的行，而是选择嵌入矩阵的每行是原始矩阵的少量行的线性组合，并将随机符号翻转作为系数。在我们的分析中的主要工具是最近在[Krahmer-Mendelson-Rauhut，arXiv：1207.0235]中某些类型的Rademacher混沌过程的上确界。
2012-11-05 cs.DS cs.IT math.IT
SQ Lower Bounds for Learning Bounded Covariance GMMs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本研究证明学习有界协方差分离高斯混合模型的SQ算法复杂度下界为d^{Ω(1/ε)}，表明现有算法近乎最优。
2023-06-22 cs.DS cs.LG math.ST
Robustness Implies Privacy in Statistical Estimation
本文提出从差分隐私到对抗鲁棒性的黑盒归约，并基于 Sum-of-Squares 高维高斯鲁棒估计器，构造均值与协方差估计的近最优多项式时间私有且鲁棒算法。
2024-06-15 cs.CR cs.DS cs.IT
Product-Aware Deterministic Rounding for Quantized Matrix Multiplication
研究量化矩阵乘法中的确定性乘积感知舍入，提出零空间约简与条件期望补全算法，在动态激活和静态权重场景下降低乘积误差，实验验证优于舍入到最近。
2026-09-29 cs.DS cs.IT cs.LG
Hierarchical Matrix Operations on GPUs: Matrix-Vector Multiplication and Compression
层次矩阵是稠密矩阵的空间和时间有效的表示，其利用不同粒度级别的矩阵块的低秩结构。分层低秩块划分产生的表示可以以接近线性的复杂度存储和操作，而不是稠密矩阵的通常多项式复杂度。在本文中，我们提出了高性能的实现矩阵向量乘法和压缩操作的$\mathcal{H}^2$变体的层次矩阵的GPU。除了分层块划分之外，该变体还利用用于块表示的分层基础，并且导致仅需要$O(n)$存储和用于mat-vec和压缩内核的$O(n)$复杂度的方案。这两个操作是层次矩阵的代数运算的核心，mat-vec是数值算法中普遍存在的运算，而压缩/再压缩表示其他代数运算的关键构建块，这些运算在执行期间需要定期再压缩。开发高效GPU算法的困难主要来自于分层表示的不规则树数据结构，而性能的关键是以允许执行批量线性代数运算的方式在扁平树上重新构建计算。这需要以允许批处理例程使用的方式封送布局不规则的数据。封送操作只涉及指针运算，不涉及数据移动，因此开销最小。我们对来自空间统计的2D和3D问题的协方差矩阵的数值结果显示了我们的例程实现的高效率--对于带宽有限的mat-vec超过550 GB/s，对于P100 Pascal GPU上的压缩超过850 GFLOPS/s的持续性能。
2019-02-05 cs.DS cs.MS
Optimal Deterministic Fully Sparse Matrix Multiplication
该研究提出首个达最优运行时间指数的完全稀疏矩阵乘法确定性算法，将确定性适用的δ_out上限从0.642668提升至1.321334，运行时间接近二次。
2026-08-20 cs.DS
Optimal Robust Linear Regression in Nearly Linear Time
University of California Berkeley（加州大学伯克利分校）；EPFL（洛桑联邦理工学院）
我们研究了高维鲁棒线性回归的问题，其中学习者可以从生成模型$Y = \langle X,w^* \rangle + ε$（$X \in \mathbb{R}^d$和$ε$独立）访问$n$样本，其中样本的$η$部分已被反向损坏。我们提出了这个问题的估计在两个设置：（i）$X$是L4-L2 hypercontractive，$\mathbb{E} [XX^\top]$有界的条件数和$ε$有界的方差和（ii）$X$是次高斯单位二阶矩和$ε$是次高斯。在这两种设置中，我们的估计：（a）实现最佳的样本复杂性和恢复保证高达对数因子和（b）运行在近线性时间（$\tilde{O}(nd / η^6)$）。在我们的工作之前，多项式时间算法实现接近最佳的样本复杂性只知道在设置$X$是高斯与身份协方差和$ε$是高斯，并没有线性时间估计已知的鲁棒线性回归在任何设置。我们的估计器及其分析利用了最近在构建更快的算法以进行稳健的均值估计以改善运行时间方面的发展，并改进了测量参数的浓度以及高斯舍入技术以改善统计样本的复杂性。
2020-07-16 cs.DS cs.LG stat.ML
A fast and slightly robust covariance estimator
针对低污染协方差估计问题，提出一种快速且轻度稳健的算法，在次高斯数据下达到近线性样本复杂度和改进的运行时间，并适用于较小污染区间的重尾数据。
2025-02-28 cs.DS
Matrix Multiplication, Trilinear Decompositions, APA Algorithms, and Summation
矩阵乘法（以下简称MM）是现代计算中最基本的运算之一。其性能的效率取决于各种因素，特别是向量化，数据移动和计算的算术复杂性，但在这里，我们只关注算术成本的研究和这项研究对现代计算的其他领域的影响。在20世纪70年代初，人们预计MM的直接立方时间算法很快就会加速，使MM在近二次算术时间内，有一些牵强的影响。在追求这一目标的主流研究的重点是减少经典指数3的复杂性MM向其下限2，忽略了增长的输入大小需要支持这种减少。最终，新颖的想法和复杂的技术的令人惊讶的组合使指数下降到其基准值约2.38，但支持MM算法改进了简单的一个只有巨大的输入大小。与此同时，线性代数计算的瓶颈已不再是运算的复杂性，而是通信复杂性。这一发展似乎破坏了过去和未来旨在降低MM算术成本的研究的价值，但我们认为应该重新评估这项研究，而不是关闭和遗忘。我们回顾了在这方面的新老工作，在目前的背景下，回顾了一些主要的技术在MM的研究中介绍，讨论其影响的现代理论和实践的计算MM和超越MM，并将这些技术之一，一些简单的算法的内积和求和。
2015-02-05 cs.DS
Clustering Mixtures of Bounded Covariance Distributions Under Optimal Separation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
该研究针对有界协方差分布混合模型的聚类问题，提出近似均匀混合下的首个多项式时间算法，引入聚类细化概念解决一般权重混合的信息论不可行问题，且算法对对抗性离群点具有鲁棒性。
2023-12-19 cs.DS cs.IT cs.LG
Compressed Matrix Multiplication
IT University of Copenhagen（哥本哈根 IT 大学）
针对样本协方差矩阵计算和向量稀疏基变换问题，提出一种基于哈希和多项式压缩的矩阵乘法近似算法，通过FFT实现亚二次时间，并利用纠错码恢复显著项。
2011-11-28 cs.DS cs.NA math.NA
List Decodable Mean Estimation in Nearly Linear Time
从存在离群值的数据中学习是统计学中的一个基本问题。直到最近，没有计算效率高的算法被称为计算的平均值的高维分布在自然的假设下，即使是一小部分的离群值的存在。在本文中，我们认为强大的统计存在压倒性的离群值，其中大部分的数据集是对立的。只有$α< 1/2$部分的“内点”（干净数据），分布的平均值是不可识别的。然而，在他们有影响力的工作中，[CSV 17]引入了一种多项式时间算法，通过输出一个简洁的$O(1/α)$候选解列表来恢复具有有界协方差的分布的平均值，其中一个候选解保证接近真实的分布平均值;纠错码理论中的“列表解码”的直接模拟。在这项工作中，我们开发了一种算法，列表解码平均估计在相同的设置实现了常数的信息理论上最佳的恢复，最佳的样本复杂性，并在近线性的时间多对数因子的维度。我们的概念创新是设计一个下降式算法的非凸景观，迭代删除最小值生成一个简洁的解决方案列表。我们的运行时瓶颈是鞍点优化，我们为此设计了自定义的原始对偶求解器，用于广义包装并覆盖Ky-Fan规范下的SDP，这可能是独立感兴趣的。
2021-01-21 cs.DS
