S$^3$Attention: Improving Long Sequence Attention with Smoothed Skeleton Sketching
Alibaba Group（阿里巴巴集团）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Central Florida（中佛罗里达大学）；Peking University（北京大学）；Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济与管理学院）；Meta
针对长序列任务中注意力机制二次复杂度高、信息保留与计算削减难平衡的问题，提出S$^3$Attention，通过平滑模块与行列同选矩阵草图实现线性复杂度下降噪，经理论与LRA等实验验证性能优于现有注意力变体。
2024-09-17 cs.CV cs.LG eess.IV
Distributional Drift Detection in Medical Imaging with Sketching and Fine-Tuned Transformer
Department of Neurology, University of Miami, FL USA（迈阿密大学神经病学系）；Department of Computer Science & IDSC, University of Miami, FL USA（迈阿密大学计算机科学与IDSC系）；Georgetown University Medical Center, Washington D.C. USA（乔治城大学医学中心）
本文提出结合数据草图与微调Vision Transformer的方法检测CT医学影像分布漂移，在乳腺X线案例中准确率达99.11%，并对微小噪声高度敏感。
2025-05-09 cs.AI cs.CV cs.LG
Bootstrapping the Operator Norm in High Dimensions: Error Estimation for Covariance Matrices and Sketching
虽然算子（谱）范数是协方差估计中最广泛使用的度量之一，但对该范数中误差的波动知之甚少。具体而言，令$\hatΣ$表示$\mathbb{R}^p$中的$n$观测的样本协方差矩阵，这些观测来自总体矩阵$Σ$，令$T_n=\sqrt{n}\|\hatΣ-Σ\|_{\text{op}}$。在$Σ$的本征值具有$λ_j(Σ)\asymp j^{-2β}$形式的衰减曲线的设置中，我们分析了自举可以近似$T_n$的分布。我们的主要结果表明，对于Kolmogorov度量，对于$\log(n)$的因子，Bootstrap可以以无量纲率$n^{-\frac{β-1/2}{6β+4}}$逼近$T_n$的分布.也许令人惊讶的是，这种类型的结果似乎是新的，即使在设置$p< n$。更一般地说，我们讨论了这个结果超出协方差阵的后果，并展示了如何可以使用自举来估计随机数值线性代数（RandNLA）的草图算法的错误。这些想法的说明也提供了一个气候数据的例子。
2019-09-13 cs.NA math.NA math.ST
Sketching low-rank matrices with a shared column space by convex programming
针对共享公共列空间的多矩阵含噪线性测量问题，提出由最大块 Frobenius 范数与张量范数联合正则化的凸估计器，并以 SDP 和 ADMM 实现，证明联合恢复相对独立恢复具有显著增益。
2023-06-05 math.ST stat.TH
Algorithmic Gaussianization through Sketching: Converting Data into Sub-gaussian Random Designs
University of Michigan（密歇根大学）
本文提出通过平均化高斯化数据分布的算法框架，利用LESS嵌入高效构建与次高斯随机设计几乎不可区分的数据草图，使次高斯设计的强统计保证能直接应用于草图框架。
2023-07-27 cs.DS cs.LG math.ST
Matrix sketching for supervised classification with imbalanced classes
University of Bologna（博洛尼亚大学）
矩阵素描是近年来发展起来的一种数据压缩技术。一个输入矩阵A可以用一个较小的矩阵B有效地近似，这样B就可以保持A的大部分属性，直到某个保证的近似比。这样，对大数据集的数值运算变得更快。草图绘制算法通常使用随机投影来压缩原始数据集，并且这种随机生成过程使它们适合于统计分析。在多元线性回归的背景下，草绘算法的统计特性已经被广泛研究。在本文中，我们提出了矩阵素描作为一种工具，用于重新平衡类的监督分类与不平衡类的大小。事实上，类不平衡可能导致分类性能不佳，尤其是对于少数类而言。
2019-12-02 cs.LG stat.ME stat.ML
Revisiting Matrix Sketching in Linear Bandits: Achieving Sublinear Regret via Dyadic Block Sketching
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）
本文提出双尺度块压缩方法，通过动态调整压缩大小，在无需先验知识的情况下实现线性老虎机的亚线性遗憾界。
2026-02-27 cs.LG stat.ML
Unsupervised Anomaly Detection on Temporal Multiway Data
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
时间异常检测寻找时空上的不规则性。到目前为止，所采用的无监督时态模型通常工作在特征向量序列上，而很少工作在时态多路数据上。我们的研究集中在双向数据上，其中在每个时间步观察到一个数据矩阵。利用矩阵原生递归神经网络的最新进展，我们研究了用于时间多路异常检测的数据排列和无监督训练策略。这些包括压缩-解压缩、编码-预测和时间数据差分。我们进行了一系列全面的实验，以评估合成数据、移动数字和ECG记录在各种设置下的模型行为。我们发现了以前没有报道过的有趣现象。其中包括紧凑矩阵LSTM几乎完美地压缩噪声数据的能力，使得压缩-解压缩数据的策略不适合噪声下的异常检测。此外，长序列的向量可以直接通过矩阵模型来处理，该模型允许非常长的上下文和多步预测。总体而言，编码预测策略在所进行的实验中对于矩阵LSTM非常有效，这要归功于其紧凑性和更好地适应数据动态。
2020-09-20 cs.AI cs.LG
Localized sketching for matrix multiplication and ridge regression
我们考虑了草图近似矩阵乘法和岭回归在新的设置本地化草图，在任何给定的点，只有部分的数据矩阵是可用的。这对应于草绘矩阵上的块对角结构。我们发现，在温和的条件下，块对角素描矩阵只需要O（稳定秩/ ε^2）和$O( stat. dim. ε)$总样本复杂度矩阵乘法和岭回归，分别。这与使用全局草绘矩阵获得的最新边界相匹配。所考虑的草图绘制的本地化性质允许数据矩阵的不同部分被独立地绘制，因此更适合于分布式和流式设置中的计算，并且导致更小的存储器和计算占用空间。
2020-03-20 cs.IT cs.LG eess.SP
Even Simpler Deterministic Matrix Sketching
Pinecone（派恩科恩）
本文给出了一个用于矩阵流绘制的频繁方向的一行证明。更简单的证明来自于描绘矩阵流的协方差，而不是矩阵流本身。
2022-02-03 cs.DS cs.LG
What is a Sketch-and-Precondition Derivation for Low-Rank Approximation? Inverse Power Error or Inverse Power Estimation?
University of Chicago（芝加哥大学）；Northwestern University（西北大学）
针对低秩逼近中草图-预处理框架缺失的问题，提出误差幂草图逆迭代（EPSI）方法，通过草图牛顿迭代实现收敛速度随草图大小线性提升的理论保证。
2025-05-22 cs.CC cs.LG cs.NA
An Efficient One-Class SVM for Anomaly Detection in the Internet of Things
Columbia University（哥伦比亚大学）；University of Chicago（芝加哥大学）
不安全的物联网（IoT）设备对关键基础设施和整个互联网构成了重大威胁;检测这些设备的异常行为仍然至关重要，但对这些类别的设备进行快速，高效，准确的异常检测（也称为“新奇检测”）仍然难以实现。单类支持向量机（OCSVM）是机器学习中用于新颖性检测（或异常检测）的最先进方法之一，这是由于其在拟合{正常}和{新颖}数据之间的复杂非线性边界方面的灵活性。灵巧家庭和城市中的物联网设备以及连接的建筑基础设施为OCSVM的新颖性检测提供了一个引人注目的用例，因为这些环境中可能出现各种设备，流量模式和异常类型。因此，以前的许多研究都将OCSVM应用于物联网的新颖性检测。不幸的是，传统的OCSVM引入了显著的存储器需求，并且随着训练集的大小的增长，在预测时间上计算昂贵，需要与训练点的数量成比例的空间和时间。这些内存和计算限制在实际的现实世界部署中可能是禁止的，其中在拟合复杂的决策边界时，通常需要大型训练集来开发准确的模型。在这项工作中，我们将所谓的Nyström和（高斯）草图方法扩展到OCSVM，通过将这些方法与聚类和高斯混合模型相结合，在各种物联网设置中实现预测时间和空间的显着加速，而不会牺牲检测精度。
2021-04-22 cs.LG cs.NI
Scalable computation of prediction intervals for neural networks via matrix sketching
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
解释现代神经网络预测中的不确定性在许多领域都是一项具有挑战性的重要任务。用于不确定性估计的现有算法需要修改模型架构和训练过程（例如，贝叶斯神经网络）或显著增加预测的计算成本，例如基于集成的方法。这项工作提出了一种新的算法，可以应用于一个给定的训练神经网络，并产生近似的预测区间。该方法基于统计学中经典的delta方法，但通过使用矩阵草图来近似雅可比矩阵，从而提高了计算效率。由此产生的算法是有竞争力的国家的最先进的方法，从UCI存储库的各种回归数据集上构建预测区间。
2022-05-06 cs.LG stat.ML
Neighborhood density estimation using space-partitioning based hashing schemes
DEPARTMENT OF ELECTRICAL ENGINEERING（电气工程系）；INDIAN INSTITUTE OF TECHNOLOGY DELHI（印度理工学院德里）
本文提出FiRE/FiRE.1和Enhash，分别用于大规模单细胞RNA测序数据中的异常检测和流数据中的概念漂移检测。
2025-12-02 cs.LG
Sketching for Sequential Change-Point Detection
Georgia Institute of Technology（佐治亚理工学院）；University of Oxford（牛津大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们研究了基于线性草图的高维信号向量广义似然比（GLR）统计的顺序变点检测程序。GLR统计允许未知的变更后平均值，代表异常或新颖性。我们考虑固定和随时间变化的预测，推导出理论近似的两个基本性能指标：平均运行长度（ARL）和预期的检测延迟（EDD），这些近似值被证明是高度准确的数值模拟。我们进一步表征的相对性能测量的草图过程相比，没有草图，并表明，可以有一点性能损失时，信号强度是足够大的，足够数量的草图被使用。最后，我们展示了良好的性能，使用模拟和真实数据的例子，在电力网络中的太阳耀斑检测和故障检测的草图程序。
2018-04-30 cs.LG stat.ML
Matrix Profile for Time-Series Anomaly Detection: A Reproducible Open-Source Benchmark on TSB-AD
本文提出一种可重复的开源基准TSB-AD，结合多维聚合、高效kNN检索和移动平均后处理，提升时间序列异常检测的可重复性和性能。
2026-04-24 cs.LG
Anomaly Detection and Localization based on Double Kernelized Scoring and Matrix Kernels
Deloitte Touche Tohmatsu LLC（德勤东京有限公司）
异常检测对于由多个设备、网络和/或工厂组成的大型系统的正确和安全操作是必要的。这些系统通常由一对多变量数据集表征。为了检测这样的系统中的异常并定位与异常相关联的元素，将需要估计量化整个系统及其元素的危险性的分数。然而，通过考虑彼此强烈相关的元素之间的关系的变化来估计这样的分数并非微不足道。此外，有必要从单个框架估计整个系统及其元素的分数，以便识别用于定位与异常相关联的元素的分数之间的关系。在这里，我们开发了一种新的方法来同时量化整个系统及其元素的复杂性。本文件有三个目的。第一，提出了一种新的异常检测方法：双重核化评分（DKS）。DKS是用于整个系统异常评分和元素异常评分的统一框架。因此，DKS允许同时进行1）整个系统的异常检测和2）用于识别导致系统异常的故障元件的定位。第二个目的是提出一种新的核函数：矩阵核。矩阵核定义在可能具有不同维度的一般矩阵之间，允许在元素数量随时间变化的系统上进行异常检测。第三个目的是通过实验证明所提出的方法的有效性。我们评估所提出的方法与合成和实时的序列数据。结果表明，DKS能够检测异常并成功定位与之相关的元素。
2020-12-15 cs.LG
Co-Occuring Directions Sketching for Approximate Matrix Multiply
IBM T.J Watson Research Center（IBM T.J. 沃森研究中心）
在流模型中，我们引入了一种近似矩阵积（AMM）的确定性算法--同现方向草图。我们发现，共生方向实现了更好的误差界AMM比其他随机和确定性的方法AMM。同现方向给出了矩阵乘积的最优低秩近似的$1 + ε$ -近似。经验上，我们的算法优于竞争的方法AMM，一个小的草图大小。我们实证验证我们的理论研究结果和算法
2016-10-25 cs.LG
Anomaly Detection on IT Operation Series via Online Matrix Profile
Xiamen University（厦门大学）
时间序列的异常检测是IT系统关键性能指标（KPI）监控的一项基本任务。文献中的许多现有方法表现出良好的性能，同时需要大量的培训资源。在本文中，在线矩阵配置文件，它不需要训练，提出了解决这个问题。通过参考最接近当前子序列的过去子序列来检测异常。基于在线矩阵配置文件引入了距离显著性，当异常发生时，该配置文件显示出突出的模式。另一种无训练方法光谱残差被集成到我们的方法中，以进一步提高检测精度。此外，所提出的方法是加快了至少四倍的长时间序列的引入缓存策略。与现有方法相比，在线矩阵配置文件在准确性和效率之间做出了很好的权衡。更重要的是，它对各种类型的时间序列都是通用的，因为它不受任何训练模型的约束。
2021-09-06 cs.LG
Non-PSD Matrix Sketching with Applications to Regression and Optimization
Carnegie Mellon University（卡内基梅隆大学）；University of Queensland（昆士兰大学）
各种降维技术已被应用于涉及大型矩阵的计算。底层矩阵被随机压缩成一个较小的矩阵，同时近似保留其许多原始属性。因此，许多昂贵的计算可以在小矩阵上执行。半正定（PSD）矩阵的绘制是很好理解的，但是有许多应用中相关矩阵不是PSD，包括非凸优化中的Hessian矩阵和协方差矩阵。在本文中，我们提出了新的非PSD矩阵的降维方法，以及他们的"平方根”，其中涉及矩阵的复杂项目。我们展示了如何将这些技术用于多个下游任务。特别是，我们将展示如何使用所提出的矩阵草图技术的凸和非凸优化，$\ell_p$ -回归每$1 \leq p \leq \infty$，和向量矩阵向量查询。
2021-06-16 cs.LG cs.NA math.NA
Matrix Sketching for Secure Collaborative Machine Learning
Stevens Institute of Technology（史蒂文斯理工学院）
协作学习允许参与者在没有数据共享的情况下联合训练模型。为了更新模型参数，中央服务器向客户端广播模型参数，并且客户端向服务器发送诸如梯度的更新指示。虽然数据不会离开客户端设备，但所传送的梯度和参数将泄露客户端的隐私。从梯度和参数推断客户端隐私的攻击已经由先前的工作开发。诸如dropout和差分隐私之类的简单防御要么无法防御攻击，要么严重损害测试准确性。我们提出了一个实用的防御，我们称之为双盲协作学习（DBCL）。高级思想是将随机矩阵草图应用于参数（又名权重），并在每次迭代后重新生成随机草图。DBCL阻止客户端进行基于梯度的隐私推断，这是最有效的攻击。DBCL之所以有效，是因为从攻击者的角度来看，草图实际上是随机噪声，其权重超过了信号。值得注意的是，DBCL不会大幅增加计算和通信成本，并且根本不会损害测试准确性。
2021-07-08 cs.CR cs.LG stat.ML
Efficient Linear Bandits through Matrix Sketching
Università degli Studi di Milano（米兰大学）
我们证明了两个流行的线性上下文强盗算法，OFUL和汤普森采样，可以有效地使用频繁的方向，确定性的在线素描技术。更确切地说，我们表明，草图的大小$m$允许$\mathcal{O}(md)$更新时间为两种算法，而不是$Ω(d^2)$所需的非草图版本一般（其中$d$是上下文向量的尺寸）。这种计算加速伴随着OFUL的$(1+\varepsilon_m)^{3/2}d\sqrt{T}$阶和Thompson采样的$\big((1+\varepsilon_m)d\big)^{3/2}\sqrt{T}$阶的遗憾界，其中$\varepsilon_m$由草图未覆盖的尾部特征值之和限定。特别是，当选定的上下文跨越一个子空间的维度最多$m$，我们的算法有一个遗憾的边界匹配，他们的速度较慢，非草图的同行。真实世界数据集上的实验证实了我们的理论结果。
2022-03-21 cs.LG stat.ML
On the Noise Sensitivity of the Randomized SVD
本文在尖峰随机矩阵模型下分析随机化 SVD 的噪声敏感性，揭示其奇异值呈现类似 BBP 的相变现象，并证明其在信号检测与估计上优于朴素草图 PCA，同时推导出适用于矩阵去噪的最优奇异值收缩器。
2023-07-06 cs.IT cs.NA math.IT
Effective sketching methods for value function approximation
Indiana University Bloomington（印第安纳大学伯明顿分校）
高维表示，如径向基函数网络或瓦片编码，是强化学习中策略评估的常见选择。然而，使用这种高维表示的学习可能是昂贵的，特别是对于矩阵方法，例如近似矩阵步长的最小二乘时间差学习或拟牛顿方法。在这项工作中，我们将探讨这两类算法的草图的效用。我们强调直接绘制高维特征的问题，这可能会导致显着的偏见。作为一种补救措施，我们演示了如何使用草图更节省，只有一个左侧的草图，仍然可以使显着的计算增益和使用这些基于矩阵的学习算法，是不太敏感的参数。我们凭经验调查这些算法，在四个领域的各种表示。我们的目的是提供在实践中有效使用素描的见解。
2017-08-03 cs.LG
Seeing the Forest from the Trees in Two Looks: Matrix Sketching by Cascaded Bilateral Sampling
Drexel University（德雷塞尔大学）；Fudan University（复旦大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）
矩阵素描的目的是寻找一个矩阵的密切近似因子的维数小得多，这在优化和机器学习有重要的应用。给定一个大小为m × n的矩阵A，现有的随机算法需要O（m * n）的时间和空间来获得它的低秩分解。虽然非常有用，但存储或操作整个矩阵的需要使其成为真正大型和密集输入的计算瓶颈。我们是否可以通过只访问一小部分行和列，而不知道其余数据的情况下，以O（m + n）的代价绘制一个m × n矩阵？在本文中，我们提出了级联双边采样（CABS）框架来解决这个问题。我们从展示双边矩阵草图的近似质量如何取决于采样的编码能力开始。特别地，采样的行和列应对应于地面实况分解中的码向量。出于这种分析，我们建议首先使用简单的随机抽样生成一个导频草图，然后追求更先进的，“后续”的导频草图的因素，寻求最大的编码功率的采样。在这种级联过程中，近似质量的提高被证明是由后续采样步骤中的编码功率的提高所引起的，从而从理论上保证了算法的提升特性。在计算上，我们的框架只需要线性的时间和空间，同时它的性能可以与消耗二次资源的最先进算法的质量相媲美。基准数据的实证评估充分证明了我们的方法在大规模矩阵素描和相关领域的潜力。
2016-07-27 cs.LG
Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；ICSI（国际计算机科学研究所）
在二阶优化中，一个潜在的瓶颈可能是在每次迭代时计算优化函数的黑塞矩阵。随机草图已成为一种强大的技术，用于构建估计的海森，可用于执行近似牛顿步骤。这涉及乘以随机草图绘制矩阵，这引入了草图绘制的计算成本与优化算法的收敛速度之间的折衷。一个理论上理想的，但实际上太昂贵的选择是使用一个密集的高斯草图矩阵，它产生无偏估计的确切牛顿步骤，并提供强大的问题无关的收敛保证。我们表明，高斯草图矩阵可以大大稀疏，显着降低计算成本的草图，而不会影响其收敛性能。这种方法被称为Newton-LESS，基于最近引入的草图技术：LESS分数稀疏（LESS）嵌入。我们证明了牛顿-LESS享有几乎相同的问题独立的局部收敛速度高斯嵌入，不只是常数的因素，但甚至下降到低阶的条款，为一大类的优化任务。特别是，这导致一个新的国家的最先进的收敛结果的迭代最小二乘求解器。最后，我们扩展LESS嵌入，包括均匀稀疏的随机符号矩阵，可以有效地实现，并在数值实验中表现良好。
2021-07-15 cs.DS cs.LG math.OC
Optimal Matrix Sketching over Sliding Windows
Renmin University of China（中国人民大学）；Gaoling School of Artificial Intelligence（高瓴人工智能学院）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））；Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）
本文提出DS-FD算法，在滑动窗口上实现矩阵素描的最优O(d/ε)空间界，并给出多种窗口模型的匹配上下界，通过实验验证了其正确性与有效性。
2024-11-05 cs.DB cs.DS cs.LG
Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Alexa AI（亚马逊 Alexa 人工智能）
由于自注意力模块的二次空间复杂度和时间复杂度，基于变换的模型在处理长序列时效率不高。为了解决这个问题，Linformer和Informer分别通过低维投影和行选择将二次复杂度降低到线性（模对数因子）。这两个模型是内在联系的，为了理解它们的联系，我们引入了矩阵素描的理论框架。在理论分析的基础上，提出了Skeinformer算法，通过列采样、自适应行归一化和导频采样重用三个部分，进一步提高了自注意力矩阵逼近的精度。长距离竞技场（LRA）基准上的实验表明，我们的方法优于替代品，具有一贯较小的时间/空间足迹。
2021-12-10 cs.CL cs.LG stat.ML
Sketching Algorithms and Lower Bounds for Ridge Regression
CMU（卡内基梅隆大学）
我们给出了一个基于草图的迭代算法，计算$1+\varepsilon$近似解的岭回归问题$\min_x \|Ax-b\|_2^2 +λ\|x\|_2^2$，其中$A \in R^{n \times d}$与$d \ge n$。我们的算法，对于一个常数的迭代次数（需要一个常数的输入），改进了早期的工作（乔杜里等人）。通过要求草绘矩阵仅具有依赖于$\varepsilon$的较弱的近似矩阵乘法（AMM）保证以及恒定子空间嵌入保证。早期的工作要求草图矩阵具有依赖于$\varepsilon$的子空间嵌入保证。例如，为了在$1$迭代中产生$1+\varepsilon$近似解，这需要$2$通过输入，我们的算法要求OSNAP嵌入具有稀疏参数$s = O(\log(n))$的$m= O(nσ^2/λ\varepsilon)$行，而Chowdhury等人的早期算法具有相同数量的OSNAP行需要稀疏$s = O(\sqrt{σ^2/λ\varepsilon} \cdot \log(n))$，其中$σ= \opnorm{A}$是矩阵$A$的谱范数。我们还表明，该算法可以用来给更快的算法核岭回归。最后，我们表明，我们的算法所需的草图大小基本上是最佳的自然框架的算法岭回归证明下界不经意的草图矩阵AMM。AMM的草图大小下限可能是独立的兴趣。
2022-06-16 cs.DS cs.LG
Fast Second-Order Online Kernel Learning through Incremental Matrix Sketching and Decomposition
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）
针对现有二阶在线核学习时间复杂度高、缺乏增量更新导致在流式场景下效率与鲁棒性不足的问题，提出基于增量矩阵概要与分解的FORKS方法，在保持对数后悔界的同时实现线性时间复杂度，兼具高效性与抗攻击鲁棒性。
2025-06-16 cs.LG
Effective and Sparse Count-Sketch via k-means clustering
Count-sketch是一种流行的矩阵草图绘制算法，它可以在O（nnz（X））时间内生成输入数据矩阵X的草图，其中nnz（X）表示X中非零元素的数量。草图矩阵将比X小得多，同时保留其大部分属性。因此，计数草图被广泛用于解决机器学习中的高维挑战。但是，计数草图有两个主要的局限性：（1）计数草图所使用的草图矩阵是随机生成的，没有考虑X的任何内在数据属性。这种数据无关的矩阵草图绘制方法可能会产生一个坏的草图矩阵，这将导致后续机器学习任务（例如分类）的准确性低;（2）对于高度稀疏的输入数据，计数草图可能会产生一个密集的草图数据矩阵。这种密集的草图矩阵可能会使后续的机器学习任务在计算上比在原始稀疏数据X上更昂贵。为了解决这两个局限性，我们首先通过分析计数草图方法的重建误差来展示计数草图和k均值聚类之间的有趣联系。在此基础上，提出了利用k-均值聚类算法获得低维草图矩阵的方法，以减小计数草图的重建误差。此外，我们建议解决k均值聚类使用梯度下降与-L1球投影产生一个稀疏的草图矩阵。基于六个真实分类数据集的实验结果表明，该方法比传统的count-sketch算法和其他常用的矩阵绘制算法具有更高的准确率。我们的研究结果还表明，我们的方法产生一个稀疏的草图数据矩阵比其他方法，因此，我们的方法的预测成本将小于其他矩阵草图方法。
2020-11-26 cs.LG
Generalization Bounds for Magnitude-Based Pruning via Sparse Matrix Sketching
Georgia Institute of Technology（佐治亚理工学院）
本文针对过参数化神经网络，提出基于稀疏矩阵素描的幅值剪枝压缩算法，推导出依赖剪枝近似误差和参数数量的新泛化界，并扩展至迭代剪枝，在MNIST和CIFAR10上验证有效。
2023-06-24 cs.LG
Sketching Merge Trees for Scientific Data Visualization
University of Utah（犹他大学）；Michigan State University（密歇根州立大学）
合并树是一种拓扑描述符，它记录了标量场子级集合之间的连通性。它们是可视化中使用最广泛的拓扑工具之一。在本文中，我们感兴趣的是绘制一组合并树。也就是说，给定一个大的合并树集合T，我们希望找到一个小得多的基集合S，使得T中的每棵树都可以从S中的合并树的线性组合中近似重构。一组高维向量可以通过矩阵草图技术（如主成分分析和列子集选择）绘制。然而，到目前为止，拓扑描述符，如合并树还没有被称为是草图。我们开发了一个框架，结合Gromov-Wasserstein概率匹配与矩阵素描技术的合并树。我们展示了我们的框架在绘制合并树，所产生的随时间变化的科学模拟的应用。具体来说，我们的框架获得了一个更小的表示一个大的合并树的下游分析和可视化。它被证明是有用的，在确定良好的代表和离群值相对于一个选定的基础。最后，我们的工作显示了一个很有前途的方向，利用随机线性代数在科学可视化。
2021-05-30 cs.CG cs.DS cs.LG
Sketching Curvature for Efficient Out-of-Distribution Detection for Deep Neural Networks
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）
为了在实时决策系统的感知管道内安全地部署深度神经网络（DNN），需要能够有效且准确地检测训练分布外（OoD）输入的保障措施。基于最近利用DNN的局部曲率来推理认知不确定性的工作，我们提出了OoD检测的草图曲率（SCOD），这是一个与架构无关的框架，用于为任何经过训练的DNN提供任务相关的认知不确定性估计。离线时，给定一个训练模型及其训练数据，SCOD使用矩阵草图工具来可追踪地计算Fisher信息矩阵的低秩近似，该矩阵表征权重空间中的哪些方向对训练数据的预测最有影响。在线上，我们通过测量与这些方向正交的扰动在新的测试输入下可以改变多少预测来估计不确定性。我们将SCOD应用于不同架构的预训练网络的几个任务，从回归到分类。我们证明，SCOD实现了相当或更好的OoD检测性能，相对于现有的基线具有较低的计算负担。
2021-02-24 cs.LG
Fast Graph Neural Tangent Kernel via Kronecker Sketching
Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（Adobe 研究院）；Princeton University（普林斯顿大学）；Duke University（杜克大学）
许多深度学习任务必须处理图形（例如，蛋白质结构、社交网络、源代码抽象语法树）。由于这些任务的重要性，人们转向图神经网络（GNNs）作为在图上学习的实际方法。GNN由于其令人信服的性能而得到广泛应用。不幸的是，使用GNN的一个主要障碍是GNN需要大量的时间和资源来进行训练。最近，一种用于在图数据上学习的新方法是图神经切线核（GNTK）[Du，Hou，Salakhutdinov，Poczos，Wang和Xu 19]。GNTK是神经切线核（NTK）[Jacot，Gabriel和Hongler 18]（一种核方法）在图形数据上的应用，解决NTK回归相当于使用梯度下降来训练无限宽的神经网络。使用GNTK的主要好处是，与任何内核方法类似，GNTK的参数可以在单个步骤中直接求解。这可以避免耗时的梯度下降。同时，草图已经越来越多地用于加速各种优化问题，包括解决核回归。给定$n$图的核矩阵，在求解核回归时使用草图法，可将计算时间减少到$o(n^3)$。但不幸的是，这样的方法通常需要事先对核矩阵有广泛的了解，而在GNTK的情况下，我们发现核矩阵的构造已经是$O(n^2N^4)$了，假设每个图都有$N$节点。当图$N$的大小增加时，核矩阵构造时间可能是主要的性能瓶颈。因此，一个自然的问题是，我们是否可以加快内核矩阵的构造，以改善GNTK回归的端到端运行时间。本文首次提出了在$o(n^2N^3)$运行时构…
2021-12-04 cs.LG
Distributed Least Squares in Small Space via Sketching and Bias Reduction
University of Michigan（密歇根大学）；University of Pennsylvania（宾夕法尼亚大学）
针对矩阵草图在最小二乘估计中的根本限制，提出通过最小化估计量偏差的稀疏草图方法，以最优空间和两遍数据扫描获得近无偏估计，并改进分布式平均算法。
2024-05-08 cs.DS cs.LG cs.NA
Sketching Transformed Matrices with Applications to Natural Language Processing
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Washington（华盛顿大学）
假设我们给定一个大矩阵$A=(a_{i,j})$，它不能存储在内存中，但可以存储在磁盘中或以数据流的形式呈现。然而，我们需要计算按条目变换的矩阵的矩阵分解，对于某些函数$f$的$f(A):=(f(a_{i,j}))$。有没有可能以节省空间的方式来实现？许多机器学习应用确实需要处理这样的大型变换矩阵，例如NLP中的词嵌入方法需要与逐点互信息（PMI）矩阵一起工作，而逐项变换使得难以应用已知的线性代数工具。现有的方法，这个问题要么需要存储整个矩阵，并执行条目明智的转换后，这是空间消耗或不可行的，或需要重新设计的学习方法，这是特定于应用程序，需要大量的改造。在本文中，我们首先提出了一个空间有效的草图算法，用于计算一个给定的小矩阵与变换矩阵的乘积。它适用于具有可证明的小误差界的一般变换族，因此可以用作下游学习任务中的原语。然后，我们将这个原语应用到一个具体的应用：低秩近似。我们表明，我们的方法获得小的误差，是有效的，在空间和时间。我们补充我们的理论结果与合成和真实数据的实验。
2020-02-23 cs.CL cs.DS cs.LG
Fast Generalized Matrix Regression with Applications in Machine Learning
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Stevens Institute of Technology（斯蒂文斯理工学院）；Peking University（北京大学）；Hong Kong University of Science and Technology（香港科技大学）
快速矩阵算法已成为大数据时代机器学习的基本工具。广义矩阵回归问题广泛应用于CUR分解、核矩阵逼近、流奇异值分解等矩阵逼近中，本文提出了一种快速广义矩阵回归算法（Fast GMR），该算法利用草图技术有效地解决了GMR问题。给定误差参数$0<ε<1$，快速GMR算法可以实现$(1+ε)$相对误差，对于大组GMR问题，草图尺寸为$\cO(ε^{-1/2})$阶。本文将快速GMR算法应用于对称正定矩阵逼近和单遍奇异值分解，取得了比传统算法更好的性能。我们的实证研究也验证了我们提出的算法的有效性和效率。
2019-12-27 cs.LG stat.ML
Sketching for First Order Method: Efficient Algorithm for Low-Bandwidth Channel and Vulnerability
Adobe Research（奥多比研究院）；Yale University（耶鲁大学）；Alibaba Inc.（阿里巴巴集团）；MIT（麻省理工学院）
本文提出面向分布式一阶优化的随机 sketching 通信压缩框架，在保证收敛的同时降低联邦学习带宽，并揭示其梯度泄漏风险，进而通过加噪实现差分隐私。
2023-06-06 cs.CR cs.LG
Second-Order Kernel Online Convex Optimization with Adaptive Sketching
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧研究中心）
核在线凸优化（Kernel Online Convex Optimization，KOCO）是一个结合了非参数核模型的表达能力和在线学习的后悔保证的框架。一阶KOCO方法，如函数梯度下降，每次迭代只需要$\mathcal{O}(t)$时间和空间，并且，当损失的唯一信息是它们的凸性时，实现极小极大最优$\mathcal{O}(\sqrt{T})$遗憾。尽管如此，核问题中的许多常见损失，如平方损失、逻辑损失和平方铰链损失，都具有可以利用的更强的曲率。在这种情况下，二阶KOCO方法实现了$\mathcal{O}(\log(\text{Det}(\boldsymbol{K})))$遗憾，我们将其显示为$\mathcal{O}(d_{\text{eff}}\log T)$，其中$d_{\text{eff}}$是问题的有效维度，通常远小于$\mathcal{O}(\sqrt{T})$。二阶方法的主要缺点是其高得多的$\mathcal{O}(t^2)$空间和时间复杂度。在本文中，我们介绍了核在线牛顿步骤（KONS），一个新的二阶KOCO方法，也实现了$\mathcal{O}(d_{\text{eff}}\log T)$遗憾。为了解决二阶方法的计算复杂性，我们引入了一个新的矩阵素描算法的核心矩阵$\boldsymbol{K}_t$，并表明，对于一个选定的参数$γ\leq 1$，我们的素描KONS减…
2017-06-15 cs.LG stat.ML
Matrix Product Sketching via Coordinated Sampling
New York University（纽约大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对独立计算矩阵草图以近似稀疏矩阵乘积的问题，提出基于共享随机种子的协调采样方法，在理论和实验上均证明其优于经典线性草图方法，在分布式回归和注意力矩阵近似中实现数量级提升。
2025-01-29 cs.DB cs.DS cs.LG
Sequential Low-Rank Change Detection
Georgia Institute of Technology（佐治亚理工学院）；Air Force Research Lab（空军研究实验室）
从高维数据中检测低秩信号的出现是许多应用中出现的重要问题，例如使用传感器的摄像机监视和群体监视。我们考虑一个基于滑动窗口上的样本协方差阵的最大特征值来检测变化的过程。为了实现降维，我们提出了一种基于草图的方法，使用原始高维观测的低维线性草图进行秩变化检测。其前提是当草图矩阵为随机高斯矩阵，且草图向量维数足够大时，这些草图的样本协方差阵的秩以高概率等于原始样本协方差阵的秩。因此，我们可以使用草图的样本协方差阵来检测低秩变化，而不必恢复原始的协方差阵。我们的字符的最大特征值统计的虚警率和预期的检测延迟的性能，并提出了一个有效的在线实现通过子空间跟踪。
2016-10-07 cs.LG math.ST stat.ML
Pruning at Initialization -- A Sketching Perspective
Tel Aviv University（特拉维夫大学）
该研究从草图视角分析线性设置下神经网络初始化剪枝问题，证明稀疏掩码寻找等价于草图问题，理论界定剪枝模型近似误差并支持稀疏网络搜索的数据无关性，还提出数据无关场景下的算法通用改进。
2025-11-11 cs.CV cs.LG
Fast, Scalable, Warm-Start Semidefinite Programming with Spectral Bundling and Sketching
Manning College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对大规模半定规划求解慢且难以利用热启动的问题，提出带草图化的统一谱捆绑（USBS）算法，在保持收敛速度的同时实现高可扩展性，并支持热启动加速，在超大规模实例上实现500倍提速。
2024-02-09 cs.LG math.OC
FLRQ: Faster LLM Quantization with Flexible Low-Rank Matrix Sketching
FLRQ通过灵活的低秩矩阵草图技术，快速确定最优秩并提高LLM量化的效率和质量。
2026-01-09 cs.LG
Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization
Stanford University（斯坦福大学）
提出了一种新的基于草图的求解L2正则化最小二乘问题的随机算法。我们考虑两个最流行的随机嵌入，即高斯嵌入和子采样随机阿达玛变换（SRHT）。虽然目前的最小二乘优化的随机求解器规定的嵌入维数至少大于数据维数，我们表明，嵌入维数可以减少到有效的优化问题的尺寸，并仍然保持高概率收敛保证。在这方面，我们推导出尖锐的矩阵偏差不等式在椭球高斯和SRHT嵌入。具体来说，我们改进了经典高斯浓度界的常数，而对于SRHT嵌入，我们的偏差不等式涉及一种新的技术方法。利用这些界限，我们能够设计一个实用的和自适应的算法，不需要事先知道的有效尺寸。我们的方法从初始嵌入维数等于1开始，经过迭代，嵌入维数最多增加到有效维数。因此，我们的算法提高了最先进的计算复杂性求解正则化最小二乘问题。此外，我们在数值上表明，它优于标准的迭代求解器，如共轭梯度法及其预处理版本在几个标准的机器学习数据集。
2020-10-23 cs.LG stat.ML
Sketching the Heat Kernel: Using Gaussian Processes to Embed Data
本文提出一种基于高斯过程实现热核矩阵描绘的数据嵌入方法，利用Karhunen-Loève展开使嵌入距离近似扩散距离，并增强了对异常值的鲁棒性。
2024-03-01 cs.LG cs.NA math.NA
Gaussian Sketching yields a J-L Lemma in RKHS
Columbia University（哥伦比亚大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文的主要贡献是表明，高斯素描的核-格拉姆矩阵$\boldsymbol K$产生一个运营商，其对应的RKHS $\mathcal H$，是一个\emph{random projection}运营商-在约翰逊-林登施特劳斯（J-L）引理的精神。为了精确，给定具有i.i.d.高斯条目，我们表明，一个草图$Z\boldsymbol{K}$对应于一个特定的随机运营商在（无限维）希尔伯特空间$\mathcal H$映射功能$f \in \mathcal H$到低维空间$\mathbb R^d$，同时保持加权RKHS内积的形式$\langle f, g \rangle_Σ \doteq \langle f, Σ^3 g \rangle_{\mathcal H}$，其中$Σ$是\emph{covariance}运营商引起的数据分布。特别地，在与核PCA（KPCA）或核$k$ -均值（K-$k$-均值）中类似的假设下，特征空间$\{K(\cdot, x): x \in \cal X\}$的良好分离的子集在这样的操作之后保持良好分离，这表明与KPCA和/或K-$k$-均值中类似的益处，尽管随机投影的成本便宜得多。特别是，我们的收敛速度表明，给定大小为$N$的大数据集$\{X_i\}_{i=1}^N$，我们可以在大小为$n\ll N$的小得多的子样本上构建Gram矩阵$\boldsymbol K$，因…
2020-03-12 cs.LG math.PR math.ST
Sketching for Convex and Nonconvex Regularized Least Squares with Sharp Guarantees
Arizona State University（亚利桑那州立大学）
本文提出统一处理凸与非凸 Fréchet 次可微正则项的 SRO 草图算法，建立近似误差与极小极大速率保证，并用迭代版本指数降低误差。
2023-11-03 cs.LG math.OC math.ST
Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
随机投影或草图广泛用于许多算法和学习环境中。在这里，我们研究的性能迭代海森素描最小二乘问题。通过利用和扩展最近的结果从随机矩阵理论的限制矩阵的谱随机投影与子采样随机Hadamard变换，截断Haar矩阵，我们可以研究和比较所得到的算法的精度水平，以前是不可能的。我们的技术贡献包括一个新的公式的逆投影矩阵的二阶矩。我们也找到了简单的渐近最优步长和收敛速度的封闭形式的表达式。这表明Haar矩阵和随机Hadamard矩阵的收敛速度是相同的，并渐近改善高斯随机投影。这些技术可以应用于采用随机化降维的其他算法。
2020-10-23 cs.LG math.OC
Learning-Augmented Sketches for Hessians
Nanyang Technological University（南洋理工大学）；Shanghai University of Finance and Economics（上海财经大学）；Carnegie Mellon University（卡内基梅隆大学）
草图是一种降维技术，其中通过随机选择的线性组合来压缩矩阵。一系列的工作已经展示了如何绘制Hessian来加速二阶方法中的每次迭代，但是这样的草图通常只依赖于手头的矩阵，并且在许多情况下甚至忽略了输入矩阵。相反，人们可以希望学习针对输入矩阵的特定分布进行优化的草图矩阵的分布。我们将展示如何设计经验的草图的Hessian的背景下，二阶方法。我们证明了一个较小的草图尺寸的列空间的高矩阵是可能的，给定的预言，可以预测的指数的行的大杠杆得分。我们为各种数据集设计了这样一个预言机，这导致了研究充分的迭代Hessian草图过程的更快收敛，该过程适用于凸优化中的各种问题。我们经验表明，学到的草图，与他们的“非学习”的同行相比，确实提高了重要问题的近似精度，包括LASSO和矩阵估计与核范数约束。
2021-10-06 cs.DS cs.LG
Bayesian Data Sketching for Varying Coefficient Regression Models
Department of Statistics Texas A & M University College Station, TX 77843-3143, USA（统计学系，德克萨斯农工大学）；Department of Statistics and Applied Probability University of California Santa Barbara Santa Barbara, CA 93106-3110, USA（统计学与应用概率系，加州大学圣巴巴拉分校）；UCLA Department of Biostatistics University of California Los Angeles Los Angeles, CA 90095-1772, USA（生物统计学系，加州大学洛杉矶分校）
本文提出贝叶斯数据草图方法，通过随机线性变换压缩函数型大数据，使变系数回归模型无需新算法或专用硬件即可高效进行完全基于模型的贝叶斯推断。
2025-05-30 cs.LG stat.ME stat.ML
Optimal Sketching for Residual Error Estimation for Matrix and Vector Norms
Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）
该研究针对矩阵与向量范数残差估计问题，提出最优线性概要方法，改进了矩阵Frobenius范数残差估计的上下界，给出向量ℓₚ范数（p>2）残差及稀疏恢复问题的紧界，且算法具备更快的更新速度与实际性能优势。
2024-08-16 cs.DS cs.LG
Near-Optimal Algorithms for Linear Algebra in the Current Matrix Multiplication Time
MIT（麻省理工学院）；IBM Research Almaden（IBM阿尔马登研究院）；CMU（卡内基梅隆大学）
在数值线性代数社区中，有人建议要获得各种问题的近似最优边界，例如秩计算，找到列的最大线性无关子集（基），回归或低秩近似，一种自然的方法是解决Nelson和Nguyen的主要开放问题（FOCS，2013）。这个问题是关于对数因子在现有的不经意子空间嵌入，实现常数因子近似的草图尺寸。我们将展示如何绕过这个问题，使用一个精致的草图技术，并获得这些问题的最佳或接近最佳的界限。我们使用的一个关键技术是基于不确定性原理和提取器的Indyk显式映射，在首先应用已知的不经意子空间嵌入之后，使我们能够快速扩展向量的质量，以便采样现在是有效的。因此，我们避免了对数因子的草图尺寸，这是标准的边界证明，使用矩阵Beschoff不等式。对于秩计算和找到基的基本问题，我们的算法改进了Cheung，Kwok和Lau（JACM，2013），并且分别在常数因子和poly（log log（n））因子内是最优的。此外，对于常因子回归和低秩近似，我们给出了当前矩阵乘法指数的第一个最优算法。
2021-11-02 cs.DS cs.LG
