Learning the Positions in CountSketch
Carnegie Mellon University（卡内基梅隆大学）；Nankai University（南开大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Anhui University（安徽大学）
我们考虑草图绘制算法，其首先通过与随机草图矩阵相乘来快速压缩数据，然后应用草图来快速解决优化问题，例如，低秩近似。在Indyk等人[2019]提出的基于学习的草图范例中，通过选择随机稀疏矩阵来找到草图矩阵，例如，CountSketch，然后通过在训练数据集上运行梯度下降来更新非零条目的值。尽管关于这种范式的工作越来越多，但一个值得注意的遗漏是，以前算法的非零条目的位置是固定的，并且只学习它们的值。在这项工作中，我们提出了第一个学习算法，也优化了非零条目的位置。我们表明，该算法提供了更好的精度低秩近似比以前的工作，并将其应用到其他问题，如$k$ -均值聚类的第一次。我们表明，我们的算法是可证明的更好的尖峰协方差模型和Zipfian矩阵。我们还显示了草图单调性属性相结合的学习草图的重要性。我们的实证结果表明，优化的重要性，不仅是非零条目的值，但它们的位置。
2021-06-07 cs.DS cs.LG cs.NA
Learning the Positions in CountSketch
Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
针对现有基于学习的草图算法仅优化非零元素取值、位置固定的不足，提出同时优化非零元素位置的算法，解决贪心算法训练慢的问题，实现低秩逼近和海森矩阵逼近的高精度快速求解，少量训练数据下仍能显著降误差。
2024-04-11 cs.DS cs.LG
Learning-Augmented Sketches for Hessians
Nanyang Technological University（南洋理工大学）；Shanghai University of Finance and Economics（上海财经大学）；Carnegie Mellon University（卡内基梅隆大学）
草图是一种降维技术，其中通过随机选择的线性组合来压缩矩阵。一系列的工作已经展示了如何绘制Hessian来加速二阶方法中的每次迭代，但是这样的草图通常只依赖于手头的矩阵，并且在许多情况下甚至忽略了输入矩阵。相反，人们可以希望学习针对输入矩阵的特定分布进行优化的草图矩阵的分布。我们将展示如何设计经验的草图的Hessian的背景下，二阶方法。我们证明了一个较小的草图尺寸的列空间的高矩阵是可能的，给定的预言，可以预测的指数的行的大杠杆得分。我们为各种数据集设计了这样一个预言机，这导致了研究充分的迭代Hessian草图过程的更快收敛，该过程适用于凸优化中的各种问题。我们经验表明，学到的草图，与他们的“非学习”的同行相比，确实提高了重要问题的近似精度，包括LASSO和矩阵估计与核范数约束。
2021-10-06 cs.DS cs.LG
A Distance-preserving Matrix Sketch
H2O.ai；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
可视化非常大的矩阵涉及许多棘手的问题。这些问题的各种流行解决方案涉及采样、聚类、投影或特征选择，以减少原始任务的大小和复杂性。这些方法的一个重要方面是如何在减少行和列以适应低维空间之后保持高维空间中的点之间的相对距离。这方面很重要，因为基于错误的视觉推理的结论可能是有害的。基于可视化将不相似点判断为相似点或将相似点判断为不相似点可能导致错误的结论。为了改善这种偏见，并使非常大的数据集的可视化可行，我们引入了两个新的算法，分别选择一个矩形矩阵的行和列的子集。此选择旨在尽可能接近地保留相对距离。我们将我们的矩阵草图与各种人工和真实数据集上的更传统的替代方案进行比较。
2021-11-19 cs.HC cs.LG stat.ML
Compressive Learning for Semi-Parametric Models
University of Edinburgh（爱丁堡大学）；Univ Rennes（雷恩大学）
在压缩学习理论中，不是从输入数据解决统计学习问题，而是在学习之前从数据计算所谓的草图。草图必须捕获足够的信息来直接解决问题，允许从内存中丢弃数据集。这在处理大型数据集时很有用，因为草图的大小不随数据库的大小而缩放。在本文中，我们重新制定了原始的压缩学习框架，以明确地满足半参数模型类。重新表述考虑了半参数模型的固有拓扑结构和结构，为压缩学习算法的开发创造了一条直观的途径。我们将我们开发的框架应用于独立成分分析和子空间聚类的半参数模型，证明了框架的鲁棒性，以明确显示何时可以实现复杂性的压缩。
2019-10-22 cs.LG stat.ML
Sketched Subspace Clustering
University of Minnesota（明尼苏达大学）
每天产生和传播的大量数据在处理方面提出了独特的挑战。聚类，即在不存在地面实况标签的情况下对数据进行分组，是从数据中得出推论的重要工具。子空间聚类（SC）是一个相对较新的方法，能够成功地分类非线性可分离的数据在众多的设置。尽管SC方法具有很高的聚类精度，但在处理大量高维数据时，其计算复杂度非常高。受随机草图降维方法的启发，本文介绍了一种随机方案SC，称为Sketch-SC，适合于大量的高维数据。Sketch-SC通过使用随机投影压缩两个维度的数据矩阵来加速最先进的SC方法的计算量大的部分，从而实现快速准确的大规模SC。对真实数据的性能分析以及广泛的数值测试证实了Sketch-SC的潜力及其相对于最先进的可扩展SC方法的竞争性能。
2018-02-07 cs.LG stat.ML
A sparse negative binomial mixture model for clustering RNA-seq count data
MD Anderson Cancer Center（MD安德森癌症中心）；University of Pittsburgh（匹兹堡大学）；University of Maryland（马里兰大学）
对于现代小n大p数据，变量选择聚类是一项具有挑战性的关键任务。基于稀疏高斯混合模型或稀疏K均值的现有方法提供了连续数据的解决方案。随着RNA-seq技术的流行和缺乏用于聚类的计数数据建模，当前的实践是将计数表达数据归一化为连续测量并应用具有高斯假设的现有模型。在本文中，我们开发了一个负二项混合模型与lasso或融合lasso基因正则化聚类样本（小n）与高维基因特征（大p）。采用期望最大化算法和贝叶斯信息准则进行推理，确定整定参数。使用广泛的模拟和大鼠脑和乳腺癌研究中的两个真实转录组应用将该方法与现有方法进行比较。结果表明，所提出的计数数据模型在聚类精度，特征选择和生物学解释的途径优越的性能。
2020-04-25 cs.LG stat.ML
Scaling Neural Tangent Kernels via Sketching and Random Features
Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Yale University（耶鲁大学）；Tel Aviv University（特拉维夫大学）；KAIST（韩国科学技术院）
神经切线核（NTK）通过梯度下降来表征在最小平方损失下训练的无限宽神经网络的行为。最近的工作还报告说，NTK回归可以优于在小规模数据集上训练的有限宽神经网络。然而，核方法的计算复杂性限制了其在大规模学习任务中的应用。为了加速NTK的学习，我们通过绘制反余弦内核的多项式展开，为NTK设计了一个近输入稀疏时间近似算法：我们的NTK卷积对应物（CNTK）草图可以使用像素数的线性运行时间来转换任何图像。此外，我们证明了NTK矩阵的谱近似保证，通过结合随机特征（基于杠杆分数采样）的反余弦内核与草图算法。我们在各种大规模回归和分类任务上对我们的方法进行了基准测试，并表明在我们的CNTK特征上训练的线性回归器与CIFAR-10数据集上精确CNTK的准确性相匹配，同时实现了150倍的加速。
2021-12-08 cs.CV cs.DS cs.LG
Gaussian Sketching yields a J-L Lemma in RKHS
Columbia University（哥伦比亚大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文的主要贡献是表明，高斯素描的核-格拉姆矩阵$\boldsymbol K$产生一个运营商，其对应的RKHS $\mathcal H$，是一个\emph{random projection}运营商-在约翰逊-林登施特劳斯（J-L）引理的精神。为了精确，给定具有i.i.d.高斯条目，我们表明，一个草图$Z\boldsymbol{K}$对应于一个特定的随机运营商在（无限维）希尔伯特空间$\mathcal H$映射功能$f \in \mathcal H$到低维空间$\mathbb R^d$，同时保持加权RKHS内积的形式$\langle f, g \rangle_Σ \doteq \langle f, Σ^3 g \rangle_{\mathcal H}$，其中$Σ$是\emph{covariance}运营商引起的数据分布。特别地，在与核PCA（KPCA）或核$k$ -均值（K-$k$-均值）中类似的假设下，特征空间$\{K(\cdot, x): x \in \cal X\}$的良好分离的子集在这样的操作之后保持良好分离，这表明与KPCA和/或K-$k$-均值中类似的益处，尽管随机投影的成本便宜得多。特别是，我们的收敛速度表明，给定大小为$N$的大数据集$\{X_i\}_{i=1}^N$，我们可以在大小为$n\ll N$的小得多的子样本上构建Gram矩阵$\boldsymbol K$，因…
2020-03-12 cs.LG math.PR math.ST
Sketching semidefinite programs for faster clustering
The Ohio State University（俄亥俄州立大学）
许多聚类问题都可以用半定规划来解决。在这方面的理论结果经常考虑数据与种植集群和信号强度的概念，这样的半定程序完全恢复种植集群时，信号强度足够大。在实践中，半定程序是出了名的慢，所以加速是受欢迎的。在本文中，我们将展示如何勾画一个流行的半定松弛的图聚类问题称为最小二分法，我们的分析支持一个元索赔的聚类任务是计算负担较轻时，有更多的信号。
2020-08-10 cs.DS cs.IT cs.LG
Efficient Tensor Contraction via Fast Count Sketch
University of Electronic Science and Technology of China (UESTC)（电子科技大学）
草图使用随机哈希函数进行降维和加速。现有的草图绘制方法，如计数草图（CS）、张量草图（TS）和高阶计数草图（HCS），在某些基于张量的应用中，要么精度低，要么速度慢。本文提出的快速计数草图（FCS）将多个基于CS的较短Hash函数应用于输入张量的向量形式，由于输入张量的空间信息可以更充分地保留，因此比TS更准确。当输入张量允许CANDECOMP/PARAFAC分解（CPD）时，FCS通过快速傅立叶变换加速CS和HCS，对于低阶张量，其计算复杂性计算复杂性与TS渐近相同.通过CPD、张量回归网络压缩和Kronecker积压缩验证了FCS的有效性。实验结果表明，该算法在逼近精度和计算效率方面具有较好的性能。
2021-06-24 cs.LG
Large-scale subspace clustering using sketching and validation
University of Minnesota（明尼苏达大学）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）
如今，大量生成和传输的数据在其处理中提出了重大挑战。虽然能够成功地分类非线性可分离的对象在各种设置，子空间聚类（SC）方法招致过高的计算复杂性时，处理大规模的数据。随机抽样和共识（RANSAC）的方法来强大的回归的启发，本文介绍了一种随机方案SC，称为草图和验证（SkeVa-）SC，为大规模数据量身定制。SkeVa-SC的核心是一个随机化的方案，用于通过核平滑参数来近似观测数据的潜在概率密度函数。数据表示的稀疏性也被利用来减少SC的计算负担，同时实现高聚类精度。性能分析以及广泛的数值测试合成和真实数据证实了潜力的SkeVa-SC和其竞争力的表现相对于国家的最先进的可扩展的SC方法。关键词：子空间聚类，大数据，核平滑，随机化，草图，验证，稀疏性。
2015-10-06 cs.CV cs.LG stat.ML
Sketch-and-Lift: Scalable Subsampled Semidefinite Program for $K$-means Clustering
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
半定规划（SDP）是一个强大的工具，用于解决各种各样的计算困难的问题，如聚类。尽管有很高的准确性，半定的程序在实践中往往太慢，在大型（甚至中等）数据集上的可扩展性差。在本文中，我们介绍了一个线性时间复杂度算法近似的SDP放松$K$ -均值聚类。所提出的草图和升降机（SL）的方法解决了一个二次采样数据集上的SDP，然后传播的解决方案的所有数据点的最近的质心舍入过程。结果表明，SL的方法享有类似的确切的恢复阈值的$K$ -意味着SDP在整个数据集上，这是已知的信息理论上紧高斯混合模型下。SL方法可以自适应增强的理论性能时，集群大小是不平衡的。我们的模拟实验表明，所提出的方法的统计精度优于国家的最先进的快速聚类算法，而不牺牲太多的计算效率，并与原来的$K$ -意味着SDP大大减少了运行时间。
2022-02-09 cs.LG stat.ML
Sketch-and-solve approaches to k-means clustering by semidefinite programming
The Ohio State University（俄亥俄州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们引入了一个草图和解决的方法，以加快Peng-Wei半定松弛的k-均值聚类。当数据被适当地分离时，我们识别出k-均值最优聚类。否则，我们的方法提供了一个高置信下限的最佳k均值值。这个下限是数据驱动的;它不对数据或数据是如何生成的做出任何假设。我们提供了代码和一组广泛的数值实验，我们使用这种方法来证明通过k-means++获得的聚类解决方案的近似最优性。
2022-11-28 cs.DS cs.IT cs.LG
Sketch and Validate for Big Data Clustering
为了满足学习工具调整到大数据分析的需要，本文介绍了一个框架，用于有效地聚类巨大的（可能是高维的）数据集。建立在随机抽样和共识（RANSAC）的想法，追求早期在不同的（计算机视觉）背景下的鲁棒回归，一套新的维数和集合约简算法的开发。所提倡的草图和验证（SkeVa）家族包括两种算法，它们依赖于每次迭代的K均值聚类，减少维度和/或特征向量的数量：第一种以批处理方式操作，而第二种顺序操作提供了计算效率和流式操作模式的适用性。对于聚类甚至非线性可分离的向量，SkeVa家族也提供了基于用户选择的核函数的成员。进一步权衡性能以降低复杂性，SkeVa家族的第四个成员基于用于选择特征变量和向量的适当最小子集的发散标准，从而绕过每次迭代对K均值聚类的需要。对合成和真实数据集的广泛数值测试突出了所提出的算法的潜力，并证明了它们相对于最先进的随机投影替代方案的竞争性能。
2015-01-22 cs.LG stat.ML
Scalable and Robust Community Detection with Randomized Sketching
University of Central Florida（中佛罗里达大学）
本文探讨和分析了大型部分可观察图的无监督聚类。我们提出了一个可扩展的和可证明的随机框架，从随机块模型生成的聚类图。首先将聚类应用于与使用随机采样构造的简化图草图相关联的图的邻接矩阵的子矩阵。然后，使用基于相关性的检索步骤，基于从草图提取的聚类来推断完整图的聚类。均匀随机节点抽样被证明可以提高整个图的聚类的计算复杂性时，集群大小是平衡的。提出了一种新的基于随机度的节点抽样算法，该算法在聚类不平衡的情况下也能显著提高聚类算法的性能。该框架提高了相变矩阵分解为基础的聚类方面的计算复杂性和最小集群大小，这被证明是几乎无量纲的低集群间连接制度。第三个抽样技术，以提高平衡随机抽样节点的空间分布的基础上。我们提供的分析和数值结果使用凸聚类算法的基础上矩阵完成。
2022-12-04 cs.LG cs.SI stat.ML
Clustering the Sketch: A Novel Approach to Embedding Table Compression
Meta
提出聚类组合嵌入（CCE）方法，结合基于聚类的量化与动态哈希方法，实现训练期间高压缩率的嵌入表压缩，并理论证明其收敛性与紧致迭代界限。
2023-10-22 cs.DS cs.LG
Optimized Learned Count-Min Sketch
The University of Tokyo（东京大学）
OptLCMS通过优化参数和阈值划分，提高了学得计数-最小草图的构造速度和理论保证，同时保持了估计精度。
2025-12-13 cs.LG
Scaling Graph-based Semi Supervised Learning to Large Number of Labels Using Count-Min Sketch
Carnegie Mellon University（卡内基梅隆大学）
基于图的半监督学习（SSL）算法已经成功地应用于大量的应用中。这些方法通过从种子节点开始在图的结构上传播标签信息来对最初未标记的节点进行分类。基于图的SSL算法通常与不同标签的数量（m）线性缩放，并且在每个节点上需要O（m）空间。不幸的是，存在许多具有实际意义的应用，在大型图上具有非常大的m，需要更好的空间和时间复杂度。在本文中，我们提出了MAD-SKETCH，一种新的基于图的SSL算法，它使用Count-min Sketch，一种随机的数据结构，来压缩存储每个节点上的标签分布。我们提出的理论分析表明，在温和的条件下，MAD-SKETCH可以降低空间复杂度在每个节点从O（m）到O（log m），并实现类似的节省时间复杂度以及。我们通过对多个真实世界数据集的实验来支持我们的分析。我们观察到，MAD-SKETCH实现了与现有的最先进的基于图形的SSL算法类似的性能，同时需要更小的内存占用，并在同一时间实现高达10倍的加速。我们发现MAD-SKETCH能够扩展到具有一百万个标签的数据集，这超出了现有的基于图的SSL算法的范围。
2014-02-27 cs.LG
Graph sketching-based Space-efficient Data Clustering
CEA（法国原子能和替代能源委员会）；Université Paris-Dauphine（巴黎第九大学）；PSL Research University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Google Brain Robotics（谷歌大脑机器人实验室）
在本文中，我们解决的问题，从数据集恢复任意形状的数据集群，而面对\emph{high space constraints}，因为这是例如在许多现实世界中的应用程序的情况下，分析算法直接部署在资源有限的移动设备收集的数据。我们提出了DBMSTClu一个新的空间高效的基于密度的\emph{non-parametric}方法工作的最小生成树（MST）恢复从有限数量的线性测量，即$N$对象之间的相异性图$\mathcal{G}$的\emph{sketched}版本集群。与$k$ -means、$k$ -medians或$k$ -medoids算法不同，由于MST用于表达图的底层结构的属性，它在区分具有特定形式的簇时不会失败。与DBSCAN或谱聚类方法相反，不需要输入参数。一个近似的MST检索以下的动态\emph{semi-streaming}模型处理的相异性图$\mathcal{G}$作为一个流的边权重更新，这是勾画在一个通过数据到一个紧凑的结构，需要$O(N \operatorname{polylog}(N))$空间，远远优于理论的内存成本$O(N^2)$的$\mathcal{G}$。恢复的近似MST $\mathcal{T}$作为输入，DBMSTClu然后通过在$N$中的时间线性中对$\mathcal{T}$执行相关切割来成功地检测正确数量的非凸聚类。我们提供的聚类分区的质量的理论保证…
2018-05-27 cs.DS cs.LG
Higher-order Count Sketch: Dimensionality Reduction That Retains Efficient Tensor Operations
University of California, Irvine（加州大学欧文分校）；California Institute of Technology（加州理工学院）
草图是一种随机降维方法，旨在保留大规模数据集中的相关信息。Count Sketch是一个简单的流行草图，它使用随机哈希函数来实现压缩。在本文中，我们提出了一种新的扩展称为高阶计数草图（HCS）。虽然count sketch使用单个散列函数，但HCS使用多个（较小）散列函数进行草图绘制。HCS将输入（向量）数据重新塑造为高阶张量，并采用随机哈希函数的张量积来计算草图。在输入数据的某些条件下，这导致散列函数的内存需求的指数节省（相对于张量的阶数）。此外，当输入数据本身具有各种张量表示形式的底层结构时，例如Tucker分解，我们获得了显着的优势。我们得到有效的（近似）计算各种张量操作，如直接在草图数据的张量积和张量收缩。因此，HCS是第一个充分利用高阶张量的多维性质的草图。我们将HCS应用于张量化的神经网络，其中我们用草图张量操作替换全连接层。我们实现了近国家的最先进的准确性与显着压缩的图像分类基准。
2019-11-04 cs.LG stat.ML
Sketching Algorithms for Sparse Dictionary Learning: PTAS and Turnstile Streaming
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于草图算法的新技术，首次为稀疏字典学习设计 PTAS，并给出字典学习与 k-均值聚类在十字转门流模型下的空间上界和下界。
2023-10-29 cs.DS cs.LG
Efficient Linear Bandits via Cluster-Aware Sketching
University of Science and Technology of China（中国科学技术大学）
针对高维线性老虎机计算成本高的问题，提出基于聚类感知草图化的CS-LB算法，通过保留聚类协方差信息实现亚线性遗憾，并将每轮计算降至O(l^2d)。
2026-09-24 cs.LG
Efficient Binary Embedding of Categorical Data using BinSketch
IIT Mandi（曼迪印度理工学院）；Indraprastha Institute of Information Technology Delhi（德里因德拉普拉斯塔信息技术学院）
在这项工作中，我们提出了一个降维算法，又名。草图，用于分类数据集。我们提出的草图算法Cabin从高维分类向量构建低维二进制草图，我们的距离估计算法Cham仅从草图计算任何两个原始向量之间的汉明距离的近似值。Cham所需的草图的最小维度，以确保良好的估计理论上只取决于数据点的稀疏性-使其适用于许多涉及稀疏数据集的现实生活场景。我们对我们的方法进行了严格的理论分析，并在几个高维现实世界的数据集上进行了广泛的实验，其中包括一个超过一百万个维度的数据集。我们表明，与使用完整数据集和其他降维技术相比，Cabin和Cham二人组对于RMSE，所有对相似性和聚类等任务是一种非常快速和准确的方法。
2021-11-13 cs.LG
Sketching for Latent Dirichlet-Categorical Models
Carnegie Mellon University（卡内基梅隆大学）；Oracle Labs（甲骨文实验室）
最近的工作探索了将数据集转换为更小的近似摘要，以扩展贝叶斯推理。我们研究了一个相关的问题，其中贝叶斯模型的参数是非常大的和昂贵的存储在内存中，并提出了更紧凑的表示参数值，可以在推理过程中使用。我们专注于一类图形模型，我们称之为潜在的Dirichlet分类模型，并显示如何结合两个草图算法称为计数最小草图和近似计数器提供了一个有效的表示。我们表明，这种草图组合-尽管已经在NLP应用程序中使用过，但以前没有分析过-具有理想的特性。我们证明了对于这类模型，当草图被用于马尔可夫链蒙特卡罗推理过程中，草图MCMC的平衡收敛到精确链的草图参数进行调整，以减少出错率。
2018-10-02 cs.LG stat.ML
A Bayesian nonparametric approach to count-min sketch under power-law data streams
University of Pavia（帕维亚大学）；University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛·阿尔贝托学院）；Cogent Labs（Cogent实验室）
count-min sketch（CMS）是一种随机化数据结构，其通过随机散列使用数据的压缩表示来提供大数据流中的令牌频率的估计。在本文中，我们依靠最近的贝叶斯非参数（BNP）的CMS视图开发一种新的学习增强CMS下幂律数据流。我们假设流中的令牌是从未知的离散分布中提取的，该离散分布被赋予归一化逆高斯过程（NIGP）先验。然后，使用NIGP的分布特性，我们计算流中令牌频率的后验分布，给定散列数据，以及相应的BNP估计。合成和真实数据的应用表明，我们的方法在低频令牌的估计取得了显着的性能。这在自然语言处理的背景下是一个理想的特性，在数据的幂律行为的背景下确实很常见。
2021-02-11 cs.LG stat.ML
Randomized Spectral Clustering in Large-Scale Stochastic Block Models
Center for Modern Statistics, School of Mathematics, Northwest University（西北大学数学学院现代统计中心）
谱聚类是网络中社区发现的常用方法之一。然而，大规模网络的特征值分解带来了计算上的挑战。在本文中，我们研究了谱聚类使用随机素描算法从统计的角度来看，我们通常假设网络数据是从随机块模型，不一定是满秩的。为此，我们首先使用最近开发的草图算法，得到两个随机谱聚类算法，即基于随机投影和基于随机采样的谱聚类。然后，我们研究了所得到的算法在人口邻接矩阵的近似误差，误分类误差，和链路概率矩阵的估计误差的理论界。结果表明，在较弱的条件下，随机谱聚类算法与原始谱聚类算法的理论界相同。我们还将结果扩展到度校正的随机块模型。数值实验支持我们的理论研究结果，并显示随机方法的效率。开发了一个新的R软件包，称为Rounds，并向公众提供。
2022-01-06 cs.LG cs.SI stat.ME
FetchSGD: Communication-Efficient Federated Learning with Sketching
University of California, Berkeley（加利福尼亚大学伯克利分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon（亚马逊）
现有的联邦学习方法存在通信瓶颈以及由于稀疏的客户端参与而导致的收敛问题。在本文中，我们介绍了一种新的算法，称为FetchSGD，以克服这些挑战。FetchSGD使用Count Sketch压缩模型更新，然后利用草图的可合并性来合并来自许多工作者的模型更新。FetchSGD设计中的一个关键见解是，由于Count Sketch是线性的，因此动量和误差累积都可以在Sketch内进行。这使得该算法能够将动量和误差积累从客户端转移到中央聚合器，克服稀疏客户端参与的挑战，同时仍然实现高压缩率和良好的收敛性。我们证明了FetchSGD具有良好的收敛保证，并通过训练两个残差网络和一个Transformer模型证明了其经验有效性。
2020-10-08 cs.LG stat.ML
Mean Nyström Embeddings for Adaptive Compressive Learning
MaLGA, Università di Genova（热那亚大学 MaLGA）；CBMM, MIT（麻省理工学院 CBMM）；IIT（意大利理工学院）
压缩学习是一种有效的大规模学习方法，基于将整个数据集绘制成单个均值嵌入（草图），即广义矩向量。学习任务，然后近似地解决作为一个逆问题，使用一个适应的参数模型。在这方面，以前的作品集中在通过平均随机特征获得的草图上，虽然通用，但不能很好地适应手头的问题。在本文中，我们提出并研究了基于数据依赖的Nyström近似执行草图的想法。从理论的角度来看，我们证明了超额风险可以控制下的几何假设相关的参数模型，用于学习从草图和协方差算子相关的任务在手。从经验上讲，我们表明，对于k均值聚类和高斯建模，对于固定的草图大小，Nyström草图确实优于那些使用随机特征构建的草图。
2022-02-10 cs.LG stat.ML
Compressive K-means
INRIA Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心）；CNRS, GIPSA-lab（法国国家科学研究中心，GIPSA实验室）
K-max算法是一种经典的K均值聚类算法。不幸的是，随着训练数据集的增长，其成本变得过高。我们提出了一个压缩版本的K-means（CKM），它从草图中估计聚类中心，即从训练数据集的大幅压缩表示中估计聚类中心。我们的经验表明，CKM执行类似的candid-Max，草图大小成比例的质心的数量乘以环境尺寸，并独立于原始数据集的大小。给定草图，CKM的计算复杂性也与数据集的大小无关。与需要多次重复的CKM不同，我们进一步证明了CKM对初始化几乎不敏感。对于一个包含10^7个数据点的大型数据集，我们证明了CKM的运行速度比5个重复的CMD-Max快两个数量级，并且在人工数据上具有类似的聚类性能。最后，CKM实现了较低的分类错误的手写数字分类。
2017-02-10 cs.LG stat.ML
DreamNLP: Novel NLP System for Clinical Report Metadata Extraction using Count Sketch Data Streaming Algorithm: Preliminary Results
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）
从电子健康记录（EHR）中提取信息是一项具有挑战性的任务，因为它需要报告的先验知识和一些自然语言处理算法（NLP）。随着越来越多的EHR实现，这样的知识越来越具有挑战性，以有效的方式获得。我们通过提出一种新的方法来解决这一挑战，使用修改后的Count Sketch数据流算法（称为DreamNLP）来分析大量的EHR。通过使用DreamNLP，与其他NLP程序使用的传统计数方法相比，我们使用较低的计算内存生成EHR中频繁出现的术语或重打击者的字典。我们证明了提取的最重要的乳腺诊断功能的EHR在一组患者进行乳腺成像。基于分析，这些术语的提取将有助于定义下游任务的重要特征，例如用于精准医学的机器学习。
2018-08-26 cs.LG eess.AS stat.ML
One-Shot Coresets: The Case of k-Clustering
ETH Zurich（苏黎世联邦理工学院）；Google Brain（谷歌大脑）；Google Research（谷歌研究院）
将聚类算法扩展到海量数据集是一项具有挑战性的任务。近年来，基于核心集和草图的数据摘要方法被提出。虽然这些技术提供了可证明的好的和小的摘要，但它们本质上是依赖于问题的-从业者必须在探索数据之前致力于固定的聚类目标。然而，人们可以同时为大范围的聚类问题构建小数据摘要吗？在这项工作中，我们肯定地回答了这个问题，提出了一个有效的算法，构建这样的一次性摘要k-聚类问题，同时保留强有力的理论保证。
2018-02-20 cs.LG stat.ML
Efficient Sketching Algorithm for Sparse Binary Data
IIT Mandi（曼迪印度理工学院）；IIIT Delhi（德里印德拉普拉斯塔信息技术学院）；NALT Analytics
WWW、IOT、社交网络、电子商务等的最新发展产生了大量数据。这些数据集大多由高维稀疏数据集表示。常见数据分析任务的许多基本子程序，如聚类，分类，排名，最近邻搜索等，与数据集的维度比例很差。在这项工作中，我们解决这个问题，并提出了一个草图（或者，降维）算法- $\binsketch$（二进制数据草图）-稀疏二进制数据集。$\binsketch$在绘制草图后保留数据集的二进制版本，并在同一草图上维护多个相似性度量（如Jaccard、余弦、内积相似性和汉明距离）的估计值。我们提出了我们的算法的理论分析，并补充它与几个现实世界的数据集上进行了广泛的实验。我们比较我们的算法的性能与最先进的算法的任务的均方误差和排名。我们提出的算法提供了一个相当的准确性，同时建议在降维时间显着加速，相对于其他候选算法。我们的建议是简单的，易于实施，因此可以在实践中采用。
2019-10-10 cs.IR cs.LG
Dimensionality Reduction for k-Means Clustering and Low Rank Approximation
Massachusetts Institute of Technology（麻省理工学院）
我们展示了如何近似一个数据矩阵$\mathbf{A}$与一个小得多的草图$\mathbf{\tilde A}$，可用于解决一般类的约束k秩近似问题，在$(1+ε)$误差。重要的是，这类问题包括$k$ -均值聚类和无约束的低秩近似（即主成分分析）。通过将数据点减少到仅$O(k)$维度，我们的方法一般加速这些普遍存在的问题的任何精确、近似或启发式算法。对于$k$ -均值降维，我们提供了许多常见草图绘制技术的$(1+ε)$相对误差结果，包括随机行投影、列选择和近似SVD。对于近似主成分分析，我们给出了一个简单的替代已知的算法，在流媒体设置中的应用程序。此外，我们扩展了最近的工作列为基础的矩阵重建，列子集，不仅“覆盖”一个良好的子空间$\bv{A}$，但可以直接用于计算这个子空间。最后，对于$k$ -均值聚类，我们展示了如何通过将数据点投影到$O(\log k/ε^2)$维度来实现$(9+ε)$近似。这给出了利用$k$的特定结构的第一个结果--在$k$中实现与输入大小无关的维度和次线性。
2015-04-03 cs.DS cs.LG
Counterfactual Explanations for k-means and Gaussian Clustering
University of Ioannina（约阿尼纳大学）
针对聚类场景缺乏反事实解释的问题，本文提出带合理性与可行性约束的聚类反事实通用定义，分别给出k-means的解析解与高斯聚类的单参数数值解法，经实验验证了方法的有效性。
2025-01-17 cs.LG
Sketching Datasets for Large-Scale Learning (long version)
Univ Lyon（里昂大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学院）；UCB Lyon 1（里昂第一大学）；Univ Rennes（雷恩大学）；IRISA（雷恩信息与自动化系统研究所）；GIPSA-lab（格勒诺布尔图像、信号、自动化与控制实验室）；Grenoble INP（格勒诺布尔国立理工学院）；UGA（格勒诺布尔阿尔卑斯大学）；UCLouvain（鲁汶大学）；The Ohio State University（俄亥俄州立大学）
本文考虑“压缩学习”，这是一种大规模机器学习的方法，其中数据集在学习之前被大规模压缩（例如，聚类、分类或回归）。特别地，首先通过计算精心选择的非线性随机特征（例如，随机傅立叶特征）并在整个数据集上对它们进行平均。然后从草图中学习参数，而无需访问原始数据集。本文综述了压缩学习的最新进展，包括主要概念和算法，它们与已建立的信号处理方法的联系，现有的理论保证-信息保护和隐私保护，以及重要的开放问题。
2021-06-24 cs.IT cs.LG math.IT
Graphical Model Sketch
Adobe Research（Adobe研究院）；Rutgers（罗格斯大学）；TTI（丰田技术研究院）
结构化的高基数数据出现在许多领域，对建模和推理都提出了重大挑战。图形模型是一种流行的建模结构化数据的方法，但它们不适合高基数变量。count-min（CM）草图是一种在高基数数据中估计概率的流行方法，但它不能很好地扩展到几个变量之外。在这项工作中，我们汇集了图形模型和计数草图的想法，并提出和分析了几种方法来估计结构化的高基数数据流的概率。我们近似的关键思想是使用图形模型的结构，并通过“草图”近似估计其因子，该草图使用随机投影对高基数变量进行散列。我们的近似是计算效率和它们的空间复杂度是独立的变量的基数。我们的误差界是乘法和显着改善后的CM草图，一个国家的最先进的方法来估计流中的概率。我们评估我们的近似合成和现实世界的问题，并报告了一个数量级的改进CM草图。
2016-07-18 cs.DS cs.LG stat.ML
Statistical Learning Guarantees for Compressive Clustering and Compressive Mixture Modeling
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；Laboratoire de mathématiques d’Orsay（奥赛数学实验室）；GIPSA-lab（GIPSA实验室）；Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；IMB（波尔多数学研究所）；Univ Lyon（里昂大学）；Inria（法国国家信息与自动化研究所）；ENS de Lyon（里昂高等师范学校）；UCB Lyon 1（里昂第一大学）；LIP（里昂信息处理实验室）；Univ Rennes（雷恩大学）；IRISA（雷恩计算机科学研究所）
我们在压缩统计学习的背景下为两个无监督学习任务提供了统计学习保证，压缩统计学习是我们在一篇配套论文中介绍的资源高效的大规模学习的一般框架。压缩统计学习的原理是压缩一个训练集合，在一次通过中，转换成一个低维草图（一个随机经验广义矩的向量），它捕捉了与所考虑的学习任务相关的信息。我们明确地描述和分析随机特征函数，经验平均值保留了压缩聚类和压缩高斯混合建模所需的信息，具有固定的已知方差，并建立足够的草图大小给定的问题尺寸。
2021-08-17 cs.IT cs.LG math.IT
Efficient Linear Bandits through Matrix Sketching
Università degli Studi di Milano（米兰大学）
我们证明了两个流行的线性上下文强盗算法，OFUL和汤普森采样，可以有效地使用频繁的方向，确定性的在线素描技术。更确切地说，我们表明，草图的大小$m$允许$\mathcal{O}(md)$更新时间为两种算法，而不是$Ω(d^2)$所需的非草图版本一般（其中$d$是上下文向量的尺寸）。这种计算加速伴随着OFUL的$(1+\varepsilon_m)^{3/2}d\sqrt{T}$阶和Thompson采样的$\big((1+\varepsilon_m)d\big)^{3/2}\sqrt{T}$阶的遗憾界，其中$\varepsilon_m$由草图未覆盖的尾部特征值之和限定。特别是，当选定的上下文跨越一个子空间的维度最多$m$，我们的算法有一个遗憾的边界匹配，他们的速度较慢，非草图的同行。真实世界数据集上的实验证实了我们的理论结果。
2022-03-21 cs.LG stat.ML
Sub-linear RACE Sketches for Approximate Kernel Density Estimation on Streaming Data
Rice University（莱斯大学）
核密度估计是一种简单有效的方法，是许多重要机器学习应用的核心。不幸的是，核方法对于大型高维数据集的扩展性很差。近似核密度估计具有过高的存储器和计算成本，特别是在流设置中。最近的高维密度采样算法可以降低计算成本，但不能在线操作，而流算法不能处理高维数据集，由于维数灾难。我们提出了RACE，一个高效的素描算法内核密度估计高维流数据。RACE将一组N个高维向量压缩到一个小的整数计数器数组中。这个数组足以估计一大类核的核密度。我们的设想是切实可行的，并有强有力的理论保证。我们在真实世界的高维数据集上评估了我们的方法，并表明我们的草图与竞争方法相比压缩效果好10倍。
2019-12-04 cs.DS cs.LG
Fast and Guaranteed Tensor Decomposition via Sketching
Carnegie Mellon University（卡内基梅隆大学）；University of California Irvine（加州大学欧文分校）
张量CANDECOMP/PARAFAC（CP）分解在隐变量模型的统计学习和数据挖掘中有着广泛的应用。本文提出了一种基于草图的快速随机张量CP分解算法。我们建立在计数草图的想法，但引入了许多新颖的想法，这是唯一的张量。我们开发了新的方法，通过FFT的张量收缩的随机计算，没有明确形成的张量。这种张量收缩在分解方法中遇到，例如张量幂迭代和交替最小二乘法。我们还为对称张量设计了新颖的碰撞哈希，以进一步节省计算草图的时间。然后，我们将这些草图的想法与现有的白化和张量幂迭代技术，以获得最快的算法在稀疏和密集张量。根据我们的方法近似的质量不依赖于属性，如稀疏性，均匀性的元素，等，我们应用主题建模的方法，并获得有竞争力的结果。
2015-10-20 cs.LG stat.ML
Sketch-and-Verify: Structured Inference-Time Scaling via Program Sketching
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出SKETCHVERIFY方法，通过程序草图生成多样化候选方案，验证后选择最优，提升模型性能，同时探讨K与M的权衡关系。
2026-05-09 cs.AI cs.LG cs.SE
Iterative Hessian Sketch in Input Sparsity Time
University of Warwick（华威大学）
可扩展的算法来解决优化和回归任务，甚至近似，需要与大型数据集一起工作。在本文中，我们研究有效的技术，从矩阵素描解决各种凸约束回归问题。我们采用“迭代海森素描”（IHS），并表明快速CountSketch和稀疏的约翰逊-林登施特劳斯变换产生的最先进的精度保证IHS下，同时大大提高了时间成本。其结果是，我们获得了显着更快的算法约束回归，稀疏和密集的输入。我们的经验结果表明，对于稀疏数据，我们可以以大约100倍的速度汇总数据，而令人惊讶的是，对于密集数据，我们可以以10倍的速度汇总数据！因此，可以比现有技术更快地找到精确到最优解的机器精度内的解。
2019-10-30 cs.DS cs.LG stat.ML
Quantized Compressive K-Means
UCLouvain（鲁汶天主教大学）
最近的压缩统计学习框架旨在设计易于处理的学习算法，这些算法只使用大量数据集的高度压缩表示或草图。压缩K-Means（CKM）就是这样一种方法：它从学习示例的池化、非线性、随机签名中估计数据聚类的质心。虽然这种方法显着减少了非常大的数据集上的计算时间，但其数字实现浪费了采集资源，因为学习示例仅在感知阶段之后才被压缩。目前的工作概括了最初在压缩K均值定义的草图绘制过程中的一个大类的周期性非线性，包括硬件友好的实现，压缩采集整个数据集。这个想法在量化压缩K均值过程中举例说明，该过程是CKM的变体，其利用1位通用量化（即保留标准均匀量化器的最低有效位）作为周期性草图非线性。交易这种资源有效的签名（在大多数收购方案的标准）几乎没有影响的聚类性能，如数值实验所示。
2018-06-18 cs.LG stat.ML
FedSKETCH: Communication-Efficient and Private Federated Learning via Sketching
Cognitive Computing Lab（认知计算实验室）；Baidu Research（百度研究院）
通信复杂性和隐私是联邦学习的两个关键挑战，其目标是通过大量设备执行分布式学习。在这项工作中，我们引入FedSKETCH和FedSKETCHGATE算法来解决联合学习中的两个挑战，这些算法分别用于同构和异构数据分布设置。其关键思想是使用count sketch压缩局部梯度的累积，因此，服务器无法访问梯度本身，从而提供隐私。此外，由于所使用的草图的维数较低，我们的方法也表现出通信效率的属性。我们提供，上述计划，尖锐的收敛保证。最后，我们用各种实验来支持我们的理论。
2020-08-11 cs.DS cs.LG stat.ML
M$^2$M: A general method to perform various data analysis tasks from a differentially private sketch
The Alan Turing Institute（艾伦·图灵研究所）；UCLouvain（鲁汶大学）；Università di Genova（热那亚大学）；Imperial College London（帝国理工学院）
差分隐私是对敏感数据执行分析的标准隐私定义。然而，其隐私预算限制了分析师可以以合理的准确性执行的任务数量，这使得在实践中部署具有挑战性。这可以通过私有草图来缓解，其中数据集被压缩成单个噪声草图矢量，该矢量可以与分析师共享并用于执行任意多个分析。然而，从草图执行特定任务的算法必须根据具体情况开发，这是其使用的主要障碍。在本文中，我们介绍了通用的时刻到时刻（M $^2$ M）的方法来执行广泛的数据探索任务，从一个单一的私人草图。除此之外，该方法可用于估计属性的经验矩、协方差矩阵、计数查询（包括直方图）和回归模型。我们的方法将草图机制视为黑盒操作，因此可以应用于各种各样的草图从文献中，扩大其应用范围，而无需进一步的工程或隐私损失，并消除了一些技术障碍，更广泛地采用草图数据探索下差分隐私。我们验证了我们的方法与人工和真实世界的数据的数据探索任务，并表明，它可以用来可靠地估计统计和训练分类模型从私人草图。
2022-11-25 cs.CR cs.LG
O3SLM: Open Weight, Open Data, and Open Vocabulary Sketch-Language Model
IISc（印度理工学院）
O3SLM通过构建大规模图像-草图-指令三元组数据集和训练模型，实现了对草图理解和推理的突破性进展。
2025-12-24 cs.CL cs.CV cs.LG
Extreme Classification in Log Memory using Count-Min Sketch: A Case Study of Amazon Search with 50M Products
Rice University（莱斯大学）；MIT（麻省理工学院）；Amazon Search（亚马逊搜索）
在过去的十年中，许多人工智能的硬任务，特别是在NLP中，可以自然地建模为极端分类问题，从而提高精度。然而，由于最后一层的内存爆炸，这种模型的训练成本过高。例如，本文中感兴趣的数据集的合理softmax层可以轻松达到远远超过1000亿个参数（>400 GB内存）。为了缓解这个问题，我们提出了通过哈希的合并平均分类器（MACH），这是一种通用的K分类算法，其中内存可证明为O（logK），而无需对类进行任何强假设。MACH是一个巧妙的伪装的count-min sketch结构，它使用通用哈希将大量类别的分类减少到少数具有少量（恒定）类别的并行和独立分类任务。MACH自然提供了一种零通信模型并行技术。我们用6个数据集进行了实验;一些是多类的，一些是多标签的，并且在各自的最先进的基线上显示出一致的改进。特别是，我们在从亚马逊搜索引擎采样的私有产品搜索数据集上训练了一个端到端的深度分类器，该数据集包含7000万个查询和4946万个产品。MACH的性能远远优于商业搜索引擎上部署的最先进的极端分类模型：Parabel和密集嵌入模型。我们最大的模型有64亿个参数，在一台p3.16x机器上训练不到35小时。我们的训练时间比最佳基线快7- 10倍，内存占用比最佳基线小2- 4倍。这个训练时间也明显低于Google的混合专家模型（MoE）语言模型在类似模型大小和硬件上报告的时间。
2019-10-28 cs.DS cs.IR cs.LG
Randomized spectral co-clustering for large-scale directed networks
Northwest University（西北大学）；Carnegie Mellon University（卡内基梅隆大学）
有向网络广泛用于表示单元之间的非对称关系。联合聚类的目标是同时对有向网络的接收者和接收者进行聚类。特别地，著名的谱聚类算法可以被修改为谱共聚类到共聚类有向网络。然而，大规模网络对它提出了巨大的计算挑战，本文利用草图技术，推导了两种随机谱联合聚类算法，一种是\emph{random-projection-based}，另一种是\emph{random-sampling-based}，用于加速大规模有向网络的联合聚类.我们从理论上分析了两个生成模型下的算法-随机co-block模型和度校正随机co-block模型，并建立其近似错误率和误聚类错误率，表明更好的界限比国家的最先进的结果的共同聚类文献。在数值上，我们设计并进行模拟来支持我们的理论结果，并在具有数百万节点的真实网络上测试算法的效率。一个公开可用的R包\textsf{RandClust}的开发更好的可用性和重现性所提出的方法。
2022-04-09 cs.LG cs.SI stat.ME
DPSW-Sketch: A Differentially Private Sketch Framework for Frequency Estimation over Sliding Windows (Technical Report)
East China Normal University（华东师范大学）；Zhejiang University（浙江大学）
针对滑动窗口数据流中的敏感频率估计与重击者识别问题，提出基于 count-min sketch 的差分隐私 DPSW-Sketch，在亚线性时空开销下保证有界误差，并实现更优效用-隐私权衡。
2024-06-12 cs.CR cs.DS cs.LG
Equivariant Test-Time Training with Operator Sketching for Imaging Inverse Problems
School of Mathematics, University of Birmingham（伯明翰大学数学学院）
本文提出基于运算子草图的等变测试时间训练方法，用于加速深度内部学习框架，通过优化归一化层实现高效网络适应，显著提升高维应用中的计算效率。
2025-12-11 cs.CV cs.LG eess.IV
Learning-augmented count-min sketches via Bayesian nonparametrics
University of Pavia（帕维亚大学）；University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛·阿尔贝托学院）；Cogent Labs（Cogent实验室）
count-min sketch（CMS）是一种时间和存储器高效的随机化数据结构，其基于随机散列数据来提供对令牌的数据流（即点查询）中的令牌的频率的估计。Cai，Mitzenmacher和Adams（\textit{NeurIPS} 2018）提出了CMS的学习增强版本（称为CMS-DP），它依赖于通过Dirichlet过程（DP）先验对令牌数据流进行贝叶斯非参数（BNP）建模，并将点查询的估计值作为点查询的后验分布的适当均值泛函获得，给定散列数据。虽然CMS-DP已被证明在CMS的某些方面有所改进，但它的主要缺点是基于为DP先验量身定制的参数的"建设性”证明，即不能用于其他非参数先验的参数。在本文中，我们提出了一个“贝叶斯”证明CMS-DP的主要优点是建立在参数是可用的，原则上，在一个广泛的类的非参数先验所产生的归一化完全随机措施。这一结果导致在幂律数据流下开发一种新的学习增强CMS，称为CMS-PYP，它依赖于通过Pitman-Yor过程（PYP）先验对令牌数据流进行BNP建模。在这个更一般的框架下，我们应用CMS-DP的"贝叶斯”证明的参数，适当地适应PYP先验，以计算给定散列数据的点查询的后验分布。对合成数据和真实文本数据的应用表明，CMS-PYP在估计低频令牌方面优于CMS和CMS-DP，这在文本数据中是至关重要的，并且它相对于针对低频令牌设计的CMS的变体具有竞争力。我…
2022-09-13 cs.LG math.ST stat.ML
Sketch and Scale: Geo-distributed tSNE and UMAP
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon（亚马逊）
在确保隐私和数据安全的数据管理策略领域，对地理分布的数据集运行机器学习分析是一个迅速出现的问题。使用t分布随机邻域嵌入（tSNE）和均匀流形近似和投影（UMAP）等工具可视化高维数据已成为数据科学家的常见做法。这两种工具在时间和内存方面的扩展性都很差。虽然最近的优化显示成功处理了10，000个数据点，但扩展到超过百万个点仍然具有挑战性。我们介绍了一个新的框架：草图和规模（SnS）。它利用Count Sketch数据结构来压缩边缘节点上的数据，在主节点上聚合尺寸减小的草图，并在摘要上运行vanilla tSNE或UMAP，表示从聚合草图中提取的分布式区域。我们展示了这种技术是完全并行的，在时间上线性扩展，在内存和通信上具有时序性，使得分析分布在全球多个数据中心的数百万甚至数十亿个数据点的数据集成为可能。我们在两个中等规模的数据集上展示了我们的方法的强大功能：来自肿瘤活检多个图像的5200万35波段像素的癌症数据;以及来自斯隆数字巡天（SDSS）的1亿颗恒星的多色测光的天体物理学数据。
2020-11-11 astro-ph.SR cs.DC cs.LG
Counterfactual Explanations for Clustering Models
Università della Svizzera italiana (USI)（瑞士意大利语大学）；ETH Zurich（苏黎世联邦理工学院）
针对聚类模型难以解释的问题，提出一种模型无关的反事实解释方法，利用软评分引导反事实搜索，在五个数据集和两种聚类算法上显著提升解释质量。
2024-09-19 cs.AI cs.LG cs.NE
