Coresets for constrained k-median and k-means clustering in low dimensional Euclidean space
University of Cologne（科隆大学）
我们研究（欧几里德）$k$ -中位数和$k$ -意味着在流模型的约束。最近，人们努力设计统一的算法来解决约束$k$ -均值问题，而不使用手头的特定约束的知识，除了温和的假设，如约束下的可行性的多项式可计算性（计算聚类是否满足约束）或存在有效的赋值oracle（给定一组中心，产生满足约束的点到中心的最优分配）。这些算法在$k$中具有运行时间指数，但可以应用于广泛的约束。我们证明了2019年提出的一种用于解决特定约束流$k$ -均值问题的技术，即公平的$k$ -均值聚类，实际上意味着所有这些约束的流算法。这些工作低维欧氏空间。[Note有更多的算法用于流传输公平的$k$ -意味着今天，特别是它们现在也存在于高维空间。
2021-06-14 cs.DS cs.LG
Towards Optimal Lower Bounds for k-median and k-means Coresets
Google Research（谷歌研究院）；Aarhus University（奥胡斯大学）；Sorbonne Université（索邦大学）
给定度量空间中的一组点，$(k,z)$聚类问题包括找到一组称为中心的$k$点，使得每个数据点到其最近中心的距离之和最小化为$z$的幂。特殊情况包括著名的k-中位数问题（$z = 1$）和k-均值问题（$z = 2$）。$k$ -中位数和$k$ -均值问题是现代数据分析的核心，海量数据应用已经提出了coreset的概念：输入点集的一个小（加权）子集，保留问题的任何解决方案的成本，直到乘法$(1 \pm \varepsilon)$因子，从而从大到小减少问题的输入。在本文中，我们提出了各种度量空间中的coreset的改进的下界。在有限度量组成的$n$点和加倍度量与加倍常数$D$，我们表明，任何coreset的$(k,z)$聚类必须至少包括$Ω(k \varepsilon^{-2} \log n)$和$Ω(k \varepsilon^{-2} D)$点，分别。这两个边界都与先前的上限匹配，直到polylog因子。在欧氏空间中，我们证明了$(k,z)$聚类的任何核心集必须至少由$Ω(k\varepsilon^{-2})$点组成。我们补充这些下限与coreset建设组成的最多$\tilde{O}(k\varepsilon^{-2}\cdot \min(\varepsilon^{-z},k))$点。
2022-02-25 cs.CG cs.DS cs.LG
Scalable k-Means Clustering via Lightweight Coresets
Google Brain（谷歌大脑）；ETH Zurich（苏黎世联邦理工学院）
核心集是数据集的紧凑表示，使得在核心集上训练的模型与在完整数据集上训练的模型具有可证明的竞争力。因此，它们已成功地用于将聚类模型扩展到大规模数据集。虽然现有的方法一般只允许乘法近似误差，我们提出了一个新的概念，轻量级coresets，允许乘法和加法误差。我们提供了一个单一的算法来构建轻量级的coresets的k-means聚类以及软和硬Bregman聚类。该算法比现有的结构快得多，并行性好，所得的coresets更小。我们进一步表明，所提出的方法自然推广到统计k均值聚类，与现有的结果相比，它可以用来计算较小的总结经验风险最小化。在大量的实验中，我们证明了该算法优于现有的数据摘要策略在实践中。
2018-06-06 cs.DC cs.DS cs.LG
Performance analysis of coreset selection for quantum implementation of K-Means clustering algorithm
The University of Melbourne（墨尔本大学）
预计量子计算将提供巨大的计算能力，可以为许多数据科学问题提供有效的解决方案。然而，目前这一代的量子器件体积小且有噪声，这使得处理与实际问题相关的大型数据集变得困难。核心集选择的目的是规避这个问题，减少输入数据的大小，而不损害的准确性。最近的工作表明，核心集选择可以帮助实现量子K-Means聚类问题。然而，核集选择对量子K-Means聚类性能的影响尚未被探索。在这项工作中，我们比较了两种coreset技术（BFL 16和ONESHOT）的相对性能，以及在每种情况下coreset构造的大小，相对于各种数据集和布局的优点和限制coreset选择在实现量子算法。我们还研究了去极化量子噪声和比特翻转误差的影响，并实现了量子自动编码器技术，以克服噪声的影响。我们的工作为未来在近期量子设备上实现数据科学算法提供了有用的见解，其中问题大小已通过核心集选择减少。
2022-06-16 cs.ET cs.LG quant-ph
Clustering by Contour coreset and variational quantum eigensolver
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；School of Physics, The University of Melbourne（墨尔本大学物理学院）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）
针对现有量子k-means聚类方法准确率与一致性不足、缺乏量子定制核心集技术的问题，提出结合VQE与专为量子算法设计的Contour coreset的聚类方法，实验证明其性能优于现有QAOA加通用核心集的方案。
2023-12-06 cs.LG quant-ph
Coreset Clustering on Small Quantum Computers
Princeton University（普林斯顿大学）；University of Chicago（芝加哥大学）
许多用于机器学习的量子算法需要访问叠加的经典数据。然而，对于许多自然数据集和算法，加载叠加的数据集所需的开销可以消除任何潜在的量子加速超过经典算法。Harrow最近的工作在混合量子经典计算中引入了一种新的范式来解决这个问题，依赖于coreset来最小化量子算法的数据加载开销。我们研究使用这种范式来执行$k$ -意味着集群在近期量子计算机，通过铸造它作为一个QAOA优化实例在一个小coreset。我们比较这种方法的性能，经典的$k$ -均值聚类数值和实验IBM Q硬件。我们能够找到的数据集coreset工作以及相对于随机抽样，QAOA可能会超过标准的$k$ -手段coreset。然而，找到同时具有核心集和QAOA的数据集--这对于超过$k$的量子优势是必要的--意味着整个数据集--似乎是具有挑战性的。
2020-04-30 cs.LG quant-ph
Determinantal Point Processes for Coresets
CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（GIPSA实验室）
当面对一个数据集太大而不能一次处理时，一个明显的解决方案是只保留其中的一部分。在实践中，这有各种各样的不同形式，其中“核心集”特别有吸引力。核心集是原始数据的（小）加权样本，具有以下保证：成本函数可以在较小的集合上而不是较大的集合上进行评估，具有较低的相对误差。对于某些类型的问题，通过仔细选择抽样分布（基于所谓的“敏感性”度量），iid随机抽样已经成为有效构建核心集的最成功的方法之一。然而，独立样本有时过于冗余，人们可能希望实施多样性会带来更好的性能。困难在于证明非iid样本的coreset性质。我们发现，coreset属性持有的样本形成的决定点过程（DPP）。DPP是有趣的，因为他们是一个罕见的例子，排斥点过程与听话的理论性质，使我们能够证明一般coreset定理。我们将我们的研究结果的k-均值和线性回归的问题，并给出了广泛的经验证据表明，小的额外的计算成本的DPP采样来优越的性能超过其iid对应。独立的利益，我们还提供了分析公式的灵敏度在线性回归和1-均值的情况下。
2020-01-06 cs.DS cs.LG stat.ML
Improved Coresets for Euclidean $k$-Means
给定$d$维度中的一组$n$点，欧几里德$k$ -均值问题（分别为：欧几里德$k$ -中值问题）包括找到$k$中心，使得平方距离（分别为距离之和）被最小化。在大数据环境中处理这个问题最流行的方法是首先通过计算一个称为coreset的加权子集来压缩数据，然后在这个子集上运行任何算法。核心集的保证是，对于任何候选解决方案，核心集成本与原始实例成本之间的比率小于$(1\pm \varepsilon)$因子。当前技术水平的核心集大小是$\tilde O(\min(k^{2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-4}))$（用于Euclidean $k$ -均值）和$\tilde O(\min(k^{2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-3}))$（用于Euclidean $k$ -中值）。这两个问题最著名的下界是$Ω(k \varepsilon^{-2})$。本文改进了$k$ -means的上界$\tilde O(\min(k^{3/2} \cdot \varepsilon^{-2},k\cdot \varepsilon^{-4}))$和$k$ -median的上界$\tilde O(\min(k^{4/3} \cdot \varepsilon^{-2},k\cdot \vareps…
2022-11-16 cs.CG cs.LG
Coresets via Bilevel Optimization for Continual Learning and Streaming
ETH Zurich（苏黎世联邦理工学院）
核心集是足够用于模型训练的小数据摘要。它们可以在线维护，从而能够在资源受限的情况下有效处理大型数据流。然而，现有的构造仅限于简单的模型，如k-means和logistic回归。在这项工作中，我们提出了一种新的coreset建设通过基数约束的双层优化。我们展示了我们的框架如何有效地为深度神经网络生成核心集，并展示了它在持续学习和流设置中的经验优势。
2020-10-22 cs.LG stat.ML
EMS Coreset: An Efficient Expectation-Maximization Algorithm for Sinkhorn Coreset
Purdue University（普渡大学）
该研究提出EMS Coreset算法，通过允许非均匀核心集权重实现熵正则化OT耦合的闭式更新，提升了Sinkhorn Coreset的可扩展性，在保证近似质量的同时大幅缩短了大规模数据集处理的运行时间。
2026-08-18 cs.LG stat.ML
Coresets for Estimating Means and Mean Square Error with Limited Greedy Samples
University of California San Diego（加州大学圣地亚哥分校）；Stanford University（斯坦福大学）
在许多情况下，为每个数据点收集函数值可能非常昂贵，并且随机采样忽略了底层数据中的任何结构。我们引入了一个可扩展的优化算法，没有校正步骤（与弗兰克-沃尔夫及其变体相比），梯度上升的变种，在图中的coreset选择，greatly选择被认为是最重要的样本的顶点的加权子集。我们的算法通过仅在这些顶点处取加权和来估计函数的均值，并且我们可证明地限制了图中所选顶点的位置和权重方面的估计误差。此外，我们考虑的情况下，节点有不同的选择成本，并提供低成本的选择coresets的质量上的界限。我们证明了我们的算法的好处图卷积神经网络，点云和结构化图的半监督节点分类，以及传感器的位置，放置传感器的成本取决于位置的放置。我们还阐明，我们提出的方法的经验收敛速度比随机选择和各种聚类方法，同时仍然尊重传感器的放置成本。本文的结论与开发的算法在合成和真实数据集上的验证，表明它优于当前最先进的。
2020-06-22 cs.LG stat.ML
Coresets for Vector Summarization with Applications to Network Graphs
University of Haifa（海法大学）；MIT（麻省理工学院）
我们提供了一种确定性数据汇总算法，其通过$O(1/\eps)$向量的\emph{subset}的加权平均$\tilde{p}$来近似$\REAL^d$中的$n$向量的集合$P$的平均值$\bar{p}=\frac{1}{n}\sum_{p\in P} p$，即，独立于$n$和$d$。我们证明了$\bar{p}$和$\tilde{p}$之间的平方欧氏距离至多是$\eps$乘以$P$的方差。我们使用该算法来保持来自无界流的向量的近似和，使用独立于$d$的存储器，并且迄今为止在$n$向量中是对数的。我们的主要应用是从底层数据交换中提取并以紧凑的方式表示用户的朋友组和活动摘要。例如，在移动网络的情况下，我们可以使用GPS轨迹来识别会议，在社交网络的情况下，我们可以使用信息交换来识别朋友群。我们的算法可证明地识别{ \it重打击}项目的接近（邻接）矩阵。Heavy Hitters可用于从底层数据交换中提取并以紧凑的方式表示用户的朋友组和活动摘要。我们评估了几个大的数据集上的算法。
2017-06-17 cs.LG
Tight Sensitivity Bounds For Smaller Coresets
University of Haifa（海法大学）
$\varepsilon$ -矩阵$A\in{\mathbb{R}}^{n\times d}$的最小均方（LMS）的核心集是其行的一个小加权子集，该子集近似于从其行到${\mathbb{R}}^d$的每个仿射$k$维子空间的平方距离之和，最多为$1\pm\varepsilon$的一个因子。这样的核心集对于超参数调整和解决许多最小均方问题是有用的，例如低秩近似（$k$ -SVD）、$k$ -PCA、Lassso/Ridge/Linear regression等等。Coreset也适用于并行处理流式、动态和分布式大数据。在高概率的情况下，基于$A$中每行的重要性或敏感性的上限的非均匀采样产生coreset。（采样）coreset的大小，然后在这些灵敏度界限的总和接近线性。我们提供的算法，计算可证明的\emph{tight}边界的敏感性，每个输入行。它是基于两个成分：（i）迭代算法，计算精确的灵敏度，每个点到任意小精度（非仿射）$k$ -子空间，和（ii）一般减少的独立利益，从计算灵敏度为家庭的仿射$k$ -子空间在${\mathbb{R}}^d$（非仿射）$(k+1)$ -子空间在${\mathbb{R}}^{d+1}$。真实世界的数据集上的实验结果，包括英文维基百科文档术语矩阵，表明我们的界限提供显着更小的和数据依赖的coresets也在实践中。还提供了完全的开源。
2019-07-02 cs.LG stat.ML
Linear time small coresets for k-mean clustering of segments with applications
University of Haifa（海法大学）；Ben-Gurion University of the Negev（内盖夫本·古里安大学）
本文提出了一种线性时间算法，用于构造小核心集，以高效解决段的k均值聚类问题，并在实时视频跟踪中验证了其有效性。
2025-11-20 cs.CG cs.CV cs.LG
Selective experience replay compression using coresets for lifelong deep reinforcement learning in medical imaging
Rice University（莱斯大学）；McGovern Medical School, UTHealth Houston（德克萨斯大学健康科学中心休斯顿麦戈文医学院）；The Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）；University of Maryland School of Medicine（马里兰大学医学院）
提出一种保持奖励分布的coreset压缩技术，用于压缩终身深度强化学习中的选择性经验回放缓冲区，在医学影像定位任务中验证了其在大幅减少存储的同时能保持模型性能。
2024-01-09 cs.CV cs.LG
Distributed k-Means and k-Median Clustering on General Topologies
Georgia Institute of Technology（佐治亚理工学院）
本文提供了两个流行的中心为基础的目标，k-median和k-means分布式聚类的新算法。这些算法具有可证明的保证，并改善了现有方法的通信复杂性。遵循\cite{har2004coresets}聚类的经典方法，我们将寻找低成本聚类的问题归结为寻找小规模核心集的问题。我们提供了一个分布式的方法来构建一个全球coreset，提高了以前的方法，通过降低通信复杂性，并在一般的通信拓扑结构。在大规模数据集上的实验结果表明，该方法优于其他基于核集的分布式聚类算法。
2020-01-25 cs.DC cs.LG stat.ML
Introduction to Core-sets: an Updated Survey
University of Haifa（海法大学）
在优化或机器学习问题中，我们被赋予一组项目，通常是一些度量空间中的点，目标是在一些候选解空间上最小化或最大化目标函数。例如，在聚类问题中，输入是某个度量空间中的一组点，而一个共同的目标是计算另一个空间（点、线）中的一组中心，以最小化到这些点的距离之和。在数据库查询中，我们可能需要为$k$中心的特定查询集计算这样的some。然而，传统算法无法处理现代系统，这些系统需要对来自传感器（如GPS）的无限分布式流进行并行实时计算，音频或视频到达云端，或智能手机或机器人等较弱设备的网络。核心集是输入“大数据”的“小数据”摘要，其中每个可能的查询在两个数据集上都具有大致相同的答案。通用技术使得能够对流式、分布式和动态数据进行有效的核心重置\changed{maintenance}。传统的算法，然后可以应用于这些coreset保持近似的最优解。挑战是设计coresets与可证明的权衡之间的大小和近似误差。本文以回顾的方式对此类结构进行了总结，旨在统一和简化现有的结构。
2020-11-18 cs.AI cs.CG cs.DS
Sensitivity Sampling with Predictions for k-Means Clustering
University of Padova（帕多瓦大学）
研究k均值聚类问题，利用预测近似输入点重要性以降低基于敏感性的方法运行时间，证明相关理论对更粗敏感性近似成立，提出自然预测器并通过实验验证其优势。
2026-07-07 cs.DS cs.LG
Near-Optimal Quantum Coreset Construction Algorithms for Clustering
Peking University（北京大学）
本文提出用于 $k$-聚类的量子核心集构造算法，以 $\tilde{O}(\sqrt{nk}d^{3/2})$ 查询复杂度实现二次加速，并给出近乎匹配的 $Ω(\sqrt{nk})$ 下界。
2023-06-05 cs.AI cs.DS cs.LG
A Unified Framework for Approximating and Clustering Data
California Institute of Technology（加州理工学院）；Open University of Israel（以色列开放大学）
给定一个基集$X$上的$n$正函数的集合$F$，我们考虑在$x\in X$上最小化表达式$\sum_{f\in F}f(x)$的$x^*$的计算问题.一个典型的应用是\emph{shape fitting}，其中我们希望通过来自（可能是无限的）形状族$X$的形状$x$来近似$n$元素（例如点）的集合$P$。这里，每个点$p\in P$对应于函数$f$，使得$f(x)$是从$p$到$x$的距离，并且我们寻求使$P$中的每个点的距离之和最小化的形状$x$。在$k$聚类变体中，每个$x\in X$是$k$形状的元组，而$f(x)$是从$p$到其在$x$中最接近的形状的距离.我们的主要结果是一个统一的框架，用于构建{ \em coresets}和{ \em近似聚类}，这样的一般功能集。为了实现我们的结果，我们锻造之间的联系，从PAC学习和VC维理论的经典和定义良好的概念$\varepsilon$ -近似，相对较新的（不那么一致）范式的coresets，这是某种“压缩表示”的输入集$F$。使用传统的技术，coreset通常意味着相应的优化问题的LTAS（线性时间近似方案），它可以并行计算，通过一次通过数据，并且只使用多对数空间（即，在流模型中）。我们将展示如何推广我们的框架的平方距离（如在$k$ -平均），距离$q$次幂，和确定性的结构的结果。
2016-05-28 cs.LG
MAC: An Efficient Gradient Preconditioning using Mean Activation Approximated Curvature
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）；University of Georgia（佐治亚大学）；Hanyang University（翰阳大学）
提出MAC方法，通过近似KFAC中Fisher信息矩阵的Kronecker因子，降低二阶优化计算负担，并首次将Kronecker分解应用于Transformer注意力层，在多种网络和数据集上优于KFAC等现有方法。
2025-11-11 cs.LG
A Distributed and Approximated Nearest Neighbors Algorithm for an Efficient Large Scale Mean Shift Clustering
University of Paris 13（巴黎第十三大学）
在本文中，我们的目标是一类的模式聚类方法，其中集群的概率密度函数，生成的数据的局部模式的定义。最著名的模态聚类方法是k均值聚类。Mean Shift聚类是k-means聚类的一种推广，它计算任意形状的聚类，定义为密度梯度上升路径创建的局部模式的吸引盆。尽管Mean Shift方法具有潜力，但对于无监督学习来说，它是一种计算成本很高的方法。因此，我们介绍了两个贡献，旨在提供一个线性的时间复杂度的聚类算法，而不是二次时间复杂度的精确均值漂移聚类。首先，我们提出了一个可扩展的过程来近似密度梯度上升。其次，我们提出了可扩展的集群标记技术。这两个命题都是基于局部敏感哈希（LSH）来近似最近的邻居。这两种技术可用于中等大小的数据集。此外，我们表明，使用我们提出的密度梯度上升的近似值作为其他聚类方法的预处理步骤，也可以提高专用的分类指标。对于后者，提出了一个为Spark/Scala生态系统编写的分布式实现。对于所有这些考虑聚类方法，我们提出了实验结果，说明他们的标签的准确性和解决具体问题的潜力。
2019-02-11 cs.AI cs.DC cs.LG
Approximated and User Steerable tSNE for Progressive Visual Analytics
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）
渐进式可视化分析旨在通过可视化以及与中间结果的交互来改善现有分析技术的交互性。数据分析的一个关键方法是降维，例如，生成可以有效可视化和分析的2D嵌入。t分布随机邻域嵌入（tSNE）是一种非常适合于高维数据可视化的技术。tSNE可以创建有意义的中间结果，但初始化速度较慢，这限制了它在渐进式可视化分析中的应用。我们引入了一个可控的tSNE近似（A-tSNE），它权衡了速度和准确性，以实现交互式数据探索。我们提供实时可视化技术，包括基于密度的解决方案和用于检查近似程度的Magic Lens。有了这个反馈，用户可以决定在分析过程中的局部细化和操纵近似水平。我们展示了我们的技术与几个数据集，在现实世界的研究方案和高维流的实时分析，以说明其有效性的交互式数据分析。
2016-06-16 cs.CV cs.LG
Sets Clustering
Robotics & Big Data Lab, Department of Computer Science, University of Haifa（海法大学计算机科学系机器人与大数据实验室）；University of Haifa（海法大学）
\emph{sets-$k$-means}问题的输入是整数$k\geq 1$和$\mathbb{R}^d$中的集合的集合$\mathcal{P}=\{P_1,\cdots,P_n\}$。目标是计算$\mathbb{R}^d$中$k$中心（点）的集合$C$，该集合最小化到这些集合的平方距离之和$\sum_{P\in \mathcal{P}} \min_{p\in P, c\in C}\left\| p-c \right\|^2$。对于$\mathbb{R}^d$中的$k$中心的\emph{every}集$C$，该问题的\emph{$\varepsilon$-core-set}是$\mathcal{P}$的加权子集，其将该和近似为$1\pm\varepsilon$因子。我们证明了这样一个核心集的$O(\log^2{n})$集总是存在的，并可以计算在$O(n\log{n})$时间，每个输入$\mathcal{P}$和每个固定的$d,k\geq 1$和$\varepsilon \in (0,1)$。结果很容易推广到任何度量空间，$z>0$的幂的距离，和处理离群值的M-估计。应用一个效率低下，但最佳的算法在这个coreset允许我们获得第一PTAS（$1+\varepsilon$近似）的集合- $k$ -意味着问题，需要时间接近线性的$n$。这是第一个结果，即使是平面上的集合均值（$k=1$…
2020-03-09 cs.LG stat.ML
