Gradient Coreset for Federated Learning
IIT Bombay（印度理工学院孟买分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出GCFL算法，在联邦学习中周期性选择梯度核心集以降低计算和通信开销，同时提升对客户端数据噪声的鲁棒性并保护验证集隐私。
2024-01-13 cs.LG
Coresets for Wasserstein Distributionally Robust Optimization Problems
School of Data Science（数据科学学院）；School of Computer Science and Technology（计算机科学与技术学院）；City University of Hong Kong（香港城市大学）；University of Science and Technology of China（中国科学技术大学）
本文提出一种统一框架，利用强对偶性质为一般Wasserstein分布鲁棒优化问题构建ε-核心集，并设计网格采样方法，以降低计算复杂度并保证误差。
2023-05-09 cs.LG
Rk-means: Fast Clustering for Relational Data
relational AI；Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Oxford University（牛津大学）
传统的机器学习算法不能被应用，直到数据矩阵可用于处理。当需要经由特征提取查询从关系数据库获得数据矩阵时，由于数据矩阵可能比总输入关系大小大（多），计算成本可能是过高的。本文介绍了Rk-均值，或关系k -均值算法，聚类关系数据元组，而不必访问完整的数据矩阵。这样，我们就不必运行昂贵的特征提取查询并存储其输出。我们的算法利用关系数据中的底层结构。它涉及构建数据矩阵的小{ \it网格核心集}，用于后续的集群构建。这给出了k均值目标的恒定近似，同时与首先运行数据库查询然后聚类的标准方法相比具有渐进的运行时改进。实证结果显示了数量级的加速，Rk均值在数据库上的运行速度甚至比计算数据矩阵更快。
2019-10-11 cs.DB cs.LG stat.ML
Probabilistic Bilevel Coreset Selection
The Hong Kong University of Science and Technology（香港科技大学）；Google Research（谷歌研究院）
在监督学习中，核心集选择的目标是产生一个加权的数据子集，这样只对子集进行训练就可以达到与对整个数据集进行训练相似的性能。现有的方法在资源受限的情况下，如持续学习和流式传输，取得了可喜的成果。然而，现有的算法大多局限于传统的机器学习模型。一些可以处理大型模型的算法采用贪婪搜索方法，因为难以解决离散子集选择问题，当coreset变得更大时，计算成本很高，并且经常产生次优结果。在这项工作中，我们第一次提出了一个连续的概率双层制定coreset选择通过学习每个训练样本的概率权重。该算法的总体目标是一个两层优化问题，其中1）内循环采样核心重置并训练模型收敛; 2）外循环根据模型的性能逐步更新采样概率。重要的是，我们开发了一个有效的解决方案，通过无偏的策略梯度的双层优化问题，没有隐式微分的麻烦。我们提供了我们的训练过程的收敛性，并证明了我们的算法在各种任务中对各种核心集选择方法的优越性，特别是在更具挑战性的标签噪声和类不平衡的情况下。
2023-01-24 cs.LG
Rethinking Dataset Distillation for Classification: Do Distilled Sets Outperform Coresets?
Dolby Laboratory（杜比实验室）
本文通过大规模标准化实验评估七种最先进的数据集蒸馏方法，发现其在大型数据集上性能不如或仅相当于核心集，且构建成本更高，核心集在数据分布覆盖和计算效率上更具优势。
2026-11-04 cs.LG
Training Support Vector Machines using Coresets
MIT（麻省理工学院）
我们提出了一种新的核心集的建设算法，解决分类任务，使用支持向量机（SVMs）在计算效率的方式。核心集是原始数据点的加权子集，它可证明地近似于原始集合。我们发现，在$n$和$d$多项式的大小coresets存在一组$n$输入点与$d$功能，并提出了一个$(ε,δ)$ -FPRAS构建coresets可扩展的SVM训练。我们的方法利用的洞察力，数据点往往是冗余的，并使用一个重要性采样计划的基础上，每个数据点的敏感性，有效地构建coresets。我们评估了我们的算法在加速SVM训练对现实世界的数据集的性能，并比较我们的算法的最先进的coreset方法。我们的实证结果表明，我们的方法优于一个国家的最先进的coreset方法和均匀采样，使计算加速，同时实现低近似误差。
2017-11-10 cs.DS cs.LG
An Empirical Evaluation of $k$-Means Coresets
Aarhus University（奥胡斯大学）
核心集是汇总数据最流行的范例之一。特别是在理论和实践中，对于聚类问题，如$k$ -means，存在许多高性能的核心集。奇怪的是，目前还没有比较可用的$k$ -均值核心集的质量的工作。在本文中，我们进行这样的评价。目前还没有已知的算法来测量候选核心集的失真。我们提供了一些证据，为什么这可能是计算困难。为了补充这一点，我们提出了一个基准，我们认为，计算coresets是具有挑战性的，这也使我们能够一个简单的（启发式）评价coresets。使用这个基准测试和真实世界的数据集，我们进行了详尽的评估最常用的coreset算法从理论和实践。
2022-07-03 cs.DS cs.LG
Wasserstein Measure Coresets
Massachusetts Institute of Technology（麻省理工学院）
大数据集和贝叶斯推断技术的激增激发了对更好的数据稀疏化的需求。核心集提供了一种原则性的方法，通过一个较小的数据集来总结一个大型数据集，该数据集保证在特定问题上与完整数据集的性能相匹配。然而，经典的核心集忽略了底层的数据分布，这往往是连续的。我们通过引入Wasserstein测度coresets来解决这一疏忽，这是coresets的一个扩展，根据定义，它考虑到了泛化。我们制定的问题，这基本上是在最小化的瓦瑟斯坦距离，是通过随机梯度下降可解的。这就产生了一个算法，它只需要样本访问数据分布，并能够处理大型数据流的在线方式。我们验证我们的建设推理和聚类。
2020-03-02 cs.LG stat.ML
First-order Constrained Trilevel Optimization Over Distributed Networks for Robust Coreset Selection
该研究针对分布式边缘网络的海量数据问题，提出F²CTO方法，将分布式鲁棒核心集选择建模为带层级约束的三层优化问题，其收敛速率为O(ε^(-3/2))，经实证验证有效高效。
2026-07-31 cs.LG
Adaptive Second Order Coresets for Data-efficient Machine Learning
University of California, Los Angeles（加州大学洛杉矶分校）
在大规模数据集上训练机器学习模型会产生大量的计算成本。为了减轻这样的成本，一直在持续努力开发数据高效的训练方法，该方法可以仔细选择与完整训练数据同等地概括的训练样本的子集。然而，现有的方法是有限的，在提取的子集上训练的模型的质量提供理论保证，并可能在实践中表现不佳。我们提出了AdaCore，一种利用数据的几何形状来提取训练样本子集的方法，用于高效的机器学习。我们的方法背后的关键思想是动态近似的损失函数的曲率通过指数平均估计的海森选择加权子集（coresets），提供了一个密切的近似与海森预处理的全梯度。我们证明了严格的保证收敛的各种第一和第二阶的方法应用到AdaCore选择的子集。我们广泛的实验表明，与基线相比，AdaCore提取的核心集质量更高，并加快了凸和非凸机器学习模型（如逻辑回归和神经网络）的训练速度，在完整数据上超过2.9倍，在随机子集上超过4.5倍。
2022-07-28 cs.LG
Improving Model Classification by Optimizing the Training Dataset
DataHeroes, Inc.（DataHeroes公司）
本文提出通过引入确定性采样、类别分配和主动采样等可调参数来优化核心集生成过程，从而在分类指标上超越传统核心集和全数据集训练，实现更高效的模型训练。
2025-07-22 cs.LG
PICore: Physics-Informed Unsupervised Coreset Selection for Data Efficient Neural Operator Training
Department of Computer Science（计算机科学系）；University of Maryland, College Park（马里兰大学学院公园分校）；Georgia Institute of Technology（佐治亚理工学院）；Department of Mathematics（数学系）；Center for Scientific Computation and Mathematical Modeling（科学计算与数学建模中心）
PICore提出无监督核心集选择框架，利用物理信息损失挑选最具信息量的未标注训练样本，仅模拟所选子集以降低标注和训练成本，在四个PDE基准上平均训练效率提升达78%且精度损失极小。
2025-10-25 cs.LG
Coresets via Bilevel Optimization for Continual Learning and Streaming
ETH Zurich（苏黎世联邦理工学院）
核心集是足够用于模型训练的小数据摘要。它们可以在线维护，从而能够在资源受限的情况下有效处理大型数据流。然而，现有的构造仅限于简单的模型，如k-means和logistic回归。在这项工作中，我们提出了一种新的coreset建设通过基数约束的双层优化。我们展示了我们的框架如何有效地为深度神经网络生成核心集，并展示了它在持续学习和流设置中的经验优势。
2020-10-22 cs.LG stat.ML
Black-box Coreset Variational Inference
Amazon（亚马逊）；Meta；Insitro
核心集方法的最新进展表明，选择有代表性的数据点可以取代大量的数据进行贝叶斯推断，保留相关的统计信息，并显着加快后续的下游任务。现有的变分coreset的建设依赖于要么选择子集的观察到的数据点，或共同执行近似推理和优化伪数据在观察到的空间类似于高斯过程中的诱导点的方法。到目前为止，这两种方法是有限的，在评估其目标的通用模型的复杂性，并需要在整个推理和测试过程中生成一个典型的棘手的后验样本的核心集。在这项工作中，我们提出了一个黑箱的变分推断框架coresets，克服了这些限制，使原则上的应用变分coresets棘手的模型，如贝叶斯神经网络。我们将我们的技术应用于监督学习问题，并将其与文献中现有的数据汇总和推理方法进行比较。
2023-01-15 cs.LG stat.ML
Towards Sustainable Learning: Coresets for Data-efficient Deep Learning
University of California Los Angeles（加州大学洛杉矶分校）；Georgia Institute of Technology（佐治亚理工学院）
本文提出可扩展且有理论保证的 CREST 框架，通过二次子区域核心集与小批量选择加速深度网络训练，并在多类视觉和 NLP 数据集上实现 1.7–2.5 倍加速。
2023-06-02 cs.LG
On Coresets for Support Vector Machines
University of Haifa（海法大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对大数据和流媒体应用中的大规模支持向量机（SVM）训练问题，提出了一种高效的核心集构造算法。核心集是原始数据点的一个小的、有代表性的子集，使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。由于核心集的大小通常比原始集小得多，因此我们的预处理然后训练方案在训练SVM模型时有可能导致显着的加速。我们证明了上下限的coreset的大小需要获得小的数据摘要的SVM问题。作为一个必然的结果，我们表明，我们的算法可以用来扩展任何现成的SVM求解器的适用性流，分布式和动态数据设置。我们评估我们的算法在现实世界和合成数据集的性能。我们的实验结果证实了我们的算法的理论性能良好，并证明了其在加速SVM训练的实际有效性。
2020-02-15 cs.LG stat.ML
Coreset Clustering on Small Quantum Computers
Princeton University（普林斯顿大学）；University of Chicago（芝加哥大学）
许多用于机器学习的量子算法需要访问叠加的经典数据。然而，对于许多自然数据集和算法，加载叠加的数据集所需的开销可以消除任何潜在的量子加速超过经典算法。Harrow最近的工作在混合量子经典计算中引入了一种新的范式来解决这个问题，依赖于coreset来最小化量子算法的数据加载开销。我们研究使用这种范式来执行$k$ -意味着集群在近期量子计算机，通过铸造它作为一个QAOA优化实例在一个小coreset。我们比较这种方法的性能，经典的$k$ -均值聚类数值和实验IBM Q硬件。我们能够找到的数据集coreset工作以及相对于随机抽样，QAOA可能会超过标准的$k$ -手段coreset。然而，找到同时具有核心集和QAOA的数据集--这对于超过$k$的量子优势是必要的--意味着整个数据集--似乎是具有挑战性的。
2020-04-30 cs.LG quant-ph
Bayesian Coreset Optimization for Personalized Federated Learning
Department of Computer Science（计算机科学系）；Indian Institute of Technology Bombay（印度理工学院班加罗尔）
针对联邦学习中客户端在全量数据上训练繁琐的问题，提出个性化核心集加权联邦学习框架，仅基于核心集代表性数据点更新模型，理论证明其泛化误差达极小化极大最优，并在多基准与医疗数据集上取得显著性能提升。
2025-11-03 cs.LG
Online Coreset Selection for Rehearsal-based Continual Learning
KAIST（韩国科学技术院）；New York University（纽约大学）；AITRICS
数据集是描述一项任务的关键证据。然而，数据集中的每个数据点并不具有相同的潜力，因为一些数据点可能比其他数据点更具代表性或信息性。数据点之间的这种不平等的重要性可能会对基于排练的持续学习产生很大的影响，在这种情况下，我们存储训练样本的子集（coreset），以便稍后重播，以减轻灾难性遗忘。在持续学习中，核心集存储样本的质量直接影响模型的有效性和效率。核心集的选择问题变得更加重要的现实设置下，如不平衡的持续学习或嘈杂的数据场景。为了解决这个问题，我们提出了在线Coreset选择（OCS），一个简单而有效的方法，选择最具代表性和信息coreset在每次迭代和培训他们在网上的方式。我们提出的方法最大限度地提高了模型对当前数据集的适应性，同时选择了与过去任务具有高亲和力的样本，这直接抑制了灾难性遗忘。我们验证了我们的coreset选择机制的有效性，在各种标准的，不平衡的，和嘈杂的数据集对强大的持续学习基线，表明它提高了任务的适应性，并防止灾难性遗忘的样本效率的方式。
2022-03-18 cs.CV cs.LG
AutoCoreset: An Automatic Practical Coreset Construction Framework
Massachusetts Institute of Technology (MIT)（麻省理工学院（MIT））；DataHeroes；Rice University（莱斯大学）
针对现有 coreset 构建方法依赖特定问题且需额外计算的问题，本文提出 AutoCoreset 框架，仅需输入数据和成本函数，通过将损失函数近似转化为向量求和近似，实现即插即用的通用 coreset 构建，并验证了其有效性。
2023-05-19 cs.LG
Data-efficient flood depth prediction through domain-aware coreset selection and tabular foundation models
Urban Resilience.AI Lab（Urban Resilience.AI实验室）；Zachry Department of Civil and Environmental Engineering, Texas A&M University（Zachry土木与环境工程系，德克萨斯A&M大学）；Department of Computer Science and Engineering, Texas A&M University（计算机科学与工程系，德克萨斯A&M大学）；Resilitix Intelligence LLC；Institute for a Disaster Resilient Texas, Texas A&M University（德克萨斯灾难韧性研究所，德克萨斯A&M大学）
提出一种领域感知的核心集构建流程，结合表格基础模型，仅用0.7%的训练数据即可实现与监督模型相当的洪水深度预测精度，并支持跨流域迁移。
2026-11-09 cs.LG
Data-Efficient Training of CNNs and Transformers with Coresets: A Stability Perspective
Transmute AI Lab（Transmute AI实验室）；UiT The Arctic University of Norway（挪威北极大学UiT）；Immersal（Immersal公司）
核心集选择是减少CNN训练时间的最有效方法之一，然而，在核心集大小变化以及数据集和模型选择的情况下，所得模型的行为方式有限。此外，考虑到最近的范式转移到变压器为基础的模型，它仍然是一个悬而未决的问题，如何coreset选择会影响他们的表现。有几个类似的有趣的问题，需要回答广泛接受的核心选择方法，本文试图回答其中的一些。我们提出了一个系统的基准测试设置，并对CNN和Transformers的不同核心选择方法进行了严格的比较。我们的研究表明，在某些情况下，随机选择的子集是更强大和稳定的SOTA选择方法相比。我们表明，传统的概念，均匀的子集抽样的各种类别的数据是不合适的选择。相反，应该根据每个类的数据分布的复杂性自适应地选择样本。Transformers通常在大型数据集上进行预训练，并且我们表明，对于某些目标数据集，即使在非常小的核心集大小下，它也有助于保持其性能稳定。我们进一步表明，当没有进行预训练时，或者当预训练的Transformer模型与非自然图像（例如医疗数据）一起使用时，即使在非常小的核心集大小下，CNN也倾向于比Transformers更好地泛化。最后，我们证明了在没有正确的预训练的情况下，CNN更善于学习图像中空间距离较远的对象之间的语义一致性，并且在几乎所有的核心集大小选择上，CNN的表现往往优于Transformers。
2023-03-10 cs.CV cs.LG
Pruning Neural Networks via Coresets and Convex Geometry: Towards No Assumptions
University of Haifa（海法大学）
剪枝是压缩深度神经网络（DNN）的主要方法之一。最近，coresets（可证明的数据摘要）被用来修剪DNN，增加了压缩率和近似误差之间的理论保证的优势。然而，在这一领域的coreset要么依赖于数据或模型的权重和输入的限制性假设下产生的。在现实世界的场景中，这样的假设很少得到满足，限制了coreset的适用性。为此，我们提出了一种新的和强大的框架，用于计算这种coresets下温和的假设模型的权重，没有任何假设的训练数据。这个想法是计算每一层中每个神经元相对于下一层输出的重要性。这是通过Löwner椭球和Caratheodory定理的结合来实现的。我们的方法同时是数据独立的，适用于各种网络和数据集（由于简化的假设），并在理论上得到支持。实验结果表明，我们的方法优于现有的基于coreset的神经修剪方法在广泛的网络和数据集。例如，我们的方法在ImageNet上的ResNet50上实现了$62\%$压缩率，但准确度下降了$1.09\%$。
2022-09-18 cs.AI cs.LG
Coresets for Gaussian Mixture Models of Any Shape
University of Haifa（海法大学）
对于给定的$n$点集合$D$，$\varepsilon$ -核心集通常是一个小的加权集合，这样对于给定的查询族，查询核心集\emph{provably}产生原始（完整）数据集的$(1+\varepsilon)$ -因子近似.使用现有技术，可以在例如网络、GPU或云上并行地为流式传输、动态（插入/删除）和分布式数据维护核心集。我们建议的第一coresets近似的负对数似然$k$ -高斯混合模型（GMM）的任意形状（其协方差矩阵的特征值之间的比率）。例如，对于其坐标在$[-n^{100},n^{100}]$中为整数的任何输入集$D$和任何固定的$k,d\geq 1$，核心集大小为$(\log n)^{O(1)}/\varepsilon^2$，并且可以以高概率在$n$中在时间上接近线性地计算。然后，通过学习小的核心集，可以快速近似最优GMM。以前的结果[NIPS'11，JMLR'18]表明，对于半特殊单位高斯的情况，其中它们的对应特征值是在$\frac{1}{2π}$到$2π$之间的常数。我们的主要技术是一个减少之间的核心$k$ -甘精胰岛素和投影聚类问题。我们实现了我们的算法，并提供了开放的代码，和实验结果。由于我们的核心集是通用的，对GARCH没有特殊的依赖，我们希望它们对许多其他函数有用。
2019-06-12 cs.LG stat.ML
Coresets from Trajectories: Selecting Data via Correlation of Loss Differences
Purdue University（普渡大学）
针对深度学习在资源受限场景的可扩展性挑战，提出高效核心集选择指标CLD，通过样本与验证集损失轨迹的对齐筛选高价值训练样本，兼具理论保证与优异的跨数据集、跨架构性能及稳定性。
2025-11-19 cs.LG
Robust Coreset Construction for Distributed Machine Learning
Pennsylvania State University（宾夕法尼亚州立大学）；IBM T. J. Watson Center（IBM托马斯·J·沃森研究中心）；Army Research Laboratory（美国陆军研究实验室）
Coreset是在同一样本空间中以小加权集的形式对原始数据集的总结，它提供了一种有前途的方法，可以在分布式数据上实现机器学习。虽然被视为原始数据集的代理，但每个核心集仅被设计为近似特定机器学习问题的成本函数，因此通常需要不同的核心集来解决不同的机器学习问题，从而增加了通信开销。我们解决这个困境，通过开发强大的coreset建设算法，可以支持各种机器学习问题。基于经验证据表明，适当加权的k-聚类中心提供了一个强大的coreset，我们加强了观察，建立理论条件下，coreset提供了一个保证近似范围广泛的机器学习问题，并开发集中式和分布式算法来生成满足条件的coreset。通过在不同数据集上的大量实验，验证了所提出的算法在监督学习和无监督学习问题上的鲁棒性。
2020-06-22 cs.DS cs.LG stat.ML
Performance analysis of coreset selection for quantum implementation of K-Means clustering algorithm
The University of Melbourne（墨尔本大学）
预计量子计算将提供巨大的计算能力，可以为许多数据科学问题提供有效的解决方案。然而，目前这一代的量子器件体积小且有噪声，这使得处理与实际问题相关的大型数据集变得困难。核心集选择的目的是规避这个问题，减少输入数据的大小，而不损害的准确性。最近的工作表明，核心集选择可以帮助实现量子K-Means聚类问题。然而，核集选择对量子K-Means聚类性能的影响尚未被探索。在这项工作中，我们比较了两种coreset技术（BFL 16和ONESHOT）的相对性能，以及在每种情况下coreset构造的大小，相对于各种数据集和布局的优点和限制coreset选择在实现量子算法。我们还研究了去极化量子噪声和比特翻转误差的影响，并实现了量子自动编码器技术，以克服噪声的影响。我们的工作为未来在近期量子设备上实现数据科学算法提供了有用的见解，其中问题大小已通过核心集选择减少。
2022-06-16 cs.ET cs.LG quant-ph
Coresets for Kernel Regression
University of Utah（犹他大学）
核回归是非参数数据分析的一个基本和普遍的工具，特别是在时间序列和空间数据中。然而，执行多次的中央操作，在数据集上评估内核，需要线性时间。这对于现代大型数据集是不切实际的。在本文中，我们描述核回归的核心集：压缩的数据集，可以作为原始数据的代理，并有可证明的有界最坏情况下的错误。核心集的大小与数据点的原始数量无关，而只取决于误差保证，在某些情况下还取决于域的大小和平滑量。我们评估我们的方法非常大的时间序列和空间数据，并证明，它们产生的误差可以忽略不计，可以非常有效地构建，并允许巨大的计算收益。
2017-05-31 cs.DS cs.LG
Coverage-centric Coreset Selection for High Pruning Rates
University of Michigan（密歇根大学）
一次性核心集选择的目的是选择一个有代表性的子集的训练数据，给定的修剪率，可以稍后用于训练未来的模型，同时保持高精度。国家的最先进的核心选择方法挑选最高的重要性的例子的基础上的重要性度量，并发现在低修剪率表现良好。然而，在高修剪率下，它们遭受灾难性的准确性下降，甚至比随机抽样更糟糕。本文从理论和实证两个方面探讨了这种准确性下降背后的原因。我们首先通过将经典的几何集合覆盖问题扩展为分布覆盖问题，提出了一种新的度量标准来衡量数据集在特定分布上的覆盖。这个度量有助于解释为什么SOTA方法在高修剪率下选择的核心集与随机抽样相比表现不佳，因为数据覆盖率更差。然后，我们提出了一种新的一杆核心选择方法，覆盖率为中心的核心选择（CCS），共同考虑整体数据覆盖率的分布以及每个例子的重要性。我们在五个数据集上评估了CCS，结果表明，在高修剪率下（例如，90%），它实现了比以前的SOTA方法（例如，在CIFAR10上至少高19.56%）以及随机选择（例如，在CIFAR10上高出7.04%），并且在低修剪率下具有相当的准确性。我们在https://github.com/haizhongzheng/Coverage-centric-coreset-selection上公开发布我们的代码。
2023-03-06 cs.AI cs.LG
Universal Weak Coreset
Indian Institute of Technology Delhi（印度理工学院德里分校）
本文提出通用弱核心集框架，通过将点集摘要与潜在中心集合分离，在带约束的$k$-means和$k$-median问题中实现更高数据压缩率，并适用于广泛的约束聚类场景。
2023-05-26 cs.DS cs.LG
On Coreset Constructions for the Fuzzy $K$-Means Problem
Paderborn University（帕德博恩大学）
模糊$K$ -均值问题是将著名的$K$ -均值问题推广到软聚类的一种流行的方法。我们提出了第一个coresets的模糊$K$ -意味着尺寸线性的尺寸，多项式的聚类数，和多对数的点数。我们表明，这些coresets可以采用在计算的$(1+ε)$ -近似模糊$K$ -手段，改善以前提出的结果。我们进一步表明，我们的coresets可以保持在一个只插入流设置，数据点到达一个接一个。
2018-09-27 cs.DS cs.LG
No Dimensional Sampling Coresets for Classification
Kahlert School of Computing, University of Utah（犹他大学卡勒特计算机学院）；ScaDS.AI, University of Leipzig（莱比锡大学ScaDS.AI）；MPI for Math in the Sciences（马克斯·普朗克数学科学研究所）
本文通过敏感度采样框架提出无维度核心集，其大小不依赖维度，适用于分布式输入和多种损失函数，并开发了 Radamacher 复杂度版本的关键工具。
2024-07-22 cs.CG cs.LG
Deep Model Interpretation with Limited Data : A Coreset-based Approach
University of Antwerp（安特卫普大学）；imec
针对现有模型解释方法计算成本高、小数据集易导致洞见不足的问题，提出基于核心集的解释框架及相似性评估协议，实验验证了其有效性。
2024-10-04 cs.CV cs.LG
The Impact of Coreset Selection on Spurious Correlations and Group Robustness
Princeton University（普林斯顿大学）；FAIR at Meta（Meta 的 FAIR 实验室）
该研究首次全面分析核心集选择对虚假偏差及下游模型鲁棒性的影响，通过多基准、多指标、多策略的实验揭示相关作用规律，指出优先选困难样本的方法虽能降偏差但无法可靠保证下游鲁棒性。
2025-10-20 cs.CV cs.LG
Coresets for Dependency Networks
TU Dortmund（多特蒙德工业大学）；TU Darmstadt（达姆施塔特工业大学）
许多应用从数据中推断概率图模型的结构，以阐明变量之间的关系。但是，我们如何在海量数据集上训练图形模型呢？在本文中，我们展示了如何构建核心集-压缩数据集，可以用作原始数据的代理，并具有可证明的有界最坏情况误差-对于高斯依赖网络（DN），即，高斯循环有向图模型，其中每个变量的父母是它的马尔可夫毯。具体来说，我们证明了高斯DN承认coresets的大小独立的数据集的大小。不幸的是，这并不适用于一般指数族成员上的DN。正如我们将证明的那样，泊松DN不允许小的核心集。尽管这个最坏的情况下的结果，我们将提供一个论点，为什么我们的核心建设DN仍然可以在实践中计数数据。为了证实我们的理论结果，我们在真实数据集上对所得的核心DN进行了经验评估。结果
2017-10-16 cs.AI cs.LG stat.ML
Coreset-Based Adaptive Tracking
Indian Institute of Technology（印度理工学院）；Google（谷歌）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种方法，用于学习流视觉数据使用一个紧凑的，恒定大小的表示，直到一个给定的时刻看到的所有数据。具体来说，我们构建了一个'coreset'表示流数据使用并行算法，这是一个近似的一组关系到这个集合和所有其他点在其周围空间的平方距离。我们学习一个自适应的目标外观模型从coreset树在常数时间和对数空间，并使用它的目标跟踪检测。我们的方法在三个标准数据集上超过100个视频的对象跟踪获得了优异的结果。有效总结数据的能力使我们的方法非常适合在存在空间和时间限制的情况下跟踪长视频。我们通过在平均2685帧的数据集上优于各种算法来证明这种能力。这种基于核心集的学习方法既可以用于小数据的实时学习，也可以用于大数据的快速学习。
2015-11-19 cs.CV cs.LG
Robust and Fully-Dynamic Coreset for Continuous-and-Bounded Learning (With Outliers) Problems
University of Science and Technology of China（中国科学技术大学）；ByteDance AI Lab（字节跳动人工智能实验室）
在许多机器学习任务中，处理大规模数据的常见方法是构建小摘要，{ \em e.g.} coreset，它可以有效地表示原始输入。然而，现实世界的数据集通常包含离群值，并且大多数现有的coreset构造方法对离群值没有弹性（特别是，离群值可以由对抗性攻击者在空间中任意定位）。在本文中，我们提出了一种新的鲁棒coreset方法，用于{ \em continuous-and-bounded learning}问题（具有离群值），其中包括机器学习中广泛的流行优化目标，{ \em e.g.}逻辑回归和$ k $ -均值聚类。此外，我们的鲁棒coreset可以有效地保持在全动态环境中。据我们所知，这是第一个强大的和完全动态的coreset建设方法，这些优化问题。另一个亮点是，我们的核心集大小可以取决于参数空间的双倍维数，而不是目标函数的VC维数，这可能非常大，甚至难以计算。最后，我们在真实世界的数据集上进行实验，以评估我们提出的鲁棒coreset方法的有效性。
2022-01-21 cs.DS cs.LG stat.ML
On Coresets for Logistic Regression
TU Dortmund University（多特蒙德工业大学）；Sapienza University of Rome（罗马大学）；Carnegie Mellon University（卡内基梅隆大学）
核心集是促进大型数据集分析的核心方法之一。我们继续最近的一系列研究，将核心集理论应用于逻辑回归。首先，我们证明了一个否定的结果，即逻辑回归不存在强次线性大小的核心集。为了处理棘手的最坏情况下的情况下，我们引入了一个复杂性度量$μ(X)$，它量化了压缩逻辑回归数据集的难度。$μ(X)$具有直观的统计学解释，可能具有独立意义。对于有界$μ(X)$ -复杂度的数据集，我们证明了一种新的灵敏度采样方案产生了第一个可证明的次线性$(1\pm\varepsilon)$ -coreset。我们通过与均匀采样以及该领域最先进的方法进行比较来说明我们的方法的性能。实验是在真实世界的逻辑回归基准数据上进行的。
2021-03-08 cs.DS cs.LG stat.ML
One-Shot Coresets: The Case of k-Clustering
ETH Zurich（苏黎世联邦理工学院）；Google Brain（谷歌大脑）；Google Research（谷歌研究院）
将聚类算法扩展到海量数据集是一项具有挑战性的任务。近年来，基于核心集和草图的数据摘要方法被提出。虽然这些技术提供了可证明的好的和小的摘要，但它们本质上是依赖于问题的-从业者必须在探索数据之前致力于固定的聚类目标。然而，人们可以同时为大范围的聚类问题构建小数据摘要吗？在这项工作中，我们肯定地回答了这个问题，提出了一个有效的算法，构建这样的一次性摘要k-聚类问题，同时保留强有力的理论保证。
2018-02-20 cs.LG stat.ML
Group-invariant Coresets for Data-efficient Active Learning
Universidade Federal de Santa Catarina（圣卡塔琳娜联邦大学）；Universidade Católica de Pelotas（佩洛塔斯天主教大学）；Université de Lorraine, CNRS, CRAN（洛林大学，法国国家科学研究中心，自动控制与信号处理研究中心）
提出GRINCO框架，通过变换群诱导的商空间进行核心集选择，避免对同一实例变换版本重复标注，结合商空间k-center选择和轨道平均损失，实现更高效的主动学习。
2026-07-02 cs.LG eess.IV
Data-Independent Neural Pruning via Coresets
University of Haifa（海法大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
以前的工作经验表明，大型神经网络可以在保持准确性的同时显着减小尺寸。模型压缩成为一个中心的研究课题，因为它是部署神经网络的设备上的计算和内存资源有限的关键。大多数的压缩方法是基于几何的，并提供任何最坏情况下的保证之间的权衡压缩率和近似误差的任意新的样本。我们提出了第一个有效的，数据独立的神经修剪算法，其压缩率和任何未来的测试样本的近似误差之间的可证明的权衡。我们的方法是基于coreset框架，找到一个小的加权子集的点，可证明近似的原始输入。具体来说，我们用前一层神经元的核心集来近似一层神经元的输出，并丢弃其余的神经元。我们从上到下逐层地应用这个框架。与以前的作品不同，我们的coreset是数据独立的，这意味着它可以证明保证任何输入$x\in \mathbb{R}^d$的函数的准确性，包括对抗性的。我们证明了我们的方法对流行的网络架构的有效性。特别是，我们的coresets产量90%的压缩的LeNet-300-100架构上MNIST，同时提高了准确性。
2020-01-03 cs.LG stat.ML
Fast Bayesian Coresets via Subsampling and Quasi-Newton Refinement
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）
贝叶斯核心集通过构建数据点的小加权子集来近似后验分布。任何在计算上过于昂贵而不能在完整后验上运行的推理过程都可以在核心集上廉价地运行，其结果近似于完整数据上的结果。然而，目前的方法是有限的，无论是一个显着的运行时间或需要用户指定一个低成本的近似完整的后验。我们提出了一个贝叶斯核心集的构造算法，首先选择一个均匀随机的数据子集，然后使用一种新的拟牛顿法优化的权重。我们的算法是一个简单的实现，黑盒方法，不需要用户指定一个低成本的后验近似。这是第一个来与一般的高概率界的库尔贝克-莱布勒散度的输出coreset后。实验表明，我们的方法提供了显着的改善coreset质量与可比的建设时间的替代品，存储成本和用户输入所需的少得多。
2023-01-15 cs.LG stat.CO stat.ML
Strong Coresets for Hard and Soft Bregman Clustering with Applications to Exponential Family Mixtures
ETH Zurich（苏黎世联邦理工学院）
核心集是数据集的有效表示，使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。因此，它们已成功地用于将聚类模型（如K-Means和高斯混合模型）扩展到大规模数据集。然而，到目前为止，算法和相应的理论通常是特定于每个聚类问题。我们提出了一个单一的，实用的算法来构建强coresets一大类的硬和软的聚类问题的基础上Bregman分歧。这一类包括硬聚类与流行的失真措施，如平方欧几里德距离，马哈拉诺比斯距离，KL发散和Itakura-Saito距离。由于Bregman分歧和指数族分布之间的双重关系，相应的软聚类问题与流行的混合模型直接相关。我们的理论结果进一步暗示了一个随机多项式时间近似方案的硬聚类。我们证明了所提出的算法的实用性，在实证评估。
2016-05-02 cs.LG stat.ML
The Easy Path to Robustness: Coreset Selection using Sample Hardness
针对现有核心集选择算法无法保持对抗鲁棒性的问题，提出基于平均输入梯度范数量化样本难度的EasyCore算法，仅保留低难度样本训练，显著提升了标准与对抗训练下的对抗准确率。
2025-10-13 cs.CV cs.LG
Coresets for Regressions with Panel Data
Huawei TCS Lab（华为TCS实验室）；Yale University（耶鲁大学）
本文将回归问题的核心集问题引入到面板数据设置中。我们首先定义coresets的几个变种的回归问题与面板数据，然后提出有效的算法来构建coresets的大小，多项式依赖于1/ $\varepsilon$（其中$\varepsilon$是误差参数）和回归参数的数量-独立于面板数据中的个人的数量或每个人被观察的时间单位。我们的方法是基于Feldman-Langberg框架，其中的一个关键步骤是上限的“总灵敏度”，这大致是所有个人时间对所有可能的选择回归参数的最大影响的总和。从经验上讲，我们用合成和真实世界的数据集来评估我们的方法;使用我们的方法构建的核心集大小比完整的数据集小得多，核心集确实加快了计算回归目标的运行时间。
2020-11-03 cs.CG cs.DS cs.LG
A Novel Sequential Coreset Method for Gradient Descent Algorithms
University of Science and Technology of China（中国科学技术大学）
梯度下降算法可以解决机器学习中出现的各种优化问题，如何有效地压缩大规模数据集以降低计算复杂性是该领域的核心问题。{ \em Coreset}是一种流行的数据压缩技术，之前已对其进行了广泛研究。然而，大多数现有的coreset方法是依赖于问题，不能作为一个通用的工具，更广泛的应用。一个关键的障碍是，他们往往依赖于伪维数和总的灵敏度界限，可以是非常高的或难以获得。本文基于梯度下降算法的“局部性"特性，提出了一种新的框架，称为”顺序核心集“，有效地避免了这些障碍。此外，我们的方法是特别适合于稀疏优化的coreset大小可以进一步减少到只有poly-dimensionally依赖于尺寸。实验结果表明，该方法与基准算法相比，可以节省大量的运行时间。
2022-10-08 cs.LG stat.ML
Coreset selection for the Sinkhorn divergence and generic smooth divergences
University of Washington（华盛顿大学）
该研究提出CO2算法，通过函数泰勒展开将通用光滑散度下的核心集选择转化为最大均值差异最小化，应用于Sinkhorn散度可实现多对数级采样点的近似保证，还揭示了核心集选择与经典统计方法的关联。
2025-05-20 cs.LG stat.ML
MODE: Multi-Objective Adaptive Coreset Selection
CRIL, Université d’Artois（CRIL，阿登大学）
MODE通过多目标自适应策略动态优化小集选择，实现高效数据利用与模型性能提升。
2025-12-24 cs.AI cs.LG
Analyzing and Storing Network Intrusion Detection Data using Bayesian Coresets: A Preliminary Study in Offline and Streaming Settings
University of Oslo（奥斯陆大学）
在本文中，我们提供了一个初步的研究应用贝叶斯核心集的网络安全数据。网络入侵检测是一个可以利用贝叶斯机器学习来建模不确定性和管理流数据的领域;然而，大规模的数据集往往阻碍了基于MCMC的贝叶斯学习方法的使用。限制有用数据的数量是网络流量分析等领域的核心问题，其中通过数据包收集可以非常快速地生成大量冗余数据。减少样本的数量不仅会使学习更可行，而且还有助于减少对记忆和存储的需求。我们在这里探索使用贝叶斯coresets，一种技术，减少数据样本的数量，同时保证学习一个准确的后验分布使用贝叶斯学习。我们分析了贝叶斯核心集如何影响学习模型的准确性，以及在静态场景和流场景中如何权衡时空要求。
2019-06-20 cs.CR cs.LG stat.ML
Scalable k-Means Clustering via Lightweight Coresets
Google Brain（谷歌大脑）；ETH Zurich（苏黎世联邦理工学院）
核心集是数据集的紧凑表示，使得在核心集上训练的模型与在完整数据集上训练的模型具有可证明的竞争力。因此，它们已成功地用于将聚类模型扩展到大规模数据集。虽然现有的方法一般只允许乘法近似误差，我们提出了一个新的概念，轻量级coresets，允许乘法和加法误差。我们提供了一个单一的算法来构建轻量级的coresets的k-means聚类以及软和硬Bregman聚类。该算法比现有的结构快得多，并行性好，所得的coresets更小。我们进一步表明，所提出的方法自然推广到统计k均值聚类，与现有的结果相比，它可以用来计算较小的总结经验风险最小化。在大量的实验中，我们证明了该算法优于现有的数据摘要策略在实践中。
2018-06-06 cs.DC cs.DS cs.LG
RETRIEVE: Coreset Selection for Efficient and Robust Semi-Supervised Learning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
近年来，半监督学习（SSL）算法在有限的标记数据机制中取得了巨大的成功。然而，当前最先进的SSL算法在计算上是昂贵的，并且需要显著的计算时间和能量需求。这对许多较小的公司和学术团体来说可能是一个巨大的限制。我们的主要观点是，在未标记数据的子集而不是整个未标记数据上进行训练，使当前的SSL算法能够更快地收敛，显着降低计算成本。在这项工作中，我们提出了RETRIEVE，一个高效和强大的半监督学习的核心选择框架。RETRIEVE通过求解混合离散-连续双层优化问题来选择核心集，使得所选择的核心集最小化标记集损失。我们使用一个一步梯度近似，并表明离散优化问题是近似submodular，使简单的贪心算法获得coreset。我们在几个真实世界的数据集上实证证明，现有的SSL算法，如VAT，Mean-Teacher，FixMatch，当与RETRIEVE一起使用时，实现了a）更快的训练时间，b）当未标记的数据由分布外（OOD）数据和不平衡组成时，性能更好。更具体地说，我们表明，以最小的精度退化，RETRIEVE实现了加速约$3\times$在传统的SSL设置，并实现了加速$5\times$相比，国家的最先进的（SOTA）强大的SSL算法的不平衡和OOD数据的情况下。RETRIEVE是CORDS工具包的一部分：https://github.com/decile-team/cords。
2021-10-28 cs.AI cs.LG
TAGCOS: Task-agnostic Gradient Clustered Coreset Selection for Instruction Tuning Data
The Hong Kong University of Science and Technology（香港科技大学）；Fudan University（复旦大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出任务无关的梯度聚类核心集选择方法（TAGCOS），利用样本梯度聚类和贪心算法，仅用5%数据即可达到接近完整数据集的效果，解决了指令微调数据选择的高效性与准确性问题。
2024-07-21 cs.AI cs.CL cs.LG
Training Quantum Boltzmann Machines with Coresets
University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Super.tech, a division of ColdQuanta Inc.（Super.tech（ColdQuanta公司旗下部门））；MIT（麻省理工学院）
针对量子玻尔兹曼机训练中Gibbs态采样导致的计算瓶颈，提出使用核心集替代完整数据集以减少梯度步骤并加速训练，在增强条带数据集上的实验验证了该方法能有效节省量子计算资源。
2023-07-26 cs.LG quant-ph
SCOPE: Scalable Training-Free Semantic Coreset Selection for Long-Tailed Federated Learning
Iowa State University（爱荷华州立大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文提出SCOPE方法，通过正交投影嵌入和语义聚类技术，在联邦学习中有效处理类别不平衡问题，提升全局准确性和收敛稳定性，同时显著降低带宽和计算资源消耗。
2026-10-21 cs.CV cs.LG
