Deep Active Learning over the Long Tail
Technion – Israel Institute of Technology（以色列理工学院）
本文关注深度神经网络的基于池的主动学习。受coreset数据集压缩思想的启发，我们提出了一种新的主动学习算法，该算法在表示层的神经激活空间中使用最远优先遍历从池中查询连续点。对于三个数据集：MNIST，CIFAR-10和CIFAR-100，我们在被动学习（随机采样）的样本复杂性方面表现出一致和压倒性的改善。此外，我们的算法优于传统的不确定性采样技术（使用softmax激活获得），并且我们确定了不确定性采样仅略优于随机采样的情况。
2017-11-02 cs.LG
Repeated Random Sampling for Minimizing the Time-to-Accuracy of Learning
ETH Zürich（苏黎世联邦理工学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Yale（耶鲁大学）；Google Research（谷歌研究院）；TU Delft（代尔夫特理工大学）
本文提出随机子集重复采样方法RS2，通过每个epoch随机采样训练子集，在ImageNet等四个数据集上与30种数据剪枝和蒸馏方法对比，显著降低时间-精度并提升压缩训练效率。
2023-05-28 cs.CV cs.LG
Training Support Vector Machines using Coresets
MIT（麻省理工学院）
我们提出了一种新的核心集的建设算法，解决分类任务，使用支持向量机（SVMs）在计算效率的方式。核心集是原始数据点的加权子集，它可证明地近似于原始集合。我们发现，在$n$和$d$多项式的大小coresets存在一组$n$输入点与$d$功能，并提出了一个$(ε,δ)$ -FPRAS构建coresets可扩展的SVM训练。我们的方法利用的洞察力，数据点往往是冗余的，并使用一个重要性采样计划的基础上，每个数据点的敏感性，有效地构建coresets。我们评估了我们的算法在加速SVM训练对现实世界的数据集的性能，并比较我们的算法的最先进的coreset方法。我们的实证结果表明，我们的方法优于一个国家的最先进的coreset方法和均匀采样，使计算加速，同时实现低近似误差。
2017-11-10 cs.DS cs.LG
Simple Weak Coresets for Non-Decomposable Classification Measures
Indian Institute of Technology, Gandhinagar（印度理工学院甘地纳格尔分校）；DA-IICT, Gandhinagar（Dhirubhai Ambani信息与通信技术学院）
针对核心集多局限于无监督场景的问题，该研究面向有监督分类的不可分解度量，提出基于分层均匀采样的弱核心集，证明其达到核心集规模下界且表现媲美更复杂的构建策略，兼具理论保证与实证效果。
2023-12-15 cs.AI cs.DS cs.LG
Memory-Bounded Continuation of Greedy Sampling for Continual Anomaly Detection
Northeastern University（东北大学）；AIVEX Inc.（AIVEX公司）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
该研究针对持续异常检测提出ContCore方法，通过延续贪心采样构建固定内存的核心集，在MVTecAD、VisA数据集的11种任务调度及在线设置下实现最优性能。
2026-08-18 cs.CV cs.LG
Beyond Worst-Case Coreset Bounds for $k$-Clustering via Determinantal Sampling
National University of Singapore（新加坡国立大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对聚类中的coreset构建，提出基于行列式点过程的行列式采样框架，在温和数据分布假设下，将coreset大小对1/ε的依赖指数降至小于2，突破最坏情况ε⁻²下界，并在实验中优于现有方法。
2026-09-09 cs.LG math.PR stat.ML
Improving Model Classification by Optimizing the Training Dataset
DataHeroes, Inc.（DataHeroes公司）
本文提出通过引入确定性采样、类别分配和主动采样等可调参数来优化核心集生成过程，从而在分类指标上超越传统核心集和全数据集训练，实现更高效的模型训练。
2025-07-22 cs.LG
On Coresets for Logistic Regression
TU Dortmund University（多特蒙德工业大学）；Sapienza University of Rome（罗马大学）；Carnegie Mellon University（卡内基梅隆大学）
核心集是促进大型数据集分析的核心方法之一。我们继续最近的一系列研究，将核心集理论应用于逻辑回归。首先，我们证明了一个否定的结果，即逻辑回归不存在强次线性大小的核心集。为了处理棘手的最坏情况下的情况下，我们引入了一个复杂性度量$μ(X)$，它量化了压缩逻辑回归数据集的难度。$μ(X)$具有直观的统计学解释，可能具有独立意义。对于有界$μ(X)$ -复杂度的数据集，我们证明了一种新的灵敏度采样方案产生了第一个可证明的次线性$(1\pm\varepsilon)$ -coreset。我们通过与均匀采样以及该领域最先进的方法进行比较来说明我们的方法的性能。实验是在真实世界的逻辑回归基准数据上进行的。
2021-03-08 cs.DS cs.LG stat.ML
Determinantal Point Processes for Coresets
CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（GIPSA实验室）
当面对一个数据集太大而不能一次处理时，一个明显的解决方案是只保留其中的一部分。在实践中，这有各种各样的不同形式，其中“核心集”特别有吸引力。核心集是原始数据的（小）加权样本，具有以下保证：成本函数可以在较小的集合上而不是较大的集合上进行评估，具有较低的相对误差。对于某些类型的问题，通过仔细选择抽样分布（基于所谓的“敏感性”度量），iid随机抽样已经成为有效构建核心集的最成功的方法之一。然而，独立样本有时过于冗余，人们可能希望实施多样性会带来更好的性能。困难在于证明非iid样本的coreset性质。我们发现，coreset属性持有的样本形成的决定点过程（DPP）。DPP是有趣的，因为他们是一个罕见的例子，排斥点过程与听话的理论性质，使我们能够证明一般coreset定理。我们将我们的研究结果的k-均值和线性回归的问题，并给出了广泛的经验证据表明，小的额外的计算成本的DPP采样来优越的性能超过其iid对应。独立的利益，我们还提供了分析公式的灵敏度在线性回归和1-均值的情况下。
2020-01-06 cs.DS cs.LG stat.ML
Uncovering Coresets for Classification With Multi-Objective Evolutionary Algorithms
Politecnico di Torino（都灵理工大学）；INRAE（法国国家农业食品与环境研究院）；Université Paris-Saclay（巴黎萨克雷大学）
核心集是训练集的一个子集，使用它，机器学习算法获得的性能与在整个原始数据上训练时的性能相似。Coreset的发现是一个积极和开放的研究方向，因为它可以提高算法的训练速度，并可能帮助人类理解结果。在前人工作的基础上，提出了一种新的方法：对候选紧身胸衣进行迭代优化，添加和删除样本。由于限制训练规模和结果质量之间存在明显的权衡，使用多目标进化算法同时最小化集合中的点的数量和分类误差。非平凡基准测试的实验结果表明，所提出的方法是能够提供的结果，允许分类器，以获得更低的错误和更好的能力概括看不见的数据比国家的最先进的核心发现技术。
2020-02-20 cs.LG cs.NE stat.ML
Soft Random Sampling: A Theoretical and Empirical Analysis
IBM Research AI（IBM人工智能研究院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
本文对用于大规模深度神经网络高效训练的Soft random sampling (SRS)方法进行了理论与实证分析，证明了其在非凸目标下的收敛性与泛化性能，并在多个数据集上展现出优于coreset方法的准确率与效率权衡。
2023-11-24 cs.CL cs.LG
On Coresets for Regularized Loss Minimization
RelationalAI（RelationalAI公司）；UC Merced（加州大学默塞德分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
我们设计和数学分析基于采样的正则化损失最小化问题的算法，这些算法可以在流行的大数据计算模型中实现，其中对数据的访问以某种方式受到限制。我们的主要结果是，如果正则化的效果不成为可以忽略不计的规范的假设规模，并作为数据规模，那么一个均匀的样本适度的大小是具有高概率的coreset。在损失函数是逻辑回归或软边缘支持向量机的情况下，并且正则化器是常见的推荐选择之一，该结果意味着大小为$O(d \sqrt{n})$的均匀样本很有可能是$\Re^d$中$n$点的核心集。我们将这个上界与两个下界进行对比。第一个下界表明我们对均匀抽样的分析是严格的;也就是说，较小的均匀样本可能不是核心集。第二个下限表明，在某种意义上，均匀采样接近最佳，因为通常不存在明显较小的核心集。
2019-05-31 cs.LG stat.ML
Coresets for Classification -- Simplified and Strengthened
Adobe Research（奥多比研究院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们给出了训练线性分类器的相对误差核心集，这些线性分类器具有广泛的损失函数，包括逻辑损失和铰链损失。我们的构造实现了具有$\tilde O(d \cdot μ_y(X)^2/ε^2)$点的$(1\pm ε)$相对误差，其中$μ_y(X)$是数据矩阵$X \in \mathbb{R}^{n \times d}$和标签向量$y \in \{-1,1\}^n$的自然复杂度度量，由Munteanu等人在2018年引入。我们的结果是基于子采样数据点的概率成比例的$\ell_1$ $Lewis$ $weights$。它显着提高了现有的理论界限，并在实践中表现良好，优于均匀子采样以及其他重要性采样方法。我们的采样分布不依赖于标签，因此可以用于主动学习。它也不依赖于特定的损失函数，因此单个coreset可以用于多个训练场景。
2021-06-18 cs.DS cs.LG
Real-Time EEG Classification via Coresets for BCI Applications
University of Haifa（海法大学）；Technion IIT（以色列理工学院）
基于运动想象范式的脑机接口通过对不同任务的脑电信号进行分类，将人的运动意图转化为控制信号。然而，大多数现有系统或者（i）使用高质量算法来离线训练数据并且仅实时的运行分类，因为离线算法太慢，或者（ii）使用对于实时的训练足够快但引入相对大的分类误差的低质量分类。在这项工作中，我们提出了一种新的处理流水线，允许使用高质量但可能效率低下的算法对EEG信号进行实时的和并行学习。这是通过在BCI和核心集之间建立联系来实现的，核心集是一种起源于计算几何的技术，用于通过数据汇总处理流数据。我们提出了一种算法，该算法保持了这样的coreset表示量身定制，以处理EEG信号，这使得：（i）对信号的核心表示的公共空间模式（CSP）特征提取方法的实时的和连续计算（而不是信号本身），（ii）通过在coreset上应用CSP算法，以及（iii）将数据试验（EEG数据窗口）实时的形添加到核心集。为了简单起见，我们专注于CSP算法，这是一个经典的算法。尽管如此，我们希望我们的coreset将在未来的论文中扩展到其他算法。在实验结果中，我们表明，我们的系统确实可以学习脑电信号在实时的例如64通道设置与数百个时间样本每秒。完全开放源代码的实验重现，并希望它将被使用和扩展到更多的核心集和BCI应用程序在未来。
2019-01-02 cs.DS cs.LG eess.SP
Coverage-centric Coreset Selection for High Pruning Rates
University of Michigan（密歇根大学）
一次性核心集选择的目的是选择一个有代表性的子集的训练数据，给定的修剪率，可以稍后用于训练未来的模型，同时保持高精度。国家的最先进的核心选择方法挑选最高的重要性的例子的基础上的重要性度量，并发现在低修剪率表现良好。然而，在高修剪率下，它们遭受灾难性的准确性下降，甚至比随机抽样更糟糕。本文从理论和实证两个方面探讨了这种准确性下降背后的原因。我们首先通过将经典的几何集合覆盖问题扩展为分布覆盖问题，提出了一种新的度量标准来衡量数据集在特定分布上的覆盖。这个度量有助于解释为什么SOTA方法在高修剪率下选择的核心集与随机抽样相比表现不佳，因为数据覆盖率更差。然后，我们提出了一种新的一杆核心选择方法，覆盖率为中心的核心选择（CCS），共同考虑整体数据覆盖率的分布以及每个例子的重要性。我们在五个数据集上评估了CCS，结果表明，在高修剪率下（例如，90%），它实现了比以前的SOTA方法（例如，在CIFAR10上至少高19.56%）以及随机选择（例如，在CIFAR10上高出7.04%），并且在低修剪率下具有相当的准确性。我们在https://github.com/haizhongzheng/Coverage-centric-coreset-selection上公开发布我们的代码。
2023-03-06 cs.AI cs.LG
Rethinking Dataset Distillation for Classification: Do Distilled Sets Outperform Coresets?
Dolby Laboratory（杜比实验室）
本文通过大规模标准化实验评估七种最先进的数据集蒸馏方法，发现其在大型数据集上性能不如或仅相当于核心集，且构建成本更高，核心集在数据分布覆盖和计算效率上更具优势。
2026-11-04 cs.LG
Coresets for Near-Convex Functions
University of Haifa（海法大学）
Coreset通常是$\mathbb{R}^d$中$n$输入点的一个小的加权子集，它可证明地近似于给定查询集（模型、分类器等）的损失函数。核心集在机器学习中变得越来越普遍，因为现有的算法或低效的算法可以通过在可以被维护用于流式传输分布式数据的小核心集上运行它们可能多次来改进。核心集可以通过敏感性（重要性）抽样获得，其大小与敏感性的总和成比例。不幸的是，计算每个点的灵敏度取决于问题，并且可能比手头的原始优化问题更难计算。我们提出了一个通用的框架计算灵敏度（因此coresets）的广泛的家庭损失函数，我们称之为近凸函数。这是通过建议将矩阵的SVD分解推广到函数的$f$ -SVD分解。示例应用包括新的或显著改进先前结果的核心集，例如SVM、Logistic回归、M估计量和$\ell_z$回归。实验结果和开放源代码也提供。
2020-06-18 cs.LG stat.ML
Small coresets via negative dependence: DPPs, linear statistics, and concentration
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；National University of Singapore（新加坡国立大学）；Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）
本文针对DPP基核心集基数是否优于独立采样核心集的开放问题，将核心集损失视为线性统计量，推导了涵盖非对称核的更优集中不等式，证明DPP核心集效果更优，还拓展了向量值目标的核心集研究。
2024-11-01 cs.LG math.PR stat.ML
Ridge Leverage Score Sampling for $\ell_p$ Subspace Approximation
Carnegie Mellon University（卡内基梅隆大学）；The Voleon Group（沃利安集团）
本文提出基于根岭杠杆得分采样的算法，构建了适用于 $\ell_p$ 子空间近似的强核心集，在 $k$ 和 $\epsilon$ 依赖性上取得改进，并导出了首个几乎最优的在线强核心集。
2025-04-03 cs.DS cs.LG
Efficient Multi-bit Quantization Network Training via Weight Bias Correction and Bit-wise Coreset Sampling
Department of Electrical and Computer Engineering, Sungkyunkwan University（电气与计算机工程系，全北大学）；Department of Electrical and Computer Engineering, Duke University（电气与计算机工程系，杜克大学）；Kim Jaechul Graduate School of AI, Korea Advanced Institute of Science and Technology (KAIST)（金 Jaechul人工智能研究生院，韩国科学技术院（KAIST））
提出权重偏置校正与按比特核心集采样两种技术，在保持精度的同时将多比特量化网络训练时间减少至7.88倍。
2025-10-23 cs.CV cs.LG
Coreset selection based on Intra-class diversity
NUCES-FAST（努赛斯-FAST大学）；Department of Computer Science（计算机科学系）；Department of Electrical Engineering（电气工程系）；Informatics Complex（信息学复杂体）；Department of Artificial Intelligence and Data Science（人工智能与数据科学系）
针对大规模数据集训练耗时问题，提出基于类内多样性的轻量级核心集选择方法，通过每类聚类采样，在生物医学图像数据集上优于随机采样。
2025-09-23 cs.CV cs.LG
Efficient Sampling for k-Determinantal Point Processes
Massachusetts Institute of Technology（麻省理工学院）
行列式点过程（DPPs）是离散项集上的排斥和多样性的优雅概率模型。但是，它们对大集合的适用性受到用于基本任务（如采样）的昂贵的高复杂度矩阵运算的阻碍。鉴于此，我们提出了一种新的方法，从离散$k$ -DPP的近似采样。我们的方法利用从DPP采样的子集的多样性属性，并进行了两个阶段：首先，它构造coreset的地面集的项目;此后，它有效地样本子集的基础上构造coreset。与以前的方法不同，我们的算法旨在最小化到原始分布的总变化距离。在合成数据集和真实数据集上的实验表明，我们的采样算法在大数据集上有效地工作，并且比以前的方法产生更准确的样本。
2016-05-28 cs.LG
Coreset Clustering on Small Quantum Computers
Princeton University（普林斯顿大学）；University of Chicago（芝加哥大学）
许多用于机器学习的量子算法需要访问叠加的经典数据。然而，对于许多自然数据集和算法，加载叠加的数据集所需的开销可以消除任何潜在的量子加速超过经典算法。Harrow最近的工作在混合量子经典计算中引入了一种新的范式来解决这个问题，依赖于coreset来最小化量子算法的数据加载开销。我们研究使用这种范式来执行$k$ -意味着集群在近期量子计算机，通过铸造它作为一个QAOA优化实例在一个小coreset。我们比较这种方法的性能，经典的$k$ -均值聚类数值和实验IBM Q硬件。我们能够找到的数据集coreset工作以及相对于随机抽样，QAOA可能会超过标准的$k$ -手段coreset。然而，找到同时具有核心集和QAOA的数据集--这对于超过$k$的量子优势是必要的--意味着整个数据集--似乎是具有挑战性的。
2020-04-30 cs.LG quant-ph
Gradient-Matching Coresets for Rehearsal-Based Continual Learning
Amazon Web Services（亚马逊云科技）
持续学习（CL）的目标是用新数据有效地更新机器学习模型，而不会忘记以前学习的知识。大多数广泛使用的CL方法依赖于数据点的排练记忆，以便在训练新数据时重复使用。策划这样一个排练记忆，以维护一个小的，信息丰富的子集，所有的数据，到目前为止，是至关重要的成功，这些方法。我们设计了一种基于排练的持续学习核心集选择方法。我们的方法是基于梯度匹配的思想：由核心集引起的梯度应该尽可能接近地匹配原始训练数据集引起的梯度。受神经切线核理论的启发，我们在模型的初始化分布上执行这种梯度匹配，使我们能够提取一个核心集，而无需首先训练模型。我们评估的方法在广泛的持续学习的情况下，并证明它提高了性能的排练为基础的CL方法相比，竞争存储管理策略，如水库采样。
2022-03-28 cs.LG
Epileptic seizure classification using statistical sampling and a novel feature selection algorithm
Edith Cowan University（伊迪丝·考恩大学）；Pabna University of Science and Technology（帕布纳科技大学）；University of Technology Sydney（悉尼科技大学）
癫痫是一种众所周知的神经元疾病，可以通过解释脑电图（EEG）信号来识别。通常，EEG信号的长度相当长，这对于手动解释是具有挑战性的。在这项工作中，我们提出了一个自动癫痫发作检测方法，通过应用两步最小化技术：首先，我们减少了数据点使用统计采样技术，然后，我们使用我们的新的特征选择算法的功能数量最小化。然后，我们应用不同的机器学习算法的性能测量所提出的特征选择算法。实验结果优于一些国家的最先进的癫痫发作检测方法，使用减少的数据点和最少的功能。
2019-03-06 cs.LG
Determinantal point processes based on orthogonal polynomials for sampling minibatches in SGD
Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；National University of Singapore（新加坡国立大学）
随机梯度下降（SGD）是机器学习的基石。当数据项的数量N很大时，SGD依赖于使用原始数据集的一个小子集（称为minibatch）构建经验风险梯度的无偏估计量。默认的minibatch构造涉及对所需大小的子集进行均匀采样，但是已经探索了用于减少方差的替代方案。特别是，实验证据表明，绘制minibatches从行列式点过程（DPP），分布在minibatches有利于所选项目之间的多样性。然而，就像最近关于核心集的DPP的工作一样，很难系统地、有原则地理解DPP如何以及为什么起作用。在这项工作中，我们贡献了一个正交多项式为基础的DPP范式的小批量抽样在SGD。我们的方法利用了手头的特定数据分布，这赋予了它比现有数据不可知方法更高的灵敏度和能力。我们证实我们的方法通过详细的理论分析，其收敛性，交织之间的离散数据集和底层连续域。特别是，我们展示了特定的DPP和一系列的控制近似可以导致梯度估计的方差衰减速度比均匀采样下的批量。再加上现有的有限时间保证SGD凸目标，这意味着，DPP minibatches导致更小的约束上的均方近似误差比均匀minibatches。此外，我们的估计器适用于最近的算法，该算法直接对DPP的线性统计数据进行采样（即，梯度估计器）而不对基础DPP进行采样（即，minibatch），从而减少计算开销。我们提供了详细的合成以及真实的数据实验来证实我们的理论主张。
2021-12-11 cond-mat.dis-nn cs.LG math.OC
Tight Sensitivity Bounds For Smaller Coresets
University of Haifa（海法大学）
$\varepsilon$ -矩阵$A\in{\mathbb{R}}^{n\times d}$的最小均方（LMS）的核心集是其行的一个小加权子集，该子集近似于从其行到${\mathbb{R}}^d$的每个仿射$k$维子空间的平方距离之和，最多为$1\pm\varepsilon$的一个因子。这样的核心集对于超参数调整和解决许多最小均方问题是有用的，例如低秩近似（$k$ -SVD）、$k$ -PCA、Lassso/Ridge/Linear regression等等。Coreset也适用于并行处理流式、动态和分布式大数据。在高概率的情况下，基于$A$中每行的重要性或敏感性的上限的非均匀采样产生coreset。（采样）coreset的大小，然后在这些灵敏度界限的总和接近线性。我们提供的算法，计算可证明的\emph{tight}边界的敏感性，每个输入行。它是基于两个成分：（i）迭代算法，计算精确的灵敏度，每个点到任意小精度（非仿射）$k$ -子空间，和（ii）一般减少的独立利益，从计算灵敏度为家庭的仿射$k$ -子空间在${\mathbb{R}}^d$（非仿射）$(k+1)$ -子空间在${\mathbb{R}}^{d+1}$。真实世界的数据集上的实验结果，包括英文维基百科文档术语矩阵，表明我们的界限提供显着更小的和数据依赖的coresets也在实践中。还提供了完全的开源。
2019-07-02 cs.LG stat.ML
Training Quantum Boltzmann Machines with Coresets
University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Super.tech, a division of ColdQuanta Inc.（Super.tech（ColdQuanta公司旗下部门））；MIT（麻省理工学院）
针对量子玻尔兹曼机训练中Gibbs态采样导致的计算瓶颈，提出使用核心集替代完整数据集以减少梯度步骤并加速训练，在增强条带数据集上的实验验证了该方法能有效节省量子计算资源。
2023-07-26 cs.LG quant-ph
Data-Efficient Training of CNNs and Transformers with Coresets: A Stability Perspective
Transmute AI Lab（Transmute AI实验室）；UiT The Arctic University of Norway（挪威北极大学UiT）；Immersal（Immersal公司）
核心集选择是减少CNN训练时间的最有效方法之一，然而，在核心集大小变化以及数据集和模型选择的情况下，所得模型的行为方式有限。此外，考虑到最近的范式转移到变压器为基础的模型，它仍然是一个悬而未决的问题，如何coreset选择会影响他们的表现。有几个类似的有趣的问题，需要回答广泛接受的核心选择方法，本文试图回答其中的一些。我们提出了一个系统的基准测试设置，并对CNN和Transformers的不同核心选择方法进行了严格的比较。我们的研究表明，在某些情况下，随机选择的子集是更强大和稳定的SOTA选择方法相比。我们表明，传统的概念，均匀的子集抽样的各种类别的数据是不合适的选择。相反，应该根据每个类的数据分布的复杂性自适应地选择样本。Transformers通常在大型数据集上进行预训练，并且我们表明，对于某些目标数据集，即使在非常小的核心集大小下，它也有助于保持其性能稳定。我们进一步表明，当没有进行预训练时，或者当预训练的Transformer模型与非自然图像（例如医疗数据）一起使用时，即使在非常小的核心集大小下，CNN也倾向于比Transformers更好地泛化。最后，我们证明了在没有正确的预训练的情况下，CNN更善于学习图像中空间距离较远的对象之间的语义一致性，并且在几乎所有的核心集大小选择上，CNN的表现往往优于Transformers。
2023-03-10 cs.CV cs.LG
Spectral Greedy Coresets for Graph Neural Networks
University of Maryland（马里兰大学）；University of Virginia（弗吉尼亚大学）
本文提出谱贪心图核心集（SGGC），通过两阶段贪心选择自我图，加速大规模图上的GNN训练，无需预训练，适用于低同质性图，并在十个数据集上显著优于现有方法。
2024-05-27 cs.AI cs.LG stat.ML
An Empirical Study on the Joint Impact of Feature Selection and Data Re-sampling on Imbalance Classification
Henan University（河南大学）；University Campus Bio-Medico of Rome（罗马生物医学大学）；University of Granada（格拉纳达大学）
在预测任务中，真实世界的数据集通常呈现不同程度的不平衡（即，长尾或偏态）分布。虽然大多数（头）类有足够的样本，少数（尾）类可以由相当有限数量的样本代表。数据预处理已被证明是非常有效的处理这些问题。一方面，数据重新采样是解决类别不平衡的常用方法。另一方面，减少特征空间的降维是用于减少数据集中的噪声和不一致性的传统技术。然而，特征选择和高性能的不平衡分类数据重采样之间的可能的协同作用很少被调查。针对这一问题，本文对特征选择和重采样对两类不平衡分类的联合影响进行了全面的实证研究。具体来说，我们研究了两个相反的管道的性能不平衡分类之前或之后的数据重新采样应用特征选择。我们进行了大量的实验，共有9225个测试，在52个公开可用的数据集，使用9个特征选择方法，6个重采样类不平衡学习的方法，和3个著名的分类算法。实验结果表明，这两个管道之间没有恒定的赢家，因此，它们都应该被考虑，以获得最佳性能的模型不平衡分类。我们发现，不平衡分类模型的性能不仅取决于所采用的分类器和大多数和少数样本的数量之间的比例，但也取决于样本数量和特征之间的比例。总的来说，本研究为非均衡学习的研究者和实践者提供了新的参考价值。
2021-09-13 cs.AI cs.CV cs.LG
A Coreset Learning Reality Check
Booz Allen Hamilton（博思艾伦汉密尔顿公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Laboratory for Physical Sciences（物理科学实验室）
子采样算法是在大规模数据集上拟合模型之前减少数据大小的自然方法。近年来，一些作品已经提出了从数据矩阵中对行进行二次采样的方法，同时保持用于分类的相关信息。虽然这些工作的理论和有限的实验支持，迄今为止还没有一个全面的评价这些方法。在我们的工作中，我们直接比较了多个方法的逻辑回归得出的coreset和最优子采样文献，并发现其有效性的不一致。在许多情况下，方法并不比简单的均匀子采样更好。
2023-01-15 cs.AI cs.LG stat.ML
Sensitivity Sampling with Predictions for k-Means Clustering
University of Padova（帕多瓦大学）
研究k均值聚类问题，利用预测近似输入点重要性以降低基于敏感性的方法运行时间，证明相关理论对更粗敏感性近似成立，提出自然预测器并通过实验验证其优势。
2026-07-07 cs.DS cs.LG
General bounds on the quality of Bayesian coresets
University of British Columbia（不列颠哥伦比亚大学）
本文提出了贝叶斯核心集近似的KL散度通用上下界，适用于广泛的模型范围，并利用下界解释了重要性采样方法性能差的原因，利用上界分析了子样本优化方法的表现。
2024-10-16 cs.LG math.ST stat.CO
Settling Time vs. Accuracy Tradeoffs for Clustering Big Data
Aarhus University（奥胡斯大学）；Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）
本文研究大数据 k-means 和 k-median 聚类的运行时间与准确性权衡，证明可在近线性时间内通过敏感度采样构造 coreset，并系统比较各类采样策略，为不同数据规模下的有效聚类提供理论与实践指导。
2024-04-02 cs.DS cs.LG
Bayesian Coreset Optimization for Personalized Federated Learning
Department of Computer Science（计算机科学系）；Indian Institute of Technology Bombay（印度理工学院班加罗尔）
针对联邦学习中客户端在全量数据上训练繁琐的问题，提出个性化核心集加权联邦学习框架，仅基于核心集代表性数据点更新模型，理论证明其泛化误差达极小化极大最优，并在多基准与医疗数据集上取得显著性能提升。
2025-11-03 cs.LG
Coresets from Trajectories: Selecting Data via Correlation of Loss Differences
Purdue University（普渡大学）
针对深度学习在资源受限场景的可扩展性挑战，提出高效核心集选择指标CLD，通过样本与验证集损失轨迹的对齐筛选高价值训练样本，兼具理论保证与优异的跨数据集、跨架构性能及稳定性。
2025-11-19 cs.LG
Coresets for Estimating Means and Mean Square Error with Limited Greedy Samples
University of California San Diego（加州大学圣地亚哥分校）；Stanford University（斯坦福大学）
在许多情况下，为每个数据点收集函数值可能非常昂贵，并且随机采样忽略了底层数据中的任何结构。我们引入了一个可扩展的优化算法，没有校正步骤（与弗兰克-沃尔夫及其变体相比），梯度上升的变种，在图中的coreset选择，greatly选择被认为是最重要的样本的顶点的加权子集。我们的算法通过仅在这些顶点处取加权和来估计函数的均值，并且我们可证明地限制了图中所选顶点的位置和权重方面的估计误差。此外，我们考虑的情况下，节点有不同的选择成本，并提供低成本的选择coresets的质量上的界限。我们证明了我们的算法的好处图卷积神经网络，点云和结构化图的半监督节点分类，以及传感器的位置，放置传感器的成本取决于位置的放置。我们还阐明，我们提出的方法的经验收敛速度比随机选择和各种聚类方法，同时仍然尊重传感器的放置成本。本文的结论与开发的算法在合成和真实数据集上的验证，表明它优于当前最先进的。
2020-06-22 cs.LG stat.ML
Optimal Sample Selection Through Uncertainty Estimation and Its Application in Deep Learning
The Hong Kong University of Science and Technology（香港科技大学）
针对深度学习数据标注成本高的问题，提出基于不确定性的最优子采样方法COPS，利用模型logits估计采样比率，同时解决核心集选择与主动学习，实验证明其优于基线方法。
2023-09-05 cs.LG stat.ML
Non-Uniform Class-Wise Coreset Selection for Vision Model Fine-tuning
Fudan University（复旦大学）
针对现有核心集选择方法忽略类别难度差异导致微调性能下降的问题，提出NUCS框架，通过类别难度度量实现跨类非均匀预算分配与类内自适应选样，在多视觉任务上实现了更优的准确率与效率。
2025-11-18 cs.AI cs.LG
Sublinear Time Quantum Sensitivity Sampling
University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出统一的量子敏感性采样框架，在k-中位数/k-均值聚类、ℓp回归和低秩近似等问题上构造核心集，实现了亚线性时间复杂度和对已有量子采样方法的改进。
2025-09-20 cs.DS cs.LG quant-ph
Scalable Learning of Multivariate Distributions via Coresets
Lamarr Institute for ML & AI, TU Dortmund（拉马尔人工智能与机器学习研究所，多特蒙德技术大学）；Scientific Computing Center, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院科学计算中心）；Department of Statistics, TU Dortmund（多特蒙德技术大学统计学系）
本文提出一种新的聚类集构造方法，用于多变量条件变换模型，以提高其可扩展性和训练效率，通过重要性抽样实现数据缩减，确保对数似然在乘法误差范围内，适用于复杂分布和非线性关系的场景。
2026-03-20 cs.DS cs.LG stat.CO
Class-Proportional Coreset Selection for Difficulty-Separable Data
University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）
针对数据难度按类别聚集的现象，提出类难度可分离系数（CDSC）及类比例核心集选择方法，在多个数据集上实现更鲁棒的数据修剪。
2025-08-13 cs.AI cs.LG
D2 Pruning: Message Passing for Balancing Diversity and Difficulty in Data Pruning
University of North Carolina Chapel Hill（北卡罗来纳大学教堂山分校）
D2剪枝通过图上的消息传递联合优化数据多样性与难度，实现高效核心集选择，在高达70%剪枝率下超越现有方法，并提升多模态数据过滤效果。
2023-10-11 cs.AI cs.CL cs.CV
Noise-Tolerant Coreset-Based Class Incremental Continual Learning
University of Kentucky（肯塔基大学）；SRI International（SRI国际）
针对类增量持续学习中的标签与实例噪声问题，提出基于核心集重放缓冲区的两种噪声容忍算法，理论推导鲁棒性界限，实验证明其显著提升分类精度并减少遗忘。
2025-04-23 cs.AI cs.CV cs.LG
Personalized Privacy Amplification via Importance Sampling
Elekta（医科达）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Linköping University（林雪平大学）；Uppsala University（乌普萨拉大学）
本文研究重要性采样的隐私属性，提出两种采样分布构建方法以优化隐私-效率权衡或基于核心集效用保证，实验表明在差分隐私k均值问题上优于均匀采样。
2025-03-28 cs.CR cs.LG stat.ML
Approximating Spectral Clustering via Sampling: a Review
CNRS, Univ. Grenoble Alpes, Grenoble-INP, GIPSA-lab（法国国家科学研究中心、格勒诺布尔阿尔卑斯大学、格勒诺布尔理工学院、GIPSA实验室）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
谱聚类是指一系列无监督学习算法，其基于相似性图的特征向量计算原始数据的谱嵌入。这种数据的非线性变换既是这些算法成功的关键，也是它们的致命弱点：当处理超过数万个点时，形成一个图并计算其主特征向量确实在计算上是令人望而却步的。在本文中，我们回顾了主要的研究工作，旨在减少这种计算成本。我们专注于方法，来与理论控制的聚类性能，并在其操作中采用某种形式的采样。这种方法在机器学习、数值线性代数和图形信号处理文献中比比皆是，其中包括Nyström近似、地标、粗化、核心集和压缩谱聚类。我们提出的近似保证可用于每个和讨论实际的优点和局限性。令人惊讶的是，尽管所探索的文献范围很广，但我们得出的结论是，理论与实践之间仍然存在差距：最具可扩展性的方法只是出于直观的动机或松散的控制，而那些具有端到端保证的方法则依赖于强有力的假设或能够有限地增加计算时间。
2019-01-29 cs.LG stat.ML
ALINC: Active Learning for Inductive Node Classification via Graph Sampling
Intelligent Embedded Systems, University of Kassel（智能嵌入式系统，卡塞尔大学）；CELUS GmbH；GAIN Group, Institute of Data Science, University of Greifswald（GAIN集团，数据科学研究所，格里夫斯瓦尔德大学）
提出ALINC框架，通过图级采样策略解决归纳式节点分类中的主动学习问题，并评估了多种策略与聚合方法的效果。
2026-06-03 cs.LG
Kernel Ridge Regression Using Importance Sampling with Application to Seismic Response Prediction
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
可扩展的核方法，包括核岭回归，通常依赖于使用Nystrom方法的低秩矩阵近似，该方法涉及从大型数据集中选择标志点。选择地标的现有方法通常在计算上要求很高，因为它们需要在输入或特征空间中操纵和执行具有大矩阵的计算。在本文中，我们的贡献是双重的。第一个贡献是提出了一种新的地标选择方法，促进多样性，使用一个有效的两步方法。我们的地标选择技术遵循从粗到细的策略，第一步计算重要性分数，对整个数据进行一次遍历。第二步对构建的核心集进行K均值聚类，以获得的质心作为地标。因此，所介绍的方法提供了可调的准确性和效率之间的权衡。我们的第二个贡献是调查的性能的几个标志性的选择技术，使用一种新的应用内核的方法来预测结构响应，由于地震荷载和材料的不确定性。我们的实验展示了我们提出的地标选择方案对基线的优点。
2020-09-19 cs.CV cs.LG stat.ML
A Study imbalance handling by various data sampling methods in binary classification
Cork Institute of Technology（科克理工学院）
本研究报告的目的是展示我们的学习曲线和机器学习生存周期，使用Kaggle二进制分类数据集，并探索从预处理到最终优化和模型评估的各种技术，此外，我们强调了数据不平衡问题，我们讨论了处理数据水平上的不平衡的不同方法，采样和欠采样不仅要达到平衡的类表示，而且要提高整体性能。这项工作也为今后的工作开辟了一些空白。
2021-05-23 cs.LG
DataGrinder: Fast, Accurate, Fully non-Parametric Classification Approach Using 2D Convex Hulls
数据采掘技术进入数据管理领域已经有很长时间了。分类是数据采掘中最重要的任务之一，用于标签预测、对象分类、广告和数据管理。本文重点研究了标准分类问题，即预测欧几里得空间中的未知标签。机器学习社区的大多数努力都致力于使用概率算法的方法，这些算法对微积分和线性代数很重要。这些技术中的大多数都有大数据的可扩展性问题，并且如果它们要以标准形式保持其高精度，则很难并行化。采样是提高可扩展性的一个新方向，使用许多小的并行分类器。在本文中，而不是传统的采样方法，我们专注于离散分类算法的O（n）的预期运行时间。我们的方法执行与采样方法类似的任务。然而，我们使用数据的列式采样，而不是文献中使用的行式采样。无论哪种情况，我们的算法都是完全确定性的。我们的算法，提出了一种结合二维凸包，以实现高的分类精度，以及在同一时间的可扩展性的方式。首先，我们彻底描述和证明我们的O（n）算法寻找凸包的一个点集在2D。然后，我们用实验表明，我们的分类模型建立在这个想法是非常有竞争力的，与现有的复杂的分类算法，包括在商业统计应用程序，如MATLAB。
2015-11-11 cs.CG cs.DB cs.LG
Monte-Carlo Sampling applied to Multiple Instance Learning for Histological Image Classification
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
提出了一种基于序贯蒙特卡罗方法的多实例学习背景下的高分辨率图像分类的块采样策略。与网格采样和均匀采样技术相比，它具有更高的泛化性能。我们在两个人工数据集和两个组织学数据集上验证了该策略，用于乳腺癌和阳光照射分类。
2018-12-30 cs.CV cs.LG stat.ML
RAxSS: Retrieval-Augmented Sparse Sampling for Explainable Variable-Length Medical Time Series Classification
ETH Zurich（苏黎世联邦理工学院）；University of Freiburg（弗赖堡大学）；Imperial College London（伦敦帝国学院）；Technical University of Munich（慕尼黑技术大学）
本文提出 RAxSS，将随机稀疏采样推广为检索增强分类框架，通过通道内相似度加权窗口预测并在概率空间聚合，实现四家医疗中心 iEEG 数据上的透明、可解释变长分类。
2025-10-03 cs.LG
An Empirical Analysis of the Efficacy of Different Sampling Techniques for Imbalanced Classification
Islamic University of Technology（伊斯兰技术大学）；Robi Axiata Limited（Robi Axiata有限公司）
从不平衡的数据中学习是一项具有挑战性的任务。标准分类算法在不平衡数据上训练时往往表现不佳。需要采用一些特殊的策略，通过修改数据分布或重新设计底层分类算法来实现期望的性能。现实世界数据集中普遍存在的不平衡导致了针对类不平衡问题的多种策略的产生。然而，并不是所有的策略都是有用的，或者在不同的不平衡场景中提供良好的性能。处理不平衡数据的方法有很多，但这些技术的有效性或这些技术之间的实验比较尚未进行。在这项研究中，我们提出了一个全面的分析26个流行的抽样技术，以了解他们在处理不平衡数据的有效性。在50个具有不同程度不平衡的数据集上进行了严格的实验，以彻底研究这些技术的性能。详细讨论了这些技术的优点和局限性，以及如何克服这些局限性。我们确定了一些影响采样策略的关键因素，并就如何为特定应用选择合适的采样技术提供了建议。
2022-08-25 cs.LG
