Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset Selection
School of Computing, National University of Singapore（新加坡国立大学计算学院）；RIKEN Center for Advanced Intelligence Project (AIP)（日本理化学研究所先进智能研究中心）；School of Computer Science, The University of Auckland（奥克兰大学计算机科学学院）；School of Mathematics and Statistics, The University of Melbourne（墨尔本大学数学与统计学院）；Graduate School of Frontier Sciences, The University of Tokyo（东京大学新领域创成科学研究科）
本文提出鲁棒性感知核心集选择（RCS）方法，通过将其转化为子模最大化问题高效搜索信息子集，大幅加速对抗对比学习（ACL）且不显著损害鲁棒迁移性，并首次在大规模ImageNet-1K数据集上实现高效ACL。
2023-10-26 cs.CR cs.LG
Submodularity In Machine Learning and Artificial Intelligence
University of Washington（华盛顿大学）
在这篇手稿中，我们提供了一个温和的审查子模和超模及其性质。我们提供了大量的次模定义;一个完整的描述了一些例子次模函数和它们的推广;例子离散约束;讨论最大化，最小化和其他操作的基本算法;连续次模扩展的简要概述;和一些历史应用。然后，我们转向子模块化在机器学习和人工智能中是如何有用的。这包括总结，我们提供了一个完整的帐户之间的差异和共性之间的素描，核心集，提取和抽象的总结在NLP，数据蒸馏和冷凝，数据子集选择和特征选择。我们讨论了产生对机器学习有用的子模块函数的各种方式，包括启发式手工制作、学习或近似学习子模块函数或其方面，以及使用子模块函数作为核心集产生器的一些优点。我们讨论子模块组合信息函数，以及子模块如何用于聚类、数据划分、并行机器学习、主动和半监督学习、概率建模以及结构化规范和损失函数。
2022-10-04 cs.AI cs.LG
Coverage-centric Coreset Selection for High Pruning Rates
University of Michigan（密歇根大学）
一次性核心集选择的目的是选择一个有代表性的子集的训练数据，给定的修剪率，可以稍后用于训练未来的模型，同时保持高精度。国家的最先进的核心选择方法挑选最高的重要性的例子的基础上的重要性度量，并发现在低修剪率表现良好。然而，在高修剪率下，它们遭受灾难性的准确性下降，甚至比随机抽样更糟糕。本文从理论和实证两个方面探讨了这种准确性下降背后的原因。我们首先通过将经典的几何集合覆盖问题扩展为分布覆盖问题，提出了一种新的度量标准来衡量数据集在特定分布上的覆盖。这个度量有助于解释为什么SOTA方法在高修剪率下选择的核心集与随机抽样相比表现不佳，因为数据覆盖率更差。然后，我们提出了一种新的一杆核心选择方法，覆盖率为中心的核心选择（CCS），共同考虑整体数据覆盖率的分布以及每个例子的重要性。我们在五个数据集上评估了CCS，结果表明，在高修剪率下（例如，90%），它实现了比以前的SOTA方法（例如，在CIFAR10上至少高19.56%）以及随机选择（例如，在CIFAR10上高出7.04%），并且在低修剪率下具有相当的准确性。我们在https://github.com/haizhongzheng/Coverage-centric-coreset-selection上公开发布我们的代码。
2023-03-06 cs.AI cs.LG
Speculative Coreset Selection for Task-Specific Fine-tuning
Xi’an Jiaotong University（西安交通大学）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Nanyang Technological University（南洋理工大学）
提出 STAFF 推测式核心集选择方法，用同族小模型估分并由目标 LLM 验证，在三项任务上显著提升性能、降低选择开销。
2024-10-02 cs.AI cs.LG
HyperCore: Coreset Selection under Noise via Hypersphere Models
University of Kaiserslautern-Landau, Germany（莱茵河畔凯泽斯劳滕-兰道大学）；German Research Center for Artificial Intelligence, Germany（德国人工智能研究中心）
针对现有核心集选择方法未考虑标注错误、需固定剪枝比例的问题，提出HyperCore框架，通过类级轻量超球面模型与Youden's J统计量实现自适应噪声感知剪枝，在噪声及低数据场景下性能优于现有最优方法。
2025-11-16 cs.AI cs.LG
GRACE:Gradient-guided Coreset Selection for LLM Unlearning
University of Pisa（比萨大学）；Aarhus University（奥胡斯大学）
针对大语言模型遗忘中需从异构语料推断遗忘集和保留集的问题，提出GRACE梯度引导核心集选择方法，通过梯度计算与匹配追踪选择核心集，在多领域、多模型、多算法实验中提升模型效用且保持遗忘质量。
2026-08-31 cs.AI cs.LG
Refined Coreset Selection: Towards Minimal Coreset Size under Model Performance Constraints
The University of Sydney（悉尼大学）；Xidian University（西安电子科技大学）；Penn State University（宾夕法尼亚州立大学）；Southern University of Science and Technology（南方科技大学）
本文提出精炼核心集选择问题，通过保持模型性能优先于核心集大小的优化方法，在性能约束下寻找最小核心集，并给出收敛保证与实验验证。
2024-02-29 cs.LG
Few-Medoids: An Embarrassingly Simple Coreset Selection Method for Few-Shot Knowledge Distillation
University of Bucharest（布加勒斯特大学）
研究少样本知识蒸馏中核心集选择问题，提出简单的few-medoids策略，即选最接近类质心的样本，经多数据集和模型对实验，该方法能超越随机及其他策略，可替代常用基线。
2026-07-08 cs.AI cs.CV cs.LG
Non-Uniform Class-Wise Coreset Selection for Vision Model Fine-tuning
Fudan University（复旦大学）
针对现有核心集选择方法忽略类别难度差异导致微调性能下降的问题，提出NUCS框架，通过类别难度度量实现跨类非均匀预算分配与类内自适应选样，在多视觉任务上实现了更优的准确率与效率。
2025-11-18 cs.AI cs.LG
SubZeroCore: A Submodular Approach with Zero Training for Coreset Selection
German Research Center for Artificial Intelligence (DFKI), Germany（德国人工智能研究中心（DFKI））；RPTU Kaiserslautern-Landau, Germany（凯撒斯劳滕-兰道大学）
SubZeroCore提出一种零训练的核心集选择方法，通过子模覆盖与密度的统一目标及闭式解采样，无需训练即可匹配甚至超越基于训练的基线，并显著降低计算开销、增强对标签噪声的鲁棒性。
2025-09-26 cs.AI cs.LG
RETRIEVE: Coreset Selection for Efficient and Robust Semi-Supervised Learning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
近年来，半监督学习（SSL）算法在有限的标记数据机制中取得了巨大的成功。然而，当前最先进的SSL算法在计算上是昂贵的，并且需要显著的计算时间和能量需求。这对许多较小的公司和学术团体来说可能是一个巨大的限制。我们的主要观点是，在未标记数据的子集而不是整个未标记数据上进行训练，使当前的SSL算法能够更快地收敛，显着降低计算成本。在这项工作中，我们提出了RETRIEVE，一个高效和强大的半监督学习的核心选择框架。RETRIEVE通过求解混合离散-连续双层优化问题来选择核心集，使得所选择的核心集最小化标记集损失。我们使用一个一步梯度近似，并表明离散优化问题是近似submodular，使简单的贪心算法获得coreset。我们在几个真实世界的数据集上实证证明，现有的SSL算法，如VAT，Mean-Teacher，FixMatch，当与RETRIEVE一起使用时，实现了a）更快的训练时间，b）当未标记的数据由分布外（OOD）数据和不平衡组成时，性能更好。更具体地说，我们表明，以最小的精度退化，RETRIEVE实现了加速约$3\times$在传统的SSL设置，并实现了加速$5\times$相比，国家的最先进的（SOTA）强大的SSL算法的不平衡和OOD数据的情况下。RETRIEVE是CORDS工具包的一部分：https://github.com/decile-team/cords。
2021-10-28 cs.AI cs.LG
GCR: Gradient Coreset Based Replay Buffer Selection For Continual Learning
Indian Institute of Technology (ISM) - Dhanbad（印度理工学院（印度矿业学院）丹巴德分校）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Google Research, India（谷歌研究院（印度））
持续学习（CL）旨在开发技术，使单个模型适应顺序遇到的越来越多的任务，从而有可能以资源高效的方式利用跨任务的学习。CL系统面临的一个主要挑战是灾难性遗忘，即在学习新任务时忘记先前的任务。为了解决这个问题，基于重放的CL方法维护并重复重新训练在遇到的任务中选择的数据的小缓冲区。我们提出了梯度Coreset重放（GCR），重放缓冲区的选择和更新，使用精心设计的优化标准的一种新的策略。具体来说，我们选择并保持一个“coreset”，接近目前为止看到的所有数据的梯度相对于当前的模型参数，并讨论其有效应用到持续学习设置所需的关键策略。我们在经过充分研究的离线持续学习设置中显示出比最先进的显着增益（绝对值2%-4%）。我们的研究结果还有效地转移到在线/流媒体CL设置，显示出比现有方法高出5%的收益。最后，我们证明了监督对比损失的价值为持续学习，这产生了高达5%的准确性，当与我们的子集选择策略相结合的累积增益。
2022-04-15 cs.AI cs.LG
A Coreset Selection of Coreset Selection Literature: Introduction and Recent Advances
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；RPTU Kaiserslautern-Landau（科隆大学（RPTU）凯斯堡-兰道）
本文综述了核心集选择的最新进展，统一了无训练、有训练和无标签方法，并探讨了剪枝策略对泛化能力的影响及未来挑战。
2026-01-29 cs.CV cs.LG
TAGCOS: Task-agnostic Gradient Clustered Coreset Selection for Instruction Tuning Data
The Hong Kong University of Science and Technology（香港科技大学）；Fudan University（复旦大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出任务无关的梯度聚类核心集选择方法（TAGCOS），利用样本梯度聚类和贪心算法，仅用5%数据即可达到接近完整数据集的效果，解决了指令微调数据选择的高效性与准确性问题。
2024-07-21 cs.AI cs.CL cs.LG
DeepCore: A Comprehensive Library for Coreset Selection in Deep Learning
Renmin University of China（中国人民大学）；The University of Edinburgh（爱丁堡大学）
核心集选择，其目的是选择一个子集的最翔实的训练样本，是一个长期存在的学习问题，可以受益于许多下游任务，如数据高效学习，持续学习，神经架构搜索，主动学习等，然而，许多现有的核心集选择方法不是专为深度学习，这可能具有高复杂度和较差的泛化性能。此外，最近提出的方法进行评估的模型，数据集和设置不同的复杂性。为了推进深度学习中核心集选择的研究，我们提供了一个全面的代码库DeepCore，并在CIFAR10和ImageNet数据集上对流行的核心集选择方法进行了实证研究。在CIFAR10和ImageNet数据集上进行的大量实验证实，尽管各种方法在某些实验设置中具有优势，但随机选择仍然是一个强大的基线。
2022-06-29 cs.CV cs.LG
\emph{FoQuS}: A Forgetting-Quality Coreset Selection Framework for Automatic Modulation Recognition
Institute of Cyberspace Security, College of Information Engineering, Zhejiang University of Technology（浙江工业大学信息工程学院网络安全研究所）
针对自动调制识别中大规模数据重复训练开销大的问题，提出FoQuS框架，通过记录样本预测轨迹构建三个重要性指标选择核心集，仅用1%-30%数据即可保持高精度与跨架构泛化。
2025-09-10 cs.AI cs.LG
Challenges of Multi-Modal Coreset Selection for Depth Prediction
Skoltech（斯科尔科沃科技学院）；HSE University（高等经济大学）
该研究针对多模态场景下核心集选择研究不足的问题，将最先进核心集选择技术适配于深度预测任务，通过实验揭示单模态算法扩展至多模态的挑战，指出需专门方法捕捉模态间关系。
2025-02-20 cs.LG stat.ML
Probabilistic Bilevel Coreset Selection
The Hong Kong University of Science and Technology（香港科技大学）；Google Research（谷歌研究院）
在监督学习中，核心集选择的目标是产生一个加权的数据子集，这样只对子集进行训练就可以达到与对整个数据集进行训练相似的性能。现有的方法在资源受限的情况下，如持续学习和流式传输，取得了可喜的成果。然而，现有的算法大多局限于传统的机器学习模型。一些可以处理大型模型的算法采用贪婪搜索方法，因为难以解决离散子集选择问题，当coreset变得更大时，计算成本很高，并且经常产生次优结果。在这项工作中，我们第一次提出了一个连续的概率双层制定coreset选择通过学习每个训练样本的概率权重。该算法的总体目标是一个两层优化问题，其中1）内循环采样核心重置并训练模型收敛; 2）外循环根据模型的性能逐步更新采样概率。重要的是，我们开发了一个有效的解决方案，通过无偏的策略梯度的双层优化问题，没有隐式微分的麻烦。我们提供了我们的训练过程的收敛性，并证明了我们的算法在各种任务中对各种核心集选择方法的优越性，特别是在更具挑战性的标签噪声和类不平衡的情况下。
2023-01-24 cs.LG
Efficient Coreset Selection via K-Nearest Neighbor Graphs
Xidian University（西安电子科技大学）；Hangzhou Institute, Xidian University（西安电子科技大学杭州研究院）；The Chinese University of Hong Kong（香港中文大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出基于K近邻图的KNNG-CS核心集选择方法，在保持与梯度近似核心集方法相当精度的同时，大幅降低了选择时间与峰值内存。
2026-08-18 cs.LG
Performance analysis of coreset selection for quantum implementation of K-Means clustering algorithm
The University of Melbourne（墨尔本大学）
预计量子计算将提供巨大的计算能力，可以为许多数据科学问题提供有效的解决方案。然而，目前这一代的量子器件体积小且有噪声，这使得处理与实际问题相关的大型数据集变得困难。核心集选择的目的是规避这个问题，减少输入数据的大小，而不损害的准确性。最近的工作表明，核心集选择可以帮助实现量子K-Means聚类问题。然而，核集选择对量子K-Means聚类性能的影响尚未被探索。在这项工作中，我们比较了两种coreset技术（BFL 16和ONESHOT）的相对性能，以及在每种情况下coreset构造的大小，相对于各种数据集和布局的优点和限制coreset选择在实现量子算法。我们还研究了去极化量子噪声和比特翻转误差的影响，并实现了量子自动编码器技术，以克服噪声的影响。我们的工作为未来在近期量子设备上实现数据科学算法提供了有用的见解，其中问题大小已通过核心集选择减少。
2022-06-16 cs.ET cs.LG quant-ph
Anti-Backdoor Coreset Selection via Cumulative Entropy
研究针对神经网络后门的训练阶段防御，将其转化为核心集选择问题，提出用累积熵作选择标准，在各 epoch 去除所选样本，构建良性核心集训练无后门模型，有效减轻后门攻击且对自然性能影响小。
2026-07-29 cs.CR cs.LG
FAST: Topology-Aware Frequency-Domain Distribution Matching for Coreset Selection
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（人机混合增强智能国家重点实验室，人工智能与机器人研究院，西安交通大学）；School of Software Engineering, State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（软件工程学院，人机混合增强智能国家重点实验室，人工智能与机器人研究院，西安交通大学）；School of Mathematical Sciences, Nankai University（数学科学学院，南开大学）
FAST是一种无深度神经网络的分布匹配聚类选择方法，通过频域特征函数距离和渐进不匹配感知采样策略，实现高效且准确的聚类选择。
2026-03-03 cs.AI cs.LG stat.ML
Online Coreset Selection for Rehearsal-based Continual Learning
KAIST（韩国科学技术院）；New York University（纽约大学）；AITRICS
数据集是描述一项任务的关键证据。然而，数据集中的每个数据点并不具有相同的潜力，因为一些数据点可能比其他数据点更具代表性或信息性。数据点之间的这种不平等的重要性可能会对基于排练的持续学习产生很大的影响，在这种情况下，我们存储训练样本的子集（coreset），以便稍后重播，以减轻灾难性遗忘。在持续学习中，核心集存储样本的质量直接影响模型的有效性和效率。核心集的选择问题变得更加重要的现实设置下，如不平衡的持续学习或嘈杂的数据场景。为了解决这个问题，我们提出了在线Coreset选择（OCS），一个简单而有效的方法，选择最具代表性和信息coreset在每次迭代和培训他们在网上的方式。我们提出的方法最大限度地提高了模型对当前数据集的适应性，同时选择了与过去任务具有高亲和力的样本，这直接抑制了灾难性遗忘。我们验证了我们的coreset选择机制的有效性，在各种标准的，不平衡的，和嘈杂的数据集对强大的持续学习基线，表明它提高了任务的适应性，并防止灾难性遗忘的样本效率的方式。
2022-03-18 cs.CV cs.LG
First-order Constrained Trilevel Optimization Over Distributed Networks for Robust Coreset Selection
该研究针对分布式边缘网络的海量数据问题，提出F²CTO方法，将分布式鲁棒核心集选择建模为带层级约束的三层优化问题，其收敛速率为O(ε^(-3/2))，经实证验证有效高效。
2026-07-31 cs.LG
Generating High Fidelity Synthetic Data via Coreset selection and Entropic Regularization
University of California, Los Angeles（加州大学洛杉矶分校）
生成模型能够合成从数据分布中提取的数据点，但是，并非所有生成的样本都是高质量的。在本文中，我们建议使用coresets选择方法和“熵正则化”的组合来选择最高保真的样本。我们利用一个基于能量的模型，它类似于一个变分自动编码器，具有一个推理和生成器模型，其潜在先验由基于能量的模型复杂化。在一个半监督学习的情况下，我们表明，增加标记的数据集，通过添加我们选择的样本子集，导致更好的精度提高，而不是使用所有的合成样本。
2023-01-31 cs.LG
Finding the Muses: Identifying Coresets through Loss Trajectories
Purdue University（普渡大学）
本文提出损失轨迹相关性 LTC，利用训练样本与验证集损失轨迹的一致性选择核心集，在 CIFAR-100 和 ImageNet-1k 上以低计算成本达到或超过现有方法，并具备良好架构迁移性。
2025-03-12 cs.AI cs.LG
Explore and Establish Synergistic Effects Between Weight Pruning and Coreset Selection in Neural Network Training
针对深度神经网络训练中计算成本高的问题，本文分析冗余权重与样本的相互作用，提出同步权重与样本裁剪机制SWaST，缓解关键双重损失问题，实现剪枝与核心集选择的协同，在减少10%-90%FLOPs的同时准确率提升达17.83%。
2025-11-17 cs.LG
Class-Proportional Coreset Selection for Difficulty-Separable Data
University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）
针对数据难度按类别聚集的现象，提出类难度可分离系数（CDSC）及类比例核心集选择方法，在多个数据集上实现更鲁棒的数据修剪。
2025-08-13 cs.AI cs.LG
Coreset selection for the Sinkhorn divergence and generic smooth divergences
University of Washington（华盛顿大学）
该研究提出CO2算法，通过函数泰勒展开将通用光滑散度下的核心集选择转化为最大均值差异最小化，应用于Sinkhorn散度可实现多对数级采样点的近似保证，还揭示了核心集选择与经典统计方法的关联。
2025-05-20 cs.LG stat.ML
Multi-Objective Evolutionary approach for the Performance Improvement of Learners using Ensembling Feature selection and Discretization Technique on Medical data
National Institute of Technology（印度国家理工学院）
生物医学数据充满了连续的实值;特征集中的这些值往往会产生问题，如欠拟合，维数灾难和由于更高的方差而增加的错误分类率。作为回应，数据集的预处理技术最大限度地减少了副作用，并在保持足够的准确性方面取得了成功。特征选择和离散化是处理生物医学数据中数据冗余的两个必要的预处理步骤。然而，在以往的工作中，缺乏统一的努力，通过集成特征选择和离散化一起解决数据冗余问题，导致不相交和碎片化的领域。本文提出了一种新的基于多目标的降维框架，它结合了离散化和特征约简作为一个集成模型执行特征选择和离散化。选择最佳的功能和分类的离散化和非离散化功能的特征子集是由多目标遗传算法（NSGA-II）。这两个目标是最小化特征选择过程中的出错率和最大化信息增益，同时将离散化视为适应度标准。
2020-04-16 cs.AI cs.LG
Efficient Content-based Recommendation Model Training via Noise-aware Coreset Selection
The University of Queensland（昆士兰大学）；Griffith University（格里菲斯大学）；Peking University（北京大学）
NaCS通过噪声感知的聚类选择方法，在仅使用1%训练数据的情况下，实现了93-95%的全数据集性能，提高了内容基础推荐系统的效率和质量。
2026-01-15 cs.IR cs.LG
Coreset Selection for Object Detection
Seoul National University（首尔大学）；NAVER WEBTOON AI
针对目标检测场景下因单图多目标导致核心集选择难度大、研究不足的问题，提出CSOD方法，通过生成逐图像逐类的多目标代表性特征向量，结合子模优化兼顾代表性与多样性来选子集，在Pascal VOC上200图选择时AP₅₀比随机选择高6.4%p。
2024-04-14 cs.CV cs.LG
The Impact of Coreset Selection on Spurious Correlations and Group Robustness
Princeton University（普林斯顿大学）；FAIR at Meta（Meta 的 FAIR 实验室）
该研究首次全面分析核心集选择对虚假偏差及下游模型鲁棒性的影响，通过多基准、多指标、多策略的实验揭示相关作用规律，指出优先选困难样本的方法虽能降偏差但无法可靠保证下游鲁棒性。
2025-10-20 cs.CV cs.LG
Data-Efficient Training of CNNs and Transformers with Coresets: A Stability Perspective
Transmute AI Lab（Transmute AI实验室）；UiT The Arctic University of Norway（挪威北极大学UiT）；Immersal（Immersal公司）
核心集选择是减少CNN训练时间的最有效方法之一，然而，在核心集大小变化以及数据集和模型选择的情况下，所得模型的行为方式有限。此外，考虑到最近的范式转移到变压器为基础的模型，它仍然是一个悬而未决的问题，如何coreset选择会影响他们的表现。有几个类似的有趣的问题，需要回答广泛接受的核心选择方法，本文试图回答其中的一些。我们提出了一个系统的基准测试设置，并对CNN和Transformers的不同核心选择方法进行了严格的比较。我们的研究表明，在某些情况下，随机选择的子集是更强大和稳定的SOTA选择方法相比。我们表明，传统的概念，均匀的子集抽样的各种类别的数据是不合适的选择。相反，应该根据每个类的数据分布的复杂性自适应地选择样本。Transformers通常在大型数据集上进行预训练，并且我们表明，对于某些目标数据集，即使在非常小的核心集大小下，它也有助于保持其性能稳定。我们进一步表明，当没有进行预训练时，或者当预训练的Transformer模型与非自然图像（例如医疗数据）一起使用时，即使在非常小的核心集大小下，CNN也倾向于比Transformers更好地泛化。最后，我们证明了在没有正确的预训练的情况下，CNN更善于学习图像中空间距离较远的对象之间的语义一致性，并且在几乎所有的核心集大小选择上，CNN的表现往往优于Transformers。
2023-03-10 cs.CV cs.LG
GLOBE: Trajectory-Aligned Gradient Matching with Structured SparseOptimization for Coreset Selection
本研究提出名为GLOBE的轨迹对齐核心集选择框架，通过多阶分布匹配与结构化稀疏优化提升核心集质量，在低保留率下的下游测试准确率优于现有方法，助力设备端数据高效学习。
2026-08-05 cs.LG
EMS Coreset: An Efficient Expectation-Maximization Algorithm for Sinkhorn Coreset
Purdue University（普渡大学）
该研究提出EMS Coreset算法，通过允许非均匀核心集权重实现熵正则化OT耦合的闭式更新，提升了Sinkhorn Coreset的可扩展性，在保证近似质量的同时大幅缩短了大规模数据集处理的运行时间。
2026-08-18 cs.LG stat.ML
Coreset Selection via LLM-based Concept Bottlenecks
Dolby Laboratory（多利贝实验室）；Apple（苹果公司）
本文提出一种基于大语言模型概念瓶颈的样本难度分数，无需训练下游模型即可高效选择 coreset，并在多个数据集上取得优于随机子集、媲美训练动态方法的性能。
2025-06-04 cs.LG
Stable Coresets via Posterior Sampling: Aligning Induced and Full Loss Landscapes
Purdue University（普渡大学）
本文提出了一种基于后验采样的稳定聚类方法，通过优化损失景观对齐，提升模型稳定性与泛化能力。
2025-11-21 cs.LG
PICore: Physics-Informed Unsupervised Coreset Selection for Data Efficient Neural Operator Training
Department of Computer Science（计算机科学系）；University of Maryland, College Park（马里兰大学学院公园分校）；Georgia Institute of Technology（佐治亚理工学院）；Department of Mathematics（数学系）；Center for Scientific Computation and Mathematical Modeling（科学计算与数学建模中心）
PICore提出无监督核心集选择框架，利用物理信息损失挑选最具信息量的未标注训练样本，仅模拟所选子集以降低标注和训练成本，在四个PDE基准上平均训练效率提升达78%且精度损失极小。
2025-10-25 cs.LG
Coreset selection can accelerate quantum machine learning models with provable generalization
Peking University（北京大学）；JD Explore Academy（京东探索研究院）
针对量子神经网络与量子核方法训练效率低、难适配大规模数据集的问题，提出核心集选择的统一加速方法，证明其泛化误差界与全量训练相当，且在多类量子机器学习任务中有效。
2023-12-12 cs.LG quant-ph
The Easy Path to Robustness: Coreset Selection using Sample Hardness
针对现有核心集选择算法无法保持对抗鲁棒性的问题，提出基于平均输入梯度范数量化样本难度的EasyCore算法，仅保留低难度样本训练，显著提升了标准与对抗训练下的对抗准确率。
2025-10-13 cs.CV cs.LG
UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning
UNC Chapel Hill（Chapel Hill 大学）
UPCORE 提出一种与方法无关的核心集选择框架，通过修剪遗忘集中的离群点来降低模型表示方差，从而在遗忘效果与模型性能保持之间实现更优平衡，并引入 AUC 指标加以评估。
2025-07-16 cs.AI cs.CL cs.LG
PDAC: Efficient Coreset Selection for Continual Learning via Probability Density Awareness
School of Mathematics, Harbin Institute of Technology（哈尔滨工业大学数学学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对基于重放的持续学习中主流核心集选择方法计算成本高的问题，本文通过分析样本概率密度对误差抑制的作用，提出PDAC方法及流式场景的SPDAC变体，在提升效率的同时优于基线方法。
2025-11-12 cs.LG
Uncovering Coresets for Classification With Multi-Objective Evolutionary Algorithms
Politecnico di Torino（都灵理工大学）；INRAE（法国国家农业食品与环境研究院）；Université Paris-Saclay（巴黎萨克雷大学）
核心集是训练集的一个子集，使用它，机器学习算法获得的性能与在整个原始数据上训练时的性能相似。Coreset的发现是一个积极和开放的研究方向，因为它可以提高算法的训练速度，并可能帮助人类理解结果。在前人工作的基础上，提出了一种新的方法：对候选紧身胸衣进行迭代优化，添加和删除样本。由于限制训练规模和结果质量之间存在明显的权衡，使用多目标进化算法同时最小化集合中的点的数量和分类误差。非平凡基准测试的实验结果表明，所提出的方法是能够提供的结果，允许分类器，以获得更低的错误和更好的能力概括看不见的数据比国家的最先进的核心发现技术。
2020-02-20 cs.LG cs.NE stat.ML
Adversarial Coreset Selection for Efficient Robust Training
The University of Melbourne（墨尔本大学）
本文提出对抗性核心集选择方法，以梯度近似误差为准则从训练数据中选取小规模子集，在保持轻微精度损失的同时将对抗训练速度提升2-3倍，并可适配TRADES、ℓp-PGD等多种训练目标。
2023-08-08 cs.CV cs.LG
Gradient-matching coresets for continual learning
Amazon Web Services（亚马逊云科技）
我们设计了一种基于梯度匹配思想的核心集选择方法：由核心集引起的梯度应该尽可能接近地匹配原始训练数据集引起的梯度。我们在持续学习的背景下评估该方法，在那里它可以用来策划一个排练记忆。我们的方法执行强有力的竞争对手，如在一系列内存大小的水库采样。
2021-12-09 cs.LG
The Power of Few: Accelerating and Enhancing Data Reweighting with Coreset Selection
Michigan State University（密歇根州立大学）
针对大模型训练计算成本过高的问题，提出一种利用核心集选择进行数据重加权的新方法，通过最小化异常值影响并将权重传播至全量数据，有效平衡了计算效率与模型准确率。
2024-05-30 cs.LG stat.ML
Distributionally Robust Coreset Selection under Covariate Shift
Nagoya University（名古屋大学）；RIKEN（理化学研究所）；Nagoya Institute of Technology（名古屋工业大学）；DENSO CORPORATION（电装公司）
针对部署阶段协变量分布未知且可能偏移的问题，提出DRCS，通过最小化最坏情形测试误差上界估计选择鲁棒核心集，并验证其在凸模型及近似深度学习中的有效性。
2025-02-18 cs.LG stat.ML
D2 Pruning: Message Passing for Balancing Diversity and Difficulty in Data Pruning
University of North Carolina Chapel Hill（北卡罗来纳大学教堂山分校）
D2剪枝通过图上的消息传递联合优化数据多样性与难度，实现高效核心集选择，在高达70%剪枝率下超越现有方法，并提升多模态数据过滤效果。
2023-10-11 cs.AI cs.CL cs.CV
Coreset-Based Task Selection for Sample-Efficient Meta-Reinforcement Learning
Columbia University（哥伦比亚大学）
针对MAML-RL的任务冗余问题，提出基于Coreset的任务选择方法，通过梯度空间多样性选加权子集，理论上降低样本复杂度O(1/ε)倍，提升对未见任务的适应速度，并在MAML-LQR中验证有效性。
2026-09-29 cs.LG math.OC
Are Coreset Selection Methods Worth Their Cost?
Shandong University（山东大学）
本研究通过端到端基准测试和预算审计，证明核心集选择方法在固定墙钟时间预算下不优于随机采样或全数据训练，其选择成本无法摊销，评估时忽略选择时间会误导结论。
2026-09-30 cs.AI cs.CV cs.LG
Data-efficient flood depth prediction through domain-aware coreset selection and tabular foundation models
Urban Resilience.AI Lab（Urban Resilience.AI实验室）；Zachry Department of Civil and Environmental Engineering, Texas A&M University（Zachry土木与环境工程系，德克萨斯A&M大学）；Department of Computer Science and Engineering, Texas A&M University（计算机科学与工程系，德克萨斯A&M大学）；Resilitix Intelligence LLC；Institute for a Disaster Resilient Texas, Texas A&M University（德克萨斯灾难韧性研究所，德克萨斯A&M大学）
提出一种领域感知的核心集构建流程，结合表格基础模型，仅用0.7%的训练数据即可实现与监督模型相当的洪水深度预测精度，并支持跨流域迁移。
2026-11-09 cs.LG
Efficient and Robust Quantization-aware Training via Adaptive Coreset Selection
Hong Kong University of Science and Technology (HKUST)（香港科技大学）；Meta Reality Lab（元宇宙实验室）
提出基于误差向量得分和分歧得分的自适应核心集选择方法，用于量化感知训练，仅用10%数据即可在ImageNet-1K上提升4.24%准确率，并增强鲁棒性。
2024-08-20 cs.AI cs.CV cs.LG
LLM Unlearning Reveals a Stronger-Than-Expected Coreset Effect in Current Benchmarks
Michigan State University（密歇根州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；IBM Research（IBM研究院）
研究首次发现WMDP和MUSE等LLM遗忘基准存在核心集效应，仅需5%随机子集即可维持完整遗忘集的效果，且该效应在多种方法和数据选择策略中鲁棒，其原因是遗忘由紧凑高影响标记驱动。
2025-04-16 cs.AI cs.CL cs.LG
