Coreset selection can accelerate quantum machine learning models with provable generalization
Peking University（北京大学）；JD Explore Academy（京东探索研究院）
针对量子神经网络与量子核方法训练效率低、难适配大规模数据集的问题，提出核心集选择的统一加速方法，证明其泛化误差界与全量训练相当，且在多类量子机器学习任务中有效。
2023-12-12 cs.LG quant-ph
On Provable Backdoor Defense in Collaborative Learning
Duke University（杜克大学）
由于协作学习允许使用多个数据源联合训练模型，因此安全问题一直是一个核心问题。恶意用户可以上传有毒数据以防止模型收敛或注入隐藏的后门。所谓的后门攻击特别难以检测，因为模型在标准测试数据上表现正常，但在被某些后门密钥触发时会给出错误的输出。虽然拜占庭容忍训练算法提供了收敛保证，可证明的防御后门攻击仍然在很大程度上没有解决。基于随机平滑的方法只能纠正少量损坏的像素或标签;基于子集聚合的方法由于数据利用率低而导致分类精度严重下降。我们提出了一个新的框架，概括现有的子集聚合方法。该框架表明，子集选择过程，子集聚合方法的决定因素，可以被视为一个代码设计问题。我们推导出数据利用率的理论界，并提供最佳的代码结构。在MNIST和CIFAR-10的非IID版本上的实验表明，我们的方法与最佳代码显着优于基线使用非重叠分区和随机选择。此外，与现有的编码理论的结果表明，特殊的代码可以跟踪攻击者的位置。这种能力为后门攻击提供了新的对策。
2021-01-19 cs.CR cs.LG
Provable Noisy Sparse Subspace Clustering using Greedy Neighbor Selection: A Coherence-Based Perspective
稀疏子空间聚类（SSC）使用基于贪婪的邻居选择，如匹配追踪（MP）和正交匹配追踪（OMP），已被称为是一种流行的计算效率高的替代传统的基于L1最小化的方法。在确定性有界噪声腐败，在本文中，我们推导出基于相干性的充分条件，保证正确的邻居识别使用MP/OMP。我们的分析利用了两个噪声数据点之间的最大/最小内积受到一个已知的上限的噪声水平。所得到的充分条件清楚地揭示了噪声对基于贪婪的邻居恢复的影响。具体地说，它断言，只要噪声足够小，使得所得到的扰动残差向量保持接近所需的子空间，MP和OMP都成功地返回正确的邻居子集。一个惊人的发现是，当地面真值子空间彼此分离并且噪声不大时，基于MP的迭代在享受较低算法复杂度的同时，产生较小的残差扰动，从而能够更好地识别正确的邻居，进而实现更高的全局数据聚类精度。大量的数值实验被用来证实我们的理论研究。
2020-02-02 cs.LG stat.ML
Model-agnostic Selective Labeling with Provable Statistical Guarantees
Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学）；Department of Mathematics, The Chinese University of HongKong（数学系，香港中文大学）；School of Software Engineering, South China University of Technology（软件工程学院，华南理工大学）
本文提出符合性标注方法，通过控制假发现率保证人工智能预测的可信度，从而提升大规模数据标注的准确性和效率。
2026-02-14 cs.AI cs.LG
Provable Training Data Identification for Large Language Models
Department of Statistics and Data Science, Southern University of Science and Technology（统计与数据科学系，南方科技大学）；Shanghai Innovation Institute（上海创新研究院）；School of Computer Science, Shanghai Jiao Tong University（计算机科学学院，上海交通大学）
本文提出PTDI方法，通过集级推断实现大语言模型训练数据识别的可证明误差控制。
2026-08-10 cs.AI cs.LG
Semi-Supervised Sparse Gaussian Classification: Provable Benefits of Unlabeled Data
Weizmann Institute of Science（魏茨曼科学研究所）
本文研究高维稀疏高斯分类中的半监督学习，证明在特定参数区域内结合有标签与无标签数据可在多项式时间内实现准确分类和特征选择，而单独使用任一数据的高效算法均会失败。
2024-09-05 cs.LG stat.ML
Sketchy Moment Matching: Toward Fast and Provable Data Selection for Finetuning
New York University（纽约大学）
本文提出Sketchy Moment Matching（SkMM）数据选择方法，通过梯度草图控制低秩近似偏差、矩匹配降低方差，在微调中实现快速且可证明的数据选择，并保持与参数维度无关的快速泛化率。
2024-11-17 cs.LG cs.NA math.NA
NFTR: From Provable Mode-Averaging to Geodesic Subgoal Selection in Offline Goal-Conditioned RL
Huazhong University of Science and Technology（华中科技大学）；Xi’an Jiaotong University（西安交通大学）；University of Electronic Science and Technology of China（电子科技大学）
针对分层隐式Q学习在离线目标条件强化学习中存在的问题，提出NFTR方法，用条件归一化流取代高斯策略，结合基于架构三角不等式的三角松弛分数及RWDR目标，可避免高斯坍塌且在随机动力学下保持稳定。
2026-10-06 cs.LG
Provable FDR Control for Deep Feature Selection: Deep MLPs and Beyond
The University of Tokyo, Bunkyo, Tokyo, Japan（东京大学）
本文提出了一种基于深度神经网络的特征选择方法，首次在通用深度学习设置中提供可证明的FDR控制理论保证。
2026-10-02 cs.LG math.ST stat.ML
Provable Joint Decontamination for Benchmarking Multiple Large Language Models
Department of Statistics and Data Science, Southern University of Science and Technology Shanghai Innovation Institute（统计与数据科学系，南方科技大学上海创新研究院）
本文提出了一种可证明的多语言模型基准测试去污染方法，通过联合选择过程实现全局污染率控制，提升跨模型比较的可靠性。
2026-05-20 cs.LG
Provable approximation properties for deep neural networks
Yale University（耶鲁大学）
我们讨论使用深度神经网络的函数逼近。给定$d$维流形$Γ\subset \mathbb{R}^m$上的函数$f$，我们构造了一个稀疏连接的深度4神经网络，并限制了它逼近$f$的误差。网络的大小取决于尺寸和曲率的流形$Γ$，$f$的复杂性，在其小波描述方面，只有弱的环境尺寸$m$。从本质上讲，我们的网络计算小波函数，这些小波函数是从整流线性单元（ReLU）计算的。
2016-03-28 cs.LG cs.NE stat.ML
Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection
Salesforce AI Research（赛富时人工智能研究院）；Peking University（北京大学）；UC Berkeley（加州大学伯克利分校）
本文为Transformer的上下文学习建立了统计理论，证明其能实现多种基础机器学习算法，并进一步提出上下文算法选择机制，使单个Transformer能自适应选择算法或任务，在理论和实验上均验证了其接近最优的性能。
2023-07-06 cs.AI cs.CL cs.LG
MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；IBM Research（IBM研究院）
提出模型无关子集选择框架MILO，通过预处理子集选择与从易到难课程式学习，在不损害性能前提下，将模型训练提速3-10倍，超参数调优提速20-75倍。
2023-06-16 cs.AI cs.LG
Provable Adaptation across Multiway Domains via Representation Learning
Carnegie Mellon University（卡内基梅隆大学）；NEC Laboratories America, Inc.（美国NEC实验室）；University of Washington（华盛顿大学）
本文研究了zero-shot领域自适应，其中每个领域都在多维数组上索引，并且我们只有来自一小部分领域的数据。我们的目标是产生在\emph{unseen}域上表现良好的预测器。我们提出了一个模型，该模型由一个域不变的潜在表示层和一个特定于域的线性预测层与低秩张量结构。从理论上讲，我们提出了明确的样本复杂性界来表征预测误差的领域与训练数据和每个域的数据数量方面看不见的域。据我们所知，这是zero-shot领域自适应的第一个有限样本保证。此外，我们提供了双向MNIST和四路光纤传感数据集上的实验，以证明我们提出的模型的有效性。
2021-06-12 cs.LG
Provable Identifiability of Two-Layer ReLU Neural Networks via LASSO Regularization
University of Pennsylvania Wharton School（宾夕法尼亚大学沃顿商学院）；University of Minnesota（明尼苏达大学）
本文证明LASSO正则化可稳定重建两层ReLU神经网络并识别其依赖的输入子集，样本量随维度对数增长，并提出了基于神经网络的变量选择方法。
2023-05-07 cs.LG math.ST stat.TH
Sample-Optimal Locally Private Hypothesis Selection and the Provable Benefits of Interactivity
University of Waterloo（滑铁卢大学）；McMaster University（麦马斯特大学）；Vector Institute（向量研究所）
本文提出了一种在局部差分隐私下样本最优的假设选择算法，通过交互性突破非交互方法的样本复杂度下界。
2026-03-04 cs.CR cs.IT cs.LG
Explaining, Fast and Slow: Abstraction and Refinement of Provable Explanations
Hebrew University of Jerusalem（希伯来大学）；Technical University of Munich（慕尼黑技术大学）
针对可证明充分解释计算的可扩展性难题，本文提出抽象—细化方法，利用缩减网络加速验证并迭代细化至收敛，提升效率且支持多层级细粒度解释。
2025-06-10 cs.AI cs.LG cs.LO
Subset Selection for Fine-Tuning: A Utility-Diversity Balanced Approach for Mathematical Domain Adaptation
Department of Computer Science and Engineering IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）；Koita Centre for Digital Health IIT Bombay（IIT班加罗尔数字健康中心）
本文提出一种效用-多样性平衡的预算子集选择方法，通过结合困惑度与思维链损失筛选高价值样本并保证数学子领域覆盖，在LLaMA-3 8B和Phi-3上以更低成本实现接近全数据集的微调性能。
2025-05-02 cs.AI cs.LG
Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection
Delft Center for Systems and Control (DCSC), Delft University of Technology, The Netherlands（代尔夫特系统与控制中心（DCSC），代尔夫特理工大学，荷兰）；School of Computer Science and Statistics, Trinity College Dublin, Ireland（三一学院都柏林计算机科学与统计学系，爱尔兰）；Departments of Aerospace Engineering Sciences and Computer Science, University of Colorado Boulder, USA（科罗拉多大学波德分校航空航天工程科学系与计算机科学系，美国）；The Italian Institute of Artificial Intelligence (AI4I), Italy（意大利人工智能研究所（AI4I），意大利）
本文提出了一种算法框架，通过高斯过程混合近似有限宽度和深度的神经网络，并在误差界内进行逼近，同时探讨了如何利用该方法调整神经网络参数以模仿给定高斯过程的函数行为，如贝叶斯推断中的先验选择。
2026-03-22 cs.LG stat.ML
Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
Rice University（莱斯大学）
针对 Nesterov 动量在神经网络训练中的加速收敛难题，本文提出一类仅部分参数满足强凸性的新目标函数，从理论上证明其加速效果，并首次为深度 ReLU 网络等非平凡架构证明了加速收敛速率。
2024-01-05 cs.LG math.OC
Semi-Supervised Deep Sobolev Regression: Estimation and Variable Selection by ReQU Neural Network
Wuhan University（武汉大学）；School of Mathematics and Statistics, Wuhan University（武汉大学数学与统计学院）；National Center for Applied Mathematics in Hubei（湖北国家应用数学中心）；Hubei Key Laboratory of Computational Science, Wuhan University（武汉大学湖北省计算科学重点实验室）
提出半监督深度Sobolev回归器SDORE，利用深度ReQU神经网络与无标签数据实现回归函数及梯度的非参数估计，证明了其极小极大最优收敛率，并支持非参数变量选择。
2025-01-30 cs.LG stat.ML
Training Subset Selection for Weak Supervision
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Northwestern University（西北大学）
现有的弱监测方法使用弱信号覆盖的所有数据来训练分类器。我们从理论和经验上表明，这并不总是最佳的。直觉上，弱标签数据的数量和弱标签的精度之间存在权衡。我们通过将预训练的数据表示与切割统计相结合来探索这种权衡（Muhlenbach等人，2004）来选择（希望）弱标记训练数据的高质量子集。子集选择适用于任何标签模型和分类器，并且非常简单地插入到现有的弱监督管道中，只需要几行代码。我们展示了我们的子集选择方法提高了广泛的标签模型，分类器和数据集的弱监督性能。使用较少的弱标记数据可以将弱监督管道的准确性提高19%（绝对值）。
2023-03-06 cs.AI cs.LG stat.ML
Deep Partition Aggregation: Provable Defense against General Poisoning Attacks
University of Maryland（马里兰大学）
对抗性中毒攻击扭曲训练数据，以破坏分类器的测试时行为。可证明的防御为每个测试样本提供了一个证书，这是训练集的任何对抗性失真的幅度的下限，可以破坏测试样本的分类。我们提出了两种新的针对中毒攻击的可证明防御：（i）深度分区聚合（DPA），针对一般中毒威胁模型的认证防御，定义为向训练集插入或删除有限数量的样本-通过暗示，该威胁模型还包括对有限数量的图像和/或标签的任意扭曲;以及（ii）半监督DPA（SS-DPA），一种针对标签翻转中毒攻击的认证防御。DPA是一种集成方法，其中基础模型在由散列函数确定的训练集的分区上训练。DPA与子集聚合（经典机器学习中一种研究得很好的集成方法）以及随机平滑（一种流行的可证明防御规避攻击的方法）有关。我们对标签翻转攻击的防御，SS-DPA，使用半监督学习算法作为其基本分类器模型：每个基本分类器除了使用分区的标签外，还使用整个未标记的训练集进行训练。SS-DPA在MNIST和CIFAR-10上的标签翻转攻击方面明显优于现有的认证防御：可以证明，对于至少一半的测试图像，MNIST上的标签翻转超过600次（相对于< 200次标签翻转），CIFAR-10上的标签翻转超过300次（相对于175次标签翻转）。针对一般中毒攻击，在没有事先认证的防御措施的情况下，DPA可以针对MNIST上的500多个中毒图像插入和CIFAR-10上的9个插入认证>= 50%的测试图像。这…
2021-03-18 cs.LG stat.ML
Leveraging Importance Weights in Subset Selection
Google Research（谷歌研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一个子集选择算法，旨在与任意模型的家庭在一个实际的批量设置。在这样的设置中，算法可以一次对一个示例进行采样，但是为了限制开销成本，一旦选择了足够大的一批示例，算法就只能更新其状态（即，进一步的训练模型权重）。我们的算法IWeS通过重要性采样选择示例，其中分配给每个示例的采样概率基于在先前选择的批次上训练的模型的熵。IWeS承认显着的性能改进相比，其他子集选择算法的七个公开可用的数据集。此外，它在主动学习设置中具有竞争力，其中标签信息在选择时不可用。我们还提供了一个初步的理论分析，以支持我们的重要性加权方法，证明泛化和采样率的界限。
2023-01-28 cs.AI cs.LG stat.ML
Correlation Based Feature Subset Selection for Multivariate Time-Series Data
University College Dublin（都柏林大学）
多变量时间序列数据流中的相关性意味着，通常情况下，给定的数据采掘任务只需要一小部分特征。在本文中，我们提出了一种技术，我们称之为时间序列数据（MSTS）的优点分数，没有特征子集选择的基础上的相关模式的单个特征分类器的输出。我们分配一个优点分数的功能子集，这是用来作为选择“好”的功能子集的基础。所提出的技术进行评估的数据集从UEA多变量时间序列档案，并对包装方法进行比较，特征子集的选择。MSTS被证明是有效的特征子集选择，是特别有效的数据减少技术。MSTS在选择合适的特征子集方面比Wrapper策略在计算上更有效，对于一些较大的数据集，速度要快100倍以上，同时还保持了良好的分类精度。
2021-11-26 cs.LG
Diverse Subset Selection via Norm-Based Sampling and Orthogonality
School of Electrical Engineering at Tel Aviv University（特拉维夫大学电气工程学院）
针对标注成本高昂的问题，本文提出结合特征范数、随机化与正交性的子集选择方法，在多个图像和文本基准上显著提升多样性与信息量。
2025-09-26 cs.AI cs.CV cs.LG
Speeding up NAS with Adaptive Subset Selection
神经结构搜索（NAS）的大多数最新发展旨在降低各种技术的计算成本，而不影响其最终性能。为此，已经考虑了几种低保真度和性能预测方法，包括仅在训练数据的子集上进行训练的方法。在这项工作中，我们提出了一个自适应的子集选择方法NAS，并提出它作为补充国家的最先进的NAS方法。我们发现了一个自然的连接之间的一次性NAS算法和自适应子集选择，并设计了一个算法，利用这两个领域的最先进的技术。我们使用这些技术来大幅减少DARTS-PT（领先的一次性NAS算法）以及BOHB和DEHB（领先的多保真度优化算法）的运行时间，而不会牺牲准确性。我们的结果在多个数据集上是一致的，为了实现完全的可重复性，我们在https：//anonymous.4open.science/r/SubsetSelection NAS-B132上发布了我们的代码。
2022-11-02 cs.LG
Provable Benefit of Orthogonal Initialization in Optimizing Deep Linear Networks
Princeton University（普林斯顿大学）；Google Brain（谷歌大脑）
深度神经网络基于梯度的优化的初始参数值的选择是深度学习系统中最有影响力的超参数选择之一，影响收敛时间和模型性能。然而，尽管有大量的经验和理论分析，相对较少被证明不同的初始化方案的具体效果。在这项工作中，我们分析了深度线性网络中初始化的影响，并首次提供了一个严格的证明，即从正交组中提取初始权重可以相对于具有iid权重的标准高斯初始化加速收敛。我们发现，对于深度网络，使用正交初始化有效收敛到全局最小值所需的宽度与深度无关，而使用高斯初始化有效收敛所需的宽度在深度上线性缩放。我们的研究结果证明了良好初始化的好处如何在整个学习过程中持续存在，这表明了最近通过根据动态等距原理初始化非常深的非线性网络所发现的经验成功的解释。
2020-01-16 cs.LG cs.NE math.OC
Subset selection in sparse matrices
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Georgia Institute of Technology（佐治亚理工学院）；ETH Zürich（苏黎世联邦理工学院）
在子集选择中，我们搜索涉及一小部分变量的最佳线性预测器。从计算复杂性的角度来看，子集选择是NP难的，并且已知很少有类可以在多项式时间内求解。主要使用离散几何的工具，我们表明，原始数据矩阵的一些稀疏性条件，使我们能够在多项式时间内解决这个问题。
2020-02-06 cs.CC cs.LG math.OC
Provable Training Set Debugging for Linear Regression
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Cambridge（剑桥大学）
我们调查的问题，惩罚$M$估计，启发应用程序在机器学习调试。从两个池中收集数据，一个包含可能被污染的标签的数据，另一个已知仅包含干净标记的点。我们首先制定了一个通用的统计算法，用于识别错误点，并提供严格的理论保证的假设下，数据遵循线性模型。然后，我们提出了两个案例研究来说明我们的一般理论的结果和我们的估计干净与缺陷点的依赖。我们进一步提出了一个算法，调整我们的Lasso算法的参数选择，并提供相应的理论保证。最后，我们考虑一个两个人的“游戏”之间的错误发生器和调试器，调试器可以增加污染的数据集与干净的标记版本的点在原始数据池。我们建立了一个理论上的结果，显示了一个充分条件下，错误生成器总是可以欺骗调试器。尽管如此，我们提供的实证结果表明，这种情况可能不会发生在实践中，使自然增强策略结合我们的Lasso调试算法成功。
2021-08-10 cs.LG stat.ME stat.ML
One-pass additive-error subset selection for $\ell_{p}$ subspace approximation
Microsoft Research（微软研究院）；Indian Institute of Technology（印度理工学院）
我们认为，$\ell_{p}$子空间近似的子集选择的问题，也就是说，有效地找到一个\emph{small}子集的数据点，使解决这个问题的最佳子集给出了一个很好的近似解决问题的最佳原始输入。对于$p \in [1, \infty)$的一般情况，先前已知的基于体积采样和自适应采样的子集选择算法\cite{DeshpandeV07}需要多次通过数据。本文对任意$p \in [1, \infty)$，给出了一个$\ell_{p}$子空间逼近的具有加法逼近保证的一遍子集选择。早期的子集选择算法，给出了一个一遍乘法$(1+ε)$近似工作在特殊情况下。Cohen的\textit{et al.} \cite{CohenMM17}给出了一个一遍子集部分，为$\ell_{2}$子空间近似的特殊情况提供了乘法$(1+ε)$近似保证。Mahabadi \textit{et al.} \cite{MahabadiRWZ20}给出了一个一遍\emph{noisy}子集选择，当$p \in \{1, 2\}$时，$\ell_{p}$子空间近似具有$(1+ε)$近似保证。我们的子集选择算法给出了较弱的加法近似保证，但它适用于任何$p \in [1, \infty)$。
2022-04-26 cs.CG cs.LG stat.ML
Provable Pruning for Efficient 3D Gaussian Splatting via Coresets
Department of Computer Science, University of Haifa（海法大学计算机科学系）
研究3D高斯点云场景能否用更小加权子集替代以保持目标，先证无平凡乘法核心集，后给出特定分辨率下核心集构造定理，依敏感度采样高斯点，还将目标保证转为渲染保证，性能达最优。
2026-07-07 cs.CV cs.GR cs.LG
Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression
Xi’an Jiaotong University（西安交通大学）；State Key Laboratory of Management and Control for Complex Systems（复杂系统管理与控制国家重点实验室）
给定$m$ $d$ -维响应变量和$n$ $d$ -维预测变量，稀疏回归为线性近似$1\leq k \leq d-1$的每个响应变量找到最多$k$预测变量.稀疏回归中的关键问题是子集选择，这通常具有很高的计算代价。近年来，提出了许多改进的近似子集选择方法。然而，非近似的子集选择方法却很少受到关注，而这对于数据分析中的许多问题是非常必要的。本文从相关性的角度考虑稀疏回归问题，给出了条件不相关性的计算公式。在此基础上，提出了一种有效的非近似子集选择方法，该方法不需要计算回归方程中的任何系数。通过该方法，稀疏回归中每个候选子集的计算复杂性从$O(\frac{1}{6}{k^3}+mk^2+mkd)$降低到$O(\frac{1}{6}{k^3}+\frac{1}{2}mk^2)$。由于维数$d$一般为观测或实验的个数且足够大，因此该方法可以大大提高非近似子集选择的效率。
2020-11-24 cs.LG stat.ML
A Recommendation System Approach for Interference-Robust Sensor Subset Selection
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对现有基于RSSI的传感器子集选择方法易受声学干扰的问题，提出结合频带声学特征与双塔MLP架构的推荐系统框架，在户外车辆跟踪任务中较RSSI基线提升约20%精度且保持低计算开销。
2026-08-12 cs.LG
Two-way Spectrum Pursuit for CUR Decomposition and Its Application in Joint Column/Row Subset Selection
University of Central Florida（中佛罗里达大学）
本文讨论了行和列同时选择子集的问题。矩阵的列空间和行空间分别由其左奇异向量和右奇异向量张成。然而，奇异向量不在矩阵的实际列/行内。在本文中，提出了一种迭代的方法，通过选择一个子集的实际列/行捕获的列/行的最结构化的信息。这种算法被称为双向谱追踪（TWSP），它为我们提供了一个准确的解决方案的CUR矩阵分解。由于TWSP算法具有线性复杂度，因此它具有广泛的应用前景。原始列/行的数量。我们展示了应用TWSP联合信道和传感器选择在认知无线电网络，信息用户和内容检测，有效的监督数据减少。
2021-06-13 cs.LG
Subset Selection Based On Multiple Rankings in the Presence of Bias: Effectiveness of Fairness Constraints for Multiwinner Voting Score Functions
TU Berlin（柏林工业大学）；Yale University（耶鲁大学）；Nanjing University（南京大学）
本文研究存在偏差的多排名子集选择问题，证明群体公平性约束可提升选择质量，发现不同多胜者得分函数对排名数量的依赖存在指数与多项式级差异，提出子模函数平滑度概念，可为得分函数选择提供指导和实证工具。
2023-06-16 cs.AI cs.CY cs.DS
Adaptive parameter-efficient fine-tuning via Hessian-informed subset selection
针对参数高效微调中子集选择影响性能的问题，研究将其建模为多任务问题，经变换转化为0-1背包问题并以帕累托最优求解，提出可适配多任务多模型的海森引导AdaPEFT方法。
2025-05-18 cs.LG
A Fast Greedy Algorithm for Generalized Column Subset Selection
University of Waterloo（滑铁卢大学）
本文定义了一个广义列子集选择问题，它涉及从源矩阵A中选择最接近目标矩阵B的跨度的列。然后，本文提出了一种快速的贪心算法来解决这个问题，并绘制连接到不同的问题，可以有效地解决使用所提出的算法。
2013-12-24 cs.DS cs.LG stat.ML
Supervised Feature Subset Selection and Feature Ranking for Multivariate Time Series without Feature Extraction
NEC Laboratories America（美国NEC实验室）
我们介绍了多变量时间序列（MTS）分类的监督特征排序和特征子集选择算法。与大多数现有的监督/无监督MTS的特征选择算法，我们的技术不需要一个特征提取步骤，从时间序列生成一个一维的特征向量。相反，它是基于直接计算单个时间序列之间的相似性，并评估产生的聚类结构与标签的匹配程度。该技术适用于异构MTS数据，其中时间序列测量可能具有不同的采样分辨率，以及多模态数据。
2020-05-01 cs.LG stat.ML
Fair Column Subset Selection
Aalto University（阿尔托大学）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本文研究两组行约束下的公平列子集选择，证明最小规模采样为NP难，并提出1.5倍近似算法及基于秩揭示QR的启发式方法。
2024-08-12 cs.LG
Enhancing Neural Subset Selection: Integrating Background Information into Set Representations
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）；Hong Kong Baptist University（香港浸会大学）
本文针对神经子集选择中忽略超集背景信息的问题，提出从排列不变性角度融合子集与超集表示的信息聚合模块，并通过理论分析和多任务实验验证了其有效性。
2024-06-09 cs.LG
Solving the Best Subset Selection Problem via Suboptimal Algorithms
University of Central Oklahoma（中央俄克拉荷马大学）；The University of Alabama（阿拉巴马大学）
针对高维线性回归中最佳子集选择问题的非凸与计算挑战，本文提出一种新的次优算法，通过合成与真实数据实验验证其能以更低计算成本提供良好近似解，表现出强竞争力。
2025-03-31 cs.LG stat.ML
Feature Selection as Deep Sequential Generative Learning
Arizona State University（亚利桑那州立大学）；University of Kansas（堪萨斯大学）；NEC Laboratories America Inc（美国NEC实验室）
本研究将特征选择重构为深度序列生成学习任务，通过深度变分Transformer模型提炼特征知识、学习嵌入空间，结合效用评估器梯度指导与自回归解码生成最优特征子集，兼具有效性与通用性。
2024-03-06 cs.LG
Bayesian subset selection and variable importance for interpretable prediction and classification
Rice University（莱斯大学）；Department of Statistics（统计系）
子集选择是可解释学习、科学发现和数据压缩的重要工具。然而，由于选择不稳定，缺乏正则化，以及选择后推理的困难，经典的子集选择通常被避免。我们从贝叶斯的角度来解决这些挑战。给定任何贝叶斯预测模型$\mathcal{M}$，我们提取一系列接近最优的变量子集进行线性预测或分类。这种策略不再强调单一“最佳”子集的作用，而是提出了更广泛的观点，即许多子集往往具有高度竞争力。可接受的子集族为模型解释提供了一种新的途径，并通过关键成员（如最小可接受子集）以及基于变量（共同）是否出现在所有、一些或没有可接受子集中的新（共同）变量重要性度量进行了简洁的总结。更广泛地说，我们应用贝叶斯决策分析来获得任何变量子集的最佳线性系数。这些系数通过$\mathcal{M}$继承正则化和预测不确定性量化。对于模拟和真实数据，所提出的方法表现出更好的预测，区间估计，变量选择比竞争贝叶斯和频率选择方法。这些工具应用于具有高度相关协变量的大型教育数据集。我们的分析为预测教育成果的环境，社会经济和人口因素的组合提供了独特的见解，并确定了200多个不同的变量子集，这些变量提供了接近最佳的样本外预测准确性。
2022-02-16 cs.LG stat.AP stat.CO
GRAD-MATCH: Gradient Matching based Data Subset Selection for Efficient Deep Model Training
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
现代机器学习模型在大型数据集上的巨大成功取决于大量的计算资源，以及高昂的财务和环境成本。解决这个问题的一种方法是提取与完整数据同等的子集。在这项工作中，我们提出了一个通用的框架，梯度匹配，它发现的子集，密切匹配的梯度的训练或验证集。我们发现这样的子集有效地使用正交匹配追踪算法。我们展示了所提出的算法的严格的理论和收敛保证，并通过我们在真实世界数据集上的广泛实验，展示了我们所提出的框架的有效性。我们表明，GRAD-MATCH显着和一贯优于最近的几个数据选择算法，并实现了最佳的准确性和效率的权衡。GRAD-MATCH是CORDS工具包\url{https://github.com/decile-team/cords}的一部分。
2021-06-11 cs.LG
Tuning Algorithmic and Architectural Hyperparameters in Graph-Based Semi-Supervised Learning with Provable Guarantees
Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文正式研究了基于图的半监督学习中的超参数调整问题，为经典标签传播算法族推导了伪维度上下界，并界定了现代图神经网络（SGC及GCN与GAT插值架构）中架构超参数的 Rademacher 复杂度。
2025-07-16 cs.LG
Machine Learning meets Stochastic Geometry: Determinantal Subset Selection for Wireless Networks
Virginia Tech（弗吉尼亚理工学院）
在无线网络中，许多问题可以被公式化为子集选择问题，其中目标是从基集合中选择子集，目标是最大化某个目标函数。这些问题通常是NP难的，因此通过精心构造的算法来解决，这些算法本身大多是NP完全的，因此不容易适用于大型网络。另一方面，子集选择问题发生在机器学习（ML）中略有不同的上下文中，其目标是从基础集合中选择高质量但不同的项目的子集。在本文中，我们介绍了一种新的基于DPP的学习（DPPL）框架，有效地解决无线网络中的子集选择问题。DPPL旨在通过学习由优化例程选择的最优子集中的质量-多样性权衡来取代用于子集选择的传统优化算法。作为一个案例研究，我们应用DPPL的无线链路调度问题，其中的目标是确定的子集，同时活跃的链路，最大限度地提高全网络的总和率。我们表明，建议DPPL方法的最优解显着降低计算复杂性比流行的优化算法用于这个问题在文献中。
2019-05-01 cs.IT cs.LG cs.NI
Mutual Information-Based Unsupervised Feature Transformation for Heterogeneous Feature Subset Selection
传统的基于互信息（MI）的特征选择（FS）方法由于特征子集和类标签之间的数据格式差异或互信息的估计方法而无法正确处理异构特征子集的选择。解决这个问题的一种方法是特征变换（FT）。在这项研究中，一种新的无监督的特征变换（UFT），它可以将非数值特征转换为数值特征的开发和测试。UFT过程是基于MI的并且独立于类标签。基于MI的FS算法，如Parzen窗口特征选择器（PWFS），最小冗余最大相关特征选择（mRMR）和归一化MI特征选择（NMIFS），都可以采用UFT对非数值特征进行预处理。与传统的FT方法不同，所提出的UFT是无偏的，而PWFS是利用其充分的优势。对大规模数据集的仿真分析表明，UFT-PWFS综合方法所选择的特征子集在分类精度上优于其他FT-FS综合方法。
2015-03-29 cs.LG stat.ML
On Subspace Approximation and Subset Selection in Fewer Passes by MCMC Sampling
Microsoft Research（微软研究院）；IIT Mandi（曼迪印度理工学院）
我们考虑$\ell_{p}$子空间逼近的子集选择问题，即，给定$d$维中的$n$点，我们需要挑选给定点的一个小的代表性子集，使得其跨度给出最佳$k$维子空间的$(1+ε)$近似，该最佳$k$维子空间最小化所有点到该子空间的距离的$p$次幂之和。基于采样的子集选择技术需要在数据上多次通过的自适应采样迭代。矩阵草绘技术为$\ell_{p}$子空间近似提供了单通道$(1+ε)$近似，但需要额外的通道进行子集选择。在这项工作中，我们提出了一个MCMC算法，以减少以往的子集选择算法的基础上，自适应采样所需的通过次数。对于$p=2$，我们的算法给出了子集选择的接近最佳的大小，只有$2$通过，而在以前的工作中所需的通过数取决于$k$。我们的算法挑选一个子集的大小$\mathrm{poly}(k/ε)$，使$(1+ε)$近似的最佳子空间。该算法的运行时间为$nd + d~\mathrm{poly}(k/ε)$。我们将我们的结果扩展到数据集中存在离群值的情况，并提出了一个两遍算法。我们的想法也扩展到给减少通过自适应采样算法所需的$\ell_{p}$子空间近似和子集选择，$p \geq 2$。
2021-03-20 cs.CG cs.LG math.SP
Training Data Subset Selection for Regression with Controlled Generalization Error
IIT Bombay（印度理工学院孟买分校）；UT Dallas（德克萨斯大学达拉斯分校）
从大量的训练实例中选择数据子集是一种有效且经济的机器学习方法。然而，在较小子集上训练的模型可能表现出较差的泛化能力。在本文中，我们的目标是设计一个算法，用于选择一个子集的训练数据，使模型可以快速训练，而不会显着牺牲的准确性。更具体地说，我们专注于L2正则化回归问题的数据子集选择，并提供了一个新的问题制定，旨在尽量减少训练损失的可训练参数和训练数据的子集，受到验证集上的误差界。我们通过几项技术创新来解决这个问题。首先，我们使用原始训练问题的对偶用简化的约束来表示这个问题，并表明这种新表示的目标是单调和α-次模函数，用于各种各样的建模选择。这些属性使我们开发SELCON，一个有效的优化最小化算法的数据子集选择，承认一个近似保证，即使当训练提供了一个不完美的估计训练模型。最后，我们在几个数据集上的实验表明，SELCON比当前最先进的方法更有效地权衡了准确性和效率。
2021-06-23 cs.LG stat.ML
Dynamic Incremental Optimization for Best Subset Selection
University of Tennessee at Chattanooga（田纳西大学查塔努加分校）；Texas A&M University（得克萨斯农工大学）
本文研究最佳子集选择问题，提出基于原始-对偶结构和增量策略的动态优化算法，以减少冗余计算并提升解的效率与统计性能。
2024-12-30 cs.LG stat.ML
A Study and Analysis of a Feature Subset Selection Technique using Penguin Search Optimization Algorithm (FS-PeSOA)
TechnoIndia（印度技术学院）
在数据量巨大的今天，从数据中提取有用的知识是非常重要的，这可以通过特征子集选择来实现。特征子集选择是一种选择最少数量的特征的方法，在此帮助下，我们的机器可以学习和预测特定数据属于哪个类。我们将介绍一个新的自适应算法称为特征选择企鹅搜索优化算法，这是一个元启发式的方法。它是从企鹅的自然狩猎策略，其中一组企鹅采取跳跃在随机的深度和回来，并与其他企鹅共享食物可用性的状态，并以这种方式，全局最优解被发现。生物启发方法企鹅搜索优化算法在该过程中生成试验特征子集，并通过以下方式估计其适应度值：对每种情况使用三种不同的分类器：随机森林、最近邻和支持向量机。然而，我们正计划实施我们提出的方法特征选择企鹅搜索优化算法上收集的一些著名的基准数据集从UCI存储库，并试图评估和比较其分类精度与一些国家的最先进的算法。
2019-07-13 cs.LG stat.ML
Learning From Less Data: Diversified Subset Selection and Active Learning in Image Classification Tasks
IIT Bombay（印度理工学院孟买分校）；AITOE Labs（AITOE实验室）
基于受监督的机器学习的最先进的计算机视觉技术通常是数据饥渴的，并且提出了没有足够的计算资源和人类标记工作中涉及的高成本的挑战。训练数据子集选择和主动学习技术已分别被提出作为这些挑战的可能解决方案。一类特殊的子集选择函数自然地对多样性、覆盖和表示的概念进行建模，并且它们可以用于消除冗余，从而很好地适用于训练数据子集选择。它们还可以通过选择使用传统的基于不确定性采样的技术获得的示例的子集来帮助提高主动学习的效率，从而进一步减少人类标记工作。在这项工作中，我们经验证明了两个多样性模型的有效性，即设施位置和差异最小模型的训练数据子集选择和减少标记工作。我们这样做的各种计算机视觉任务，包括性别识别，场景识别和对象识别。我们的研究结果表明，以正确的方式进行子集选择可以在现有基线上增加2-3%的精度，特别是在训练数据较少的情况下。这允许用更少的训练数据训练复杂的机器学习模型（如卷积神经网络），同时将性能损失降至最低。
2018-05-28 cs.CV cs.LG stat.ML
Learning to Reason with Curriculum I: Provable Benefits of Autocurriculum
Microsoft Research（微软研究院）
本文研究了自课程学习在提升语言模型推理能力方面的有效性，通过自适应数据选择技术，在监督微调和强化学习中分别减少了训练数据和计算成本。
2026-08-28 cs.LG stat.ML
