Subset Selection for Fine-Tuning: A Utility-Diversity Balanced Approach for Mathematical Domain Adaptation
Department of Computer Science and Engineering IIT Bombay(印度理工学院班加罗尔计算机科学与工程系);Koita Centre for Digital Health IIT Bombay(IIT班加罗尔数字健康中心)
本文提出一种效用-多样性平衡的预算子集选择方法,通过结合困惑度与思维链损失筛选高价值样本并保证数学子领域覆盖,在LLaMA-3 8B和Phi-3上以更低成本实现接近全数据集的微调性能。
2025-05-02 cs.AI cs.LG
Bandit Guided Submodular Curriculum for Adaptive Subset Selection
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本文提出ONLINESUBMOD方法,通过多臂老虎机框架和亚模函数优化,实现自适应子集选择,提升课程学习的准确性与效率。
2025-11-28 cs.AI cs.LG
You Only Train Once: Differentiable Subset Selection for Omics Data
Department of Computer Science, ETH Zurich(计算机科学系,苏黎世联邦理工学院);Department of Intensive Care and Neonatology, University Children’s Hospital Zurich(重症医学与新生儿科,苏黎世大学儿童医院)
提出YOTO框架,通过端到端可微架构联合选择离散基因子集并进行预测,实现稀疏、多任务学习,提升单细胞转录组数据分析性能。
2026-06-03 cs.AI cs.LG
Cost-Sensitive Best Subset Selection for Logistic Regression: A Mixed-Integer Conic Optimization Perspective
University of Applied Sciences Berlin(柏林应用科学大学)
针对机器学习尤其是临床领域可解释模型的特征选择需求,提出一种考虑特征获取代价的混合整数锥优化逻辑回归最优特征选择方法,构建合成数据集生成器评估发现现有方法在小数据和标签噪声下有局限,给出实证建议并为元学习研究铺路。
2023-10-09 cs.AI cs.LG
Training Subset Selection for Weak Supervision
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Northwestern University(西北大学)
现有的弱监测方法使用弱信号覆盖的所有数据来训练分类器。我们从理论和经验上表明,这并不总是最佳的。直觉上,弱标签数据的数量和弱标签的精度之间存在权衡。我们通过将预训练的数据表示与切割统计相结合来探索这种权衡(Muhlenbach等人,2004)来选择(希望)弱标记训练数据的高质量子集。子集选择适用于任何标签模型和分类器,并且非常简单地插入到现有的弱监督管道中,只需要几行代码。我们展示了我们的子集选择方法提高了广泛的标签模型,分类器和数据集的弱监督性能。使用较少的弱标记数据可以将弱监督管道的准确性提高19%(绝对值)。
2023-03-06 cs.AI cs.LG stat.ML
Leveraging Importance Weights in Subset Selection
Google Research(谷歌研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一个子集选择算法,旨在与任意模型的家庭在一个实际的批量设置。在这样的设置中,算法可以一次对一个示例进行采样,但是为了限制开销成本,一旦选择了足够大的一批示例,算法就只能更新其状态(即,进一步的训练模型权重)。我们的算法IWeS通过重要性采样选择示例,其中分配给每个示例的采样概率基于在先前选择的批次上训练的模型的熵。IWeS承认显着的性能改进相比,其他子集选择算法的七个公开可用的数据集。此外,它在主动学习设置中具有竞争力,其中标签信息在选择时不可用。我们还提供了一个初步的理论分析,以支持我们的重要性加权方法,证明泛化和采样率的界限。
2023-01-28 cs.AI cs.LG stat.ML
Correlation Based Feature Subset Selection for Multivariate Time-Series Data
University College Dublin(都柏林大学)
多变量时间序列数据流中的相关性意味着,通常情况下,给定的数据采掘任务只需要一小部分特征。在本文中,我们提出了一种技术,我们称之为时间序列数据(MSTS)的优点分数,没有特征子集选择的基础上的相关模式的单个特征分类器的输出。我们分配一个优点分数的功能子集,这是用来作为选择“好”的功能子集的基础。所提出的技术进行评估的数据集从UEA多变量时间序列档案,并对包装方法进行比较,特征子集的选择。MSTS被证明是有效的特征子集选择,是特别有效的数据减少技术。MSTS在选择合适的特征子集方面比Wrapper策略在计算上更有效,对于一些较大的数据集,速度要快100倍以上,同时还保持了良好的分类精度。
2021-11-26 cs.LG
Diverse Subset Selection via Norm-Based Sampling and Orthogonality
School of Electrical Engineering at Tel Aviv University(特拉维夫大学电气工程学院)
针对标注成本高昂的问题,本文提出结合特征范数、随机化与正交性的子集选择方法,在多个图像和文本基准上显著提升多样性与信息量。
2025-09-26 cs.AI cs.CV cs.LG
Regularized Greedy Column Subset Selection
Department of Computer Systems, Universidad Politécnica de Madrid(马德里理工大学计算机系统系);Department of Applied Mathematics, Universidad Politécnica de Madrid(马德里理工大学应用数学系)
列子集选择问题为无监督的特征选择提供了一个自然的框架。尽管是一个很难的组合优化问题,但存在提供良好近似的有效算法。问题公式的缺点是它没有采用任何形式的正则化,因此在数据稀少的情况下对噪声非常敏感。在本文中,我们提出了一个正规化的制定这个问题,并推导出一个正确的贪心算法,是类似的效率,现有的贪婪方法的非正规化问题。我们研究了它的充分性特征选择,并提出了合适的配方。此外,我们推导出所提出的问题的错误的下界。通过对真实和合成数据的各种数值实验,我们证明了我们的方法的鲁棒性和稳定性显着增加,以及其输出的改进条件,同时保持有效的实际使用。
2018-04-12 cs.AI cs.LG stat.ML
Feature Subset Selection for Software Cost Modelling and Estimation
University of Cyprus(塞浦路斯大学);Frederick University(弗雷德里克大学);Cyprus University of Technology(塞浦路斯理工大学)
针对软件成本估算中特征维度高的问题,研究对比9种流行特征选择方法,结合ISBSG与Desharnais数据集实证属性值,在保留性能的前提下减少成本驱动因素,为成本建模提供特征选择参考。
2012-10-03 cs.AI cs.LG cs.SE
Speeding up NAS with Adaptive Subset Selection
神经结构搜索(NAS)的大多数最新发展旨在降低各种技术的计算成本,而不影响其最终性能。为此,已经考虑了几种低保真度和性能预测方法,包括仅在训练数据的子集上进行训练的方法。在这项工作中,我们提出了一个自适应的子集选择方法NAS,并提出它作为补充国家的最先进的NAS方法。我们发现了一个自然的连接之间的一次性NAS算法和自适应子集选择,并设计了一个算法,利用这两个领域的最先进的技术。我们使用这些技术来大幅减少DARTS-PT(领先的一次性NAS算法)以及BOHB和DEHB(领先的多保真度优化算法)的运行时间,而不会牺牲准确性。我们的结果在多个数据集上是一致的,为了实现完全的可重复性,我们在https://anonymous.4open.science/r/SubsetSelection NAS-B132上发布了我们的代码。
2022-11-02 cs.LG
Online Subset Selection using $α$-Core with no Augmented Regret
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Chennai Mathematical Institute(金奈数学研究所);Indian Institute of Technology (ISM) Dhanbad(印度理工学院(印度矿业学院)丹巴德分校);Tata Institute of Fundamental Research(塔塔基础研究所)
我们重新审视在线学习设置中的最优子集选择的经典问题。假设集合$[N]$由$N$不同的元素组成。在$t$第轮中,对手选择单调奖励函数$f_t: 2^{[N]} \to \mathbb{R}_+$,该函数为$[N].$的每个子集分配非负奖励在线策略在向学习者揭示$t$第轮的奖励函数$f_t$之前选择(可能随机地)由$k$元素组成的子集$S_t \subseteq [N]$。作为其选择的结果,策略在第$t$轮接收奖励$f_t(S_t)$。我们的目标是设计一个在线顺序子集选择策略,以最大化在一个时间范围内积累的预期累积奖励。在这方面,我们提出了一个在线学习策略,称为SCore(子集选择与核心),解决了一个大类的奖励函数的问题。建议SCore政策是基于一个新的多面体表征的奖励函数称为$α$ -核心-核心的推广合作博弈论文献。我们建立了一个学习保证SCore政策方面的一个新的性能指标,称为$α$ -增强遗憾。在这个新的度量中,在线策略的性能与可以在每一轮选择所有$N$元素的不受限制的离线基准进行比较。我们发现,一个大类的奖励功能,包括子模块,可以有效地优化与SCore政策。我们还扩展了所提出的政策,乐观的学习设置,学习者有机会获得额外的不可信的提示,关于奖励功能。最后,我们总结了一系列的开放性问题的文件。
2023-02-09 cs.AI cs.GT cs.LG
Subset selection in sparse matrices
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Georgia Institute of Technology(佐治亚理工学院);ETH Zürich(苏黎世联邦理工学院)
在子集选择中,我们搜索涉及一小部分变量的最佳线性预测器。从计算复杂性的角度来看,子集选择是NP难的,并且已知很少有类可以在多项式时间内求解。主要使用离散几何的工具,我们表明,原始数据矩阵的一些稀疏性条件,使我们能够在多项式时间内解决这个问题。
2020-02-06 cs.CC cs.LG math.OC
A Recommendation System Approach for Interference-Robust Sensor Subset Selection
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文针对现有基于RSSI的传感器子集选择方法易受声学干扰的问题,提出结合频带声学特征与双塔MLP架构的推荐系统框架,在户外车辆跟踪任务中较RSSI基线提升约20%精度且保持低计算开销。
2026-08-12 cs.LG
One-pass additive-error subset selection for $\ell_{p}$ subspace approximation
Microsoft Research(微软研究院);Indian Institute of Technology(印度理工学院)
我们认为,$\ell_{p}$子空间近似的子集选择的问题,也就是说,有效地找到一个\emph{small}子集的数据点,使解决这个问题的最佳子集给出了一个很好的近似解决问题的最佳原始输入。对于$p \in [1, \infty)$的一般情况,先前已知的基于体积采样和自适应采样的子集选择算法\cite{DeshpandeV07}需要多次通过数据。本文对任意$p \in [1, \infty)$,给出了一个$\ell_{p}$子空间逼近的具有加法逼近保证的一遍子集选择。早期的子集选择算法,给出了一个一遍乘法$(1+ε)$近似工作在特殊情况下。Cohen的\textit{et al.} \cite{CohenMM17}给出了一个一遍子集部分,为$\ell_{2}$子空间近似的特殊情况提供了乘法$(1+ε)$近似保证。Mahabadi \textit{et al.} \cite{MahabadiRWZ20}给出了一个一遍\emph{noisy}子集选择,当$p \in \{1, 2\}$时,$\ell_{p}$子空间近似具有$(1+ε)$近似保证。我们的子集选择算法给出了较弱的加法近似保证,但它适用于任何$p \in [1, \infty)$。
2022-04-26 cs.CG cs.LG stat.ML
Two-way Spectrum Pursuit for CUR Decomposition and Its Application in Joint Column/Row Subset Selection
University of Central Florida(中佛罗里达大学)
本文讨论了行和列同时选择子集的问题。矩阵的列空间和行空间分别由其左奇异向量和右奇异向量张成。然而,奇异向量不在矩阵的实际列/行内。在本文中,提出了一种迭代的方法,通过选择一个子集的实际列/行捕获的列/行的最结构化的信息。这种算法被称为双向谱追踪(TWSP),它为我们提供了一个准确的解决方案的CUR矩阵分解。由于TWSP算法具有线性复杂度,因此它具有广泛的应用前景。原始列/行的数量。我们展示了应用TWSP联合信道和传感器选择在认知无线电网络,信息用户和内容检测,有效的监督数据减少。
2021-06-13 cs.LG
Subset Selection Based On Multiple Rankings in the Presence of Bias: Effectiveness of Fairness Constraints for Multiwinner Voting Score Functions
TU Berlin(柏林工业大学);Yale University(耶鲁大学);Nanjing University(南京大学)
本文研究存在偏差的多排名子集选择问题,证明群体公平性约束可提升选择质量,发现不同多胜者得分函数对排名数量的依赖存在指数与多项式级差异,提出子模函数平滑度概念,可为得分函数选择提供指导和实证工具。
2023-06-16 cs.AI cs.CY cs.DS
Adaptive parameter-efficient fine-tuning via Hessian-informed subset selection
针对参数高效微调中子集选择影响性能的问题,研究将其建模为多任务问题,经变换转化为0-1背包问题并以帕累托最优求解,提出可适配多任务多模型的海森引导AdaPEFT方法。
2025-05-18 cs.LG
Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression
Xi’an Jiaotong University(西安交通大学);State Key Laboratory of Management and Control for Complex Systems(复杂系统管理与控制国家重点实验室)
给定$m$ $d$ -维响应变量和$n$ $d$ -维预测变量,稀疏回归为线性近似$1\leq k \leq d-1$的每个响应变量找到最多$k$预测变量.稀疏回归中的关键问题是子集选择,这通常具有很高的计算代价。近年来,提出了许多改进的近似子集选择方法。然而,非近似的子集选择方法却很少受到关注,而这对于数据分析中的许多问题是非常必要的。本文从相关性的角度考虑稀疏回归问题,给出了条件不相关性的计算公式。在此基础上,提出了一种有效的非近似子集选择方法,该方法不需要计算回归方程中的任何系数。通过该方法,稀疏回归中每个候选子集的计算复杂性从$O(\frac{1}{6}{k^3}+mk^2+mkd)$降低到$O(\frac{1}{6}{k^3}+\frac{1}{2}mk^2)$。由于维数$d$一般为观测或实验的个数且足够大,因此该方法可以大大提高非近似子集选择的效率。
2020-11-24 cs.LG stat.ML
Fair Column Subset Selection
Aalto University(阿尔托大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本文研究两组行约束下的公平列子集选择,证明最小规模采样为NP难,并提出1.5倍近似算法及基于秩揭示QR的启发式方法。
2024-08-12 cs.LG
Enhancing Neural Subset Selection: Integrating Background Information into Set Representations
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室);Hong Kong Baptist University(香港浸会大学)
本文针对神经子集选择中忽略超集背景信息的问题,提出从排列不变性角度融合子集与超集表示的信息聚合模块,并通过理论分析和多任务实验验证了其有效性。
2024-06-09 cs.LG
Supervised Feature Subset Selection and Feature Ranking for Multivariate Time Series without Feature Extraction
NEC Laboratories America(美国NEC实验室)
我们介绍了多变量时间序列(MTS)分类的监督特征排序和特征子集选择算法。与大多数现有的监督/无监督MTS的特征选择算法,我们的技术不需要一个特征提取步骤,从时间序列生成一个一维的特征向量。相反,它是基于直接计算单个时间序列之间的相似性,并评估产生的聚类结构与标签的匹配程度。该技术适用于异构MTS数据,其中时间序列测量可能具有不同的采样分辨率,以及多模态数据。
2020-05-01 cs.LG stat.ML
A Fast Greedy Algorithm for Generalized Column Subset Selection
University of Waterloo(滑铁卢大学)
本文定义了一个广义列子集选择问题,它涉及从源矩阵A中选择最接近目标矩阵B的跨度的列。然后,本文提出了一种快速的贪心算法来解决这个问题,并绘制连接到不同的问题,可以有效地解决使用所提出的算法。
2013-12-24 cs.DS cs.LG stat.ML
Feature Selection as Deep Sequential Generative Learning
Arizona State University(亚利桑那州立大学);University of Kansas(堪萨斯大学);NEC Laboratories America Inc(美国NEC实验室)
本研究将特征选择重构为深度序列生成学习任务,通过深度变分Transformer模型提炼特征知识、学习嵌入空间,结合效用评估器梯度指导与自回归解码生成最优特征子集,兼具有效性与通用性。
2024-03-06 cs.LG
GRAD-MATCH: Gradient Matching based Data Subset Selection for Efficient Deep Model Training
University of Texas at Dallas(德克萨斯大学达拉斯分校);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
现代机器学习模型在大型数据集上的巨大成功取决于大量的计算资源,以及高昂的财务和环境成本。解决这个问题的一种方法是提取与完整数据同等的子集。在这项工作中,我们提出了一个通用的框架,梯度匹配,它发现的子集,密切匹配的梯度的训练或验证集。我们发现这样的子集有效地使用正交匹配追踪算法。我们展示了所提出的算法的严格的理论和收敛保证,并通过我们在真实世界数据集上的广泛实验,展示了我们所提出的框架的有效性。我们表明,GRAD-MATCH显着和一贯优于最近的几个数据选择算法,并实现了最佳的准确性和效率的权衡。GRAD-MATCH是CORDS工具包\url{https://github.com/decile-team/cords}的一部分。
2021-06-11 cs.LG
Solving the Best Subset Selection Problem via Suboptimal Algorithms
University of Central Oklahoma(中央俄克拉荷马大学);The University of Alabama(阿拉巴马大学)
针对高维线性回归中最佳子集选择问题的非凸与计算挑战,本文提出一种新的次优算法,通过合成与真实数据实验验证其能以更低计算成本提供良好近似解,表现出强竞争力。
2025-03-31 cs.LG stat.ML
Neuro-Symbolic Embedding for Short and Effective Feature Selection via Autoregressive Generation
University of Kansas(堪萨斯大学)
提出基于神经符号视角的特征选择生成框架,通过编码器-解码器-评估器学习范式和多梯度搜索算法,在连续嵌入空间中高效搜索并重建特征ID标记,以识别短而有效且泛化的特征子集。
2024-12-18 cs.LG
SAGE: Streaming Agreement-Driven Gradient Sketches for Representative Subset Selection
Skolkovo Institute of Science and Technology(斯克罗夫诺科学与技术研究所);Innopolis university(因诺波利斯大学)
SAGE提出一种流式梯度素描方法,通过Frequent Directions和共识方向对齐选择代表性子集,以恒定内存实现高效训练,在多个基准上保持精度并降低计算开销。
2025-10-09 cs.LG
VTruST: Controllable value function based subset selection for Data-Centric Trustworthy AI
Hewlett Packard Labs(惠普实验室)
针对数据中心型可信AI的多指标权衡需求,提出基于在线价值函数的可控框架VTruST,通过在线正交匹配追踪算法实现训练数据子集选择,在多类数据集上性能优于现有基线,还可提供数据层面的可信性解释。
2024-03-08 cs.LG
Understanding the classes better with class-specific and rule-specific feature selection, and redundancy control in a fuzzy rule based framework
Indian Statistical Institute(印度统计研究所)
本文提出一种嵌入模糊规则分类器的类特定特征选择方法,通过正则化控制特征子集冗余,并扩展为规则特定特征选择以建模类内子结构,在三个合成数据集上验证了有效性。
2022-08-02 cs.LG
Partitioned Gradient Matching-based Data Subset Selection for Compute-Efficient Robust ASR Training
IBM Research(IBM研究院);Indian Institute of Technology Bombay(印度理工学院孟买分校);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
培训最先进的ASR系统(如RNN-T)通常具有很高的相关财务和环境成本。如果选择的子集可以实现与使用整个数据集进行训练的性能相当,则使用训练数据的子集进行训练可以缓解此问题。虽然有许多数据子集选择(DSS)算法,但直接应用于RNN-T是困难的,特别是自适应和使用梯度等学习动态的DSS算法,因为RNN-T往往具有具有显着更大的内存占用的梯度。在本文中,我们提出了分区梯度匹配(PGM)一种新的分布式DSS算法,适用于大规模数据集,如用于训练RNN-T。通过在Librispeech 100 H和Librispeech 960 H上进行的大量实验,我们表明PGM在只有非常小的准确性下降(绝对WER差异低于1%)的情况下实现了3倍至6倍的加速。此外,即使在训练数据被噪声破坏的情况下,我们也证明了PGM的类似结果。
2022-10-30 cs.LG
Mutual Information-Based Unsupervised Feature Transformation for Heterogeneous Feature Subset Selection
传统的基于互信息(MI)的特征选择(FS)方法由于特征子集和类标签之间的数据格式差异或互信息的估计方法而无法正确处理异构特征子集的选择。解决这个问题的一种方法是特征变换(FT)。在这项研究中,一种新的无监督的特征变换(UFT),它可以将非数值特征转换为数值特征的开发和测试。UFT过程是基于MI的并且独立于类标签。基于MI的FS算法,如Parzen窗口特征选择器(PWFS),最小冗余最大相关特征选择(mRMR)和归一化MI特征选择(NMIFS),都可以采用UFT对非数值特征进行预处理。与传统的FT方法不同,所提出的UFT是无偏的,而PWFS是利用其充分的优势。对大规模数据集的仿真分析表明,UFT-PWFS综合方法所选择的特征子集在分类精度上优于其他FT-FS综合方法。
2015-03-29 cs.LG stat.ML
Naive Bayes Classification for Subset Selection
ISAE-SUPAERO - Institut Supérieur de l’Aéronautique et de l’Espace(法国高等航空航天学院)
本文重点讨论如何在一个较大的集合中自动选择一个子集。我们介绍了一种方法的推理合奏的离散值,朴素贝叶斯假设的基础上。我们的动机源于实际用例,其中希望从一组观察到的特征中预测一组无序的(可能相互依赖的)值。这个问题可以在多标签分类(MLC)的上下文中考虑,其中这些值被视为与连续或离散特征相关联的标签。我们介绍了\nbx算法,朴素贝叶斯分类到多标签域的扩展,讨论其属性和评估我们的方法在现实世界中的问题。
2017-07-19 cs.LG
Objective-Induced Bias and Search Dynamics in Multiobjective Unsupervised Feature Selection
LIACS, Leiden University(莱顿大学LIACS);LUMC, Leiden University(莱顿大学LUMC)
本研究探讨了多目标无监督特征选择中评价目标对搜索动态和Pareto前沿质量的影响,发现基于轮廓系数的评价目标倾向于产生低基数的平凡解,而提出的PCA损失目标能生成测试准确度与监督优化相似的紧凑子集。
2026-06-29 cs.LG
An Interpretable Determinantal Choice Model for Subset Selection
Cornell University(康奈尔大学)
了解如何从提供的集合中选择商品子集对于分类规划、无线网络规划和许多其他应用程序至关重要。有两种看似无关的子集选择模型可以捕捉项目之间的依赖关系:直观和可解释的随机效用模型;以及易处理的决定点过程(DPP)。本文将两者联系起来。首先,所有的DPP被证明是随机效用模型。接下来,一个决定性的选择模型,享有最好的两个世界的指定,该模型被证明substantially logistic回归时的依赖是最小的,和MNL时的依赖是最大的负面。这使得模型具有可解释性,同时保留了DPP的易处理性。仿真研究验证了该模型可以从数据中学习连续的负相关性,并且使用原始实验数据的应用研究对LoRa网络中的无线干扰产生了新的见解。
2023-02-22 cs.LG
Training Data Subset Selection for Regression with Controlled Generalization Error
IIT Bombay(印度理工学院孟买分校);UT Dallas(德克萨斯大学达拉斯分校)
从大量的训练实例中选择数据子集是一种有效且经济的机器学习方法。然而,在较小子集上训练的模型可能表现出较差的泛化能力。在本文中,我们的目标是设计一个算法,用于选择一个子集的训练数据,使模型可以快速训练,而不会显着牺牲的准确性。更具体地说,我们专注于L2正则化回归问题的数据子集选择,并提供了一个新的问题制定,旨在尽量减少训练损失的可训练参数和训练数据的子集,受到验证集上的误差界。我们通过几项技术创新来解决这个问题。首先,我们使用原始训练问题的对偶用简化的约束来表示这个问题,并表明这种新表示的目标是单调和α-次模函数,用于各种各样的建模选择。这些属性使我们开发SELCON,一个有效的优化最小化算法的数据子集选择,承认一个近似保证,即使当训练提供了一个不完美的估计训练模型。最后,我们在几个数据集上的实验表明,SELCON比当前最先进的方法更有效地权衡了准确性和效率。
2021-06-23 cs.LG stat.ML
Dynamic Incremental Optimization for Best Subset Selection
University of Tennessee at Chattanooga(田纳西大学查塔努加分校);Texas A&M University(得克萨斯农工大学)
本文研究最佳子集选择问题,提出基于原始-对偶结构和增量策略的动态优化算法,以减少冗余计算并提升解的效率与统计性能。
2024-12-30 cs.LG stat.ML
Machine Learning meets Stochastic Geometry: Determinantal Subset Selection for Wireless Networks
Virginia Tech(弗吉尼亚理工学院)
在无线网络中,许多问题可以被公式化为子集选择问题,其中目标是从基集合中选择子集,目标是最大化某个目标函数。这些问题通常是NP难的,因此通过精心构造的算法来解决,这些算法本身大多是NP完全的,因此不容易适用于大型网络。另一方面,子集选择问题发生在机器学习(ML)中略有不同的上下文中,其目标是从基础集合中选择高质量但不同的项目的子集。在本文中,我们介绍了一种新的基于DPP的学习(DPPL)框架,有效地解决无线网络中的子集选择问题。DPPL旨在通过学习由优化例程选择的最优子集中的质量-多样性权衡来取代用于子集选择的传统优化算法。作为一个案例研究,我们应用DPPL的无线链路调度问题,其中的目标是确定的子集,同时活跃的链路,最大限度地提高全网络的总和率。我们表明,建议DPPL方法的最优解显着降低计算复杂性比流行的优化算法用于这个问题在文献中。
2019-05-01 cs.IT cs.LG cs.NI
On Subspace Approximation and Subset Selection in Fewer Passes by MCMC Sampling
Microsoft Research(微软研究院);IIT Mandi(曼迪印度理工学院)
我们考虑$\ell_{p}$子空间逼近的子集选择问题,即,给定$d$维中的$n$点,我们需要挑选给定点的一个小的代表性子集,使得其跨度给出最佳$k$维子空间的$(1+ε)$近似,该最佳$k$维子空间最小化所有点到该子空间的距离的$p$次幂之和。基于采样的子集选择技术需要在数据上多次通过的自适应采样迭代。矩阵草绘技术为$\ell_{p}$子空间近似提供了单通道$(1+ε)$近似,但需要额外的通道进行子集选择。在这项工作中,我们提出了一个MCMC算法,以减少以往的子集选择算法的基础上,自适应采样所需的通过次数。对于$p=2$,我们的算法给出了子集选择的接近最佳的大小,只有$2$通过,而在以前的工作中所需的通过数取决于$k$。我们的算法挑选一个子集的大小$\mathrm{poly}(k/ε)$,使$(1+ε)$近似的最佳子空间。该算法的运行时间为$nd + d~\mathrm{poly}(k/ε)$。我们将我们的结果扩展到数据集中存在离群值的情况,并提出了一个两遍算法。我们的想法也扩展到给减少通过自适应采样算法所需的$\ell_{p}$子空间近似和子集选择,$p \geq 2$。
2021-03-20 cs.CG cs.LG math.SP
A Study and Analysis of a Feature Subset Selection Technique using Penguin Search Optimization Algorithm (FS-PeSOA)
TechnoIndia(印度技术学院)
在数据量巨大的今天,从数据中提取有用的知识是非常重要的,这可以通过特征子集选择来实现。特征子集选择是一种选择最少数量的特征的方法,在此帮助下,我们的机器可以学习和预测特定数据属于哪个类。我们将介绍一个新的自适应算法称为特征选择企鹅搜索优化算法,这是一个元启发式的方法。它是从企鹅的自然狩猎策略,其中一组企鹅采取跳跃在随机的深度和回来,并与其他企鹅共享食物可用性的状态,并以这种方式,全局最优解被发现。生物启发方法企鹅搜索优化算法在该过程中生成试验特征子集,并通过以下方式估计其适应度值:对每种情况使用三种不同的分类器:随机森林、最近邻和支持向量机。然而,我们正计划实施我们提出的方法特征选择企鹅搜索优化算法上收集的一些著名的基准数据集从UCI存储库,并试图评估和比较其分类精度与一些国家的最先进的算法。
2019-07-13 cs.LG stat.ML
MUSS: Multilevel Subset Selection for Relevance and Diversity
Equal contribution(共同贡献)
MUSS通过多级方法在推荐系统中提升精确度4个百分点并加快20-80倍,同时在RAG问题回答中优于基线方法。
2026-08-04 cs.LG
Learning From Less Data: Diversified Subset Selection and Active Learning in Image Classification Tasks
IIT Bombay(印度理工学院孟买分校);AITOE Labs(AITOE实验室)
基于受监督的机器学习的最先进的计算机视觉技术通常是数据饥渴的,并且提出了没有足够的计算资源和人类标记工作中涉及的高成本的挑战。训练数据子集选择和主动学习技术已分别被提出作为这些挑战的可能解决方案。一类特殊的子集选择函数自然地对多样性、覆盖和表示的概念进行建模,并且它们可以用于消除冗余,从而很好地适用于训练数据子集选择。它们还可以通过选择使用传统的基于不确定性采样的技术获得的示例的子集来帮助提高主动学习的效率,从而进一步减少人类标记工作。在这项工作中,我们经验证明了两个多样性模型的有效性,即设施位置和差异最小模型的训练数据子集选择和减少标记工作。我们这样做的各种计算机视觉任务,包括性别识别,场景识别和对象识别。我们的研究结果表明,以正确的方式进行子集选择可以在现有基线上增加2-3%的精度,特别是在训练数据较少的情况下。这允许用更少的训练数据训练复杂的机器学习模型(如卷积神经网络),同时将性能损失降至最低。
2018-05-28 cs.CV cs.LG stat.ML
AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Indian Institute of Technology Bombay(印度理工学院孟买分校);IBM Research(IBM研究院)
近年来,深度神经网络取得了巨大的成功;然而,训练深度模型通常具有挑战性,因为其性能在很大程度上取决于所使用的超参数。此外,即使使用最先进的(SOTA)超参数优化(HPO)算法,找到最佳超参数配置也可能是耗时的,需要针对不同的可能超参数集在整个数据集上进行多次训练。我们的核心观点是,使用数据集的信息子集进行超参数优化中涉及的模型训练运行,使我们能够更快地找到最佳超参数配置。在这项工作中,我们提出了AUTOMATA,一个基于梯度的超参数调整的子集选择框架。我们通过在文本、视觉和表格领域的真实数据集上进行的几个实验,实证评估了AUTOMATA在超参数调整方面的有效性。我们的实验表明,使用基于梯度的数据子集的超参数调整实现了显着更快的周转时间和3 $\times$ -30 $\times$的加速,同时实现了相当的性能,使用整个数据集的超参数。
2022-03-15 cs.LG
Greedy Column Subset Selection for Large-scale Data Sets
University of Waterloo(滑铁卢大学)
在当今的信息系统中,大量数据的可用性需要开发快速准确的算法来汇总这些数据并以简洁的格式表示它们。大数据分析中的一个关键问题是从大型和分布式数据中选择代表性实例,这在形式上被称为列子集选择(CSS)问题。这个问题的解决方案使数据分析师能够理解数据的洞察力并探索其隐藏的结构。所选择的实例还可以用于数据预处理任务,例如学习数据点的低维嵌入或计算对应矩阵的低秩近似。提出了一种快速、准确的大规模列子集选择贪心算法。该算法最小化目标函数,该目标函数基于所选列的子集来测量数据矩阵的重构误差。首先提出了一种集中式贪心算法来选择列子集,该算法依赖于一种新的计算数据矩阵重构误差的递推公式。然后,本文提出了一种MapReduce算法,该算法从一个矩阵中选择一些有代表性的列,该矩阵的列大量分布在几个商品机器上。该算法首先使用随机投影学习所有列的简明表示,然后在每个机器上解决广义列子集选择问题,其中从该机器上的子矩阵中选择列的子集,使得简明表示的重建误差最小化。本文通过对基准数据集的实证评估,证明了该算法的有效性和效率。
2013-12-24 cs.DS cs.LG
EXPLORA: Efficient Exemplar Subset Selection for Complex Reasoning
IIT Kharagpur(印度理工学院克勒格布尔分校);TU Delft(代尔夫特理工大学)
本文提出EXPLORA算法,用于复杂推理任务的静态示例子集选择,通过新颖的探索方法估计评分函数参数,显著减少LLM调用并提升性能。
2024-11-06 cs.LG
Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection
Indian Institute of Technology Bombay(印度理工学院孟买分校)
Submodular functions and variants, through their ability to characterize diversity and coverage, have emerged as a key tool for data selection and summarization. Many recent approaches to learn submodular functions suffer from limited expressiveness. In this work, we propose FLEXSUBNET, a family of flexible neural models for both monotone and non-monotone submodular functions. To fit a latent submodular function from (set, value) observations, FLEXSUBNET applies a concave function on modular functions in a recursive manner. We do not draw the concave function from a restricted family, but rath…
2022-10-20 cs.LG
Subset Selection for Gaussian Markov Random Fields
University of Rochester(罗切斯特大学)
给定一个高斯马尔可夫随机场,我们考虑的问题,选择一个子集的变量来观察,最大限度地减少未观察到的变量的总期望平方预测误差。我们首先表明,找到一个精确的解决方案是NP难的,即使是一个有限的类高斯马尔可夫随机场,称为高斯自由场,这出现在半监督学习和计算机视觉。然后,我们给出了任意图上高斯自由场的一个简单的贪婪近似算法。最后,我们给出了有界树宽图上一般高斯马尔可夫随机场的消息传递算法。
2012-09-26 cs.LG stat.ML
Provably Correct Algorithms for Matrix Column Subset Selection with Selectively Sampled Data
Carnegie Mellon University(卡内基梅隆大学);School of Computer Science(计算机科学学院);Machine Learning Department(机器学习系);Forbes Avenue, Pittsburgh, PA 15213, USA(5000 Forbes Avenue, Pittsburgh, PA 15213, USA(地址非机构,此处按要求应忽略,但原文本中该地址与机构关联,需确认))
我们考虑矩阵列子集选择问题,它从输入矩阵中选择列的子集,使得输入可以很好地近似于所选列的跨度。列子集选择已被应用于许多现实世界的数据应用,如人口遗传学总结,电子电路测试和推荐系统。在许多应用中,完整的数据矩阵是不可用的,人们需要通过检查输入矩阵的一小部分来选择代表性的列。在本文中,我们提出了第一个可证明正确的列子集选择算法的部分观测数据矩阵。我们提出的算法表现出不同的优点和局限性的统计精度,计算效率,样本的复杂性和采样方案,这提供了一个很好的探索列子集选择这些所需的属性之间的权衡。所提出的方法采用反馈驱动采样的思想,并且受到先前针对低秩矩阵近似任务引入的几种采样方案的启发(Drineas等人,2008; Frieze等人,2004年; Deshpande和Vempala,2006年; Krishnamurthy和Singh,2014年)。我们的分析表明,假设输入数据矩阵具有不相干的行,但可能相干的列,所有算法可证明收敛到最佳的低秩近似的原始数据作为选定的列数的增加。此外,所提出的算法享有相对误差界,这是首选的列子集选择和矩阵近似的目的。我们还通过理论和实证分析证明了反馈驱动采样的力量相比,均匀随机采样的输入矩阵具有高度相关的列。
2018-01-25 cs.LG stat.ML
Efficient Data Subset Selection to Generalize Training Across Models: Transductive and Inductive Networks
IIT Bombay(印度理工学院孟买分校);Google(谷歌公司);UT Dallas(德克萨斯大学达拉斯分校)
提出SubSelNet框架,利用注意力机制和架构图结构近似模型预测,实现跨架构的数据子集选择,包含直推式和归纳式两种变体,实验表明在多个真实数据集上优于现有方法。
2024-09-18 cs.LG stat.ML
A determinantal point process for column subset selection
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);CRIStAL(里尔信息与自动化研究中心)
简化是许多机器学习流水线的第一步。两种流行的方法是主成分分析和特征选择,其中主成分分析投射到少数精心选择但不可解释的方向上,特征选择少数原始特征。特征选择可以抽象为一个数值线性代数问题,称为列子集选择问题(CSSP)。CSSP对应于选择矩阵$X \in \mathbb{R}^{N \times d}$的列的最佳子集,其中\emph{best}通常意味着使近似误差最小化,即,将$X$投影到所选列跨越的空间后的残差的范数。这种对$\{1,\dots,d\}$子集的优化通常是不切实际的。一个已经被广泛探索的解决方案是诉诸多项式成本,随机子集选择算法,有利于这种近似误差的小值。我们提出了这样一个随机化算法,从一个投影行列式点过程(DPP),一个排斥性分布在一个固定数量的$k$指数$\{1,\dots,d\}$,有利于选定的列之间的多样性的基础上采样。我们给出了这个DPP的最佳误差PCA的预期近似误差的比率上的界限。当满足$X$的一些现实结构假设时,这些界限比\emph{volume sampling}的最新界限有所改善。数值实验表明,我们的界限是紧的,我们的算法具有可比的性能与\emph{double phase}算法,通常被认为是实际的最先进的。列子集选择与DPP因此继承了最好的两个世界:良好的经验性能和严格的误差界限。
2018-12-23 cs.LG stat.ML
Selection of training populations (and other subset selection problems) with an accelerated genetic algorithm (STPGA: An R-package for selection of training populations with a genetic algorithm)
Michigan State University(密歇根州立大学)
最优子集选择是一个重要的任务,有许多算法为它设计,并有许多应用领域。STPGA包含一种特殊的遗传算法,该算法补充了禁忌记忆属性(跟踪先前尝试的解决方案及其多次迭代的适应度),并对解决方案编码的适应度进行回归,用于形成理想的估计解决方案(前瞻性),以搜索通用最优子集选择问题的解决方案。我已经初步开发了用于选择基因组预测或关联问题的训练群体的特定问题的程序,因此我讨论了最优实验设计背后的理论,以解释STPGA中的默认优化标准,并说明程序在这方面的用途。尽管如此,我还是选择了一些其他的应用领域:基于核比对的监督和非监督变量选择,有设计标准的监督变量选择,回归的有影响力的观察识别,解决混合整数二次优化问题,平衡育种群体中的增益和近亲繁殖。其中一些说明涉及新的统计方法。
2017-02-26 cs.LG q-bio.GN q-bio.QM
Building Ensembles of Adaptive Nested Dichotomies with Random-Pair Selection
University of Waikato(怀卡托大学)
嵌套二分法系统是一种将多类问题分解为二元问题集合的方法。这样的系统递归地将类的集合分成两个子集,并且训练二元分类器来区分每个子集。尽管具有随机结构的嵌套二分法的集合在实践中表现良好,但可以使用更复杂的类子集选择方法来提高分类精度。我们调查这个问题的方法称为随机对选择,并评估其有效性相比,其他已发表的子集选择方法。我们表明,我们的方法优于其他方法在许多情况下,当形成合奏嵌套二分法,并在所有其他情况下,至少是在同一水平。
2016-07-05 cs.LG stat.ML
Submodular Mutual Information for Targeted Data Subset Selection
University of Texas at Dallas(德克萨斯大学达拉斯分校);Indian Institute of Technology Bombay(印度理工学院孟买分校);University of Washington(华盛顿大学)
随着数据的快速增长,使用正确的数据子集来训练或改进深度学习模型变得越来越困难。我们表明,这个问题可以有效地解决在一个额外的标签成本有针对性的数据子集选择(TSS),其中一个子集的未标记的数据点类似的辅助集被添加到训练数据。我们这样做,通过使用一个丰富的类的子模块互信息(SMI)功能,并证明其有效性的图像分类CIFAR-10和MNIST数据集。最后,我们比较了SMI功能TSS的性能与其他国家的最先进的方法密切相关的问题,如主动学习。使用SMI函数,我们观察到在使用添加的目标子集重新训练之前,模型的性能提高了约20-30%;比其他方法多约12%。
2021-04-30 cs.CV cs.LG
10,000+ Times Accelerated Robust Subset Selection (ARSS)
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
从含有噪声信息的海量数据中进行子集选择越来越受到各种应用的欢迎。这个问题仍然具有很大的挑战性,因为目前的方法通常速度慢,对离群值敏感。为了解决上述两个问题,我们提出了一种加速鲁棒子集选择(ARSS)方法。特别是在子集选择领域,这是第一次尝试采用基于$\ell_{p}(0<p\leq1)$范数的表示损失度量,防止大的错误主导我们的目标。因此,极大地增强了对离群元素的鲁棒性。实际上,数据大小通常比特征长度(即,$N\gg L$)大得多。基于这一观察,我们提出了一个加速求解器(通过ALM和等效推导),以大大降低计算成本,理论上从$O(N^{4})$到$O(N{}^{2}L)$。在10个基准数据集上进行的大量实验证明,我们的方法不仅优于最先进的方法,而且比最相关的方法快10,000倍以上。
2014-11-17 cs.CV cs.LG stat.ML