Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)
College of Computing and Data Science(计算与数据科学学院);Nanyang Technological University(南洋理工大学)
针对数据选择中元学习方法的细粒度评估与可迁移性权衡问题,提出基于逐点值匹配目标的可扩展框架TESS,在LLM安全性和指令调优上实现跨数据集与跨模型规模的有效迁移。
2026-10-02 cs.AI cs.CL cs.LG
Online and Scalable Model Selection with Multi-Armed Bandits
Copilot AI;Xaxis
许多在实时流量上运行的在线应用程序都由机器学习模型提供支持,这些模型的训练、验证和超参数调整都是在历史数据上进行的。然而,在离线分析中表现出强大性能的模型在在线部署时通常会产生较差的性能。这个问题是在非平稳环境中训练历史数据的困难的结果。此外,用于模型选择的机器学习度量可能与用于确定被测试应用的成功的真实世界业务度量不充分相关。这些问题在实时竞价(RTB)领域尤为突出,其中ML模型为竞价策略提供动力,并且模型的变化可能会影响广告活动的性能。在这项工作中,我们提出了自动化模型分析(AMS),一个系统的可扩展的在线选择RTB投标策略的基础上,现实世界的性能指标。AMS采用多臂强盗(MAB)来几乎同时运行和评估多个模型对实时流量,分配最多的流量给最好的模型,同时减少流量给那些在线性能较差的模型,从而最大限度地减少劣质模型对整体活动性能的影响。避免了对离线数据的依赖,而是根据可操作的业务目标逐个进行模型选择。AMS允许新模型在开发完成后立即安全地引入到实时活动中,从而最大限度地降低整体性能的风险。在多个广告活动的实时流量测试中,AMS系统被证明在提高广告活动性能方面非常有效。
2021-01-25 cs.AI cs.LG
Scalable and Accurate Online Feature Selection for Big Data
Simon Fraser University(西蒙弗雷泽大学);Hefei University of Technology(合肥工业大学);University of Vermont(佛蒙特大学);University of Massachusetts Boston(马萨诸塞大学波士顿分校)
特征选择在许多大数据应用中非常重要。与大数据密切相关的两个关键挑战。首先,在许多大数据应用中,维度非常高,以百万计,并且还在不断增长。其次,大数据应用要求以在线方式的高度可扩展的特征选择算法,使得每个特征可以在顺序扫描中被处理。本文提出了一种可扩展的、精确的在线特征选择方法SAOLA。通过对特征间成对相关性的理论分析,SAOLA采用了新的成对比较技术,并以在线方式随时间保持一个简约模型。此外,为了处理即将到来的功能,到达组,我们扩展了SAOLA算法,然后提出了一个新的组-SAOLA算法的在线组特征选择。group-SAOLA算法能够同时在线维护一组在组和个体特征两个层次上都稀疏的特征组。使用一系列基准真实数据集的实证研究表明,我们的两个算法,SAOLA和组SAOLA,是可扩展的数据集的极高维,并具有优越的性能比国家的最先进的特征选择方法。
2016-07-28 cs.LG
Training Data Selection with Gradient Orthogonality for Efficient Domain Adaptation
本文提出OGS方法,通过梯度正交性选择训练数据,提升领域适应的效率和性能。
2026-02-06 cs.AI cs.LG
Clustering with feature selection using alternating minimization, Application to computational biology
I3S, Univ. Côte d’Azur & CNRS(蔚蓝海岸大学与法国国家科学研究中心I3S实验室);IPMC, Univ. Côte d’Azur & CNRS(蔚蓝海岸大学与法国国家科学研究中心IPMC研究所);LJAD, Univ. Côte d’Azur & CNRS/Inria(蔚蓝海岸大学、法国国家科学研究中心/法国国家信息与自动化研究所LJAD实验室)
本文研究了带特征选择的无监督聚类。问题是估计标签和权重的稀疏投影矩阵。为了解决这个组合非凸问题保持严格控制的稀疏矩阵的权重,我们提出了一个交替最小化的Frobenius范数准则。我们提出了一种新的高效算法命名为K-稀疏交替k-means与投影梯度最小化。投影梯度步骤是一种分裂型方法,在$\ell^1$球上精确投影以提高稀疏性。讨论了梯度投影法的收敛性,并对交替极小化法进行了初步分析。Frobenius范数准则在算法K-sparse中的迭代次数趋于无穷大时收敛。在单细胞RNA测序数据集上的实验表明,该方法显著改善了PCA k-means、谱聚类、SIMLR和Sparcl方法的结果,实现了基因的相关选择。K-sparse的复杂度与样本(细胞)的数量呈线性关系,因此该方法可以扩展到大型数据集。
2019-05-24 cs.AI cs.LG stat.ML
Snowball: A Scalable All-to-All Ising Machine with Dual-Mode Markov Chain Monte Carlo Spin Selection and Asynchronous Spin Updates for Fast Combinatorial Optimization
ETH Zurich(苏黎世联邦理工学院)
Snowball通过双模式马尔可夫链蒙特卡洛自旋选择和异步自旋更新,实现快速组合优化的可扩展Ising机器。
2026-01-28 cs.LG
CAFE-GB: Scalable and Stable Feature Selection for Malware Detection via Chunk-wise Aggregated Gradient Boosting
Department of Computer Science and Engineering(计算机科学与工程系)
CAFE-GB通过分块聚合梯度提升实现高维恶意软件检测中的稳定且可扩展的特征选择,有效减少特征维度并保持性能。
2026-01-22 cs.AI cs.CR cs.LG
Scalable unsupervised feature selection via weight stability
School of Computer Science and Electronic Engineering, University of Essex, Wivenhoe, UK(埃塞克斯大学计算机科学与电子工程学院,英国威文豪)
本文提出了一种基于Minkowski加权k-均值的无监督特征选择方法,通过聚合不同Minkowski指数下的特征权重来识别稳定且信息丰富的特征,从而提升聚类性能。
2026-06-24 cs.LG
GPFL: A Gradient Projection-Based Client Selection Framework for Efficient Federated Learning
The University of Hong Kong(香港大学)
针对联邦学习客户端选择中数据异构与计算负担问题,提出基于梯度投影的GPFL框架,通过比较下降方向并引入利用-探索机制,在非IID场景下提升准确率超9%并缩短计算时间。
2024-05-26 cs.DC cs.LG
Towards Fundamentally Scalable Model Selection: Asymptotically Fast Update and Selection
University of Maryland(马里兰大学);Sony AI(索尼人工智能)
本文提出孤立模型嵌入方案,使模型选择在候选模型数量上同时实现 O(1) 更新复杂度和单次遍历选择,并通过 Standardized Embedder 在 100 个预训练视觉模型上的实验验证了其有效性。
2024-06-11 cs.CV cs.LG stat.ML
Universal Inference Meets Random Projections: A Scalable Test for Log-concavity
Novartis Pharmaceuticals Corporation(诺华制药公司);University of Michigan(密歇根大学);Boston University(波士顿大学);Carnegie Mellon University(卡内基梅隆大学)
针对现有对数凹性密度检验方法的缺失,研究结合通用推断与对数凹最大似然估计,提出首个有限样本下任意维度均有效的检验方法,还通过随机投影实现了兼具统计与计算效率的高功效可扩展检验流程。
2024-04-15 cs.LG math.ST stat.ME
Balanced Adaptive Prototype Selection for Scalable TabPFN Inference on Large-Scale Tabular Data
Islamic Azad University(伊斯兰阿扎德大学)
本文提出BAPS框架,无需修改预训练TabPFN模型,可将百万级表格数据集的上下文压缩约1953倍,用512个原型保留预测性能,实现其在大规模表格数据上的可扩展推理。
2026-08-14 cs.LG
Variable selection for Gaussian process regression through a sparse projection
本文提出了一种新的结合高斯过程(GP)回归的变量选择方法。我们考虑稀疏投影的输入变量和一个一般的平稳协方差模型,取决于投影功能之间的欧氏距离。稀疏投影矩阵被认为是一个未知参数。我们提出了一个前向阶段的方法,嵌入梯度下降步骤,以协同优化的参数与其他协方差参数的基础上最大化的非凸边际似然函数与凹稀疏惩罚,并提供了一些收敛性的算法。该模型比现有的自动相关性确定方法覆盖了更广泛的一类平稳协方差函数,并且该解决方案比现有的MCMC抽样程序在稀疏性先验下的自动相关性参数估计更具计算可行性。大量的模拟场景的方法进行评估。通过仿真研究,对调谐参数的选择和参数估计的精度进行了评价。在比较一些选择的基准方法,所提出的方法提供了一个更好的准确性,在变量的选择。它适用于识别影响金属合金大气腐蚀的环境因素的一个重要问题。
2020-08-25 cs.LG stat.ML
A scalable saliency-based Feature selection method with instance level information
LIAAD, INESCTEC(INESCTEC LIAAD实验室)
经典的特征选择技术去除那些无关或冗余的特征,从而获得有助于提供更好的知识提取的相关特征的子集。这允许创建更容易解释的紧凑模型。这些技术大多适用于整个数据集,但当只需要实例信息时,它们无法为用户提供成功的信息。简而言之,给定任何示例,经典的特征选择算法不给出关于哪个信息是关于该样本的最相关信息的任何信息。这项工作旨在通过开发一种新的特征选择方法来克服这一障碍,该方法称为基于深度学习显着性技术的基于显着性的特征选择(SFS)。我们的实验结果将证明,该算法不仅可以成功地用于神经网络,而且在任何给定的结构下使用梯度下降技术训练。
2019-04-30 cs.LG stat.ML
SPARD: Defending Harmful Fine-Tuning Attack via Safety Projection with Relevance-Diversity Data Selection
Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(香港科学与技术大学计算机科学与工程系);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程系);Platform and Content Group, Tencent(腾讯平台与内容组);Chinese Medicine Guangdong Laboratory(广东中医实验室)
提出SPARD框架,结合安全投影交替优化和相关性-多样性数据选择,防御有害微调攻击,在保持任务精度的同时显著降低攻击成功率。
2026-05-27 cs.AI cs.CR cs.LG
Aligning the Query Space: Greedy Information Projection for Language Model Data Selection
本文提出贪心信息投影框架,通过最大化子集与任务查询信号的互信息,平衡质量与多样性,高效选择数据集进行微调。
2026-10-06 cs.CL cs.LG
SmallToLarge (S2L): Scalable Data Selection for Fine-tuning Large Language Models by Summarizing Training Trajectories of Small Models
University of California, Los Angeles (UCLA)(加利福尼亚大学洛杉矶分校);Department of Computer Science(计算机科学系);Department of Computational Medicine(计算医学系)
本文提出 SmallToLarge(S2L)数据选择方法,利用小模型训练轨迹指导大模型 SFT,在数学推理和临床摘要任务中以少量数据达到或超过全量训练性能,并降低选择成本。
2024-12-05 cs.AI cs.CL cs.LG
Scalable Diverse Model Selection for Accessible Transfer Learning
Georgia Tech(佐治亚理工学院)
由于目前模型库中现成的预训练深度学习模型占优势,因此找到最佳权重来微调您的用例可能是一项艰巨的任务。最近提出了几种方法来寻找迁移学习的好模型,但它们要么不能很好地扩展到大型模型库,要么在现成模型的多样性上表现不佳。理想情况下,我们想回答的问题是,“给定一些数据和源模型,你能快速预测模型在微调后的准确性吗?”在本文中,我们将这种设置形式化为“可扩展的多样化模型选择”,并提出了几个用于评估这项任务的基准。我们发现现有的模型选择和可转移性估计方法在这里表现不佳,并分析为什么会这样。然后,我们引入简单的技术来提高这些算法的性能和速度。最后,我们对现有的方法进行了改进,创建了PARC,它在不同的模型选择上优于所有其他方法。我们已经发布了基准测试和方法代码,希望能激发未来在无障碍迁移学习模型选择方面的工作。
2022-01-11 cs.CV cs.LG
EliteKV: Scalable KV Cache Compression via RoPE Frequency Selection and Joint Low-Rank Projection
Fudan University(复旦大学)
本文提出 EliteKV 框架,通过 RoPElite 识别频率偏好以选择性恢复 key 线性,并结合联合低秩压缩,在仅用 0.6% 数据追加训练下实现 75% 的 KV 缓存压缩且几乎无损性能。
2025-03-03 cs.AI cs.CL cs.LG
Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning
ETH Zurich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学习系统中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
基于边缘似然的模型选择尽管很有前途,但由于估计困难,很少用于深度学习。相反,大多数方法依赖于验证数据,而这些数据可能并不容易获得。在这项工作中,我们提出了一种可扩展的边缘似然估计方法来选择超参数和网络架构,仅基于训练数据。一些超参数可以在训练过程中在线估计,简化了过程。我们的边际似然估计是基于拉普拉斯方法和高斯-牛顿近似的Hessian,它优于交叉验证和手动调整标准回归和图像分类数据集,特别是在校准和分布检测方面。我们的工作表明,边缘似然可以提高泛化能力,并且在验证数据不可用时(例如,在非固定设置中)。
2021-06-15 cs.LG stat.ML
Multipartite Ranking-Selection of Low-Dimensional Instances by Supervised Projection to High-Dimensional Space
Australian National University(澳大利亚国立大学);Commonwealth Scientific and Industrial Research Organisation(联邦科学与工业研究组织)
删除冗余或不相关的数据实例是模式识别每个成功解决方案的关键。在本文中,我们提出了一种新的排序选择框架的长度短,但高度相关的情况下。我们不是在低维实例空间中工作,而是学习到由所研究的数据集中的类数量所跨越的高维空间的监督投影。通过将标签的概念暴露给实例来施加更高的区别,让我们为每个单独的类部署一个与所有的排名,并通过对整体分数的自适应阈值来选择质量实例。为了证明我们的范例的效率,我们采用它的纹理理解的目的,这是一个很难识别的挑战,由于纹理像素的高相似性和低维度的颜色特征。我们的实验表明,在几个公开的数据集上,识别性能比其他本地描述符有相当大的提高。
2016-06-24 cs.CV cs.LG stat.ML
A Scalable Multi-LLM Collaboration System with Retrieval-based Selection and Exploration-Exploitation-Driven Enhancement
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学)
本文提出SMCS系统,通过检索优先选择模块和探索-利用驱动后验增强模块,有效协调多个开源语言模型,实验显示其在多个任务中优于闭源模型,且在不同数据集上超越开源模型的平均最佳结果。
2026-05-15 cs.AI cs.CL cs.LG
Scalable Feature Selection for (Multitask) Gradient Boosted Trees
Amazon(亚马逊)
梯度提升决策树(GBDTs)被广泛用于在搜索和推荐中建立排名和相关性模型。延迟和可解释性等考虑因素要求使用尽可能少的特征来训练这些模型。GBDT模型中的特征选择通常涉及按重要性对特征进行排序并选择前几个,或者通过执行完全向后特征消除例程。先前提出的动态特征选择方法随着特征的数量而次优地缩放,这在高维设置中可能是令人生畏的。我们开发了一个可扩展的前向特征选择变体GBDT,通过一个新的组测试程序,在高维工作良好,并享有良好的理论性能和计算保证。我们通过对公共和专有数据集的广泛实验表明,所提出的方法在训练时间上提供了显着的加速,同时在模型性能指标方面与现有的GBDT方法一样具有竞争力。我们还将该方法扩展到多任务设置,允许从业者选择跨任务的共同特征,以及选择特定于任务的特征。
2021-09-05 cs.LG stat.ML
Improving statistical learning methods via features selection without replacement sampling and random projection
Instituto Politécnico Nacional(国家理工学院)
本研究提出整合无放回特征选择(FSWOR)和投影方法的机器学习框架,利用Kendall检验对脑癌微阵列数据集降维,结合LDA投影与朴素贝叶斯集成分类器,有效缓解过拟合,将分类准确率提升至96%。
2025-05-28 cs.AI cs.LG q-bio.QM
HyperNP: Interactive Visual Exploration of Multidimensional Projection Hyperparameters
Tufts University(塔夫茨大学);University of Sao Paulo(圣保罗大学);University of Utrecht(乌得勒支大学);Indiana University Bloomington(印第安纳大学伯明顿分校);Novartis(诺华公司)
投影算法,如t-SNE或UMAP是有用的高维数据的可视化,但依赖于超参数,必须仔细调整。不幸的是,迭代地重新计算投影以找到最佳超参数值是计算密集型的,并且由于这些方法的随机性而不直观。在本文中,我们提出了HyperNP,一个可扩展的方法,允许实时交互式超参数探索的投影方法,通过训练神经网络近似。HyperNP可以在总数据实例和超参数配置的一小部分上进行训练,并且可以以交互式速度计算新数据和超参数的投影。HyperNP尺寸紧凑,计算速度快,因此可以嵌入到轻量级可视化系统中,如Web浏览器。我们在性能和速度方面评估了HyperNP在三个数据集上的性能。结果表明,HyperNP是准确的,可扩展的,交互式的,适合在现实世界中使用。
2021-06-25 cs.HC cs.LG
Scalable Adaptive Stochastic Optimization Using Random Projections
Institute for Machine Learning, Department of Computer Science, ETH Zürich(苏黎世联邦理工学院计算机科学系机器学习研究所);Seminar for Statistics, Department of Mathematics, ETH Zürich(苏黎世联邦理工学院数学系统计研讨班);Disney Research, Zürich(迪士尼研究院苏黎世分院)
自适应随机梯度方法,如AdaGrad,特别是用于训练深度神经网络,已经变得流行起来。最常用和研究的变体保持一个对角矩阵近似的二阶信息,通过积累过去的梯度,用于调整步长自适应。在某些情况下,AdaGrad的全矩阵变体有望获得更好的性能,但在高维情况下,它在计算上不切实际。我们提出了Ada-LR和RadaGrad两个计算效率高的近似全矩阵AdaGrad的基础上随机降维。它们能够捕获特征之间的依赖关系,并实现与全矩阵AdaGrad相似的性能,但计算成本要小得多。我们发现,Ada-LR的遗憾是接近的遗憾,全矩阵AdaGrad可以有一个指数级较小的依赖比对角变量的尺寸。从经验上讲,我们表明,Ada-LR和RadaGrad执行类似的全矩阵AdaGrad。在训练卷积神经网络和递归神经网络的任务中,RadaGrad比对角AdaGrad实现了更快的收敛。
2016-11-21 cs.LG stat.ML
Feature Gradients: Scalable Feature Selection via Discrete Relaxation
Microsoft Research New England(微软新英格兰研究院)
在本文中,我们介绍了特征选择,基于梯度的搜索算法。我们的方法扩展了最近的结果,在次线性数据制度的可学习性估计显示,计算可以迭代执行(即,在小批量中)以及在相对于特征数量D和样本量N的线性时间和空间中。这与搜索域的离散到连续的松弛一起,允许在非常大的数据集的特征子集之间的高效的基于梯度的搜索算法。至关重要的是,我们的算法能够找到N > D和N < D机制的特征和目标之间的高阶相关性,而不是不考虑这种相互作用和/或只考虑一种机制的方法。我们提供了小样本和大样本的特征大小设置的算法的实验演示。
2019-08-27 cs.LG stat.ML
Generative Model Selection Using a Scalable and Size-Independent Complex Network Classifier
Sharif University of Technology(谢里夫理工大学)
真实网络表现出非平凡的拓扑特征,如重尾度分布、高聚类性和小世界性。研究人员已经开发了几种生成模型,用于合成结构上与真实网络相似的人工网络。一个重要的研究问题是确定最适合目标网络的生成模型。在本文中,我们研究这个问题,我们的目标是选择能够生成类似于给定网络实例的图的模型。通过生成具有七个优秀生成模型的合成网络,我们利用机器学习方法开发了用于模型选择的决策树。我们提出的方法,这是命名为“复杂网络的生成模型选择”(GMSCN),优于现有的方法在准确性,可扩展性和大小无关性。
2014-02-01 cs.LG cs.SI physics.soc-ph
BLADE: Scalable Bi-level Adaptive Data Selection for LLM Training
University of Oxford(牛津大学);Renmin University of China(中国人民大学);University of Chinese Academy of Sciences(中国科学院大学)
提出BLADE框架,通过拉格朗日乘子将双层优化转化为单层惩罚目标,避免逆Hessian计算,实现动态参考模型,理论保证一阶收敛,实验优于现有方法。
2026-06-18 cs.LG
Scalable Best-of-N Selection for Large Language Models via Self-Certainty
UC Berkeley(伯克利大学)
本文提出自我确定性方法,通过利用LLM输出的概率分布,高效提升大规模语言模型的推理能力,适用于多种推理任务和开放性生成场景。
2025-12-12 cs.AI cs.CL cs.LG
Fast and Scalable Spike and Slab Variable Selection in High-Dimensional Gaussian Processes
University College London(伦敦大学学院)
高斯过程(GP)中的变量选择通常是通过对自动相关性确定内核的逆长度尺度进行阈值化来进行的,但在高维数据集中,这种方法可能是不可靠的。一个更具概率原则的替代方案是使用尖峰和平板先验,并推断变量包含的后验概率。然而,GP中的现有实现在高维和大$n$数据集中运行都非常昂贵,或者仅适用于具有特定内核的无监督设置。因此,我们开发了一个快速和可扩展的变分推断算法的穗和板GP是易于处理的任意可微内核。我们提高了我们的算法的能力,以适应相关变量的稀疏性贝叶斯模型平均超参数,并实现了大幅度的速度使用零温度后验限制,丢弃修剪和最近邻最小化。在实验中,我们的方法始终优于普通和稀疏变分GP,同时保持相似的运行时间(即使是在$n=10^6$时),并且与使用MCMC的尖峰和平板GP的性能具有竞争力,但运行速度快达$1000$倍。
2022-02-24 cs.LG stat.ML
Identifying Selections Operating on HIV-1 Reverse Transcriptase via Uniform Manifold Approximation and Projection
University of California, Santa Cruz(加州大学圣克鲁兹分校)
我们分析了来自斯坦福HIV耐药数据库的14,651个标记有治疗方案的HIV 1逆转录酶(HIV RT)序列,以研究这种酶在临床药物选择下的演变。我们的目标是识别正在经历进化的HIV RT序列空间的不同部分,作为识别个体选择和/或进化解决方案的一种方式。我们利用均匀流形近似和投影(UMAP),一个基于图形的降维技术,唯一适合于非线性依赖关系的检测和可视化的结果使用基于密度分析的无监督聚类算法。我们的分析产生了21个不同的序列簇。支持这些簇的生物学意义,它们倾向于代表与不同治疗方案具有强烈对应性的遗传相关序列。因此,这种方法的可视化领域的HIV RT正在演变可以帮助推断信息的选择压力,虽然它是相关的。与每个聚类相关的突变特征可能代表促进这些进化途径的高阶上位性背景,这些信息通常无法通过其他类型的突变共依赖分析获得。
2022-10-01 cs.CE cs.LG q-bio.GN
Light-in-the-loop: using a photonics co-processor for scalable training of neural networks
LightOn(LightOn公司)
随着神经网络变得越来越大,越来越复杂,越来越需要数据,训练成本也在飙升。特别是当终身学习是必要的,例如在推荐系统或自动驾驶汽车中,这可能很快就会变得不可持续。在这项研究中,我们提出了第一个光学协处理器能够加速数字实现的神经网络的训练阶段。我们依赖于直接反馈对准作为反向传播的替代方案,并以光学方式执行误差投影步骤。利用我们的协处理器提供的光学随机投影,我们证明了它的使用训练一个神经网络的手写数字识别。
2020-06-03 cs.ET cs.LG eess.IV
A Consistent and Scalable Algorithm for Best Subset Selection in Single Index Models
University of Science and Technology of China(中国科学技术大学);Sun Yat-Sen University(孙中山大学);National University of Singapore(新加坡国立大学);Yale University(耶鲁大学)
本文针对高维单指标模型中最佳子集选择的计算难处理性问题,提出一种可证明可扩展的算法,通过广义信息准则自动确定支撑集大小,并直接证明了子集选择一致性和oracle性质,仿真显示其计算高效且能精确恢复最佳子集。
2025-08-17 cs.LG stat.CO stat.ME
Scalable Classifier-Agnostic Channel Selection for Multivariate Time Series Classification
Insight Centre for Data Analytics(洞察数据分析中心);University College Dublin(都柏林大学)
准确性是当前时间序列分类工作的一个重点。然而,在许多应用程序中,速度和数据减少同样重要,特别是当数据规模和存储需求迅速增加时。目前的MTSC算法需要数百个计算小时来完成训练和预测。这是由于多变量时间序列数据的性质,它随着时间序列的数量、长度和通道的数量而增长。在许多应用中,并不是所有的通道是有用的分类任务,因此,我们需要的方法,可以有效地选择有用的通道,从而节省计算资源。我们提出并评估两种方法进行信道选择。我们的技术的工作原理是通过一个原型时间序列来表示每个类,并根据类之间的原型距离进行通道选择。主要的假设是,有用的通道可以更好地区分类;因此,类原型之间的距离越大的通道越有用。在UEA多变量时间序列分类(MTSC)基准测试中,我们证明了这些技术在相似的分类精度水平下实现了显着的数据减少和分类器加速。信道选择作为训练最先进的MTSC算法之前的预处理步骤,并节省约70%的计算时间和数据存储,保持精度。此外,我们的方法甚至使有效的分类器,如火箭,实现更好的准确性比不使用通道选择或前向通道选择。为了进一步研究我们的技术的影响,我们提出了对具有100多个通道的合成多变量时间序列数据集进行分类的实验,以及对具有50个通道的数据集进行的真实案例研究。我们的通道选择方法导致显着的数据减少与保存或提高精度。
2022-12-05 cs.LG
UDRN: Unified Dimensional Reduction Neural Network for Feature Selection and Feature Projection
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);China Telecom Corporation Limited, Hangzhou Branch(中国电信股份有限公司杭州分公司)
降维技术是将高维数据映射到一个低维的潜在空间,并以最小化的优化目标为优化目标。DR方法通常分为特征选择FS和特征投影FP。FS侧重于选择维度的关键子集,但有破坏数据分布(结构)的风险。另一方面,FP将所有输入特征组合到低维空间中,旨在保持数据结构,但缺乏可解释性和稀疏性。金融服务和金融产品传统上是不相容的类别;因此,它们没有被统一成一个友好的框架。我们建议理想的DR方法将FS和FP结合到统一的端到端流形学习框架中,同时执行基本特征发现,同时维护潜在空间中数据样本之间的内在关系。在这项工作中,我们开发了一个统一的框架,统一降维神经网络~(UDRN),以兼容的,端到端的方式集成FS和FP。我们改进了神经网络的结构,分别实现FS和FP任务使用两个堆叠的子网络。此外,为了提高该方法在处理大规模特征数据集时的泛化能力,设计了DR过程的数据增强,并设计了与数据增强相配合的损失函数。在四个图像和四个生物数据集上的大量实验结果,包括非常高维的数据,证明了DRN相对于现有方法(FS,FP和FS\&FP管道)的优势,特别是在分类和可视化等下游任务中。
2022-11-23 cs.LG
Scalable Graph Attention-based Instance Selection via Mini-Batch Sampling and Hierarchical Hashing
College of Information Technology, United Arab Emirates University(阿联酋大学信息科技学院);Department of Computer Science, KU Leuven(比利时库尔勒大学计算机科学系);College of Science, United Arab Emirates University(阿联酋大学科学学院)
针对大规模实例选择难题,提出基于图注意力的GAIS方法,利用小批量采样与层次哈希构建可扩展图,在39个数据集上实现超96%缩减率并保持模型性能。
2025-08-31 cs.LG
Fast and Accurate Network Embeddings via Very Sparse Random Projection
Stony Brook University(石溪大学);University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了FastRP,一个可扩展的和高性能的算法学习分布式节点表示图。FastRP比DeepWalk和node 2 vec等最先进的方法快4,000倍以上,同时在多个实际网络上的各种下游任务中实现了相当甚至更好的性能。我们观察到,大多数网络嵌入方法包括两个组成部分:构建一个节点相似性矩阵,然后应用降维技术,这个矩阵。我们表明,这些方法的成功应归功于正确的构造这个相似性矩阵,而不是降维方法。FastRP是一种可扩展的网络嵌入算法。FastRP的两个关键特性是:1)它显式地构造一个节点相似性矩阵,该矩阵捕获图中的传递关系,并基于节点度对矩阵项进行规范化; 2)它利用非常稀疏的随机投影,这是一种可扩展的无优化降维方法。结合这两种设计选择的额外好处是,它允许节点嵌入的迭代计算,因此不需要显式构建相似性矩阵,这进一步加快了FastRP。FastRP的优势还在于其易于实现,并行化和超参数调整。源代码可在https://github.com/GTmac/FastRP上获得。
2019-08-30 cs.LG cs.SI
Sparse Matrix-based Random Projection for Classification
作为一种典型的降维技术,随机投影可以简单地用线性投影实现,同时以高概率保持高维数据的两两距离。考虑到该技术主要用于分类任务,本文从特征选择的角度研究了随机矩阵的构造,而不是传统的距离保持。这产生了一个有点令人惊讶的理论结果,即每列恰好有一个非零元素的稀疏随机矩阵,如果投影维数足够大(即,不比特征元素的数量小得多),则可以比其他更密集的矩阵呈现更好的特征选择性能;否则,它将执行与其他矩阵相同的操作。对于随机投影,这一理论结果意味着在复杂度和性能上都有相当大的改善,这一点在合成数据和真实数据上的分类实验中得到了广泛的证实。
2014-10-12 cs.CV cs.LG stat.ML
Selection of CMIP6 Models for Regional Precipitation Projection and Climate Change Assessment in the Jhelum and Chenab River Basins
Department of Computer Science, University of Évora(埃夫拉尔大学计算机科学系);MED—Mediterranean Institute for Agriculture, Environment and Development & CHANGE—Global Change and Sustainability Institute, Institute for Advanced Studies and Research, University of Évora(地中海农业、环境与发展研究所及全球变化与可持续性研究所,埃夫拉尔大学高级研究学院);NUST Institute of Civil Engineering (NICE), School of Civil and Environmental Engineering (SCEE), National University of Sciences and Technology (NUST)(国家科技大学土木工程研究所(NICE)、土木与环境工程学院(SCEE));Institute of Geographical Information Systems (IGIS), School of Civil and Environmental Engineering (SCEE), National University of Sciences and Technology (NUST)(地理信息系统研究所(IGIS)、土木与环境工程学院(SCEE),国家科技大学);IMT Atlantique, Lab-STICC UMR CNRS 6285(IMT Atlantic、Lab-STICC UMR CNRS 6285)
本研究通过基于包络的方法选择CMIP6模型,用于恰尔穆和查纳河盆地的降水预测和气候变化评估,首次比较了SSP情景数据,并分析了气候变化影响及极端指数。
2026-02-13 cs.LG physics.ao-ph
SubTrack++ : Gradient Subspace Tracking for Scalable LLM Training
Critical ML, Department of Management Science and Engineering, University of Waterloo(Critical ML,管理科学与工程系,滑铁卢大学)
SubTrack++通过格拉斯曼梯度子空间跟踪与投影感知优化器,在保持内存不变下,将LLM预训练时间最多缩短65%,微调时间缩短36%。
2025-10-25 cs.LG
XAI-Driven Client Selection for Federated Learning in Scalable 6G Network Slicing
University of Trento(特伦托大学);Iquadrat Informatica S.L.(伊夸德拉特信息有限公司);University of Patras(帕特雷大学)
针对6G网络切片中联邦学习的可信客户端选择问题,提出利用XAI归因指导设备选择,以提升非IID场景下RAN-Edge资源供给的效率、可信性与可扩展性。
2025-03-16 cs.IT cs.LG math.IT
Spectral Certificates and Projection-DPP Rounding for Determinantal MAP Selection
Hong Kong Baptist University(香港浸会大学);TadReamk Limited(TadReamk有限公司)
提出将NP难的DPP-MAP选择问题转化为Stiefel流形上的连续优化,通过非线性特征值问题(NEPv)的自洽场迭代实现近线性时间求解,适用于大规模数据选择。
2026-08-18 cs.LG
Task-based Generation of Optimized Projection Sets using Differentiable Ranking
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer Development Center X-Ray Technology EZRT(弗劳恩霍夫X射线技术发展中心(EZRT));Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一种在计算机断层扫描(CT)中选择有价值的投影以增强图像重建和诊断的方法。该方法集成了两个重要的因素,基于投影的可检测性和数据的完整性,到一个单一的前馈神经网络。该网络评估预测的价值,通过可微排名函数对其进行处理,并使用直通估计器进行最终选择。通过培训期间提供的标签确保数据完整性。该方法消除了强制执行数据完整性的必要性,这可能会排除有价值的预测。该方法在非破坏性测试场景中的模拟数据上进行评估,其目的是在指定的感兴趣区域内最大限度地提高重建质量。我们取得了可比的结果,以前的方法,奠定了基础,使用重建为基础的损失函数学习选择的投影。
2023-03-21 cs.CV cs.LG eess.IV
Feature selection in linear SVMs via a hard cardinality constraint: a scalable SDP decomposition approach
Research Network Data Science, University of Vienna(维也纳大学数据科学研究网络);Sapienza University of Rome(罗马大学);VGSCO, University of Vienna(维也纳大学VGSCO机构)
本文研究线性 SVMs 中带基数约束的嵌入式特征选择问题,通过引入混合整数公式和半定松弛并利用稀疏模式进行分解,提出了可扩展的启发式与精确求解方法,在基准数据集上验证了其高效性。
2024-12-19 cs.LG math.OC
Scalable and Generalizable Social Bot Detection through Data Selection
Indiana University(印第安纳大学);Northeastern University(东北大学)
高效可靠的社交机器人分类对于检测社交媒体上的信息操纵至关重要。尽管发展迅速,但最先进的机器人检测模型仍然面临泛化和可扩展性的挑战,这极大地限制了它们的应用。在本文中,我们提出了一个框架,使用最少的帐户元数据,使有效的分析,规模扩大到处理完整的流的公共推特在实时的。为了确保模型的准确性,我们构建了一个丰富的标记数据集集合,用于训练和验证。我们部署了一个严格的验证系统,以便除了传统的交叉验证之外,还可以优化模型在未知数据集上的性能。我们发现,战略性地选择一个子集的训练数据产生更好的模型的准确性和泛化比详尽的训练所有可用的数据。由于所提出的模型的简单性,其逻辑可以被解释为提供对社交机器人特征的见解。
2019-11-20 cs.CY cs.LG cs.SI
Fast projections onto mixed-norm balls with applications
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
联合稀疏性为特征选择提供了强有力的结构线索,特别是对于预期表现出“分组”行为的变量。这种行为通常通过组套索,多任务套索和相关方法来建模,其中特征选择通过混合范数来实现。几种基于混合范数的稀疏模型受到了广泛的关注,并且在某些情况下也可以使用高效的算法。令人惊讶的是,几个约束稀疏模型似乎缺乏可扩展的算法。我们通过提出批处理和在线(随机梯度)优化方法来解决这一缺陷,这两种方法都依赖于有效的预测到混合范数球。我们说明我们的方法,将其应用到多任务套索。最后,我们提出一些悬而未决的问题。
2012-04-06 cs.LG math.OC stat.ML
A Scalable Approach to Solving Simulation-Based Network Security Games
MetaDOAR通过引入轻量级元控制器和学习过滤层,实现了在大规模网络环境中高效多智能体强化学习,提升决策质量并减少计算冗余。
2026-03-17 cs.CR cs.LG
Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging
Wuhan University(武汉大学);Northeastern University(东北大学);Sun Yat-sen University(中山大学);Beijing Institute of Technology(北京理工大学);Nanyang Technological University(南洋理工大学)
针对模型按序到达时传统同时合并内存高、任务干扰强的问题,提出无需训练的正交投影与自适应缩放持续合并方法,在 CLIP-ViT 上提升平均准确率 5-8%。
2025-01-16 cs.LG
LocUS: Head Selection and Subspace Projection for Targeted Activation Steering
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);Area Science Park(的里雅斯特科技园区);Institute of Science Technology Austria(奥地利科学技术研究所)
本文提出LocUS方法,通过选择注意力头并投影到非嵌入子空间,实现目标激活引导,在干预少量参数下达到或超越现有基线,并保持通用能力。
2026-09-28 cs.CL cs.LG
Scalable Greedy Feature Selection via Weak Submodularity
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
贪婪算法广泛用于机器学习中的问题,例如特征选择和集合函数优化。不幸的是,对于大型数据集,即使是贪婪算法的运行时间也可能相当长。这是因为对于每个贪婪步骤,我们需要使用先前选择的选项和新的候选项重新拟合模型或计算函数。最近引入了两种算法,它们是贪婪前向选择的更快近似([Mirzasoleiman et al. 2013,2015])。它们分别利用了分布式计算和随机评估来获得更好的性能。这两个算法都有可证明的性能保证子模函数。在本文中,我们表明,从以前持有的意见不同,子模块是不需要获得这两个算法的近似保证。具体来说,我们证明了一个广义的概念,弱子模足以给乘法近似保证。我们的结果扩展了这些算法的适用性更大的一类功能。此外,我们表明,一个有界的次模比可以用来提供数据依赖的界限,有时可以更严格的次模函数。我们通过在人工和真实数据集上显示快速贪婪近似与几个已建立的基线相比的优越性能来经验性地验证我们的工作。
2017-03-08 cs.IT cs.LG math.IT
Large-scale Online Feature Selection for Ultra-high Dimensional Sparse Data
Singapore Management University(新加坡管理大学);Microsoft Research(微软研究院)
大规模高维数据的特征选择在机器学习和数据采掘中具有重要的意义和挑战性。在线特征选择是一种比批处理特征分割方法更有效、更可扩展的新方法,但现有的在线特征选择方法与批处理方法相比往往效率较低。在本文中,我们提出了一种新的二阶在线特征选择计划,是简单而有效的,非常快速和极具可扩展性,以处理大规模的超高维稀疏数据流。其基本思想是改进现有的一阶在线特征选择方法,利用二阶信息选择具有高置信度权重的重要特征子集。然而,不像许多二阶学习方法,往往遭受额外的高计算成本,我们设计了一种新的智能算法二阶在线特征选择使用基于MaxHeap的方法,这不仅是更有效的比现有的一阶方法,但也显着更有效和可扩展的大规模特征选择与超高维稀疏数据,从我们广泛的实验验证。令人印象深刻的是,在一个十亿规模的合成数据集(10亿个维度,10亿个非零特征和100万个样本)上,我们的新算法在一台PC上只花了8分钟,比传统的批处理方法快了几个数量级。\url{http://arxiv.org/abs/1409.7794}
2015-11-19 cs.CV cs.LG
A Scalable Gradient-Based Optimization Framework for Sparse Minimum-Variance Portfolio Selection
School of Mathematics and Statistics(数学与统计学学院);University of New South Wales(新南威尔士大学);School of Mathematical and Physical Sciences(数学与物理科学学院);University of Technology Sydney(技术大学悉尼分校);Bayes Business School(贝叶斯商学院);City St George’s, University of London(伦敦大学城圣乔治学院);Faculty of Science and Engineering(科学与工程学院);Macquarie University(麦考瑞大学)
针对稀疏最小方差投资组合的基数约束混合整数规划求解瓶颈,提出基于 Boolean 松弛和凸凹目标连续调控的可扩展梯度优化框架。
2025-05-15 cs.LG math.OC q-fin.PM
Scalable Subset Selection in Linear Mixed Models
School of Mathematical and Physical Sciences, University of Technology Sydney(技术与物理科学学院,悉尼技术大学)
本文提出了一种新的ℓ0正则化方法,用于线性混合模型的子集选择,能够高效处理包含千级预测变量的数据集,并在统计上提供了KL散度的有限样本界。
2026-05-14 cs.LG stat.CO stat.ME