Meta-Instance Selection. Instance Selection as a Classification Problem with Meta-Features
Silesian University of Technology(西里西亚工业大学)
本研究将实例选择转化为基于元特征的分类问题,利用最近邻图属性构建元特征空间,训练元分类器(推荐平衡随机森林),在17个数据集上达到与参考方法相当的性能,同时显著降低计算复杂度。
2025-01-20 cs.AI cs.LG
Feature and Instance Joint Selection: A Reinforcement Learning Perspective
University of Central Florida(中佛罗里达大学);Hong Kong University of Science and Technology(香港科技大学);Baidu Talent Intelligence Center(百度人才智库);Rutgers University(罗格斯大学)
特征选择和实例选择是数据处理的两项重要技术。然而,这种选择大多是单独研究,而现有的工作对联合选择进行特征/实例选择粗糙,从而忽略了潜在的细粒度的特征空间和实例空间之间的相互作用。为了解决这一挑战,我们提出了一种强化学习解决方案来完成联合选择任务,并同时捕获每个特征的选择和每个实例之间的交互。特别是,顺序扫描机制被设计为代理的行动策略,和协作变化的环境被用来增强代理的协作。此外,一个交互式的范例引入先验选择知识,以帮助代理更有效的探索。最后,在真实世界数据集上的广泛实验证明了性能的提高。
2022-05-12 cs.AI cs.LG
MIS-Boost: Multiple Instance Selection Boosting
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们提出了一种新的多实例学习(MIL)方法,称为MIS-Boost,它通过在boosting框架中显式选择实例来学习判别实例原型。与以前的实例选择为基础的MIL方法,我们不限制原型的离散集的训练实例,但允许他们采取任意值的实例特征空间。我们也不限制原型的总数和每个包的选定实例的数量;这些数量完全是数据驱动的。我们证明了MIS-Boost在许多基准数据集上的性能优于最先进的MIL方法。我们还将MIS-Boost应用于大规模图像分类,在那里我们展示了自动选择的原型映射到视觉上有意义的图像区域。
2011-09-12 cs.CV cs.LG
Learning Structural Hardness for Combinatorial Auctions: Instance-Dependent Algorithm Selection via Graph Neural Networks
Department of Electrical and Computer Engineering(电气电子工程系)
针对组合拍卖中的胜者确定问题,提出学习实例难度预测方法,结合图神经网络与贪心算法实现实例相关算法选择,显著降低最优性差距。
2026-06-25 cs.LG
Posterior-regularized REINFORCE for Instance Selection in Distant Supervision
Zhejiang University(浙江大学);University of Southern California(南加州大学);Hikvision(海康威视)
本文为提高REINFORCE培训过程的效率提供了一种新的途径。我们将其应用于远程监控中的实例选择任务。将一个包中的实例选择建模为一个顺序决策过程,训练一个强化学习代理来确定实例是否有价值,并使用较少的噪声实例构建新的包。然而,诸如REINFORCE之类的无偏差方法通常可能需要很长时间来进行训练。本文采用后验正则化(PR),在实例选择中使用REINFORCE集成一些特定领域的规则。实验结果表明,该方法显著提高了在清洁的远程监督数据集上训练的关系分类器的性能,同时也提高了REINFORCE训练的效率。
2019-04-17 cs.CL cs.LG
Instance Selection Mechanisms for Human-in-the-Loop Systems in Few-Shot Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
业务分析和机器学习已成为各个行业的重要成功因素-但其缺点是收集和标记数据的成本高昂。少样本学习解决了这一挑战,并通过学习具有很少标记数据的新类来降低数据收集和标记成本。在本文中,我们设计了一个人在回路(HITL)系统的少样本学习,并分析了广泛的机制,可用于获取人类的专家知识的情况下,有一个不确定的预测结果。我们发现,人类专家知识的获取显着加快了Few-Shot模型的性能,给出了一个可以忽略不计的标签工作。我们在计算机视觉和真实世界数据集的基准数据集上进行了各种实验,验证了我们的发现。我们进一步证明了少样本学习的HITL系统的成本效益。总的来说,我们的工作旨在支持研究人员和从业者以更低的成本有效地将机器学习模型适应新的类别。
2022-07-14 cs.LG
Revisit the Algorithm Selection Problem for TSP with Spatial Information Enhanced Graph Neural Networks
Eindhoven University of Technology(埃因霍温理工大学)
算法选择是一个众所周知的问题,研究人员研究如何构建代表问题实例的有用特征,然后应用基于特征的机器学习模型来预测哪种算法最适合给定实例。然而,即使是简单的优化问题,如欧几里德旅行商问题(TSP),缺乏一个通用的和有效的特征表示的问题实例。基于广泛的领域知识和对解决方案的后分析,TSP的重要特征在文献中得到了相对较好的理解。近年来,卷积神经网络(CNN)已成为一种流行的TSP算法选择方法。与传统的基于特征的机器学习模型相比,CNN具有自动特征学习能力,并且需要较少的领域专业知识。然而,仍然需要生成中间表示,即,多个图像首先表示TSP实例。在本文中,我们重新审视TSP的算法选择问题,并提出了一种新的图神经网络(GNN),称为GINES。GINES将城市的坐标和城市之间的距离作为输入。它由一种新的消息传递机制和一个局部邻域特征提取器组成,用于学习TSP实例的空间信息。我们在两个基准数据集上评估GINES。实验结果表明,GINES模型的性能优于CNN和原始GINE模型。它比传统的手工制作的基于特征的方法在一个数据集上更好。代码和数据集将在本文的最终版本中发布。
2023-02-08 cs.LG
EEG-AS: Instance-Level Foundation Model Selection for EEG Foundation Models via Behavior Reconstruction
Duke Kunshan University(昆山杜克大学);Ankara University(安卡拉大学)
该研究将脑电基础模型选择转化为实例级算法选择问题,提出EEG-AS框架,通过行为重构高效从七个脑电基础模型中选优,大幅缩小了最优单求解器与神谕上界的差距。
2026-09-29 cs.AI cs.LG
Near Instance Optimal Model Selection for Pure Exploration Linear Bandits
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们介绍了纯探索线性强盗的模型选择问题,其中学习者需要适应包含真实模型的最小假设类的实例相关复杂性度量。我们设计的算法在固定的信心和固定的预算设置与近实例最优保证。我们的算法的核心是一个新的优化问题的基础上试验设计,利用几何的动作集,以确定一个接近最优的假设类。我们的固定预算算法是基于一种新的选择验证过程,它提供了一种新的方法来研究欠研究的固定预算设置(即使没有增加的挑战模型选择)。我们适应我们的算法,在固定的信心和固定的预算设置,模型误指定的问题。
2022-03-17 cs.LG stat.ML
Frugal Algorithm Selection
School of Computer Science(计算机科学学院);University of St Andrews(圣安德鲁大学)
针对自动化算法选择训练成本过高的问题,本文结合主动学习、超时预测和递增超时采样选择训练实例子集,并在 ASLib 六个数据集上验证其标注成本降低效果。
2024-05-17 cs.LG
DIWIFT: Discovering Instance-wise Influential Features for Tabular Data
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳));Shenzhen University(深圳大学);Huawei Technologies Co Ltd(华为技术有限公司);Tencent(腾讯);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
表格数据是许多现实世界的Web应用程序(如零售、银行和电子商务)背后最常见的数据存储格式之一。这些Web应用程序的成功在很大程度上取决于所采用的机器学习模型准确区分表格数据中的所有预定特征和有影响力的特征的能力。直观地说,在实际业务场景中,不同的实例应该对应不同的影响特征集合,同一实例的影响特征集合在不同的场景中可能会有所不同。然而,大多数现有的方法集中于全局特征选择,假设所有实例具有相同的一组有影响力的特征,并且很少考虑实例式特征选择的方法忽略不同场景中有影响力的特征的可变性。本文首先介绍了一种基于影响函数的实例特征选择的新观点,并给出了相应的理论见解,其核心是利用影响函数作为衡量实例特征重要性的指标。然后,我们提出了一个新的解决方案,发现表数据中的实例有影响力的功能(DIWIFT),自注意力网络被用作特征选择模型和相应的影响函数的值被用作优化目标,以指导模型。受益于影响函数的优点,即,它的计算不依赖于特定的架构,并且还可以考虑不同场景下的数据分布,因此我们的DIWIFT具有更好的灵活性和鲁棒性。最后,我们在合成和真实世界的数据集上进行了广泛的实验,以验证我们的DIWIFT的有效性。
2023-02-11 cs.LG
On Training Instance Selection for Few-Shot Neural Text Generation
Saarland University(萨尔大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
大规模预训练的语言模型在文本生成方面取得了巨大的进步。通过仅对少量实例进行微调(Few-Shot设置),可以实现令人印象深刻的性能。尽管如此,几乎所有以前的工作只是简单地应用随机采样来选择Few-Shot训练实例。很少或根本没有注意到选择策略以及它们如何影响模型性能。在这项工作中,我们提出了一个在Few-Shot神经文本生成的训练实例选择的研究。选择决策仅基于未标记的数据,以便在一定的标记成本预算下识别最值得注释的数据点。基于Few-Shot训练样本应该具有多样性并代表整个数据分布的直觉,我们提出了一种简单的K均值聚类选择策略。我们表明,即使与天真的基于聚类的方法,生成模型始终优于随机抽样的三个文本生成任务:数据到文本生成,文档摘要和问题生成。我们希望,这项工作将呼吁更多地关注这一基本上未经探索的领域。
2021-07-07 cs.CL cs.LG
Few-shot Learning for Unsupervised Feature Selection
NTT Computer and Data Science Laboratories(NTT计算机与数据科学实验室);NTT Communication Science Laboratories(NTT通信科学实验室)
我们提出了一种用于无监督特征选择的少样本学习方法,这是一个在未标记数据中选择相关特征子集的任务。现有的方法通常需要许多实例来进行特征选择。然而,在实践中往往没有足够的实例。该方法通过对多个源任务中的未标记实例进行训练,在给定几个未标记目标实例的情况下,选择目标任务中的相关特征子集。我们的模型包括一个特征选择器和解码器。特征选择器输出相关特征的子集,将一些未标记的实例作为输入,使得解码器可以从所选择的实例中重建未见过实例的原始特征。特征选择器使用具体随机变量通过梯度下降选择特征。为了将来自一些未标记实例的特定于任务的属性编码到模型中,具体随机变量和解码器使用置换不变神经网络建模,该神经网络将一些未标记实例作为输入。我们的模型是通过最小化预期的测试重建误差来训练的,给定了一些未标记的实例,这些实例是用源任务中的数据集计算的。我们的实验表明,该方法优于现有的特征选择方法。
2021-07-02 cs.LG stat.ML
Instance Selection Improves Geometric Mean Accuracy: A Study on Imbalanced Data Classification
Bangor University(班戈大学);Universidad de Burgos(布尔戈斯大学);Middlesex University(密德萨斯大学)
处理不平衡数据的一种自然方法是尝试均衡类频率并在平衡数据上训练选择的分类器。对于两类不平衡问题,分类成功率通常由真阳性率和真阴性率的几何平均值(GM)来衡量。在这里,我们证明了GM模型可以通过实例选择来改进,并给出了这种改进的理论条件。我们证明,GM是非单调的保留实例的数量,这阻碍了系统的实例选择。我们还表明,平衡的分布频率是劣于直接最大化的GM。为了验证我们的理论研究结果,我们进行了实验研究的12个实例选择方法的不平衡数据,使用66个标准的基准数据集。结果揭示了新的实例选择方法的不平衡数据的可能空间。
2018-04-19 cs.CV cs.LG stat.ML
A scalable saliency-based Feature selection method with instance level information
LIAAD, INESCTEC(INESCTEC LIAAD实验室)
经典的特征选择技术去除那些无关或冗余的特征,从而获得有助于提供更好的知识提取的相关特征的子集。这允许创建更容易解释的紧凑模型。这些技术大多适用于整个数据集,但当只需要实例信息时,它们无法为用户提供成功的信息。简而言之,给定任何示例,经典的特征选择算法不给出关于哪个信息是关于该样本的最相关信息的任何信息。这项工作旨在通过开发一种新的特征选择方法来克服这一障碍,该方法称为基于深度学习显着性技术的基于显着性的特征选择(SFS)。我们的实验结果将证明,该算法不仅可以成功地用于神经网络,而且在任何给定的结构下使用梯度下降技术训练。
2019-04-30 cs.LG stat.ML
Instance-wise Causal Feature Selection for Model Interpretation
IIT Hyderabad(印度理工学院海得拉巴分校)
我们制定了一个因果扩展最近推出的范例明智的特征选择来解释黑盒视觉分类。我们的方法选择了一个子集的输入功能,有最大的因果关系的影响模型的输出。我们通过相对熵距离度量来量化特征子集的因果影响。在某些假设下,这等价于所选子集和输出变量之间的条件互信息。由此产生的因果选择是稀疏的,覆盖场景中的突出对象。我们通过测量所选特征对模型输出的事后准确性和平均因果效应,展示了我们的方法在多个视觉数据集上的有效性。
2021-04-26 cs.AI cs.LG
Class Incremental Learning for Algorithm Selection
Edinburgh Napier University(爱丁堡纳皮尔大学)
本文首次将类增量学习引入优化领域的算法选择问题,通过在装箱数据集上基准测试8种持续学习方法,发现基于经验回放的方法能以约7%的较小遗忘损失有效应对流式场景下的求解器更新。
2025-06-02 cs.LG
Quantum Annealing for Machine Learning: Applications in Feature Selection, Instance Selection, and Clustering
Georgia Institute of Technology(佐治亚理工学院)
本文将特征选择、实例选择和聚类形式化为QUBO问题,通过量子退火与经典模拟退火对比,提出多种QUBO配置和新启发式方法,并构建经典到量子聚类流水线,证明QA在离散机器学习优化中具有竞争力。
2025-07-20 cs.ET cs.LG quant-ph
Unsupervised Instance and Subnetwork Selection for Network Data
International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA));University at Albany - SUNY(纽约州立大学奥尔巴尼分校)
与表格数据不同,网络数据中的功能在特定于域的图中互连。这种设置的示例包括覆盖在蛋白质相互作用网络(PPI)上的基因表达和社交网络中的用户意见。网络数据通常是高维的(大量节点),并且通常包含离群快照实例和噪声。此外,用全局标签(例如,疾病或正常)。我们如何在没有监督的情况下为网络数据联合选择有区别的子网络和代表性实例?我们通过一个凸的自我表示目标,在一个无监督的框架内解决这些挑战,用于联合子网络和网络数据中的实例选择,称为UISS。给定一个未标记的网络数据集,UISS识别代表性实例,而忽略离群值。它在区分性子网选择和代表性实例选择方面都优于最先进的基线,在我们用于评估的所有真实数据集上实现了高达10%的准确性提高。当用于来自多项研究的RNA-seq网络样本的探索性分析时,它会产生可解释和信息丰富的摘要。
2022-12-24 cs.LG cs.SI q-bio.QM
Single-Rollout Hidden-State Dynamics for Training-Free RLVR Data Selection
Faculty of Information Technology, Monash University, Melbourne, Australia(信息技术学院,墨尔本大学,澳大利亚)
提出SHIFT方法,通过单次推理展开的隐藏状态变化(RIRS)作为实例效用代理,结合质量加权CoreSet覆盖,实现无训练、无标签的RLVR数据选择,在数学推理和医学QA上优于基线。
2026-05-27 cs.LG
On the Utility of Probing Trajectories for Algorithm-Selection
Edinburgh Napier University(爱丁堡龙比亚大学)
针对算法选择中仅从实例视角衡量相似性的局限,本文提出以求解器短时间运行产生的探测轨迹描述实例,实现以算法为中心的选择模型,并取得优于或可比景观特征方法的效果。
2024-01-23 cs.LG cs.NE
Copula for Instance-wise Feature Selection and Ranking
Baidu Research(百度研究院)
针对现有实例级特征选择方法忽略特征间依赖性的问题,提出将Gaussian copula融入当前框架以捕获变量相关性,实验证明该方法能有效捕获有意义的相关性并提升性能与可解释性。
2023-08-01 cs.AI cs.CV cs.LG
Towards Meta-Algorithm Selection
Heinz Nixdorf Institute(海因茨·尼克斯多夫研究所);Paderborn University(帕德博恩大学)
实例特定算法选择(AS)处理从一组固定的候选算法中自动选择最适合算法问题类的特定实例的算法,其中“适用性”通常指算法的运行时间。在过去的几年里,已经提出了大量的算法选择器。由于算法选择器也是解决特定问题的算法,因此算法选择的思想也可以应用于AS算法,从而产生元AS方法:给定一个实例,目标是选择一个算法选择器,然后用于选择解决问题实例的实际算法。我们详细阐述了应用AS在元层面上的后果,并确定可能存在的问题。经验上,我们表明,元算法选择确实可以证明在某些情况下是有益的。然而,一般来说,成功的AS方法在解决元级问题方面存在问题。
2020-11-17 cs.LG stat.ML
From Pixels to Perception: Interpretable Predictions via Instance-wise Grouped Feature Selection
ETH Zurich(苏黎世联邦理工学院)
针对机器学习模型决策可解释性问题,提出一种基于语义区域逐实例稀疏化、可动态调整稀疏度的可解释预测方法,在半合成与自然图像数据集上表现优于现有最优基准。
2025-05-16 cs.CV cs.LG
HARRIS: Hybrid Ranking and Regression Forests for Algorithm Selection
Paderborn University(帕德博恩大学);Leibniz University Hannover(汉诺威莱布尼茨大学)
众所周知,不同的算法在算法问题的实例上表现不同,这激发了算法选择(AS):给定算法问题的实例,哪种算法最适合解决它?因此,AS问题受到了相当大的关注,导致了各种方法-其中许多方法在引擎盖下解决回归或排名问题。虽然这两种公式都产生了非常自然的方法来解决AS,但它们都有相当大的弱点。一方面,正确地预测算法在实例上的性能是产生对算法的正确排名的充分条件,但不是必要条件,特别是首先排名最好的算法。另一方面,经典的排名方法通常不考虑训练数据中可用的具体性能值,而仅利用由这些数据组成的排名。我们提出哈里斯-混合rAnking和RegRessIon foreSts -一个新的算法选择器,利用特殊的森林,结合这两种方法的优势,同时减轻他们的弱点。哈里斯的决策是基于森林模型,其树是基于混合排名和回归损失函数优化的分裂创建的。正如我们对ASLib的初步实验研究所示,HARRIS在某些情况下改进了标准算法选择方法,这表明在树中结合排名和回归确实对AS有希望。
2022-10-31 cs.LG
Parallel Instance Filtering for Malware Detection
Czech Technical University in Prague(捷克布拉格技术大学)
机器学习算法广泛应用于恶意软件检测领域。随着样本量的增长,分类算法的训练变得越来越昂贵。此外,训练数据集可能包含冗余或噪声实例。要解决的问题是如何从大的训练数据集中选取代表性实例而不降低准确率。本文提出了一种新的并行实例选择算法--并行实例过滤算法(PIF)。该算法的主要思想是将数据集划分为覆盖整个数据集的不重叠的实例子集,并对每个子集应用过滤过程。每个子集由具有相同最近敌人的实例组成。因此,PIF算法是快速的,因为子集使用并行计算彼此独立地处理。我们比较了PIF算法与几个国家的最先进的实例选择算法的50万个恶意和良性样本的大数据集。该特征集是使用静态分析提取的,它包括来自可移植可执行文件格式的元数据。我们的实验结果表明,所提出的实例选择算法减少了训练数据集的大小显着与只有轻微的准确性下降。PIF算法在平均分类准确率和存储百分比之间的比率方面优于实验中使用的现有实例选择方法。
2022-06-28 cs.CR cs.LG
Identifying Easy Instances to Improve Efficiency of ML Pipelines for Algorithm-Selection
Edinburgh Napier University(爱丁堡龙比亚大学)
提出一种识别简单实例并用通用求解器快速求解的方法,节省特征计算预算并重新分配给困难问题,在BBOB数据集上显著提升算法选择性能。
2024-06-24 cs.LG cs.NE
Multipartite Ranking-Selection of Low-Dimensional Instances by Supervised Projection to High-Dimensional Space
Australian National University(澳大利亚国立大学);Commonwealth Scientific and Industrial Research Organisation(联邦科学与工业研究组织)
删除冗余或不相关的数据实例是模式识别每个成功解决方案的关键。在本文中,我们提出了一种新的排序选择框架的长度短,但高度相关的情况下。我们不是在低维实例空间中工作,而是学习到由所研究的数据集中的类数量所跨越的高维空间的监督投影。通过将标签的概念暴露给实例来施加更高的区别,让我们为每个单独的类部署一个与所有的排名,并通过对整体分数的自适应阈值来选择质量实例。为了证明我们的范例的效率,我们采用它的纹理理解的目的,这是一个很难识别的挑战,由于纹理像素的高相似性和低维度的颜色特征。我们的实验表明,在几个公开的数据集上,识别性能比其他本地描述符有相当大的提高。
2016-06-24 cs.CV cs.LG stat.ML
Expanding Data-Agnostic Pivotal Instances Selection Models with Proximity Trees and Ensemble Learning
该研究提出一种分层可解释关键实例选择模型,结合邻近树、斜树与集成学习扩展数据无关的模型,在多类型数据集上性能优于同类策略,实现了可解释性与预测效果的平衡。
2026-07-31 cs.AI cs.LG
Key Instance Selection for Unsupervised Video Object Segmentation
SK T-Brain(SK T-Brain研究院)
提出了一种基于视频显著性、覆盖对象性和动态性的无监督视频对象分割(UVOS)关键实例选择方法。我们的方法依次帧和提取对象的建议与相应的面具为每一帧。我们根据对象的相似性将它们链接到第M帧,然后为它们分配唯一的ID(即,实例)。相似性度量考虑了ReID描述符、预期轨迹和语义共分割结果等多个属性。在第M帧之后,我们基于视频显著性和出现频率选择K个ID;然后在剩余帧中仅跟踪这些关键ID。由于这些技术贡献,我们的结果在UVOS DAVIS挑战排行榜上排名第三。
2019-07-26 cs.CV cs.LG eess.IV
MSN: Efficient Online Mask Selection Network for Video Instance Segmentation
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在这项工作中,我们提出了一种新的解决方案,视频实例分割(VIS),即自动生成实例级分割掩模以及对象类和跟踪他们在视频中。我们的方法提高了掩模从分割和传播分支在一个在线的方式使用掩模选择网络(MSN),从而限制了噪声积累在掩模跟踪。我们提出了一个有效的设计MSN使用补丁为基础的卷积神经网络。该网络能够区分掩码之间非常细微的差异,并准确地从相关掩码中选择更好的掩码。此外,我们利用时间的一致性和处理的视频序列中的前向和反向的方式作为后处理步骤,以恢复丢失的对象。所提出的方法可以用来适应任何视频对象分割方法的任务VIS。我们的方法在2021 YouTube-VIS Challenge中取得49. 1 mAP的成绩,并在30多个全球团队中排名第三。我们的代码将在https://github.com/SHI-Labs/Mask-Selection-Networks上提供。
2021-06-19 cs.CV cs.LG
Deep Elastic Networks with Model Selection for Multi-Task Learning
Seoul National University(首尔大学);University of Oxford(牛津大学)
在这项工作中,我们考虑了多任务学习的实例动态网络模型选择问题。为此,我们提出了一种有效的方法来利用一个紧凑,但准确的模型在骨干架构的所有任务的每个实例。所提出的方法包括一个估计器和一个选择器。估计器是基于骨干架构和层次结构。它可以产生多个不同的网络模型的不同配置的层次结构。选择器从给定输入实例的候选模型池中动态选择模型。选择器是一个由几层组成的相对较小的网络,当给定任务的输入实例时,它估计候选模型的概率分布。估计器和选择器都在统一的学习框架中结合基于采样的学习策略进行联合训练,而无需额外的计算步骤。我们证明了几个图像分类任务相比,现有的方法进行模型选择或学习多个任务所提出的方法。实验结果表明,与其他竞争对手相比,我们的方法不仅具有出色的性能,而且具有执行多任务实例模型选择的通用性。
2019-09-11 cs.CV cs.LG
Cost-Efficient LLM Serving in the Cloud: VM Selection with KV Cache Offloading
Sogang University(西江大学);ETRI(韩国电子通信研究院)
针对云环境LLM推理的高GPU成本问题,提出InferSave框架,通过基于SLO和工作负载优化KV缓存卸载、CTCF校准性能差异来推荐低成本VM实例,实验显示在线场景成本效率提升73.7%,离线场景节省20.19%成本。
2025-04-16 cs.DC cs.LG
Unsupervised Instance Selection with Low-Label, Supervised Learning for Outlier Detection
Elder Research, Inc.(埃尔德研究公司)
标记数据的费力过程通常会阻碍旨在利用监督机器学习的能力的项目。主动学习(AL)已经建立了一种技术,以改善这种情况下,通过一个迭代的框架,查询人类注释的标签的实例与最不确定的类分配。通过这种机制,AL产生了一个二元分类器,该分类器在较少的标记数据上训练,但预测性能几乎没有损失。尽管AL具有优势,但它在处理类别不平衡的数据集时可能会遇到困难,并导致标记过程效率低下。为了解决这些缺点,我们研究了我们的无监督实例选择(UNISEL)技术,然后在低标签条件下对10个离群值检测数据集进行随机森林(RF)分类。将这些结果与在相同数据集上执行的AL进行比较。此外,我们调查的UNISEL和AL的组合。结果表明,UNISEL其次是RF执行与RF和UNISEL和AL的组合表现出优越的性能。这些调查结果的实际影响,在节省时间和普遍性UNISEL提供了讨论。
2022-03-17 cs.AI cs.LG
Instance Selection for GANs
University of Guelph(圭尔夫大学);Vector Institute(向量研究所);Facebook AI Research(Facebook人工智能研究院)
生成对抗网络(GANs)的最新进展使其被广泛采用,以生成高质量的合成图像。虽然能够生成照片般逼真的图像,但这些模型通常会产生不切实际的样本,这些样本落在数据流形之外。最近提出的几种技术试图避免虚假样本,或者通过在生成后拒绝它们,或者通过截断模型的潜在空间。虽然有效,但这些方法效率低下,因为大部分训练时间和模型容量都用于最终未使用的样本。在这项工作中,我们提出了一种新的方法来提高样本质量:在模型训练之前通过实例选择来改变训练数据集。通过在训练前优化经验数据分布,我们将模型容量重定向到高密度区域,最终提高了样本保真度,降低了模型容量要求,并显著缩短了训练时间。代码可在https://github.com/uoguelph-mlrg/instance_selection_for_gans上获得。
2020-10-23 cs.CV cs.LG stat.ML
Accelerating data-driven algorithm selection for combinatorial partitioning problems
UC Santa Cruz(加州大学圣克鲁兹分校);Stanford University(斯坦福大学)
本文提出了一种理论基础,用于数据驱动算法选择中的大小泛化,通过在较小样本上评估算法性能来预测大规模实例的表现,并验证了三种聚类算法和两种max-cut算法的泛化能力。
2025-12-03 cs.LG stat.ML
FastGAS: Fast Graph-based Annotation Selection for In-Context Learning
University of Virginia(弗吉尼亚大学)
本文提出 FastGAS,一种基于图划分和贪心选择的快速标注实例选择方法,用于在上下文学习中高效识别多样且具有代表性的实例,在提升性能的同时显著降低选择时间。
2024-06-06 cs.AI cs.LG
On-the-Fly Joint Feature Selection and Classification
University at Albany, SUNY(纽约州立大学奥尔巴尼分校)
联合特征选择和分类在线设置是至关重要的时间敏感的决策。然而,大多数现有的方法单独对待这个耦合问题。具体而言,在线特征选择方法可以离线处理流特征或数据实例,以产生用于分类的固定特征集,而在线分类方法使用关于特征空间的全部知识对传入实例进行分类。然而,所有现有的方法利用一组特征,共同的所有数据实例,分类。相反,我们提出了一个框架来执行联合特征选择和分类的飞行,以便最大限度地减少每个数据实例评估的特征数量,并最大限度地提高分类精度。我们推导出相关的优化问题的最优解,并分析其结构。基于最优解及其性质,提出了两种算法ETANA和F-ETANA。我们在几个公共数据集上评估了所提出的算法的性能,证明了(i)所提出的算法在最先进的技术水平上的优势,以及(ii)它对广泛的应用领域的适用性,包括临床研究和自然语言处理。
2020-04-21 cs.LG stat.ML
Active Selection of Classification Features
Utrecht University(乌得勒支大学);Ghent University(根特大学);imec(微电子中心);University Medical Center Utrecht(乌得勒支大学医学中心);UMCU Brain Center(乌得勒支大学医学中心脑中心)
一些数据分析应用程序包括数据集,其中解释变量的获取是昂贵或繁琐的,但辅助数据是现成的,可能有助于构建有洞察力的训练集。一个例子是对精神障碍的神经成像研究,特别是学习基于昂贵的磁共振成像(MRI)扫描得出的变量的诊断/预后模型,这通常需要大样本量。辅助数据,如人口统计学,可能有助于选择一个较小的样本,包括最具信息量的MRI扫描的个人。在主动学习文献中,这个问题还没有被研究,尽管有希望的结果,在相关的问题设置,涉及选择的实例或实例特征对。因此,我们制定了分类特征的主动选择(ASCF)的这个补充问题:给定一个主要任务,它需要学习模型f:x-> y来解释/预测获取变量x和类标签y之间的关系。然后,ASCF任务是使用一组现成的选择变量z来选择这些实例,这将在获取它们的昂贵特征z并将它们包括到主训练集中时最大程度地提高主任务的性能。我们提出了两种基于效用的方法来解决这个问题,并在三个公共的真实世界基准数据集上评估了它们的性能。此外,我们说明了使用这些方法来有效地获取MRI扫描的背景下,神经影像学研究精神疾病,基于模拟研究设计与真实的MRI数据。
2021-02-26 cs.LG
Nearly Instance Optimal Sample Complexity Bounds for Top-k Arm Selection
Tsinghua University(清华大学)
在最佳- $k$ -手臂问题中,我们给出了$n$随机强盗手臂,每个手臂与一个未知的奖励分布相关联。我们需要通过尽可能少的样本来识别具有最大平均值的$k$组。在本文中,我们取得了进展的最佳$k$ -手臂问题的实例样本复杂性界限的一个完整的表征。在下界方面,我们获得了一个新的复杂度项来度量每个Best- $k$ -Arm实例所需的样本复杂度。这是由最佳$1$ -手臂问题的一个有趣的和非平凡的减少。我们还提供了一个消除为基础的算法,匹配双对数因子内的实例下限。我们的算法的样本复杂度严格控制最佳- $k$ -臂(模块常数因子)的最新技术水平。
2017-02-13 cs.DS cs.LG stat.ML
A New Gene Selection Algorithm using Fuzzy-Rough Set Theory for Tumor Classification
School of Electrical and Computer Engineering, Shiraz University(设拉子大学电气与计算机工程学院);School of Information Management, Nanjing University(南京大学信息管理学院)
在统计学和机器学习中,特征选择是选择相关属性子集以用于预测模型的过程。最近,基于粗糙集的特征选择技术,利用特征依赖性来执行选择过程,已经引起了人们的注意。在生物信息学应用中,基于基因表达的肿瘤分类用于诊断疾病的适当治疗和预后。微阵列基因表达数据中含有多余的高维特征基因和较小的训练样本。由于在这样的高维问题中,基因表达实例的精确监督分类是非常复杂的,因此选择合适的基因是肿瘤分类的关键任务。在这项研究中,我们提出了一种新的技术,基因选择使用的模糊粗糙集的可扩展性矩阵。所提出的技术考虑了具有相同和不同类别标签的实例的相似性,以改善基因选择结果,而现有技术的先前方法仅解决具有不同类别标签的实例的相似性。为了满足这一要求,我们扩展了约翰逊减少技术的模糊情况下。实验结果表明,该技术提供了更好的效率相比,国家的最先进的方法。
2020-03-26 cs.LG stat.ML
Instance-Aware Algorithm Selection for Maximum Clique via a Dual-Channel Graph Neural Architecture
Department of Mathematics and Computer(数学与计算机系)
针对最大团问题(MCP)无单一算法普遍最优的挑战,提出基于传统机器学习和图神经网络的算法选择框架,构建基准数据集并开发GAT-MLP双通道模型,实现90.43%的最优求解器选择准确率。
2026-09-10 cs.AI cs.LG
Disentangling the Roles of Representation and Selection in Data Pruning
Utrecht University(乌得勒支大学)
本文将数据剪枝分解为数据表示与选择算法两部分,系统分析发现表示质量对实例选择起关键作用,且不同选择算法各有适用场景并可能与预期目标不一致。
2025-07-04 cs.CL cs.LG
Input Selection for Bandwidth-Limited Neural Network Inference
University of Copenhagen(哥本哈根大学);University of Münster(明斯特大学)
数据通常容纳在集中式存储服务器上。例如,在遥感和天文学领域,项目每年产生数PB的数据。虽然机器学习模型通常是在相对较小的数据子集上训练的,但推理阶段通常需要在服务器和客户端之间传输大量数据。在许多情况下,每个用户可用的带宽是有限的,这使得数据传输成为主要瓶颈之一。在这项工作中,我们提出了一个框架,自动选择一个给定的神经网络的输入数据的相关部分。同时训练模型以及相关联的选择掩码,使得在仅选择最少量的数据的同时实现良好的模型性能。在推理阶段,只有这些部分的数据必须在服务器和客户端之间传输。我们提出了独立于实例和依赖于实例的选择掩码。前一种方法对于所有要传输的实例都是相同的,而后一种方法允许每个实例的传输大小可变。我们的实验表明,通常可以显着减少需要传输的数据量,而不会对模型质量产生太大影响。
2022-01-19 cs.LG stat.ML
On the Influence of the Feature Computation Budget on Per-Instance Algorithm Selection for Black-Box Optimization
Centrum Wiskunde & Informatica(荷兰阿姆斯特丹数学与信息学中心);Sorbonne Université(索邦大学);CNRS(国家科学研究中心);LIP6(LIP6实验室)
研究黑箱优化中特征计算预算对逐实例算法选择性能的影响,发现即使花费25%预算计算特征,PIAS仍可行,且最优预算比例高度依赖场景。
2026-10-06 cs.LG cs.NE
Diverse Mini-Batch Selection in Reinforcement Learning for Efficient Chemical Exploration in de novo Drug Design
本文提出强化学习中的多样化小批量选择框架,通过在从头药物设计任务中增强化学探索的多样性,在保持高质量解的同时显著提升解的多样性,有望加速满足未被满足的医疗需求。
2025-11-07 cs.LG
Evaluating the Robustness of Deep-Learning Algorithm-Selection Models by Evolving Adversarial Instances
Edinburgh Napier University(爱丁堡龙比亚大学)
针对深度循环网络作为装箱领域算法选择器的鲁棒性未知问题,本研究用演化算法生成对抗扰动样本,发现最高56%的原始实例可被攻击,同时揭示了训练实例脆弱性及影响因素,还为鲁棒模型训练提供了新数据。
2024-06-24 cs.AI cs.LG cs.NE
Daleel: Simplifying Cloud Instance Selection Using Machine Learning
Lancaster University(兰卡斯特大学)
由于服务产品和定价模式的多样性,云环境中的决策非常具有挑战性,特别是考虑到云市场是一个令人难以置信的快速发展市场。此外,没有硬性规定,每个客户都有一组特定的约束条件(例如预算)和应用程序要求(例如最低计算资源)。机器学习可以通过执行特定于客户的分析来确定最合适的实例类型以及启动或迁移实例的最佳时间,从而帮助解决一些复杂的决策。我们采用机器学习技术来开发自适应部署策略,在客户需求和可用的云服务产品之间提供最佳匹配。我们提供了一个实验研究的基础上广泛的一套作业执行的主要公共云基础设施。
2016-02-05 cs.DC cs.LG cs.PF
RASP-QAOA: Resource-Aware Per-Instance Selection for Exact QAOA Simulation
National Yang Ming Chiao Tung University(阳明交通大学)
RASP-QAOA是针对n≤35、p≤5场景的资源感知实例级选择器,可提升精确QAOA模拟的选择准确率并降低遗憾值,性能优于开发选择的CUAOA。
2026-08-07 cs.ET cs.LG
A machine learning based algorithm selection method to solve the minimum cost flow problem
Technische Universität Kaiserslautern(凯泽斯劳滕工业大学);Comma Soft AG(Comma Soft股份公司)
最小费用流问题是网络优化问题中研究最多的问题之一,在许多应用中出现。对于这个问题存在一些有效的算法,它们以库或软件包的形式免费提供。值得注意的是,这些求解器中没有一个在所有情况下都优于其他求解方法。因此,问题是是否可以根据实例的特性为给定实例选择最快的算法。为此,我们训练几个机器学习分类器,以在给定的求解器集合中预测最快的。我们通过创建81,000个实例的代表性数据集并通过相关特征的向量来表征这些实例中的每一个来实现这一点。为了获得更好的性能,我们进行了网格搜索,以优化分类器的超参数。最后,我们通过准确性来评估不同的分类器。结果表明,基于树的模型似乎适应和利用的最小成本流问题的相关结构,特别是在大量的实例,预测最快的解决方案的准确性超过90%。
2022-10-03 cs.LG math.OC
A Comparison of Similarity Based Instance Selection Methods for Cross Project Defect Prediction
University of Oulu(奥卢大学);F-Secure(F-Secure公司);Monash University(莫纳什大学)
内容:以往的研究表明,基于最近邻信息的训练数据实例选择可以通过减少训练数据集的异质性来提高跨项目缺陷预测(CPDP)的性能。然而,邻域计算在计算上是昂贵的,并且近似方法(诸如局部敏感哈希(LSH))可以与精确方法一样有效。目的:我们的目的是比较CPDP的实例选择方法,即LSH,NN过滤器和遗传实例选择(GIS)。方法:我们进行了实验,5个基地的学习者,优化他们的超参数,从PROMISE存储库的13个数据集,以比较LSH的性能与基准实例选择方法NN过滤器和GIS。结果:统计检验显示六个不同的组的F-测量性能。顶部的两组仅包含LSH和GIS基准,而底部的两组仅包含NN过滤器变体。LSH和GIS更倾向于查全率而不是查准率。事实上,对于精度性能,测试仅检测到三个显著不同的组,其中顶部组仅由NN过滤器变体组成。回想一下,识别了16个不同的组,其中前三个组仅包含LSH方法,接下来的六个中的四个仅包含GIS,并且底部的五个仅包含NN过滤器。最后,NN过滤器基准测试永远不会优于具有相同基础学习器的LSH对应测试,无论是否调优。此外,它们甚至从来不属于同一个等级组,这意味着LSH总是明显优于具有相同学习器和设置的NN过滤器。结论:性能的提高和计算开销和运行时间的减少使LSH成为一种有前途的方法。然而,LSH的性能是基于高召回率的,并且在精度被认为更重要的环境中,应该考虑NN过滤器。
2021-04-02 cs.AI cs.LG cs.SE
Deep Learning as a Competitive Feature-Free Approach for Automated Algorithm Selection on the Traveling Salesperson Problem
University of Münster(明斯特大学);The University of Adelaide(阿德莱德大学)
在这项工作中,我们专注于著名的欧几里德旅行推销员问题(TSP)和两个高度竞争的不精确的启发式TSP求解器,EAX和LKH,在每实例算法选择(AS)的上下文中。我们进化了1,000个节点的实例,其中求解器显示出强烈不同的性能配置文件。这些实例作为一个探索性研究的基础上,识别良好的区分问题的特点(功能)。我们的结果概括如下:我们表明,即使(1)存在有希望的特征,(2)这些特征与文献中先前的结果一致,以及(3)用这些特征训练的模型比采用复杂的特征选择方法的模型更准确,但就惩罚平均运行时间而言,该优势并不接近虚拟最佳求解器,并且相对于单个最佳求解器的性能增益也是如此。然而,我们发现,一个无特征的深度神经网络为基础的方法完全基于视觉表示的实例已经匹配经典的AS模型的结果,从而显示出巨大的潜力,为未来的研究。
2020-06-29 cs.LG stat.ML
Automated Algorithm Selection: Survey and Perspectives
University of Münster(明斯特大学);Leiden University(莱顿大学);The University of Adelaide(阿德莱德大学)
长期以来,人们已经观察到,对于任何已经深入研究的计算问题,不同的实例使用不同的算法得到最佳解决。这对于计算困难的问题尤其明显,在大多数情况下,没有单一的算法定义最先进的技术;相反,有一组具有互补优势的算法。这种性能互补性可以以各种方式利用,其中之一是基于从一组给定算法中为每个待解决的问题实例选择预期表现最佳的算法的想法。从给定集合中自动选择算法的任务被称为逐实例算法选择问题,并且在过去的15年中得到了深入的研究,从而在解决越来越多的离散组合问题(包括命题可满足性和AI规划)方面取得了重大进展。每个实例的算法选择也显示出很大的承诺,提高性能,在解决连续和混合离散/连续优化问题。这项调查提供了一个概述的自动算法选择的研究,从早期和开创性的工作,最近和有前途的应用领域。与早期的工作不同,它涵盖了离散和连续问题的应用,并讨论了算法选择的背景下,概念上相关的方法,如算法配置,调度或投资组合选择。由于信息和廉价计算的问题实例功能提供了有效的每实例算法选择系统的基础上,我们还提供了一个概述,这些功能的离散和连续的问题。最后,我们提供了在该领域的未来工作的观点,并讨论了一些开放的研究挑战。
2018-11-28 cs.AI cs.LG stat.ML
Probabilistic Value Selection for Space Efficient Model
Living Analytics Research Centre(生活分析研究中心);Singapore Management University(新加坡管理大学);National Chiao Tung University(台湾交通大学)
提出了一种替代当前主流预处理方法的方法:值选择(VS)。与现有的方法不同,例如删除特征的特征选择和消除实例的实例选择,值选择消除数据集中的值(相对于每个特征),有两个目的:减少模型大小和保持其准确性。提出了两种基于信息论度量的概率方法:PVS和P + VS。这些结果与现有的预处理方法,如特征选择,特征变换,和实例选择方法进行了比较。实验结果表明,该方法能够在精度和模型规模缩减之间取得平衡.
2020-07-09 cs.IT cs.LG math.IT