Gene selection for cancer classification using a hybrid of univariate and multivariate feature selection methods
Institute of Molecular and Cell Biology(分子与细胞生物学研究所);National University of Singapore(新加坡国立大学)
基于微阵列数据的癌症分类基因选择的各种方法可以在文献中找到,并且它们可以分为两类:单变量方法和多变量方法。单变量方法将数据中的每个基因与其他基因隔离开来。他们测量特定基因对分类的贡献,而不考虑其他基因的存在。相比之下,多变量方法通过考虑数据中的其他基因来测量基因对分类的相对贡献。多变量方法通常选择较少的基因。然而,多变量方法的选择过程可能对不相关基因、表达中的噪声和训练数据中的离群值的存在敏感。同时,多变量方法的计算成本很高。为了克服这两种方法的缺点,我们提出了一种混合的方法来获得基因集是小的和高度区分。我们设计我们的混合方法从单变量最大似然法(LIK)和多变量递归特征消除方法(RFE)。我们分析了这些方法的特性,并系统地测试了我们提出的方法在两个癌症微阵列数据集上的有效性。我们在白血病数据集和一个小的圆形蓝细胞肿瘤数据集上的实验证明了我们的混合方法的有效性。它能够发现由比文献中报道的更少的基因组成的集合,同时实现相同或更好的预测精度。
2015-06-05 cs.CE cs.LG q-bio.QM
Improving Multivariate Time Series Classification with Class-Wise Training and Model Aggregation
Univ. Artois(阿图瓦大学)
本文提出类别维度选择框架,为每个类别独立识别信息维度并训练模型后聚合,以提高多变量时间序列分类的判别性和鲁棒性,实验验证其在高维场景下有效。
2026-09-09 cs.LG
Continuous Bayesian Model Selection for Multivariate Causal Discovery
Department of Computing, Imperial College London, London, UK(帝国理工学院计算机系);Department of Computer Science, University of Oxford, Oxford, UK(牛津大学计算机科学系)
本文提出一种基于连续松弛和贝叶斯非参数模型的多元因果发现算法,通过优化边际似然与无环正则化获得因果图,在无需不可行假设下展现竞争力。
2025-06-24 cs.LG stat.ML
Data-level hybrid strategy selection for disk fault prediction model based on multivariate GAN
针对磁盘SMART数据类别不平衡问题,提出用多元GAN合成数据并在数据级混合,结合遗传算法为特定分类模型选择最佳平衡数据集,提升磁盘故障分类预测精度。
2023-10-10 cs.LG stat.ML
Feature Selection for Microarray Gene Expression Data using Simulated Annealing guided by the Multivariate Joint Entropy
Universidad Autónoma de Baja California(下加利福尼亚自治大学);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文提出了一种计算多元联合熵的新方法。该测量是在微阵列基因表达数据背景下基于信息论的基因相关性快速评估的基础。它的低复杂度是基于重用以前的计算来计算当前的特征相关性。mu-TAFS算法--这样命名是为了区别于以前的TAFS算法--实现了一种专门为特征子集选择设计的模拟退火技术。该算法被应用到最大化的基因子集的相关性在几个公共领域的微阵列数据集。实验结果表明,一个众所周知的高分类性能和低大小的子集形成的生物意义的基因。
2013-02-07 cs.CE cs.LG q-bio.QM
Feature Selection for Multivariate Time Series via Network Pruning
Dartmouth College(达特茅斯学院)
近年来,在各种领域中,多变量时间序列(MTS)数据的数量不断增加,通常由诸如可穿戴设备之类的大系列传感器生成。这导致了MTS数据的新学习方法的发展,其中深度学习模型主导了最新的进展。先前的文献主要集中在设计新的网络架构,用于在MTS中建模时间依赖性。然而,较少研究的挑战与MTS数据的高维性相关。在本文中,我们提出了一种新的神经组件,即神经特征选择(NFS),作为MTS数据中特征选择的端到端解决方案。具体而言,NFS基于分解卷积设计,包括两个模块:首先MTS内的每个特征流(对应于MTS的单变量序列的流)由时间CNN独立处理;然后聚合CNN组合处理后的流以产生用于其他下游网络的输入。我们在四个真实世界的MTS数据集上评估了所提出的NFS模型,发现它在提供特征选择的好处的同时,实现了与最先进的方法相当的结果。我们的论文还强调了与使用最近的基于自动编码器的方法相比,NFS的特征选择的鲁棒性和有效性。
2021-10-21 cs.AI cs.LG
Multivariate Feature Selection and Autoencoder Embeddings of Ovarian Cancer Clinical and Genetic Data
Universidad Rey Juan Carlos(胡安卡洛斯国王大学);Hospital HM Sanchinarro(HM Sanchinarro医院);Fundación Investigación HM Hospitales(HM医院研究基金会)
本研究结合自编码器与信息变量标识符(IVI)方法,分析卵巢癌临床与基因数据,发现手术类型、新辅助化疗及特定基因突变与疾病进展高度相关,为患者分层和个性化治疗提供了新生物标志物潜力。
2025-01-27 cs.LG
Understanding a Version of Multivariate Symmetric Uncertainty to assist in Feature Selection
Polytechnic School, National University of Asunción(亚松森国立大学理工学院);Universidad Pablo de Olavide(巴勃罗·德·奥拉维德大学)
本文通过统计模拟分析多变量对称不确定性(MSU)在混合特征下的行为,发现属性数、基数和样本大小影响MSU,并提出保持其高质量的条件,为降维提供新准则。
2017-09-25 cs.IT cs.LG math.IT
Graph Neural Networks with Diversity-aware Neighbor Selection and Dynamic Multi-scale Fusion for Multivariate Time Series Forecasting
University of Southern California(南加州大学);New York University(纽约大学)
针对GNN多元时间序列预测中邻居信息冗余和单一时间尺度表示的问题,提出DIMIGNN,通过DNSM选择兼顾相似性与多样性的邻居,并利用DMFM动态融合多尺度预测,实验证明其性能持续优于已有方法。
2025-09-28 cs.AI cs.LG
Multivariate, Multistep Forecasting, Reconstruction and Feature Selection of Ocean Waves via Recurrent and Sequence-to-Sequence Networks
Lehigh University(利哈伊大学)
本文探讨了海浪多变量多步预报、重构和特征选择的概念。我们介绍了递归神经网络框架,集成了贝叶斯超参数优化和弹性网络方法。我们认为短期和长期的预测和重建,显着的波高和输出功率的海浪。序列到序列神经网络正在开发的第一次重建丢失的海浪特征的基础上,从附近的波浪传感器的信息。我们的研究结果表明,亚当和AMSGrad优化算法是最强大的优化序列到序列网络。对于显着的波高重建的情况下,我们比较了所提出的方法与替代品上的一个良好的研究数据集。我们显示了所提出的方法的优越性,考虑到几个错误的度量。我们设计了一个新的案例研究的基础上沿美国东海岸的测量站和调查的特征选择的概念。比较证实了利用弹性网络的好处。此外,案例研究结果表明,当功能的数量是相当大的,有更深的结构提高了性能。
2020-03-02 cs.LG physics.ao-ph stat.ML
Variable Selection Methods for Multivariate, Functional, and Complex Biomedical Data in the AI Age
Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学);Harvard University(哈佛大学)
本研究针对AI时代生物医学复杂数据分析需求,提出基于最优子集选择的通用变量选择框架,适用于多类回归模型与响应数据,在准确率和速度上显著优于前沿方法,为临床相关领域研究提供支撑。
2025-01-12 cs.LG stat.AP stat.ME
ReLATE: Resilient Learner Selection for Multivariate Time-Series Classification Against Adversarial Attacks
San Diego State University(圣地亚哥州立大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
ReLATE 框架通过数据集相似性选择最优鲁棒模型,在对抗攻击下平均降低 81.2% 计算开销,性能保持在 Oracle 的 4.2% 以内。
2025-03-10 cs.CR cs.LG
The Gram-Charlier A Series based Extended Rule-of-Thumb for Bandwidth Selection in Univariate and Multivariate Kernel Density Estimations
Dhirubhai Ambani Institute of Technology (DAIICT)(迪鲁巴伊·安巴尼信息技术学院)
本文推导了一种新的基于Gram-Charlier A(GCA)级数的扩展经验法则(ExROT)用于核密度估计(KDE)中的带宽选择。现有的各种带宽选择规则实现估计的概率密度函数(PDF)和实际PDF之间的渐近平均积分平方误差(AMISE)最小化。这些规则在估计未知PDF $(f(\cdot))$的平方二阶导数的积分方面有所不同,该未知PDF $(f(\cdot))$被标识为粗糙度$R(f''(\cdot))$。最简单的经验法则(ROT)估计$R(f''(\cdot))$时假设所估计的密度是高斯的。直观地,如果通过基于更广义的密度假设的无穷级数展开来近似未知PDF,则可以导出对$R(f''(\cdot))$的更好的估计以及因此更好的带宽选择规则。作为对这一概念的论证和验证,本文中导出的ExROT使用了一个扩展的假设,即所估计的密度接近高斯。这有助于使用GCA展开作为对未知的近高斯PDF的近似。将单变量KDE的ExROT扩展到多变量KDE。所需的多变量AMISE标准是重新推导出使用初等微积分的几个变量,而不是张量演算。推导过程使用Kronecker积和向量微分算子来实现向量符号的AMISE表达式。还导出了基于核的密度导数估计的ExROT。
2015-04-03 cs.LG stat.CO stat.ME
Multivariate feature ranking of gene expression data
University of Murcia(穆尔西亚大学)
基因表达数据集通常是高维的,因此需要高效和有效的方法来识别其属性的相对重要性。由于可能解的搜索空间巨大,属性子集评价特征选择方法往往不适用,因此在这些场景中使用特征排序方法。文献中描述的大多数特征排序方法都是单变量方法,因此它们不能检测因素之间的相互作用。在本文中,我们提出了两个新的多变量特征排序方法的基础上成对相关性和成对一致性,我们已经应用在三个基因表达分类问题。我们统计证明,所提出的方法优于最先进的特征排序方法聚类变异,卡方,相关性,信息增益,ReliefF和重要性,以及特征选择方法的属性子集评价的基础上的相关性和一致性与多目标进化搜索策略。
2022-06-09 cs.AI cs.LG
PHEATPRUNER: Interpretable Data-centric Feature Selection for Multivariate Time Series Classification through Persistent Homology
Osnabrück University, Joint Lab Artificial Intelligence & Data Science(奥斯纳布鲁克大学,人工智能与数据科学联合实验室);Osnabrück University, Institute of Mathematics(奥斯纳布鲁克大学,数学学院);Osnabrück University, Semantic Information Systems Group(奥斯纳布鲁克大学,语义信息系统组);German Research Center for Artificial Intelligence (DFKI), Research Department Plan-Based Robot Control(德国人工智能研究中心(DFKI),计划型机器人控制研究部);Leibniz Institute for Agricultural Engineering and Bioeconomy (ATB), Department of Sensors and Modelling(莱比锡农业工程与生物经济研究所(ATB),传感器与建模部门)
PHeatPruner结合持续同调与层论,在保持模型精度的同时剪除多达45%的变量,实现多变量时间序列分类的可解释特征选择。
2025-04-25 cs.AI cs.LG
Feature Selection on a Flare Forecasting Testbed: A Comparative Study of 24 Methods
Georgia State University(乔治亚州立大学)
太阳耀斑的空间天气分析(SWAN-SF)是一个多变量的时间序列基准数据集,最近创建的服务于太阳物理学界作为一个测试平台的太阳耀斑预测模型。SWAN-SF包含54个独特的功能,与24个定量功能计算的光球磁场地图的活动区,描述他们以前的耀斑活动。在这项研究中,我们第一次系统地解决了量化这些特征与耀斑预测这一雄心勃勃的任务的相关性的问题。我们为预处理、特征选择和评估阶段实现了一个端到端的流水线。我们采用了24个特征子集选择(FSS)算法,包括多变量和单变量,监督和无监督,包装器和过滤器。我们在方法上比较了不同的FSS算法的结果,无论是在多变量时间序列和矢量化格式,并测试其相关性和可靠性,在可能的范围内,通过使用选定的功能耀斑预测看不见的数据,在单变量和多变量的方式。我们总结了我们的调查报告的最佳FSS方法在其top-k功能,并分析的结果。我们希望我们研究的可重复性和数据的可用性能够使未来的尝试与我们的发现和它们本身相比较。
2021-09-30 astro-ph.IM astro-ph.SR cs.LG
Multivariate Time-series Anomaly Detection via Dynamic Model Pool & Ensembling
College of Computer Science and Technology(计算机科学与技术学院);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文提出DMPEAD框架,通过动态模型池与集成方法提升多变量时间序列异常检测的适应性和可扩展性。
2026-01-05 cs.DB cs.LG
MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning
The University of Texas at Dallas(德克萨斯大学达拉斯分校);IBM Research(IBM研究院)
提出模型无关子集选择框架MILO,通过预处理子集选择与从易到难课程式学习,在不损害性能前提下,将模型训练提速3-10倍,超参数调优提速20-75倍。
2023-06-16 cs.AI cs.LG
Anomaly Attribution of Multivariate Time Series using Counterfactual Reasoning
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学);Michael Stifel Center Jena for Data-Driven and Simulation Science(耶拿米夏埃尔·施蒂费尔数据驱动与仿真科学中心);German Aerospace Center (DLR), Institute for Data Science(德国航空航天中心数据科学研究所)
有许多方法可以检测时间序列中的异常,但这只是理解它们的第一步。我们努力通过解释这些异常来超越这一点。因此,我们开发了一个新的归因计划,多变量时间序列依赖于反事实推理。我们的目标是回答反事实的问题,如果所涉及的变量的子集已经更类似地分布到异常区间以外的数据,会发生异常事件。具体来说,我们使用最大发散区间(MDI)算法检测异常区间,用检测到的区间内的分布值替换变量子集,并通过使用MDI重新评分来观察区间是否变得不那么异常。我们在多变量时间和时空数据上评估了我们的方法,并确认了我们对多个众所周知的极端气候事件(如热浪和飓风)的异常归因的准确性。
2021-09-14 cs.CV cs.LG stat.ML
Subset selection in sparse matrices
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Georgia Institute of Technology(佐治亚理工学院);ETH Zürich(苏黎世联邦理工学院)
在子集选择中,我们搜索涉及一小部分变量的最佳线性预测器。从计算复杂性的角度来看,子集选择是NP难的,并且已知很少有类可以在多项式时间内求解。主要使用离散几何的工具,我们表明,原始数据矩阵的一些稀疏性条件,使我们能够在多项式时间内解决这个问题。
2020-02-06 cs.CC cs.LG math.OC
Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression
Xi’an Jiaotong University(西安交通大学);State Key Laboratory of Management and Control for Complex Systems(复杂系统管理与控制国家重点实验室)
给定$m$ $d$ -维响应变量和$n$ $d$ -维预测变量,稀疏回归为线性近似$1\leq k \leq d-1$的每个响应变量找到最多$k$预测变量.稀疏回归中的关键问题是子集选择,这通常具有很高的计算代价。近年来,提出了许多改进的近似子集选择方法。然而,非近似的子集选择方法却很少受到关注,而这对于数据分析中的许多问题是非常必要的。本文从相关性的角度考虑稀疏回归问题,给出了条件不相关性的计算公式。在此基础上,提出了一种有效的非近似子集选择方法,该方法不需要计算回归方程中的任何系数。通过该方法,稀疏回归中每个候选子集的计算复杂性从$O(\frac{1}{6}{k^3}+mk^2+mkd)$降低到$O(\frac{1}{6}{k^3}+\frac{1}{2}mk^2)$。由于维数$d$一般为观测或实验的个数且足够大,因此该方法可以大大提高非近似子集选择的效率。
2020-11-24 cs.LG stat.ML
One-pass additive-error subset selection for $\ell_{p}$ subspace approximation
Microsoft Research(微软研究院);Indian Institute of Technology(印度理工学院)
我们认为,$\ell_{p}$子空间近似的子集选择的问题,也就是说,有效地找到一个\emph{small}子集的数据点,使解决这个问题的最佳子集给出了一个很好的近似解决问题的最佳原始输入。对于$p \in [1, \infty)$的一般情况,先前已知的基于体积采样和自适应采样的子集选择算法\cite{DeshpandeV07}需要多次通过数据。本文对任意$p \in [1, \infty)$,给出了一个$\ell_{p}$子空间逼近的具有加法逼近保证的一遍子集选择。早期的子集选择算法,给出了一个一遍乘法$(1+ε)$近似工作在特殊情况下。Cohen的\textit{et al.} \cite{CohenMM17}给出了一个一遍子集部分,为$\ell_{2}$子空间近似的特殊情况提供了乘法$(1+ε)$近似保证。Mahabadi \textit{et al.} \cite{MahabadiRWZ20}给出了一个一遍\emph{noisy}子集选择,当$p \in \{1, 2\}$时,$\ell_{p}$子空间近似具有$(1+ε)$近似保证。我们的子集选择算法给出了较弱的加法近似保证,但它适用于任何$p \in [1, \infty)$。
2022-04-26 cs.CG cs.LG stat.ML
A Fast Greedy Algorithm for Generalized Column Subset Selection
University of Waterloo(滑铁卢大学)
本文定义了一个广义列子集选择问题,它涉及从源矩阵A中选择最接近目标矩阵B的跨度的列。然后,本文提出了一种快速的贪心算法来解决这个问题,并绘制连接到不同的问题,可以有效地解决使用所提出的算法。
2013-12-24 cs.DS cs.LG stat.ML
WATTNet: Learning to Trade FX via Hierarchical Spatio-Temporal Representation of Highly Multivariate Time Series
Neuri Pte Ltd(Neuri私人有限公司);KAIST(韩国科学技术院)
由于低信噪比、非平稳性和部分可观测性,金融是深度学习模型的一个特别具有挑战性的应用领域。无本金交割远期(NDF)是一种用于外汇(FX)交易的衍生品合约,在有效选择合约的开始和结束日期所需的长期规划方面存在额外的困难。在这项工作中,我们专注于解决NDF的男高音选择的问题,利用高维序列数据组成的即期汇率,技术指标和专家男高音模式。为此,我们从存托信托和清算公司(DTCC)的NDF数据构建了一个数据集,其中包括64个外汇对的NDF交易量和每日即期汇率的综合列表。我们引入WaveATTentionNet(WATTNet),一种新的时间卷积(TCN)模型,用于高度多变量时间序列的时空建模,并在NDF市场中验证它,在波动性和一般市场制度方面,训练和测试期间之间存在不同程度的差异。所提出的方法实现了显着的正投资回报率(ROI)在所有NDF市场的分析,表现优于经常性和经典的基线由一个很大的利润。最后,我们提出了两个正交的可解释性方法来验证噪声稳定性和检测学习男高音选择策略的驱动因素。
2019-09-24 cs.LG q-fin.ST stat.ML
Confidence Interval Construction for Multivariate time series using Long Short Term Memory Network
IIT Guwahati(印度理工学院古瓦哈蒂分校)
在本文中,我们提出了一个新的程序来构建一个置信区间的多元时间序列预测使用长短期记忆网络。该构造使用了一些新颖的块自举技术。我们还提出了一个创新的块长度选择程序,这些计划。两个新的基准帮助我们比较不同的自举技术的置信区间的建设。我们通过S\&P $500$和道琼斯指数数据集说明了整个结构。
2022-11-25 cs.LG q-fin.CP stat.CO
Bayesian subset selection and variable importance for interpretable prediction and classification
Rice University(莱斯大学);Department of Statistics(统计系)
子集选择是可解释学习、科学发现和数据压缩的重要工具。然而,由于选择不稳定,缺乏正则化,以及选择后推理的困难,经典的子集选择通常被避免。我们从贝叶斯的角度来解决这些挑战。给定任何贝叶斯预测模型$\mathcal{M}$,我们提取一系列接近最优的变量子集进行线性预测或分类。这种策略不再强调单一“最佳”子集的作用,而是提出了更广泛的观点,即许多子集往往具有高度竞争力。可接受的子集族为模型解释提供了一种新的途径,并通过关键成员(如最小可接受子集)以及基于变量(共同)是否出现在所有、一些或没有可接受子集中的新(共同)变量重要性度量进行了简洁的总结。更广泛地说,我们应用贝叶斯决策分析来获得任何变量子集的最佳线性系数。这些系数通过$\mathcal{M}$继承正则化和预测不确定性量化。对于模拟和真实数据,所提出的方法表现出更好的预测,区间估计,变量选择比竞争贝叶斯和频率选择方法。这些工具应用于具有高度相关协变量的大型教育数据集。我们的分析为预测教育成果的环境,社会经济和人口因素的组合提供了独特的见解,并确定了200多个不同的变量子集,这些变量提供了接近最佳的样本外预测准确性。
2022-02-16 cs.LG stat.AP stat.CO
Machine Learning meets Stochastic Geometry: Determinantal Subset Selection for Wireless Networks
Virginia Tech(弗吉尼亚理工学院)
在无线网络中,许多问题可以被公式化为子集选择问题,其中目标是从基集合中选择子集,目标是最大化某个目标函数。这些问题通常是NP难的,因此通过精心构造的算法来解决,这些算法本身大多是NP完全的,因此不容易适用于大型网络。另一方面,子集选择问题发生在机器学习(ML)中略有不同的上下文中,其目标是从基础集合中选择高质量但不同的项目的子集。在本文中,我们介绍了一种新的基于DPP的学习(DPPL)框架,有效地解决无线网络中的子集选择问题。DPPL旨在通过学习由优化例程选择的最优子集中的质量-多样性权衡来取代用于子集选择的传统优化算法。作为一个案例研究,我们应用DPPL的无线链路调度问题,其中的目标是确定的子集,同时活跃的链路,最大限度地提高全网络的总和率。我们表明,建议DPPL方法的最优解显着降低计算复杂性比流行的优化算法用于这个问题在文献中。
2019-05-01 cs.IT cs.LG cs.NI
On Subspace Approximation and Subset Selection in Fewer Passes by MCMC Sampling
Microsoft Research(微软研究院);IIT Mandi(曼迪印度理工学院)
我们考虑$\ell_{p}$子空间逼近的子集选择问题,即,给定$d$维中的$n$点,我们需要挑选给定点的一个小的代表性子集,使得其跨度给出最佳$k$维子空间的$(1+ε)$近似,该最佳$k$维子空间最小化所有点到该子空间的距离的$p$次幂之和。基于采样的子集选择技术需要在数据上多次通过的自适应采样迭代。矩阵草绘技术为$\ell_{p}$子空间近似提供了单通道$(1+ε)$近似,但需要额外的通道进行子集选择。在这项工作中,我们提出了一个MCMC算法,以减少以往的子集选择算法的基础上,自适应采样所需的通过次数。对于$p=2$,我们的算法给出了子集选择的接近最佳的大小,只有$2$通过,而在以前的工作中所需的通过数取决于$k$。我们的算法挑选一个子集的大小$\mathrm{poly}(k/ε)$,使$(1+ε)$近似的最佳子空间。该算法的运行时间为$nd + d~\mathrm{poly}(k/ε)$。我们将我们的结果扩展到数据集中存在离群值的情况,并提出了一个两遍算法。我们的想法也扩展到给减少通过自适应采样算法所需的$\ell_{p}$子空间近似和子集选择,$p \geq 2$。
2021-03-20 cs.CG cs.LG math.SP
Learning From Less Data: Diversified Subset Selection and Active Learning in Image Classification Tasks
IIT Bombay(印度理工学院孟买分校);AITOE Labs(AITOE实验室)
基于受监督的机器学习的最先进的计算机视觉技术通常是数据饥渴的,并且提出了没有足够的计算资源和人类标记工作中涉及的高成本的挑战。训练数据子集选择和主动学习技术已分别被提出作为这些挑战的可能解决方案。一类特殊的子集选择函数自然地对多样性、覆盖和表示的概念进行建模,并且它们可以用于消除冗余,从而很好地适用于训练数据子集选择。它们还可以通过选择使用传统的基于不确定性采样的技术获得的示例的子集来帮助提高主动学习的效率,从而进一步减少人类标记工作。在这项工作中,我们经验证明了两个多样性模型的有效性,即设施位置和差异最小模型的训练数据子集选择和减少标记工作。我们这样做的各种计算机视觉任务,包括性别识别,场景识别和对象识别。我们的研究结果表明,以正确的方式进行子集选择可以在现有基线上增加2-3%的精度,特别是在训练数据较少的情况下。这允许用更少的训练数据训练复杂的机器学习模型(如卷积神经网络),同时将性能损失降至最低。
2018-05-28 cs.CV cs.LG stat.ML
Supervised Multivariate Learning with Simultaneous Feature Auto-grouping and Dimension Reduction
Florida State University(佛罗里达州立大学);Peking University(北京大学)
现代高维方法通常采用“赌稀疏性”原则,而在监督多元学习中,统计学家可能面临大量非零系数的“密集”问题。本文提出了一种新的聚类降秩学习(CRL)框架,该框架采用两个联合矩阵正则化来自动分组构建预测因子的特征。CRL比低秩建模更易于解释,并且放松了变量选择中严格的稀疏性假设。在本文中,新的信息理论的限制,揭示了寻求集群的内在成本,以及从多维学习的祝福。此外,一个有效的优化算法,它执行子空间学习和聚类保证收敛。所得到的固定点估计,虽然不一定是全局最优的,享受所需的统计精度超出了标准的似然设置在某些正则条件。此外,一种新的信息准则,以及它的无标度形式,提出了聚类和秩选择,并有严格的理论支持,而无需假设无限的样本量。大量的仿真和真实数据实验证明了所提出的方法的统计精度和可解释性。
2022-02-09 cs.LG math.ST stat.ME
Selection of training populations (and other subset selection problems) with an accelerated genetic algorithm (STPGA: An R-package for selection of training populations with a genetic algorithm)
Michigan State University(密歇根州立大学)
最优子集选择是一个重要的任务,有许多算法为它设计,并有许多应用领域。STPGA包含一种特殊的遗传算法,该算法补充了禁忌记忆属性(跟踪先前尝试的解决方案及其多次迭代的适应度),并对解决方案编码的适应度进行回归,用于形成理想的估计解决方案(前瞻性),以搜索通用最优子集选择问题的解决方案。我已经初步开发了用于选择基因组预测或关联问题的训练群体的特定问题的程序,因此我讨论了最优实验设计背后的理论,以解释STPGA中的默认优化标准,并说明程序在这方面的用途。尽管如此,我还是选择了一些其他的应用领域:基于核比对的监督和非监督变量选择,有设计标准的监督变量选择,回归的有影响力的观察识别,解决混合整数二次优化问题,平衡育种群体中的增益和近亲繁殖。其中一些说明涉及新的统计方法。
2017-02-26 cs.LG q-bio.GN q-bio.QM
A Consistent and Scalable Algorithm for Best Subset Selection in Single Index Models
University of Science and Technology of China(中国科学技术大学);Sun Yat-Sen University(孙中山大学);National University of Singapore(新加坡国立大学);Yale University(耶鲁大学)
本文针对高维单指标模型中最佳子集选择的计算难处理性问题,提出一种可证明可扩展的算法,通过广义信息准则自动确定支撑集大小,并直接证明了子集选择一致性和oracle性质,仿真显示其计算高效且能精确恢复最佳子集。
2025-08-17 cs.LG stat.CO stat.ME
A Bayesian Approach to Low-Discrepancy Subset Selection
本文提出了一种基于贝叶斯优化的子集选择方法,证明了针对核偏差的子集选择问题为NP难,并展示了该方法在最小化偏差度量方面的有效性。
2026-02-16 cs.LG cs.NA math.NA