Feature Selection: A Data Perspective
Arizona State University（亚利桑那州立大学）；Michigan State University（密歇根州立大学）
特征选择作为一种数据预处理策略，在为各种数据采掘和机器学习问题准备数据（尤其是高维数据）方面已被证明是有效和高效的。特征选择的目标包括：建立更简单和更容易理解的模型，提高数据采掘性能，并准备干净，可理解的数据。最近大数据的激增给特征选择带来了一些实质性的挑战和机遇。在这次调查中，我们提供了一个全面的和结构化的概述特征选择研究的最新进展。基于当前大数据时代的挑战和机遇，本文从数据的角度回顾了特征选择研究，并对传统数据、结构化数据、异构数据和流数据的典型特征选择算法进行了综述。在方法论上，为了强调传统数据的大多数现有特征选择算法的差异和相似性，我们将它们分为四个主要组：基于相似性的方法，基于信息理论的方法，基于稀疏学习的方法和基于统计的方法。为了方便和促进在这个社区的研究，我们还提出了一个开源的特征选择库，其中包括大多数流行的特征选择算法（\url{http://featureselection.asu.edu/}）。此外，我们用它作为一个例子来说明如何评估特征选择算法。在调查的最后，我们提出了一些开放的问题和挑战，需要更多的关注在未来的研究进行了讨论。
2018-08-26 cs.LG
MOANOFS: Multi-Objective Automated Negotiation based Online Feature Selection System for Big Data Classification
REsearch Groups in Intelligent Machines（智能机器研究组）；University of Sfax（斯法克斯大学）；ENIS（斯法克斯国立工程师学院）
特征选择在学习和分类任务中起着重要的作用。FS的目的是选择相关的和非冗余的功能。由于实际应用中特征数量巨大，采用批量学习技术的FS方法无法解决大数据问题，特别是当数据顺序到达时。在本文中，我们提出了一个在线特征选择系统，解决了这个问题。更具体地说，我们把在线监督的二进制分类的特征选择的问题作为一个决策问题。这个问题的哲学视野导致两个重要领域之间的杂交：特征选择使用在线学习技术（OFS）和自动协商（AN）。提出的OFS系统称为MOANOFS（多目标自动协商基于在线特征选择）使用两个层次的决策。在第一级中，从n个学习者（或OFS方法）中，我们决定哪些是k个可信的学习者（具有高置信度或信任值）。这些选出的k学习者将参加第二级。在这个层次上，我们整合我们提出的多边自动协商的OFS（MANOFS）方法，以决定最终哪个是最好的解决方案或相关功能。我们表明，MOANOFS系统是适用于不同的领域成功地实现了高精度与几个现实世界的应用。索引术语：特征选择、在线学习、多目标自动协商、信任、分类、大数据。
2019-06-18 cs.AI cs.CV cs.LG
Big Models for Big Data using Multi objective averaged one dependence estimators
Utkal University（乌特卡尔大学）
尽管许多研究者试图探索多目标特征选择的各种可能性，但在数据采掘的应用中，它仍然有待于充分发挥其能力，而不是去开发新的应用。本文采用多目标进化算法ENORA对多类分类问题进行特征选择。为了获得一个快速的混合分类器，该分类器可以有效地从大数据中学习，将朴素贝叶斯算法的一种变体--平均n依赖估计量（n=1）与ENORA算法的有效特征选择相融合。该方法旨在解决从完整数据中寻找最优特征子集这一目前仍是一个难题。所获得的分类器的有效性进行了广泛的评估与一系列最流行的21个现实世界的数据集，从小到大。所获得的结果是令人鼓舞的时间，均方根误差，零一损失和分类精度。
2016-10-25 cs.LG cs.NE
Feature Selection with Annealing for Computer Vision and Big Data Learning
Florida State University（佛罗里达州立大学）
许多计算机视觉和医学成像问题都面临着从大规模数据集中学习的问题，这些数据集包含数百万个观察和特征。在本文中，我们提出了一种新的有效的学习计划，收紧稀疏性约束逐步删除变量的基础上的标准和时间表。在整个迭代过程中，问题大小不断下降，这一有吸引力的事实使其特别适合大数据学习。我们的方法一般适用于任何可微损失函数的优化，并发现在回归，分类和排名的应用。由此产生的算法建立变量筛选到估计，是非常简单的实现。我们提供了理论保证的收敛性和选择的一致性。此外，一维分段线性响应函数被用来考虑非线性和二阶先验施加在这些功能，以避免过拟合。在真实数据和合成数据上的实验表明，该方法在回归、分类和排序等方面与其他方法相比具有很好的性能，同时计算效率高，可扩展性好。
2016-03-17 cs.CV cs.LG math.ST
Online Unsupervised Multi-view Feature Selection
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Shenzhen University（深圳大学）；Institute for Data Science, Tsinghua University（清华大学数据科学研究院）
在大数据时代，具有多种形式或来自多个来源的数据变得越来越普遍，称为“多视图数据”。多视图数据通常是未标记的，并且来自高维空间（如语言词汇），无监督的多视图特征选择在许多应用中至关重要。然而，由于以下挑战，它并非微不足道。首先，存在太多实例或特征维度太大。因此，数据可能不适合存储器。如何在内存空间有限的情况下选择有用的功能？第二，如何从流数据中选择特征并处理概念漂移？第三，如何利用来自不同视图的一致性和互补性信息，在数据量过大或数据流的情况下改进特征选择？据我们所知，以前的作品都不能同时解决所有的挑战。在本文中，我们提出了一个在线无监督多视图特征选择，OMVFS，它处理大规模/流媒体多视图数据在一个在线的方式。OMVFS通过稀疏学习的NMF将无监督特征选择嵌入到聚类算法中。它进一步结合了图正则化，以保持局部结构信息，并帮助选择判别特征。OMVFS不是存储所有的历史数据，而是逐块处理多视图数据，并将所有必要的信息聚合到几个小矩阵中。通过使用缓冲技术，所提出的OMVFS可以减少计算和存储成本，同时利用结构信息。此外，OMVFS可以捕获数据流中的概念漂移。在四个真实数据集上的实验表明了该方法的有效性和效率。更重要的是，OMVFS比离线方法快100倍。
2016-09-27 cs.LG
Multi-view Unsupervised Feature Selection by Cross-diffused Matrix Alignment
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在大数据时代，多视角的高维数据变得越来越普遍。特征选择是缓解多视图学习中维数灾难的有效方法。在本文中，我们研究了无监督特征选择的多视图数据，类标签通常是昂贵的获得。传统的特征选择方法大多是针对单视图数据设计的，不能充分利用多视图数据中的丰富信息。现有的多视图特征选择方法通常是基于噪声聚类标签，这可能无法从多视图数据中保留足够的信息。为了更好地利用多视图信息，我们提出了一种方法，CDMA-FS，通过交叉扩散矩阵上执行对齐来选择每个视图的特征。我们将其表述为一个约束优化问题，并使用基于拟牛顿的方法求解。在四个真实世界数据集上的实验结果表明，该方法在多视图环境下比现有方法更有效。
2017-05-02 cs.LG
DPASF: A Flink Library for Streaming Data preprocessing
University of Granada（格拉纳达大学）；CITIC-UGR (Research Center on Information and Communications Technology)（CITIC-UGR（信息与通信技术研究中心））
数据预处理技术致力于纠正或减轻数据中的错误。离散化和特征选择是两种应用最广泛的数据预处理技术。虽然我们可以找到许多静态大数据预处理的建议，但很少有研究致力于连续大数据问题。Apache Flink是一个新的大数据框架，遵循MapReduce范式，专注于分布式流和批处理数据。在本文中，我们提出了一个用于大数据预处理的数据流库，名为DPASF，在Apache Flink下。我们已经实现了六个最流行的数据预处理算法，三个用于离散化，其余的用于特征选择。这些算法已经使用两个大数据数据集进行了测试。实验结果表明，预处理不仅可以减小数据的规模，而且可以在短时间内保持甚至提高原始精度。DPASF包含处理大数据数据流时有用的算法。库中包含的预处理算法能够有效地处理大数据集并纠正数据中的缺陷。
2018-10-14 cs.DB cs.LG stat.ML
Big Batch SGD: Automated Inference using Adaptive Batch Sizes
University of Maryland, College Park（马里兰大学帕克分校）
本文提出大批次SGD方法，通过自适应增长批次大小保持梯度近似信号与噪声比，实现无需凸优化的高效收敛，并支持自动学习率选择。
2017-04-06 cs.LG cs.NA math.NA
LOFS: Library of Online Streaming Feature Selection
University of South Australia（南澳大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；University of Vermont（佛蒙特大学）
作为一个新兴的研究方向，在线流特征选择处理的是在一个特征空间中连续增加的维度，而数据实例的数量是固定的。在线流特征选择提供了一种新的、互补的算法方法来丰富在线特征选择，特别是针对大数据分析中的高维度。本文介绍了第一个在MATLAB中使用的全面的开源库，它实现了在线流特征选择的最新算法。该库旨在促进这一令人兴奋的研究方向的新算法的开发，并在新方法和现有方法之间进行比较。
2016-03-02 cs.LG stat.ML
Feature selection in detection of adverse drug reactions from the Health Improvement Network (THIN) database
Qilu University of Technology（齐鲁工业大学）；University of Nottingham（诺丁汉大学）
药品不良反应（Adverse Drug Reaction，ADR）是一个备受关注的公共卫生问题。药品不良反应是导致药品退出市场的最常见原因之一。处方事件监测是发现药品不良反应的重要手段。该方法的主要问题是如何从临床实践中收集的高通量医疗事件中自动提取医疗事件或副作用。在这项研究中，我们提出了一个新的概念的特征矩阵检测的ADR。从THIN数据库的大数据中提取特征矩阵，用于描述吸毒患者的医疗事件。特征矩阵为不规则、大规模的医学数据奠定了基础。然后对特征矩阵进行特征选择，检测出显著特征。最后，根据显著特征对不良反应进行定位。实验在三种药物上进行：阿托伐他汀、阿仑膦酸钠和甲氧氯普胺。每种药物的主要副作用被检测到，并且与其他计算机化方法相比，实现了更好的性能。检测到的不良反应是基于计算机方法，需要进一步调查。
2014-09-02 cs.CE cs.LG
Small Boxes Big Data: A Deep Learning Approach to Optimize Variable Sized Bin Packing
Walmart Global eCommerce（沃尔玛全球电子商务）；MIT Center for Transportation & Logistics（麻省理工学院运输与物流中心）
装箱问题因其在不同领域的广泛应用而得到了广泛的研究。它们被称为一组NP难问题，具有不同的变化，并且已经提出了许多算法来获得近似解。具体而言，对于一维可变尺寸装箱问题，优化算法的两个关键集是箱分配和箱分配。通常情况下，单一的静态优化启发式算法的性能不能优于动态优化启发式算法，动态优化启发式算法是为每个装箱实例定制的。建立这样一个自适应系统，需要建模之间的关系箱功能和包装执行配置文件。传统AI机器学习的主要缺点是特征工程的自然限制，例如维数灾难和特征选择质量。我们引入了一种深度学习方法，通过应用大型训练数据集、自动特征选择和快速准确的标记来克服这些缺点。我们在本文中展示了如何建立这样一个系统的理论公式和工程实践。我们的预测系统实现了高达89%的训练准确率和72%的验证准确率，以选择最佳启发式算法，从而生成质量更好的装箱解决方案。
2017-02-14 cs.LG stat.ML
Faster feature selection with a Dropping Forward-Backward algorithm
University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）
在这个大数据时代，特征选择技术已经被证明可以简化模型，使模型更易于理解，加快学习过程，变得越来越重要。在众多已发展的方法中，前向和逐步特征选择回归由于其简单和有效而仍然被广泛使用。然而，它们都涉及一次又一次地重新扫描所有未选择的特征。此外，很多时候，逐步后退的步骤被认为是不必要的，正如我们将在我们的例子中说明的那样。这些评论促使我们引入一种新的算法，与逐步过程相比，该算法可以将速度提高到65.77%，同时在所选特征的数量和错误率方面保持良好的性能。此外，我们的实验表明，特征选择程序可能是一个更好的选择高维问题的特征数量远远超过样本的数量。
2019-11-19 cs.LG stat.ML
MINT: Mutual Information based Transductive Feature Selection for Genetic Trait Prediction
IBM T.J. Watson Research（IBM T.J. 沃森研究中心）；Limagrain Europe（利马格兰欧洲）
利用高密度基因分型芯片对复杂表型性状进行全基因组预测，由于其与动植物育种和遗传流行病学领域相关，因此引起了极大的关注。由于基因型的数量通常比样本的数量大得多，预测模型受到维数灾难的影响。维数灾难问题不仅影响特定基因组选择方法的计算效率，而且还可能导致性能不佳，这主要是由于标记之间的相关性。在这项工作中，我们提出了第一个直推特征选择方法的基础上MRMR（最大相关性和最小冗余）标准，我们称之为MINT。我们应用MINT遗传性状预测问题，并表明，在一般情况下，MINT是一个更好的特征选择方法比国家的最先进的归纳方法mRMR。
2013-10-07 cs.CE cs.LG
Analytic Feature Selection for Support Vector Machines
San Francisco State University（旧金山州立大学）
支持向量机（SVM）依靠数据集的固有几何结构来对训练数据进行分类。正因为如此，我们相信支持向量机是一个很好的候选人，以指导发展的分析特征选择算法，而不是更常用的探试法。我们提出了一个基于过滤器的特征选择算法的基础上的固有几何特征集。通过观察，我们确定了最佳和次佳特征集之间不同的六个几何属性，并且与分类器性能具有统计学显著相关性。我们的算法是基于逻辑和线性回归模型，使用这六个几何属性作为预测变量。该算法在高维文本数据集上取得了优异的效果，其特征可以组织成少数特征类型;例如，一元组，二元组或语义结构特征。我们相信该算法是解决线性支持向量机特征选择问题的一种新颖有效的方法。
2013-04-20 cs.LG stat.ML
Slow Kill for Big Data Learning
Florida State University（佛罗里达州立大学）
针对大数据下变量选择与参数估计的挑战，提出结合非凸约束优化、自适应ℓ₂收缩和递增学习率的Slow Kill方法，可在迭代中缩减问题规模，实验显示其性能优于现有最优算法且计算高效。
2023-05-02 cs.LG stat.CO stat.ME
Feature space reduction method for ultrahigh-dimensional, multiclass data: Random forest-based multiround screening (RFMS)
Cursor Insight Ltd.（Cursor Insight有限公司）；Wigner Research Centre for Physics（维格纳物理研究中心）；Corvinus University of Budapest（布达佩斯考文纽斯大学）
本文提出基于随机森林的多轮筛选方法（RFMS），用于处理超高维多类数据，有效提升特征筛选效率与准确性。
2023-05-25 cs.AI cs.CE cs.LG
A Hybrid Algorithm Based Robust Big Data Clustering for Solving Unhealthy Initialization, Dynamic Centroid Selection and Empty clustering Problems with Analysis
World University of Bangladesh (WUB)（孟加拉世界大学）
大数据是大量的结构化和非结构化数据，这些数据太大，而且很难使用传统技术进行处理。聚类算法已经发展成为一种强大的学习工具，可以准确地分析现代应用程序产生的数据量。数据采掘中的聚类是根据对象的特征对特定对象集进行分组。聚类的主要目的是根据相似性和特征将数据分类到簇中，使得对象在对应时被分组到相同的簇中。到目前为止，K-MEANS是在大范围的区域中连接的最佳利用的计算，以识别聚类分离比聚集分离之间的分离大的聚集。我们开发的算法与K-MEANS一起工作，在大数据聚类过程中进行高质量的聚类。我们提出的算法EG K-MEANS：扩展生成K-MEANS主要解决了K-MEANS的三个问题：不健康的初始化、动态重心选择和空聚类。它保证了防止不健康的初始化，动态质心选择和空聚类问题的最佳方法，以获得高质量的聚类。
2020-02-21 cs.AI cs.LG
Small Data, Big Decisions: Model Selection in the Small-Data Regime
DeepMind（深度思维）
高度过参数化的神经网络可以表现出令人好奇的强大泛化性能--为了更好地理解这一现象，最近已经积累了大量的理论和实证研究。与大多数以前的工作相反，这些工作通常认为性能是模型大小的函数，在本文中，我们经验性地研究了当训练集的大小在多个数量级上变化时的泛化性能。这些系统性的实验产生了一些有趣且可能非常有用的观察结果;也许最值得注意的是，在较小的数据子集上进行训练可以导致更可靠的模型选择决策，同时享受更小的计算成本。此外，我们的实验使我们能够估计最小描述LQs的常见数据集给定现代神经网络架构，从而铺平了道路的原则模型选择考虑到奥卡姆剃刀。
2020-09-26 cs.LG stat.ML
An Instance Selection Algorithm for Big Data in High imbalanced datasets based on LSH
Universidad de Antioquia（安蒂奥基亚大学）；Universidad Politécnica de Madrid（马德里理工大学）
在真实环境中训练机器学习（ML）模型通常涉及大数据集和高级不平衡样本，其中感兴趣的类别未被表示（少数类别）。使用经典ML模型的实用解决方案使用训练算法的并行/分布式实现、基于模型的近似解决方案或应用实例选择（IS）算法来消除冗余信息来解决大型数据集的问题。然而，大型和高度不平衡数据集的组合问题却很少得到解决。这项工作提出了三种新的方法是能够处理大型和不平衡的数据集。所提出的方法使用局部敏感哈希（LSH）作为基本聚类技术，然后三种不同的采样方法应用于LSH生成的聚类（或桶）的顶部。这些算法是在Apache Spark框架中开发的，保证了它们的可扩展性。在三个不同的数据集上进行的实验表明，所提出的IS方法可以在几何平均值方面将基础ML模型的性能提高5%到19%。
2022-10-09 cs.DC cs.DS cs.LG
Big portfolio selection by graph-based conditional moments method
Shanghai University of Finance and Economics（上海财经大学）；University of Hong Kong（香港大学）
如何进行大投资组合选择是一个重要的问题，但对研究者和实践者来说都是一个挑战。在本文中，我们提出了一个新的基于图的条件矩（GRACE）方法来做投资组合选择的基础上，成千上万的股票或更多。GRACE方法首先通过因子增强的时间图卷积网络学习股票收益率的条件分位数和均值，该网络通过由来自领域知识的股票到股票关系集以及来自资产定价知识的因子到股票关系集构建的因子超图来指导学习过程。接下来，GRACE方法通过使用分位数条件矩（QCM）方法从学习到的条件分位数学习股票收益率的条件方差、偏度和峰度。QCM方法是一种有监督的学习过程来学习这些条件高阶矩，因此它在很大程度上克服了经典高维GARCH类方法的计算困难。此外，QCM方法允许在建模条件分位数在一定程度上，由于其回归为基础的性质的错误规范。最后，GRACE方法使用学习到的条件均值、方差、偏度和峰度来构造几个绩效指标，这些指标是对股票进行排序的标准，以在著名的10-decile框架中进行投资组合选择。NASDAQ和NYSE股票市场的应用程序表明，GRACE方法的性能远远优于其竞争对手，特别是当性能指标是由条件方差，偏度和峰度。
2023-01-27 cs.LG stat.ML
Big model only for hard audios: Sample dependent Whisper model selection for efficient inferences
ENS-PSL（巴黎高等师范学院-巴黎文理研究大学）；Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Inria（法国国家信息与自动化研究所）
本文提出训练一个轻量决策模块，根据音频样本难度动态选择最小且足够的Whisper模型进行推理，在保持转录质量的同时显著降低计算成本。
2023-09-22 cs.LG cs.SD eess.AS
Conditional Variable Selection for Intelligent Test
University of Stuttgart（斯图加特大学）；Advantest Europe GmbH（爱德万测试欧洲有限公司）
智能测试需要对大规模高维数据进行高效、有效的分析。传统上，分析通常由人类专家进行，但在大数据时代，它是不可扩展的。为了应对这一挑战，最近将变量选择引入智能测试。然而，在实践中，我们会遇到某些情况，其中某些变量（例如，被测设备的某些特定处理条件）必须在变量选择后保持不变。我们称之为条件变量选择，这对于嵌入式或基于深度学习的变量选择方法还没有得到很好的研究。在本文中，我们讨论了一种新的条件变量选择框架，可以选择最重要的候选变量给定一组预选变量。
2022-07-01 cs.LG
A new hashing based nearest neighbors selection technique for big datasets
Beijing Institute of Technology（北京理工大学）
KNN被认为是用于分类或回归的最简单但有效的监督学习算法。KNN预测效率高度依赖于其训练数据的大小，但是当该训练数据增长时，KNN在做出决策时遭受缓慢，因为它需要在每次决策时在整个数据集内搜索最近的邻居。本文提出了一种新的技术，使选择最近的邻居直接在附近的一个给定的观察。所提出的方法包括将数据空间划分为子单元的虚拟网格上建立的数据空间。数据点和子单元之间的映射使用散列来执行。在选择给定观测值的最近邻居时，我们首先使用散列来识别观测值所属的单元格，然后逐层从该中心单元格及其周围的单元格中寻找最近邻居。从我们在公开数据集上的实验性能分析来看，我们的算法在时间效率上优于原始KNN，并且预测质量与KNN一样好，并且与KDtree等解决方案相比具有竞争力的性能。
2021-02-10 cs.DS cs.LG stat.ML
When Bigger is Worse: A Practitioner's Guide to Model Selection Under Data Scarcity
ENSAE Paris（巴黎高等师范学校）；Centre O.I.E., Mines Paris - PSL University（O.I.E.研究中心，巴黎理工-PSL大学）
在资源受限的地球观测中，YOLO11N在效率和准确率上均优于其他模型，揭示了更大模型未必更优的结论。
2026-07-20 cs.CV cs.LG
Extended Stochastic Gradient MCMC for Large-Scale Bayesian Variable Selection
Purdue University（普渡大学）
随机梯度马尔可夫链蒙特卡罗（MCMC）算法在大数据问题的贝叶斯计算中受到广泛关注，但它只适用于一类参数空间具有固定维数且对数后验密度关于参数可微的问题。本文提出了一种扩展的随机梯度MCMC算法，通过引入适当的隐变量，该算法可以应用于更一般的大规模贝叶斯计算问题，如涉及维数跳跃和缺失数据的问题。数值实验表明，该算法具有很强的可扩展性，比传统的MCMC算法效率更高。所提出的算法大大减轻了贝叶斯方法在大数据计算中的痛苦。
2020-02-07 cs.LG stat.CO stat.ML
Accuracy and stability of solar variable selection comparison under complicated dependence structures
University of Sydney（悉尼大学）
在本文中，我们专注于子样本有序最小角度回归（太阳能）的经验变量选择概率-一种新的三维重新设计的套索-经验数据具有复杂的依赖结构，因此，严重的多重共线性和分组效应问题。以往的研究表明，Solar在很大程度上用最小角回归和$\mathcal{L}_1$收缩来解决几个已知的高维问题。在相同的计算量下，solar在稀疏性（平均选择变量数减少37- 64%）、稳定性和变量选择的准确性方面比两种lasso求解器（lasso的最小角度回归和坐标下降）有了很大的改进。模拟还表明，太阳能增强了变量选择的鲁棒性，以不同的设置的不可表示的条件和变化的依赖结构假设在回归分析。为了验证改进的方法也适用于实证研究，我们选取了前列腺癌数据和悉尼房价数据，并应用弹性网和Solar两种套索解算器进行比较。结果表明：lasso算法受分组效应的影响，随机丢弃相关性强的变量，结果不可靠且不可解释;弹性网对分组效应具有较强的鲁棒性，但当数据的依赖结构复杂时，它完全丧失了变量选择的稀疏性;（iii）太阳能显示出其对复杂的依赖结构和分组效应的优越鲁棒性，返回具有更好的稳定性和稀疏性的变量选择结果。代码可以在https://github.com/isaac2math/solar_application上找到
2020-12-16 cs.LG stat.ML
Reconfigurable Computing Challenge: Real-Time Graph Neural Networks for Online Event Selection in Big Science
Institute for Information Processing Technology, Karlsruhe Institute of Technology, Germany（信息处理技术研究所，卡尔斯鲁厄理工学院，德国）；Institute of Experimental Particle Physics, Karlsruhe Institute of Technology, Germany（实验粒子物理学研究所，卡尔斯鲁厄理工学院，德国）
本文提出了一种实时部署动态图神经网络的端到端演示器，用于 Belle II 电磁量能器硬件触发，利用 FPGA fabric 和 AI Engine tiles 实现 290 万事件每秒的吞吐量，减少资源消耗并提升性能。
2026-05-11 cs.AR cs.LG
Impartial Selection with Predictions
Max Planck Institut für Informatik（马克斯·普朗克信息学研究所）；Universidad de Chile（智利大学）；Queen Mary University of London（伦敦玛丽女王大学）；Technische Universität Berlin（柏林工业大学）
该研究针对相互提名场景下的无偏智能体选择问题，引入最高提名组预测信息，给出不同场景下机制的一致性与鲁棒性界，证明可在几乎不损失鲁棒性的前提下实现渐近最优一致性。
2025-10-21 cs.GT cs.LG econ.TH
Efficient and robust high-dimensional sparse logistic regression via nonlinear primal-dual hybrid gradient algorithms
逻辑斯谛回归是一种广泛使用的统计模型，用于描述数据集中二元响应变量和预测变量之间的关系。它通常用于机器学习，以识别重要的预测变量。这个任务，变量选择，通常相当于拟合由$\ell_1$和$\ell_{2}^{2}$惩罚的凸组合正则化的逻辑斯谛回归模型。由于现代大数据集可能包含数十万到数十亿个预测变量，因此变量选择方法依赖于高效和强大的优化算法来执行。然而，最先进的变量选择算法传统上并不是为了处理大数据集而设计的;它们要么规模很小，要么容易产生不可靠的数值结果。因此，在无法获得足够且昂贵的计算资源的情况下对大数据集执行变量选择仍然具有挑战性。在本文中，我们提出了一个非线性的原始对偶法，解决这些缺点。具体而言，我们提出了一种迭代算法，可证明计算的解决方案，逻辑斯谛回归问题的正则化弹性净罚款在$O(T(m,n)\log(1/ε))$操作，其中$ε\in (0,1)$表示的公差和$T(m,n)$表示的算术运算的数量与$m$样本，每个包括$n$功能的数据集上执行矩阵向量乘法。这一结果改善了一阶优化方法，如经典的原始-对偶混合梯度或向前-向后分裂方法的$O(\min(m^2n,mn^2)\log(1/ε))$的已知复杂性界。
2021-12-28 cs.LG math.OC
A Deep Neural Network Based Approach to Building Budget-Constrained Models for Big Data Analysis
University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）
深度学习方法需要收集关于许多不同输入特征或变量的数据，以进行准确的模型训练和预测。由于对输入特征的数据汇集可能是昂贵的，因此通过选择特征的子集和开发非约束模型（SVM）来降低成本至关重要。在本文中，我们介绍了一种使用深度神经网络（DNN）消除大数据分析中不太重要的特征的方法。一旦开发出DNN模型，我们就可以识别出薄弱环节和薄弱神经元，并删除一些输入特征，以使模型成本在给定的预算范围内。实验结果表明，我们的方法是可行的，并支持用户选择一个合适的广告在给定的预算。
2023-02-23 cs.AI cs.LG
The new methods for equity fund selection and optimal portfolio construction
Bank of Jiangsu Asset Management（江苏银行资产管理）
本文从一个新的角度重新审视了经典的自有资金选择和投资组合构建问题，并提出了一个易于实现的框架来解决实际投资中的问题。而不是传统的方式，通过构建一个长期的投资组合，从一个大宇宙的股票或宏观因素，我们展示了如何产生一个长期的短期投资组合，从一个较小的股票池，从共同基金的顶部持有，并产生令人印象深刻的结果。由于这些方法是基于统计证据，我们需要密切监测模型的有效性，并准备修复策略。
2020-04-20 cs.LG q-fin.MF q-fin.PM
From Big Data to Fast Data: Towards High-Quality Datasets for Machine Learning Applications from Closed-Loop Data Collection
本文提出快数据概念，通过车辆实时决策优化数据采集，提升数据集相关性与信息密度，降低冗余数据成本，为现代机器学习算法提供高效数据采集基础。
2026-03-31 cs.LG cs.SY eess.SY
Using Deep Neural Networks to Automate Large Scale Statistical Analysis for Big Data Applications
Purdue University（普渡大学）
统计分析是从数据分析中推断总体性质的复杂过程。通常需要训练有素的分析师才能成功执行SA，并且将SA应用于大数据应用程序变得非常具有挑战性。我们建议使用深度神经网络来自动化SA过程。特别是，我们建议构造卷积神经网络（CNN）来执行自动模型选择和参数估计，这两个最重要的SA任务。我们将得到的CNN分别称为神经模型选择器和神经模型估计器，它们可以使用从候选模型系统生成的标记数据进行适当的训练。仿真研究表明，选择器和估计器都表现出良好的性能。这个想法和提出的框架可以进一步扩展，以自动化整个SA过程，并有可能彻底改变SA在大数据分析中的执行方式。
2017-08-09 cs.LG stat.CO stat.ML
The Big Data Bootstrap
University of California, Berkeley（加州大学伯克利分校）
自助法提供了一种简单而有力的方法来评估估计量的质量。然而，在涉及大型数据集的设置中，基于引导的量的计算可能要求过高。作为一种替代方案，我们提出了一袋小Bootstrap（BLB），一个新的程序，它结合了自举和二次抽样的功能，以获得一个强大的，计算效率高的方法评估估计质量。BLB非常适合于现代并行和分布式计算体系结构，并保留了自举的一般适用性、统计效率和有利的理论特性。我们提供了BLB的行为，包括其统计正确性的研究，其大规模的实施和性能，超参数的选择，并在真实数据上的性能进行了广泛的实证和理论研究的结果。
2012-06-27 cs.LG stat.ML
Instrument variable detection with graph learning : an application to high dimensional GIS-census data for house pricing
University of Sydney（悉尼大学）
内变量偏差和工具变量验证一直是统计学和计量经济学研究的重要课题。在大数据时代，这些问题通常与维度问题相结合，因此需要更多的关注。在本文中，我们合并了两个著名的工具，从机器学习和生物统计学--变量选择算法和概率图--估计房价和相应的因果结构，使用2010年悉尼的数据。估计使用了一个200千兆字节的三维数据库，其中包括当地学校数据、地理信息系统信息、人口普查数据、房屋特征和其他社会经济记录。使用“大数据”，我们表明，它是可能的，以有效地执行数据驱动的仪器选择和清除无效的仪器。我们的方法提高了稀疏的变量选择，稳定性和鲁棒性存在的高维，复杂的因果结构和随之而来的多重共线性，并恢复稀疏和直观的因果结构。该方法在内模检测、仪器验证、弱仪器剪枝和有效仪器选择等方面具有较高的效率和有效性。从机器学习的角度来看，估计结果既符合又证实了悉尼住宅市场的实际情况、经典的经济理论和前人的联立方程模型的研究结果。此外，估计结果与经典的计量经济学工具，如两阶段最小二乘回归和不同的仪器测试是一致的，并支持。所有代码可在\url{https://github.com/isaac2math/solar_graph_learning}中找到。
2020-12-16 cs.LG stat.AP stat.ML
Efficient Regularized Regression for Variable Selection with L0 Penalty
Samuel Oschin Comprehensive Cancer Institute, Cedars-Sinai Medical Center（西达赛奈医疗中心塞缪尔·奥斯钦综合癌症研究所）；University of California at Los Angeles（加州大学洛杉矶分校）
高维BIGDATA回归的变量（特征、基因、模型，我们可以互换使用）选择在生物信息学、计算生物学、图像处理和工程学中有许多应用。一种吸引人的方法是L0正则化回归，它直接惩罚模型中非零特征的数量。L0被认为是最基本的稀疏性度量，具有良好的理论性质，而流行的L1正则化只是L0的最佳凸松弛。因此，很自然地期望L0正则化回归比LASSO表现得更好。然而，众所周知，L0优化是NP难的，并且在计算上具有挑战性。到目前为止，大多数出版物都试图解决一个近似问题，而不是直接解决L0问题。在本文中，我们提出了一个有效的EM算法（L0 EM），直接解决L0优化问题。$L_0$ EM对于高维数据是有效的。它也提供了一个自然的解决方案，所有的Lp p在[0，2]的问题。正则化参数可以通过交叉验证或AIC和BIC来确定。L0-正则化估计的理论性质给出了温和的条件下，允许变量的数量远远大于样本容量。我们通过模拟和高维基因组数据展示了我们的方法。结果表明，L0具有更好的性能比LASSO和L0与AIC或BIC具有类似的性能计算密集型交叉验证。所提出的算法在识别非零变量时具有较小的偏差，在选择具有高维BIGDATA的生物学重要基因和途径时是有效的。
2014-07-28 cs.LG stat.ML
