Smart Data driven Decision Trees Ensemble Methodology for Imbalanced Big Data
University of Granada（格拉纳达大学）；Mälardalen University（梅拉达伦大学）
每个类的数据大小差异，也称为不平衡的数据分布，已成为影响数据质量的常见问题。大数据场景对传统的不平衡分类算法提出了新的挑战，因为它们不准备处理如此大量的数据。由于MapReduce范式的使用而导致的分裂数据策略和少数类中数据的缺乏为解决大数据场景中类之间的不平衡提出了新的挑战。集成已被证明能够成功地解决不平衡的数据问题。智能数据是指足够高质量的数据，以实现高性能模型。通过大数据预处理实现的集成和智能数据的结合应该是一个很好的协同作用。本文提出了一种新的智能数据驱动的决策树包围方法，即SD_DeTE方法，用于解决大数据领域的不平衡分类问题。这种方法是基于学习不同的决策树使用分布式质量数据的集成过程。这种高质量的数据是通过融合随机离散化，主成分分析和基于聚类的随机过采样来获得原始数据的不同智能数据版本。在21个二进制适应数据集上进行的实验表明，我们的方法优于随机森林。
2021-09-03 cs.DC cs.LG stat.ML
On the usage of the probability integral transform to reduce the complexity of multi-way fuzzy decision trees in Big Data classification problems
Public University of Navarre（纳瓦拉公立大学）；Navarrabiomed（纳瓦拉生物医学研究所）；Complejo Hospitalario de Navarra（纳瓦拉综合医院）；IdiSNA（纳瓦拉卫生研究所）；Institute of Smart Cities（智慧城市研究所）
针对大数据分类问题中多路模糊决策树的复杂性，提出了一种新的分布式模糊划分方法.该算法为所有变量建立固定数量的模糊集，并根据训练数据的实际分布调整其形状和位置。应用两个步骤的过程：1）通过概率积分变换将原始分布变换为标准均匀分布。由于原始分布通常是未知的，通过计算训练集的q分位数来近似累积分布函数; 2）使用固定数量的均匀分布的三角隶属函数在变换后的属性空间中构造Ruspini强模糊划分。尽管进行了上述变换，但原始空间中每个模糊集的定义都可以通过应用逆累积分布函数（也称为分位数函数）来恢复。实验结果表明，所提出的方法允许国家的最先进的多路模糊决策树（FMDT）的归纳算法，以保持分类精度高达6万少叶。
2019-02-28 cs.LG stat.ML
Confidence Decision Trees via Online and Active Learning for Streaming (BIG) Data
决策树分类器是数据流挖掘中广泛使用的工具。使用置信区间来估计与每个分裂相关联的增益导致非常有效的方法，如流行的Hoeffding树算法。从统计学的角度来看，在流设置中的决策树分类器的分析需要知道何时已经收集了足够的新信息来证明分裂叶子是合理的。虽然Hoeffding树的统计分析中的一些问题已经澄清，一般和严格的研究置信区间的分裂标准是失踪。我们填补了这一空白，推导出准确的置信区间估计分裂增益决策树学习的三个标准：熵，基尼指数，和第三个指标提出的卡恩斯和曼苏尔。我们的置信区间更详细地依赖于树的参数。我们还将我们的置信度分析扩展到选择性采样设置，其中决策树学习器自适应地决定在流中查询哪些标签。我们提供了理论保证边界的概率，分类是非最优的学习决策树通过我们的选择性抽样策略。在流媒体环境中对真实数据和合成数据的实验表明，我们的树确实比其他技术生成的具有相同数量叶子的树更准确，并且我们的主动学习模块允许节省标记成本。此外，比较我们的标签策略与最近的方法，我们表明，我们的方法是更强大的和一致的尊重所有其他技术应用于增量决策树。
2016-04-12 cs.LG stat.ML
Topological Data Analysis of Decision Boundaries with Application to Model Selection
IBM Research（IBM研究院）；New York University（纽约大学）
我们提出了标记的Čech复杂，平原标记的Vietoris-Rips复杂，和局部缩放的标记Vietoris-Rips复杂的分类任务中执行持久的同源推理的决策边界。我们提供的理论条件和分析，从样本中恢复的决策边界的同源性。我们的主要目标是量化深度神经网络复杂性，以使数据集与预训练模型匹配;我们报告了使用MNIST，FashionMNIST和CIFAR 10的实验结果。
2018-05-25 cs.LG stat.ML
Towards Ultrahigh Dimensional Feature Selection for Big Data
Nanyang Technological University（南洋理工大学）；University of Technology, Sydney（悉尼科技大学）；University of California（加利福尼亚大学）
本文提出了一种新的自适应特征缩放方案，用于大数据上的超高维特征选择。为了有效地解决这个问题，我们首先将其转化为一个凸半无限规划（SIP）问题，然后提出了一个有效的\emph{feature generating paradigm}。与传统的基于梯度的方法进行优化的所有输入功能相比，所提出的方法迭代激活一组功能，并解决了一系列的多核学习（MKL）子问题的规模大大减少。为了进一步加快训练速度，我们建议通过改进的加速邻近梯度方法以原始形式解决MKL子问题。由于这种优化方案，一些有效的缓存技术也被开发出来。该特征生成范式能够保证解在温和的条件下全局收敛，并获得较低的特征选择偏差。此外，该方法可以解决两个具有挑战性的任务，特征选择：1）基于组的特征选择与复杂的结构和2）非线性特征选择与显式特征映射。在包含数千万数据点的$O(10^{14})$特征的合成数据集和真实数据集上进行的综合实验表明，该方法在泛化性能和训练效率方面优于现有的特征选择方法。
2019-12-15 cs.LG
MOANOFS: Multi-Objective Automated Negotiation based Online Feature Selection System for Big Data Classification
REsearch Groups in Intelligent Machines（智能机器研究组）；University of Sfax（斯法克斯大学）；ENIS（斯法克斯国立工程师学院）
特征选择在学习和分类任务中起着重要的作用。FS的目的是选择相关的和非冗余的功能。由于实际应用中特征数量巨大，采用批量学习技术的FS方法无法解决大数据问题，特别是当数据顺序到达时。在本文中，我们提出了一个在线特征选择系统，解决了这个问题。更具体地说，我们把在线监督的二进制分类的特征选择的问题作为一个决策问题。这个问题的哲学视野导致两个重要领域之间的杂交：特征选择使用在线学习技术（OFS）和自动协商（AN）。提出的OFS系统称为MOANOFS（多目标自动协商基于在线特征选择）使用两个层次的决策。在第一级中，从n个学习者（或OFS方法）中，我们决定哪些是k个可信的学习者（具有高置信度或信任值）。这些选出的k学习者将参加第二级。在这个层次上，我们整合我们提出的多边自动协商的OFS（MANOFS）方法，以决定最终哪个是最好的解决方案或相关功能。我们表明，MOANOFS系统是适用于不同的领域成功地实现了高精度与几个现实世界的应用。索引术语：特征选择、在线学习、多目标自动协商、信任、分类、大数据。
2019-06-18 cs.AI cs.CV cs.LG
A Decision-Based Dynamic Ensemble Selection Method for Concept Drift
Federal University of Amazonas（亚马逊联邦大学）；Federal Institute of Amazonas（亚马逊联邦研究所）；École de Technologie Supérieure（高等技术学院）
提出了一种基于动态分类器集成选择的在线概念漂移检测方法.该方法通过提高分类器成员间的多样性来生成集成池，并根据全局先验精度值选择专家集成。与只使用本地知识边缘来选择每个实例的最有能力的集成的Currentdynamic集成选择方法不同，我们的方法侧重于考虑到decisionspace的选择。因此，它很好地适应于数据流问题中的漂移检测的上下文。实验结果表明，在不同类型漂移的人工数据集上，该方法具有最高的检测精度和最低的虚警率，且分类准确率具有竞争力.此外，它在分类准确性方面优于基线，无论实际问题数据集如何。
2019-09-26 cs.LG stat.ML
An Information Theoretic Feature Selection Framework for Big Data under Apache Spark
University of Granada（格拉纳达大学）；University of A Coruña（拉科鲁尼亚大学）
随着极高维数据集的出现，降维技术变得势在必行。在众多技术中，特征选择作为在大型数据集上识别相关特征的重要工具--无论是在实例数量还是特征数量上--越来越受到关注。这项工作的目的是证明标准的特征选择方法可以在Apache Spark等大数据平台中并行化，从而提高性能和准确性。因此，我们提出了一个分布式实现的通用特征选择框架，其中包括广泛的一组著名的信息理论方法。在大量真实世界数据集上的实验结果表明，我们的分布式框架能够在短时间内处理超高维数据集以及具有大量样本的数据集，在所有研究的情况下都优于顺序版本。
2016-10-19 cs.AI cs.DC cs.LG
Model family selection for classification using Neural Decision Trees
Centre Borelli（博雷利中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Universite Paris-Saclay（巴黎萨克雷大学）
模型选择包括根据要优化的度量来比较几个候选模型。这个过程通常涉及网格搜索等，以及交叉验证，这可能很耗时，并且不会提供有关数据集本身的太多信息。在本文中，我们提出了一种方法来减少任务所需的探索范围。其思想是量化需要偏离给定家族的训练实例、具有“刚性”决策边界的参考模型（例如决策树）的程度，以便获得等效或更好的模型。在我们的方法中，这是通过逐步放宽初始决策树（RM）的决策边界来实现的，只要这在分析数据集上测量的性能方面是有益的。更具体地，通过利用神经决策树来执行该松弛，神经决策树是从DT构建的神经网络。我们的方法产生的最终模型带有非线性决策边界。测量最终模型的性能，以及它与其种子RM的一致性，可以帮助用户确定他应该关注哪一系列模型。
2020-06-20 cs.LG stat.ML
A Hybrid Algorithm Based Robust Big Data Clustering for Solving Unhealthy Initialization, Dynamic Centroid Selection and Empty clustering Problems with Analysis
World University of Bangladesh (WUB)（孟加拉世界大学）
大数据是大量的结构化和非结构化数据，这些数据太大，而且很难使用传统技术进行处理。聚类算法已经发展成为一种强大的学习工具，可以准确地分析现代应用程序产生的数据量。数据采掘中的聚类是根据对象的特征对特定对象集进行分组。聚类的主要目的是根据相似性和特征将数据分类到簇中，使得对象在对应时被分组到相同的簇中。到目前为止，K-MEANS是在大范围的区域中连接的最佳利用的计算，以识别聚类分离比聚集分离之间的分离大的聚集。我们开发的算法与K-MEANS一起工作，在大数据聚类过程中进行高质量的聚类。我们提出的算法EG K-MEANS：扩展生成K-MEANS主要解决了K-MEANS的三个问题：不健康的初始化、动态重心选择和空聚类。它保证了防止不健康的初始化，动态质心选择和空聚类问题的最佳方法，以获得高质量的聚类。
2020-02-21 cs.AI cs.LG
Interactive Reinforcement Learning for Feature Selection with Decision Tree in the Loop
Department of Computer Science, University of Central Florida（中佛罗里达大学计算机科学系）；Business Intelligence Lab, Baidu Research（百度研究院商业智能实验室）；Eller College of Management, University of Arizona（亚利桑那大学埃勒管理学院）；Rutgers University（罗格斯大学）
研究了自动特征选择中有效性和效率的平衡问题。在探索了许多特征选择方法之后，我们发现了一个计算困境：1）传统的特征选择大多数是有效的，但难以识别最佳子集; 2）新兴的增强特征选择自动导航到最佳子集，但通常效率低下。我们能否在自动化下弥合有效性和效率之间的差距？出于这种困境，我们的目标是开发一种新的特征空间导航方法。在我们的初步工作中，我们利用交互式强化学习通过外部训练器-代理交互来加速特征选择。在这个期刊版本中，我们提出了一种新的交互式和闭环架构，以同时建模交互式强化学习（IRL）和决策树反馈（DTF）。具体来说，IRL是创建一个交互式特征选择循环，DTF是将结构化特征知识反馈给循环。首先，利用决策树的树结构特征层次来改进状态表示。特别是，我们表示所选择的特征子集作为一个无向图的特征-特征的相关性和有向树的决策功能。我们提出了一种新的嵌入方法，能够授权图卷积网络，以共同学习状态表示的图和树。其次，利用树结构的特征层次来开发一种新的奖励方案。特别是，我们个性化的奖励分配代理的基础上决策树功能的重要性。此外，观察Agent的行为可以得到反馈，我们设计了另一种奖励方案，根据历史行为记录中的特征选择频率比来加权和分配奖励。最后，我们在现实世界的数据集上进行了广泛的实验，以显示改进的性能。
2020-10-02 cs.LG stat.ML
Big Data Analytics Applying the Fusion Approach of Multicriteria Decision Making with Deep Learning Algorithms
Prasad V Potluri Siddhartha Institute of Technology（普拉萨德·V·波特卢里·西达塔技术学院）；Infosys Limited（印孚瑟斯有限公司）；Anurag University（阿努拉格大学）
数据随着人口和通信的快速发展而发展，用于各种类型的设备，诸如网络、云计算、物联网（IoT）、致动器和传感器。数据和通信内容的增加伴随着速度，速度，大小和价值的等价，以提供有用和有意义的知识，帮助解决未来具有挑战性的任务和最新的问题。此外，基于多准则的决策是解决大数据分析中与替代效应相关的各种问题的关键问题之一。它倾向于基于最新的机器学习技术找到一种解决方案，其中包括基于多标准的决策和深度学习机制等算法，以提供对大数据的见解。另一方面，对它进行了推导，使其与近似值相一致，增加了运行时的二重性，提高了整个系统的潜力和效率。从本质上讲，包括商业、农业、信息技术和计算机科学在内的多个领域都在使用深度学习和基于多标准的决策问题。本文旨在提供各种应用程序，涉及深度学习技术的概念，并利用多准则方法，在大数据分析中面临的问题，提出新的研究与数据驱动技术的融合方法。
2021-02-02 cs.AI cs.LG
A new hashing based nearest neighbors selection technique for big datasets
Beijing Institute of Technology（北京理工大学）
KNN被认为是用于分类或回归的最简单但有效的监督学习算法。KNN预测效率高度依赖于其训练数据的大小，但是当该训练数据增长时，KNN在做出决策时遭受缓慢，因为它需要在每次决策时在整个数据集内搜索最近的邻居。本文提出了一种新的技术，使选择最近的邻居直接在附近的一个给定的观察。所提出的方法包括将数据空间划分为子单元的虚拟网格上建立的数据空间。数据点和子单元之间的映射使用散列来执行。在选择给定观测值的最近邻居时，我们首先使用散列来识别观测值所属的单元格，然后逐层从该中心单元格及其周围的单元格中寻找最近邻居。从我们在公开数据集上的实验性能分析来看，我们的算法在时间效率上优于原始KNN，并且预测质量与KNN一样好，并且与KDtree等解决方案相比具有竞争力的性能。
2021-02-10 cs.DS cs.LG stat.ML
Run2Survive: A Decision-theoretic Approach to Algorithm Selection based on Survival Analysis
Heinz Nixdorf Institute（海因茨·尼克斯多夫研究所）；Paderborn University（帕德博恩大学）；Universidad de La Sabana（拉萨巴纳大学）
算法选择（Algorithm selection，AS）是从一组固定的候选算法中自动选择最适合算法问题类的特定实例的算法，其中“适用性”通常指算法的运行时间。由于候选算法的可能极长的运行时间，算法选择模型的训练数据通常在时间约束下生成，在这个意义上，并非所有算法都在所有实例上运行完成。因此，训练数据通常包括审查信息，因为超时的算法的真实运行时间仍然是未知的。然而，许多标准的AS方法不能以适当的方式处理这样的信息。另一方面，生存分析（SA）自然支持删失数据，并提供了适当的方法来使用这些数据来学习算法运行时的分布模型，正如我们在这项工作中所展示的那样。我们利用这样的模型作为一个复杂的决策理论方法的基础，算法选择，我们称之为Run2Survive。此外，利用这种框架，我们提倡一种规避风险的方法来选择算法，其中，避免超时被赋予高度优先级。在一个广泛的实验研究与标准基准ASlib，我们的方法被证明是非常有竞争力的，在许多情况下，甚至优于国家的最先进的AS方法。
2020-07-10 cs.LG stat.ML
FoLDTree: A ULDA-Based Decision Tree Framework for Efficient Oblique Splits and Feature Selection
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文提出LDATree和FoLDTree两种基于ULDA的决策树框架，实现高效斜切分、特征选择与多类分类，性能优于传统斜树，准确率媲美随机森林。
2025-05-23 cs.LG stat.ME stat.ML
Feature Selection with Annealing for Computer Vision and Big Data Learning
Florida State University（佛罗里达州立大学）
许多计算机视觉和医学成像问题都面临着从大规模数据集中学习的问题，这些数据集包含数百万个观察和特征。在本文中，我们提出了一种新的有效的学习计划，收紧稀疏性约束逐步删除变量的基础上的标准和时间表。在整个迭代过程中，问题大小不断下降，这一有吸引力的事实使其特别适合大数据学习。我们的方法一般适用于任何可微损失函数的优化，并发现在回归，分类和排名的应用。由此产生的算法建立变量筛选到估计，是非常简单的实现。我们提供了理论保证的收敛性和选择的一致性。此外，一维分段线性响应函数被用来考虑非线性和二阶先验施加在这些功能，以避免过拟合。在真实数据和合成数据上的实验表明，该方法在回归、分类和排序等方面与其他方法相比具有很好的性能，同时计算效率高，可扩展性好。
2016-03-17 cs.CV cs.LG math.ST
An Instance Selection Algorithm for Big Data in High imbalanced datasets based on LSH
Universidad de Antioquia（安蒂奥基亚大学）；Universidad Politécnica de Madrid（马德里理工大学）
在真实环境中训练机器学习（ML）模型通常涉及大数据集和高级不平衡样本，其中感兴趣的类别未被表示（少数类别）。使用经典ML模型的实用解决方案使用训练算法的并行/分布式实现、基于模型的近似解决方案或应用实例选择（IS）算法来消除冗余信息来解决大型数据集的问题。然而，大型和高度不平衡数据集的组合问题却很少得到解决。这项工作提出了三种新的方法是能够处理大型和不平衡的数据集。所提出的方法使用局部敏感哈希（LSH）作为基本聚类技术，然后三种不同的采样方法应用于LSH生成的聚类（或桶）的顶部。这些算法是在Apache Spark框架中开发的，保证了它们的可扩展性。在三个不同的数据集上进行的实验表明，所提出的IS方法可以在几何平均值方面将基础ML模型的性能提高5%到19%。
2022-10-09 cs.DC cs.DS cs.LG
Nonparametric Variable Screening with Optimal Decision Stumps
Princeton University（普林斯顿大学）
决策树及其集成具有丰富的诊断工具集，用于在预测模型中对变量进行排名和筛选。尽管基于树的变量重要性度量方法得到了广泛的应用，但确定它们的理论性质一直是一个挑战，因此在很大程度上尚未探索。为了解决理论和实践之间的差距，我们得出有限样本的性能保证变量选择非参数模型使用单级CART决策树（决策树桩）。在变量筛选文献中的标准操作假设下，我们发现每个变量和环境维度的边际信号强度可以分别比最先进的非参数变量选择方法弱得多和高得多。此外，与试图通过截断基扩展直接估计每个边缘投影的先前边缘筛选方法不同，这里使用的拟合模型是一个简单的、简约的决策树桩，从而消除了调整基项数量的需要。因此，令人惊讶的是，即使决策树对于估计目的是高度不准确的，它们仍然可以用于执行一致的模型选择。
2020-12-11 cs.LG stat.ML
Optimal Model Selection for Conformalized Robust Optimization
Nankai University（南开大学）；Shanghai Jiao Tong University（上海交通大学）；Jiangsu Normal University（江苏师范大学）
本文提出CROMS框架，通过最优模型选择实现稳健优化与决策风险最小化，提升决策效率。
2025-12-24 cs.LG stat.ME stat.ML
Multi-Agent Decision Transformers for Dynamic Dispatching in Material Handling Systems Leveraging Enterprise Big Data
Industrial A.I. Lab.（工业人工智能实验室）；Hitachi America Ltd.（日立美国有限公司）；JR Automation Collaboration Project（JR自动化合作项目）
本研究探讨决策变换器在实际多智能体物料搬运系统中作为动态调度策略的应用，发现其在原始启发式方法表现中等且无随机性时能显著提升吞吐量，但存在性能边界。
2024-11-04 cs.AI cs.LG cs.MA
DPASF: A Flink Library for Streaming Data preprocessing
University of Granada（格拉纳达大学）；CITIC-UGR (Research Center on Information and Communications Technology)（CITIC-UGR（信息与通信技术研究中心））
数据预处理技术致力于纠正或减轻数据中的错误。离散化和特征选择是两种应用最广泛的数据预处理技术。虽然我们可以找到许多静态大数据预处理的建议，但很少有研究致力于连续大数据问题。Apache Flink是一个新的大数据框架，遵循MapReduce范式，专注于分布式流和批处理数据。在本文中，我们提出了一个用于大数据预处理的数据流库，名为DPASF，在Apache Flink下。我们已经实现了六个最流行的数据预处理算法，三个用于离散化，其余的用于特征选择。这些算法已经使用两个大数据数据集进行了测试。实验结果表明，预处理不仅可以减小数据的规模，而且可以在短时间内保持甚至提高原始精度。DPASF包含处理大数据数据流时有用的算法。库中包含的预处理算法能够有效地处理大数据集并纠正数据中的缺陷。
2018-10-14 cs.DB cs.LG stat.ML
Extended Stochastic Gradient MCMC for Large-Scale Bayesian Variable Selection
Purdue University（普渡大学）
随机梯度马尔可夫链蒙特卡罗（MCMC）算法在大数据问题的贝叶斯计算中受到广泛关注，但它只适用于一类参数空间具有固定维数且对数后验密度关于参数可微的问题。本文提出了一种扩展的随机梯度MCMC算法，通过引入适当的隐变量，该算法可以应用于更一般的大规模贝叶斯计算问题，如涉及维数跳跃和缺失数据的问题。数值实验表明，该算法具有很强的可扩展性，比传统的MCMC算法效率更高。所提出的算法大大减轻了贝叶斯方法在大数据计算中的痛苦。
2020-02-07 cs.LG stat.CO stat.ML
Fully-Dynamic Decision Trees
University of Milan（米兰大学）；Institut Polytechnique de Paris（巴黎理工学院）；Télécom Paris（巴黎电信学院）
我们开发了第一个完全动态的算法，保持一个决策树在一个任意序列的插入和删除标记的例子。给定$ε> 0$，我们的算法保证，在每个时间点，决策树的每个节点使用一个分裂与基尼增益内的添加剂$ε$的最佳。对于实值特征，该算法在每次插入/删除$O\big(\frac{d \log^3 n}{ε^2}\big)$时有一个摊销的运行时间，对于二进制或分类特征，该时间改进为$O\big(\frac{d \log^2 n}ε\big)$，而它使用空间$O(n d)$，其中$n$是任何时间点的最大示例数，$d$是特征数。我们的算法几乎是最优的，因为我们表明，任何具有类似保证的算法使用摊销运行时间$Ω(d)$和空间$\tildeΩ (n d)$。我们补充我们的理论结果与广泛的实验评估现实世界的数据，显示我们的算法的有效性。
2022-12-01 cs.AI cs.DS cs.LG
Decision-Aware Proximal Bridge Learning for Optimal Treatment Selection
Novartis（诺华）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universidad Politécnica de Madrid（马德里理工大学）
本文提出了一种面向决策的近端桥学习方法，通过强调决策相关治疗区域并保留全局稳定性，解决了在近端因果推断中治疗选择和最优决策的不足。
2026-05-16 cs.LG
Non-uniform Feature Sampling for Decision Tree Ensembles
EPFL（洛桑联邦理工学院）；IBM Research Lab, Zurich（IBM苏黎世研究实验室）
研究了非均匀随机特征选择在决策树分类中的有效性。我们实验评估两种特征选择方法，从提供的数据集提取的信息的基础上：$(i)$ \emph{leverage scores-based}和$(ii)$ \emph{norm-based}特征选择。对所提出的特征选择技术的实验评估表明，与朴素的均匀特征选择相比，这种方法可能更有效，而且与随机森林算法[3]具有相当的性能。
2014-03-24 cs.IT cs.LG math.IT
Big Models for Big Data using Multi objective averaged one dependence estimators
Utkal University（乌特卡尔大学）
尽管许多研究者试图探索多目标特征选择的各种可能性，但在数据采掘的应用中，它仍然有待于充分发挥其能力，而不是去开发新的应用。本文采用多目标进化算法ENORA对多类分类问题进行特征选择。为了获得一个快速的混合分类器，该分类器可以有效地从大数据中学习，将朴素贝叶斯算法的一种变体--平均n依赖估计量（n=1）与ENORA算法的有效特征选择相融合。该方法旨在解决从完整数据中寻找最优特征子集这一目前仍是一个难题。所获得的分类器的有效性进行了广泛的评估与一系列最流行的21个现实世界的数据集，从小到大。所获得的结果是令人鼓舞的时间，均方根误差，零一损失和分类精度。
2016-10-25 cs.LG cs.NE
Dynamic Information Sub-Selection for Decision Support
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本研究提出新型AI辅助框架DISS，通过按实例动态选择有效特征与选项供黑盒决策者处理，搭配可扩展频率派数据采集与决策者模拟技术提升预算效率，在多类应用中性能优于现有最优方法。
2024-10-30 cs.LG
Big model only for hard audios: Sample dependent Whisper model selection for efficient inferences
ENS-PSL（巴黎高等师范学院-巴黎文理研究大学）；Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Inria（法国国家信息与自动化研究所）
本文提出训练一个轻量决策模块，根据音频样本难度动态选择最小且足够的Whisper模型进行推理，在保持转录质量的同时显著降低计算成本。
2023-09-22 cs.LG cs.SD eess.AS
Big Batch SGD: Automated Inference using Adaptive Batch Sizes
University of Maryland, College Park（马里兰大学帕克分校）
本文提出大批次SGD方法，通过自适应增长批次大小保持梯度近似信号与噪声比，实现无需凸优化的高效收敛，并支持自动学习率选择。
2017-04-06 cs.LG cs.NA math.NA
Learning-Based Multi-Criteria Decision Model for Site Selection Problems
University of Southern Mississippi（南密西西比大学）
本文提出集成机器学习与多准则决策的选址模型，通过数据驱动方式自动确定因素权重和关键特征，并以密西西比州锯木厂选址案例验证其有效性，适用于多行业选址问题。
2025-04-05 cs.LG
Simple is better: Making Decision Trees faster using random sampling
AI Labs, American Express（美国运通AI实验室）
近年来，梯度提升的决策树在大数据上构建鲁棒的机器学习模型中变得流行。使这些算法成功的主要技术是在构建决策树的同时分布计算。分布式决策树的构建，反过来，已经通过构建大数据集的分位数和从这些分位数集中选择候选分裂点来实现。例如，在XGBoost中，采用复杂的分位数构建算法来识别决策树的候选分裂点。当计算是分布式的时，这种方法通常会产生更好的结果。在本文中，我们消除的概念，这些方法提供了更准确和可扩展的方法，以分布式的方式建立决策树。在一个显着的贡献，我们从理论上和经验表明，随机选择均匀的分裂点提供了相同的，甚至更好的性能方面的准确性和计算效率。因此，与更复杂的方法相比，点的简单随机选择足以用于决策树构建。
2021-08-19 cs.LG
A Markov Decision Process for Variable Selection in Branch & Bound
EDF R&D（EDF研发部）；CNAM Paris（CNAM巴黎分校）；ENSTA IP Paris（ENSTA IP巴黎分校）；ISAE-SUPAERO
本文提出BBMDP，一个用于分支定界中变量选择的标准马尔可夫决策过程框架，可适配多种强化学习算法，实验证明其在四个标准MILP基准上优于现有最先进RL智能体。
2025-10-22 cs.LG
Pseudo Label Selection is a Decision Problem
Ludwig-Maximilians-Universität (LMU)（路德维希-马克西米利安大学（慕尼黑大学））
本文将伪标签选择建模为决策问题，提出贝叶斯框架 BPLS，并用贝叶斯最优的伪后验预测准则及多目标效用函数缓解确认偏差、提升稳健性。
2023-09-26 cs.LG stat.ME stat.ML
Superfast Selection for Decision Tree Algorithms
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
提出Superfast Selection方法，通过降低时间复杂度并消除预编码需求加速决策树分割选择，集成至CART构建UDT，实现高效训练与超参数调优。
2024-06-04 cs.LG
Dynamic Selection in Algorithmic Decision-making
The University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对内生数据在线学习中的动态选择与自证偏差，提出基于工具变量的情境多臂老虎机算法，实现真实参数恢复、低遗憾及中心极限推断。
2023-09-28 cs.LG econ.EM math.OC
Feature selection or extraction decision process for clustering using PCA and FRSD
本文关注的关键决策过程中提取或选择的功能之前，应用聚类算法。评估特征的重要性并不明显，因为最流行的方法通常是针对监督学习技术过程。聚类算法是一种无监督的方法。这意味着没有已知的输出标签与输入数据匹配。本文提出了一种根据数据科学家的参数选择最佳降维方法（选择或提取）的新方法，旨在最终应用聚类过程。它使用基于轮廓分解的特征排名过程（FRSD）算法，主成分分析（PCA）算法和K-Means算法及其度量，轮廓指数（SI）。本文介绍了基于智慧城市数据集的5个用例。本研究还旨在讨论在这种无监督学习过程中可以做出的每种选择的影响、优点和缺点。
2021-11-20 cs.LG
Feature Selection: A Data Perspective
Arizona State University（亚利桑那州立大学）；Michigan State University（密歇根州立大学）
特征选择作为一种数据预处理策略，在为各种数据采掘和机器学习问题准备数据（尤其是高维数据）方面已被证明是有效和高效的。特征选择的目标包括：建立更简单和更容易理解的模型，提高数据采掘性能，并准备干净，可理解的数据。最近大数据的激增给特征选择带来了一些实质性的挑战和机遇。在这次调查中，我们提供了一个全面的和结构化的概述特征选择研究的最新进展。基于当前大数据时代的挑战和机遇，本文从数据的角度回顾了特征选择研究，并对传统数据、结构化数据、异构数据和流数据的典型特征选择算法进行了综述。在方法论上，为了强调传统数据的大多数现有特征选择算法的差异和相似性，我们将它们分为四个主要组：基于相似性的方法，基于信息理论的方法，基于稀疏学习的方法和基于统计的方法。为了方便和促进在这个社区的研究，我们还提出了一个开源的特征选择库，其中包括大多数流行的特征选择算法（\url{http://featureselection.asu.edu/}）。此外，我们用它作为一个例子来说明如何评估特征选择算法。在调查的最后，我们提出了一些开放的问题和挑战，需要更多的关注在未来的研究进行了讨论。
2018-08-26 cs.LG
When Bigger is Worse: A Practitioner's Guide to Model Selection Under Data Scarcity
ENSAE Paris（巴黎高等师范学校）；Centre O.I.E., Mines Paris - PSL University（O.I.E.研究中心，巴黎理工-PSL大学）
在资源受限的地球观测中，YOLO11N在效率和准确率上均优于其他模型，揭示了更大模型未必更优的结论。
2026-07-20 cs.CV cs.LG
Comparative Explanations: Explanation Guided Decision Making for Human-in-the-Loop Preference Selection
Continental Automotive Technologies GmbH, AI Lab Berlin, Germany（大陆汽车技术有限公司，柏林AI实验室，德国）；University of Marburg（马尔堡大学）；Continental Automotive Technologies GmbH, Frankfurt, Germany（大陆汽车技术有限公司，法兰克福，德国）
本文提出比较性解释方法MOLONE，通过同时解释输入特征与输出目标在局部邻域内的重要性，帮助决策者理解多目标权衡，从而在人在回路偏好贝叶斯优化中加速偏好选择与收敛。
2025-08-22 cs.AI cs.LG
Data Warehouse and Decision Support on Integrated Crop Big Data
Ho Chi Minh City Open University（胡志明市开放大学）；University College Dublin（都柏林大学学院）
近年来，精准农业正变得越来越流行。采用现代信息和通信技术收集和处理农业数据，使农业生产发生了革命性变化。这已经开始了一段时间前（20世纪初），它是由收集有关一切的数据的低成本驱动的;从种子，土壤，肥料，害虫等领域的信息到天气数据，无人机和卫星图像。特别是今天的农业数据采掘，无论从数量、种类、速度还是准确性上都被认为是大数据应用。因此，它导致了处理大量复杂多样的信息以为农民、农学家和其他企业提取有用知识的挑战。它是建立作物智能平台的关键基础，这将使高效的资源管理和高质量的农艺决策和建议成为可能。本文设计并实现了一个大陆级农业数据仓库（ADW）。ADW的特点是（1）灵活的模式;（2）来自真实农业多数据集的数据集成;（3）数据科学和业务智能支持;（4）高性能;（5）高存储;（6）安全性;（7）治理和监控;（8）一致性，可用性和分区容忍;（9）云兼容性。我们还评估了ADW的性能，并提出了一些复杂的查询，以提取和返回有关作物管理的必要知识。
2021-04-12 cs.DB cs.DC cs.LG
Decision-Aware Predictive Model Selection for Workforce Allocation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Ottawa（渥太华大学）
本文提出一种决策感知优化框架，将预测模型选择与工人分配集成，利用机器学习预测工人行为并用整数优化分配任务，优于传统方法。
2024-10-10 cs.LG math.OC
Periodic Bandits and Wireless Network Selection
National University of Singapore（新加坡国立大学）
在随机和对抗环境中，已经广泛研究了Bandit风格的算法。这样的算法已经被证明是有用的，在多人设置，例如，解决无线网络选择问题，这可以被公式化为一个对抗的强盗问题。对抗设置的领先强盗算法是EXP3。然而，网络行为通常是重复的，其中用户密度和网络行为遵循规则模式。像EXP3这样的Bandit算法无法为周期性行为提供良好的保证。一个主要原因是这些算法与固定动作策略竞争，固定动作策略在周期性设置中无效。在本文中，我们定义了一个周期性的强盗设置，和周期性的遗憾，这种类型的设置作为一个更好的性能指标。我们的目标不是将算法的性能与固定动作策略进行比较，而是与在一些可能的周期模式$F$（例如，所有可能的周期函数都具有周期$1,2,\cdots,P$）下发挥作用的策略进行竞争。我们提出周期性EXP4，EXP4算法的周期性设置的计算效率的变体。在$K$臂、$T$时间步长和$F$中每个周期模式的长度至多为$P$的情况下，我们证明了由周期EXP4得到的周期遗憾至多为$O\big(\sqrt{PKT \log K + KT \log |F|}\big)$ .我们还证明了一个下限的$Ω\big(\sqrt{PKT + KT \frac{\log |F|}{\log K}} \big)$的周期性设置，这是最佳的对数因子。作为一个例子，我们专注于无线网络选择问题。通过模拟，我们表明，周期性EXP4随着时间的推移…
2019-04-28 cs.LG cs.NI
Sequence-Structured Decision Learning for Branch-and-Bound in Mixed-Integer Linear Programming
Southern University of Science and Technology（南方科技大学）；Dongguan University of Technology（东莞理工学院）
本文提出序列结构化框架Seq-BnB，通过序列化BnB过程事件建模其耦合演化，经DAgger训练后在MILP基准上表现优于基线，可适配更多求解器决策。
2026-10-14 cs.LG
Expert Selection in High-Dimensional Markov Decision Processes
University of California, Berkeley（加州大学伯克利分校）
在这项工作中，我们提出了一个多臂的强盗框架，在马尔可夫决策过程中的在线专家选择，并证明其在高维设置中的使用。我们的方法需要一组候选专家的政策，并在它们之间切换，以快速确定最佳性能的专家使用经典的置信上限算法的变体，从而确保系统的整体性能低遗憾。这在应用程序中很有用，在这些应用程序中，可能有多个专家策略可用，并且需要在运行时为底层环境选择一个。
2020-10-26 cs.AI cs.LG cs.SY
S$^2$FS: Spatially-Aware Separability-Driven Feature Selection in Fuzzy Decision Systems
Department of Electrical and Computer Engineering, University of Alberta（阿尔伯塔大学电气与计算机工程系）；School of Computer Science, Nanjing University（南京大学计算机科学学院）；School of Computer, Jiangsu University of Science and Technology（江苏科技大学计算机学院）
针对模糊决策系统中特征评价与学习目标脱节及距离缺乏方向性的问题，提出S²FS框架，融合标量距离与空间方向信息刻画类内紧致性和类间分离性，并以前向贪心选择特征。
2025-09-30 cs.AI cs.LG
(Un)certainty of (Un)fairness: Preference-Based Selection of Certainly Fair Decision-Makers
Heinrich Heine University（海因里希·海涅大学）
本文提出用贝叶斯统计量化公平性差异的不确定性，基于偏好和效用函数选择最确定公平的决策者，以增强歧视评估。
2024-09-19 cs.AI cs.LG
Impact on Public Health Decision Making by Utilizing Big Data Without Domain Knowledge
本文研究了缺乏领域知识时利用大数据进行公共卫生决策的风险，通过分析纽约市202万张GSV图像与健康数据，发现建成环境特征推断存在对齐不足，并利用因果框架证实了考虑中介因素能更有效地指导肥胖和糖尿病的干预分配。
2024-02-08 cs.CV cs.CY cs.LG
Impartial Selection with Predictions
Max Planck Institut für Informatik（马克斯·普朗克信息学研究所）；Universidad de Chile（智利大学）；Queen Mary University of London（伦敦玛丽女王大学）；Technische Universität Berlin（柏林工业大学）
该研究针对相互提名场景下的无偏智能体选择问题，引入最高提名组预测信息，给出不同场景下机制的一致性与鲁棒性界，证明可在几乎不损失鲁棒性的前提下实现渐近最优一致性。
2025-10-21 cs.GT cs.LG econ.TH
Large-Scale Strategic Games and Adversarial Machine Learning
The University of Melbourne（墨尔本大学）
在现代大规模和复杂的系统，如通信网络，智能电网和网络物理系统的决策激励新的博弈论方法。本文研究了大的战略（非合作）游戏，其中有限数量的个人局中人都有大量的连续决策变量和输入数据点。这种高维决策空间和大数据集导致了计算挑战，涉及到非线性优化扩展到大型变量系统的努力。除了这些计算挑战之外，由于识别偏好参数的成本过高或由于在动态在线设置中操作，现实世界的玩家通常具有关于其偏好参数的有限信息。有限信息的挑战在高维度和大数据集中加剧。由于计算和信息的限制，限制了大战略博弈的直接解决方案，我们的调查中心约简使用线性变换，如随机投影方法及其对纳什均衡解决方案的影响。具体的分析结果二次游戏和近似。此外，提出了一个对抗性学习游戏，其中随机投影和抽样方案进行了研究。
2016-09-21 cs.GT cs.LG
On the utility of feature selection in building two-tier decision trees
如今，当存在由于过拟合而导致的性能下降的风险时或者当计算资源有限时，特征选择被频繁地用于机器学习。在特征选择过程中，选择最相关和最少冗余的特征子集。近年来，人们逐渐认识到，除了相关性和冗余性之外，特征的互补性也必须被考虑。非正式地说，如果这些特征分别是目标变量的弱预测因子，而组合时是强预测因子，则它们是互补的。本文证明了在构造两层决策树时，互补特征的协同效应会被另一特征干扰，从而导致性能下降。通过对合成和真实数据集、回归和分类进行交叉验证，证明了去除或消除干扰特征可以将性能提高24倍。人们还发现，学习的领域越少，性能的提高就越大。更正式地说，它表明，有一个统计上显着的负秩相关性的数据集上的性能之前，消除干扰功能和性能增长后，消除干扰功能。它的结论是，这拓宽了范围的特征选择方法的情况下，数据和计算资源是足够的。
2022-12-29 cs.AI cs.LG
Selecting Decision-Relevant Concepts in Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；New York University（纽约大学）
本文提出决策相关选择算法，通过状态抽象视角自动选择决策相关的概念，提升强化学习策略的可解释性和性能。
2026-04-06 cs.AI cs.LG
Memory Enriched Big Bang Big Crunch Optimization Algorithm for Data Clustering
University of Tehran（德黑兰大学）
聚类分析在许多基于知识的系统的决策过程中起着重要的作用。存在各种不同的聚类方法，包括启发式技术，概率模型和传统的分层算法。提出了一种基于大爆炸-大紧缩算法的启发式聚类算法。该方法不仅利用启发式性质，以减轻典型的聚类算法，如k-均值，但它也受益于基于内存的计划相比，其类似的启发式技术。此外，所提出的算法的性能进行了研究的基础上的几个基准测试功能，以及在知名的数据集。实验结果表明，该方法明显优于同类算法。
2017-03-08 cs.AI cs.LG
Implementation of Big Data Analytics for Diabetes Management: Needs Assessment in the Rwanda Healthcare System
University of Rwanda（卢旺达大学）
本研究通过利益相关者研讨会评估卢旺达医疗系统采用大数据分析管理糖尿病的准备情况，并提出了一个基于可解释机器学习模型的实用框架。
2026-05-26 cs.AI cs.CY cs.LG
Selection as Power: Constrained Reinforcement for Bounded Decision Authority
AI Lab, Grupo Santander Madrid, Spain（Grupo Santander 马德里实验室）
本文提出了一种动态激励性选择治理框架，通过受约束的强化学习方法，在保持有限决策权的同时实现适应性改进。
2026-03-02 cs.AI cs.CE cs.LG
