A comparative study of non-deep learning, deep learning, and ensemble learning methods for sunspot number prediction
New York University（纽约大学）；East China Normal University（华东师范大学）；Southern University of Science and Technology（南方科技大学）
太阳活动对人类活动和健康有着重要影响。一个最常用的测量太阳活动的方法是太阳黑子数。本文比较了三种重要的非深度学习模型，四种流行的深度学习模型及其五种集成模型在预测太阳黑子数量方面的差异。特别是，我们提出了一种集成模型XGBoost-DL，它使用XGBoost作为两级非线性集成方法来组合深度学习模型。我们的XGBoost-DL实现了最佳的预测性能（RMSE = 25.70和MAE = 19.82），优于最佳非深度学习模型SARIMA（RMSE = 54.11和MAE = 45.51），最佳深度学习模型Informer（RMSE = 29.90和MAE = 22.35）和NASA的预测（RMSE = 48.38和MAE = 38.45）。我们的XGBoost-DL预测太阳黑子数量在2025年5月达到峰值133.47，在2035年11月达到峰值164.62，类似于NASA在2024年10月的137.7和2034年12月的161.2。用于太阳黑子数量预测的XGBoost-DL的开源Python包可在https://github.com/yd1008/ts_ensemble_sunspot上获得。
2022-05-25 astro-ph.SR cs.AI cs.LG
META-DES: A Dynamic Ensemble Selection Framework using Meta-Learning
University of Quebec（魁北克大学）；Universidade Federal de Pernambuco（伯南布哥联邦大学）
动态集成选择系统通过从分类器池中估计每个分类器的能力水平来工作。只选择最有能力的人来分类给定的测试样本。这是通过定义一个标准来衡量一个基本分类器的能力水平，例如，它在查询实例周围的特征空间的局部区域的准确性。然而，只使用一个基本分类器的行为的标准是不够的，以准确地估计其能力水平。在本文中，我们提出了一种新的动态集成选择框架，使用元学习。我们提出了五组不同的元特征，每一个对应于一个不同的标准来衡量一个分类器的输入样本的分类能力的水平。从训练数据中提取元特征，并将其用于训练元分类器，以预测基本分类器是否足以胜任对输入实例进行分类。在泛化阶段，从查询实例中提取元特征，并将其作为输入传递给元分类器。元分类器估计基础分类器是否足够胜任以被添加到集成。对几个小样本分类问题进行了实验，即，由于缺乏训练数据而具有高度不确定性的问题。实验结果表明，所提出的元学习框架大大提高了分类精度相比，目前国家的最先进的动态集成选择技术。
2018-09-30 cs.AI cs.LG stat.ML
On Meta-Learning for Dynamic Ensemble Selection
École de technologie supérieure - Université du Québec（魁北克大学高等技术学院）；Centro de Informática - Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）
在本文中，我们提出了一种新的动态集成选择框架，使用元学习。该框架分为三个步骤。在第一步骤中，从训练数据生成分类器池。第二阶段主要负责元特征的提取和元分类器的训练。提出了五个不同的元特征集，每一个对应于一个不同的标准来衡量一个给定的查询样本的分类的能力水平。元特征使用训练数据来计算，并用于训练元分类器，该元分类器能够预测来自池的基本分类器是否足以胜任对输入实例进行分类。三种不同的训练方案的元分类器的训练被认为是：问题相关的，问题无关的和混合。实验结果表明，问题相关的场景提供了最好的结果。此外，问题相关场景的性能与系统的识别率密切相关。与最先进的技术的比较表明，所提出的依赖的方法优于当前的动态集成选择技术。
2018-11-01 cs.AI cs.LG stat.ML
META-DES.H: a dynamic ensemble selection technique using meta-learning and a dynamic weighting approach
École de technologie supérieure - Université du Québec（魁北克大学高等技术学院）；Centro de Informática - Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）
在动态包围圈选择（DES）技术中，只有最称职的分类器被选择来分类给定的查询样本。因此，DES的关键问题是如何估计池中每个分类器的能力，以选择最有能力的。为了解决这个问题，我们提出了一种新的动态集成选择框架，使用元学习，称为META-DES。该框架分为三个步骤。在第一步骤中，从训练数据生成分类器池。在第二阶段，使用训练数据计算元特征，并将其用于训练元分类器，该元分类器能够预测来自池的基本分类器是否足以胜任对输入实例进行分类。在本文中，我们提出了改进的训练和推广阶段的META-DES框架。在训练阶段，我们评估了四种不同的元分类器训练算法。对于泛化阶段，评估了三种组合方法：动态选择，其中仅选择达到一定能力水平的分类器;动态加权，其中元分类器估计池中每个分类器的能力，并且池中所有分类器的输出基于其能力水平加权;以及混合方法，其中首先选择具有最胜任的分类器的集合，之后估计所选择的分类器的权重以便在加权多数表决方案中使用。在30个分类数据集上进行了实验。实验结果表明，本文提出的变化显着提高了系统的识别精度在几个数据集。
2018-11-01 cs.AI cs.LG stat.ML
Ensemble Methodology:Innovations in Credit Default Prediction Using LightGBM, XGBoost, and LocalEnsemble
Miami University（迈阿密大学）；University of Pittsburgh（匹兹堡大学）；Northern Arizona University（北亚利桑那大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Trine University（特里恩大学）；Boston University（波士顿大学）
针对消费信贷中的违约预测问题，本文提出融合 LightGBM、XGBoost 与 LocalEnsemble 的集成框架，通过多特征集增强多样性和泛化能力，并验证其有效性。
2024-02-28 cs.AI cs.CE cs.LG
Evaluating Deep Neural Network Ensembles by Majority Voting cum Meta-Learning scheme
Delhi Technological University（德里理工大学）
深度神经网络（DNN）容易过拟合，因此具有高方差。过度拟合的网络对于新的数据实例表现不佳。因此，我们不使用单个DNN作为分类器，而是提出了七个独立DNN学习器的集成，只改变这些DNN的输入，保持它们的架构和内在属性相同。为了在训练输入中引入多样性，对于七个DNN中的每一个，七分之一的数据被删除，并通过从剩余样本中进行自举采样来补充。我们提出了一种新的技术，用于在集成中结合DNN学习器的预测。我们的方法被称为通过多数投票结合堆叠元学习者的预过滤，它在分配最终类标签之前对预测执行两步置信度检查。本文中的所有算法都在五个基准数据集上进行了测试，这五个基准数据集分别是：人类活动识别（HAR）、气体传感器阵列漂移、Isolet、垃圾邮件库和互联网广告。我们的集成方法实现了比单个DNN和集成中DNN的平均个体准确度更高的准确度，以及多个投票和元学习的基线方法。
2021-05-09 cs.LG
Tabular Data: Deep Learning is Not All You Need
Intel（英特尔）
解决现实数据科学问题的一个关键因素是选择要使用的模型类型。树集成模型（如XGBoost）通常被推荐用于表格数据的分类和回归问题。然而，最近已经提出了几种用于表格数据的深度学习模型，声称在某些用例中优于XGBoost。本文通过在各种数据集上将新的深度模型与XGBoost进行严格比较，探讨这些深度模型是否应该成为表格数据的推荐选项。除了系统地比较它们的性能外，我们还考虑了它们所需的调整和计算。我们的研究表明，XGBoost在数据集上优于这些深度模型，包括提出深度模型的论文中使用的数据集。我们还证明了XGBoost需要更少的调整。从积极的方面来看，我们表明，深度模型和XGBoost的集成在这些数据集上的表现比单独的XGBoost更好。
2021-11-23 cs.LG
Fusing Sequence Motifs and Pan-Genomic Features: Antimicrobial Resistance Prediction using an Explainable Lightweight 1D CNN-XGBoost Ensemble
BRAC University（布拉克大学）；Independent University Bangladesh (IUB)（独立大学Bangladesh）
针对现有AMR预测方法忽略序列上下文或计算成本高的问题，提出AMR-EnsembleNet，融合轻量级1D CNN和XGBoost，在809株大肠杆菌上对四种抗生素预测达到顶级性能，验证了序列与特征学习的协同优势。
2026-09-09 cs.AI cs.LG q-bio.GN
Adaptive XGBoost for Evolving Data Streams
University of Waikato（怀卡托大学）；Télécom ParisTech（巴黎高等电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
Boosting是一种集成方法，它以顺序的方式组合基础模型以实现高预测精度。基于这种集成方法的流行的学习算法是极限梯度提升（XGB）。我们提出了一个适应XGB的分类不断发展的数据流。在这种情况下，随着时间的推移，新的数据到达，类和特征之间的关系可能会在过程中发生变化，从而表现出概念漂移。所提出的方法创建新的成员的合奏从小批量的数据作为新的数据变得可用。最大集成大小是固定的，但是当达到这个大小时，学习不会停止，因为集成会在新数据上更新，以确保与当前概念的一致性。我们还探索了使用概念漂移检测来触发更新集合的机制。我们测试我们的方法在真实和合成数据与概念漂移，并比较它对批量增量和实例增量分类方法的数据流。
2020-05-15 cs.LG stat.ML
A DEEP analysis of the META-DES framework for dynamic selection of ensemble of classifiers
École de Technologie Supérieure, University of Quebec（魁北克大学高等技术学院）；Universidade Federal de Pernambuco（伯南布哥联邦大学）
动态集成选择（DES）技术的工作原理是从一个分类器池中估计每个分类器的能力水平。只选择最有能力的人来分类给定的测试样本。因此，在DES的关键问题是用于估计的能力水平的分类器在预测一个给定的测试样本的标签的标准。为了执行更鲁棒的集成选择，我们提出了使用元学习的META-DES框架，其中多个标准被编码为元特征，并传递到一个元分类器，该元分类器被训练以估计给定分类器的能力水平。在这份技术报告中，我们对框架在训练和测试期间的每个阶段进行了逐步分析。我们展示了如何提取每组元特征以及它们对基础分类器的能力水平估计的影响。此外，分析了几个因素对系统性能的影响，如池中分类器的数量，使用不同的线性基分类器，以及验证数据的大小。我们表明，通过META-DES框架使用线性分类器的动态选择，我们可以解决复杂的非线性分类问题，其他组合技术，如AdaBoost不能。
2015-09-11 cs.LG stat.ML
A Novel Decision Ensemble Framework: Customized Attention-BiLSTM and XGBoost for Speculative Stock Price Forecasting
University of Engineering and Applied Sciences (UEAS)（工程与应用科学大学）；University of Engineering and Technology (UET)（工程技术大学）
本文提出CAB-XDE框架，融合定制化注意力BiLSTM与XGBoost，并通过误差倒数权重迭代优化和预测拼接集成，在比特币价格预测上取得优于现有模型的精度。
2024-01-05 cs.CE cs.LG q-fin.ST
Ensemble Genetic Programming
Faculdade de Ciências da Universidade de Lisboa（里斯本大学科学学院）
包围学习是一种强大的范例，已被用于最先进的机器学习方法，如随机森林和XGBoost。受这些方法成功的启发，我们开发了一种新的遗传编程方法，称为Enhancement GP。它的进化周期与其他遗传程序设计系统相同，但在种群结构、适应度评价和遗传算子等方面有所不同。我们已经在八个二进制分类问题上测试了这种方法，结果明显优于标准GP，模型要小得多。虽然其他方法如M3GP和XGBoost是最好的整体，EnergyGP能够实现特别好的泛化结果在一个特别困难的问题，没有其他方法能够成功。
2020-01-21 cs.LG cs.NE stat.ML
ChequeMark: An Ensemble Machine Learning Framework for After-Hours Business Deposit Fraud Detection
Royal Bank of Canada（加拿大皇家银行）
针对非工作时段商业存款的支票欺诈风险，ChequeMark多视图集成ML框架结合XGBoost、Isolation Forest与GraphSAGE生成客户风险评分，在分布偏移场景下性能优于单一模型，提升了鲁棒性与可解释性。
2026-08-25 cs.LG
Enhanced Credit Score Prediction Using Ensemble Deep Learning Model
University of Chicago（芝加哥大学）；Lowell University（洛厄尔大学）；University of California Berkeley（加州大学伯克利分校）；UMass University（马萨诸塞大学）；Yale University（耶鲁大学）；Purdue University（普渡大学）
本文提出一种结合Random Forest、XGBoost和TabNet并运用stacking技术的集成深度学习模型，通过Precision、Recall、F1和AUC等指标验证，显著提升了信用评分预测的准确性。
2024-11-12 cs.LG
ItLnc-BXE: a Bagging-XGBoost-ensemble method with multiple features for identification of plant lncRNAs
College of Informatics, Huazhong Agricultural University（华中农业大学信息学院）；College of Public Management, Huazhong Agricultural University（华中农业大学公共管理学院）；Schaefer School of Engineering & Science, Stevens Institute of Technology（史蒂文斯理工学院沙费尔工程与科学学院）
动机：由于长链非编码RNA（longnon-codingRNA，lncRNA）在细胞和发育过程中发挥着广泛的作用，越来越多的方法被用来区分lncRNA和编码RNA。然而，现有的方法大多是针对动物系统中的lncRNA设计的，只有少数方法专注于植物lncRNA的鉴定。与动物系统中的lncRNA不同，植物lncRNA具有独特的特征。需要开发一种用于准确和稳健地鉴定植物lncRNA的计算方法。结果：本文提出了一种基于多特征和集成学习策略的植物lncRNA识别方法ItLnc-BXE。首先，收集lncRNA特征的多样性，并通过特征选择来过滤以表示RNA转录物。然后，多个基本学习者被训练，并进一步组合成一个单一的元学习者集成学习，从而ItLnc-BXE模型的构建。在6种植物的数据集上对ItLnc-BXE模型进行了评价，结果表明ItLnc-BXE模型优于其他最先进的植物lncRNA鉴定方法，具有更好的性能和鲁棒性（AUC>95.91%）。我们还进行了跨物种lncRNA鉴定的实验，结果表明，基于双子叶植物和单子叶植物的lncRNA鉴定模型可以准确地鉴定低等植物如苔藓和藻类中的lncRNA。可用性：源代码可在https://github.com/BioMedicalBigDataMiningLab/ItLnc-BXE上获得。联系：zhangwen@mail.hzau.edu.cn（或）zhangwen…
2020-01-24 cs.LG q-bio.GN
TFT-ACB-XML: Decision-Level Integration of Customized Temporal Fusion Transformer and Attention-BiLSTM with XGBoost Meta-Learner for BTC Price Forecasting
University of Engineering and Applied Sciences (UEAS)（工程与应用科学大学（UEAS））；King Fahad University of Petroleum and Minerals (KFUPM)（法赫德国王石油与矿产大学（KFUPM））
TFT-ACB-XML通过集成定制的时序融合变换器和注意力双向LSTM，结合XGBoost元学习器，提升比特币价格预测的准确性。
2026-02-12 cs.AI cs.CV cs.LG
AFEN: Respiratory Disease Classification using Ensemble Learning
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文提出 AFEN 集成模型，融合多特征 CNN 与 XGBoost，并通过软投票和数据增强对呼吸音进行疾病分类，在 920 条样本上取得新的最优精确率、召回率，并减少 60% 训练时间。
2024-05-08 cs.AI cs.LG cs.SD
Click prediction boosting via Bayesian hyperparameter optimization based ensemble learning pipelines
Istanbul Technical University（伊斯坦布尔理工大学）；Donders Institute for Brain, Cognition and Behaviour, Radboud University Medical Center（拉德堡德大学医学中心唐德斯脑、认知与行为研究所）；Kadir Has University（卡迪尔哈斯大学）
本文通过贝叶斯超参数优化和集成学习提升酒店点击预测性能，实验表明集成模型比单一模型提升了约10%的预测效果。
2022-06-24 cs.LG
Comparative Analysis of Modern Machine Learning Models for Retail Sales Forecasting
Faculty of Electrical Engineering and Computing, University of Zagreb（Zagreb大学电气工程与计算学院）；It From Bit d.o.o.（It From Bit公司）；Babson College（巴布森学院）；mStart Plus d.o.o.（mStart Plus公司）
本文比较了现代机器学习模型在零售销售预测中的表现，发现基于树的集成方法在特定条件下表现更优。
2026-03-11 cs.AI cs.LG
Ensemble Classifier Design Tuned to Dataset Characteristics for Network Intrusion Detection
University of Toledo（托莱多大学）
基于机器学习的监督方法需要高度定制和微调的方法来提供出色的性能。针对网络入侵数据集UNSW-NB 15，提出了一种基于数据集驱动的机器学习分类器设计和性能评估。对数据集的分析表明，它在特征空间中存在类表示不平衡和类重叠。我们采用集成方法，使用平衡装袋（BB），极限梯度提升（XGBoost），和随机森林授权的Hellinger距离决策树（RF-HDDT）。BB和XGBoost被调整以处理不平衡数据，并且随机森林（RF）分类器由Hellinger度量补充以解决不平衡问题。提出了两种新的算法来解决数据集中的类重叠问题。这两种算法被用来帮助提高测试数据集的性能，通过修改由三个基本分类器作为集成分类器的一部分，采用多数表决组合器的最终分类决策。所提出的设计进行评估，为二进制和多类别分类。将所提出的模型与文献中相同数据集上报告的模型进行比较，表明所提出的模型在二进制和多类别分类情况下均显著优于其他模型。
2022-05-08 cs.AI cs.CR cs.DB
Wine Quality Prediction with Ensemble Trees: A Unified, Leak-Free Comparative Study
South China University of Technology（华南理工大学）
本文在 Vinho Verde 红白葡萄酒数据集上无泄漏比较五种集成树模型，发现 Gradient Boosting 精度最高，而 Random Forest 综合成本效益最佳。
2025-05-30 cs.LG
Tree Ensembles for Contextual Bandits
Chalmers University of Technology and University of Gothenburg（查尔姆斯理工大学和哥德堡大学）；Volvo Car Corporation（沃尔沃汽车公司）
本文提出基于树集成的上下文老虎机框架，通过改进不确定性估计方法，在减少遗憾和提升计算效率方面优于传统方法。
2024-11-01 cs.AI cs.LG stat.ML
An AutoML-based approach for Network Intrusion Detection
North Carolina A&T State University（北卡罗来纳农工州立大学）；South Carolina State University（南卡罗来纳州立大学）
本文提出一种基于MLJAR AutoML框架的堆叠集成网络入侵检测方法，在NSL-KDD数据集上取得90%准确率和89% F1分数，优于随机森林、XGBoost、CatBoost和LightGBM等单一模型。
2024-11-24 cs.LG
A Hybrid Predictive Ensemble of Machine Learning and Deep Neural Networks for Early Cardiovascular Disease Risk Assessment
本研究提出一种集成机器学习与深度神经网络的智能框架，利用IoMT设备数据经预处理后，通过SVM、Random Forests、XGBoost集成模型评估心血管疾病风险，实验证实其早期评估效率与临床决策支持价值。
2026-09-07 cs.AI cs.LG
Ensemble Squared: A Meta AutoML System
University of British Columbia（不列颠哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）
目前有许多障碍阻止非专家利用机器学习解决方案，从缺乏统计学习技术的直觉到超参数调整的棘手性。这些障碍导致了人们对自动化机器学习（AutoML）的兴趣激增，通过这种方式，现成的系统可以为最终用户处理许多步骤，而不需要机器学习方面的专业知识。本文介绍了Ensemble Squared（Ensemble $^2$），这是一个AutoML系统，集成了最先进的开源AutoML系统的结果。Ensemble $^2$通过利用现有AutoML系统在模型搜索空间和语义学方面的差异来利用现有AutoML系统的多样性。从经验上讲，我们表明，每个AutoML系统的多样性足以证明在AutoML系统级别的集成。为了证明这一点，我们还在OpenML表格分类基准上建立了新的最先进的AutoML结果。
2021-06-19 cs.AI cs.LG
Enhancing Customer Churn Prediction in Telecommunications: An Adaptive Ensemble Learning Approach
KLS Gogte Institute of Technology（KLS戈格特理工学院）；Ramaiah Institute of Technology（拉迈亚理工学院）
本文提出一种结合XGBoost、LightGBM、LSTM、MLP和SVM的自适应集成学习框架，通过stacking方法和特征工程优化电信客户流失预测，在三个公开数据集上达到99.28%的准确率，助力主动客户保留策略。
2024-08-29 cs.LG
KANEL: Kolmogorov-Arnold Network Ensemble Learning Enables Early Hit Enrichment in High-Throughput Virtual Screening
AI1 Technologies（AI1 科技公司）；KAN Technologies, LLC（KAN 科技有限公司）；UNC-Chapel Hill（北卡罗来纳大学教堂山分校）
KANEL通过结合可解释的Kolmogorov-Arnold网络与XGBoost等模型，提升高通量虚拟筛选中早期命中富集的准确性。
2026-03-25 cs.LG physics.chem-ph q-bio.QM
LCCDE: A Decision-Based Ensemble Framework for Intrusion Detection in The Internet of Vehicles
Western University（韦仕敦大学）；S2E Technologies（S2E科技公司）
现代车辆，包括自动驾驶车辆和联网车辆，通过与其他车辆、智能设备和基础设施的连接和通信，采用了越来越多的功能。然而，车联网（IoV）的连接性不断增长，也增加了网络攻击的脆弱性。为了保护IoV系统免受网络威胁，已经使用机器学习（ML）方法开发了可以识别恶意网络攻击的入侵检测系统（IDS）。为了准确检测车联网网络中的各种类型的攻击，我们提出了一种新的集成IDS框架命名为领导类和信心决策Entrance（LCCDE）。它是通过为每种攻击类别或类型确定三种高级ML算法（XGBoost，LightGBM和CatBoost）中性能最佳的ML模型来构建的。然后利用具有预测置信度值的类领导模型来做出关于检测各种类型的网络攻击的准确决策。在两个公共车联网安全数据集（Car-Hacking和CICIDS 2017数据集）上的实验证明了所提出的LCCDE对车内和外部网络入侵检测的有效性。
2022-09-01 cs.AI cs.CR cs.LG
BoostTree and BoostForest for Ensemble Learning
Huazhong University of Science and Technology（华中科技大学）；Shenzhen Huazhong University of Science and Technology Research Institute（深圳华中科技大学研究院）；Autonomous Intelligence Unmanned Systems Engineering Research Center of Ministry of Education of China（教育部自主智能无人系统工程研究中心）；State Key Lab of Digital Manufacturing Equipment and Technology（数字制造装备与技术国家重点实验室）
Bootstrap aggregation（Bagging）和boosting是两种流行的集成学习方法，它们结合多个基本学习器来生成复合模型，以获得更准确和更可靠的性能。它们已被广泛应用于生物学，工程，医疗保健等。本文提出BoostForest，这是一种集成学习方法，使用BoostTree作为基本学习器，可用于分类和回归。BoostTree通过梯度提升构造树模型。它通过在节点分裂时随机绘制切割点来增加随机性（多样性）。BoostForest通过在构建不同BoostTree时自举训练数据来进一步增加随机性。BoostForest在35个分类和回归数据集上的表现通常优于四种经典的集成学习方法（随机森林，Extra-Trees，XGBoost和LightGBM）。值得注意的是，BoostForest通过简单地从参数池中随机采样来调整其参数，参数池可以很容易地指定，其集成学习框架也可以用于组合许多其他基础学习器。
2022-12-06 cs.LG stat.ML
Linear Iterative Feature Embedding: An Ensemble Framework for Interpretable Model
Wells Fargo（富国银行）
一种新的集成框架解释模型称为线性迭代特征嵌入（LIFE）已被开发，以实现高的预测精度，易于解释和高效的计算同时。LIFE算法能够准确地拟合宽单隐层神经网络（NN），其步骤为：通过神经节点的线性投影定义数据集的子集，从在数据的不同子集上训练的多个窄单隐层NN创建特征，将特征与线性模型相结合。LIFE背后的理论基础也提供了堆栈集成方法的损失模糊度分解的连接。仿真和实证实验都证实了LIFE的性能始终优于直接训练的单隐层NN，并且在许多实验中也优于许多其他基准模型，包括多层前馈神经网络（FFNN），Xgboost和随机森林（RF）。作为一个宽的单隐层神经网络，LIFE本质上是可解释的。同时，变量重要性和全局主效应和交互效应都可以轻松创建和可视化。此外，基本学习者构建的并行性质使得LIFE通过利用并行计算在计算上高效。
2021-03-18 cs.LG stat.ML
A study on Ensemble Learning for Time Series Forecasting and the need for Meta-Learning
NEC Laboratories Europe GmbH（NEC欧洲研究院）
本文的贡献有两个方面：（1）我们引入了一系列用于时间序列预测的集成方法，以组合来自基础模型的预测。我们展示了集成学习预测能力的见解，展示了来自M4，M5，M3竞赛以及FRED（美联储经济数据）数据集的大约16000个公开数据集的实验结果。虽然实验表明，集成提供了预测结果的好处，没有明确的获胜集成策略（加上超参数配置）。因此，此外，（2），我们提出了一个元学习步骤，为每个数据集选择最合适的集成方法及其超参数配置，以基于数据集元特征运行。
2021-04-23 cs.LG
Enhanced Anomaly Detection in IoMT Networks using Ensemble AI Models on the CICIoMT2024 Dataset
D Y Patil International University（DY Patil国际大学）
针对IoMT网络的独特安全挑战，本研究基于CICIoMT2024数据集开发实时异常检测框架，整合多维度数据并采用集成、序列及无监督模型，实验表明集成模型能降低误报率和漏检率。
2025-02-17 cs.CR cs.LG
Metacognitive Selective Ensemble for Mobile Systems
Yonsei University（延世大学）；Dankook University（檀国大学）
提出MetaSE主动集成框架，利用可靠性短期持续性维护小型活跃集，在移动感知中实现高效推理，性能优于固定集成且接近全集成，速度提升2.7倍。
2026-09-28 cs.LG
Unraveling Cold Start Enigmas in Predictive Analytics for OTT Media: Synergistic Meta-Insights and Multimodal Ensemble Mastery
Cognizant Technology Solutions India Pvt. Ltd.（高知特印度私人有限公司）
本研究提出一种利用元数据和多模型集成技术解决OTT媒体冷启动问题的通用方法，通过特征工程、模型选择和加权平均集成，显著提升预测准确性。
2023-05-14 cs.LG
Privacy-Preserving Hybrid Ensemble Model for Network Anomaly Detection: Balancing Security and Data Protection
Stevens Institute of Technology（史蒂文斯理工学院）；UCLA（加利福尼亚大学洛杉矶分校）；Virginia Tech（弗吉尼亚理工大学）；University of Southern California（南加利福尼亚大学）
本文提出融合 KNN、SVM、XGBoost 与 ANN 的隐私保护混合集成模型，并结合先进预处理应对小样本和数据不平衡，以兼顾网络异常检测性能与数据隐私。
2025-02-13 cs.LG
Regularized boosting with an increasing coefficient magnitude stop criterion as meta-learner in hyperparameter optimization stacking ensemble
ArcelorMittal（安赛乐米塔尔）；University of Oviedo（奥维耶多大学）
针对超参数优化堆叠集成中元学习器易受多重共线性影响、需调优等问题，提出带隐式正则化和专属非参数停止准则的提升元学习器，无需调优且预测性能更具竞争力。
2024-02-02 cs.LG
Gaussian Meta-Space Augmentation for Stacking Ensembles in Multimodal IPMN Risk Stratification
Northwestern University（西北大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Istanbul University（伊斯坦布尔大学）；Mayo Clinic Florida（佛罗里达州梅奥诊所）
该研究针对IPMN风险分层问题，提出cUPMI方法并结合多模态信息融合，构建RF堆叠模型，在多中心分析中取得优于基线的性能。
2026-08-13 cs.CV cs.LG
Boosting-Based Sequential Meta-Tree Ensemble Construction for Improved Decision Trees
本研究提出一种基于提升的序列元树集成构建方法，旨在解决决策树过拟合问题，并通过实验证明其优于传统决策树集成。
2024-02-09 cs.LG stat.ML
Towards an Ensemble Regressor Model for Anomalous ISP Traffic Prediction
University of Western Ontario（西安大略大学）；Juniper Networks（瞻博网络）
网络流量行为预测对于现代电信网络的有效管理具有重要意义。然而，使用管理经验和市场分析数据预测网络流量的直观方法对于有效的预测框架是不够的。因此，人们研究了许多不同的数学模型来捕捉网络流量的总体趋势并进行相应的预测。但是，不同的回归模型和他们的集成的综合性能分析还没有研究之前，用于分析现实世界的异常流量。本文分析了几种回归模型，如XGBoost、LightGBM、随机梯度下降、梯度提升回归量（GBR）和CatBoost回归量，并将其应用于无异常和有异常的实际流量预测中，说明了异常检测在实际流量预测中的重要性。此外，我们还展示了集合回归模型优于个体预测模型的表现。我们比较了基于长度为6、9、12、15和18的五个不同特征集的不同回归模型的性能。我们的集成回归模型实现了实际流量和预测流量之间的最小平均差距为5.04%，有9个离群值调整输入。总的来说，我们的实验结果表明，数据中的离群值会显著影响预测的质量。因此，离群值检测和缓解有助于回归模型学习总体趋势并做出更好的预测。
2022-05-03 cs.LG cs.NI
Meta-Ensemble Parameter Learning
Meituan（美团）
机器学习模型的嵌入产生改进的性能以及鲁棒性。然而，它们的内存需求和推理成本可能非常高。知识蒸馏是一种允许单个模型有效地捕获集成的近似性能的方法，同时在引入新的教师模型时，由于重新训练的需求而显示出较差的可扩展性。在本文中，我们研究是否可以利用元学习策略直接预测单个模型的参数，并且具有与系综相当的性能。在这里，我们介绍了WeightFormer，这是一种基于Transformer的模型，可以根据教师模型参数在前向传递中逐层预测学生网络权重。在CIFAR-10、CIFAR-100和ImageNet数据集上针对VGGNet-11、ResNet-50和ViT-B/32的模型结构研究了WeightFormer的特性，结果表明，我们的方法可以实现集成的近似分类性能，并且优于单个网络和标准知识蒸馏。更令人鼓舞的是，我们表明，只需进行微小的微调，WeightFormer结果就可以进一步超过平均总体结果。重要的是，我们的任务以及模型和结果可能会导致一个新的，更有效的，可扩展的集成网络参数学习范式。
2022-10-05 cs.CV cs.LG
Two-Step Meta-Learning for Time-Series Forecasting Ensemble
Kaunas University of Technology（考纳斯理工大学）；Rivile（Rivile私人有限责任公司）
收集的历史数据量增加，对自动预测时间序列的商业智能适用性的需求很高。虽然没有一个单一的时间序列建模方法是通用的所有类型的动态，预测使用的几种方法的合奏往往被视为一种妥协。我们建议使用元学习自适应地预测这些方面，而不是固定集成多样性和大小。这里的元学习考虑了两个独立的随机森林回归模型，建立在390个时间序列特征上，对22个单变量预测方法进行排名并推荐集成大小。因此，预测集合由排名最佳的方法组成，并使用简单平均或加权平均（权重对应于倒数排名）来汇总预测。所提出的方法进行了测试12561微观经济时间序列（扩大到38633各种预测视野）的M4竞争，元学习优于Theta和梳基准的相对预测误差为所有数据类型和视野。通过加权合并获得了最佳总体结果，对称平均绝对百分比误差为9.21%，而使用Theta方法获得的平均绝对百分比误差为11.05%。
2022-04-15 cs.LG stat.ME stat.ML
META-DES.Oracle: Meta-learning and feature selection for ensemble selection
École de Technologie Supérieure, University of Quebec（魁北克大学高等技术学院）；Universidade Federal de Pernambuco（伯南布哥联邦大学）
动态包围圈选择（DES）的关键问题是定义一个合适的标准来计算分类器的能力。有几个标准可用于衡量基本分类器的能力水平，例如局部准确性估计和排名。然而，仅使用一个标准可能导致分类器能力的差估计。为了解决这个问题，我们提出了一种新的动态集成选择框架，使用元学习，称为META-DES。META-DES框架的一个重要方面是，可以将多个标准嵌入到系统中，编码为不同的元特征集。然而，有些DES准则并不适用于所有的分类问题。例如，当类别之间存在高度重叠时，局部准确度估计可能产生差的结果。此外，如果元分类器的性能针对相应的数据进行优化，则可以获得更高的分类精度。在本文中，我们提出了一个新的版本的META-DES框架的基础上正式定义的Oracle，称为META-DES. Oracle。Oracle是一个抽象的方法，代表了一个理想的分类器选择方案。为了提高元分类器的性能，提出了一种使用过拟合谨慎二进制粒子群优化算法（BPSO）的Meta特征选择方案。元分类器获得的输出与Oracle提供的输出之间的差异被最小化。因此，期望元分类器获得与Oracle相似的结果。使用30个分类问题进行的实验表明，基于Oracle定义的优化过程相比，以前版本的META-DES框架和其他国家的最先进的DES技术的分类精度显着提高。
2018-11-01 cs.LG stat.ML
A Meta-Method for Portfolio Management Using Machine Learning for Adaptive Strategy Selection
University College London（伦敦大学学院）
这项工作提出了一种新的投资组合管理技术，Meta投资组合方法（MPM），在生物信息学和其他领域的元方法的成功启发。MPM使用XGBoost来学习如何在两种基于风险的投资组合分配策略之间切换，即分层风险平价（HRP）和更经典的朴素风险平价（NRP）。它表明，MPM是能够成功地利用每个策略的最佳特性（NRP的快速增长，在市场上升趋势，和HRP的保护，防止在市场动荡的下降）。因此，MPM被证明具有出色的样本外的风险回报的配置文件，衡量夏普比率，并提供了高度的可解释性，其资产配置的决定。
2021-11-10 cs.CE cs.LG q-fin.CP
