Semi-Supervised Regression using Cluster Ensemble and Low-Rank Co-Association Matrix Decomposition under Uncertainties
Sobolev Institute of mathematics（索博列夫数学研究所）；Novosibirsk State University（新西伯利亚国立大学）；RWTH Aachen（亚琛工业大学）
在本文中，我们解决了一个半监督回归问题。由于缺乏有关数据结构的知识和随机噪声的存在，所考虑的数据模型是不确定的。我们提出了一种方法，结合图拉普拉斯正则化和聚类集成方法。在标记和未标记数据上计算集成的协关联矩阵;该矩阵用作正则化框架中的相似性矩阵以导出预测输出。我们使用低秩分解的协关联矩阵显着加快计算和减少内存。使用蒙特卡罗方法的数值实验表明，所提出的方法的鲁棒性，效率和可扩展性。
2020-11-30 cs.LG stat.ML
Generalized Ambiguity Decomposition for Understanding Ensemble Diversity
University of Southern California（南加州大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在集成模式识别和信息处理系统中，专家的多样性或互补性是实现融合性能提高的关键。因此，理解集成分集和融合性能之间的这种联系是一个重要的研究问题。然而，以前的作品在理论上的特点是集成多样性，并将其与集成性能在非常有限的设置。我们提出了一个广义歧义分解（GAD）定理作为回答这些问题的一个广泛的框架。GAD定理适用于任何二次可微损失函数的专家的一般凸集合。结果表明，集成性能近似地分解为专家平均性能的差异和集成的多样性。因此，它提供了一个理论上的解释，从不同的分类器和回归融合输出的经验观察到的好处。它还提供了一个损失函数依赖，集合依赖和数据依赖的多样性定义。我们提出了这种分解常见的回归和分类损失函数的扩展，并报告了基于模拟的分析的多样性项和分解的准确性。最后，我们提出的标准模式识别数据集的实验表明，真实世界的分类和回归问题的分解的准确性。
2013-12-28 cs.CV cs.LG stat.ML
Multi-centrality Graph Spectral Decompositions and their Application to Cyber Intrusion Detection
许多现代数据集可以表示为图，因此谱分解，如图主成分分析（PCA）可能是有用的。与先前的基于单个拓扑特征的子空间投影的图分解方法不同，中心图邻接矩阵的Fiedler向量（图Laplacian），我们提出了用于图PCA和图字典学习的谱分解方法，该方法集成了多个特征，包括图行走统计，中心性度量和图到参考节点的距离。在本文中，我们提出了一种新的PCA方法，称为多中心图PCA（MC-GPCA），和一个新的字典学习方法的集成图，称为多中心图字典学习（MC-GDL），都基于多中心矩阵的谱分解。作为网络入侵检测的一个应用，MC-GPCA可以是一个有效的异常连接模式的指示器和MC-GDL可以提供攻击分类的判别依据。
2016-03-10 cs.CR cs.SI stat.ML
A Bias-Variance Decomposition for Ensembles over Multiple Synthetic Datasets
University of Helsinki（赫尔辛基大学）
本文推导了多合成数据集集成的偏差-方差分解理论，提出了选择合成数据集数量的经验法则，并验证了多数据集能提升准确率而单大数据集改进有限。
2025-04-25 cs.LG stat.ML
A general framework for ensemble distribution distillation
Chalmers University of Technology（查尔姆斯理工大学）；Linköping University（林雪平大学）
集成的神经网络已被证明提供更好的性能比单一的网络，无论是在预测和不确定性估计。此外，集成允许将不确定性分解为任意（数据）和认知（模型）分量，从而更完整地描述预测不确定性。集成蒸馏是将集成压缩成单个模型的过程，通常会导致一个更精简的模型，仍然优于单个集成成员。不幸的是，标准蒸馏消除了集合的自然不确定性分解。我们提出了一个一般的框架，以保持分解的方式提取回归和分类合奏。我们展示了我们的框架所需的行为，并表明其预测性能与标准蒸馏相当。
2021-01-08 cs.LG stat.ML
An Experimental Study on Decomposition-Based Deep Ensemble Learning for Traffic Flow Forecasting
Swinburne University of Technology（斯威本科技大学）；University of Technology Sydney（悉尼科技大学）；Data61 CSIRO
本研究比较了基于分解与非分解的深度集成学习方法在交通流预测中的性能，实验表明前者更优，但对聚合策略和预测时长敏感。
2024-11-06 cs.AI cs.LG cs.NE
Weighted Average Ensemble for Cholesky-based Covariance Matrix Estimation
针对修正Cholesky分解（MCD）估计协方差矩阵需预指定变量排序的问题，提出基于Frobenius范数风险最小化的稀疏加权平均集成估计方法，兼具正定性与可解释性，理论与实验均验证其有效性。
2025-03-20 stat.ME
A New Unified Deep Learning Approach with Decomposition-Reconstruction-Ensemble Framework for Time Series Forecasting
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）；School of Management, Xi'an Jiaotong University（西安交通大学管理学院）
针对时间序列预测问题，提出了一种基于变分模式分解（VMD）的深度学习方法。首先，采用VMD将原始时间序列分解为若干个子信号。然后，应用卷积神经网络（CNN）来学习分解的子信号上的重构模式，以获得多个重构的子信号。最后，利用长短期记忆（LSTM）网络对分解后的子信号和重构后的子信号作为输入的时间序列进行预测。所提出的VMD-CNN-LSTM方法起源于分解-重构-集成框架，并通过将重构，单一预测和集成步骤嵌入到统一的深度学习方法中进行创新。为了验证所提出的方法的预测性能，四个典型的时间序列数据集进行实证分析。实验结果表明，该方法在预测精度方面优于基准方法，同时也表明，由CNN重构得到的子信号对于进一步提高预测性能具有重要意义。
2020-02-22 cs.LG stat.AP stat.ML
A unified framework of epidemic spreading prediction by empirical mode decomposition based ensemble learning techniques
本文提出了一个将流行病传播与个人在线自我咨询行为相结合的统一的易感染-暴露-感染-易感-感知（SEIS-A）框架。基于SEIS-A框架建立了一个流行病传播预测模型。预测过程包括两个阶段。在第一阶段，疾病密度的时间序列数据进行分解，通过经验模式分解（EMD）方法，获得的内在模式函数（IMF）。在第二阶段，集成学习技术，使用在线查询数据作为一个额外的输入应用到这些IMF。最后，通过对香港手足口病周就诊率的预测实验，验证了该方法的有效性。这种方法的主要优点是它优于其他方法波动复杂的数据。
2019-01-07 cs.CE cs.LG physics.data-an
REFINE: Random RangE FInder for Network Embedding
Australian National University（澳大利亚国立大学）；Data 61/CSIRO（Data61/澳大利亚联邦科学与工业研究组织）
网络嵌入方法最近吸引了相当大的兴趣，因为它们学习节点的低维向量表示。基于矩阵分解的嵌入是有效的，但由于特征分解步骤，它们通常是计算昂贵的。在本文中，我们提出了一个随机范围查找器为基础的网络嵌入（REFINE）算法，它可以在一个单一的线程在30秒内执行嵌入100万个节点（YouTube）。REFINE比ProNE快10倍，ProNE比LINE、DeepWalk、Node 2 Vec、GraRep和Hope等其他方法快10- 400倍。首先，我们制定我们的网络嵌入方法作为一个跳跃的gram模型，但与正交约束，我们重新将其转化为矩阵分解问题。我们采用随机块QR分解来快速获得节点表示，而不是像其他方法那样使用随机tSVD（截断SVD）。此外，我们设计了一个简单而有效的频谱滤波器网络增强，以获得高阶信息的节点表示。实验结果表明，REFINE算法在不同规模的数据集（从数千到数百万个节点/边）上都能有效地进行节点分类，同时具有良好的性能。
2021-08-24 cs.AI cs.LG cs.SI
A Decomposition-Based Hybrid Ensemble CNN Framework for Driver Fatigue Recognition
Nanyang Technological University（南洋理工大学）；Qatar University（卡塔尔大学）
在驾驶员疲劳监测系统中，脑电（EEG）越来越受欢迎。针对脑电信号的复杂性、非线性和非平稳性，人们尝试了多种分解方法，以提高脑电信号的解码性能。然而，它仍然是具有挑战性的，从不同的分解成分提取更多的区分特征的驾驶员疲劳识别。在这项工作中，我们提出了一种新的基于分解的混合集成卷积神经网络（CNN）框架，以提高解码EEG信号的能力。采用四种分解方法将脑电信号分解为不同复杂度的分量。这个框架中的CNN不是手工制作的功能，而是直接从分解的组件中学习。此外，采用特定于组件的批次标准化层来减少受试者的变异性。此外，我们采用两种集成模式来整合所有CNN的输出，全面利用分解组件的各种信息。针对具有挑战性的跨主题驾驶员疲劳识别任务，该框架下的模型都表现出优于强基线的性能。具体而言，不同的分解方法和集成模式的性能进行了进一步比较。结果表明，基于离散小波变换的集成CNN的平均分类准确率最高，为83.48%。所提出的框架可以扩展到任何CNN架构，并适用于任何EEG相关的任务，打开了从复杂的EEG数据中提取更有益的功能的可能性。
2023-01-10 cs.HC cs.LG eess.SP
Generalized Negative Correlation Learning for Deep Ensembling
TU Dortmund University（多特蒙德工业大学）
包围算法在许多机器学习应用中提供最先进的性能。一个常见的解释是，他们的出色表现是由于偏置方差分解的均方误差，这表明该算法的误差可以分解成其偏差和方差。这两个数量往往是相互对立的，合奏提供了一种有效的方法来管理它们，因为它们通过一组不同的基础学习者来减少差异，同时保持低偏差。尽管已经有许多关于分解其他损失函数的工作，但精确的数学联系很少被明确地用于集成，而仅仅被用作指导原则。在本文中，我们为任意二次可微损失函数制定了广义偏差方差分解，并在深度学习的背景下对其进行了研究。我们使用这种分解，以获得一个广义负相关学习（GNCL）算法，该算法提供了明确的控制集成的多样性和平滑插值之间的两个极端的独立训练和联合训练的集成。我们展示了GNCL如何封装许多以前的作品，并讨论了在何种情况下，神经网络的集成训练可能会失败，以及根据单个网络的选择，应该采用何种集成方法。我们在https://github.com/sbuschjaeger/gncl上公开发布我们的代码
2020-12-09 cs.LG stat.ML
REValueD: Regularised Ensemble Value-Decomposition for Factorisable Markov Decision Processes
University of Warwick（华威大学）；Alan Turing Institute（阿兰·图灵研究所）
针对高维离散动作空间下强化学习值分解会放大目标方差的问题，提出带正则化损失的集成评论家算法REValueD，在控制套件任务上取得更优性能并验证了可扩展性。
2024-03-08 cs.AI cs.LG
A Unified Theory of Diversity in Ensemble Learning
University of Manchester（曼彻斯特大学）；University of Bristol（布里斯托大学）
本文提出集成多样性统一理论，揭示多样性为集成损失偏差-方差分解中的隐藏维度，证明多种损失下的精确分解，并主张应管理偏差/方差/多样性权衡而非最大化多样性。
2024-02-07 cs.AI cs.LG stat.ML
Towards a Systematic Approach to Design New Ensemble Learning Algorithms
Faculdade de Engenharia Universidade do Porto（波尔图大学工程学院）；LIAAD - INESC TEC
本研究基于偏差-方差-多样性分解框架，系统设计并生成了21种神经网络集成算法，证明其中多数结合快照策略的算法在回归任务中表现更优，为集成学习算法开发提供了结构化路径。
2024-02-09 cs.LG
Short-term Renewable Energy Forecasting in Greece using Prophet Decomposition and Tree-based Ensembles
Aristotle University（亚里士多德大学）；Medoid AI（Medoid人工智能公司）
使用可再生能源的能源生产由于其间歇性而表现出固有的不确定性。然而，统一的欧洲能源市场促进了区域能源系统运营商对可再生能源的渗透。因此，RES预测可以帮助整合这些不稳定的能源，因为它会导致更高的可靠性和降低电力系统的辅助运营成本。本文提出了一个新的数据集，太阳能和风能发电预测在希腊，并介绍了一个功能工程管道，丰富了数据集的维度空间。此外，我们提出了一种新的方法，利用创新的先知模型，一个端到端的预测工具，考虑几种非线性趋势分解的能源时间序列之前，基于树的合奏提供短期预测。系统的性能是衡量通过代表性的评估指标，并通过估计模型的泛化下，行业提供的绝对误差阈值的计划。所提出的混合模型与基线持久性模型，基于树的回归集成，和先知模型，管理优于他们，提出了更低的出错率和更有利的错误分布。
2021-07-08 cs.LG stat.AP
Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems
University of Washington（华盛顿大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
时间序列预测仍然是几乎所有科学学科的核心挑战问题。我们介绍了一种新的负荷预测方法，其中观察到的动态建模为一个强迫的线性系统，使用动态模式分解（DMD）的时间延迟坐标。这种方法的核心是洞察电网负载，像复杂的现实世界系统上的许多可观测量一样，具有“几乎周期性”特征，即，由主峰打断的连续傅立叶频谱，其捕获规则的（例如，每天或每周）在动态中反复出现。所提出的预测方法利用了这一特性，通过（i）回归到确定性线性模型，其特征谱映射到这些峰值上，以及（ii）同时学习随机高斯过程回归（GPR）过程来驱动该系统。我们的预测算法进行比较，对国家的最先进的预测技术，不使用额外的解释变量，并显示出优越的性能。此外，它使用的线性内在动力学提供了一些可取的性能方面的可解释性和简约。结果提出了一个测试用例，使用负载数据从电网。负荷预测是电力系统工程中的一项重要挑战，对实时控制、定价、维护和安全决策具有重要意义。
2021-07-09 cs.LG physics.soc-ph
Controllable Probabilistic Forecasting with Stochastic Decomposition Layers
NSF National Center for Atmospheric Research（国家大气科学研究中心）；University of Colorado（科罗拉多大学）
通过随机分解层将确定性天气模型转化为概率集合系统，提升预测的准确性和可解释性，降低计算成本。
2025-12-21 cs.AI cs.LG physics.ao-ph
Interpretable epistemic uncertainty decomposition in sequential generative models via polynomial chaos surrogates
Mathematical Institute, University of Oxford, United Kingdom（牛津大学数学研究所，英国）；IBM Research, Thomas J. Watson Research Center, USA（IBM研究院，托马斯·J·沃森研究中心，美国）；IBM Research Europe, Daresbury, United Kingdom（IBM欧洲研究院，达尔斯伯里，英国）；MIT–IBM Watson AI Lab, Massachusetts, USA（麻省理工–IBM沃森人工智能实验室，马萨诸塞州，美国）；Université de Montréal, Mila–Quebec AI Institute, Montreal, Quebec, Canada（蒙特利尔大学，魁北克人工智能研究所，蒙特利尔，魁北克，加拿大）
本文提出通过多项式混沌展开分析序列生成模型中epistemic不确定性的来源，揭示奖励组件对生成决策的影响，优于深度集合、贝叶斯神经网络等方法，且在多个真实任务中展现高效性和鲁棒性。
2026-05-15 cs.LG stat.ML
Data-driven uncertainty-aware seakeeping prediction of the Delft 372 catamaran using ensemble Hankel dynamic mode decomposition
National Research Council-Institute of Marine Engineering（国家研究理事会-海洋工程研究所）
本文提出基于集成汉克尔动态模式分解的方法，用于高-speed双体船的不确定性感知航行性能预测，通过实验数据验证其预测精度和可靠性。
2025-12-18 cs.CE cs.LG cs.SY
Linear Iterative Feature Embedding: An Ensemble Framework for Interpretable Model
Wells Fargo（富国银行）
一种新的集成框架解释模型称为线性迭代特征嵌入（LIFE）已被开发，以实现高的预测精度，易于解释和高效的计算同时。LIFE算法能够准确地拟合宽单隐层神经网络（NN），其步骤为：通过神经节点的线性投影定义数据集的子集，从在数据的不同子集上训练的多个窄单隐层NN创建特征，将特征与线性模型相结合。LIFE背后的理论基础也提供了堆栈集成方法的损失模糊度分解的连接。仿真和实证实验都证实了LIFE的性能始终优于直接训练的单隐层NN，并且在许多实验中也优于许多其他基准模型，包括多层前馈神经网络（FFNN），Xgboost和随机森林（RF）。作为一个宽的单隐层神经网络，LIFE本质上是可解释的。同时，变量重要性和全局主效应和交互效应都可以轻松创建和可视化。此外，基本学习者构建的并行性质使得LIFE通过利用并行计算在计算上高效。
2021-03-18 cs.LG stat.ML
A novel decomposed-ensemble time series forecasting framework: capturing underlying volatility information
University of Science and Technology of China（中国科学技术大学）
本文提出一种结合Variational Mode Decomposition分解与GARCH波动率提取的分解-集成时间序列预测框架，利用神经网络融合数值与波动率信息，显著降低了MSE、RMSE和MAPE。
2023-11-29 cs.LG stat.ME
Ensemble and Auxiliary Tasks for Data-Efficient Deep Reinforcement Learning
National University of Singapore（新加坡国立大学）
众所周知，当数据有限时，包围和辅助任务都可以提高机器学习模型的性能。然而，这两种方法之间的相互作用并没有得到很好的研究，特别是在深度强化学习的背景下。在本文中，我们研究了集成和辅助任务与深度Q-学习算法相结合时的效果。在有限的数据约束下，我们进行了ATARI游戏的案例研究。此外，我们推导出一个改进的偏差-方差-协方差分解来分析学习集成和使用辅助任务的不同方式，并使用分析来帮助提供一些理解的案例研究。我们的代码是开源的，可在https://github.com/NUS-LID/RENAULT上获得。
2021-07-06 cs.AI cs.LG
Pitfalls of Unlabeled Disagreement-Based Drift Detection in Streaming Tree Ensembles
GECAD, ISEP, Polytechnic of Porto（GECAD，ISEP，波尔图理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究探讨了在高速数据流中使用未标记数据进行漂移检测的挑战，发现基于不一致的不确定性方法在集成增量决策树中表现欠佳，归因于IDTs的固有刚性。
2026-05-12 cs.LG
Solar Flare Prediction Using Long Short-term Memory (LSTM) and Decomposition-LSTM with Sliding Window Pattern Recognition
University of Zanjan（赞詹大学）
本研究提出结合集成算法的DLSTM模型，利用滑动窗口技术处理规则化时间序列，在包含151,071次耀斑事件的数据集上实现了TSS 0.74、召回率0.95和AUC 0.87，显著提升了太阳耀斑预测准确性。
2025-07-15 astro-ph.SR cs.AI cs.LG
An EMD-based Method for the Detection of Power Transformer Faults with a Hierarchical Ensemble Classifier
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
提出了一种基于经验模态分解的溶解气体分析（DGA）数据Transformer故障检测方法。基于比率的DGA参数使用其偏度进行排名。最佳的固有模式函数系数的集合，从排名的DGA参数获得。提出了一种基于XGBoost的分层分类方法，用于对特征进行分类，识别6类不同的Transformer故障。所提出的方法的性能进行了研究，公开提供的DGA数据的377 Transformers。结果表明，该方法可以产生超过90%的灵敏度和准确性检测Transformer故障，性能优越，相比传统的方法，以及现有的几个机器学习为基础的技术。
2021-10-21 cs.LG eess.SP stat.CO
Quantifying uncertainty for deep learning based forecasting and flow-reconstruction using neural architecture search ensembles
Argonne National Laboratory（阿贡国家实验室）；Université Paris-Saclay（巴黎萨克雷大学）
计算物理中的经典问题，例如数据驱动的预测和来自稀疏传感器的信号重建，最近在基于深度神经网络（DNN）的算法方法中出现了爆炸式增长。然而，大多数DNN模型不提供不确定性估计，这对于在下游决策任务和场景中建立这些技术的可信度至关重要。近年来，基于集成的方法在DNN中的不确定性量化方面取得了重大成功。然而，它们在实际应用中的性能仍然没有得到充分的研究。在这项工作中，我们提出了一种自动化的DNN发现方法，并演示了如何将其用于基于集合的不确定性量化。具体来说，我们建议使用一个可扩展的神经和超参数架构搜索发现一个复杂的动态系统的DNN模型的合奏。我们强调了所提出的方法不仅可以为我们的任务发现高性能的神经网络集合，而且还可以无缝地量化不确定性。这是通过使用遗传算法和贝叶斯优化对神经网络架构和超参数的搜索空间进行采样来实现的。随后，使用模型选择方法来识别用于系综集构造的候选模型。之后，方差分解方法被用来估计从合奏的预测的不确定性。我们证明了这一框架的可行性，两个任务-预测从历史数据和流量重建稀疏传感器的海面温度。我们展示了优越的性能，从合奏与个人的高性能模型和其他基准相比。
2023-02-20 cs.LG math.DS
