Ensemble-MIX: Enhancing Sample-Efficiency in Multi-Agent RL via Selective Ensemble-Based Exploration
本文提出结合分解集中批评者与去中心化集合学习的新算法,通过集合kurtosis实现选择性探索,提升样本效率,优于现有基线方法。
2026-10-14 cs.LG cs.SY eess.SY
Disentangling the Predictive Variance of Deep Ensembles through the Neural Tangent Kernel
ETH Zürich(苏黎世联邦理工学院);University of Zürich(苏黎世大学)
识别不熟悉的输入,也称为分布外(OOD)检测,是任何决策过程的关键属性。一种简单且经经验验证的技术是基于深度集成,其中不同神经网络上的预测方差用作输入不确定性的替代。然而,导致深度系综的不确定性估计的性能的归纳偏差的理论理解是缺失的。为了改善我们对它们行为的描述,我们研究了在简化的线性训练机制中运行的具有大层宽度的深度集成,其中使用梯度下降训练的函数可以由神经切线核描述。我们确定了两个噪声源,每个源在初始化时的预测方差中引起不同的归纳偏差。我们进一步从理论和经验上证明,这两种噪声源都会影响玩具模型和训练后现实环境中非线性深度合奏的预测方差。最后,我们提出了一些实用的方法来消除这些噪声源的一部分,从而在经过训练的深度集合中实现显著的变化和改进的OOD检测。
2022-10-18 cs.LG
Hadamard-Riemannian Optimization for Margin-Variance Ensemble
9pt 11pt of Mathematics Nanjing University Jiangsu, China
本文提出一种显式引入间隔方差的新颖集成学习框架,通过联合优化负期望间隔与方差并将权重重参数化至单位球面,有效提升了模型的鲁棒性、泛化能力与计算效率。
2025-09-12 cs.LG
Adaptive Neural Network Ensemble Using Frequency Distribution
Cho Chun Shik Graduate School of Mobility(赵春植移动研究生院);Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
神经网络(NN)集成可以减小神经网络的大预测方差,提高预测精度。对于数据集不足的高度非线性问题,神经网络模型的预测精度变得不稳定,导致集成精度下降。因此,本研究提出了一种基于频率分布的集成,确定核心预测值,预计将集中在附近的真实预测值。基于频率分布的系综通过利用基于从给定预测点获得的各种预测值的频率分布进行统计分析来对由多个预测值支持的核心预测值进行分类。基于频率分布的集成可以通过排除具有低精度的预测值并应对最频繁值的不确定性来提高预测性能。提出了一种自适应采样策略,该策略基于作为核心预测值的方差计算的核心预测方差来顺序地添加样本,以有效地提高基于频率分布的集成的预测性能。实例分析结果表明,基于频率分布的集成方法的预测精度高于克里格法和其他现有的集成方法。此外,所提出的自适应采样策略有效地提高了预测性能的频率分布为基础的合奏相比,以前开发的空间填充和预测方差为基础的战略。
2022-10-19 cs.LG
Controlling Ensemble Variance in Diffusion Models: An Application for Reanalyses Downscaling
The Climate Data Factory (TCDF)(气候数据工厂)
本文提出了一种基于DDIM的集合扩散模型,通过调整扩散步骤数量来控制集合方差,用于高分辨率的再分析降尺度应用。
2026-01-14 cs.AI cs.LG stat.AP
Variance-Gated Ensembles: An Epistemic-Aware Framework for Uncertainty Estimation
Faculty of Computer Science, Dalhousie University, Halifax, NS(计算机科学学院,达尔豪西大学,哈利法克斯,NS)
提出方差门控集成(VGE)框架,通过从集成统计量计算信噪比门控注入认知敏感性,实现高效且可微的不确定性估计,在计算效率与性能上匹配或超越现有方法。
2026-06-02 cs.LG stat.ML
A General Weighting Theory for Ensemble Learning: Beyond Variance Reduction via Spectral and Geometric Structure
Rochester Institute of Technology(罗切斯特技术学院)
本文提出了一种集成学习的通用加权理论,通过几何和谱约束,展示结构化加权在提升模型性能中的作用。
2025-12-25 cs.LG stat.ML
Transfer learning for ensembles: reducing computation time and keeping the diversity
MIPT(莫斯科物理技术学院);IITP(信息传输问题研究所);Skoltech(斯科尔科沃科学技术研究院)
将在一个问题上训练的深度神经网络转移到另一个问题上只需要少量的数据和很少的额外计算时间。同样的行为适用于通常优于单个模型的深度学习模型的集合。然而,深度神经网络集成的转移需要相对高的计算开销。过拟合的可能性也会增加。我们的集成迁移学习方法包括两个步骤:(a)通过单个移位向量移动集成中所有模型的编码器权重,以及(b)之后对每个单独的模型进行微调。这种策略加快了训练过程的速度,并提供了一个机会,可以使用移位向量将模型添加到集合中,大大减少了训练时间。我们比较不同的策略的计算时间,合奏的准确性,不确定性估计和分歧,并得出结论,我们的方法相比,使用相同的计算复杂度,传统的方法提供了有竞争力的结果。此外,我们的方法保持集成的模型的多样性更高。
2022-06-27 cs.LG
Sequential Ensemble Learning for Outlier Detection: A Bias-Variance Perspective
Stony Brook University(石溪大学)
用于分类和聚类的集成方法已经有效地使用了几十年,而用于离群点检测的集成学习只是最近才被研究。在这项工作中,我们设计了一个新的集成方法在多维点数据中的离群点检测,它提供了更高的精度,通过减少偏差和方差的错误。虽然分类和异常值检测看起来是不同的问题,但它们的理论基础在偏差-方差权衡方面非常相似[1],其中异常值检测被认为是具有未观察到的标签的二进制分类任务,但类似的偏差-方差误差分解。在本文中,我们提出了一个顺序集成的方法,称为照顾,采用两个阶段的聚合的中间结果,在每次迭代,以达到最终的结果。与现有的离群值集成不同,现有的离群值集成仅通过聚合独立基础检测器的结果来合并并行框架以减少方差,我们的集成合并了并行和顺序构建块以减少偏差以及方差,($i$)从原始数据集中连续地消除离群值以建立更好的数据模型,在该数据模型上估计离群值(顺序地),以及($ii$)组合来自各个基本检测器的结果和跨迭代(重复)。通过对主要来自UCI机器学习库[2]的16个真实世界数据集进行广泛的实验,我们表明CARE的表现明显优于或至少类似于单个基线。我们还将CARE与最先进的离群值合奏进行了比较,当它是赢家时,它也提供了显着的改进,否则仍然接近。
2016-09-18 cs.LG stat.ML
AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification
Argonne National Laboratory(阿贡国家实验室);Université Paris-Saclay(巴黎萨克雷大学)
深度神经网络是各种任务的强大预测器。然而,它们并不直接反映不确定性。使用神经网络集成来量化不确定性与基于贝叶斯神经网络的方法具有竞争力,同时受益于更好的计算可扩展性。然而,构建神经网络的集成是一项具有挑战性的任务,因为除了为集成的每个成员选择正确的神经架构或超参数之外,还需要增加训练每个模型的成本。我们提出AutoDEUQ,一种自动生成深度神经网络集成的方法。我们的方法利用联合神经架构和超参数搜索来生成集成。我们使用总方差定律将深度集合的预测方差分解为任意(数据)和认知(模型)的不确定性。我们表明,AutoDEUQ优于概率反向传播,蒙特卡罗辍学,深度集成,分布自由集成,超集成方法在一些回归基准。
2022-07-04 cs.LG
Inner Ensemble Networks: Average Ensemble as an Effective Regularizer
UT Austin(德克萨斯大学奥斯汀分校);UAlbany(奥尔巴尼大学);KAUST(阿卜杜拉国王科技大学);Stanford(斯坦福大学)
我们引入了内部集成网络(IEN),它可以减少神经网络本身的方差,而不会增加模型的复杂性。IEN在训练阶段利用集成参数来减少网络方差。在测试阶段,这些参数被删除,而不会改变增强的性能。IEN通过因子$1/m^{L-1}$减少普通深度模型的方差,其中$m$是内部集合的数量,而$L$是模型的深度。此外,我们的经验和理论表明,IENS导致更大的方差减少相比,其他类似的方法,如辍学和maxout。我们的结果表明,与普通的深度模型相比,出错率降低了1.7%和17.3%。我们还表明,神经结构搜索(NAS)方法比以前的方法,IEN是首选。代码可在https://github.com/abduallahmohamed/inner_ensemble_nets上获得。
2020-10-09 cs.LG stat.ML
Stochastic Variance Reduced Ensemble Adversarial Attack for Boosting the Adversarial Transferability
Huazhong University of Science and Technology(华中科技大学);Cornell University(康奈尔大学)
黑盒对抗攻击因其在深度学习安全领域的实际应用而引起了广泛关注。同时,这是非常具有挑战性的,因为无法访问目标模型的网络架构或内部权重。基于样本对多个模型保持对抗性,则更有可能将攻击能力转移到其他模型的假设,基于集合的对抗攻击方法是一种有效的黑盒攻击方法,被广泛应用。然而,集成攻击的方式是相当少的研究,和现有的集成攻击简单地融合所有模型的输出均匀。在这项工作中,我们把迭代集成攻击作为一个随机梯度下降优化过程,在不同的模型上的梯度的方差可能会导致不良的局部最优。为此,我们提出了一种新的攻击方法称为随机方差减少集成(SVRE)攻击,它可以减少集成模型的梯度方差,并充分利用集成攻击。在标准ImageNet数据集上的实验结果表明,该方法可以提高对抗性可转移性,并显着优于现有的集成攻击。代码可在https://github.com/JHL-HUST/SVRE上获得。
2022-04-23 cs.CR cs.CV cs.LG
Ensembling over Classifiers: a Bias-Variance Perspective
Google(谷歌)
集成是一种简单,非常有效的方法,用于提高分类任务模型的准确性,校准和鲁棒性;然而,其成功的原因仍然是一个活跃的研究领域。我们建立在Pfau(2013)对偏差方差分解的扩展基础上,以获得对分类器集合行为的重要见解。引入一个双参数化的偏差方差权衡,我们首先推导出广义的法律的总期望和方差的非对称损失典型的分类任务。比较条件和自助偏差/方差估计,然后,我们表明,条件估计必然会产生不可约的误差。接下来,我们证明了在对偶空间中的集成减少了方差,使偏差保持不变,而标准集成可以任意影响偏差。从经验上讲,标准的集成减少了偏差,这让我们假设分类器的集成可能会表现良好,部分原因是这种意想不到的减少。我们通过对最近的深度学习方法的实证分析得出结论,这些方法集成了超参数,揭示了这些技术确实有利于减少偏差。这表明,与经典智慧相反,以减少偏见为目标可能是分类器集合的一个有希望的方向。
2022-06-21 cs.LG stat.ML
How Ensemble Learning Balances Accuracy and Overfitting: A Bias-Variance Perspective on Tabular Data
School of Computer Science and Engineering (SCOPE)(计算机科学与工程学院);VIT-AP University(VIT-AP大学)
本研究从偏差-方差视角探讨集成学习在表格数据中平衡准确性和过拟合的方法,发现集成在非线性数据上能提升准确率,但在噪声或不平衡数据中需正则化以避免过拟合。
2025-12-05 cs.AI cs.LG
Reducing the Variance of Variational Estimates of Mutual Information by Limiting the Critic's Hypothesis Space to RKHS
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
互信息(MI)是两个随机变量之间相关性的信息论度量。文献中提出了几种从两个具有未知潜在概率分布的随机变量的样本中估计MI的方法。最近的方法实现参数概率分布或评论作为一个神经网络来近似未知的密度比。近似的密度比被用来估计不同的变分下限MI。虽然这些方法在真实MI较低时提供了可靠的估计,但在高MI的情况下,它们会产生高方差估计。我们认为,高方差特性是由于不受控制的复杂性的批评家的假设空间。为了支持这一论点,我们使用数据驱动的Rademacher复杂性的假设空间与评论家的架构分析泛化误差界的变分下界估计MI。在所提出的工作中,我们表明,通过将评论家的假设空间约束到再生希尔伯特核空间(RKHS),可以否定这些估计量的高方差特性,该空间对应于使用自动谱核学习(ASKL)学习的核。通过分析上述泛化误差界限,我们增加了有效的正则化项的整体优化目标。我们经验证明了这种正则化在执行适当的偏置方差权衡四个变分下界,即NWJ,MINE,JS和SMILE的功效。
2020-11-17 cs.LG
Efficient Estimation of Generalization Error and Bias-Variance Components of Ensembles
Facebook(脸书);Microsoft Corporation(微软公司);Microsoft Research(微软研究院);University of Washington(华盛顿大学)
对于许多应用,基分类器的集成是一种有效的解决方案。其参数的调整(类的数量,每个分类器要训练的数据量等)需要G,即给定系综的泛化误差。G的有效估计是本文研究的重点。其关键思想是在输入特征空间中的每个点x处通过正态分布/贝塔分布来近似基本分类器的类得分/概率的方差与训练子集施加的随机性。我们使用一个小的随机选择的基分类器的分布参数估计,并使用这些参数,G。我们给经验证据的质量的各种估计。我们还证明了它们的有用性,如在合奏的分类器的数量和用于训练,需要达到一定的值的泛化误差的数据子集的大小的设计选择。我们的方法也有很大的潜力,设计分布式集成分类器。
2017-11-15 cs.LG stat.ML
Ensembles of Randomized Time Series Shapelets Provide Improved Accuracy while Reducing Computational Costs
Johannes Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学)
Shaperies是一种判别性的时间序列连续性,它允许生成可解释的分类模型,与最近邻方法相比,它提供了更快且通常更好的分类。然而,shapelet发现过程需要评估训练集中所有时间序列的所有可能的连续性,这使得它非常计算密集。因此,大型时间序列数据集的shapelet发现很快变得棘手。为减少培训时间,提出了若干改进建议。这些技术使用近似或离散化,并且与精确方法相比通常导致降低的分类精度。我们建议使用集合的shapelet为基础的分类器使用随机抽样的shapelet候选人。使用随机抽样减少了被评估的候选者的数量,从而减少了所需的计算成本,同时所得模型的分类准确度也与精确算法的分类准确度没有显著差异。由于解决方案的多样性,随机分类器的组合纠正了单个模型的不准确性。基于所进行的实验,它表明,所提出的方法,使用一个合奏的廉价分类器提供了更好的分类精度相比,精确的方法在一个显着降低计算成本。
2017-02-22 cs.LG
The Empirical Impact of Reducing Symmetries on the Performance of Deep Ensembles and MoE
HSE University(高等经济大学)
本文在五个数据集上实证检验减少对称性对深度集成、MoE 及新提出的 MoIE 的影响,发现其可显著改善深度集成扩展性,但对两类专家混合架构的作用尚无定论。
2025-03-17 cs.AI cs.LG
Reducing Bias and Variance: Generative Semantic Guidance and Bi-Layer Ensemble for Image Clustering
Institute of Big Data Science and Industry(大数据科学与产业研究院);Key Laboratory of Evolutionary Science Intelligence of Shanxi Province(山西省进化智能科学重点实验室);School of Artificial Intelligence, Shanxi University(山西大学人工智能学院)
提出GSEC框架,通过生成语义引导减少偏差、双层集成学习降低方差,在六个基准数据集上超越18种最新方法。
2026-05-23 cs.CV cs.LG
Satellite Anomaly Detection Using Variance Based Genetic Ensemble of Neural Networks
University of Waterloo(滑铁卢大学);National Research Council of Canada(加拿大国家研究委员会)
在本文中,我们使用方差为基础的遗传集成(VGE)的神经网络(NN)来检测卫星的历史数据中的异常。我们通过利用每个模型的不确定性水平(方差),使用来自多个递归神经网络(RNN)的预测的有效集合。对于预测,每个RNN由遗传算法(GA)指导,该遗传算法为每个RNN模型构造最优结构。然而,在许多情况下,找到模型的不确定性水平是具有挑战性的。虽然贝叶斯神经网络(BNN)为基础的方法是流行的提供模型的置信区间,他们不能被采用在复杂的神经网络结构,因为他们是计算上棘手的。本文使用蒙特卡罗(MC)的辍学作为一个近似版本的BNN。然后,这些不确定性水平和遗传算法建议的每个预测模型被用来生成一个新的模型,然后用于预测TS和AD。仿真结果表明,集成模型的预测和AD能力优于现有的方法。
2023-02-10 cs.LG cs.NE cs.SY
Multi-Head Attention as Ensemble Nadaraya-Watson Estimation: Variance Reduction, Decorrelation, and Optimal Head Diversity
School of Mathematics and Statistics, College of Science(数学与统计学学院,科学学院)
本文提出多头注意力可以视为恩德里亚-沃森核回归估计器的集合,通过分析头输出的去相关性,推导出方差减少与头多样性之间的关系,并提出头多样性指数来衡量不同头之间的去相关程度,最终得出最优的头数量和维度分配方案。
2026-05-18 cs.LG stat.ML
Tracking the gradients using the Hessian: A new look at variance reducing stochastic methods
INRIA(法国国家信息与自动化研究所);LTCI, Télécom-Paristech, Université Paris-Saclay(巴黎萨克雷大学巴黎高等电信学院LTCI实验室);Google Brain(谷歌大脑);Département d’Informatique de l’ENS(巴黎高等师范学院计算机系)
我们的目标是通过更好的控制变量来改进方差减少随机方法。首先,我们提出了一种修改的SVRG使用海森跟踪梯度随着时间的推移,而不是recondition,增加控制变量的相关性,并导致更快的理论收敛接近最优。然后,我们提出了准确和计算效率的近似海森,都使用对角和低秩矩阵。最后,我们证明了我们的方法对广泛的问题的有效性。
2018-03-31 cs.LG math.OC stat.ML
A Bias-Variance Decomposition for Ensembles over Multiple Synthetic Datasets
University of Helsinki(赫尔辛基大学)
本文推导了多合成数据集集成的偏差-方差分解理论,提出了选择合成数据集数量的经验法则,并验证了多数据集能提升准确率而单大数据集改进有限。
2025-04-25 cs.LG stat.ML
Towards a Systematic Approach to Design New Ensemble Learning Algorithms
Faculdade de Engenharia Universidade do Porto(波尔图大学工程学院);LIAAD - INESC TEC
本研究基于偏差-方差-多样性分解框架,系统设计并生成了21种神经网络集成算法,证明其中多数结合快照策略的算法在回归任务中表现更优,为集成学习算法开发提供了结构化路径。
2024-02-09 cs.LG
A Unified Theory of Diversity in Ensemble Learning
University of Manchester(曼彻斯特大学);University of Bristol(布里斯托大学)
本文提出集成多样性统一理论,揭示多样性为集成损失偏差-方差分解中的隐藏维度,证明多种损失下的精确分解,并主张应管理偏差/方差/多样性权衡而非最大化多样性。
2024-02-07 cs.AI cs.LG stat.ML
Reducing the Model Variance of a Rectal Cancer Segmentation Network
National Cancer Center Research Institute(国家癌症中心研究所);National Cancer Center(国家癌症中心)
在术前影像学检查中,直肠癌的磁共振图像划界为癌症分期和治疗计划提供了重要依据。最近,深度学习极大地改进了自动分割中的最先进方法。然而,在医学领域的数据可用性的限制,可能会导致大的方差和随之而来的过度拟合医学图像分割网络。在这项研究中,我们提出的方法,以减少模型方差的直肠癌分割网络,通过添加一个直肠分割任务,并执行数据增强;直肠和直肠癌之间的几何相关性激发了前一种方法。此外,我们提出了一种方法来执行一个任意区域的兴趣(ROI)的分割网络,我们应用到评估我们的方法在减少模型方差的有效性的偏差方差分析。因此,添加直肠分割任务将肿瘤区域内直肠癌分割网络的模型方差降低了0.90倍;数据增强进一步将方差降低了0.89倍。这些方法还分别将训练持续时间减少了0.96倍和0.78倍。我们的方法将提高直肠癌分期的质量,通过提高其自动划分的准确性,并提供直肠边界信息,因为直肠癌分期需要直肠和直肠癌的划分。除了这样的临床益处之外,我们的方法还使分割网络能够在任意ROI(例如癌区域)内使用偏差-方差分析进行评估。
2019-12-31 cs.CV cs.LG
Reducing Variance in Meta-Learning via Laplace Approximation for Regression Tasks
KTH Royal Institute of Technology(瑞典皇家理工学院);University of Copenhagen(哥本哈根大学)
针对元回归中因任务重叠和有限支持数据导致的梯度估计高方差问题,本文提出利用拉普拉斯近似估计参数后验方差并对支持点加权,从而降低方差、提升泛化性能。
2024-10-23 cs.LG stat.ML
Variance-Reducing Couplings for Random Features
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind);Columbia(哥伦比亚大学);Alan Turing Institute(阿兰·图灵研究所)
本文通过最优传输视角研究随机特征的方差缩减问题,提出适用于欧几里得和离散输入空间的耦合方法,并揭示了方差缩减在高效Transformer注意力估计中的局限性。
2024-10-02 cs.LG stat.ML
Reducing Noise in GAN Training with Variance Reduced Extragradient
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Idiap(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Element AI(Element AI公司)
我们研究了随机梯度噪声对生成对抗网络(GANs)训练的影响,并表明它可以阻止标准游戏优化方法的收敛,而批量版本收敛。我们解决这个问题,一个新的随机方差减少的超梯度(SVRE)优化算法,这是一个大类的游戏,提高了以前的收敛速度在文献中提出的。根据经验,我们观察到SVRE在MNIST上的执行类似于批处理方法,同时计算成本更低,并且SVRE在标准数据集上产生更稳定的GAN训练。
2020-06-25 cs.LG math.OC stat.ML
PACSET (Packed Serialized Trees): Reducing Inference Latency for Tree Ensemble Deployment
Johns Hopkins University(约翰斯·霍普金斯大学);Amazon(亚马逊);United States Military Academy(美国军事学院)
我们提出的方法来序列化和序列化树集成,优化推理延迟时,模型还没有加载到内存中。当模型大于内存时,就会出现这种情况,但当模型部署在低资源设备上时,例如在物联网中,或者作为Web微服务运行时,资源按需分配时,也会出现这种情况。我们的包装序列化树(PACSET)编码的参考局部性的布局中的树集成使用的原则,从外部存储器的算法。该布局在多棵树上交错相关节点,使用叶基数来配置最流行路径上的节点,并针对I/O块大小进行了优化。其结果是,每个I/O产生更高比例的有用数据,从而使交互式工作负载的分类延迟减少2-6倍。
2020-11-10 cs.DC cs.LG
Bringing Stability to Diffusion: Decomposing and Reducing Variance of Training Masked Diffusion Models
University of Cambridge(剑桥大学);Peking University(北京大学);Qwen Large Model Application Team, Alibaba(阿里巴巴通义大模型应用团队)
本文研究了掩码扩散模型(MDMs)训练方差高导致不稳定的问题,通过分解方差来源并提出六种方差减少方法,显著提升了模型在复杂推理任务中的准确率,并将运行间变异性降低至自回归模型(ARMs)水平。
2026-05-21 cs.LG
Ensemble Making Few-Shot Learning Stronger
University of South China(南华大学)
少样本学习已被提出并迅速成为完成各种任务的可行手段。许多Few-Shot模型已广泛用于关系学习任务。然而,这些模型中的每一个都有捕捉语义特征的某一方面的不足,例如,CNN的长期依赖部分,Transformer的局部特征。单一的模型很难适应多种关系学习,这就导致了高方差问题。包围策略在提高Few-Shot关系抽取的准确性和降低高方差风险方面具有竞争力。本文探讨了一种集成的方法来减少方差,并引入微调和功能注意力的策略来校准关系级功能。几个Few-Shot关系学习任务的结果表明,我们的模型显着优于以前的国家的最先进的模型。
2021-05-12 cs.AI cs.CL cs.LG
Adaptive LiDAR Sampling and Depth Completion using Ensemble Variance
Technion - Israel Institute of Technology(以色列理工学院)
这项工作考虑的问题,深度完成,有或没有图像数据,其中的算法可以测量规定的有限数量的像素的深度。算法的挑战是策略性地和动态地选择像素位置,以最大限度地减少总体深度估计误差。对于配备可编程LiDAR的自动驾驶车辆,此设置可在白天或夜间深度完成时实现。我们的方法使用一个合奏的预测定义一个采样概率的像素。该概率与集合成员的预测方差成比例,从而突出显示难以预测的像素。通过在多个预测阶段进行额外的处理,我们有效地减少了相似像素的冗余采样。我们的基于集合的方法可以使用任何深度完成学习算法来实现,诸如被视为黑盒的最先进的神经网络。特别是,我们还提出了一个简单而有效的随机森林为基础的算法,并同样使用其内部集成在我们的设计。我们在KITTI数据集上进行实验,使用Ma等人的神经网络算法和我们的基于随机森林的学习器来实现我们的方法。这两种实现的准确性超过了最先进的技术水平。与随机或网格采样模式相比,我们的方法允许减少4-10倍的测量所需的数量,以达到相同的精度。
2021-10-05 cs.CV cs.LG eess.IV
Mitigating loss of variance in ensemble data assimilation: machine learning-based and distance-free localization
Novel Reservoir Modelling and Simulation Group, Imperial College London(帝国理工学院伦敦分校新型油藏建模与模拟小组);Faculty of Civil Engineering and Geosciences, TU Delft(代尔夫特理工大学土木工程与地质科学学院)
本研究针对集合数据同化中采样误差导致的方差损失问题,提出两种适配表格数据的无距离局部化机器学习方法,集成至ES-MDA框架,可提升协方差估计与数据同化效果,且易实现、无需额外模拟或调参。
2025-07-30 cs.AI cs.LG math.ST
Regularized Multi-Decoder Ensemble for an Error-Aware Scene Representation Network
The Ohio State University(俄亥俄州立大学)
针对科学可视化中 SRN 推理时无法评估坐标级重建误差的问题,提出共享特征网格的多解码器集成及方差正则化损失,实现可靠不确定性估计与更准确重建。
2024-08-05 cs.AI cs.CV cs.GR
Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Université PSL(巴黎文理研究大学);Sorbonne Université(索邦大学);King’s College London(伦敦国王学院)
从数据采样到参数初始化,随机性在现代机器学习实践中无处不在。因此,理解预测中不同来源的随机性所产生的统计波动是理解稳健概括的关键。在这篇手稿中,我们开发了一个定量和严格的理论,用于研究广义线性模型在不同但相关的高维特征上训练的集合中的波动。特别是,我们提供了一个完整的描述的渐近联合分布的经验风险最小化的通用凸损失和正则化的高维限制。我们的结果包含了一组丰富的分类和回归任务,如过参数化神经网络的懒惰制度,或等价的随机特征近似的内核。在允许直接研究集成(或装袋)对测试误差的偏差-方差分解的缓解作用的同时,我们的分析还有助于解开统计波动的贡献,以及插值阈值在“双下降”现象的根源所扮演的奇异角色。
2022-01-31 cond-mat.dis-nn cs.LG stat.ML
Reducing the variance in online optimization by transporting past gradients
University of Southern California(南加州大学);Google Brain(谷歌大脑);University of British Columbia(不列颠哥伦比亚大学);Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
大多数随机优化方法在丢弃它们之前使用梯度一次。虽然方差缩减方法已经表明,当有有限数量的数据点时,重用过去的梯度可能是有益的,但它们不容易扩展到在线设置。一个问题是由于使用过去的梯度陈旧。我们建议使用隐式梯度传输(IGT)的思想来纠正这种陈旧性,该思想将在先前迭代中计算的梯度转换为在当前迭代中评估的梯度,而不显式地使用Hessian。除了减少我们随着时间的推移更新的方差和偏差外,IGT还可以用作许多众所周知的方法(如Heavy Ball或Adam)中梯度估计的直接替代品。我们的实验表明,它实现了国家的最先进的结果在广泛的架构和基准。此外,IGT梯度估计器在所有分量函数的Hessian相等的限制设置中产生在线随机优化的最优渐近收敛速度。
2019-06-18 cs.LG math.OC stat.ML
Generalized Negative Correlation Learning for Deep Ensembling
TU Dortmund University(多特蒙德工业大学)
包围算法在许多机器学习应用中提供最先进的性能。一个常见的解释是,他们的出色表现是由于偏置方差分解的均方误差,这表明该算法的误差可以分解成其偏差和方差。这两个数量往往是相互对立的,合奏提供了一种有效的方法来管理它们,因为它们通过一组不同的基础学习者来减少差异,同时保持低偏差。尽管已经有许多关于分解其他损失函数的工作,但精确的数学联系很少被明确地用于集成,而仅仅被用作指导原则。在本文中,我们为任意二次可微损失函数制定了广义偏差方差分解,并在深度学习的背景下对其进行了研究。我们使用这种分解,以获得一个广义负相关学习(GNCL)算法,该算法提供了明确的控制集成的多样性和平滑插值之间的两个极端的独立训练和联合训练的集成。我们展示了GNCL如何封装许多以前的作品,并讨论了在何种情况下,神经网络的集成训练可能会失败,以及根据单个网络的选择,应该采用何种集成方法。我们在https://github.com/sbuschjaeger/gncl上公开发布我们的代码
2020-12-09 cs.LG stat.ML
Boosting Randomized Smoothing with Variance Reduced Classifiers
ETH Zurich(苏黎世联邦理工学院)
随机平滑(RS)是一种很有前途的方法,用于通过在噪声下评估基础模型来获得鲁棒性证书。在这项工作中,我们:(i)从理论上激发为什么合奏是一个特别合适的选择作为RS的基础模型,和(ii)经验上确认这一选择,获得国家的最先进的结果,在多种设置。我们工作的关键见解是,在RS中引入的扰动上的集合方差的减少导致对给定输入的分类显著更一致。这又导致接近决策边界的样本的可认证半径显著增加。此外,我们引入了关键的优化,使高达55倍的减少样本复杂性的RS预定半径,从而大大降低了计算开销。在实验中,我们发现,只有3到10个分类器的集合在CIFAR10和ImageNet上的平均认证半径(ACR)方面始终提高了5%到21%,分别达到了0.86和1.11的最新ACR。我们在https://github.com/eth-sri/smoothing-ensembles上发布复制我们的结果所需的所有代码和模型。
2022-03-30 cs.AI cs.CV cs.LG
Contextual Similarity Distillation: Ensemble Uncertainties with a Single Model
Delft University of Technology(代尔夫特理工大学)
提出上下文相似性蒸馏,用单一模型近似深度集成的不确定性方差,基于神经正切核将集成方差计算转为回归问题,在分布外检测和稀疏奖励强化学习中达到与集成相当或更优的性能。
2025-03-26 cs.AI cs.LG stat.ML
Randomization Can Reduce Both Bias and Variance: A Case Study in Random Forests
Operations Research Center Massachusetts Institute of Technology(麻省理工学院运筹学研究中心);Sloan School of Management Massachusetts Institute of Technology(麻省理工学院斯隆管理学院)
本文通过实验分析随机森林相对 bagging 同时降低偏差与方差的机制,揭示其在不同 SNR 下捕捉数据模式的优势及调节 $mtry$ 的实践意义。
2025-07-21 cs.LG stat.ML
Using Large Ensembles of Control Variates for Variational Inference
College of Information and Computer Science(信息与计算机科学学院);University of Massachusetts(马萨诸塞大学);Amherst, MA 01003(阿默斯特,马萨诸塞州 01003)
变分推理越来越多地被随机优化处理。在这种情况下,梯度的方差在优化过程中起着至关重要的作用,因为高方差梯度导致收敛性差。一个流行的方法来减少梯度的方差涉及到控制变量的使用。尽管取得了良好的结果,控制变量的变分推理通常被孤立地看待。在本文中,我们澄清了大量的控制变量,提供了一个系统的观点,他们是如何推导出来的。我们还提出了一个贝叶斯风险最小化框架,在该框架中,控制变量相结合的过程的质量是量化的优化收敛速度,这导致一个非常简单的组合规则的影响。结果表明,结合大量的控制变量,这种方式显着提高了收敛性的推理使用典型的梯度估计或减少控制变量的数量。
2020-10-22 cs.LG stat.ML
Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap
研究在线控制实验中A/B测试方差大成本高问题,提出利用策略重叠加速实验的新协议,将随机处理分配机制视为元策略,用Δ-离策略估计方法获无偏估计,理论和实证证明该方法可提升效率,有望用于多种系统评估。
2026-07-17 cs.IR cs.LG stat.ME
CAMERO: Consistency Regularized Ensemble of Perturbed Language Models with Weight Sharing
Georgia Institute of Technology(佐治亚理工学院);Microsoft Azure AI(微软Azure人工智能部门)
模型集成是一种流行的方法,以产生一个低方差和良好的推广模型。然而,它会导致大量的内存和推理成本,这通常是现实世界的部署所无法承受的。现有的工作已经诉诸于在模型之间共享权重。然而,当增加共享权重的比例时,所得到的模型往往是相似的,并且使用模型集成的益处减少。为了保持集成的好处,同时保持低的内存成本,我们提出了一种基于扰动模型的一致性正则化集成学习方法,名为CAMERO。具体来说,我们在所有模型之间共享底层的权重,并对不同模型的隐藏表示施加不同的扰动,这可以有效地促进模型的多样性。同时,我们在扰动模型之间应用预测一致性正则化器来控制由于模型多样性而引起的方差。我们使用大语言模型的实验表明,CAMERO显着提高了集成模型的泛化性能。具体来说,CAMERO在GLUE基准测试中的表现优于8个BERT模型的标准集合0.7,模型大小明显较小(114.2M对880.6M)。
2022-04-18 cs.CL cs.LG
Robust Modeling of Unknown Dynamical Systems via Ensemble Averaged Learning
The Ohio State University(俄亥俄州立大学);Dartmouth College(达特茅斯学院)
最近的工作集中在通过深度神经网络(DNN)对未知系统的演化进行数据驱动学习,目标是对未知系统的演化进行长期预测。在这种情况下,训练具有低泛化误差的DNN是一项特别重要的任务,因为误差会随着时间的推移而积累。由于DNN训练中固有的随机性,主要是在随机优化中,因此在结果预测中存在不确定性,因此在泛化误差中也存在不确定性。因此,泛化误差可以看作是具有某种概率分布的随机变量。经过良好训练的DNN,特别是那些具有许多超参数的DNN,通常会导致泛化误差的概率分布具有低偏差但高方差。高方差会导致经过训练的DNN结果的可变性和不可预测性。本文提出了一种计算技术,减少了泛化误差的方差,从而提高了DNN模型的可靠性,以推广一致。在所提出的集成平均方法中,多个模型被独立地训练,并且在每个时间步对模型预测进行平均。该方法的数学基础,包括结果的局部截断误差的分布。最后,以三个含时微分方程问题为例,验证了该方法在降低DNN预测方差方面的有效性。
2022-03-07 cs.LG math.DS stat.ML
Why do Random Forests Work? Understanding Tree Ensembles as Self-Regularizing Adaptive Smoothers
University of Cambridge(剑桥大学)
本文提出将随机森林视为自适应正则化平滑器,揭示其通过平滑效应、减少学习函数变异性及丰富假设空间三种机制提升性能,挑战仅归因于方差降低的传统观点。
2024-02-02 cs.LG stat.ML
Ensemble Threshold Calibration for Stable Sensitivity Control
针对空间合并与实体匹配中经典召回率控制方法偏差大、方差高的问题,提出集成阈值校准框架,通过候选缩减、神经排序与多估计器集成,在大规模数据集上实现高精度低方差的召回控制且适配TPU。
2025-10-02 cs.DB cs.LG stat.ML
Subsampled Ensemble Can Improve Generalization Tail Exponentially
UC Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学)
本文提出通过子采样集提升泛化尾部性能的方法,实现指数级风险衰减,优于传统方差减少方法。
2026-01-03 cs.LG math.OC stat.ML
Stable Target Field for Reduced Variance Score Estimation in Diffusion Models
Massachusetts Institute of Technology(麻省理工学院)
扩散模型通过反转固定的正向扩散过程来生成样本。尽管已经提供了令人印象深刻的经验结果,这些扩散模型算法可以通过减少训练目标在其去噪得分匹配目标中的方差来进一步改进。我们认为,这种方差的来源在于处理的中间噪声方差尺度,在数据中的多个模式的影响方向的反向路径。我们建议通过引入一个参考批次来解决这个问题,我们使用该批次来计算加权条件得分作为更稳定的训练目标。我们表明,该程序确实有助于在具有挑战性的中间制度,减少(的痕迹)的协方差的训练目标。新的稳定目标可以被视为降低方差的交易偏倚,其中偏倚随着参考批量的增加而消失。从经验上讲,我们表明,新的目标提高了图像质量,稳定性和训练速度的各种流行的扩散模型跨数据集与一般的ODE和离散化求解器。当与EDM结合使用时,我们的方法在无条件CIFAR-10生成任务上产生了35个网络评估的1.90的当前SOTA FID。代码可在https://github.com/Newbeeer/stf上获得
2023-02-17 cs.CV cs.LG
Short-term Load Forecasting Based on Hybrid Strategy Using Warm-start Gradient Tree Boosting
Southeast University(东南大学);National University of Singapore(新加坡国立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出了一种基于深度学习的短期负荷预测混合策略。该策略提出了一种新的基于树的集成方法Warm-start Gradient Tree Boosting(WGTB)。目前的策略要么是单一类型的集成子模型,无法利用不同推理模型的统计优势。或者他们只是简单地将完全不同的推理模型的输出相加,这并不能最大限度地发挥集成的潜力。受偏差-方差权衡的启发,WGTB被提出,并针对不同推理模型在准确性、波动性和线性度上的巨大差异而定制。完整的策略整合了四种不同能力的推理模型。然后,WGTB通过热启动以及装袋和提升的混合来集成它们的输出,从而同时降低偏差和方差。在国家电网公司的两个小时分辨率的实际数据集上进行了验证。结果表明,所提出的策略的有效性,杂交的低偏差和低方差推理模型的统计优势。
2020-12-07 cs.LG eess.SP stat.ML
MGML: Multi-Granularity Multi-Level Feature Ensemble Network for Remote Sensing Scene Classification
Beihang University(北京航空航天大学)
遥感影像场景分类是一项具有挑战性的任务,它需要对遥感影像的场景类别进行预测。遥感图像具有两个主要特征:分辨率方差大而导致的类内方差大和地理覆盖区域大而信息混乱。以减轻以上两种性格的负面影响。本文提出了一种多粒度多级特征包围网(MGML-FENet)来有效地处理遥感场景分类任务。具体来说,我们提出了多粒度多级特征融合分支(MGML-FFB),通过通道分离特征生成器(CS-FG)提取网络不同层次的多粒度特征。为了避免混淆信息的干扰,我们提出了多粒度多层次特征增强模块(MGML-FEM),它可以通过全通道特征生成器(FC-FG)提供不同的预测。与以前的方法相比,我们提出的网络具有使用结构信息和丰富的细粒度特征的能力。此外,通过集成学习方法,我们提出的MGML-FENets可以获得更令人信服的最终预测。在多个RS数据集(AID,NWPU-RESISC 45,UC-Merced和VGoogle)上进行的广泛分类实验表明,我们提出的网络比以前的最先进(SOTA)网络具有更好的性能。可视化分析也表明MGML-FENet具有良好的可解释性。
2020-12-29 cs.AI cs.CV cs.LG
The Infinitesimal Jackknife and Combinations of Models
Cornell University(康奈尔大学);UC Berkeley(加州大学伯克利分校);Australian National University(澳大利亚国立大学);Amazon.com Inc.(亚马逊公司)
无穷小刀切法是参数模型方差估计的一种常用方法,近年来也用于一些集成方法。本文推广了无穷小Jackknife估计方法,使之能估计任意两个模型之间的协方差。这可用于量化模型组合的不确定性,或构建检验统计量以比较使用相同训练数据集拟合的不同模型或模型集合。本文中的具体示例使用随机森林和M估计量等模型的提升组合。我们还研究了它在神经网络和XGBoost模型集成上的应用。我们通过大量的模拟及其在北京住房数据中的应用说明了方差估计的有效性,并证明了无穷小Jackknife协方差估计的理论一致性。
2022-08-31 cs.LG stat.ME stat.ML
Green AI in Action: Strategic Model Selection for Ensembles in Production
Delft University of Technology, Deloitte Risk Advisory BV(代尔夫特理工大学,德勤风险咨询有限公司);Delft University of Technology(代尔夫特理工大学);University of Amsterdam, Deloitte Risk Advisory BV(阿姆斯特丹大学,德勤风险咨询有限公司)
本文提出Static和Dynamic两种模型选择策略,在实时AI集成系统中平衡准确性与能耗,将平均能耗从100%最低降至14%,同时保持或提升F1分数,验证了绿色AI在生产环境中的可行性。
2025-06-30 cs.AI cs.CY cs.LG