A User-Guided Bayesian Framework for Ensemble Feature Selection in Life Science Applications (UBayFS)
Norwegian University of Life Sciences（挪威生命科学大学）
特征选择是一种降低高维数据集复杂性并深入了解数据系统变化的方法。这方面在依赖模型可解释性的领域（如生命科学）中特别重要。我们提出了UBayFS，集成特征选择技术嵌入在贝叶斯统计框架。我们的方法考虑两个信息来源：数据和领域知识。我们建立了一个元模型，从一个合奏的基本特征选择器和聚合这些信息在一个多项式的可能性。用户通过加权特征和惩罚特定特征块或组合来指导UBayFS，通过Dirichlet型先验分布和正则化项实现。在定量评估中，我们证明了我们的框架（a）允许用户知识和数据观测之间的平衡权衡，（b）实现了具有竞争力的性能与最先进的方法。
2021-12-11 cs.LG stat.ME
Analysis of ensemble feature selection for correlated high-dimensional RNA-Seq cancer data
University of Białystok（比亚韦斯托克大学）；University of Warsaw（华沙大学）
发现诊断和预后的分子标志物是重要的，并积极追求在癌症研究领域。对于复杂的疾病，这个过程通常使用机器学习来执行。目前的研究比较了两种方法发现相关变量：通过应用单一的功能选择算法，与不同的算法的合奏。这些方法用于使用来自癌症基因组图谱的RNA测序谱来识别与四种癌症类型的相关辨别的变量。比较是在两个方向进行的：评估模型的预测性能和监测选定的变量的稳定性。使用四个特征选择算法，即U-检验，ReliefF，和MDFS算法的两个变体来识别最具信息量的特征。使用随机森林算法进行正常和肿瘤组织的区分。当使用U检验时，特征集的稳定性最高。不幸的是，建立在从特征选择算法的集合获得的特征集上的模型并不比建立在从单个算法获得的特征集上的模型更好。另一方面，导致最佳分类结果的特征选择器在数据集之间变化。
2020-04-28 cs.LG q-bio.GN stat.ML
LookWhen? Fast Video Recognition by Learning When, Where, and What to Compute
University of British Columbia（不列颠哥伦比亚大学）；Carleton University（卡尔顿大学）；Vector Institute（向量研究所）
本文提出LookWhen框架，通过学习何时、何地和什么来计算，实现高效视频识别，在多个数据集上优于现有模型。
2026-05-07 cs.CV cs.LG
Fast and reliable uncertainty quantification with neural network ensembles for industrial image classification
Ghent University（根特大学）；Flanders Make（佛兰德制造机构）
本研究针对工业图像分类中神经网络遇分布外数据易给出高置信错误预测的问题，对比多种高效集成方法，提出新的多样性质量指标，发现batch集成性能媲美深度集成且成本更低。
2025-01-13 cs.LG stat.ML
Deep Sub-Ensembles for Fast Uncertainty Estimation in Image Classification
German Research Center for Artificial Intelligence（德国人工智能研究中心）
快速估计模型的不确定性，需要许多强大的机器人应用。深度集成提供了最先进的不确定性，而不需要贝叶斯方法，但它仍然是计算昂贵的。在本文中，我们提出了深度子集成，这是对深度集成的一种近似，其核心思想是只集成接近输出的层，而不是整个模型。在CIFAR 10数据集上使用ResNet-20，我们获得了比Deep Entrance 1.5-2.5的加速比，错误和NLL略有增加，在SVHN数据集上使用VGG类网络的加速比同样高达5-15。我们的研究结果表明，这种想法使误差和不确定性质量与计算性能之间的权衡。
2019-11-29 cs.CV cs.LG stat.ML
Fast Multi-view Clustering via Ensembles: Towards Scalability, Superiority, and Simplicity
South China Agricultural University（华南农业大学）；Sun Yat-sen University（中山大学）
尽管取得了显著的进步，仍然有三个限制，以前的多视图聚类算法。首先，它们通常遭受高计算复杂性，限制了它们对大规模数据集的可行性。其次，他们通常通过一级融合来融合多视图信息，忽略了多级融合的可能性。第三，经常需要特定于发动机的超参数调整，这进一步削弱了它们的实用性。鉴于此，我们提出了一种快速多视图聚类集成（FastMICE）方法。特别地，提出了随机视图组的概念来捕获通用的视图之间的关系，通过该混合早期-晚期融合策略被设计为能够实现高效的多阶段融合。随着多个视图扩展到许多视图组，三个层次的多样性（w.r.t.特征、锚点和邻居）被联合利用来在早期融合中构造视图共享二分图。然后，通过快速图划分得到一组不同视图组的多样性基聚类，并将其进一步构造成统一的二分图，用于融合后期的最终聚类.值得注意的是，FastMICE具有几乎线性的时间和空间复杂度，并且没有特定于磁盘的调优。在22个多视图数据集上的实验证明了它在可扩展性（对于非常大的数据集），优越性（聚类性能）和简单性（要应用）方面的优势。代码可用：https://github.com/huangdonghere/FastMICE。
2023-01-24 cs.LG stat.ML
ARISE: An adaptive residual-informed stability ensemble for feature selection in small-sample biomedical omics
United Arab Emirates University（阿联酋大学）；Abdul Wali Khan University Mardan（阿卜杜勒·瓦利·汗大学马尔丹分校）
该研究提出ARISE方法，整合多类特征选择相关机制，在多组学数据集的小样本分子分类任务中，相比对比方法在多项指标上均取得最优表现。
2026-10-21 cs.LG stat.ML
Fast, Accurate, and Simple Models for Tabular Data via Augmented Distillation
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）
自动机器学习（AutoML）可以通过堆叠、装袋和提升许多单个模型（如树、深度网络和最近邻估计器）来生成复杂的模型集合。虽然高度准确，但与其组成部分相比，所产生的预测值较大，缓慢且不透明。为了改进AutoML在表格数据上的部署，我们提出了FAST-DAD，将任意复杂的集成预测器提取到单独的模型中，如提升树，随机森林和深度网络。在我们的方法的核心是一个数据增强策略的基础上吉布斯抽样从自注意伪验概率估计。在跨越回归和二进制/多类分类任务的30个数据集中，FAST-DAD蒸馏产生的单个模型比通过原始数据的标准训练获得的模型要好得多。我们的单个提取模型比H2O/AutoSklearn等AutoML工具生成的集成预测器快10倍以上，更准确。
2020-06-25 cs.LG stat.ML
Enhanced Ensemble Clustering via Fast Propagation of Cluster-wise Similarities
South China Agricultural University（华南农业大学）；Nanyang Technological University（南洋理工大学）；Sun Yat-sen University（中山大学）
包围聚类是数据采掘和机器学习领域的一个研究热点。尽管集成聚类近年来取得了显著的进展，但目前的集成聚类研究仍然存在两个具有挑战性的问题。首先，大多数现有算法倾向于在对象级别上研究集成信息，但往往缺乏在更高粒度级别上探索丰富信息的能力。其次，他们主要关注直接联系（例如，直接相交或成对共现），但通常忽略了隐藏在其中的多尺度间接关系。为了解决这两个问题，本文提出了一种新的集成聚类方法的基础上快速传播的聚类相似性，通过随机游走。我们首先构建一个集群相似性图的基础集群视为图形节点和集群的Jaccard系数利用计算初始边的权重。在所构造的图上，定义转移概率矩阵，基于该转移概率矩阵进行随机游走过程以传播图的结构信息。具体地说，通过研究从不同节点开始的传播轨迹，可以通过考虑轨迹关系来导出新的聚类相似性矩阵。然后，将新得到的聚类相似度矩阵从聚类级映射到对象级，得到一个增强型共关联（ECA）矩阵，该矩阵能够同时捕获集合中对象级的同现关系和多尺度聚类关系.最后，提出了两个新的一致性函数，以获得一致性聚类结果。在各种真实世界数据集上进行的广泛实验已经证明了我们方法的有效性和效率。
2018-10-30 cs.LG stat.ML
RENT -- Repeated Elastic Net Technique for Feature Selection
Norwegian University of Life Sciences（挪威生命科学大学）
特征选择是数据科学管道中的一个重要步骤，可以降低与大型数据集相关的复杂性。虽然这方面的研究主要集中在优化预测性能，但很少有研究在特征选择过程的背景下调查稳定性。在这项研究中，我们提出了重复弹性网络技术（重复）的特征选择。SVM使用具有弹性网络正则化的广义线性模型的集合，每个模型在训练数据的不同子集上训练。特征选择基于三个标准，评估所有基本模型中特征的权重分布。这一事实导致选择具有高稳定性的特征，从而提高最终模型的鲁棒性。此外，与已建立的特征选择器不同，SVM为模型解释提供了有价值的信息，这些信息涉及在训练期间难以预测的数据中的对象的识别。在我们的实验中，我们对六个已建立的特征选择器在八个多元数据集上进行二进制分类和回归的基准测试。在实验比较中，ESTA显示了预测性能和稳定性之间的平衡。最后，我们通过对医疗数据集的探索性事后分析，强调了ESTA的额外解释价值。
2021-11-22 cs.LG stat.AP stat.ML
Ensemble Distillation for Structured Prediction: Calibrated, Accurate, Fast-Choose Three
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
现代神经网络并不总是产生校准良好的预测，即使在使用适当的评分函数（如交叉熵）进行训练时也是如此。在分类设置中，简单的方法，如保序回归或温度标度可以与保留的数据集结合使用，以校准模型输出。然而，将这些方法扩展到结构化预测并不总是简单或有效的;此外，保持的校准集可能并不总是可用的。在本文中，我们研究合奏蒸馏作为一个通用的框架，产生良好的校准结构化的预测模型，同时避免了令人望而却步的推理时间成本的合奏。我们验证这个框架上的两个任务：命名实体识别和机器翻译。我们发现，在这两项任务中，合奏蒸馏产生的模型保留了大部分，偶尔提高，合奏的性能和校准的好处，而只需要一个单一的模型在测试时。
2021-03-25 cs.CL cs.LG stat.ML
Bayesian optimized deep ensemble for uncertainty quantification of deep neural networks: a system safety case study on sodium fast reactor thermal stratification modeling
Texas A&M University（德克萨斯农工大学）；Argonne National Laboratory（阿贡国家实验室）；Oak Ridge National Laboratory（橡树岭国家实验室）
针对深度集成不确定性量化性能受限的问题，提出结合贝叶斯优化的BODE方法，在钠冷快堆热分层建模案例中显著降低不确定性、提升预测准确性，适用于高风险领域的鲁棒不确定性量化需求。
2024-12-11 cs.LG stat.ML
A Copula Based Supervised Filter for Feature Selection in Diabetes Risk Prediction Using Machine Learning
University of Louisiana at Lafayette（路易斯安那州立大学拉斐特分校）；Minnesota State University（明尼苏达州立大学）；West Liberty University（韦斯特利布利大学）
本文提出基于Copula的监督过滤器，用于糖尿病风险预测中的特征选择，通过lambda U指标高效筛选关键特征，提升模型解释性与稳健性。
2026-03-04 cs.LG stat.ML
Enhash: A Fast Streaming Algorithm For Concept Drift Detection
Indian Institute of Technology Delhi（印度理工学院德里分校）；Indraprastha Institute of Information Technology, Delhi（德里英德拉普拉斯塔信息技术学院）
我们提出了Enhash，一个快速集成学习器，检测数据流中的\textit{concept drift}。流可以由突然的、渐进的、虚拟的或重复的事件组成，或者由各种类型的漂移的混合物组成。Enhash使用投影哈希来插入传入的样本。我们的经验表明，该方法具有竞争力的性能，现有的集成学习器在更短的时间。此外，Enhash有适度的资源需求。在6个人工数据集和4个由各种类型漂移组成的真实数据集上进行了性能比较相关的实验。
2020-11-07 cs.LG stat.ML
FIRE: An Optimization Approach for Fast Interpretable Rule Extraction
Massachusetts Institute of Technology（麻省理工学院）
本研究提出基于优化的FIRE框架，通过融合正则化与非凸稀疏惩罚从树集成提取可解释规则集，搭配专用块坐标下降求解器提速最高40倍，性能优于现有规则集成算法。
2023-06-12 cs.LG stat.ML
DeepFEL: Deep Fastfood Ensemble Learning for Histopathology Image Analysis
CREATIS（CREATIS实验室）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；Université Lyon 1（里昂第一大学）；INSA-Lyon（里昂国立应用科学学院）
计算病理学任务具有一些独特的特征，例如多个千兆像素的图像，繁琐且经常不确定的注释，以及大量病例的不可用性[13]。为了解决其中的一些问题，我们提出了Deep Fastfood Ensembles -一种简单，快速且有效的方法，用于组合从在完全不同的源域上预训练的流行CNN模型中汇集的深度特征（例如，自然图像对象），并使用随机投影投影到不同的维度上，即所谓的快餐[11]。最终的集成输出是通过简单的个体分类器的共识获得的，每个分类器都是在不同的随机基向量集合上训练的。这提供了非常快速而有效的解决方案，特别是当训练时间和域标签至关重要时。我们证明了所提出的深度快餐集成学习的有效性相比，国家的最先进的方法在组织病理学图像分析的三个不同的任务。
2023-01-23 cs.CV cs.LG eess.IV
Fase-AL -- Adaptation of Fast Adaptive Stacking of Ensembles for Supporting Active Learning
Santa Catarina State University（圣卡塔琳娜州立大学）；Pernambuco Federal University（伯南布哥联邦大学）；Granma University（格拉玛大学）
数据流挖掘的分类算法是近年来研究的热点。然而，许多这些算法是专为监督学习，需要标记的实例。然而，数据的标记是昂贵和耗时的。正因为如此，已经提出了替代的学习范例，以减少标记过程的成本，而不会显着损失模型性能。主动学习是这些范例之一，其主要目标是建立分类模型，要求尽可能少的标记样本达到足够的准确度。因此，本工作提出了FASE-AL算法，该算法使用主动学习来诱导具有非标记实例的分类模型。FASE-AL是基于算法快速自适应堆叠的集合（FASE）。FASE是一种集成算法，当输入数据流存在概念漂移时，该算法检测并调整模型。FASE-AL与文献中发现的四种不同的主动学习策略进行了比较。实验中使用了真实和合成数据库。该算法取得了可喜的成果，正确分类的实例的百分比。
2020-01-30 cs.AI cs.LG stat.ML
Fast and Accurate Graph Learning for Huge Data via Minipatch Ensembles
Rice University（莱斯大学）；University of Minnesota（明尼苏达大学）
针对海量高斯图模型选择的计算、调参与准确性挑战，提出MPGraph小补丁集成估计量，实现并行高效学习、稳定性超参数调优与选择一致性，并在实验中优于BigQUIC等方法。
2023-01-02 cs.LG stat.ML
Pick up the PACE: Fast and Simple Domain Adaptation via Ensemble Pseudo-Labeling
Boston University（波士顿大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
领域自适应（DA）由于能够提高分布外标记数据的测试精度，近年来受到了深度学习研究者的广泛关注。大多数最先进的DA算法需要大量的超参数调整，并且由于所需的大批量大小而计算密集。在这项工作中，我们提出了一个快速和简单的DA方法包括三个阶段：（1）域对齐协方差匹配，（2）伪标记，（3）集成。我们称这种方法为$\textbf{PACE}$，用于$\textbf{P}$双标记、$\textbf{C}$方差的$\textbf{A}$对齐和$\textbf{E}$集合。PACE是在从现代预训练骨干集合中提取的固定特征之上进行训练的。PACE在大多数基准自适应任务上超越了$\textbf{5 - 10 \%}$之前的最新技术水平，无需训练神经网络。与最先进的DA方法相比，PACE分别通过$82\%$和$97\%$减少了训练时间和超参数调整时间。代码发布于：https://github.com/Chris210634/PACE-Domain-Adaptation
2022-05-26 cs.LG
DEFT: Diverse Ensembles for Fast Transfer in Reinforcement Learning
深度集成已经被证明可以将典型集成学习中的积极效果扩展到神经网络和强化学习（RL）。然而，仍有许多工作要做，以提高这种集成模型的效率。在这项工作中，我们提出了用于RL中快速传输的多样化集成（DEFT），这是一种新的基于集成的方法，用于高度多模态环境中的强化学习，并改进了对未知环境的传输。该算法被分解为两个主要阶段：训练集合成员，以及将集合成员合成（或微调）为在新环境中工作的策略。该算法的第一阶段涉及并行地训练常规策略梯度或行动者-批评者代理，但是向损失添加一个项，该项鼓励这些策略彼此不同。这使得个体单峰代理探索最优政策的空间，并比单个行为者捕获更多的环境多模态。DEFT的第二阶段涉及将组件策略合成为一个新策略，该新策略以两种方式之一在修改后的环境中工作良好。为了评估DEFT的性能，我们从一个基本版本的近端策略优化（PPO）算法开始，并扩展它与DEFT的修改。我们的研究结果表明，预训练阶段是有效的，在多模态环境中产生不同的政策。DEFT通常比其他方法更快地收敛到高回报，例如没有DEFT的随机初始化和对集合成员的微调。虽然在理论上分析DEFT并将其扩展到更强大方面还有更多的工作要做，但我们相信它提供了一个强大的框架，可以在环境中捕获多模态，同时仍然使用具有简单策略表示的RL方法。
2022-09-26 cs.AI cs.LG
A fast multi-object tracking system using an object detector ensemble
Industrial Artificial Intelligence (INARI) Research Lab（工业人工智能（INARI）研究实验室）；Escuela Superior Politecnica del Litoral（滨海高等理工学院）
多目标跟踪（MOT）对于零售视频分析和视频监控等应用至关重要。目标检测器通常是现代MOT系统的计算瓶颈，限制了它们在实时应用中的使用。在本文中，我们通过利用探测器的集合来解决这个问题，每个探测器每f帧运行一次。我们在MOT16基准测试中测量了我们系统的性能。所提出的模型在速度上超过了MOT16挑战赛的其他在线参赛作品，同时保持了可接受的准确性。
2019-08-06 cs.CV cs.LG
Contextualized Hybrid Ensemble Q-learning: Learning Fast with Control Priors
RWTH Aachen University（亚琛工业大学）；Institute for Data Science in Mechanical Engineering（机械工程数据科学研究所）
本文提出CHEQ算法，通过将自适应权重作为情境变量、利用评论家集成不确定性动态调整权重，并结合集成加速，在赛车任务上实现了比现有自适应混合RL方法更高的数据效率、探索安全性和迁移能力。
2024-07-01 cs.LG
New pyramidal hybrid textural and deep features based automatic skin cancer classification model: Ensemble DarkNet and textural feature extractor
Ardahan University（阿尔达汉大学）；Firat University（菲拉特大学）
工作背景：皮肤癌是世界范围内常见的恶性肿瘤之一，皮肤癌的自动分类有助于皮肤科诊所的准确诊断。因此，必须开发基于机器学习的皮肤癌自动检测模型。材料和方法：本研究旨在解决皮肤癌自动检测问题。使用彩色皮肤癌图像数据集。该数据集包含3297张图像，分为两类。提出了一种基于纹理和深度特征的自动多级模型。采用离散小波变换（DWT）、局部相位量化（LPQ）、局部二值模式（LBP）、预训练的DarkNet19和DarkNet53进行多层次融合特征生成，并采用基于阈值的邻域成分分析（NCA）选取前1000个特征。所选择的前1000个特征使用10倍交叉验证技术进行分类。结果如下：为了获得结果，使用了10倍交叉验证，通过使用推荐的金字塔混合特征生成器和基于NCA选择器的模型，获得了91.54%的分类准确率结果。此外，使用各种训练和测试分离比（90：10、80：20、70：30、60：40、50：50），并且使用90：10分离比计算出最大分类率为95.74%。结论：结果表明，该模型可用于皮肤科和病理诊所，以简化皮肤癌的检测过程，并帮助医生。
2022-03-28 cs.CV cs.LG
MASS-UMAP: Fast and accurate analog ensemble search in weather radar archive
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Meteotrentino（特伦托气象局）
利用类似物-类似的天气模式-进行天气预报和分析是气象学中的一种既定方法。使用这种方法在业务雷达应用程序的背景下，最具挑战性的方面是能够执行一个快速，准确的搜索类似的时空降水模式在一个大型档案的历史记录。在这种情况下，顺序成对搜索太慢，计算成本太高。在这里，我们提出了一个架构，显着加快时空模拟检索相结合的非线性几何降维（UMAP）与已知的最快的欧几里得搜索算法的时间序列（MASS），以找到雷达模拟在恒定的时间，独立于所需的时间长度匹配和提取的类似物的数量。我们比较UMAP与主成分分析（PCA），并表明UMAP优于PCA的空间MSE模拟搜索与适当的设置。此外，我们表明，在UMAP嵌入空间上，MASS比蛮力搜索快20倍。我们在一个真实的数据集上测试了该架构，并表明它可以在单个工作站上在不到5秒的时间内通过2年多的雷达档案进行精确和快速的操作模拟集成搜索。
2019-10-01 cs.CY cs.LG
LD-EnSF: Synergizing Latent Dynamics with Ensemble Score Filters for Fast Data Assimilation with Sparse Observations
Georgia Institute of Technology（佐治亚理工学院）；Yale University（耶鲁大学）
LD-EnSF通过在潜在空间中直接演进动力学，结合改进的LDNets和历史感知LSTM编码器，实现高维稀疏观测下的高效数据同化。
2026-03-01 cs.LG math.DS stat.ML
Fast Construction of Correcting Ensembles for Legacy Artificial Intelligence Systems: Algorithms and a Case Study
University of Leicester（莱斯特大学）；Lobachevsky State University of Nizhnij Novgorod（下诺夫哥罗德国立大学（罗巴切夫斯基大学））
本文提出了一种用于改进通用人工智能（AI）系统（包括多层和深度学习神经网络）的简单且计算高效的技术。这些改进本质上是在现有AI架构之上构建的小型网络集合。该技术的理论基础是随机分离定理和测度集中的思想。我们表明，在对原始AI系统中内部信号的统计特性进行温和的技术假设的情况下，该技术能够在指数级大的数据集上以接近1的概率瞬时和计算高效地去除虚假和系统错误。数值例子和美国手语十位数字识别的案例研究说明了该方法。
2019-02-13 cs.AI cs.LG
Fast Ensemble Learning Using Adversarially-Generated Restricted Boltzmann Machines
São Paulo State University（圣保罗州立大学）
在过去的几年里，机器学习已被应用于各种任务，从图像分类到自动驾驶和自然语言处理。受限玻尔兹曼机（RBM）最近受到关注，并依赖于基于能量的结构来建模数据概率分布。尽管如此，这种技术容易受到对抗性操纵，即，轻微或深刻修改的数据。克服对抗问题的另一种方法是生成对抗网络（GAN），它能够对数据分布进行建模，并生成类似于原始数据的对抗数据。因此，这项工作提出使用对抗学习人工生成RBM，其中预训练的权重矩阵作为GAN输入。此外，它还建议对大量的矩阵进行采样，并将它们组合成集合，从而减轻训练新模型的负担。实验结果证明了所提出的方法在图像重建和图像分类任务下的适用性，并描述了人工集成是如何替代预训练大量RBM的。
2021-01-04 cs.CV cs.LG
A Hybrid Ensemble Feature Selection Design for Candidate Biomarkers Discovery from Transcriptome Profiles
Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）；Hospital de Clínicas de Porto Alegre（阿雷格里港临床医院）；Centro Universitário CESUCA（CESUCA大学中心）
通过特征选择（FS）方法，特别是使用在数据水平上具有扰动的集成FS（EFS）策略（即，均质，Hom-EFS）或方法水平（即，异构，Het-EFS）。在这里，我们提出了一种混合EFS（Hyb-EFS）设计，探索两种类型的扰动，以提高候选生物标志物的稳定性和预测能力。有了这个，Hyb-EFS旨在破坏良好性能与单个数据集，单个算法或两者的特定组合的关联，这对于基因组生物标志物的更好再现性特别有趣。我们调查了我们的方法与四种类型的癌症相关的微阵列数据的充分性，与其他合奏和单一FS方法进行了广泛的比较。在我们的实验中使用了五种FS方法：Wx，对称不确定性（SU），增益比（GR），特征方向（GeoDE）和ReliefF。我们观察到，Hyb-EFS和Het-EFS方法减弱了在不同数据集上大多数单个FS和Hom-EFS中观察到的巨大性能变化。此外，Hyb-EFS在我们的域中改进了Het-EFS的稳定性。比较由性能最好的选择器（Wx、GR和SU）组成的Hyb-EFS和Het-EFS，我们的混合方法超过了等效的异构设计和最好的Hom-EFS（Hom-Wx）。有趣的是，由我们的Hyb-EFS产生的排名达到了更高的生物可接受性，癌症相关基因和途径的富集程度非常高。因此，我们的实验表明，所提出的混合EFS设计在从微阵列数据中发现候选生物标志物中的潜力。最后，我们提供了一个开源框架来支持其他领域的类似分析，既…
2021-07-31 cs.LG q-bio.GN
Scalable Bayesian Monte Carlo: fast uncertainty estimation beyond deep ensembles
Mathematics Department, University of Manchester（曼彻斯特大学数学系）；Department of Electrical and Computer Engineering, Southern Methodist University（南方 Methodist 大学电气与计算机工程系）；DEVCOM US Army Research Laboratory（美国陆军研发实验室）；Department of Electrical and Computer Engineering, University of Illinois Chicago（伊利诺伊大学芝加哥分校电气与计算机工程系）；Cognizant AI Labs（Cognizant AI 实验室）；Quantum Information Science Section, Oak Ridge National Laboratory（橡树岭国家实验室量子信息科学部门）；Tulane University（Tulane 大学）
本文提出可扩展贝叶斯蒙特卡洛（SBMC）方法，通过并行SMC或MCMC算法在点估计与后验之间插值，在相同计算时间内取得与深度集成相当或更好的精度，并显著提升认知不确定性量化能力。
2025-08-21 cs.LG stat.CO stat.ML
Fast Inference of Tree Ensembles on ARM Devices
TU Dortmund（多特蒙德工业大学）；Ca’ Foscari Univ. of Venice（威尼斯大学）
本文针对ARM设备上的树集成模型推理，将QuickScorer算法从Intel AVX移植到ARM NEON，并扩展至分类模型，研究定点量化影响，实现最高9.4倍加速，且量化模型速度更优而性能损失可忽略。
2023-05-15 cs.LG
First-Order Trajectory Matching: Fast Ensemble Predictions of Chaotic, Turbulent, Stochastic Systems
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
提出一阶轨迹匹配（FTM）方法，通过学习随机系统轨迹的一阶局部概率质量输运，实现低成本的集成预测，并捕捉通量、环流等轨迹量。
2026-06-09 cs.LG cs.NA math.NA
Woodelf++: A Fast and Unified Partial Dependence Plot Algorithm for Decision Tree Ensembles
Reichman University（里奇曼大学）；Faculty of Data and Decision Sciences（数据与决策科学学院）
本文提出Woodelf++算法，用于高效计算决策树集成的偏倚依赖图、联合偏倚依赖图和任意顺序偏倚交互值，显著提升了计算效率。
2026-05-14 cs.LG
GRADSOLVE: fast exact gradients for ODE ensembles on GPUs
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
GRADSOLVE是开源JAX库，可在NVIDIA GPU上快速精确求导低维ODE集合，比现有工具在梯度计算上快5.6-14.1倍，支持多种积分器，已发布。
2026-09-03 cs.DC cs.LG cs.MS
Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs
Samsung AI Center in Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Cornell University（康奈尔大学）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
深度神经网络的损失函数很复杂，其几何性质还没有得到很好的理解。我们表明，这些复杂的损失函数的最优值实际上是由简单的曲线连接，在这些曲线上，训练和测试精度几乎是恒定的。我们引入了一个训练过程来发现这些模式之间的高精度路径。受这种新的几何见解的启发，我们还提出了一种新的集成方法，称为快速几何集成（FGE）。使用FGE，我们可以在训练单个模型所需的时间内训练高性能的合奏。与最近最先进的快照集成相比，我们在CIFAR-10，CIFAR-100和ImageNet上实现了更高的性能。
2018-10-30 cs.AI cs.LG stat.ML
Faster Deep Ensemble Averaging for Quantification of DNA Damage from Comet Assay Images With Uncertainty Estimates
Florida International University（佛罗里达国际大学）；Gladstone Institutes（格莱斯顿研究所）
几种神经退行性疾病涉及细胞DNA损伤的积累。彗星试验是评估DNA损伤程度的常用方法。目前关于使用深度学习来量化DNA损伤的文献提出了一种超参数优化的经验方法，并且不包括不确定性估计。深度集合平均是估计不确定性的标准方法，但它需要多次迭代网络训练，这使得它非常耗时。在这里，我们提出了一种量化DNA损伤程度的方法，该方法将深度学习与严格而全面的方法相结合，以在统计测试的帮助下优化超参数。我们还使用了一种架构，可以更快地计算深度集成平均，并使用迁移学习执行适用于网络的统计测试。我们将我们的方法应用于具有超过1300个图像的彗星试验数据集，并实现了0.84的$R^2$，其中输出包括每个预测的置信区间。所提出的架构是对当前方法的改进，因为它将不确定性估计速度提高了30倍，同时在统计上更加严格。
2021-12-23 cs.CV cs.LG eess.IV
PFGE: Parsimonious Fast Geometric Ensembling of DNNs
Zhejiang Lab（之江实验室）
提出PFGE方法，通过连续随机权重平均生成轻量级高性能DNN集成，在保持泛化性能的同时将测试时内存效率提升5倍。
2023-05-23 cs.AI cs.LG
Slow-Fast Inference: Training-Free Inference Acceleration via Within-Sentence Support Stability
National University of Singapore（新加坡国立大学）；ByteDance（字节跳动）
SFI通过利用句内支持稳定性，将生成过程分为快速低成本步骤和偶尔的密集注意力慢步骤，从而提高解码吞吐量并保持质量。
2026-03-12 cs.AI cs.LG
Coupling streaming AI and HPC ensembles to achieve 100-1000x faster biomolecular simulations
Argonne National Laboratory（阿贡国家实验室）；University of Chicago（芝加哥大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rutgers University（罗格斯大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
基于机器学习（ML）的转向可以通过允许在线选择更具科学意义的计算来提高基于集成的模拟的性能。我们提出了DeepDriveMD，这是一个ML驱动的科学模拟转向框架，我们已经使用该框架通过在大型并行计算机上有效耦合ML和HPC来实现分子动力学（MD）性能的数量级改进。我们讨论了DeepDriveMD的设计并表征了其性能。我们证明，DeepDriveMD相对于其他方法可以实现100- 1000倍的蛋白质折叠模拟加速，如所执行的模拟时间量所测量的，同时覆盖模拟期间采样的状态所量化的相同构象景观。实验在多达1020个节点的领导级平台上进行。结果将DeepDriveMD确立为ML驱动的HPC模拟场景的高性能框架，支持各种MD模拟和ML后端，并通过改进当前计算能力可访问的长度和时间尺度来实现新的科学见解。
2022-07-12 cs.DC cs.LG
Faster, Lighter, More Accurate: A Deep Learning Ensemble for Content Moderation
Comcast（康卡斯特）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出一种高效轻量的深度分类集成结构，利用缩减颜色特征的轻量级模型组合，在图像和视频内容审核中实现高精度与低误报，推理速度提升7.64倍，并倡导“小而多”的模型集成理念。
2023-09-10 cs.AI cs.CV cs.LG
Fast Ensembling with Diffusion Schrödinger Bridge
Kim Jaechul Graduate School of AI（金在哲人工智能研究生院）；KAIST（韩国科学技术院）
针对深度集成推理开销大的问题，提出 Diffusion Bridge Network (DBN)，基于薛定谔桥理论学习随机微分方程，用轻量级网络替代繁重集成，在保持准确性和不确定性的同时降低计算成本。
2024-04-24 cs.AI cs.LG
Accelerated Probabilistic Marching Cubes by Deep Learning for Time-Varying Scalar Ensembles
Scientific Computing and Imaging Institute（科学计算与成像研究所）；Oak Ridge National Laboratory（橡树岭国家实验室）
集合模拟的不确定性可视化是具有挑战性的，由于集合数据集的大尺寸和多变量和时间特性。一个流行的方法来研究的不确定性合奏是分析的水平集的位置不确定性。概率移动立方体是一种对多变量高斯噪声分布进行蒙特卡罗采样的技术，用于水平集的位置不确定性可视化。然而，该技术的计算时间长，使得交互式可视化和分析不可能实现。本文介绍了一种基于深度学习的方法，用于学习具有多元高斯噪声假设的二维集合数据的水平集不确定性。我们在工作流程中使用来自时变集合数据的前几个时间步来训练模型。我们证明，我们的训练模型准确地推断出新时间步长的水平集的不确定性，并且比串行计算的原始概率模型快170倍，比原始并行计算快10倍。
2022-10-22 cs.HC cs.LG
Generating Efficient DNN-Ensembles with Evolutionary Computation
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；IBM Research - Zurich（IBM苏黎世研究院）
在这项工作中，我们利用集成学习作为创建更快，更小，更准确的深度学习模型的工具。我们证明，我们可以通过组合DNN分类器来联合优化准确性，推理时间和参数数量。为了实现这一目标，我们结合了多种集成策略：装袋，提升和分类器的有序链。为了减少搜索过程中DNN集成评估的数量，我们提出了EARN，一种进化方法，根据用户指定的约束条件的三个目标来优化集成。我们在10个图像分类数据集上运行EARN，初始池为32个最先进的DCNN，在CPU和GPU平台上，我们生成的模型加速高达$7.60\times$，参数减少了$10\times$，或者准确度增加了$6.01\%$。此外，我们的方法生成的模型是$5.6\times$比最先进的自动模型生成方法更快。
2021-05-03 cs.LG cs.NE
Traversing Between Modes in Function Space for Fast Ensembling
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Saige Research（Saige研究院）；AITRICS（AITRICS公司）
提出一种利用低损失子空间和轻量级“桥”网络预测集成模型输出的框架，在不进行多次前向传播的情况下显著降低深度集成推理成本。
2023-06-20 cs.AI cs.LG
Fast Amortized Fitting of Scientific Signals Across Time and Ensembles via Transferable Neural Fields
Rice University（里士大学）；Argonne National Laboratory（阿贡国家实验室）
本文提出利用可迁移神经场在时空和多变量信号中实现高效且可扩展的表示，提升信号保真度和物理量准确性，减少迭代次数并提高早期重建质量。
2026-04-21 cs.CE cs.CV cs.LG
Deep Single Models vs. Ensembles: Insights for a Fast Deployment of Parking Monitoring Systems
Pontifícia Universidade Católica do Paraná（巴拉那天主教大学）；Universidade Federal do Paraná（巴拉那联邦大学）
本文研究跨场景即用型停车监控框架，通过多数据集、深度架构、融合与集成实验，证明在多样化公开数据上训练的单一模型无需目标场地标注即可达到95%准确率。
2023-09-28 cs.CV cs.LG
A data free neural operator enabling fast inference of 2D and 3D Navier Stokes equations
提出一种用于Navier Stokes方程的无数据算子网络，结合物理架构与机器学习，在2D和3D流中实现高精度、高效率的实时集合预测。
2025-10-31 cs.LG physics.flu-dyn
Fast Uncertainty Estimates in Deep Learning Interatomic Potentials
Harvard University（哈佛大学）；Robert Bosch Research and Technology Center（罗伯特·博世研究与技术中心）
本文提出一种基于单个神经网络的不确定性估计方法，无需集成，计算开销几乎为零，质量与深度集成相当，并在主动学习中验证其有效性。
2022-11-17 cond-mat.mtrl-sci cs.LG physics.chem-ph
