Sample Efficient Reinforcement Learning via Model-Ensemble Exploration and Exploitation
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
基于模型的深度强化学习已经在需要高样本效率的各个领域取得了成功，例如Go和机器人。然而，还有一些遗留问题，如规划有效的探索，以学习更准确的动态模型，评估学习模型的不确定性，以及更合理地利用模型。为了缓解这些问题，我们提出了MEEE，一个模型集成方法，包括乐观的探索和加权开发。在探索过程中，与现有方法直接选择最大化预期累积回报的最佳行动不同，我们的代理首先生成一组候选行动，然后寻找既考虑预期回报又考虑未来观察新颖性的最佳行动。在开发过程中，根据模型的不确定性，分别为虚拟转移元组分配不同的折扣权重，以防止模型预测误差在Agent训练中的传播。几个具有挑战性的连续控制基准任务的实验表明，我们的方法优于其他无模型和基于模型的最先进的方法，特别是在样本复杂度。
2021-07-05 cs.AI cs.LG
Sample-Efficient and Safe Deep Reinforcement Learning via Reset Deep Ensemble Agents
Carnegie Mellon University（卡内基梅隆大学）；KAIST（韩国科学技术院）
本文针对深度强化学习中DNN首因偏差导致过拟合以及普通重置方法引发性能崩溃的问题，提出利用深度集成学习改进重置策略，在提升样本效率的同时兼顾安全性，并通过实验验证其有效性。
2023-10-31 cs.AI cs.LG
DNS: Determinantal Point Process Based Neural Network Sampler for Ensemble Reinforcement Learning
Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）
集成神经网络的应用正在成为推进深度强化学习算法的最新技术的一个迫在眉睫的工具。然而，在集成中训练这些大量的神经网络具有极高的计算成本，这可能成为训练大规模系统的障碍。在本文中，我们提出了DNS：一个基于确定性点过程的神经网络采样器，专门使用k-dpp在每个训练步骤中对神经网络的子集进行采样，从而显着减少了训练时间和计算成本。我们在REDQ中集成了DNS，用于连续控制任务，并在MuJoCo环境中进行了评估。我们的实验表明，DNS增强的REDQ优于基线REDQ的平均累积奖励，并实现这一目标时，使用不到50%的计算测量的FLOPS。
2022-05-17 cs.LG
Ensemble-MIX: Enhancing Sample-Efficiency in Multi-Agent RL via Selective Ensemble-Based Exploration
本文提出结合分解集中批评者与去中心化集合学习的新算法，通过集合kurtosis实现选择性探索，提升样本效率，优于现有基线方法。
2026-10-14 cs.LG cs.SY eess.SY
Rethinking Policy Diversity in Ensemble Policy Gradient in Large-Scale Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心）
本文提出耦合策略优化方法，通过KL约束调节策略多样性，提升大规模强化学习中的探索效率和学习性能。
2026-03-03 cs.AI cs.LG cs.RO
An Ensemble Method of Deep Reinforcement Learning for Automated Cryptocurrency Trading
Northwestern University（西北大学）
提出一种深度强化学习集成方法，通过多验证期模型选择和混合分布策略，提升日内加密货币交易策略的泛化性能，优于单一强化学习及被动投资基准。
2023-07-27 cs.LG q-fin.TR
A new Stack Autoencoder: Neighbouring Sample Envelope Embedded Stack Autoencoder Ensemble Model
Chongqing University（重庆大学）
堆栈自动编码器（SAE）作为深度网络的代表，在特征学习方面具有独特而优异的性能，受到了研究者的广泛关注。然而，现有的深度SAE关注原始样本，而没有考虑样本之间的分层结构信息。针对这一局限性，本文提出了一种新的SAE模型--相邻包络嵌入式堆栈自动编码器集成（NE_ESAE）。首先，提出了一种用于SAE输入预处理的相邻样本包络学习机制（NSELM）。NSELM通过组合相邻样本来构造样本对。此外，NSELM通过多层迭代均值聚类构造多层样本空间，考虑相似样本，生成具有层次结构信息的多层包络样本。其次，提出了一种嵌入式堆栈自动编码器（ESAE），并在每一层样本空间中进行训练，以在训练过程中和网络结构中考虑原始样本，从而更好地找到原始特征样本与深度特征样本之间的关系。第三，分别对各层包络样本进行特征约简和基分类器，输出每层样本的分类结果。最后，通过集成机制融合各层包络样本空间的分类结果。在实验部分，我们用十多个有代表性的公共数据集对算法进行了验证。结果表明，我们的方法比现有的传统特征学习方法和代表性的深度自动编码器具有更好的性能。
2022-10-25 cs.AI cs.LG
A Random Projection k Nearest Neighbours Ensemble for Classification via Extended Neighbourhood Rule
Abdul Wali Khan University（阿卜杜勒·瓦利·汗大学）；King Abdul Aziz University（阿卜杜勒·阿齐兹国王大学）
基于k近邻（kNN）的集成组合了大量的基础学习器，每个学习器都是在从给定的训练数据中获取的样本上构建的。典型的基于kNN的集成确定训练数据中的k个最接近的观测值，该训练数据通过球形区域被限制到测试样本点以预测其类别。本文提出了一种新的随机投影扩展邻域规则（RPExNRule）集成，其中从给定的训练数据的引导样本被随机投影到较低的维度，以增加基础模型中的随机性并保留特征信息。它使用扩展的邻域规则（ExNRule）来拟合kNN作为随机投影自举样本的基础学习器。
2023-03-21 cs.LG stat.ML
Towards Inference Efficient Deep Ensemble Learning
Microsoft Research Asia（微软亚洲研究院）
包围方法可以提供令人惊讶的性能增益，但也带来显著更高的计算成本，例如，在大规模集成任务中可达2048X。然而，我们发现，在合奏方法的大部分计算是冗余的。例如，CIFAR-100数据集中超过77%的样本可以只用一个ResNet-18模型正确分类，这表明只有大约23%的样本需要额外的模型集合。为此，我们提出了一种推理高效集成学习方法，同时优化集成学习的有效性和效率。更具体地说，我们把模型的集成看作是一个顺序推理过程，并学习最佳的停止事件，用于对特定样本的推理。在推理过程的每一个时间步，一个公共选择器判断当前的集成是否已经达到集成有效性并停止进一步的推理，否则过滤这个具有挑战性的样本，以便后续模型进行更强大的集成。该方法通过对基模型和公共选择器的联合优化，实现了对不同硬度样本的集成推理动态调整，实现了集成推理的有序推进和计算量的节省.在真实数据集上使用不同主干进行的实验表明，该方法可以在保持与完整集成相当的性能的同时，降低高达56%的推理成本，实现比其他基线更好的集成效用。代码和补充材料可在www.example.com上获得。
2023-01-29 cs.AI cs.CV cs.LG
Do AI Forecast Ensembles Sample the Correct Conditional Distribution?
Boston University（波士顿大学）
该研究针对沿海海平面预测的AI扩散模型，发现其边际预测技能良好但联合空间结构差，该失效由变差函数分数检测，且是学习到的模拟器特有的结构不足问题。
2026-08-11 cs.AI cs.LG physics.ao-ph
Leveraging Ensemble Diversity for Robust Self-Training in the Presence of Sample Selection Bias
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；École des Ponts ParisTech（巴黎桥路学院）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）
针对样本选择偏差下softmax置信度过自信导致自训练失效的问题，提出基于线性分类器集成预测多样性的$\mathcal{T}$-similarity置信度，并给出理论分析与多数据集实验验证。
2024-04-03 cs.AI cs.LG stat.ML
Ensemble Augmentation for Deep Neural Networks Using 1-D Time Series Vibration Data
时间序列数据是数据驱动技术中使用的原始数据表示的基本类型之一。在机器状态监测中，时间序列振动数据被过度用于深度神经网络的数据采掘。通常，振动数据被转换成图像，用于使用深度神经网络（DNN）进行分类，并且尺度图是最有效的图像表示形式。然而，DNN分类器需要大量的标记训练样本才能达到最佳性能。因此，许多形式的数据增强技术被应用于分类器，以弥补训练样本的不足。然而，尺度图是图形表示，其中现有的增强技术受到影响，因为它们要么改变图形含义，要么在改变物理含义的样本中具有太多的噪声。在这项研究中，一个数据增强技术命名为集成增强，以克服这一限制。这种增强方法使用在集合中添加到原始样本中的白噪声的功率来生成类实数样本。在用系综平均信号之后，获得包含原始信号的特征的新信号。使用模拟信号验证用于系综增强的参数。所提出的方法进行评估，使用10类轴承振动数据，使用三个国家的最先进的迁移学习（TL）模型，即Inception-V3，MobileNet-V2和ResNet 50。增强样本以两个增量生成：第一个增量生成与训练样本相同数量的假样本，而在第二个增量中，样本数量逐渐增加。将所提出的方法的输出与无增强、使用深度卷积生成对抗网络（DCGAN）的增强以及几种基于几何变换的增强进行比较。
2022-01-13 cs.AI cs.LG
MESA: Boost Ensemble Imbalanced Learning with MEta-SAmpler
Jilin University（吉林大学）；National University of Singapore（新加坡国立大学）；University of Technology Sydney（悉尼科技大学）；Microsoft Research（微软研究院）
不平衡学习（IL），即，从类别不平衡的数据中学习无偏模型是一个具有挑战性的问题。基于一些启发式假设，设计了典型的IL方法，包括重新分配和重新加权。他们经常遭受不稳定的性能，适用性差，在复杂的任务，他们的假设不成立的高计算成本。在本文中，我们介绍了一种新的集成IL框架命名为MESA。该方法通过迭代自适应地对训练集进行重采样，得到多个分类器，形成级联集成模型。MESA直接从数据中学习采样策略，以优化最终的度量，而不是遵循随机抽样。此外，与流行的基于元学习的IL解决方案不同，我们通过在任务不可知的元数据上独立地训练元采样器来解耦MESA中的模型训练和元训练。这使得MESA普遍适用于大多数现有的学习模型，并且元采样器可以有效地应用于新任务。合成和现实世界的任务上的大量实验证明了MESA的有效性，鲁棒性和可移植性。我们的代码可在https://github.com/ZhiningLiu1998/mesa上获得。
2020-10-17 cs.AI cs.LG
Envelope imbalanced ensemble model with deep sample learning and local-global structure consistency
School of Microelectronics and Communication Engineering, Chongqing University（重庆大学微电子与通信工程学院）
阶级不平衡的问题是重要的和具有挑战性的。包围法因其有效性而被广泛用于解决这一问题。然而，现有的集成方法都是对原始样本进行集成，而没有考虑原始样本之间的结构信息。这种局限性会阻碍不平衡学习的改善。此外，研究表明，样本间的结构信息包括局部结构信息和全局结构信息。在此基础上，提出了一种基于深度样本预包络网络（DSEN）和局部-全局结构一致性机制（LGSCM）的非平衡集成算法，该算法充分考虑了局部流形和全局结构信息，保证了高质量的深度包络样本，有利于非平衡学习。首先设计了深度样本包络预网络（DSEN）挖掘样本间的结构信息，然后设计了局部流形结构度量（LMSM）和全局结构分布度量（GSDM）构造LGSCM，以增强层间样本分布的一致性。然后，将DSEN和LGSCM放在一起以形成最终的深度样本包络网络（DSEN-LG）。然后，将基分类器分别应用于深层样本的各个层，最后，通过Bagging集成学习机制对基分类器的预测结果进行融合。为了证明所提出的方法的有效性，44个公共数据集和十多个代表性的相关算法进行了验证。实验结果表明，该算法明显优于其他非平衡集成算法。
2022-06-25 cs.LG
A Nonparametric Test of Dependence Based on Ensemble of Decision Trees
Google（谷歌）
本文提出了两个随机变量之间的统计相关性或相关性的稳健非参数度量。所提出的系数是一种类似于置换的统计量，其量化了观测样本S_n：{（X_i，Y_i），i = 1 . . . n}可从置换样本^S_nn：{（X_i，Y_j），i，j = 1辨别。. . n}，其中两个变量是独立的。可辨别性的程度是使用来自训练决策树的集合的可互换的遗漏样本的预测来确定的，以在两个样本之间进行辨别，而不具体化置换样本。建议的系数是计算效率高，可解释的，不变的单调变换，并具有良好的近似独立下的分布。实验结果表明，该方法具有较高的功率检测复杂的关系，从嘈杂的数据。
2020-07-24 cs.LG stat.ME stat.ML
Scalable Ensemble Diversification for OOD Generalization and Detection
Tübingen AI Center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Idiap Research Institute（伊迪亚普研究所）
本研究提出可扩展集成多样化（SED）方法，通过动态识别困难样本并避免穷举成对分歧计算，在大规模设置下无需OOD样本即可提升OOD泛化与检测性能。
2024-09-25 cs.AI cs.CV cs.LG
SEGEN: Sample-Ensemble Genetic Evolutional Network Model
Florida State University（佛罗里达州立大学）；University of Chinese Academy of Sciences（中国科学院大学）
深度学习是对深度神经网络研究成果的重新命名，近年来取得了令人瞩目的成功。利用多个隐藏层，深度学习模型旨在计算观测数据的分层特征表示。同时，由于深度学习在数据消耗、计算资源、参数调整成本以及结果缺乏可解释性等方面存在严重缺陷，也受到了很多批评。在本文中，我们将介绍一种新的表示学习模型，即“样本包围遗传进化网络”（SEGEN），它可以作为深度学习模型的替代方法。SEGEN不是基于一组采样的子实例构建单个深度模型，而是采用遗传进化学习策略逐代构建一组单元模型。SEGEN中包含的单元模型可以是传统的机器学习模型，也可以是最近的深度学习模型，具有更“窄”和“浅”的架构。通过扩散传播和集成学习策略，将每个单元模型在最后一代的每个实例的学习结果有效地结合起来。从计算的角度来看，SEGEN需要更少的数据，更少的计算资源和参数调整工作，但有良好的理论解释的学习过程和结果。在几个不同的真实世界基准数据集上进行了大量的实验，SEGEN获得的实验结果表明了其优于最先进的表示学习模型的优势。
2018-06-05 cs.AI cs.LG cs.NE
Evaluation of Confidence-based Ensembling in Deep Learning Image Classification
Intel Labs（英特尔实验室）；City, University of London（伦敦大学城市学院）
集成是一种成功的提高机器学习（ML）模型性能的技术。Conf-Ensemble是对Boosting的一种适应，它基于模型置信度而不是模型错误来创建集合，以更好地分类困难的边缘情况。关键思想是为前一个模型难以分类（不一定是错误分类）的样本创建连续的模型专家。该技术已被证明在具有小特征空间（约80个特征）的二进制分类中提供比提升更好的结果。在本文中，我们使用ImageNet数据集（224 x224 x3特征，1000个类）评估了Conf-Ensemble方法在更复杂的图像分类任务中的应用。图像分类是基于AI的感知的重要基准，因此它有助于评估该方法是否可用于使用ML集成的安全关键应用。我们的实验表明，在一个复杂的多标签分类任务中，复杂输入样本的专业化的预期好处不能用一个小的样本集来实现，即，一个好的分类器似乎依赖于非常复杂的特征分析，而这些特征分析不能仅仅在有限的“困难样本”子集上得到很好的训练。我们提出了一个改进的Conf-Ensemble，以增加连续的合奏成员的样本数量，和一个三成员Conf-Ensemble使用这种改进能够超过一个单一的模型的准确性，虽然数量并不显着。我们的发现揭示了这种方法的局限性和利用大数据的重要性。
2023-03-03 cs.AI cs.CV cs.LG
Army of Thieves: Enhancing Black-Box Model Extraction via Ensemble based sample selection
IIIT-Delhi（德里印度理工学院）；IIT Delhi（德里印度理工学院）
针对黑盒模型窃取攻击中单窃取模型选样次优的问题，提出基于多复杂度模型集成的AOT攻击方法，通过集体决策选样，在CIFAR-10上性能超现有基线至少3%，对抗迁移性提升21%。
2023-11-08 cs.AI cs.CR cs.CV
Differentiable Model Selection for Ensemble Learning
Syracuse University（雪城大学）；University of Virginia（弗吉尼亚大学）
本文提出一种集成机器学习与组合优化的可微模型选择框架，通过将集成学习转化为端到端训练的可微选择程序，为特定输入选择合适的预训练模型成员，在多种任务中优于传统及先进共识规则。
2023-05-19 cs.AI cs.LG cs.MA
Across-subject ensemble-learning alleviates the need for large samples for fMRI decoding
Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Université Paris-Saclay（巴黎-萨克雷大学）
本文提出跨被试集成学习方法，结合其他被试训练的分类器解码新被试认知状态，在五个数据集上最高提升20%准确率，降低了对大样本的需求。
2024-07-09 cs.LG eess.IV
k-HyperEdge Medoids for Clustering Ensemble
本文将聚类集成建模为 k-超边中心点发现问题，融合聚类视图与样本视图，通过超边选择、扩散调整及归属度分配优化损失函数，实验证明其收敛性、有效性与效率。
2025-08-27 cs.LG
Learning from Peers: Collaborative Ensemble Adversarial Training
Laboratory of Big Data and Decision（大数据与决策实验室）
针对现有集成对抗训练子模型独立训练、忽略协作的问题，提出基于预测差异加权与校准距离正则的协同集成对抗训练方法，实现了更优的鲁棒性且模型无关、适用性广。
2025-08-27 cs.LG
Text classification based on ensemble extreme learning machine
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）；The University of Edinburgh（爱丁堡大学）
在本文中，我们提出了一种新的方法，基于成本敏感的集成加权极端学习机，我们称之为AE 1-WELM。我们将这种方法应用于文本分类。AE 1-WELM是一种包含平衡和不平衡多重分类的文本分类算法。加权ELM对不同类别的样本赋予不同的权重，在一定程度上提高了分类精度，但加权ELM只考虑了不同类别样本之间的差异，而忽略了同一类别样本之间的差异。通过样本信息熵度量文档的重要性，并根据文档的重要性生成代价敏感矩阵和代价敏感因子，将代价敏感加权ELM无缝嵌入AdaBoost. M1框架中。向量空间模型（VSM）文本表示方法维数高、特征稀疏，增加了ELM的负担。为了克服这个问题，我们开发了一个文本分类框架相结合的词向量和AE 1-WELM。实验结果表明，该方法为文本分类提供了一种准确、可靠、有效的解决方案。
2018-05-10 cs.AI cs.CL cs.IR
Tree-based Ensemble Learning for Out-of-distribution Detection
University of Georgia（佐治亚大学）；U.S. Food and Drug Administration（美国食品药品监督管理局）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出基于树的分布外检测机制 TOOD，通过树集成模型嵌入的成对汉明距离判断样本分布差异，在表格、图像和文本数据上优于现有方法。
2024-05-05 cs.LG
Deep Double-Side Learning Ensemble Model for Few-Shot Parkinson Speech Recognition
School of microelectronics and commuication engineering, Chongqing University（重庆大学微电子与通信工程学院）
基于语音数据的帕金森病诊断和疗效评估非常重要，但其少样本学习问题具有挑战性，深度学习虽然擅长自动特征提取，但存在少样本学习问题。因此，一般有效的方法是先基于先验知识进行特征提取，然后进行特征约简，用于后续的分类。但是，语音识别存在两个主要问题：1）语音特征之间的结构信息没有得到充分挖掘，没有重构出更高质量的新特征。2)数据样本之间的结构信息尚未被挖掘，更高质量的新样本尚未被重建。针对这两个问题，本文在已有的帕金森语音特征数据集的基础上，设计了一种能够同时深度重构语音特征和样本的深度双侧学习集成模型。在特征重构方面，本文设计了一种嵌入式深度堆叠组稀疏自编码器，对语音进行非线性特征变换，从而获得新的高层深度特征，然后采用L1正则化特征选择方法将深度特征与原始语音特征融合。在语音样本重构方面，本文设计了一种基于迭代均值聚类的深度样本学习算法，对样本进行变换，以获得新的高层次深度样本。最后，采用Bagging集成学习模式将深度特征学习算法和深度样本学习算法融合在一起，构建深度双侧学习集成模型。最后，利用两个具有代表性的帕金森病语音数据集进行了验证。实验结果表明了该算法的有效性。
2020-06-20 cs.CV cs.LG
Semi-supervised novelty detection using ensembles with regularized disagreement
ETH Zurich（苏黎世联邦理工学院）
深度神经网络通常以高置信度预测样本，即使它们来自看不见的类，也应该被标记以供专家评估。当前的新颖性检测算法不能可靠地识别这样的近OOD点，除非它们能够访问与这些新颖样本相似的标记数据。在本文中，我们开发了一种新的基于集成的半监督新奇检测（SSND）程序，成功地利用了未标记的ID和新奇类样本的混合物，以实现良好的检测性能。特别是，我们展示了如何使用早期停止正则化仅在OOD数据上实现分歧。虽然我们证明了这一事实的一个简单的数据分布，我们广泛的实验表明，它适用于更复杂的情况：我们的方法显着优于最先进的SSND方法对标准图像数据集（SVHN/CIFAR-10/CIFAR-100）和医学图像数据集，只有一个微不足道的增加计算成本。
2022-03-10 cs.LG
Digit Image Recognition Using an Ensemble of One-Versus-All Deep Network Classifiers
University of Kashmir（克什米尔大学）；South Valley University（南谷大学）
在多类深度网络分类器中，对不同类别的样本进行分类的负担放在单个分类器上。结果，没有获得最佳分类精度。此外，由于在单个CPU/GPU上运行CNN训练，训练时间很长。然而，众所周知，使用分类器的集合提高了性能。此外，可以通过在单独的处理器上运行集合的每个成员来减少训练时间。包围学习在过去不同程度上被用于传统方法，是一个热门话题。随着深度学习的出现，集成学习也被应用于前者。然而，一个尚未探索且具有潜力的领域是One-Versus-All（OVA）深度集成学习。在本文中，我们对其进行了探索，并表明通过使用深度网络的OVA集成，可以提高深度网络的性能。如本文所示，可以通过使用二进制分类（OVA）深度网络的集成来进一步提高深度网络的分类能力。我们实现了一种新的技术的情况下，数字图像识别和测试，并评估它在同一。在所提出的方法中，单个OVA深度网络分类器专用于每个类别。随后，对OVA深度网络集成进行了研究。集成中的每个网络都使用带有动量算法的随机梯度下降（SGDMA）通过OVA训练技术进行训练。对于测试样本的分类，样本被呈现给集合中的每个网络。在预测得分投票之后，具有最大得分的网络被认为已经对样本进行了分类。在MNIST数字数据集、USPS+数字数据集和MATLAB数字图像数据集上进行了实验。我们所提出的技术优于所有数据集的数字图像识别的基线。
2020-10-31 cs.CV cs.LG cs.NE
Using Ensemble Models in the Histological Examination of Tissue Abnormalities
Pace University（佩斯大学）
用于组织学样本异常自动检测的分类模型确实存在，与假阴性诊断（诊断不足）和假阳性诊断（过度诊断）相关的成本存在积极的争论。目前的模型往往诊断不足，无法识别潜在的致命疾病。本研究的目的是研究通过使用组织学检查产生的数据上的集成模型自动识别组织样本中异常的可能性，并最大限度地减少假阴性病例的数量。
2015-05-15 cs.CE cs.CV cs.LG
