Homotopy-Guided Self-Supervised Learning of Parametric Solutions for AC Optimal Power Flow
University at Buffalo（布法罗大学）；Pacific Northwestern National Lab（太平洋西北国家实验室）；Carnegie Mellon University（卡内基梅隆大学）；John Hopkins University（约翰霍普金斯大学）
针对AC-OPF非凸性导致标准L2O方法难收敛到可行高质量解的问题，提出同伦引导自监督L2O方法，在IEEE基准上验证其可显著提升可行率且目标值媲美专业求解器。
2025-11-11 cs.LG
FedSEAL: Semi-Supervised Federated Learning with Self-Ensemble Learning and Negative Learning
University of Miami（迈阿密大学）
联邦学习（FL）是一种流行的去中心化和隐私保护的机器学习（FL）框架，近年来受到了广泛的研究关注。大多数现有的工作集中在监督学习（SL）的问题，它是假设客户端进行标记的数据集，而服务器没有数据。然而，在现实场景中，由于缺乏专业知识和动机，客户端通常无法标记其数据，而服务器可能托管少量标记的数据。因此，如何合理利用服务器端的标记数据和客户端的未标记数据具有重要的现实意义。在本文中，我们提出了一个新的FL算法，称为FedSEAL，解决这个半监督联邦学习（SSFL）的问题。我们的算法利用自集成学习和互补的负学习来提高客户端对未标记数据的无监督学习的准确性和效率，并协调服务器端和客户端的模型训练。我们在Fashion-MNIST和CIFAR 10数据集上的实验结果验证了我们的方法的有效性，其性能大大优于最先进的SSFL方法。
2022-06-08 cs.LG
TS2Vec-Ensemble: An Enhanced Self-Supervised Framework for Time Series Forecasting
Department of Computer Science and Engineering（计算机科学与工程系）；University of Moratuwa（莫塔瓦大学）
TS2Vec-Ensemble通过融合预训练动态与显式时间特征，提升长跨度时间序列预测性能。
2025-11-27 cs.LG
Semi-Supervised Domain Adaptation with Non-Parametric Copulas
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）
提出了一种基于Copula理论的半监督域自适应算法框架.该方法将任意多元密度分解为边缘分布与二元Copula函数的乘积。因此，可以检测和校正这些因素中的每一个的变化，以适应跨不同学习域的密度模型。重要的是，我们引入了一个新的葡萄树Copula模型，它允许这种分解在一个非参数的方式。与现实世界的数据回归问题的实验结果表明，所提出的方法相比，国家的最先进的技术的有效性。
2013-01-01 cs.LG stat.ML
Diversified Ensemble of Independent Sub-Networks for Robust Self-Supervised Representation Learning
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Institute of Statistics, LMU Munich（慕尼黑大学统计研究所）；Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）
针对自监督学习集成成本高、多样性不足的问题，提出独立子网络集成与多样性损失函数，以极低计算开销实现高多样性集成，提升不确定性校准与预测可靠性，并在多领域超越基线。
2023-09-01 cs.LG stat.ML
Ensembles of Neural Surrogates for Parametric Sensitivity in Ocean Modeling
Argonne National Laboratory（阿贡国家实验室）；Oak Ridge National Laboratory（橡树岭国家实验室）；NVIDIA（NVIDIA公司）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对海洋建模中参数敏感性量化难、神经替代模型可靠性评估难的问题，本文利用大规模超参数搜索和集成学习改进前向预测、自回归滚动及反向伴随敏感性估计，并通过集成方法提供认知不确定性，提升决策可靠性。
2025-08-26 cs.LG physics.ao-ph
A Non-Parametric Subspace Analysis Approach with Application to Anomaly Detection Ensembles
Tel-Aviv University（特拉维夫大学）
识别多维数据集中的异常是许多实际应用中的重要任务。一个特殊的情况下出现时，异常被封闭在一个小的属性集，通常被称为一个子空间，而不一定在整个数据空间。在本文中，我们提出了一种新的子空间分析方法，名为凝聚属性集（AAG），旨在解决这一挑战，通过搜索子空间，由高度相关的属性。属性之间的这种相关性代表了属性之间的系统性相互作用，可以更好地反映正常观测的行为，因此可以用于提高两种特别有趣的异常数据样本类型的识别：在相对较小的属性子集中被遮挡的异常和代表新数据类的异常。AAG依赖于一种新的多属性测度，该测度来源于分区的信息论测度，用于评估数据属性组之间的“信息距离”。为了确定要使用的子空间集，AAG应用了一种著名的凝聚聚类算法的变体，该算法将建议的多属性度量作为底层距离函数。最后，子空间的集合被用于异常检测的集成。广泛的评估表明，在绝大多数情况下，所提出的AAG方法（i）在用于异常检测集合时优于经典和最先进的子空间分析方法，以及（ii）生成较少的子空间，每个子空间具有较少的属性数量（平均而言），从而导致异常检测集合的训练时间更快。此外，与现有方法相比，所提出的AAG方法不需要任何参数的调整。
2021-01-13 cs.LG
Parametric UMAP embeddings for representation and semi-supervised learning
UC San Diego（加州大学圣迭戈分校）；Tutte Institute for Mathematics and Computing（图特数学与计算研究所）
UMAP是一种基于非参数图的降维算法，使用应用黎曼几何和代数拓扑来找到结构化数据的低维嵌入。UMAP算法由两个步骤组成：（1）计算数据集的图形表示（模糊单纯复形），以及（2）通过随机梯度下降，优化图的低维嵌入。在这里，我们将UMAP的第二步扩展到神经网络权重的参数优化，学习数据和嵌入之间的参数关系。我们首先证明了参数UMAP执行非参数映射，同时赋予学习参数映射的好处（例如，新数据的快速在线嵌入）。然后，我们探索UMAP作为正则化，约束自动编码器的潜在分布，参数变化的全局结构保存，并通过捕获未标记数据中的结构来提高半监督学习的分类器精度。Google Colab演练：https://colab.research.google.com/drive/1WkXVZ5pnMrm17m0YgmtoNjM_XHdnE5Vp? usp=共享
2021-08-29 cs.CG cs.LG q-bio.QM
WRSE -- a non-parametric weighted-resolution ensemble for predicting individual survival distributions in the ICU
University Hospital Bern（伯尔尼大学医院）；Auckland City Hospital（奥克兰市医院）；Swiss Institute of Bioinformatics（瑞士生物信息研究所）
重症监护室（ICU）死亡风险的动态评估可用于对患者进行分层，告知治疗效果或作为早期预警系统的一部分。静态风险评分系统，如APACHE或SAPS，最近补充了数据驱动的方法，跟踪随着时间的推移动态死亡率风险。最近的工作重点是通过产生完整的生存分布而不是点预测或固定范围风险来进一步增强向临床医生提供的信息。在这项工作中，我们提出了一个非参数集成模型，加权分辨率生存Entrance（WRSE），量身定制，以估计这种动态的个人生存分布。受集成方法的简单性和鲁棒性的启发，所提出的方法结合了一组二进制分类器，根据反映短期死亡率预测的相关性的衰减函数进行间隔。模型和基线进行评估加权校准和歧视指标的个人生存分布密切反映了ICU实践中的模型的效用。我们使用最先进的概率模型展示了具有竞争力的结果，同时大大减少了2- 9倍的训练时间。
2020-11-02 cs.LG stat.ML
Non-Parametric Representation Learning with Kernels
Technical University of Munich（慕尼黑工业大学）
本文提出并分析了几种基于核的表示学习方法，包括两个核自监督学习模型和一个核自编码器模型，推导了新的表示定理和泛化误差界，并在小数据及与神经网络对比中验证了性能。
2023-09-05 cs.LG
S2DEVFMAP: Self-Supervised Learning Framework with Dual Ensemble Voting Fusion for Maximizing Anomaly Prediction in Timeseries
Mälardalen University（梅拉达伦大学）；Hitachi Energy（日立能源）
本文提出S2DEVFMAP框架，通过结合五个异构独立模型与双集成投票融合技术，有效提升时间序列异常检测的覆盖率和可靠性，并降低误报率。
2024-04-24 cs.LG
Exemplar-Centered Supervised Shallow Parametric Data Embedding
NEC Labs America（NEC美国实验室）；National Research Council Canada（加拿大国家研究委员会）
与k-最近邻（kNN）相结合的用于降维的度量学习方法已经被广泛地部署在许多分类、数据嵌入和信息检索应用中。然而，这些方法中的大多数涉及成对的训练数据比较，并且因此具有关于训练集的大小的二次计算复杂性，从而阻止它们扩展到相当大的数据集。此外，在测试期间，将测试数据与所有训练数据点进行比较在计算成本和所需资源方面也是昂贵的。此外，以前的指标要么太受约束，要么太有表现力，无法很好地学习。为了有效地解决这些问题，我们提出了一个样本为中心的监督浅参数数据嵌入模型，使用最大塌陷度量学习（MCML）的目标。我们的策略学习浅高阶参数嵌入函数，并仅将训练/测试数据与学习或预先计算的样本进行比较，从而产生用于训练和测试的具有线性计算复杂性的成本函数。我们还使用几个基准数据集实证证明，对于二维嵌入空间中的分类，我们的方法不仅使kNN的加速提高了数百倍，而且优于最先进的监督嵌入方法。
2017-07-05 cs.LG stat.ML
Optimizing model-agnostic Random Subspace ensembles
University of Liège（列日大学）
提出了一种与模型无关的监督学习集成方法。所提出的方法是基于随机子空间的参数化版本，其中每个基础模型是从根据伯努利分布采样的特征子集中学习的。参数优化使用梯度下降来执行，并且通过使用重要性采样方法来使其易于处理，该方法避免了在每个梯度下降步骤之后对基础模型的频繁重新训练。因此，通过优化特征选择概率，可以自动调整参数随机子空间中的随机化程度。这是优于标准随机子空间方法的优点，其中随机化程度由超参数控制。此外，优化的特征选择概率可以被解释为特征重要性分数。我们的算法还可以很容易地将任何可微正则化项强加给这些重要性分数的约束。
2023-01-20 cs.LG
GraFN: Semi-Supervised Node Classification on Graph with Few Labels via Non-Parametric Distribution Assignment
KAIST（韩国科学技术院）；POSTECH（浦项科技大学）
尽管图神经网络（GNN）在各种应用上取得了成功，但当监督信号的量（即，标记节点的数量是有限的，这是预期的，因为GNN仅基于从标记节点获得的监督来训练。另一方面，最近的自监督学习范式旨在通过解决不需要任何标记节点的借口任务来训练GNN，并且已经证明它甚至优于用很少标记节点训练的GNN。然而，自监督方法的一个主要缺点是，由于在训练期间没有利用标记信息，因此它们无法学习类判别节点表示。为此，我们提出了一种新的图的半监督方法GraFN，它利用很少的标记节点来确保属于同一类的节点被分组在一起，从而实现半监督和自监督方法的最佳效果。具体来说，GraFN从整个图中的标记节点和锚节点中随机抽取支持节点。然后，它最小化两个预测类分布之间的差异，这是非参数化分配的锚支持相似性从两个不同的增强图。我们的实验表明，GraFN超越了半监督和自我监督的方法在现实世界的图中的节点分类。GraFN的源代码可在https://github.com/Junseok0207/GraFN上获得。
2022-04-27 cs.AI cs.LG
Semi-Supervised Deep Ensembles for Blind Image Quality Assessment
City University of Hong Kong（香港城市大学）；Peng Cheng Laboratory（鹏城实验室）
如果基础学习者被认为是“准确的”和“多样的”，那么包围方法通常被认为比单一模型更好。“在这里，我们研究了一种半监督集成学习策略，以产生可推广的盲图像质量评估模型。我们训练多头卷积网络，通过最大化集成（以及基础学习器）对标记数据的准确性来进行质量预测，并且不一致（即，多样性），其中对未标记的数据，都实现了保真度损失。我们进行了大量的实验，以证明使用未标记的数据BIQA的优势，特别是在模型推广和故障识别。
2021-06-29 cs.CV cs.LG eess.IV
Deep Learning Activation Functions: Fixed-Shape, Parametric, Adaptive, Stochastic, Miscellaneous, Non-Standard, Ensemble
Damanhour University（达曼胡尔大学）
本文系统综述了各类深度学习激活函数，提出分类框架，分析主要类别及属性，并比较评估12种先进激活函数，以指导选择与设计并促进创新。
2024-07-14 cs.LG
Learning from Memory: Non-Parametric Memory Augmented Self-Supervised Learning of Visual Features
Institute of Computing, University of Campinas（坎皮纳斯大学计算学院）；University of Oslo（奥斯陆大学）
本文提出一种利用非参数记忆增强神经网络的自监督学习方法，通过随机记忆块正则化训练并强制图像视图一致性，在无需额外正则化器的情况下实现稳定训练并获得高可迁移表示。
2024-07-03 cs.CV cs.LG
Semi-Supervised Regression using Cluster Ensemble and Low-Rank Co-Association Matrix Decomposition under Uncertainties
Sobolev Institute of mathematics（索博列夫数学研究所）；Novosibirsk State University（新西伯利亚国立大学）；RWTH Aachen（亚琛工业大学）
在本文中，我们解决了一个半监督回归问题。由于缺乏有关数据结构的知识和随机噪声的存在，所考虑的数据模型是不确定的。我们提出了一种方法，结合图拉普拉斯正则化和聚类集成方法。在标记和未标记数据上计算集成的协关联矩阵;该矩阵用作正则化框架中的相似性矩阵以导出预测输出。我们使用低秩分解的协关联矩阵显着加快计算和减少内存。使用蒙特卡罗方法的数值实验表明，所提出的方法的鲁棒性，效率和可扩展性。
2020-11-30 cs.LG stat.ML
Semi-supervised Clustering Ensemble by Voting
Dalhousie University（达尔豪斯大学）
聚类集成是无监督学习的最新进展之一。它的目的是将不同算法得到的聚类结果或同一聚类算法对同一数据集的不同运行得到的聚类结果结合起来，这是通过一个一致性函数来实现的，这种方法的效率和准确性已经在许多文献中得到了证明。在本文的第一部分中，我们对现有文献中的聚类集成方法进行了比较。所有这些方法包括两个主要步骤：集成生成和共识功能。在本文的第二部分中，我们建议在聚类集成过程中加入监督，以获得更多的增强聚类结果。监督可以在两个地方应用：通过在聚类集成生成步骤中使用半监督算法，或者以共识函数阶段使用的反馈形式。此外，我们引入了一个灵活的两个参数的加权机制，第一个参数描述了所研究的数据集和用于生成基本分区的半监督聚类算法之间的兼容性，第二个参数用于提供用户对这些分区的反馈。这两个参数参与基于“重新标记和投票”的共识函数，以产生最终的聚类。
2012-08-20 cs.LG stat.ML
Exploiting Unlabeled Data to Enhance Ensemble Diversity
Southeast University（东南大学）；Nanjing University（南京大学）
包围学习的目的是通过使用多个基本学习器来提高泛化能力。众所周知，要构建一个好的集成，基础学习者应该是准确的，以及多样化。在本文中，未标记的数据被利用来促进集成学习，帮助增加基础学习器之间的多样性。具体地说，提出了一种半监督集成方法UDEED。与现有的半监督集成方法不同，在现有的半监督集成方法中，对未标记数据估计易出错的伪标签以扩大标记数据以提高准确性，UDEED的工作原理是最大限度地提高基础学习者对标记数据的准确性，同时最大限度地提高它们对未标记数据的多样性。实验表明，UDEED可以有效地利用未标记的数据集成学习，是非常有竞争力的成熟的半监督集成方法。
2010-09-25 cs.AI cs.LG
Improving the sharpness in neural network-based parametric post-processing of ensemble forecasts
Faculty of Informatics, University of Debrecen（德布雷岑大学信息学院）
针对集合预报后处理中锐度下降的问题，通过在损失函数中加入惩罚项，在保持CRPS和RMSE不变的情况下，将中心预测区间宽度相对减小8.2%-12.5%。
2026-06-07 cs.LG stat.ML
Adapt, Agree, Aggregate: Semi-Supervised Ensemble Labeling for Graph Convolutional Networks
K. N. Toosi University of Technology（科霍·纳希尔·图西理工大学）；Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学））
本研究提出结合集成学习与增强图结构的半监督节点分类框架，通过多视图集成实现自适应阈值、动态样本选择与鲁棒伪标签提取，提升模型性能与泛化能力，经真实数据集实验验证有效。
2025-03-22 cs.AI cs.LG
Masked Topology Modeling for Self-Supervised Learning on Parametric CAD
StoryGold AI（故事黄金人工智能公司）
针对缺乏原生可编辑和参数化格式CAD数据集的问题，提出掩码拓扑建模（MTM）自监督预训练任务，结合多种方法在相关数据集预训练，在多个基准测试中表现出色。
2026-07-24 cs.CV cs.LG
EnSiam: Self-Supervised Learning With Ensemble Representations
Hanyang University ERICA（汉阳大学ERICA校区）
EnSiam受知识蒸馏中集成方法启发，利用集成表示提供稳定伪标签来改进对比学习，有效缓解了SimSiam对训练配置敏感的问题，并在ImageNet等实验中取得更优性能。
2023-05-22 cs.CV cs.LG
Non-parametric Semi-Supervised Learning in Many-body Hilbert Space with Rescaled Logarithmic Fidelity
Capital Normal University（首都师范大学）
在量子和量子启发的机器学习中，第一步是将数据嵌入到称为希尔伯特空间的量子空间中。量子核函数（QKF）定义了希尔伯特空间中样本之间的距离，是机器学习的基础性课题。在这项工作中，我们提出了重新缩放对数保真度（RLF）和量子空间中的非参数半监督学习，我们称之为RLF-NSSL。该方法利用核函数的非线性特性来调节希尔伯特空间中样本之间的相互距离，同时避免了量子多比特态之间的指数小相干性。非参数化排除了变分参数的可能影响，并明显地展示了空间本身的优势。我们比较RLF-NSSL与几个著名的非参数算法，包括朴素贝叶斯分类器，k-近邻，谱聚类。我们的方法表现出更好的准确性，特别是对无监督的情况下，没有标记的样本和Few-Shot的情况下，少量的标记样本。通过t-随机邻居嵌入的可视化，我们的结果意味着希尔伯特空间中的机器学习符合最大编码率降低的原则，其中低维数据表现出类内压缩性，类间区分度和整体多样性。我们的建议可以应用于其他量子和量子启发的机器学习，包括使用参数模型的方法，如张量网络，量子线路和量子神经网络。
2021-09-17 cs.LG quant-ph
When Do Supervised UQ Ensembles Improve LLM Hallucination Detection? A Robustness Study
CVS Health（CVS健康公司）
本文研究监督式UQ集成对LLM幻觉检测的鲁棒性，在多模型、多数据集、多生成范式下分析其性能，发现其多数场景优于单个评分器，采样黑盒集成效果接近全集成。
2026-09-09 cs.AI cs.CL cs.LG
Learning Rich Nearest Neighbor Representations from Self-supervised Ensembles
Cornell University（康奈尔大学）；Salesforce AI Research
通过自我监督预训练卷积神经网络，并将其应用于迁移学习，是一个令人难以置信的快速增长领域，它正在快速迭代地提高几乎所有图像领域的性能。同时，模型集成是监督学习文献和实践中最普遍适用的技术之一，为可靠地提高性能提供了一种简单的解决方案。但是，如何最佳地组合自监督模型以最大限度地提高表示质量在很大程度上仍然没有得到解决。在这项工作中，我们提供了一个框架，通过一种新的方法，学习表示直接通过梯度下降在推理时间进行自监督模型集成。这种技术提高了表示质量，如通过k-最近邻测量的，在域内数据集和转移设置中，模型可从前者转移到后者。此外，这种通过反向传播的特征直接学习改进了即使是单个模型的表示，这与自蒸馏中发现的改进相呼应。
2021-10-19 cs.CV cs.LG
Detecting Unknown Behaviors by Pre-defined Behaviours: An Bayesian Non-parametric Approach
一个自动的老鼠行为识别系统可以大大减少实验人员的工作量，并方便分析过程。通常，监督方法、无监督方法和半监督方法被应用于具有所有预定义行为的设置下的行为识别目的。然而，在实际情况下，由于鼠标可以显示各种类型的行为，除了我们要分析的预定义行为外，还存在许多未定义的行为。监督方法和传统的半监督方法都不能识别这些未定义的行为。虽然无监督的方法可以检测到这些未定义的行为，但需要事后标记。在本文中，我们提出了一个半监督无限高斯混合模型（SsIGMM），将标记和未标记的信息在学习过程中，同时考虑未定义的行为。通过混合高斯分布生成预定义行为和未定义行为的分布，可用于进一步的分析。在我们的实验中，我们证实了SsIGMM分割和标记鼠标行为视频的优越性。
2019-12-11 cs.CY cs.LG
Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View Assignments with Support Samples
Facebook AI Research（脸书人工智能研究院）；Mila – Quebec AI Institute（米拉——魁北克人工智能研究所）；McGill University（麦吉尔大学）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文提出了一种新的学习方法预测视图分配与支持样本（PAWS）。该方法训练模型以最小化一致性损失，这确保相同未标记实例的不同视图被分配类似的伪标签。通过将图像视图的表示与一组随机采样的标记图像的表示进行比较，非参数化地生成伪标签。视图表示和标记表示之间的距离用于提供类标签的权重，我们将其解释为软伪标签。通过以这种方式非参数化地合并标记样本，PAWS将BYOL和SwAV等自监督方法中使用的距离度量损失扩展到半监督设置。尽管这种方法很简单，但PAWS在架构上优于其他半监督方法，为ImageNet上的ResNet-50设置了一个新的最先进的水平，使用10%或1%的标签进行训练，分别达到75.5%和66.5%的top-1。PAWS需要的训练比以前的最佳方法少4倍到12倍。
2021-07-30 cs.AI cs.CV cs.LG
Auto-Annotation Quality Prediction for Semi-Supervised Learning with Ensembles
提出基于集成模型一致性预测标注质量的过滤方法，用于半监督自动标注，在语义分割中仅用30%人工标注数据即可达到最先进性能。
2019-10-30 cs.CV cs.LG
Estimating the time-lapse between medical insurance reimbursement with non-parametric regression models
University of Lagos（拉各斯大学）
非参数监督学习算法代表了一类简洁的监督学习算法，其中学习参数是高度灵活的，并且其值直接取决于训练数据的大小。本文比较研究了四种非参数算法：K-近邻算法（KNN）、支持向量机（SVM）、决策树和随机森林。监督学习任务是对医疗保险报销时间间隔的回归估计。我们的研究关注的是每个非参数回归模型与训练数据的拟合程度。我们使用R平方度量量化拟合优度。重点讨论了训练数据大小、特征空间维数和超参数优化对分类结果的影响。
2020-08-19 cs.LG stat.ML
Uncertainty Guided Ensemble Self-Training for Semi-Supervised Global Field Reconstruction
Defense Innovation Institute, Chinese Academy of Military Science（中国人民解放军军事科学院国防科技创新研究院）
从有限的传感器中恢复出全局精确的复杂物理场是航天工程测量与控制的关键。一般的重建方法，尤其是参数较多、表征能力较强的深度学习方法，通常需要大量的标注数据，这是难以承受的。针对这一问题，本文提出了不确定性引导的嵌入式自训练算法（UGE-ST），利用大量的未标记数据来提高重构性能。首先提出了一种新的自训练框架，该框架具有集成教师和预训练学生，旨在提高伪标签的准确性并弥补噪声的影响。另一方面，提出了不确定性引导的学习，以鼓励模型专注于伪标签的高置信度区域，并减轻错误的伪标签在自训练中的影响，提高重建模型的性能。翼型压力场、速度场和飞机系统温度场重建实验表明，UGE-ST在保持监督学习精度的同时，可以节省高达90%的数据。
2023-02-23 cs.AI cs.LG
Ensemble Clustering with Logic Rules
本文将有监督学习的逻辑规则集成方法应用于无监督或半监督聚类。通过组合简单的合取规则得到的逻辑规则被用来划分输入空间，这些规则的集合被用来定义一个相似矩阵。相似性划分用于以分层方式划分数据。我们已经使用内部和外部的集群有效性的措施，以评估集群的质量或确定集群的数量。
2012-11-15 cs.LG stat.ML
Parametric Neural Amp Modeling with Active Learning
ETH Zurich（苏黎世联邦理工学院）
本研究提出名为Panama的主动学习框架，结合LSTM与类WaveNet架构端到端训练参数化吉他音箱模型，通过基于梯度优化的集成主动学习策略筛选高信息量样本，仅用75个数据点就达到了主流开源非参数音箱建模工具NAM的感知质量。
2025-09-30 cs.AI cs.LG
Exploring Self-Supervised Representation Ensembles for COVID-19 Cough Classification
RMIT University（皇家墨尔本理工大学）
使用智能手机收集的呼吸声，用深度学习模型训练，用于检测和分类COVID-19最近变得流行。它消除了对现场测试程序的需求，特别是对于相关医疗用品，经验丰富的工人和设备有限的农村地区。然而，现有的基于声音的诊断方法是以完全监督的方式训练的，这需要大规模的标记良好的数据。关键是要发现新的方法来利用未标记的呼吸数据，这可以更容易地获得。在本文中，我们提出了一种新的自监督学习启用框架，用于COVID-19咳嗽分类。一个对比的预训练阶段被引入到训练一个基于transformer的特征编码器与未标记的数据。具体来说，我们设计了一个随机掩蔽机制来学习呼吸声的鲁棒表示。然后在下游阶段微调预训练的特征编码器以执行咳嗽分类。此外，在下游阶段还探索了具有不同随机掩蔽率的不同系综。通过广泛的评估，我们证明了所提出的对比预训练，随机掩蔽机制和集成架构有助于提高咳嗽分类性能。
2021-06-03 cs.LG cs.SD eess.AS
Out-of-Distribution Detection Using an Ensemble of Self Supervised Leave-out Classifiers
Intel labs（英特尔实验室）；Idiap Research Institute（Idiap研究所）
由于深度学习方法在自动驾驶和医疗诊断等商业重要应用中形成了关键部分，因此在采用这些算法时可靠地检测分布外（OOD）输入非常重要。在这项工作中，我们提出了一个OOD检测算法，其中包括一个合奏的分类。我们以自我监督的方式训练每个分类器，将训练数据的随机子集作为OOD数据，其余的作为分布（ID）数据。我们提出了一种新的基于边际的损失的softmax输出，旨在保持至少一个利润$m$之间的平均熵的OOD和分布样本。结合标准的交叉熵损失，我们最小化新的损失训练一个集成的分类器。我们还提出了一种新的方法来结合分类器集成的输出，以获得OOD检测分数和类预测。总体而言，我们的方法令人信服地优于Hendrycks等人。[7]和当前最先进的ODIN[13]在几个OOD检测基准上。
2018-09-04 cs.CV cs.LG stat.ML
Weighted Ensemble Self-Supervised Learning
Google Research（谷歌研究院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文提出一种允许数据依赖加权交叉熵损失的加权集成自监督学习框架，在不修改主干网络的情况下以极低训练成本提升了DINO和MSN等SSL方法在ImageNet-1K等下游任务中的性能。
2023-04-09 cs.AI cs.LG stat.ML
An original framework for Wheat Head Detection using Deep, Semi-supervised and Ensemble Learning within Global Wheat Head Detection (GWHD) Dataset
SERCOM Laboratory, Ecole Polytechnique de Tunisie, University of Carthage（迦太基大学突尼斯综合理工学院SERCOM实验室）
在本文中，我们提出了一个原始的目标检测方法，适用于全球小麦头检测（GWHD）数据集。我们已经通过了两个主要的目标检测架构，这是FasterRCNN和EfficientDet，以设计一个新的和强大的小麦头检测模型。我们强调优化我们提出的最终架构的性能。此外，我们已经进行了广泛的探索性数据分析，并根据我们的背景采用了最佳数据增强技术。我们使用半监督学习来增强以前的目标检测的监督模型。此外，我们在集成方面投入了大量精力，以实现更高的性能。最后，我们使用特定的后处理技术来优化我们的麦穗检测结果。我们的研究结果已经提交，以解决GWHD数据集上发起的一项研究挑战，该数据集由来自七个国家的九个研究机构领导。我们提出的方法在上述挑战中排名前6%。
2020-09-24 cs.CV cs.LG eess.IV
A Human-Centered Approach for Improving Supervised Learning
Indian Institute of Technology（印度理工学院）
针对堆叠集成成本高、耗资源且可解释性不足的问题，本文提出以人为中心、受行为启发的算法，在九个真实数据集上实现性能、时间与资源的平衡并优于现有方法。
2024-10-14 cs.CY cs.IR cs.LG
Ensemble CNN Networks for GBM Tumors Segmentation using Multi-parametric MRI
Reutlingen University（罗伊特林根大学）；Menoufia University（梅努菲亚大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
胶质母细胞瘤是最具侵袭性的快速生长的原发性脑癌，其起源于大脑的胶质细胞。准确识别恶性脑肿瘤及其子区域仍然是医学图像分割中最具挑战性的问题之一。脑肿瘤分割挑战赛（BraTS）自发起以来一直是自动脑胶质母细胞瘤分割算法的流行基准。今年，BraTS 2021挑战赛提供了2,000名术前患者的最大多参数（mpMRI）数据集。在本文中，我们提出了两个深度学习框架的新聚合，即DeepSeg和nnU-Net，用于术前mpMRI中的胶质母细胞瘤自动识别。我们的集成方法在BraTS 2021验证集上分别获得了增强肿瘤、肿瘤核心和整个肿瘤区域的Dice相似性得分92.00、87.33和84.10以及Hausdorff距离3.81、8.91和16.02，使我们跻身前十名。这些实验结果提供了证据，表明它可以很容易地应用于临床，从而有助于脑癌预后，治疗计划和治疗反应监测。用于复制我们的分割结果的Docker镜像可在线获得（https：//hub.docker.com/r/razeineldin/deepseg21）。
2021-12-27 cs.CV cs.LG eess.IV
Semi-Supervised Learning with Online Knowledge Distillation for Skin Lesion Classification
Department of Computer Science, Faculty of Science, University of Jaffna, Sri Lanka（计算机科学系，科学学院，贾夫纳大学，斯里兰卡）
本文提出一种结合集成学习与在线知识蒸馏的半监督皮肤病变分类方法，在ISIC 2018和2019数据集上超越现有最优结果，并减少标注数据需求。
2025-08-15 cs.CV cs.LG eess.IV
Cross-hospital Sepsis Early Detection via Semi-supervised Optimal Transport with Self-paced Ensemble
Peking University（北京大学）；Zhejiang University School of Medicine Second Affiliated Hospital（浙江大学医学院附属第二医院）；Beijing HealSci Technology Co., Ltd.（北京和华瑞博科技有限公司）；Shanghai University of Finance and Economics（上海财经大学）
近年来，利用机器学习技术进行脓毒症早期检测和诊断引起了越来越多的关注。然而，大多数现有的方法需要大量的标记的训练数据，这对于部署新的脓毒症检测系统的目标医院可能是不可用的。更严重的是，由于接受治疗的患者在医院之间是多样化的，直接应用在其他医院训练的模型可能无法为目标医院实现良好的性能。为了解决这个问题，我们提出了一种新型的半监督迁移学习框架，该框架基于最佳传输理论和用于脓毒症早期检测的自步调集成，称为SPSSOT，它可以有效地将知识从源医院（具有丰富的标记数据）转移到目标医院（具有稀缺的标记数据）。具体而言，SPSSOT采用了一种新的基于最优传输的半监督领域自适应组件，可以有效地利用目标医院中的所有未标记数据。此外，在SPSSOT中采用自定进度的集成来缓解迁移学习过程中的类不平衡问题。简而言之，SPSSOT是一种端到端的迁移学习方法，可以自动分别从两个领域（医院）选择合适的样本并对齐其特征空间。在两个开放的临床数据集MIMIC-III和Challenge上进行的广泛实验表明，SPSSOT通过提高1-3%的AUC而优于最先进的迁移学习方法。
2023-03-05 cs.CY cs.LG
Confident Neural Network Regression with Bootstrapped Deep Ensembles
Radboud University（拉德堡德大学）
本文提出一种计算成本低廉的Bootstrapped Deep Ensembles方法，通过修改的参数自举显式建模有限数据效应，显著提升了回归任务中标准深度集成的不确定性估计性能。
2023-08-03 cs.LG stat.ML
MelissaDL x Breed: Towards Data-Efficient On-line Supervised Training of Multi-parametric Surrogates with Active Learning
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
针对传统离线训练偏微分方程代理模型的存储与I/O效率问题，结合Melissa框架的在线流式训练，提出基于训练损失引导的自适应多重重要性采样的主动学习方法Breed，提升多参数代理模型训练的数据效率与泛化能力。
2024-10-08 cs.AI cs.LG
Supervised Learning via Ensembles of Diverse Functional Representations: the Functional Voting Classifier
University of Campania Luigi Vanvitelli（坎帕尼亚路易吉·万维泰利大学）；Universitas Mercatorum（墨卡托大学）
本文提出函数投票分类器（FVC），通过利用多种函数型数据表示训练集成成员并以多数投票组合预测，在多个真实数据集上显著提升了函数型数据分类精度。
2024-03-23 cs.LG stat.ME stat.ML
Data-driven local operator finding for reduced-order modelling of plasma systems: II. Application to parametric dynamics
Imperial College London（帝国理工学院）；University of Washington（华盛顿大学）
本文扩展数据驱动局部算子发现算法 Phi Method，提出 parametric 与 ensemble 两种形式，用于参数化等离子体及流体动力学的 PDE 恢复与跨参数预测。
2024-03-03 cs.LG physics.comp-ph physics.plasm-ph
Decision by Supervised Learning with Deep Ensembles: A Practical Framework for Robust Portfolio Optimization
Mirae Asset Global Investments AI Quant Lab, MODULABS Seoul Republic of Korea；Elice AI Quant Lab, MODULABS Seoul Republic of Korea；Meritz Fire \& Marine Insurance AI Quant Lab, MODULABS Seoul Republic of Korea；Ulsan National Institute of Science；AI Quant Lab, MODULABS
本文提出 DSL 框架，将投资组合权重建模为监督学习任务，并结合 Deep Ensemble 降低配置方差，在多市场、多架构回测中优于传统及主流机器学习投资组合方法。
2025-10-21 cs.LG q-fin.CP q-fin.PM
E2GNN: Efficient Graph Neural Network Ensembles for Semi-Supervised Classification
The Hong Kong Polytechnic University（香港理工大学）；Rice University（莱斯大学）；New York University Shanghai（上海纽约大学）
本文提出E2GNN，通过训练MLP模仿多个GNN在带标签与无标签节点上的预测，并利用强化判别器过滤错误预测节点，以可学习方式高效集成GNN，解决半监督分类中集成推理效率低和基模型性能受限的问题。
2024-05-06 cs.AI cs.LG
SENSE: Self-Supervised Neural Embeddings for Spatial Ensembles
University of Groningen（格罗宁根大学）
SENSE通过结合聚类和对比损失的增强自动编码器框架，提升高维科学集合数据的可视化和可解释性。
2026-01-16 cs.AI cs.CV cs.LG
Automated rock joint trace mapping using a supervised learning model trained on synthetic data generated by parametric modelling
Norwegian Geotechnical Engineering（挪威地质工程）
本文提出一种基于参数建模生成合成数据的监督学习方法，用于解决岩体节理迹映射中真实数据不足和类别不平衡的问题，通过混合训练和微调提升模型鲁棒性，实现更准确的地质映射。
2026-02-07 cs.AI cs.CV cs.LG
Empirical Comparison of Encoder-Based Language Models and Feature-Based Supervised Machine Learning Approaches to Automated Scoring of Long Essays
Southern Methodist University（南卫理公会大学）；Princeton University（普林斯顿大学）；University of Maryland, College Park（马里兰大学帕克分校）；University of Iowa（爱荷华大学）
本研究比较了基于编码器的语言模型与基于特征的监督机器学习方法在长作文自动评分中的表现，发现嵌入集成模型在评分效果上优于单一语言模型。
2026-01-07 cs.CL cs.LG
An ensemble diversity approach to supervised binary hashing
University of California, Merced（加州大学默塞德分校）
二进制散列是信息检索中用于快速近似最近邻搜索的公知方法。许多工作都集中在基于仿射的目标函数，涉及散列函数或二进制码。这些目标函数对数据点之间的邻域信息进行编码，并且通常受到流形学习算法的启发。它们通过约束或惩罚项确保哈希函数彼此不同，这些约束或惩罚项鼓励代码在比特之间正交或不相似，但这耦合了二进制变量并使已经困难的优化变得复杂。我们提出了一种简单得多的方法：我们训练每个散列函数（或位）彼此独立，但使用分类器集成的技术在它们之间引入多样性。令人惊讶的是，我们发现，这不仅是更快和平凡的并行化，但它也提高了更复杂的，耦合的目标函数，并实现了最先进的精度和召回的图像检索实验。
2016-02-04 cs.CV cs.LG math.OC
Weakly-Supervised Neural Response Selection from an Ensemble of Task-Specialised Dialogue Agents
Alt Inc.（奥尔特公司）；University of Liverpool（利物浦大学）
包含不同类型的代理与人类对话的对话引擎很受欢迎。然而，对话是动态的，在这个意义上，所选择的响应将改变会话的飞行，影响会话中的后续话语，这使得响应选择一个具有挑战性的问题。我们建模的问题，选择最佳的反应，从一组由一组异构的对话代理所产生的反应，考虑到会话的历史，并提出了一个\emph{Neural Response Selection}方法。所提出的方法被训练来预测一个连贯的一组反应在一个单一的对话，考虑自己的预测通过课程训练机制。我们的实验结果表明，该方法可以准确地选择最合适的反应，从而显着提高用户体验的对话系统。
2020-05-06 cs.AI cs.CL cs.LG
A Robust Ensemble Approach to Learn From Positive and Unlabeled Data Using SVM Base Models
KU Leuven（鲁汶大学）
我们提出了一种新的方法来学习二进制分类器时，只有积极的和未标记的实例可用（PU学习）。这个问题通常被视为一个有监督的任务，在负集中有标签噪声。我们使用的SVM模型训练的自举重新采样的训练数据，以提高对标签噪声的鲁棒性的合奏。该方法可以被认为是在一个装袋框架，它提供了一个直观的解释，其力学在半监督设置。我们在使用多个公共基准数据集的模拟中将我们的方法与最先进的方法进行了比较。所包含的基准测试包括三个具有增加的标签噪声的设置：（i）完全监督，（ii）PU学习和（iii）具有误报的PU学习。我们的方法在第二种情况下比现有方法有了微小的改进，在第三种情况下有了显着的改进。
2014-10-21 cs.LG stat.ML
