Confidence-Credibility Aware Weighted Ensembles of Small LLMs Outperform Large LLMs in Emotion Detection
Department of Computer Science（计算机科学系）；MSA University（MSA大学）
本文提出一种结合多种小模型的集成方法，在情绪检测任务中超越大模型性能。
2025-12-19 cs.CL cs.LG
CAD: Confidence-Aware Adaptive Displacement for Semi-Supervised Medical Image Segmentation
College of Information and Intelligence, Hunan Agricultural University（湖南农业大学信息与智能科学学院）；School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
本文提出CAD框架，通过动态调整替换尺寸和置信度阈值，将最大低置信度区域替换为高置信度图像块，有效提升了半监督医学图像分割的精度并达到最先进水平。
2025-04-03 cs.CV cs.LG
Dense Adaptive Cascade Forest: A Self Adaptive Deep Ensemble for Classification Problems
Southwest Jiaotong University（西南交通大学）；University of Electronic Science and Technology of China（电子科技大学）；Rutgers University（罗格斯大学）
最近的研究表明，与一般的集成学习方法相比，深度森林集成在分类精度上有了相当大的提高，特别是在训练集较小的情况下。在本文中，我们利用深森林集成，并介绍了密集自适应级联森林（daForest）。我们的模型有一个更好的性能比原来的级联森林有三个主要特点：首先，我们应用SAMME.R boosting算法来提高模型的性能。随着层数的增加，它保证了改进。其次，我们的模型以前馈方式将每一层连接到后续层，这增强了模型抵抗性能退化的能力。第三，我们在第一个分类层之前添加了一个超参数优化层，使我们的模型花费更少的时间来建立和找到最佳的超参数。实验结果表明，daForest的性能非常好，在某些情况下，甚至优于神经网络，并达到了最先进的结果。
2019-05-14 cs.LG stat.ML
Interactive Medical Image Segmentation with Self-Adaptive Confidence Calibration
East China Normal University（华东师范大学）；Huashan Hospital, Fudan University（复旦大学附属华山医院）
医学图像分割是基于人工智能的临床决策系统的基本问题之一。现有的医学图像自动分割方法往往不能满足临床的要求。因此，提出了一系列交互式分割算法来利用专家校正信息。然而，现有的方法遭受一些分割细化失败的问题后，长期的互动和专家标注的一些成本问题，这阻碍了临床应用。本文提出了一个交互式分割框架，称为交互式医学分割与自适应置信度校准（MECCA），通过引入校正动作评估，它结合了基于动作的置信度学习和多智能体强化学习（MARL）。通过一种新的基于动作的置信网络建立评估，并从MARL中获得纠正措施。基于机密信息，设计了自适应的奖励函数以提供更详细的反馈，并在无监督数据上提出了一种模拟标签生成机制以减少对标签数据的过度依赖。在多种医学图像数据集上的实验结果表明了该算法的有效性。
2021-11-15 cs.CV cs.LG
Learning to Defer to Multiple Experts: Consistent Surrogate Losses, Confidence Calibration, and Conformal Ensembles
University of Amsterdam（阿姆斯特丹大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
我们研究了学习推迟（L2 D）多个专家的统计特性。特别是，我们解决了开放的问题，得出一致的替代损失，信心校准，和原则的专家。首先，我们推导出两个一致的替代项-一个基于softmax参数化，另一个基于one-vs-all（OvA）参数化-分别类似于Mozannar和Sontag（2020）以及Verma和Nalisnick（2022）提出的单个专家损失。然后我们研究了框架估计P（m_j = y）的能力|x），第j个专家将正确预测x的标签的概率。理论表明，基于softmax的损失会导致错误校准在估计值之间传播，而基于OvA的损失不会（尽管在实践中，我们发现存在权衡）。最后，我们提出了一个共形推理技术，选择一个子集的专家查询时，系统推迟。我们对星系，皮肤病变和仇恨言论分类的任务进行经验验证。
2023-02-23 cs.LG stat.ML
CAKE: Confidence in Assignments via K-partition Ensembles
Department of Informatics, Athens University of Economics and Business（经济与商业大学信息学院）；Archimedes Research Unit, Athena Research Center（阿提卡研究中心阿基米德研究单位）
CAKE通过K分区集合评估每个点的置信度，结合赋值稳定性与局部几何拟合一致性，提供0-1范围内的可解释评分，提升聚类结果的可靠性。
2026-05-14 cs.LG
Improved Robustness Against Adaptive Attacks With Ensembles and Error-Correcting Output Codes
Institute Intelligence and Data (IID), Université Laval（拉瓦尔大学智能与数据研究所（IID））；Mila（米拉研究所）
神经网络集成已经在对抗鲁棒性的背景下被广泛研究，并且大多数基于集成的方法仍然容易受到自适应攻击。在本文中，我们研究的鲁棒性的纠错输出码（ECOC）集成，通过结构的改进和集成多样性的促进。我们对自适应攻击进行了全面的鲁棒性评估，并研究了集成多样性和鲁棒性之间的关系。我们的研究结果表明，与卷积神经网络（CNN）的常规集成相比，ECOC集成对对抗鲁棒性的好处，并显示了为什么以前实现的鲁棒性是有限的。我们还提出了一种针对ECOC集成的对抗性训练方法，可以进一步提高对自适应攻击的鲁棒性。
2023-03-04 cs.LG
Confidence-based Ensembles of End-to-End Speech Recognition Models
NVIDIA（英伟达）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
本文提出基于置信度的端到端语音识别模型集成方法，仅采用置信度最高模型的输出，并在多语言识别及基础/适配模型组合任务中验证其优势。
2023-06-27 cs.CL cs.LG eess.AS
Confidence Adaptive Regularization for Deep Learning with Noisy Labels
McMaster University（麦克马斯特大学）
最近关于深度神经网络对噪声标签的记忆效果的研究表明，网络首先拟合正确标记的训练样本，然后再记忆错误标记的样本。受这种早期学习现象的启发，我们提出了一种新的方法来防止记忆错误标记的样本。与现有的方法，使用模型输出来识别或忽略错误标记的样本，我们引入了一个指标分支到原始模型，使模型能够产生每个样本的置信度值。置信度值被纳入我们的损失函数，该函数被学习为将大置信度值分配给正确标记的样本，将小置信度值分配给错误标记的样本。我们还提出了一个辅助正则化项，以进一步提高模型的鲁棒性。为了提高性能，我们逐渐纠正噪声标签与一个精心设计的目标估计策略。我们提供了理论分析，并在合成和真实世界的数据集上进行实验，证明我们的方法取得了与最先进的方法相当的结果。
2021-09-05 cs.CV cs.LG
Evaluation of Confidence-based Ensembling in Deep Learning Image Classification
Intel Labs（英特尔实验室）；City, University of London（伦敦大学城市学院）
集成是一种成功的提高机器学习（ML）模型性能的技术。Conf-Ensemble是对Boosting的一种适应，它基于模型置信度而不是模型错误来创建集合，以更好地分类困难的边缘情况。关键思想是为前一个模型难以分类（不一定是错误分类）的样本创建连续的模型专家。该技术已被证明在具有小特征空间（约80个特征）的二进制分类中提供比提升更好的结果。在本文中，我们使用ImageNet数据集（224 x224 x3特征，1000个类）评估了Conf-Ensemble方法在更复杂的图像分类任务中的应用。图像分类是基于AI的感知的重要基准，因此它有助于评估该方法是否可用于使用ML集成的安全关键应用。我们的实验表明，在一个复杂的多标签分类任务中，复杂输入样本的专业化的预期好处不能用一个小的样本集来实现，即，一个好的分类器似乎依赖于非常复杂的特征分析，而这些特征分析不能仅仅在有限的“困难样本”子集上得到很好的训练。我们提出了一个改进的Conf-Ensemble，以增加连续的合奏成员的样本数量，和一个三成员Conf-Ensemble使用这种改进能够超过一个单一的模型的准确性，虽然数量并不显着。我们的发现揭示了这种方法的局限性和利用大数据的重要性。
2023-03-03 cs.AI cs.CV cs.LG
Visualizing Confidence Intervals for Critical Point Probabilities in 2D Scalar Field Ensembles
Leipzig University（莱比锡大学）；Deutsches Klimarechenzentrum（德国气候计算中心）
可视化的一个重要任务是提取和突出显示数据中的主要特征，以支持用户的分析过程。拓扑方法是确定性领域中识别此类特征的一种众所周知的手段。然而，今天研究的许多现实世界的现象是混沌系统的结果，不能完全通过一个单一的模拟描述。相反，这种系统的可变性通常是通过产生模拟过程的各种可能结果的集合模拟来捕获的。总体而言，这种集合数据集和不确定数据的拓扑分析研究得较少。在这项工作中，我们提出了一种方法的计算和可视化表示的置信区间的发生概率的关键点在合奏数据集。我们证明了我们的方法的附加值超过现有的方法临界点预测的不确定数据的合成数据集，并显示其适用性的数据集从气候研究。
2022-07-13 cs.GR cs.HC cs.LG
Adaptively stacking ensembles for influenza forecasting with incomplete data
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在美国，季节性流感每年感染1000万至5000万人，在发病高峰期的几周内，医院负担过重。疾病预防控制中心将流感和流感样疾病（ILI）的准确预测命名为对抗这些流行病的破坏性影响的重要工具，它可以预先警告公共卫生官员季节性流感爆发的时间和地点。多模式集合预报-各组成模式的加权组合-在预报方面已显示出积极的效果。对流感爆发的集合预测是静态的，在季节开始时对所有过去的ILI数据进行训练，为集合中的每个模型生成一组最佳权重，并保持权重不变。我们提出了一个自适应集成预测，（i）改变模型的权重，每周在整个流感季节，（ii）只需要当前流感季节的数据进行预测，（iii）通过引入先验分布，缩小权重向参考相等的加权方法，并调整观察到的ILI百分比，受到未来的修订。我们调查了先验的能力，影响自适应合奏的性能，并通过交叉验证方法找到一个最佳的先验后，比较我们的自适应合奏的性能等权重和静态合奏。应用于美国区域和国家层面的短期ILI发病率预测，我们的自适应模型优于朴素的等权重集合，并且与静态集合具有相似或更好的性能，静态集合需要多年的训练数据。自适应集成能够在流行病期间快速进行训练和预测，并为公共卫生官员提供实用工具，以寻求符合特定季节独特特征的预测。
2020-05-16 cs.LG stat.AP stat.ML
Noise-Adaptive Confidence Sets for Linear Bandits and Application to Bayesian Optimization
University of Arizona（亚利桑那大学）；University of Pittsburgh（匹兹堡大学）
本文针对线性赌博机中未知噪声水平问题，提出半自适应和方差自适应置信集，并基于乐观方法开发首个实用方差自适应线性赌博机算法，在贝叶斯优化任务中取得更好或相当的性能。
2024-06-08 cs.LG stat.ML
Adaptive Generation Model: A New Ensemble Method
SAILAB, Xidian University（西电大学SAILAB实验室）；Shanghai Maritime University（上海海事大学）
包围法是机器学习中常用的一种方法，它是从一个数据集中训练多个模型，并通过一定的组合策略得到较好的结果。堆栈方法作为包围圈学习方法的代表，经常被用于Kaggle等机器学习竞赛中。本文基于gcForest的思想，提出了一种堆栈模型的变体，即自适应生成模型（AGM）。这意味着不仅在水平方向上进行自适应生成以扩展每层模型的宽度，而且在垂直方向上进行自适应生成以扩展模型的深度。对于AGM的基础模型，它们都来自预设的基本机器学习模型。此外，在层与层之间增加了特征增强方法，以进一步提高模型的整体精度。最后，通过对7个数据集的对比实验，结果表明，AGM模型的精度优于以往的模型。
2020-09-14 cs.LG stat.ML
Segmented Confidence Sequences and Multi-Scale Adaptive Confidence Segments for Anomaly Detection in Nonstationary Time Series
NVIDIA；DGXC Applied AI Lab（DGXC应用人工智能实验室）
针对非平稳时间序列中传统静态阈值易失效的问题，提出两种基于统计在线学习的自适应阈值框架SCS和MACS，在保持误报率的同时显著提升了异常检测的F1分数。
2025-08-08 cs.AI cs.LG
Adaptive Ensemble Learning with Gaussian Copula for Load Forecasting
Southwest University（西南大学）；State Grid Energy Research Institute Co., Ltd.（国网能源研究院有限公司）
针对数据稀疏影响负荷预测准确性的问题，提出含数据补全、ML构建和自适应集成三模块的高斯Copula自适应集成学习模型，实验证明其鲁棒性。
2025-08-25 cs.LG
Beyond Conformal Predictors: Adaptive Conformal Inference with Confidence Predictors
Department of Mathematics, Stockholm University（数学系，斯德哥尔摩大学）；Department of Computing, Jönköping School of Engineering（计算系，约克灵根工程学院）
本研究证明自适应保形推断的覆盖保证适用于更广泛的非保形置信预测器，在非可交换数据下提供计算优势并提升预测效率。
2025-06-26 cs.LG stat.ML
Gradient boundaries through confidence intervals for forced alignment estimates using model ensembles
Linguistics Program, Department of English, George Mason University（语言学项目，英语系，乔治·马歇尔大学）
本文提出通过神经网络集成生成梯度边界的方法，利用置信区间提升边界估计的准确性，并通过实验验证其在语音识别任务中的有效性。
2026-04-13 cs.CL cs.LG cs.SD
Auto-Ensemble: An Adaptive Learning Rate Scheduling based Deep Learning Model Ensembling
Huazhong University of Science and Technology（华中科技大学）
对深度学习模型进行集成是推动其在新场景中实现的捷径，可以避免从零开始调优神经网络、损失和训练算法。然而，很难通过一次训练收集足够准确和多样的模型。本文提出了自动集成（AE）算法，通过自适应学习率调度算法自动收集深度学习模型的检查点并集成。该方法的优点是通过一次训练调度学习率，使模型收敛于各种局部最优。当局部最优解的数量趋于饱和时，所有收集的检查点用于集成。我们的方法是通用的，它可以适用于各种场景。在多个数据集和神经网络上的实验结果表明，该方法是有效的和有竞争力的，特别是在少样本学习方面。此外，我们提出了一种方法来衡量模型之间的距离。这样就可以保证采集模型的准确性和多样性。
2020-12-03 cs.LG stat.ML
Building Ensembles of Adaptive Nested Dichotomies with Random-Pair Selection
University of Waikato（怀卡托大学）
嵌套二分法系统是一种将多类问题分解为二元问题集合的方法。这样的系统递归地将类的集合分成两个子集，并且训练二元分类器来区分每个子集。尽管具有随机结构的嵌套二分法的集合在实践中表现良好，但可以使用更复杂的类子集选择方法来提高分类精度。我们调查这个问题的方法称为随机对选择，并评估其有效性相比，其他已发表的子集选择方法。我们表明，我们的方法优于其他方法在许多情况下，当形成合奏嵌套二分法，并在所有其他情况下，至少是在同一水平。
2016-07-05 cs.LG stat.ML
Adaptive and Calibrated Ensemble Learning with Dependent Tail-free Process
Harvard University（哈佛大学）；Columbia University（哥伦比亚大学）
包围学习是现代数据科学实践的中流砥柱。传统的集成算法为基础模型分配一组确定性的恒定模型权重，其（1）不完全考虑跨子组的基础模型准确性的变化，也不（2）提供集成预测的不确定性估计，这可能导致错误校准（即精确但有偏差）的预测，这反过来可能对实际应用中的算法性能产生负面影响。在这项工作中，我们提出了一种自适应的，概率的集成学习方法，使用依赖的无尾过程作为集成权重先验。给定输入特征$\mathbf{x}$，我们的方法根据基础模型在特征空间$\mathbf{x} \in \mathcal{X}$中的预测准确性进行最佳组合，并在模型选择和集合预测中提供可解释的不确定性估计。为了鼓励可扩展和校准的推理，我们推导出一种结构化变分推理算法，该算法联合最小化KL目标和模型的校准得分（即连续排序概率得分（CRPS））。我们说明了我们的方法的实用性的合成非线性函数回归任务，并在新英格兰的颗粒物污染预测模型的时空一体化的实际应用。
2018-12-19 cs.LG stat.ML
Adaptive Confidence Regularization for Multimodal Failure Detection
Technical University of Munich（慕尼黑技术大学）；ETH Zürich（苏黎世联邦理工学院）；EPFL（苏黎世联邦理工学院）；Fraunhofer IKS（弗劳恩霍夫研究所）
本文提出自适应置信度正则化方法，通过检测多模态预测中的置信度退化，提升故障识别的可靠性。
2026-03-02 cs.AI cs.CV cs.LG
FOCUS: Fixed-Confidence Online Causal Learning Using Sequential Adaptive Interventions
Tsinghua University（清华大学）
针对无历史数据的在线因果发现，提出FOCUS算法，通过序贯自适应干预和可计算集中不等式，在固定置信度下高效恢复因果DAG及边权重，并匹配理论下界。
2026-09-29 cs.LG stat.ML
Improving self-training under distribution shifts via anchored confidence with theoretical guarantees
Northwestern University（西北大学）
针对分布偏移下自训练置信度与准确率偏差大、现有改进方法计算成本高的问题，提出基于时序一致性的锚定置信度方法，在无额外计算开销下稳定提升自训练性能8%-16%，且有理论保证。
2024-11-01 cs.LG
Covariate Shift Estimation based Adaptive Ensemble Learning for Handling Non-Stationarity in Motor Imagery related EEG-based Brain-Computer Interface
University of Essex（埃塞克斯大学）；Ulster University（阿尔斯特大学）；Swansea University（斯旺西大学）；California State University Fresno（加州州立大学弗雷斯诺分校）
脑电信号的非平稳特性使得基于脑电信号的脑机接口成为一个动态系统，提高其性能是一个具有挑战性的课题。此外，众所周知，由于基于非平稳性的协变量偏移，基于EEG的BCI系统的输入数据分布在会话间和会话内转换期间改变，这给在线自适应数据驱动系统的开发带来了很大的困难。以前已经使用了包围学习方法来应对这一挑战。然而，基于被动方案的实现导致效率低下，同时增加了高计算成本。针对运动想象相关脑电分类中的非平稳性问题，提出了一种新的协变量偏移估计与无监督自适应集成学习（CSE-UAEL）相结合的方法。所提出的方法首先采用指数加权移动平均模型检测的协变量偏移的共同空间模式的特点，从MI相关的脑反应提取。然后，分类器集合被创建并随时间更新，以考虑流传输输入数据分布的变化，其中新的分类器根据估计的偏移被添加到集合。此外，使用两个公开的BCI相关的EEG数据集，所提出的方法进行了广泛的比较，与最先进的基于单分类器的被动方案，基于单分类器的主动方案和基于集成的被动方案。实验结果表明，所提出的主动模式集成学习算法显着提高脑机接口在MI分类的性能。
2018-05-02 cs.LG stat.ML
Deep Confidence: A Computationally Efficient Framework for Calculating Reliable Errors for Deep Neural Networks
University of Cambridge（剑桥大学）
深度学习架构已被证明在许多药物发现应用中是通用的，包括体外化合物活性的建模。虽然控制预测置信度对于提高药物发现中虚拟筛选模型的信任度、可解释性和有用性至关重要，但估计深度学习网络生成的预测可靠性的技术在很大程度上仍有待探索。在这里，我们提出了Deep Confidence，这是一个使用深度学习技术快照集成和保形预测来计算个体预测的有效和高效置信区间的框架。具体而言，深度置信度通过记录在单个神经网络的优化阶段期间访问的整个局部最小值的网络参数来生成深度神经网络的集合。该方法用于导出一组基本学习器（即，快照），其平均具有相当的预测能力，然而，对于给定实例，其将生成略微不同的预测。基础学习者之间的变异性和验证残差又被利用来使用共形预测框架计算置信区间。使用来自ChEMBL 23的一组24个不同的IC50数据集，我们表明快照集成与随机森林（RF）和独立训练的深度神经网络集成的性能相当。此外，我们发现使用深度置信度框架预测的置信区域跨越更窄的值集。总体而言，Deep Confidence代表了一个高度通用的错误预测框架，可以应用于任何基于深度学习的应用程序，而无需额外的计算成本。
2018-09-24 cs.AI cs.LG q-bio.QM
CARE: Ensemble Adversarial Robustness Evaluation Against Adaptive Attackers for Security Applications
针对网络安全中集成防御能否抵御自适应攻击缺乏综合评估平台的问题，本文提出通用CARE平台以系统评估集成对抗攻击与防御。
2024-01-20 cs.CR cs.LG
A Note on Implementation Errors in Recent Adaptive Attacks Against Multi-Resolution Self-Ensembles
Google DeepMind（谷歌DeepMind）
本文指出近期自适应攻击实现中的错误导致扰动超出界限20倍，修正后多分辨率自集成防御仍具鲁棒性，且正确有界攻击与人类感知一致，引发对抗鲁棒性度量反思。
2025-01-24 cs.CR cs.CV cs.LG
Adaptive Sampling for Estimating Distributions: A Bayesian Upper Confidence Bound Approach
University of Southern California（南加州大学）；University of California, San Diego（加州大学圣地亚哥分校）
研究了概率质量函数（pmf）一致估计的自适应抽样问题。采样策略的性能以最差情况下的均方误差来衡量。提出了一种贝叶斯变体现有的置信上限（UCB）为基础的方法。分析表明，这种贝叶斯变体的性能并不比现有的方法差。贝叶斯设置中pmfs上的后验分布允许更严格地计算置信上限，这在实践中导致显著的性能增益。使用这种方法，自适应采样协议提出了估计SARS-CoV-2血清阳性率在不同的群体，如位置和种族。这一战略的有效性进行了讨论，使用从洛杉矶县的血清阳性率调查获得的数据。
2020-12-08 cs.LG stat.ME
Hoeffding adaptive splitting trees for data stream classification with concept drift and ensemble learning
Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那天主教大学）；Sorbonne Université（索邦大学）
本文针对自适应分裂决策树作为集成基学习器的多样性不足问题，提出霍夫丁自适应分裂树模型，结合霍夫丁树的周期性分裂策略与自适应分裂机制，在综合评估中实现了最优的数据流分类性能。
2026-08-18 cs.AI cs.LG
A-PETE: Adaptive Prototype Explanations of Tree Ensembles
Poznan University of Technology（波兹南理工大学）
针对树集成模型的可解释性需求，提出A-PETE算法，利用专门距离度量和改进k-medoid方法自动选择原型，在保持预测精度的同时为随机森林等分类器提供充分的原型解释。
2024-05-31 cs.LG
Learning to Diversify via Weighted Kernels for Classifier Ensemble
University of Science and Technology Beijing（北京科技大学）；Chinese Academy of Sciences（中国科学院）
分类器集成通常应该结合不同的组件分类器。然而，很难给出多样性度量和集合精度之间的明确联系。在给定一组可用的分类器的情况下，如何自适应地、动态地集成分类器成为了一个很大的挑战。在本文中，我们认为，多样性，而不是直接多样性的样本，但自适应多样性与数据，是高度相关的集成精度，我们提出了一种新的分类器集成技术，学习多样化，学习自适应组合分类器，同时考虑精度和多样性。具体来说，我们的方法，学习多样化通过加权核（L2 DWK），通过优化一个直接但简单的标准进行分类器组合：最大限度地提高集成精度和自适应多样性，同时最小化凸损失函数。给定度量公式，利用加权核计算多样性（即，在被核化和加权的分量分类器的输出上测量多样性），并且自动学习核权重。我们最小化这个损失函数估计的内核权重结合分类器的权重，并提出了一个自我训练算法进行这种凸优化过程迭代。在32个UCI分类基准数据集上进行的大量实验表明，该方法的性能始终优于最先进的集成，如Bagging，AdaBoost，随机森林，Gasen，正则化选择性Entrance和Entrance Pruning via Semi-Definite Programming。
2014-06-04 cs.CV cs.LG
UCB Exploration via Q-Ensembles
OpenAI；University of California, Berkeley（加州大学伯克利分校）
我们展示了如何在深度强化学习中利用$Q^*$函数的集合进行更有效的探索。我们建立在从强盗设置完善的算法，并使其适应$Q$学习设置。我们提出了一种基于置信上限（UCB）的探索策略。我们的实验显示了Atari基准的显着收益。
2017-11-07 cs.LG stat.ML
Improving Robustness and Reliability in Medical Image Classification with Latent-Guided Diffusion and Nested-Ensembles
McGill University（麦吉尔大学）；Centre for Intelligent Machines（智能机器中心）；Mila – Quebec AI Institute（魁北克人工智能研究所）；University of Copenhagen（哥本哈根大学）；Department of Public Health, Section for Health Data Science and AI（公共卫生系，健康数据科学与人工智能部门）
提出LaDiNE集成方法，结合Vision Transformers和扩散模型，通过学习不变特征和密度估计，在医学图像分类中同时提升对噪声、对抗扰动和分辨率退化的鲁棒性、预测准确性和置信度校准。
2025-06-29 cs.CV cs.LG
Dynamic Meta-Learning for Adaptive XGBoost-Neural Ensembles
IMDEX Limited mining technology company（IMDEX有限采矿技术公司）
本研究提出一种结合XGBoost与神经网络的自适应集成框架，借助元学习、不确定性量化及特征重要性融合实现动态模型调度，在多数据集上取得更优预测性能与可解释性。
2025-09-30 cs.AI cs.LG
Adaptive Robust Confidence Sets in High Dimensions
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Chicago（芝加哥大学）；University of California, San Diego（加州大学圣地亚哥分校）；Rutgers University（罗格斯大学）
针对协方差为单位矩阵的多元高斯均值向量在Huber污染比例未知时的自适应稳健置信集问题，提出通过量化所有一维投影的不确定性构造信息论最优集，证明其存在计算障碍并给出低阶矩匹配算法，刻画了统计极限与计算壁垒。
2026-10-14 cs.DS cs.LG math.ST
PAC-Bayes with Minimax for Confidence-Rated Transduction
University of California, San Diego（加州大学圣地亚哥分校）
我们考虑使用一个二进制分类器的合奏的转导预测，当未标记的测试数据是已知的。在这种情况下，我们推导出最小最大最优规则的信心评级预测。通过对这些规则进行PAC-Bayes分析，我们获得了数据相关的性能保证，而无需对数据进行分布假设。我们的分析技术很容易扩展到一个设置中，预测是允许弃权。
2015-01-15 cs.LG stat.ML
Confidence Intervals for Policy Evaluation in Adaptive Experiments
Stanford University（斯坦福大学）
适应性试验设计可以显著提高随机试验的统计效率，但也使统计推断复杂化。例如，现在众所周知，样本均值在自适应试验中是有偏的。当我们感兴趣的参数与试验设计的目标参数不同时，推理挑战会加剧，例如当我们有兴趣在运行试验以使用随机强盗设计确定最佳治疗后估计次优治疗的价值时。在这种情况下，使用逆倾向加权来消除抽样偏差的典型估计量可能会有问题：随着倾向得分衰减到零，它们的分布变得偏斜和重尾。在本文中，我们提出了一类估计，克服这些问题。我们的方法是自适应地重新加权的增广逆倾向加权估计量的条款，以控制每个条款的估计量的方差的贡献。这种自适应加权方案防止估计成为重尾，确保渐近正确的覆盖。它还减少了方差，使我们能够以更大的功效检验假设--特别是那些试验设计没有针对性的假设。我们验证了所得到的估计和它们的置信区间在数值实验的准确性，并显示我们的方法相比，有利的RMSE和覆盖率方面现有的替代品。
2021-02-12 cs.LG stat.ME stat.ML
A Margin-Maximizing Fine-Grained Ensemble Method
ElectroNics (iOPEN) Northwestern Polytechnical University Shaanxi, China；9pt 11pt Mary School Hainan Beijing University of Posts
本文提出一种最大化边距的细粒度集成方法，通过可学习置信度矩阵和基于边距的损失函数，仅用少量基学习器即可超越大规模集成，提升资源受限场景下的性能。
2024-09-19 cs.LG
Specialists Outperform Generalists in Ensemble Classification
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
考虑准确度已知的$k$个体分类器的集合。在接收到测试点时，每个分类器输出预测的标签和对该特定测试点的预测的置信度。在本文中，我们解决的问题，我们是否可以确定的合奏的准确性。令人惊讶的是，即使当分类器组合在统计上最佳的方式在这种设置中，所得到的集成分类器的准确性不能计算从个人分类器的准确性，因为将是在标准设置的置信加权多数表决的情况下。我们证明紧的集合精度的上限和下限。我们显式地构造达到上界和下界的个体分类器：专家和通才。我们的理论结果有非常实际的后果：（1）如果我们使用集成方法，并可以选择从头开始构建我们的个人（独立）分类器，那么我们应该瞄准专家分类器，而不是通才。(2)我们的边界可以用来确定至少需要多少分类器来实现所需的集成精度。最后，我们通过考虑真实标签和个体分类器输出之间的互信息来改进我们的边界。
2021-07-09 cs.LG stat.ML
Adaptive Neural Network Ensemble Using Frequency Distribution
Cho Chun Shik Graduate School of Mobility（赵春植移动研究生院）；Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
神经网络（NN）集成可以减小神经网络的大预测方差，提高预测精度。对于数据集不足的高度非线性问题，神经网络模型的预测精度变得不稳定，导致集成精度下降。因此，本研究提出了一种基于频率分布的集成，确定核心预测值，预计将集中在附近的真实预测值。基于频率分布的系综通过利用基于从给定预测点获得的各种预测值的频率分布进行统计分析来对由多个预测值支持的核心预测值进行分类。基于频率分布的集成可以通过排除具有低精度的预测值并应对最频繁值的不确定性来提高预测性能。提出了一种自适应采样策略，该策略基于作为核心预测值的方差计算的核心预测方差来顺序地添加样本，以有效地提高基于频率分布的集成的预测性能。实例分析结果表明，基于频率分布的集成方法的预测精度高于克里格法和其他现有的集成方法。此外，所提出的自适应采样策略有效地提高了预测性能的频率分布为基础的合奏相比，以前开发的空间填充和预测方差为基础的战略。
2022-10-19 cs.LG
LOCO-AdaMP: Built-in LOCO Inference for Adaptive Minipatch Ensembles with Enhanced Prediction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对LOCO-MP在高维稀疏场景中因特征子采样损害预测的问题，提出LOCO-AdaMP，利用LOCO重要性引导自适应特征采样，实现无需数据分割的渐近有效推断，提升预测性能、推断能力和稳定性。
2026-09-30 cs.LG stat.ME stat.ML
Margin-Adaptive Confidence Ranking for Reliable LLM Judgement
Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系）；Institute of AI for Industries, Chinese Academy of Sciences（中国科学院工业人工智能研究所）；Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系）
本文提出一种基于边际的置信度排名方法，通过学习专用置信度估计器，改进LLM在人类判断一致性上的表现，通过模拟标注者多样性与边际排名公式，显式建模LLM区分人类一致与不一致案例的置信度，并推导出通用性保证。
2026-08-04 cs.AI cs.LG
Adaptive Ensemble Q-learning: Minimizing Estimation Bias via Error Feedback
Arizona State University（亚利桑那州立大学）
本文提出自适应集成Q学习（AdaEQ），通过误差反馈动态调整集成大小以最小化估计偏差，并在MuJoCo基准上验证了其优于现有方法的学习性能。
2023-06-20 cs.AI cs.LG
Ensemble Modeling for Time Series Forecasting: an Adaptive Robust Optimization Approach
Massachusetts Institute of Technology（麻省理工学院）；Sloan School of Management（斯隆管理学院）；Operations Research Center（运筹学中心）
本文提出基于自适应鲁棒优化（ARO）的时间序列预测集成方法，通过动态调整模型权重构建线性回归集成，在多个实际应用中显著降低均方根误差和条件风险价值，优于现有集成技术。
2023-04-09 cs.AI cs.LG math.OC
Adaptive Confidence-weighted Expansion for Trustworthy Multi-Omics Multimodal Fusion
Faculty of Engineering, University of Ottawa（渥太华大学工程学院）；RIV Lab, Department of Computer Engineering, Bu-Ali Sina University（布阿里·西纳大学计算机工程系RIV实验室）；School of Computing and Communications, Lancaster University（兰卡斯特大学计算与通信学院）
针对多模态学习模型在噪声或无信息数据流下性能不佳及缺乏数据质量评估机制的问题，提出自适应置信加权扩展（ACE）框架，通过生成互补模态和双层置信机制提升性能，在多组学数据集评估中显著优于现有算法。
2026-09-23 cs.LG
Finite-Time Analysis of Round-Robin Kullback-Leibler Upper Confidence Bounds for Optimal Adaptive Allocation with Multiple Plays and Markovian Rewards
University of California Berkeley（加州大学伯克利分校）
我们研究了经典的随机多臂强盗问题，其中涉及多个播放和马尔可夫奖励休息强盗设置的扩展。为了解决这个问题，我们考虑一个自适应的分配规则，在每个阶段结合的信息从样本均值的所有武器，与Kullback-Leibler上界的一个单一的手臂，这是在循环的方式选择。对于由单参数指数族马尔可夫链产生的报酬，我们给出了这种自适应分配规则所引起的后悔的有限时间上界，揭示了后悔对时间范围的对数依赖性，并且是渐近最优的.对于我们的分析，我们设计了几个浓度的结果，马尔可夫链，包括极大不等式的马尔可夫链，这可能是感兴趣的，在自己的权利。作为我们的分析的副产品，我们还建立了渐近最优，有限时间保证的情况下，多个播放，和独立同分布。从概率密度的单参数指数族中提取的奖励。此外，我们提供的模拟结果表明，计算Kullback-Leibler置信上限在循环的方式，是显着更有效的比计算它们在每一轮的每个手臂，这两种方法的预期遗憾的行为相似。
2020-07-13 cs.LG math.ST stat.ML
Auto-Prompt Ensemble for LLM Judge
University at Buffalo（布法罗大学）；ByteDance（字节跳动）
提出自动提示集成框架，通过从失败案例学习评估维度并采用集体置信度机制，提升LLM评判器可靠性，在Reward Bench上将GPT-4o一致率从87.2%提至90.5%。
2025-10-08 cs.AI cs.LG
Leveraging Ensemble Diversity for Robust Self-Training in the Presence of Sample Selection Bias
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；École des Ponts ParisTech（巴黎桥路学院）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）
针对样本选择偏差下softmax置信度过自信导致自训练失效的问题，提出基于线性分类器集成预测多样性的$\mathcal{T}$-similarity置信度，并给出理论分析与多数据集实验验证。
2024-04-03 cs.AI cs.LG stat.ML
A Rademacher Complexity Based Method fo rControlling Power and Confidence Level in Adaptive Statistical Analysis
Brown University（布朗大学）
虽然标准的统计推断技术和机器学习泛化边界假设测试是在独立于假设的数据上运行的，但实际的数据分析和机器学习通常是迭代和自适应的过程，其中相同的保留数据通常用于测试一系列假设（或模型），这些假设（或模型）可能各自取决于先前对相同数据的测试结果。在这项工作中，我们提出了RadaBound一个严格的，有效的和实用的程序，用于控制泛化误差时，使用的多个自适应测试的保持样本。我们的解决方案是基于一个新的应用程序的Rademacher复杂性的泛化界限，适应相关的测试。我们证明了我们的方法的统计能力和实用性，通过广泛的模拟和替代方法的比较。
2019-10-04 cs.LG cs.SY eess.SP
AECSF: Adaptive Ensemble Conditional Score Filtering for High-Dimensional Nonlinear Data Assimilation
Tongji University（同济大学）；Wuhan University（武汉大学）；University of South Carolina（南卡罗来纳大学）
针对高维非线性数据同化中贝叶斯状态估计的统计保真度与计算可行性矛盾，提出免训练的自适应集成条件分数滤波器AECSF，利用条件Tweedie恒等式和共享自适应加权提议集成高效估计噪声后验分数，提升后验采样与非线性滤波精度。
2026-10-05 cs.LG cs.NA math.NA
Model selection for deep audio source separation via clustering analysis
Northwestern University（西北大学）
音频源分离是将混合（例如流行乐队录音）分离为来自各个源（例如仅主唱）的孤立声音的过程。深度学习模型是源分离领域的最新技术，因为要分离的混合与深度模型训练的混合相似。这要求最终用户充分了解每个模型的训练，以便为给定的音频混合选择正确的模型。在这项工作中，我们自动选择适当的模型的音频混合。我们提出了一种置信度度量，该度量不需要地面实况来估计分离质量，给定深度模型和音频混合。我们使用此置信度来自动选择具有最佳预测分离质量的模型输出。我们比较我们的信心为基础的合奏方法，使用单独的模型没有选择，一个神谕，总是选择最好的模型和随机模型选择器。结果表明，我们的信心为基础的合奏显着优于一般的混合物和方法的音乐混合物的甲骨文性能的随机合奏。
2020-07-26 cs.LG cs.SD eess.AS
Procrastinating with Confidence: Near-Optimal, Anytime, Adaptive Algorithm Configuration
Cornell University（康奈尔大学）；University of British Columbia（不列颠哥伦比亚大学）；Microsoft Research（微软研究院）
算法配置方法在给定的问题实例分布上优化参数化启发式算法的性能。最近的工作介绍了一个算法配置过程（“结构化拖延”），可证明达到接近最佳性能的高概率，在最坏的情况下，几乎最小的运行时间。它还提供了一个$\textit{anytime}$属性：运行的时间越长，它就越能保证最优性。不幸的是，结构化拖延并不是参数化算法的$\textit{adaptive}$：它将每个输入都视为最坏情况。后续工作（“LeapsAndBounds”）实现了自适应性，但放弃了随时属性。本文介绍了一种新的算法，“结构化的拖延与信心”，保留了近最优性和任何时候的结构化拖延性质，同时增加了自适应。特别是，新算法将在许多算法配置性能不佳的设置中执行得更快。我们的经验表明，这种设置经常出现在实践中，随时属性是有用的，快速找到良好的配置。
2019-11-08 cs.AI cs.LG
The Easy, the Hard, and the Learnable: Confidence and Difficulty-Adaptive Policy Optimization for LLM Reasoning
TMLR Group, Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系 TMLR 组）；Stanford University（斯坦福大学）；Sydney AI Centre, The University of Sydney（悉尼大学人工智能中心）
针对GRPO训练中均匀采样导致计算效率低的问题，提出CoDaPO方法，通过置信度和难度自适应重加权与重采样，在固定预算下提升可学习问题的发现，在12个基准上优于现有RL方法。
2026-06-06 cs.LG
