Embedded Ensembles: Infinite Width Limit and Operating Regimes
Skoltech(斯科尔科沃科技学院);Yandex(央捷科斯)
集成神经网络的一种高效记忆方法是通过单个参考网络在集成模型之间共享大部分权重。我们将这种策略称为嵌入式集成(EE);它的特定示例是BatchEnsembles和Monte-Carlo dropout Ensembles。本文对具有不同模型数量的嵌入式集合进行了系统的理论和实证分析。在理论上,我们使用基于神经切线核的方法来推导梯度下降动力学的宽网络极限。在这个限制,我们确定两个合奏制度-独立和集体-依赖于合奏模型的架构和初始化策略。我们证明了在独立制度的嵌入式合奏行为作为一个独立的模型合奏。我们证实了我们的理论预测与广泛的实验与有限的网络,并进一步研究经验的各种影响,如两个制度之间的过渡,缩放合奏性能与网络的宽度和模型的数量,以及性能的依赖性上的一些架构和超参数的选择。
2022-02-24 cs.LG stat.ML
Stochastic Tree Ensembles for Estimating Heterogeneous Effects
School of Mathematical and Statistical Sciences(数学与统计科学学院);Arizona State University(亚利桑那州立大学);Department of Management Sciences(管理科学系);City University of Hong Kong(香港城市大学)
确定对特定干预(医疗或政策)反应特别好(或不好)的亚组需要专门为因果推断量身定制的新监督学习方法。贝叶斯因果森林(Bayesian Causal Forest,BCF)是一种最近的方法,已被证明在具有强混杂的数据生成过程中表现良好,这在许多应用中是合理的。本文提出了一种新的算法来拟合BCF模型,这是比以前可用的吉布斯采样器更有效。新算法可用于初始化现有Gibbs采样器的独立链,从而在仿真研究中更好地进行后验探索和覆盖相关的区间估计。通过仿真研究和实证分析,新算法相比,相关的方法。
2022-09-15 cs.LG stat.ML
An Ensemble-Based Deep Framework for Estimating Thermo-Chemical State Variables from Flamelet Generated Manifolds
University at Buffalo(布法罗大学);Data Intensive Studies Center(数据密集型研究中心);Tufts University(塔夫茨大学)
湍流燃烧流的完整计算包括两个独立的步骤:将反应动力学映射到低维流形,并在计算流体动力学运行期间查找此近似流形以估计热化学状态变量。在我们之前的工作中,我们表明,使用深度架构来联合学习这两个步骤,而不是单独学习,与基准相比,在估计源能量(一个关键状态变量)方面的准确性提高了73%,并且可以集成到DNS湍流燃烧框架中。在它们的自然形式中,这种深层架构不允许对感兴趣的量进行不确定性量化:源能量和关键物种源项。在本文中,我们扩展了这样的架构,特别是ChemTab,通过引入深度集成来近似感兴趣的量的后验分布。我们研究了两种策略,创建这些合奏模型:一个保持小火焰的起源信息(Flamelet策略)和一个忽略的起源,并认为所有的数据独立(点策略)。为了训练这些模型,我们使用由GRI-Mech 3.0甲烷机制生成的小火焰数据,该机制由53种化学物质和325个反应组成。我们的研究结果表明,火焰策略是优越的绝对预测误差的数量的利益,但依赖于类型的火焰用于训练合奏。点策略最适合捕捉感兴趣的量的变化,与火焰类型无关。我们的结论是,总体而言,ChemTab深合奏允许更准确地表示源能源和关键物种源项,相比没有这些修改的模型。
2022-11-25 cs.LG stat.ML
Estimating the Algorithmic Variance of Randomized Ensembles via the Bootstrap
虽然装袋和随机森林的方法是一些最广泛使用的预测方法,相对较少的是知道他们的算法收敛。特别是,没有太多的理论保证,以确定当一个合奏是“足够大”-使其精度接近于一个理想的无限合奏。由于bagging和随机森林是随机算法,因此集合大小的选择与“算法方差”(即仅由于训练算法而导致的预测误差方差)的概念密切相关。在目前的工作中,我们提出了一个自助方法来估计这个方差装袋,随机森林,和相关的方法在分类的背景下。具体而言,假设训练数据集是固定的,并且让随机变量$Err_t$表示大小为$t$的随机化系综的预测误差。在一个随机集合的“一阶模型”下,我们证明了$Err_t$的中心律可以通过所提出的方法一致地近似为$t\to\infty$。同时,该方法的计算成本是相当适度的,凭借外推技术。因此,该方法提供了一个实用的指导方针,决定时的算法波动的$Err_t$可以忽略不计。
2019-07-20 math.ST stat.ML stat.TH
Estimating Causal Effects using a Multi-task Deep Ensemble
Duke University(杜克大学);Duke University School of Medicine(杜克大学医学院);University of Michigan Ross School of Business(密歇根大学罗斯商学院)
本文提出因果多任务深度集成框架CMDE,通过同时学习共享与群体特定信息,高效处理高维多模态数据并提供因果效应不确定性估计,在多数任务上超越现有方法。
2023-05-27 cs.LG stat.ML
Estimating a sharp convergence bound for randomized ensembles
当随机集成,如装袋或随机森林用于二进制分类,集成的预测误差趋于减少和稳定的分类器的数量增加。然而,预测误差和集合大小之间的精确关系在实践中是未知的。在标准的情况下,分类器通过多数表决进行聚合,本工作提供了一种方法来量化这种收敛的“算法方差”,即预测误差的方差,由于只有随机化的训练算法。具体来说,我们研究了这个方差的理论上的上界,并表明它是尖锐的-在这个意义上说,它是由一个特定的家庭的随机分类器。接下来,我们解决的问题,估计未知值的界限,这导致了一个独特的扭曲的经典问题的非参数密度估计。特别是,我们开发了一个估计的界限,并表明其MSE匹配最佳非参数率在一定条件下。(与此同时,Cannings和Samworth(2017)和Lopes(2019)也考虑了一些密切相关的结果。
2019-04-30 cs.SI math.PR math.ST
Are Ensemble Classifiers Powerful Enough for the Detection and Diagnosis of Intermediate-Severity Faults?
University of California, Berkeley(加州大学伯克利分校);University of Chicago(芝加哥大学)
与严重故障相比,中等严重度(IS)故障的症状较轻,并且由于其与正常操作条件非常相似,因此更难以检测和诊断。训练数据中缺乏IS故障示例可能会对基于机器学习(ML)技术构建的故障检测和诊断(FDD)方法造成严重风险,因为这些故障很容易被误认为正常操作条件。包围模型广泛应用于ML中,被认为是检测分布外(OOD)数据的有前途的方法。我们通过在两个真实世界的数据集上使用几个流行的集成模型进行广泛的实验,确定了这些模型中的常见缺陷。然后,我们讨论了如何设计更有效的集成模型检测和诊断IS故障。
2020-07-08 cs.LG stat.ML
Sound source detection, localization and classification using consecutive ensemble of CRNN models
Samsung R&D Institute Poland(三星波兰研发研究院)
在本文中,我们描述了DCASE 2019任务3:声音事件定位和检测(SELD)的方法。我们使用四个CRNN SELDnet类似的单输出模型,以连续的方式运行,以恢复发生事件的所有可能的信息。我们将SELD任务分解为估计活动源的数量,估计单个源的到达波达方向,估计第二个源的到达波达方向,其中第一个源的方向是已知的,以及多标签分类任务。我们使用定制的连续集成来预测事件的开始,偏移,到达波达方向和类。在TAU Spatial Sound Events 2019 - Ambisonic上对所提出的方法进行了评估,并与其他参与者的提交进行了比较。
2019-09-05 cs.LG cs.SD eess.AS
Estimating link level traffic emissions: enhancing MOVES with open-source data
Department of Civil and Environmental Engineering(土木与环境工程系);Northeastern University(东北大学);Massachusetts Institute of Technology(麻省理工学院);Laboratory for Information & Decision Systems(信息与决策系统实验室)
本研究提出整合MOVES与多类开源数据的链路级交通排放估算框架,用神经网络预测运行模式分布,在波士顿大都会区实验中较基线将关键污染物排放估算RMSE降低超50%,验证了全开源数据低成本可复现排放估算的可行性。
2025-10-03 cs.LG stat.AP stat.ML
Tournament Leave-pair-out Cross-validation for Receiver Operating Characteristic (ROC) Analysis
本文提出锦标赛式留一对出(TLPO)交叉验证,通过成对比较锦标赛生成数据排序,在保持 LPO 近无偏 AUC 估计的同时支持 ROC 曲线分析。
2024-01-24 stat.ML
Estimating Gibbs free energies via isobaric-isothermal flows
DeepMind(深度思维)
提出基于归一化流的NPT-flow模型,从等压-等温系综采样,直接估计吉布斯自由能,在单原子水的立方和六方冰相中验证了与基线极好的一致性。
2023-09-06 cond-mat.stat-mech cs.LG physics.comp-ph
Using Ensemble Classifiers to Detect Incipient Anomalies
University of California, Berkeley(加州大学伯克利分校);University of California, Davis(加州大学戴维斯分校);University of Chicago(芝加哥大学)
与严重异常相比,早期异常的症状较轻,并且由于其与正常操作条件的相似性而更难以检测和诊断。训练数据中缺乏早期异常示例可能会对基于机器学习(ML)技术构建的异常检测方法造成严重风险,因为这些异常很容易被误认为是正常操作条件。为了应对这一挑战,我们建议利用集成学习提供的不确定性信息来识别潜在的错误分类的初期异常。我们在本文中表明,集成学习方法可以提高早期异常的性能,并通过对两个真实数据集的广泛实验来识别这些模型中的常见陷阱。然后,我们讨论了如何设计更有效的集成模型检测早期异常。
2020-08-20 cs.LG cs.SY eess.SY
LIBRE: Learning Interpretable Boolean Rule Ensembles
EURECOM(欧洲通信研究院)
我们提出了一种新的方法- LIBRE -学习一个可解释的分类器,它体现为一组布尔规则。LIBRE使用一个自下而上的弱学习器集合,对随机的特征子集进行操作,这允许学习规则,即使在不平衡的环境中也能很好地概括看不见的数据。弱学习器与一个简单的并集相结合,使得最终的集成也是可解释的。实验结果表明,LIBRE有效地达到正确的平衡之间的预测精度,这是有竞争力的黑箱方法,和可解释性,这往往是优于替代方法从文献中。
2019-11-15 cs.AI cs.LG stat.ML
Generalizing Fault Detection Against Domain Shifts Using Stratification-Aware Cross-Validation
University of California, Berkeley(加州大学伯克利分校);Arizona State University(亚利桑那州立大学)
与严重异常相比,早期异常的症状较轻,并且由于其与正常操作条件的相似性而更难以检测和诊断。训练数据中缺乏早期异常示例可能会对基于机器学习(ML)技术构建的异常检测方法造成严重风险,因为这些异常很容易被误认为是正常操作条件。为了应对这一挑战,我们建议利用集成学习提供的不确定性信息来识别潜在的错误分类的初期异常。我们在本文中表明,集成学习方法可以提高早期异常的性能,并通过对两个真实数据集的广泛实验来识别这些模型中的常见陷阱。然后,我们讨论了如何设计更有效的集成模型检测早期异常。
2020-08-20 cs.LG cs.SY eess.SY
Corrected generalized cross-validation for finite ensembles of penalized estimators
本文针对有限集成的惩罚最小二乘估计器,证明广义交叉验证(GCV)不一致,并提出修正的CGCV方法,通过加法标量修正实现无模型一致风险估计,无需样本分割或重拟合。
2024-04-21 math.ST stat.ME stat.ML
Biased Estimates of Advantages over Path Ensembles
The Chinese University of Hong Kong(香港中文大学)
优势的估计对于许多强化学习算法至关重要,因为它直接影响未来路径的选择。在这项工作中,我们提出了一个家庭的估计的基础上的顺序统计的路径集成,它允许一个灵活地驱动学习过程,朝着或反对风险。在此基础上,我们系统地研究了不同方法对估计优势的影响。我们的研究结果表明,有偏估计,如果选择适当,可以导致显着的好处。特别是,对于奖励稀疏的环境,乐观的估计将导致更有效的探索政策空间;而对于那些个人行动可能产生重大影响的环境,保守的估计是可取的。在各种基准测试中,包括MuJoCo连续控制,地形运动,Atari游戏和稀疏奖励环境,所提出的有偏估计方案始终表现出优于主流方法的改进,不仅加速了学习过程,而且获得了可观的性能增益。
2019-09-15 cs.LG stat.ML
Receiver Operating Characteristic Curves and Confidence Bands for Support Vector Machines
University of North Carolina(北卡罗来纳大学);North Carolina State University(北卡罗来纳州立大学);University of Maryland(马里兰大学);Yale University(耶鲁大学)
生物医学决策中出现的许多问题,如疾病诊断和治疗反应预测,可以表示为二元分类问题。假阳性和假阴性的成本在不同的应用领域和受试者工作特征(ROC)曲线提供了一个直观的表示这种权衡。ROC曲线的非参数估计,如加权支持向量机(SVM),是可取的,因为它们是强大的模型误设。虽然加权支持向量机有很大的潜力,估计ROC曲线,他们的理论特性是迄今欠发达。我们提出了一种方法来构建的SVM ROC曲线的置信带,并提供了理论上的支持向量机ROC曲线的风险函数的估计决策规则是一致的权重参数。我们证明了建议的置信带方法和优越的灵敏度和特异性的加权SVM相比,常用的方法在诊断医学模拟研究。我们提出了两个说明性的例子:丙型肝炎的诊断和乳腺癌治疗反应的预测模型。
2018-07-17 cs.LG stat.ML
Subsample Ridge Ensembles: Equivalences and Generalized Cross-Validation
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校)
本文在比例渐近框架下刻画子采样 ridge 集成的风险等值线,证明完整无惩罚集成与最优 ridge 预测器等价,并用 GCV 实现免样本划分的风险估计与调参。
2023-07-16 cs.LG math.ST stat.ML