Optimizing Majority Voting Based Systems Under a Resource Constraint for Multiclass Problems
University of Debrecen(德布勒森大学)
基于集成的方法在各个领域都非常有效,当一些投票规则被应用于聚合个体决策时,它可以提高其个体成员的准确性。在本文中,我们研究了如何找到和刻画具有最高精度的合奏,如果合奏成员的总成本是有界的。在二分类和多分类问题中,如果选择多数表决进行聚集,则该问题会导致目标函数为非线性和不可分离的背包问题。由于传统的求解方法不能应用于这项任务,一种新的随机方法被引入到二进制的情况下,能量函数作为联合概率函数的成员精度进行了讨论。我们展示了一些理论结果,预期的集成精度和它的方差在多类分类问题,可以帮助我们解决背包问题。
2019-04-08 cs.AI cs.LG
Optimizing Stroke Risk Prediction: A Machine Learning Pipeline Combining ROS-Balanced Ensembles and XAI
1 Department of Robotics, Robo Tech Valley, Dhaka, Bangladesh 2 Department of Computer Science;Engineering, Jagannath University, Dhaka, Bangladesh 3 Department of Internet of Things \& Robotics Engineering, University of Frontier Technology, Bangladesh
本研究通过结合ROS平衡集成与XAI技术,开发了高准确且可解释的中风风险预测框架,提升了模型透明度和临床应用价值。
2025-12-01 cs.CV cs.LG
Optimizing Parking Space Classification: Distilling Ensembles into Lightweight Classifiers
Universidade Federal do Paraná(巴拉那联邦大学);Pontifícia Universidade Católica do Paraná(巴拉那天主教大学)
本文针对基于图像的停车位分类在边缘部署中的数据传输与算力挑战,提出将鲁棒分类器集成作为教师模型,并通过伪标签蒸馏出轻量级学生模型;实验表明学生模型参数量减少26倍,平均准确率达96.6%,优于教师模型的95.3%。
2024-10-07 cs.CV cs.LG
Optimizing the Neural Architecture of Reinforcement Learning Agents
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
强化学习(RL)在过去几年中取得了重大进展。其中最重要的一步是神经网络的广泛应用。然而,这些神经网络的架构通常是手动构建的。在这项工作中,我们研究了最近提出的神经架构搜索(NAS)方法优化RL代理的架构。我们进行了实验的Atari基准,并得出结论,现代NAS方法发现架构的RL代理优于手动选择的。
2021-04-28 cs.AI cs.LG
Autoselection of the Ensemble of Convolutional Neural Networks with Second-Order Cone Programming
Bahcesehir University(巴耶塞特大学)
包围盒技术在机器学习和工程问题中经常遇到,因为该方法结合了不同的模型并产生最优的预测解。集成概念可以适用于深度学习模型,以提供鲁棒性和可靠性。由于深度学习中模型的增长,使用集成修剪对于处理计算复杂性非常重要。因此,本研究提出了一种数学模型,该模型修剪了由不同深度和层组成的卷积神经网络(CNN)的集合,同时使用稀疏二阶圆锥优化模型最大化准确性和多样性。该模型在CIFAR-10、CIFAR-100和MNIST数据集上进行了测试,结果令人满意,同时显著降低了模型的复杂性。
2023-02-12 cs.LG math.OC
Optimizing Neural Networks through Activation Function Discovery and Automatic Weight Initialization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cognizant(高知特)
本文提出通过发现更强大的激活函数和建立更稳健的权重初始化技术来优化神经网络,证明了针对特定任务定制方案、联合优化组件及使用学习表示的有效性,推动了全自动化机器学习的发展。
2023-04-06 cs.LG
Quantum parameter estimation with uncertainty quantification from continuous measurement data using neural network ensembles
Department of Physics, University of Virginia, 382 McCormick Rd, Charlottesville, VA 22903, USA(弗吉尼亚大学物理系)
本文提出利用深度神经网络集合进行量子参数估计,同时实现不确定性量化,具有更快的推理速度和更好的不确定性校准能力。
2026-10-05 cs.LG quant-ph
Regularized Gauss-Newton for Optimizing Overparameterized Neural Networks
IMT School for Advanced Studies Lucca(卢cca高等研究院);Faculty of Mathematics, University of Vienna(维也纳大学数学学院)
本文研究一种正则化广义高斯-牛顿方法,利用广义自协调函数平滑惩罚项,为过参数化两层神经网络提供自适应学习率选择,并证明其收敛性,最终有效提升了模型的泛化能力。
2024-04-23 cs.LG math.OC
Deep Relaxation: partial differential equations for optimizing deep neural networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);McGill University(麦吉尔大学);Université Paris IX Dauphine(巴黎第九大学)
在本文中,我们建立了用于训练深度神经网络和非线性偏微分方程(PDE)的非凸优化方法之间的联系。松弛技术在统计物理已经成功地用于在这方面产生的重新解释为粘性的Hamilton-Jacobi偏微分方程的解决方案。使用随机控制解释允许我们证明,修改后的算法执行更好的预期,随机梯度下降。众所周知的PDE规律性的结果,使我们能够分析放松的能量景观的几何形状,确认经验证据。偏微分方程是来自一个随机均匀化问题,这是在该算法的实施。该算法在实际应用中具有良好的可扩展性,可以有效地解决现代神经网络的高维问题。
2017-06-01 cs.LG math.AP math.OC
AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification
Argonne National Laboratory(阿贡国家实验室);Université Paris-Saclay(巴黎萨克雷大学)
深度神经网络是各种任务的强大预测器。然而,它们并不直接反映不确定性。使用神经网络集成来量化不确定性与基于贝叶斯神经网络的方法具有竞争力,同时受益于更好的计算可扩展性。然而,构建神经网络的集成是一项具有挑战性的任务,因为除了为集成的每个成员选择正确的神经架构或超参数之外,还需要增加训练每个模型的成本。我们提出AutoDEUQ,一种自动生成深度神经网络集成的方法。我们的方法利用联合神经架构和超参数搜索来生成集成。我们使用总方差定律将深度集合的预测方差分解为任意(数据)和认知(模型)的不确定性。我们表明,AutoDEUQ优于概率反向传播,蒙特卡罗辍学,深度集成,分布自由集成,超集成方法在一些回归基准。
2022-07-04 cs.LG
Eliminating Multicollinearity Issues in Neural Network Ensembles: Incremental, Negatively Correlated, Optimal Convex Blending
Purdue University(普渡大学);University of Ioannina(约阿尼纳大学)
给定一个{features,target}数据集,我们引入了一个增量算法,该算法使用神经网络的集成来构建一个聚合回归量。众所周知,集成方法遭受多重共线性问题,这是主要由于公共训练数据集而产生的冗余的表现。在目前的增量方法中,在每个阶段,我们最佳地混合的总回归与新训练的神经网络下的凸性约束,如果必要的话,诱导负相关。在此框架下,共线性问题根本不会出现,因此该方法既准确又稳健。
2021-04-30 cs.AI cs.LG math.OC
Optimizing Prognostic Biomarker Discovery in Pancreatic Cancer Through Hybrid Ensemble Feature Selection and Multi-Omics Data
Department of Cancer Genetics, Institute for Cancer Research, Oslo University Hospital, Oslo, Norway(癌症遗传学系,癌症研究所,奥斯陆大学医院,奥斯陆,挪威);Oslo Centre for Biostatistics and Epidemiology (OCBE), Department of Biostatistics, University of Oslo, Oslo, Norway(奥斯陆生物统计与流行病学中心(OCBE),生物统计学系,奥斯陆大学,奥斯陆,挪威);Department of Informatics, University of Oslo, Oslo, Norway(信息学系,奥斯陆大学,奥斯陆,挪威);Department of Statistics, Ludwig Maximilian University of Munich, Munich, Germany(统计学系,慕尼黑路德维希-马克西米利安大学,慕尼黑,德国);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出混合集成特征选择方法,结合数据子采样与多种预后模型,通过投票理论机制整合嵌入式和包装策略,提升胰腺癌预后生物标志物的预测性能和稳定性。
2025-09-02 cs.LG q-bio.GN q-bio.QM
Neural Ensemble Search via Bayesian Sampling
National University of Singapore(新加坡国立大学)
最近,神经结构搜索(NAS)已被应用于自动设计的神经网络在现实世界中的应用。已经开发了大量的算法来提高NAS中最终选择的架构的搜索成本或性能。不幸的是,这些NAS算法旨在从它们的搜索空间中仅选择一个单一的性能良好的架构,因此忽略了神经网络集成的能力(即,具有不同体系结构的神经网络的集合)在实现单个最终选择的体系结构上的改进的性能方面。为此,我们引入了一种新的神经集成搜索算法,称为贝叶斯采样神经集成搜索(NESBS),有效地和高效地选择性能良好的神经网络集成从NAS搜索空间。在我们广泛的实验中,NESBS算法被证明是能够实现改进的性能比国家的最先进的NAS算法,同时产生一个可比的搜索成本,从而表明我们的NESBS算法优于这些NAS算法在实践中的性能。
2022-06-17 cs.LG
Optimizing Objective Functions from Trained ReLU Neural Networks via Sampling
Massachusetts Institute of Technology(麻省理工学院)
本文介绍了可扩展的基于采样的算法,这些算法使用ReLU激活来优化经过训练的神经网络。我们首先提出了一种迭代算法,该算法利用ReLU神经网络的分段线性结构,通过采样将初始混合整数最优化问题(MIP)简化为多个易于求解的线性最优化问题(LP)。随后,我们通过在每次迭代计算的LP解的邻域周围搜索来扩展这种方法。该方案使我们能够设计第二个增强算法,将初始MIP问题减少到更小的,更复杂的解决MIP。我们分析显示的方法的收敛性,我们提供了一个样本的复杂性保证。我们还验证了我们的算法的性能进行比较,对国家的最先进的基于MIP的方法。最后,我们计算如何采样算法可以有效地用于热启动MIP为基础的方法。
2022-06-06 cs.LG math.OC stat.ML
Self-Attentive Ensemble Transformer: Representing Ensemble Interactions in Neural Networks for Earth System Models
Meteorological Institute, University of Hamburg(汉堡大学气象研究所);International Max Planck Research School on Earth System Modelling, Max Planck Institute for Meteorology(马克斯·普朗克气象研究所国际马克斯·普朗克地球系统建模研究学院)
来自地球系统模型的数据必须进行校准和后处理。我提出了一种新的成员由成员后处理方法与神经网络。我桥的想法,从合奏数据同化与自我注意,导致自我注意合奏Transformer。在这里,合奏成员之间的相互作用表示为添加剂和动态的自我关注的一部分。作为概念验证,我回归全球ECMWF集合预报2米的温度场从ERA5再分析。我证明了合奏Transformer可以校准合奏传播和提取额外的信息,从合奏。由于它是逐个成员的方法,所以系综Transformer直接输出多变量和空间相干的系综成员。因此,自我注意和Transformer技术可能是用神经网络对集合数据进行非参数后处理的缺失部分。
2021-07-10 cs.LG physics.ao-ph
Regularizing Neural Networks by Stochastically Training Layer Ensembles
University of Toronto(多伦多大学)
丢弃和类似的随机神经网络正则化方法通常被解释为隐含地对大量模型进行平均。我们提出了STE(随机训练的集成)层,它通过训练具有随机正则化的权重矩阵的集成来增强这种方法的平均特性,同时显式地平均输出。这提供了更强的正则化,在测试时没有额外的计算成本。我们使用标准的网络拓扑结构,在各种图像分类任务上表现出一致的改进。
2019-11-21 cs.LG stat.ML
Ensemble methods for neural network-based weather forecasts
Stockholm University(斯德哥尔摩大学);Uppsala University(乌普萨拉大学)
集合天气预报通过计算集合的散布,使得能够将不确定性的度量附加到每个预报。然而,生成一个具有良好的传播误差关系的集合远非微不足道,并且已经探索了实现这一目标的各种方法-主要是在数值天气预报模型的背景下。在这里,我们的目标是将一个确定性的神经网络天气预报系统集成预报系统。我们测试了四种方法来生成集成:随机初始扰动,神经网络的再训练,在网络中使用随机辍学,并创建初始扰动与奇异向量分解。后一种方法被广泛用于数值天气预报模式,但尚未在神经网络上进行测试。从这四种方法获得的集合平均预测都击败了未扰动的神经网络预测,再训练方法产生最高的改善。然而,神经网络预报的技巧系统地低于最先进的数值天气预报模式。
2021-01-04 cs.LG physics.ao-ph
Optimizing Performance of Recurrent Neural Networks on GPUs
NVIDIA(英伟达);University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind)
随着循环神经网络变得越来越大、越来越深,单个网络的训练时间也会增加到几周甚至几个月。因此,有一个显着的动机,以提高这些网络的性能和可扩展性。虽然GPU已经成为训练和部署递归模型的首选硬件,但所采用的实现通常只使用这些架构的基本优化。在这篇文章中,我们演示了通过暴露网络内操作之间的并行性,可以在一个简单的实现上实现跨网络大小范围的数量级加速。我们描述了NVIDIA cuDNN第五版中包含的三个优化阶段:首先优化单个单元,其次优化单个层,第三优化整个网络。
2016-04-07 cs.LG cs.NE
From Activation to Initialization: Scaling Insights for Optimizing Neural Fields
Australian Institute of Machine Learning, University of Adelaide, Australia(澳大利亚机器学习研究所,阿德莱德大学,澳大利亚);Amazon, Australia(亚马逊,澳大利亚)
本文探讨神经场中初始化与激活的相互作用,揭示网络初始化、架构选择与优化过程之间的深层联系,为设计高效神经场提供理论基础。
2026-03-13 cs.CV cs.LG
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London(帝国理工学院)
在这项工作中,我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明,我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
Multi-headed Neural Ensemble Search
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
已知使用不同种子训练的CNN模型的集合(也称为深度集合)实现优于CNN的单个副本的性能。神经网络搜索(NES)可以通过增加架构多样性来进一步提高性能。然而,在有限的计算资源下,NES的范围仍然令人望而却步。在这项工作中,我们将NES扩展到多头合奏,其中包括一个共享的骨干连接到多个预测头。与Deep Ensemble不同,这些多头集成可以端到端训练,这使我们能够利用一次性NAS方法来优化集成目标。通过广泛的实证评估,我们证明了多头集成搜索找到强大的集成快3倍,同时具有可比的性能,其他集成搜索方法,在预测性能和不确定性校准。
2021-07-09 cs.LG stat.ML
Deep Neural Network Ensembles for Time Series Classification
IRIMAS, Université Haute-Alsace(上阿尔萨斯大学 IRIMAS)
深度神经网络已经彻底改变了计算机视觉和自然语言处理等许多领域。受到最近成功的启发,深度学习开始在时间序列分类(TSC)方面显示出有希望的结果。然而,神经网络仍然落后于最先进的TSC算法,TSC算法目前由37个非基于深度学习的分类器组成。我们将这种性能差距归因于TSC缺乏神经网络集成。因此,在本文中,我们展示了60个深度学习模型的集成如何在UCR/UEA档案(时间序列分析的最大公开基准)上进行评估时,显着提高TSC神经网络的当前最先进性能。最后,我们展示了我们提出的神经网络Ensemble(NNE)是第一个优于COTE的时间序列分类器,同时达到与当前最先进的集成HIVE-COTE相似的性能。
2019-04-26 cs.LG stat.ML
Optimizing Energy Management of Smart Grid using Reinforcement Learning aided by Surrogate models built using Physics-informed Neural Networks
针对强化学习求解智能电网最优潮流时依赖昂贵模拟器、样本效率低的问题,提出用PINNs代理模型替代原环境,从而显著加速策略训练并获得收敛结果。
2025-10-20 cs.AI cs.LG
Neural Network Ensembles: Theory, Training, and the Importance of Explicit Diversity
Worcester Polytechnic Institute(伍斯特理工学院)
集成学习是一个策略性地生成多个基础学习者并将其组合成一个复合学习者的过程。有两个特征对集成的性能至关重要,即组件学习器的个体准确性和集成中的整体多样性。学习者准确性和集成多样性的正确平衡可以提高机器学习任务在基准和真实世界数据集上的性能,最近的理论和实践工作已经证明了集成中准确性和多样性之间的微妙权衡。在本文中,我们扩展了现有的文献,提供了更深入的理论理解,评估和提高任何给定的合奏,包括随机森林和深神经网络合奏的最优性。我们还提出了一个训练算法的神经网络合奏,并证明我们的方法提供了改进的性能相比,国家的最先进的个人学习者和合奏的国家的最先进的学习者训练使用标准的损失函数。我们的关键见解是,它是更好地明确鼓励多样性的合奏,而不是仅仅允许多样性发生的偶然性,严格的理论界限之间的权衡多样性和学习者的准确性,让人们知道什么时候已经实现了最佳的安排。
2021-09-29 cs.LG
Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles
提出了一种数值方法来检测深度学习架构的等价性。该方法基于从深度神经网络权重矩阵和匹配神经架构拓扑的{ \it共轭循环系综}中生成混合矩阵系综(MME)。在此之后,经验证据支持{ \it现象},即神经架构的谱密度与对应的{ \it共轭圆形系综}之间的差异在谱的长正尾部分处以不同的衰减率消失,即,累积圆谱差(CSD)。这一发现可以用于通过分析CSD的波动来建立不同神经结构之间的等效性。我们研究了广泛的深度学习视觉架构和源于统计量子力学的圆形集合的这种现象。人工和自然的神经架构所提出的方法的实际影响,如使用神经结构搜索(NAS)和生物神经网络分类的方法的可能性进行了讨论。
2020-08-30 cond-mat.dis-nn cs.LG stat.ML
Optimizing Job Allocation using Reinforcement Learning with Graph Neural Networks
EPFL(洛桑联邦理工学院)
针对复杂调度中的作业分配问题,提出结合强化学习与图神经网络的方法,通过试错交互学习自适应策略并利用图结构数据,无需人工标注,在合成与真实数据上优于基线算法,有效优化作业分配。
2025-01-31 cs.LG
Bayesian Deep Ensembles via the Neural Tangent Kernel
University of Oxford(牛津大学);Google Research(谷歌研究院)
我们通过神经正切核(NTK)的镜头探索深度集成和高斯过程(GP)之间的联系:理解宽神经网络(NN)的训练动态的最新进展。以前的工作已经表明,即使在无限宽的限制下,当NN成为GP时,也没有GP后验解释到用平方误差损失训练的深度系综。我们对标准的深度合奏训练进行了简单的修改,通过向每个合奏成员添加一个可计算的,随机的和不可训练的函数,这使得在无限宽度限制下的后验解释成为可能。当集成在一起时,我们训练的NN给出了后验预测分布的近似值,并且我们证明了我们的贝叶斯深度集成在无限宽度限制下比标准深度集成做出更保守的预测。最后,使用有限宽度NN,我们证明了我们的贝叶斯深度集成在可用时忠实地模拟分析后验预测,并且可以在各种分布外设置中优于标准深度集成,用于回归和分类任务。
2020-10-24 cs.LG stat.ML
Optimizing Neural Network Weights using Nature-Inspired Algorithms
University of Regina(里贾纳大学)
本研究旨在使用自然启发的优化算法优化深度前馈神经网络(DFNN)训练,如PSO,MTO及其变体MTOCL。我们展示了这些算法在从数据中学习时如何有效地更新DFNN的权重。我们使用三个威斯康星州的乳腺癌数据集,原始,诊断和预后,在不同的实验方案下,DFNN融合优化算法的性能进行评估。实证分析表明,MTOCL是最好的表现在大多数情况下,在三个数据集。此外,MTOCL与过去的原始数据集的权重优化算法相当,并且优于其他数据集,特别是对于具有挑战性的预后数据集。
2021-05-20 cs.AI cs.LG
Ensemble Learning for Graph Neural Networks
Tsinghua University(清华大学)
本文提出名为ELGNN的图神经网络集成方法,通过结合不同初始化或架构的模型并利用Tree-Structured Parzen Estimator算法确定权重,有效提升了模型性能与鲁棒性。
2023-10-22 cs.LG
IEA: Inner Ensemble Average within a convolutional neural network
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
包围学习是一种结合多个训练模型以提高模型准确性的方法。我们提出在卷积神经网络(CNN)架构中使用这种方法,特别是集成平均,通过将单个卷积层替换为多个卷积层的内部平均集成(IEA)。不同基准数据集上的实证结果表明,使用IEA的CNN模型优于使用常规卷积层的模型。IEA生成的特征的视觉和相似性得分分析解释了为什么它提高了模型性能。
2019-08-06 cs.LG stat.ML
Regularized Neural Ensemblers
University of Freiburg(弗赖堡大学);PriorLabs;ELLIS Institute(ELLIS研究所);University of Technology Nürnberg(纽伦堡技术大学)
本研究提出用正则化神经网络作为集成方法,通过训练时随机丢弃基模型预测来保证多样性,提升泛化能力,并在视觉、语言和表格数据上取得与强基线相当的结果。
2025-06-23 cs.LG
OLLA: Optimizing the Lifetime and Location of Arrays to Reduce the Memory Usage of Neural Networks
FAIR(基础人工智能研究院);Meta
近年来,深度神经网络的规模呈指数级增长。不幸的是,硬件设备没有跟上快速增长的存储器需求。为了解决这个问题,研究人员转向了溢出和重新计算等技术,这些技术增加了训练时间,或者降低了精度和模型修剪,这会影响模型的准确性。我们提出了OLLA,一个算法,优化的生命周期和内存位置的张量用于训练神经网络。我们的方法减少了现有神经网络的内存使用,而不需要对模型或其训练过程进行任何修改。我们制定的问题作为一个联合整数线性规划(ILP)。我们提出了几种技术来简化问题的编码,并使我们的方法扩展到最先进的神经网络使用现成的ILP求解器的大小。我们的实验证明,OLLA只需要几分钟,如果不是几秒钟,让神经网络的训练,平均使用三分之一的内存。
2022-11-02 cs.LG
Optimizing Electric Vehicles Charging using Large Language Models and Graph Neural Networks
Delft University of Technology(代尔夫特理工大学)
本文提出结合大型语言模型与图神经网络优化电动汽车充电,以应对高维动态实时充电问题,并证明其优于传统智能充电方法。
2025-02-05 cs.LG cs.SY eess.SY
Optimizing Transformer for Low-Resource Neural Machine Translation
Informatics Institute(信息学研究所);University of Amsterdam(阿姆斯特丹大学)
并行数据量有限的语言对,也称为低资源语言,仍然是神经机器翻译的一个挑战。虽然Transformer模型已经为许多语言对实现了显著的改进,并且已经成为事实上的主流架构,但是其在低资源条件下的能力尚未被充分研究。我们在IWSLT14训练数据的不同子集上的实验表明,Transformer在低资源条件下的有效性高度依赖于超参数设置。我们的实验表明,与使用Transformer默认设置相比,在低资源条件下使用优化的Transformer可将翻译质量提高7.3个BLEU点。
2020-11-04 cs.CL cs.LG
Optimizing the energy consumption of spiking neural networks for neuromorphic applications
aiCTX AG(aiCTX公司)
在过去的几年中,脉冲神经网络已经被证明与常规卷积神经网络表现相当。几项工作已经提出了将预先训练的CNN转换为尖峰CNN而不显著牺牲性能的方法。我们首先证明了CNN的量化感知训练可以提高SNN的准确性。将CNN转换为尖峰CNN的好处之一是利用SNN的稀疏计算,从而以较低的能耗执行等效计算。在这里,我们提出了一个有效的优化策略,训练尖峰网络在较低的能量消耗,同时保持类似的准确性水平。我们展示了MNIST-DVS和CIFAR-10数据集上的结果。
2020-05-04 cs.LG cs.NE q-bio.NC
DrMAD: Distilling Reverse-Mode Automatic Differentiation for Optimizing Hyperparameters of Deep Neural Networks
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
众所周知,深度神经网络的性能对其超参数的设置很敏感。反向模式自动微分的最新进展允许用梯度优化超参数。计算这些梯度的标准方法涉及向前和向后的计算过程。然而,反向传递通常需要消耗无法承受的内存来存储所有中间变量,以准确地逆转正向训练过程。在这项工作中,我们提出了一种简单但有效的方法DrMAD,将向前传递的知识提取到一个捷径路径中,通过它我们近似地逆转了训练轨迹。在几个图像基准数据集上的实验表明,与最先进的优化超参数的方法相比,DrMAD至少快45倍,占用的内存少100倍,同时对其有效性的影响最小。据我们所知,DrMAD是第一次尝试自动调整深度神经网络的数千个超参数的研究。代码可以从https://github.com/bigaidream-projects/drmad下载
2016-04-06 cs.LG cs.NE
DNS: Determinantal Point Process Based Neural Network Sampler for Ensemble Reinforcement Learning
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
集成神经网络的应用正在成为推进深度强化学习算法的最新技术的一个迫在眉睫的工具。然而,在集成中训练这些大量的神经网络具有极高的计算成本,这可能成为训练大规模系统的障碍。在本文中,我们提出了DNS:一个基于确定性点过程的神经网络采样器,专门使用k-dpp在每个训练步骤中对神经网络的子集进行采样,从而显着减少了训练时间和计算成本。我们在REDQ中集成了DNS,用于连续控制任务,并在MuJoCo环境中进行了评估。我们的实验表明,DNS增强的REDQ优于基线REDQ的平均累积奖励,并实现这一目标时,使用不到50%的计算测量的FLOPS。
2022-05-17 cs.LG
Diversity and Generalization in Neural Network Ensembles
Autonomous University of Madrid(马德里自治大学);University of Almería(阿尔梅里亚大学);IDSIA(IDSIA研究所);Aalborg University(奥尔堡大学)
集成广泛用于机器学习,通常在许多预测任务中提供最先进的性能。从一开始,集合的多样性就被认为是这些模型优越性能的关键因素。但多样性在集成模型中的确切作用却知之甚少,特别是在神经网络的背景下。在这项工作中,我们结合和扩大以前发表的结果在一个理论上健全的框架,描述了多样性和合奏性能之间的关系,广泛的合奏方法。更确切地说,我们提供了以下问题的合理答案:如何衡量多样性,多样性如何涉及到集成的泛化误差,以及多样性如何促进神经网络集成算法。该分析涵盖了三种广泛使用的损失函数,即平方损失、交叉熵损失和0-1损失;以及两种广泛使用的模型组合策略,即模型平均和加权多数表决。我们用神经网络集成来实证验证这一理论分析。
2022-02-16 cs.LG math.ST stat.TH
Dynamic Meta-Learning for Adaptive XGBoost-Neural Ensembles
IMDEX Limited mining technology company(IMDEX有限采矿技术公司)
本研究提出一种结合XGBoost与神经网络的自适应集成框架,借助元学习、不确定性量化及特征重要性融合实现动态模型调度,在多数据集上取得更优预测性能与可解释性。
2025-09-30 cs.AI cs.LG
Disentangling the Predictive Variance of Deep Ensembles through the Neural Tangent Kernel
ETH Zürich(苏黎世联邦理工学院);University of Zürich(苏黎世大学)
识别不熟悉的输入,也称为分布外(OOD)检测,是任何决策过程的关键属性。一种简单且经经验验证的技术是基于深度集成,其中不同神经网络上的预测方差用作输入不确定性的替代。然而,导致深度系综的不确定性估计的性能的归纳偏差的理论理解是缺失的。为了改善我们对它们行为的描述,我们研究了在简化的线性训练机制中运行的具有大层宽度的深度集成,其中使用梯度下降训练的函数可以由神经切线核描述。我们确定了两个噪声源,每个源在初始化时的预测方差中引起不同的归纳偏差。我们进一步从理论和经验上证明,这两种噪声源都会影响玩具模型和训练后现实环境中非线性深度合奏的预测方差。最后,我们提出了一些实用的方法来消除这些噪声源的一部分,从而在经过训练的深度集合中实现显著的变化和改进的OOD检测。
2022-10-18 cs.LG
Optimizing Time Series Forecasting Architectures: A Hierarchical Neural Architecture Search Approach
Institute of Artificial Intelligence(人工智能研究所);Leibniz University Hannover(汉诺威莱布尼茨大学);L3S Research Center(L3S研究中心)
本文提出一种层次化神经架构搜索方法,通过设计层次化搜索空间高效组合多种预测模块,在长期时间序列预测任务上搜索出轻量级高性能架构。
2025-10-23 cs.LG
Surrogate assisted diversity estimation in neural ensemble search
本文针对神经集成搜索(NES)计算成本高的问题,提出双目标代理引导的集成搜索方法,在多个数据集上取得优于或相当于基线的性能。
2026-07-30 cs.LG
HCE: Improving Performance and Efficiency with Heterogeneously Compressed Neural Network Ensemble
Duke University(杜克大学);University of California Berkeley(加州大学伯克利分校)
包围学习作为进一步提高深度神经网络(DNN)模型的准确性和泛化能力的一种方法,在最近的深度学习研究中得到了关注。目前的集成训练方法采用不同的训练算法或设置在具有相同模型架构的多个子模型上,这会导致集成模型的内存和计算开销的显著负担。同时,随机诱导的多样性可能不会导致显著的性能增益。我们提出了一种新的视角,探索模型架构内的内在多样性,以构建高效的DNN集成。我们做了一个有趣的观察,修剪和量化,虽然都导致有效的模型架构的代价是小的准确性下降,导致不同的行为在决策边界。为此,我们提出了异构压缩Ensemble(HCE),其中我们使用预训练的DNN模型中的修剪和量化变体构建了一个有效的集成。提出了一种多样性感知的训练目标,以进一步提高HCE集成的性能。实验结果表明,与传统的DNN集成训练方法和以往的模型压缩方法相比,HCE在效率-精度权衡上有了显著的改善。
2023-01-18 cs.LG
Bayesian Hyperparameter Optimization for Ensemble Learning
Université Laval(拉瓦尔大学);École de technologie supérieure(高等技术学院)
在本文中,我们之间的差距桥梁超参数优化和集成学习进行贝叶斯优化的集成关于其超参数。我们的方法包括建立一个固定大小的集成,优化配置的一个分类器的集成在每次迭代的超参数优化算法,考虑到与其他模型的相互作用时,评估潜在的性能。我们还考虑了在超参数优化阶段结束时,通过对优化过程中生成的模型池进行贪婪选择来重建系综的情况。我们研究了我们提出的方法在三个不同的超参数空间上的性能,表明我们的方法优于最好的单个模型和贪婪的集成结构,而这些模型是由标准贝叶斯优化产生的。
2016-05-20 cs.LG
Optimizing Recurrent Neural Networks Architectures under Time Constraints
递归神经网络(RNN)的结构是影响其性能的关键因素。我们提出了算法,以优化隐藏的大小下运行时间的约束。我们将离散优化转化为一个子集选择问题。通过新颖的变换,使目标函数成为次模,约束成为超模。提出了一种带界的贪婪算法来求解变换后的问题。我们展示了变换如何影响边界。为了加快优化速度,提出了平衡探索和开发的代理函数。实验表明,我们的算法可以找到更准确的模型或更快的模型比手动调整的国家的最先进的和随机搜索。我们还使用我们的算法比较了流行的RNN架构。
2018-02-21 cs.LG stat.ML
Deep Neural Network Ensembles against Deception: Ensemble Diversity, Accuracy and Robustness
Georgia Institute of Technology(佐治亚理工学院)
包围学习是一种集成多个DNN学习器以提高单个学习器的预测性能的方法。当集合预测的误差更均匀地分布时,多样性更大。更大的多样性与集合精度的增加高度相关。多样性优化集成学习的另一个有吸引力的特性是它对欺骗的鲁棒性:对抗性扰动攻击可以误导一个DNN模型进行错误分类,但可能无法始终如一地欺骗其他集成DNN成员。在本文中,我们首先概述了集成多样性的概念,并在DNN分类器的背景下研究了三种类型的集成多样性。然后,我们描述了一组集成多样性措施,一套算法,用于创建多样性集成和执行集成共识(投票或学习),通过战略性地结合各个成员的输出生成高精度集成输出。本文最后讨论了一组公开的问题,在量化集成多样性的鲁棒深度学习。
2019-08-29 cs.LG stat.ML
The Relative Performance of Ensemble Methods with Deep Convolutional Neural Networks for Image Classification
人工神经网络已经成功地应用于各种机器学习任务,包括图像识别、语义分割和机器翻译。然而,很少有研究充分调查的人工神经网络的合奏。在这项工作中,我们研究了多种广泛使用的集成方法,包括未加权平均,多数投票,贝叶斯最优分类器和(离散)超级学习器,用于图像识别任务,深度神经网络作为候选算法。我们设计了几个实验,候选算法是相同的网络结构,不同的模型检查点在一个单一的训练过程中,网络结构相同,但训练多次随机,和网络结构不同。此外,我们进一步研究了神经网络的过度自信现象,以及它对集成方法的影响。在我们所有的实验中,超级学习者在这项研究中的所有集成方法中取得了最好的性能。
2017-04-05 cs.CV cs.LG stat.ME
On the Effectiveness of Neural Ensembles for Image Classification with Small Datasets
Sapienza University of Rome(罗马大学)
深度神经网络代表了图像分类的黄金标准。但是,它们通常需要大量数据才能实现卓越的性能。在这项工作中,我们专注于图像分类问题,每个类有几个标记的例子,并通过使用相对较小的网络集成提高数据效率。我们的工作第一次广泛地研究了小数据域中神经集成的现有概念,通过使用流行的数据集和架构进行广泛的验证。我们将网络的集成与其更深或更广的单一竞争对手进行比较,给出了一个总的固定计算预算。我们表明,集成相对较浅的网络是一种简单而有效的技术,通常优于当前最先进的从小数据集学习的方法。最后,我们提出了我们的解释,根据这一解释,神经集成更有样本效率,因为它们学习更简单的函数。
2021-11-29 cs.CV cs.LG
Measuring what Really Matters: Optimizing Neural Networks for TinyML
ETH Zürich(苏黎世联邦理工学院);RWTH Aachen(亚琛工业大学)
随着廉价的计算和存储资源的激增,神经网络(NN)在架构和计算复杂性方面经历了前所未有的增长。将NN引入资源受限的设备可以实现经济高效的部署、广泛的可用性和敏感数据的保存。这项工作解决了将机器学习引入MCU的挑战,我们专注于无处不在的ARM Cortex-M架构。优化方法、软件框架和MCU硬件架构对推理延迟和能耗等关键性能指标的详细影响和权衡,以前尚未针对TensorFlow Lite Micro等最先进的框架进行深入研究。我们发现,经验调查,衡量可感知的指标-性能体验的用户-是必不可少的,因为专门的指令和层类型的影响可能是微妙的。为此,我们提出了一个实现感知的设计作为一个具有成本效益的方法进行验证和基准测试。利用我们开发的工具链,我们演示了如何通过系统地优化NN以适应其目标应用场景来改进资源受限设备上的现有NN部署。
2021-04-21 cs.LG
Optimizing Neural Network Performance and Interpretability with Diophantine Equation Encoding
该研究提出将丢番图方程编码融入神经网络架构的新方法,通过自定义损失函数在训练中施加丢番图约束,在图像分类、NLP等任务中提升了模型精度、收敛性、鲁棒性与可解释性,为数学理论结合机器学习提供了新思路。
2024-09-11 cs.LG cs.NE
Optimizing Interpretable Decision Tree Policies for Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
针对强化学习中神经网络策略缺乏可解释性的问题,提出决策树策略优化(DTPO)算法,利用策略梯度直接优化完整决策树,实验证明其性能优于模仿学习等基线方法。
2024-08-21 cs.LG
A Dual Process Model for Optimizing Cross Entropy in Neural Networks
National Library of Medicine, National Institutes of Health(美国国立医学图书馆,美国国立卫生研究院)
最小交叉熵是一种广泛使用的人工神经网络训练方法。许多基于反向传播的训练过程直接使用交叉熵作为其损失函数。相反,这篇理论文章研究了一个具有两个过程的对偶过程模型,其中一个过程最小化Kullback-Leibler散度,而其对偶过程最小化Shannon熵。假设学习由两个相互补充的双重过程组成,该模型定义了两个过程的平衡状态,其中损失函数假定其最小值。所提出的模型的一个优点是,它允许导出最佳的学习率和动量权重,以更新反向传播的网络权重。此外,该模型引入了黄金分割比和复数作为机器学习中的重要新概念。
2021-04-27 cs.LG cs.NE
Optimizing Memory Efficiency of Graph Neural Networks on Edge Computing Platforms
Beijing University of Technology(北京工业大学);Beihang University(北京航空航天大学);Beijing Bytedance Technology Co., Ltd(北京字节跳动科技有限公司)
图神经网络(GNN)在各种工业任务上已经实现了最先进的性能。然而,GNN推理效率低和频繁的内存不足(OOM)问题限制了GNN在边缘计算平台上的成功应用。为了解决这些问题,提出了一种用于GNN推理的内存效率优化的特征分解方法。所提出的方法可以在各种GNN模型上实现出色的优化,覆盖广泛的数据集,从而将推理速度提高了3倍。此外,所提出的特征分解可以显着降低峰值内存使用(内存效率提高高达5倍),并减轻GNN推理期间的OOM问题。
2021-04-12 cs.LG
Neural Ensemble Search for Uncertainty Estimation and Dataset Shift
University of Oxford(牛津大学);University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
与独立网络相比,神经网络的集成在准确性、不确定性校准和对数据集移位的鲁棒性方面实现了优异的性能。\emph{Deep ensembles}是一种用于不确定性估计的现有技术方法,仅对\emph{fixed}架构进行集合随机初始化。相反,我们提出了两种方法自动构建合奏与\emph{varying}架构,这隐含的权衡个别架构的优势对合奏的多样性,并利用建筑变化的多样性来源。在各种分类任务和现代架构的搜索空间,我们表明,所得到的合奏优于深度合奏不仅在准确性,而且不确定性校准和鲁棒性数据集移位。我们的进一步分析和消融研究提供了更高的合奏多样性的证据,由于架构的变化,导致合奏,可以优于深合奏,即使有较弱的平均基础学习者。为了促进可重复性,我们提供了代码:\url{https://github.com/automl/nes}
2022-02-21 cs.LG stat.ML