Activation Differences Reveal Backdoors: A Comparison of SAE Architectures
LexisNexis
研究通过对比稀疏自编码器架构,探讨如何通过激活差异检测语言模型中的后门,发现Diff-SAE在后门隔离中表现优于Crosscoders,且在不同层和微调策略下均有效。
2026-05-08 cs.AI cs.CL cs.CR
SAE++: Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs
Rutgers University(罗格斯大学);Microsoft Research(微软研究院)
提出级联稀疏自编码器(CSAEs),通过在第一级SAE解码器权重上训练第二级SAE来学习层次化视觉概念,避免嵌套或堆叠SAE的缺点,在多个MLLM和数据集上提升了概念层次一致性和干预效果。
2026-10-08 cs.AI cs.CV cs.LG
MO-SAE:Multi-Objective Stacked Autoencoders Optimization for Edge Anomaly Detection
本文提出MO-SAE,通过多目标优化方法解决边缘设备在存储、能耗和推理速度上的挑战,实现高效且适应性强的系统优化。
2026-03-14 cs.LG cs.NE
Surrogate Ensemble in Expensive Multi-Objective Optimization via Deep Q-Learning
South China University of Technology(华南理工大学);Xidian University(西安电子科技大学)
SEEMOO通过深度Q学习实现替代方案集成,提升昂贵多目标优化的性能。
2026-01-31 cs.LG cs.NE
Transformer-based Online CTC/attention End-to-End Speech Recognition Architecture
University of Chinese Academy of Sciences(中国科学院大学)
近年来,Transformer在自动语音识别(ASR)领域取得了成功。然而,部署基于Transformer的端到端(E2 E)模型用于在线语音识别具有挑战性。本文提出了一种基于transformer的在线CTC/attention E2 E ASR体系结构,该体系结构包含块自注意编码器(chunk-SAE)和基于单调截断注意(MTA)的自注意解码器(SAD)。首先,组块SAE将语音分割成孤立的组块。为了减少计算开销,提高性能,我们提出了状态重用块SAE。其次,基于MTA的SAD单调地截断语音特征,并对截断的特征进行关注。为了支持在线识别,我们将状态重用块SAE和基于MTA的SAD集成到在线CTC/注意力架构中。我们在HKUST Mandarin ASR基准测试中评估了所提出的在线模型,并在320 ms的延迟下实现了23.66%的字符错误率(CER)。与离线基线相比,我们的在线模型产生的绝对CER下降仅为0.19%,并且比我们先前基于长短期记忆(LSTM)的在线E2 E模型的工作有了显着的改进。
2020-02-11 cs.LG cs.NE cs.SD
Interpretability as Compression: Reconsidering SAE Explanations of Neural Activations with MDL-SAEs
MATS;Apollo Research(阿波罗研究公司)
提出将稀疏自编码器解释为有损压缩算法的信息论框架,利用最小描述长度原则避免特征分裂,并发现表示线段的SAE特征最优,启发新型分层SAE架构。
2024-10-15 cs.AI cs.IT cs.LG
From Flat to Hierarchical: Extracting Sparse Representations with Matching Pursuit
EPFL(瑞士联邦理工学院);Kempner Institute, Harvard University(哈佛大学凯普纳研究所);CBS-NTT Program in Physics of Intelligence, Harvard University(哈佛大学物理智能CBSTNTT项目);Physics of Artificial Intelligence Group, NTT Research, Inc., Sunnyvale, CA, USA(NTT研究公司人工智能物理研究组);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔人工智能研究所);SEAS, Harvard University(哈佛大学工程与应用科学学院)
针对现有稀疏自编码器假设无法涵盖层次化与非线性特征的问题,提出MP-SAE架构,通过展开残差引导的匹配追踪编码步骤捕获复杂特征,在合成与自然数据上验证了其优越性并揭示了视觉-语言模型中的共享结构。
2025-11-04 cs.LG
Expressive architectures enhance interpretability of dynamics-based neural population models
Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学)
本研究发现基于神经常微分方程(NODE)的序列自编码器能准确恢复低维潜在动力学,解决了传统RNN架构在推断真实潜在状态维度下发放率不准确的问题,从而提升了神经群体模型的可解释性。
2023-06-30 cs.LG q-bio.NC
Features that Make a Difference: Leveraging Gradients for Improved Dictionary Learning
Brigham Young University(杨百翰大学)
针对传统稀疏自编码器仅考虑激活值而忽略下游影响的问题,提出g-SAEs,通过在TopK激活函数中引入输入激活的梯度来改进架构,使重构更忠实于原始网络性能,并能更有效地引导模型。
2025-03-31 cs.AI cs.CL cs.LG
IDEA: Interpretable Dynamic Ensemble Architecture for Time Series Prediction
The Hong Kong University of Science and Technology(香港科技大学)
我们通过一个可解释的集成来提高单变量时间序列点预测的准确性和泛化能力。我们提出了一个可解释的动态Ensemble架构(IDEA),其中可解释的基础学习者作为一个组,稀疏通信独立地给出预测。该模型是由多个顺序堆叠的组连接的组回溯残差和经常性输入竞争。由端到端培训驱动的横向和纵向包围带来了最先进的(SOTA)性能。与TOURISM数据集上的最佳统计基准相比,预测准确性提高了2.6%,与M4数据集上的最佳深度学习基准相比,预测准确性提高了2%。该体系结构具有几个优点,适用于不同领域的时间序列,可解释给用户专门的模块化结构和强大的任务分配的变化。
2022-01-14 cs.LG
AgenticRS-EnsNAS: Ensemble-Decoupled Self-Evolving Architecture Search
Alibaba Group(阿里巴巴集团)
本文提出ensemble-decoupled架构搜索框架,通过预测系统级性能降低评估成本,统一了连续和离散pi的解决方案策略,揭示了基础多样性增益和准确增益两种改进机制。
2026-03-20 cs.LG
Neural Ensemble Search via Bayesian Sampling
National University of Singapore(新加坡国立大学)
最近,神经结构搜索(NAS)已被应用于自动设计的神经网络在现实世界中的应用。已经开发了大量的算法来提高NAS中最终选择的架构的搜索成本或性能。不幸的是,这些NAS算法旨在从它们的搜索空间中仅选择一个单一的性能良好的架构,因此忽略了神经网络集成的能力(即,具有不同体系结构的神经网络的集合)在实现单个最终选择的体系结构上的改进的性能方面。为此,我们引入了一种新的神经集成搜索算法,称为贝叶斯采样神经集成搜索(NESBS),有效地和高效地选择性能良好的神经网络集成从NAS搜索空间。在我们广泛的实验中,NESBS算法被证明是能够实现改进的性能比国家的最先进的NAS算法,同时产生一个可比的搜索成本,从而表明我们的NESBS算法优于这些NAS算法在实践中的性能。
2022-06-17 cs.LG
Causal Circuit Tracing Reveals Distinct Computational Architectures in Single-Cell Foundation Models: Inhibitory Dominance, Biological Coherence, and Cross-Model Convergence
Department of Computer Science University of Tübingen(计算机科学系图宾根大学)
该研究通过因果电路追踪揭示单细胞基础模型中抑制主导、生物一致性和跨模型收敛的计算架构特征。
2026-03-04 cs.LG q-bio.CB q-bio.GN
Neural Architecture for Online Ensemble Continual Learning
Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学);Alphamoon Ltd.(Alphamoon有限公司)
针对单样本在线呈现的持续学习难题,提出完全可微的端到端神经网络集成方法,无需记忆缓冲区即达SOTA,且小型集成也能实现高分类准确率。
2023-08-21 cs.LG
Surrogate assisted diversity estimation in neural ensemble search
本文针对神经集成搜索(NES)计算成本高的问题,提出双目标代理引导的集成搜索方法,在多个数据集上取得优于或相当于基线的性能。
2026-07-30 cs.LG
HCE: Improving Performance and Efficiency with Heterogeneously Compressed Neural Network Ensemble
Duke University(杜克大学);University of California Berkeley(加州大学伯克利分校)
包围学习作为进一步提高深度神经网络(DNN)模型的准确性和泛化能力的一种方法,在最近的深度学习研究中得到了关注。目前的集成训练方法采用不同的训练算法或设置在具有相同模型架构的多个子模型上,这会导致集成模型的内存和计算开销的显著负担。同时,随机诱导的多样性可能不会导致显著的性能增益。我们提出了一种新的视角,探索模型架构内的内在多样性,以构建高效的DNN集成。我们做了一个有趣的观察,修剪和量化,虽然都导致有效的模型架构的代价是小的准确性下降,导致不同的行为在决策边界。为此,我们提出了异构压缩Ensemble(HCE),其中我们使用预训练的DNN模型中的修剪和量化变体构建了一个有效的集成。提出了一种多样性感知的训练目标,以进一步提高HCE集成的性能。实验结果表明,与传统的DNN集成训练方法和以往的模型压缩方法相比,HCE在效率-精度权衡上有了显著的改善。
2023-01-18 cs.LG
Compositional Literary Primitives in Instruction-Tuned LLMs: Cross-Architectural SAE Features for Self, Style, and Affect
Federal University of Goias(戈亚斯联邦大学)
本文通过稀疏自编码器研究了指令微调的LLM中组合文学原语的架构,发现四种特征类别,并通过跨架构SAE特征验证了自我、风格和情感的表达能力。
2026-05-11 cs.AI cs.CL cs.LG
AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification
Argonne National Laboratory(阿贡国家实验室);Université Paris-Saclay(巴黎萨克雷大学)
深度神经网络是各种任务的强大预测器。然而,它们并不直接反映不确定性。使用神经网络集成来量化不确定性与基于贝叶斯神经网络的方法具有竞争力,同时受益于更好的计算可扩展性。然而,构建神经网络的集成是一项具有挑战性的任务,因为除了为集成的每个成员选择正确的神经架构或超参数之外,还需要增加训练每个模型的成本。我们提出AutoDEUQ,一种自动生成深度神经网络集成的方法。我们的方法利用联合神经架构和超参数搜索来生成集成。我们使用总方差定律将深度集合的预测方差分解为任意(数据)和认知(模型)的不确定性。我们表明,AutoDEUQ优于概率反向传播,蒙特卡罗辍学,深度集成,分布自由集成,超集成方法在一些回归基准。
2022-07-04 cs.LG
Sub-Architecture Ensemble Pruning in Neural Architecture Search
University of Science and Technology of China(中国科学技术大学);Texas A&M University(得克萨斯农工大学);WeBank(微众银行)
神经网络结构搜索(NAS)由于其灵活性和显著的减轻神经网络设计负担的能力,近年来受到越来越多的关注。然而,为了实现更好的性能,搜索过程通常需要大量的计算,这对于研究人员和从业人员来说可能是负担不起的。虽然最近的尝试采用集成学习方法来减轻巨大的计算成本,但是,他们忽略了集成方法的一个关键属性,即多样性,这导致在最终设计中收集更多类似的子架构,并具有潜在的冗余。为了解决这个问题,我们提出了一种用于NAS集成的修剪方法,称为“神经结构搜索中的子结构包围修剪(SAEP)”。“它的目标是利用多样性,并以较小的规模实现子集成架构,其性能与未修剪的集成架构相当。提出了三种可能的解决方案,以决定哪些子架构修剪在搜索过程中。实验结果表明,该方法的有效性,大大减少了子结构的数量,而不降低性能。
2021-05-28 cs.CV cs.LG cs.NE
Selection, Ensemble, and Adaptation: Advancing Multi-Source-Free Domain Adaptation via Architecture Zoo
National Institute of Health Data Science, Peking University(国家健康数据科学研究院,北京大学);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(人工智能学院,北京邮电大学);Wangxuan Institute of Computer Technology at Peking University(北京大学王轩计算机技术研究所);School of Data Science, Fudan University(数据科学学院,复旦大学)
本文提出Zoo-MSFDA设置以允许源域提供多架构模型,并通过SUTE可迁移性估计与SEA框架实现模型选择、集成和适应,显著提升域适应性能。
2024-05-23 cs.LG
Ensemble and Mixture-of-Experts DeepONets For Operator Learning
Kahlert School of Computing, University of Utah(犹他大学卡勒特计算机学院)
本文提出集成 DeepONet 与 PoU-MoE trunk 架构,证明其通用逼近性,并在二维、三维 PDE 算子学习任务中将相对 $\ell_2$ 误差降低 2–4 倍。
2025-03-16 cs.LG
ChainLearn: A Blockchain-Based Capacity-Aware Framework for Federated Ensemble Learning
EdddTri
针对医院计算资源异构导致标准联邦学习失效的问题,提出容量感知协调方法,通过区块链分离链上策略与链下学习,为各医院分配适当架构并加权集成,在降低通信开销的同时保持竞争性精度与校准误差。
2026-05-23 cs.LG
Improving Neural Architecture Search Image Classifiers via Ensemble Learning
Google Research(谷歌研究院)
寻找最佳的神经网络架构需要大量的时间、资源和专业知识。这些挑战部分通过神经架构搜索(NAS)来解决,NAS能够找到最佳的卷积层或单元,然后将其用作网络的构建块。然而,一旦找到好的构建块,仍然需要手动设计来组装最终架构,作为预定义参数预算约束下的多个块的组合。一个常见的解决方案是将这些块堆叠成单个塔,并调整宽度和深度以满足参数预算。然而,这些单塔架构可能不是最佳的。相反,在本文中,我们提出的AdaNAS算法,使用集成技术组成一个神经网络作为一个较小的网络集成自动。此外,我们引入了一种新的技术,基于知识蒸馏迭代训练较小的网络使用以前的合奏作为老师。我们的实验表明,在保持相同数量的参数的同时,网络集成提高了单个神经网络的准确性。我们的模型在CIFAR-10上实现了与最先进技术相当的结果,并在CIFAR-100上建立了新的最先进技术。
2019-03-14 cs.LG stat.ML
Parkinson's Disease Detection Using Ensemble Architecture from MR Images
University of Alberta(阿尔伯塔大学)
帕金森病(PD)是影响60岁以上人群的主要神经系统疾病之一。PD会导致认知障碍。在这项工作中,我们探索各种方法来识别帕金森氏症使用磁共振(MR)T1图像的大脑。我们结合ImageNet大规模视觉识别挑战赛(ILSVRC)的一些获奖卷积神经网络模型进行了集成架构的实验,并提出了两种架构。我们发现,当我们专注于灰质(GM)和白质(WM)区域的MR图像,而不是使用整个MR图像的检测精度急剧增加。我们实现了94.7%的平均精度使用平滑的GM和WM提取和我们提出的架构之一。我们还执行遮挡分析,并确定哪些大脑区域在架构决策过程中是相关的。
2020-07-01 cs.LG eess.IV
Bayesian Quadrature for Neural Ensemble Search
University of Oxford(牛津大学)
集成可以提高神经网络的性能,但是当架构似然表面具有分散的窄峰时,现有的方法很难实现。此外,现有的方法构造等权重的合奏,这是可能容易受到故障模式的较弱的架构。通过查看合奏近似边缘化的架构,我们构建合奏使用贝叶斯求积的工具-工具,非常适合于探索的可能性表面分散,窄峰。此外,由此产生的集成包括与其性能相称的加权架构。我们凭经验证明-在测试可能性,准确性和预期校准误差方面-我们的方法优于最先进的基线,并通过消融研究验证其组件独立完成。
2023-03-17 cs.LG stat.ML
Analyzing Tree Architectures in Ensembles via Neural Tangent Kernel
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(国立信息学研究所)
软树是决策树的一种正在研究的变体,它使用梯度方法更新分裂规则。虽然软树可以采用各种架构,但它们的影响在理论上并不为人所知。在本文中,我们制定和分析的神经切线核(NTK)诱导的软树集成任意树结构。这个内核导致了一个显着的发现,即只有在每个深度的叶子的数量是相关的树结构集成学习与无限数量的树。换句话说,如果每个深度的叶子数量是固定的,那么函数空间中的训练行为和泛化性能在不同的树架构中完全相同,即使它们不是同构的。我们还表明,NTK的非对称树,如决策列表不退化时,他们得到无限深。这与完美二叉树形成对比,完美二叉树的NTK已知会退化,并导致更深树的泛化性能更差。
2023-02-07 cs.LG stat.ML
Neural Ensemble Search for Uncertainty Estimation and Dataset Shift
University of Oxford(牛津大学);University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
与独立网络相比,神经网络的集成在准确性、不确定性校准和对数据集移位的鲁棒性方面实现了优异的性能。\emph{Deep ensembles}是一种用于不确定性估计的现有技术方法,仅对\emph{fixed}架构进行集合随机初始化。相反,我们提出了两种方法自动构建合奏与\emph{varying}架构,这隐含的权衡个别架构的优势对合奏的多样性,并利用建筑变化的多样性来源。在各种分类任务和现代架构的搜索空间,我们表明,所得到的合奏优于深度合奏不仅在准确性,而且不确定性校准和鲁棒性数据集移位。我们的进一步分析和消融研究提供了更高的合奏多样性的证据,由于架构的变化,导致合奏,可以优于深合奏,即使有较弱的平均基础学习者。为了促进可重复性,我们提供了代码:\url{https://github.com/automl/nes}
2022-02-21 cs.LG stat.ML
Equivalence in Deep Neural Networks via Conjugate Matrix Ensembles
提出了一种数值方法来检测深度学习架构的等价性。该方法基于从深度神经网络权重矩阵和匹配神经架构拓扑的{ \it共轭循环系综}中生成混合矩阵系综(MME)。在此之后,经验证据支持{ \it现象},即神经架构的谱密度与对应的{ \it共轭圆形系综}之间的差异在谱的长正尾部分处以不同的衰减率消失,即,累积圆谱差(CSD)。这一发现可以用于通过分析CSD的波动来建立不同神经结构之间的等效性。我们研究了广泛的深度学习视觉架构和源于统计量子力学的圆形集合的这种现象。人工和自然的神经架构所提出的方法的实际影响,如使用神经结构搜索(NAS)和生物神经网络分类的方法的可能性进行了讨论。
2020-08-30 cond-mat.dis-nn cs.LG stat.ML
On Fibonacci Ensembles: An Alternative Approach to Ensemble Learning Inspired by the Timeless Architecture of the Golden Ratio
Rochester Institute of Technology(罗切斯特技术学院)
本文提出斐波那契族,通过受黄金比例启发的数学框架,改进集成学习中的方差减少和表征深度。
2026-08-18 cs.LG stat.ML
Quantifying uncertainty for deep learning based forecasting and flow-reconstruction using neural architecture search ensembles
Argonne National Laboratory(阿贡国家实验室);Université Paris-Saclay(巴黎萨克雷大学)
计算物理中的经典问题,例如数据驱动的预测和来自稀疏传感器的信号重建,最近在基于深度神经网络(DNN)的算法方法中出现了爆炸式增长。然而,大多数DNN模型不提供不确定性估计,这对于在下游决策任务和场景中建立这些技术的可信度至关重要。近年来,基于集成的方法在DNN中的不确定性量化方面取得了重大成功。然而,它们在实际应用中的性能仍然没有得到充分的研究。在这项工作中,我们提出了一种自动化的DNN发现方法,并演示了如何将其用于基于集合的不确定性量化。具体来说,我们建议使用一个可扩展的神经和超参数架构搜索发现一个复杂的动态系统的DNN模型的合奏。我们强调了所提出的方法不仅可以为我们的任务发现高性能的神经网络集合,而且还可以无缝地量化不确定性。这是通过使用遗传算法和贝叶斯优化对神经网络架构和超参数的搜索空间进行采样来实现的。随后,使用模型选择方法来识别用于系综集构造的候选模型。之后,方差分解方法被用来估计从合奏的预测的不确定性。我们证明了这一框架的可行性,两个任务-预测从历史数据和流量重建稀疏传感器的海面温度。我们展示了优越的性能,从合奏与个人的高性能模型和其他基准相比。
2023-02-20 cs.LG math.DS
EDSA-Ensemble: an Event Detection Sentiment Analysis Ensemble Architecture
University Politehnica of Bucharest(布加勒斯特理工大学);Fraunhofer Institute for Open Communication Systems(弗劳恩霍夫开放通信系统研究所)
随着全球数字化的不断发展,技术变得更加实惠和易于使用,社交媒体平台蓬勃发展,成为传播信息和新闻的新手段。社区是围绕着分享和讨论时事而建立的。在这些社区中,用户可以分享他们对每个事件的看法。使用情感分析来了解属于事件的每个消息的极性以及整个事件,可以帮助更好地了解在线社交网络上的重要趋势和动态的一般和个人感受。在这种情况下,我们提出了一种新的集成架构,EDSA-Ensemble(事件检测情感分析Ensemble),它使用事件检测和情感分析,以提高从社交媒体的当前事件的极性的检测。对于事件检测,我们使用基于信息扩散的技术,同时考虑到时间跨度和主题。为了检测每个事件的极性,我们对文本进行预处理,并使用几个机器和深度学习模型来创建集成模型。预处理步骤包括几个单词表示模型,即,原始频率、TFIDF、Word 2 Vec和Transformers。所提出的EDSA-Ensemble架构改进了单个机器和深度学习模型上的事件情感分类。
2023-01-30 cs.AI cs.LG cs.SI
MotherNets: Rapid Deep Ensemble Learning
Harvard School of Engineering and Applied Sciences(哈佛大学工程与应用科学学院)
深度神经网络的集成显著提高了泛化精度。然而,训练神经网络集成需要大量的计算资源和时间。现有技术的方法要么从头开始训练所有网络,导致在实践中仅允许非常小的集合大小的过高的训练成本,要么通过训练单片架构来生成集合,这导致较低的模型多样性和降低的预测准确性。我们提出了MotherNet,以实现更高的准确性和实际的训练成本,为大型和多样化的神经网络合奏:一个MotherNet捕获的结构相似性,在一些或所有成员的深度神经网络合奏,使我们能够共享数据移动和计算成本在这些网络。我们首先训练一个或一小部分MotherNet,然后通过从训练好的MotherNet中传递函数来生成目标集成网络。然后,我们继续训练这些集成网络,与从头开始训练相比,它们现在收敛得更快。MotherNet通过聚类相似架构的集成网络并为每个集群训练单独的MotherNet来处理具有不同架构的集成。MotherNets还使用聚类来控制精度与训练成本的权衡。我们表明,与最先进的方法,如快照集成,知识蒸馏,和TreeNets相比,MotherNets提供了一个新的帕累托前沿的准确性训练成本权衡。至关重要的是,随着集成规模的增加,训练成本和准确性的改善将继续扩大(与快照集成相比,绝对测试出错率降低了2%至3%,训练速度提高了35%)。我们在众多的神经网络架构和大型数据集上验证了这些好处。
2020-03-08 cs.LG stat.ML
Differentiable Architecture Search with Ensemble Gumbel-Softmax
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Intel Labs China(英特尔中国研究院)
对于网络体系结构搜索(NAS),同时保证有效性和效率是至关重要的,但具有挑战性。为了实现这一目标,我们开发了一个可区分的NAS解决方案,其中的搜索空间包括任意前馈网络组成的预定义数量的连接。受益于所提出的集成Gumbel-Softmax估计器,我们的方法在同一轮反向传播中优化了深度网络的架构及其参数,从而产生了搜索网络架构的端到端机制。在各种流行数据集上进行的大量实验有力地证明了我们的方法能够发现高性能的架构,同时保证搜索过程中所需的效率。
2019-05-06 cs.CV cs.LG stat.ML
EARCP: Self-Regulating Coherence-Aware Ensemble Architecture for Sequential Decision Making -- Ensemble Auto-Regule par Coherence et Performance
本文提出EARCP,一种基于性能和模型间一致性动态加权的新型集成架构,通过在线学习机制实现持续适应,理论保证了非平稳环境中的鲁棒性。
2026-03-15 cs.AI cs.LG cs.MA
Spectral Ergodicity in Deep Learning Architectures via Surrogate Random Matrices
Forschungszentrum Juelich(于利希研究中心);Ludwig-Maximilians-Universität München(慕尼黑大学);University of Hamburg(汉堡大学);University of the Balearic Islands(巴利阿里群岛大学)
本文提出了一种新的随机矩阵谱遍历性的量化方法。新的方法结合了基于Thirumalai-Mountain(TM)和Kullbach-Leibler(KL)分歧指标的方法。该方法被应用到深度和递归神经网络的一般性研究,通过随机矩阵集成模拟这些系统的典型权重矩阵的分析。特别是,我们研究了圆形随机矩阵系综:圆形酉系综(CUE),圆形正交系综(COE)和圆形辛系综(CSE)。特征值谱和谱遍历计算这些合奏作为网络大小的函数。据观察,随着矩阵大小的增加,系综的谱遍历性水平上升,即,从系综随机获得的单个实现的本征值谱更接近于在整个系综上平均获得的谱。基于先前的结果,我们推测深度学习架构的成功与谱遍历的概念密切相关。在这项工作中提出的计算谱遍历性的方法可以用来优化深度和递归神经网络的大小和结构。
2017-07-11 cond-mat.stat-mech cs.LG stat.ML
Ensemble architecture in polyp segmentation
National Yang Ming Chiao Tung University(国立阳明交通大学);Institute of Statistics(统计学院)
针对息肉分割任务,本文提出融合卷积与 transformer 模型学习特征的集成框架 EnFormer,实验表明其性能优于顶级模型。
2024-10-25 cs.AI cs.CV cs.LG
3D Object Recognition with Ensemble Learning --- A Study of Point Cloud-Based Deep Learning Models
Warsaw University of Technology(华沙理工大学);Voyage
在这项研究中,我们提出了一个基于模型的集成学习的3D点云对象分类和检测的分析。已知多个模型实例的集成优于单个模型实例,但是很少有关于3D点云集成学习的研究。首先,针对七种深度学习、基于点云的分类算法测试了在$\textit{ModelNet40}$数据集的同一部分上训练的多个模型实例的集合:$\textit{PointNet}$、$\textit{PointNet++}$、$\textit{SO-Net}$、$\textit{KCNet}$、$\textit{DeepSets}$、$\textit{DGCNN}$和$\textit{PointCNN}$。其次,测试了不同架构的集成。我们的实验结果表明,测试的集成学习方法提高了国家的最先进的$\textit{ModelNet40}$数据集,从$92.65\%$到$93.64\%$的集成的单一架构的实例,$94.03\%$的两个不同的架构,和$94.15\%$的五个不同的架构。我们表明,具有不同架构的两个模型的集成可以作为具有相同架构的10个模型的集成一样有效。第三,测试了对经典装袋的研究(即,使用不同的子集来训练多个模型实例),并针对性能最佳的架构(即,$\textit{SO-Net}$)调查了集成精度增长的来源。我们还研究了集成学习的$\textit{Frustum PointNet}$方法在三维物体检测的任务,提高了平均精度的$\…
2019-05-22 cs.AI cs.CV cs.LG
GP-NAS-ensemble: a model for NAS Performance Prediction
Meituan(美团);Tencent(腾讯);Bigo Technology(Bigo科技);Alibaba Group(阿里巴巴集团);Chinese Academy of Sciences(中国科学院)
在神经网络结构搜索(Neural Architecture Search,NAS)的应用中,由于评估一个结构的性能需要花费大量的时间,因此在不进行训练的情况下对给定模型结构的性能进行评估具有重要意义。在本文中,一个新的NAS框架称为GP-NAS-ensemble提出了预测性能的神经网络架构与一个小的训练数据集。本文对GP-NAS模型进行了改进,使其具有集成学习方法的优点。我们的方法在CVPR 2022第二届轻量级NAS挑战赛性能预测赛道中排名第二。
2023-01-23 cs.LG stat.AP stat.ML
Mitigating Membership Inference Attacks by Self-Distillation Through a Novel Ensemble Architecture
Princeton University(普林斯顿大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
成员推断攻击是评估机器学习(ML)模型中隐私泄露的一个关键措施。这些攻击旨在通过利用模型在成员和非成员输入上的差异行为来区分训练成员和非成员。这项工作的目标是训练ML模型,具有较高的成员隐私,同时在很大程度上保留其实用性,因此,我们的目标是一个经验的成员隐私保证,而不是可证明的隐私保证提供的技术,如差分隐私,因为这些技术被证明会恶化模型的效用。具体来说,我们提出了一个新的框架,训练隐私保护模型,诱导成员和非成员输入类似的行为,以减轻成员推断攻击。我们的框架,称为SELENA,有两个主要组成部分。我们防御的第一个组成部分和核心是一个新颖的整体训练架构。我们称之为Split-AI的架构将训练数据拆分为随机子集,并在每个数据子集上训练模型。我们在测试时使用自适应推理策略:我们的集成架构仅聚合那些在其训练数据中不包含输入样本的模型的输出。我们证明了我们的Split-AI架构可以抵御一大群成员推断攻击,但是,它容易受到新的自适应攻击。因此,我们在我们的框架中使用了第二个组件,称为自蒸馏,以防止这种更强大的攻击。Self-Distillation组件(self-)通过我们的Split-AI集成来提取训练数据集,而不使用任何外部公共数据集。通过对主要基准数据集的广泛实验,我们表明,与最先进的技术相比,SELENA在会员隐私和实用性之间提供了优越的权衡。
2021-10-15 cs.CR cs.LG
Swapout: Learning an ensemble of deep architectures
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们描述了一种新的随机训练方法Swapout,它的性能优于相同网络结构的ResNet,在CIFAR-10和CIFAR-100上取得了令人印象深刻的结果。交换样本来自一组丰富的架构,包括辍学,随机深度和残留架构作为特殊情况。当被视为一种正则化方法时,swapout不仅抑制了层中单元的共同适应,类似于dropout,而且还跨网络层。我们推测,swapout实现强正则化隐式绑定跨层的参数。当被视为一种集成训练方法时,它比现有的方法(如dropout或随机深度)采样更丰富的架构集。我们提出了一个参数化,揭示了连接到现有的架构,并提出了一个更丰富的架构进行探索。我们表明,我们的公式提出了一种有效的训练方法,并验证了我们对CIFAR-10和CIFAR-100匹配最先进准确性的结论。值得注意的是,我们的32层更宽的模型与1001层的ResNet模型表现相似。
2016-05-20 cs.CV cs.LG cs.NE
Convolutional Tables Ensemble: classification in microseconds
Microsoft Research(微软研究院)
我们研究分类器在严重的分类时间限制下运行,对应于1-1000 CPU微秒,使用卷积表枚举(CTE),一个固有的快速架构的对象类别识别。该架构是基于卷积应用稀疏特征提取,使用树或蕨类植物,和线性投票层。几个结构和优化变量被认为是,包括新的决策函数,树学习算法,和蒸馏从CNN CTE架构。在标准对象识别基准上证明了比具有类似速度的相关技术提高24-45%的准确度。使用帕累托速度-精度曲线,我们表明CTE可以提供比卷积神经网络(CNN)更好的精度为一定范围的分类时间约束,或者提供类似的出错率与5- 200倍的加速。
2016-02-14 cs.CV cs.LG
FabricNet: A Fiber Recognition Architecture Using Ensemble ConvNets
Bangladesh University of Business & Technology(孟加拉国商业与技术大学);King AbdulAziz University(阿卜杜勒阿齐兹国王大学)
织物是由纺织纤维组成的平面材料。纺织纤维是由许多天然来源产生的;包括植物,动物,矿物,甚至可以是合成的。一种特定的织物可能包含不同类型的纤维,这些纤维经过复杂的生产过程。纤维鉴定通常通过化学试验和显微镜试验进行。然而,这些测试过程既复杂又耗时。我们提出了FabricNet,基于图像的纺织纤维识别系统的开创性方法,这可能会产生革命性的影响,从个人到工业纤维识别过程。FabricNet仅利用织物的表面图像就可以识别大规模的纤维。识别系统是使用一个不同类别的基于类的集成卷积神经网络(CNN)架构。对50种不同类型的纺织纤维进行了识别实验。据我们所知,该实验包括比以前的研究努力显著大量的独特纺织纤维。我们使用流行的CNN架构进行实验,包括Inception,ResNet,VGG,MobileNet,DenseNet和Xception。最后,实验结果表明,FabricNet优于最先进的流行的CNN架构,达到84%的准确率和90%的F1分数。
2021-01-14 cs.CV cs.LG
A generalized decision tree ensemble based on the NeuralNetworks architecture: Distributed Gradient Boosting Forest (DGBF)
Paradigma Digital S.L.(Paradigma Digital有限公司);Universidad de León(莱昂大学)
提出分布式梯度提升森林(DGBF),融合装袋与提升的数学表述,构建图结构树集成,无需反向传播即可实现分布式表示学习,在9个数据集中7个上优于随机森林和梯度提升。
2024-02-04 cs.AI cs.LG
The robust way to stack and bag: the local Lipschitz way
IIT Madras(印度理工学院马德拉斯分校)
最近的研究表明,神经网络的局部Lipschitz常数直接影响其对抗鲁棒性。我们利用这种关系来构建一个集成的神经网络,不仅提高了准确性,但也提供了增加的对抗鲁棒性。局部Lipschitz常数为两种不同的集成方法-装袋和堆叠-推导出最适合于确保对抗鲁棒性的架构。在白盒攻击、FGSM和PGD的情况下,在MNIST和CIFAR-10数据集上对所提出的集成架构进行了测试。所提出的架构被发现是更强大的a)一个单一的网络和b)传统的集成方法。
2022-06-01 cs.CR cs.LG
Drum-Aware Ensemble Architecture for Improved Joint Musical Beat and Downbeat Tracking
National Cheng Kung University(国立成功大学);Academia Sinica(中央研究院);Yating Music Team(雅婷音乐团队);Taiwan AI Labs(台湾人工智能实验室)
本文提出了一种新的系统架构,集成了盲声源分离与联合节拍和下拍跟踪音乐音频信号。声源分离模块分离输入信号的振荡和非振荡分量,在其上分别执行差拍和下差拍跟踪,然后利用可学习的融合机制聚合结果。这样,系统可以自适应地确定输入信号的跟踪结果应该在多大程度上取决于输入的振荡或非振荡分量。四个测试集,具有不同程度的存在鼓的声音的评估表明,新的架构始终优于广泛采用的基线架构,不采用声源分离。
2021-06-16 cs.LG cs.SD eess.AS
Ensembles of Multiple Models and Architectures for Robust Brain Tumour Segmentation
Biomedical Image Analysis Group, Imperial College London(伦敦帝国理工学院生物医学图像分析组)
卷积神经网络等深度学习方法在密集、语义分割等具有挑战性的任务上一直优于以前的方法。然而,各种拟议的网络表现不同,其行为在很大程度上受到架构选择和训练设置的影响。本文探讨了多模型和架构集成(EMMA)的强大性能,通过聚合的预测,从广泛的方法。该方法减少了单个模型的元参数的影响,并降低了将配置过度拟合到特定数据库的风险。EMMA可以被看作是一个无偏见的通用深度学习模型,该模型表现出色,在BRATS 2017竞赛中赢得了50多个参赛团队的第一名。
2017-11-04 cs.AI cs.CV cs.LG
Collegial Ensembles
Apple Inc.(苹果公司)
现代神经网络性能通常随着模型大小的增加而提高。最近对过参数化网络的神经切线核(NTK)的一系列研究表明,随着规模的增加而改善是更好的条件损失景观的产物。在这项工作中,我们研究了一种通过集成实现的过参数化形式,其中我们将合议集成(CE)定义为具有相同架构的多个独立模型的聚合,并作为单个模型进行训练。我们表明,CE的优化动力学简化显着时,在合奏模型的数量是大的,类似于宽模型的动态,但规模更有利。我们使用最近的理论结果的有限宽度校正的NTK执行有效的架构搜索的空间有限宽度CE的目的是最大限度地减少容量,或最大限度地提高可训练性下的一组约束。由此产生的合奏可以有效地实现在实际的架构中使用群卷积和块对角层。最后,我们展示了我们的框架如何可以用来分析得出最佳组卷积模块最初发现使用昂贵的网格搜索,而不必训练一个单一的模型。
2020-06-17 cs.LG stat.ML
Embedded Ensembles: Infinite Width Limit and Operating Regimes
Skoltech(斯科尔科沃科技学院);Yandex(央捷科斯)
集成神经网络的一种高效记忆方法是通过单个参考网络在集成模型之间共享大部分权重。我们将这种策略称为嵌入式集成(EE);它的特定示例是BatchEnsembles和Monte-Carlo dropout Ensembles。本文对具有不同模型数量的嵌入式集合进行了系统的理论和实证分析。在理论上,我们使用基于神经切线核的方法来推导梯度下降动力学的宽网络极限。在这个限制,我们确定两个合奏制度-独立和集体-依赖于合奏模型的架构和初始化策略。我们证明了在独立制度的嵌入式合奏行为作为一个独立的模型合奏。我们证实了我们的理论预测与广泛的实验与有限的网络,并进一步研究经验的各种影响,如两个制度之间的过渡,缩放合奏性能与网络的宽度和模型的数量,以及性能的依赖性上的一些架构和超参数的选择。
2022-02-24 cs.LG stat.ML
AutoHEnsGNN: Winning Solution to AutoGraph Challenge for KDD Cup 2020
Tsinghua University(清华大学);Meituan(美团)
图神经网络(GNN)已经变得越来越流行,并在许多基于图的应用中取得了令人印象深刻的结果。然而,需要大量的手工工作和领域知识来设计有效的架构,并且GNN模型的结果在不同的训练设置中具有很高的差异,这限制了现有GNN模型的应用。在本文中,我们提出了AutoHEnsGNN,这是一个框架,可以在没有任何人为干预的情况下为图形任务构建有效和强大的模型。AutoHEnsGNN在2020年KDD杯AutoGraph挑战赛中获得第一名,并在决赛阶段获得五个真实数据集的最佳排名分数。给定一个任务,AutoHEnsGNN首先应用快速代理评估来自动选择一个有希望的GNN模型池。然后构建了一个层次集成框架:1)提出了图自集成(GSE)方法,该方法能够有效地利用局部和全局邻域信息,减少权值初始化的方差; 2)基于GSE方法,采用不同类型GNN模型的加权集成,有效地学习更具区分性的节点表示。为了有效地搜索体系结构和集成权重,我们提出了AutoHEnsGNN $_{\text{Gradient}}$,它将体系结构和集成权重作为体系结构参数,并使用基于梯度的体系结构搜索来获得最优配置,以及AutoHEnsGNN $_{\text{Adaptive}}$,它可以根据模型精度自适应地调整集成权重。在节点分类、图分类、边缘预测和KDD Cup挑战赛上的大量实验证明了AutoHEnsGNN的有效性和通用性
2021-11-25 cs.AI cs.LG
Ensemble Neural Representation Networks
Iran University of Science and Technology(伊朗科技大学);University of Tehran(德黑兰大学);McGill University(麦吉尔大学);Lund University(隆德大学);Sharif University of Technology(谢里夫理工大学)
内隐神经表征(INR)是一种以连续格式纸存储各种信号的方法,近年来引起了广泛的关注。现有的INR网络需要冗长的训练过程和高性能的计算资源。在本文中,我们提出了一种新的次优集成架构INR,解决了上述问题。在该体系结构中,表示任务被划分为多个子任务,由独立的子网络完成。我们表明,建议的合奏INR架构的性能可能会下降,如果子网络的维度增加。因此,提出一种优化算法来找到次优的集成网络结构是至关重要的,这是本文所做的。根据仿真结果,所提出的架构不仅具有显着较少的浮点运算(FLOPs)和更少的训练时间,但它也有更好的性能,在峰值信噪比(PSNR)相比,其同行。
2022-03-15 cs.LG eess.IV eess.SP
CyberWallE at SemEval-2020 Task 11: An Analysis of Feature Engineering for Ensemble Models for Propaganda Detection
Seminar für Sprachwissenschaft(语言学系);Eberhard Karls Universität Tübingen(蒂宾根大学)
本文介绍了我们参与SemEval-2020任务检测新闻文章中的宣传技巧。我们参与两个子任务:跨度识别(SI)和技术分类(TC)。我们在SI子任务中使用双LSTM架构,并为TC子任务训练复杂的集成模型。我们的架构是使用来自BERT的嵌入并结合额外的词汇特征和广泛的标签后处理来构建的。我们的系统在SI子任务(F1分数:43.86%)和TC子任务(F1分数:57.37%)中的31支球队中的8支球队中实现了排名。
2020-08-22 cs.CL cs.LG
LENAS: Learning-based Neural Architecture Search and Ensemble for 3D Radiotherapy Dose Prediction
The Hong Kong University of Science and Technology(香港科技大学);Shenzhen United Imaging Research Institute of Innovative Medical Equipment(深圳联合创新医疗装备研究院);Huazhong University of Science and Technology(华中科技大学);Tencent YouTu Lab(腾讯优图实验室)
针对放疗KBP集成学习依赖基学习器质量且集成复杂度高的问题,提出融合神经架构搜索与知识蒸馏的LENAS方法,搜索多样高性能架构并通过师生范式+混合损失蒸馏知识,在两个公开数据集上取得SOTA性能。
2024-05-13 cs.CV cs.LG eess.IV
Neural Oblivious Decision Ensembles for Deep Learning on Tabular Data
Yandex(Yandex(央捷科斯));Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
如今,深度神经网络(DNN)已成为包括视觉、NLP和语音在内的广泛领域内机器学习任务的主要工具。与此同时,在异质表格数据的重要情况下,DNN相对于浅对应物的优势仍然值得怀疑。特别是,没有足够的证据表明深度学习机器允许构建优于梯度提升决策树(GBDT)的方法,GBDT通常是表格问题的首选。在本文中,我们介绍了神经不经意决策集成(NODE),这是一种新的深度学习架构,旨在处理任何表格数据。简而言之,所提出的NODE架构概括了不经意决策树的集合,但受益于端到端的基于梯度的优化和多层分层表示学习的能力。与大量的表格数据集上的领先GBDT包进行了广泛的实验比较,我们证明了所提出的NODE架构的优势,它在大多数任务上都优于竞争对手。我们开源了NODE的PyTorch实现,并相信它将成为表格数据机器学习的通用框架。
2019-09-19 cs.LG stat.ML
randomHAR: Improving Ensemble Deep Learners for Human Activity Recognition with Sensor Selection and Reinforcement Learning
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出randomHAR集成方法,通过随机传感器数据训练同构深度模型,并用强化学习选择运行时最优模型子集,在六个HAR基准上优于ensembleLSTM。
2023-07-15 cs.LG eess.SP