Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning
University of Tübingen(图宾根大学);University of Cambridge(剑桥大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
深度神经网络倾向于对离群值进行过度自信的预测。贝叶斯神经网络和深度集成都被证明可以在一定程度上缓解这个问题。在这项工作中,我们的目标是结合这两种方法的优点,提出用高斯混合模型后验进行预测,该模型由独立训练的深度神经网络的拉普拉斯近似的加权和组成。该方法可以与任何一组预先训练的网络一起使用,并且与常规集成相比只需要很小的计算和内存开销。我们从理论上验证,我们的方法减轻过度自信“远离”的训练数据和经验比较对国家的最先进的基线标准的不确定性量化基准。
2021-11-05 cs.LG stat.ML
Estimation of Non-Normalized Mixture Models and Clustering Using Deep Representation
The University of Tokyo(东京大学);University College London(伦敦大学学院);University of Helsinki(赫尔辛基大学)
我们开发了一个通用的方法来估计有限的混合非归一化模型。这里,非归一化模型被定义为具有难以处理的归一化常数的参数分布。现有的方法估计非归一化模型,而不计算归一化常数不适用于混合模型,因为它们包含一个以上的棘手的归一化常数。所提出的方法是通过扩展噪声对比估计(NCE),估计非归一化模型之间的观测数据和一些人为产生的噪声进行区分。我们还提出了一个扩展的NCE与多个噪声分布。然后,基于观察,传统的分类学习与神经网络是隐含地假设一个指数族作为一个生成模型,我们介绍了一种方法,通过估计一个指数族中的分布的有限混合聚类未标记的数据。该混合模型的估计是通过建议的NCE扩展来实现的,其中神经网络的训练数据被用作噪声。因此,所提出的方法提供了一种能够利用深度表示的概率原则聚类方法。使用深度神经网络进行图像聚类的应用给出了有希望的结果。
2018-05-19 cs.LG stat.ML
Quantifying Intrinsic Uncertainty in Classification via Deep Dirichlet Mixture Networks
University of California, Davis(加州大学戴维斯分校);New York University(纽约大学);University of California, Berkeley(加州大学伯克利分校)
随着深度神经网络在科学和技术领域的广泛成功,量化深度学习产生的预测的不确定性变得越来越重要。在本文中,我们介绍了一种新的方法,该方法使用深度神经网络将显式不确定性声明附加到分类的概率上。准确地说,我们认为分类概率是从一个未知的分布中采样的,我们建议通过狄利克雷混合来学习这个分布,狄利克雷混合足够灵活,可以近似单纯形上的任何连续分布。然后,我们从学习的分布中构造可信区间,以评估分类概率的不确定性。我们的方法易于实现,计算效率高,并且可以与任何深度神经网络架构相结合。我们的方法利用了关键的观察,在许多分类应用程序,如医疗诊断,一个以上的类标签可用于每个观察单位。我们证明了我们的方法的有用性,通过模拟和一个真实的数据例子。
2019-08-14 cs.LG stat.ML
Deep Mixtures of Factor Analysers
University of Toronto(多伦多大学)
学习具有多层潜变量的深度密度模型的一种有效方法是使用只有一层潜变量的模型一次学习一层。在学习每一层之后,来自该层的后验分布的样本被用作用于学习下一层的训练数据。这种方法通常用于受限玻尔兹曼机,它是具有单个隐藏层的无向图形模型,但它也可以用于有向图形模型的混合因子分析器(MFA)。在本文中,我们提出了一个贪婪逐层学习算法的深度混合因子分析器(DMFA)。即使DMFA可以通过将不同级别的因子加载矩阵相乘在一起而转换为等效的浅MFA,但在DMFA中学习和推理要有效得多,并且许多不同的更高级别的MFA共享每个较低级别的因子加载矩阵可以防止过拟合。我们的经验表明,DMFA学习更好的密度模型比MFAs和两种类型的限制玻尔兹曼机在各种各样的数据集。
2012-06-18 cs.LG stat.ML
Dissimilarity Mixture Autoencoder for Deep Clustering
Universidad Nacional de Colombia(哥伦比亚国立大学)
相异性混合自动编码器(DMAE)是一种用于基于特征的聚类的神经网络模型,它包含灵活的相异性函数,可以集成到任何类型的深度学习架构中。它在内部表示一个相异性混合模型(DMM),该模型通过将概率重新解释为神经网络表示,将K均值、高斯混合模型或Bregman聚类等经典方法扩展到任何凸和可微相异性函数。DMAE可以与深度学习架构集成到端到端模型中,允许同时估计聚类和神经网络的参数。在图像和文本聚类基准数据集上进行了实验评估,结果表明DMAE在无监督分类精度和归一化互信息方面具有竞争力。DMAE实现的源代码可在https://github.com/juselara1/dmae上公开获得
2021-07-15 cs.CV cs.LG stat.ML
A Factorial Mixture Prior for Compositional Deep Generative Models
DeepMind(深度思维)
我们假设一个高维的数据,像一个图像,是一组属性的组合表达,与数据和它的属性之间的复杂的非线性关系。本文提出了一种用于捕获潜在属性的阶乘混合先验,从而为深度生成模型添加了结构化组合。先验将潜在向量视为属于子空间的笛卡尔积,每个子空间都用高斯混合模型单独量化。只要存在标记的属性,就可以将某些混合成分设置为将属性表示为观察到的随机变量。通过随机变分推断和梯度下降的组合,学习如何推断离散属性的方法,在无监督或半监督的方式概述和经验评估。
2018-12-18 cs.AI cs.LG stat.ML
Neural Mixture Distributional Regression
LMU Munich(慕尼黑大学)
我们提出了神经混合分布回归(NMDR),一个整体框架来估计由灵活的添加剂预测定义的复杂的有限混合分布回归。我们的框架能够在高维环境中处理大量潜在不同分布的混合物,允许高效和可扩展的优化,并可应用于将结构化回归模型与深度神经网络相结合的最新概念。虽然许多现有的混合模型方法解决了优化这些模型的挑战,并在特定的模型假设下提供了收敛结果,但我们的方法是无约束的,而是利用了深度学习中成熟的优化器。通过大量的数值实验和高维深度学习应用程序,我们提供的证据表明,所提出的方法是有竞争力的现有方法,并在更复杂的情况下工作得很好。
2020-10-14 cs.LG stat.CO stat.ML
Self-Organizing Map assisted Deep Autoencoding Gaussian Mixture Model for Intrusion Detection
Nanyang Technological University(南洋理工大学);Osaka University(大阪大学)
在信息时代,安全稳定的网络环境是必不可少的,因此入侵检测对于任何网络都是至关重要的。在本文中,我们提出了一种自组织映射辅助的深度自动编码高斯混合模型(SOMDAGMM),并补充了良好保存的输入空间拓扑结构,以实现更准确的网络入侵检测。深度自动编码高斯混合模型包括压缩网络和能够执行无监督联合训练的估计网络。然而,由自动编码器生成的代码在保持输入空间的拓扑方面是无能的,这根源于所采用的深层结构的瓶颈。一个自组织映射已被引入到构建SOMDAGMM来解决这个问题。在两个数据集上进行了大量的实验,经验证明了所提出的SOM-DAGMM的优越性。实验结果表明,SOM-DAGMM在所有测试上都优于最先进的DAGMM,并且在F1分数上获得了高达15.58%的提高,并且具有更好的稳定性。
2020-08-28 cs.CR cs.LG cs.SI
Deep Skew-t Mixture Models
The University of Queensland(昆士兰大学);Guangdong University of Finance and Economics(广东财经大学)
针对分量分布兼具重尾与方向不对称性的高维聚类问题,提出深度偏t混合模型,经模拟与真实数据验证,其在偏度较强、重尾及小样本等场景下聚类性能优于相关基准模型。
2026-09-02 stat.CO stat.ME stat.ML
Bayesian inference for scale mixtures of skew-normal linear models under the centered parameterization
本文针对偏态及重尾/轻尾数据,在中心化参数化下构建了偏态正态分布尺度混合类及线性回归模型,利用分层表示和MCMC方案进行参数估计,并开发了残差与影响分析工具,通过模拟和真实数据验证了方法有效性。
2024-06-05 stat.ME
Variational Inference and Sparsity in High-Dimensional Deep Gaussian Mixture Models
本文针对高维深度高斯混合模型拟合困难的问题,提出使用稀疏先验进行贝叶斯推断,并开发了一种可扩展的自然梯度变分推断算法,通过过拟合混合实现高效的架构选择,有效提升了高维数据的聚类效果。
2021-09-01 stat.ME
Weighted likelihood mixture modeling and model based clustering
在这项工作中,开发了一种加权似然方法的稳健拟合的多元高斯成分的混合。已经提出了两种方法,分别由标准EM和CEM算法的适当修改驱动。在这两种技术中,M步骤通过针对降低离群值的权重的计算来增强。权重是基于皮尔逊残差源于强大的马氏型距离。基于拟合的混合模型,还可以定义用于鲁棒聚类和离群值检测的正式规则。所提出的方法的行为进行了研究,通过一些数值研究和实际数据的例子,在拟合和分类精度和离群值检测。
2018-11-08 stat.ME
Bayesian nonparametric mean residual life regression
针对概率框架下平均剩余寿命回归推断方法有限的问题,提出基于Dirichlet过程混合的贝叶斯非参数回归方法,扩展纳入组间依赖,开发后验推断方法,经模拟和右删失生存数据验证有效。
2024-01-24 stat.AP stat.ME
Nonparametric Bayesian Inference for Mean Residual Life Functions in Survival Analysis
平均剩余寿命函数是生存分布的一个关键泛函。它有一个实际有用的解释为预期的剩余寿命给定的生存到一个特定的时间点,它也表征了生存分布。然而,在概率建模框架下的推理方法方面,它受到了有限的关注。我们试图提供一般的推断方法,平均剩余寿命回归。生存数据通常包括一组生存反应分布的预测变量,在许多情况下,将协变量作为随机变量纳入建模是很自然的。因此,我们采用Dirichlet过程混合建模的协变量和生存响应的联合随机机制。这种方法意味着一个灵活的模型结构的平均剩余寿命的条件响应分布,允许一般形状的平均剩余寿命作为一个函数的协变量给定一个特定的时间点,以及时间的函数给定特定值的协变量向量。为了扩大建模框架的范围,我们扩展了混合模型,将实验组之间的依赖性,如治疗组和对照组。该扩展是从特定于组的混合分布的相关Dirichlet过程之前构建的,具有通过潜在双变量Beta分布随机变量在组之间变化的公共位置和权重。我们开发的回归模型的属性,并讨论了先验规范和后验推理的方法。该方法的不同组成部分与模拟数据的例子进行了说明,该模型也适用于数据集,包括右删失生存时间。
2018-10-09 stat.ME
Multiscale Residual Mixture of PCA: Dynamic Dictionaries for Optimal Basis Learning
Rice University(莱斯大学)
在本文中,我们感兴趣的问题,学习过完备的基础和方法,使重建或逆问题不需要优化。我们分析了所提出的方法的最优性,他们的链接到流行的已知技术SA。人工神经网络、k-means或Oja学习规则。最后,我们将看到一种达到最佳字典的方法是阶乘和分层方法。衍生的方法导致制定的深OJA网络。我们展示了不同任务的结果,并展示了由此产生的非常有效的学习算法,为深度网络的训练带来了新的视野。最后,理论工作表明,深度框架是一种有效地拥有过完备(组合大)字典的方法,但允许轻松重建。因此,我们提出了深度残差Oja网络(DRON)。我们证明,递归的深度方法的残差允许指数下降的误差w.r.t.深度
2017-07-18 cs.LG stat.ML
Robust Deep Mixture Models
The University of Queensland(昆士兰大学)
该研究提出一种基于通路级共享尺度混合构造的鲁棒深度混合模型,采用随机期望最大化算法估计参数,在重尾及污染场景下聚类性能优于深度高斯混合模型,可识别异质潜在结构并降低异常观测影响。
2026-08-20 stat.CO stat.ME
DeRegiME: Deep Regime Mixtures for Probabilistic Forecasting under Distribution Shift
Machine Learning Research Group, University of Oxford(牛津大学机器学习研究组);Oxford-Man Institute, University of Oxford(牛津大学奥克斯曼研究所)
DeRegiME通过引入稀疏变分高斯过程,实现了概率预测中的制度混合,解决了神经预测器在处理分布偏移时的不足,提升了预测密度的准确性。
2026-05-19 cs.LG stat.ML
A Gated Residual Kolmogorov-Arnold Networks for Mixtures of Experts
CREST-ENSAE, Institut Polytechnique de Paris(巴黎综合理工学院CREST-ENSAE);DRM, Université Paris Dauphine - PSL(巴黎第九大学-PSL大学DRM)
该研究提出基于GRKAN的新型专家混合框架KAMoE,替代传统门控函数以提升效率和可解释性,实验证明其在多类任务中优于传统MoE架构,并分析了模型复杂度与性能的权衡。
2024-12-13 cs.LG cs.NE
M2R2: Mixture of Multi-Rate Residuals for Efficient Transformer Inference
Apple(苹果公司)
M2R2框架通过动态调制残差速度改善早期对齐,在自推测解码和MoE架构中分别实现2.8倍和2.9倍加速,超越现有基于距离的方法。
2025-02-04 cs.AI cs.CL cs.LG
Adaptive Graph Mixture of Residual Experts: Unsupervised Learning on Diverse Graphs with Heterogeneous Specialization
School of New Media and Communication, Tianjin University(新媒体与传播学院,天津大学);Baidu(百度);School of Computer Science and Engineering, Beihang University(计算机科学与工程学院,北航大学)
提出ADaMoRE框架,通过骨干-残差专家架构和结构感知门控网络,在无监督条件下实现异构图专家混合训练,提升数据效率与训练稳定性,在16个基准上达到最先进性能。
2025-10-24 cs.LG
S'MoRE: Structural Mixture of Residual Experts for Parameter-Efficient LLM Fine-tuning
Meta AI
针对大语言模型微调中参数效率与容量难平衡的问题,提出融合LoRA效率与MoE灵活性的S'MoRE框架,通过分层低秩分解残差与GNN式层间传播,在相近参数下指数级提升结构灵活性,实现更优微调性能。
2025-10-29 cs.CL cs.LG
ResGCN: Attention-based Deep Residual Modeling for Anomaly Detection on Attributed Networks
Eindhoven University of Technology(埃因霍温理工大学);Cooperatieve Rabobank U.A.(拉博银行)
有效地检测属性网络中的异常节点对于许多实际应用的成功至关重要,例如欺诈和入侵检测。现有的方法有三个主要问题的困难:稀疏性和非线性捕获,残差建模和网络平滑。我们提出了残差图卷积网络(ResGCN),这是一种基于注意力的深度残差建模方法,可以解决这些问题:使用GCN对属性网络进行建模可以捕获稀疏性和非线性;利用深度神经网络可以直接从输入中学习残差,基于残差的注意力机制可以减少异常节点的不利影响并防止过度平滑。在几个真实世界的属性网络上进行的大量实验证明了ResGCN在检测异常方面的有效性。
2020-09-30 cs.LG stat.ML
RQ-MoE: Residual Quantization via Mixture of Experts for Efficient Input-Dependent Vector Compression
Key Laboratory of Multimedia Trusted Perception(多媒体可信感知关键实验室);Efficient Computing, Ministry of Education of China, Xiamen University, Xiamen, China(高效计算,中华人民共和国教育部,厦门大学,厦门,中国)
本文提出RQ-MoE框架,结合双层专家混合与双流量化,实现输入依赖的代码本自适应,提升向量量化效率,并在解码速度上优于现有方法。
2026-05-14 cs.AI cs.LG
Efficient Residual Learning with Mixture-of-Experts for Universal Dexterous Grasping
Peking University(北京大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文提出 ResDex,通过将残差策略学习与专家混合框架结合,利用几何无关基础策略实现跨物体的通用灵巧抓取,在 DexGraspNet 上以 88.8% 成功率达到最优性能,且单 GPU 训练仅需 12 小时。
2024-10-03 cs.LG cs.RO
ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration
NVIDIA(英伟达);Apple(苹果公司);Amazon(亚马逊公司)
ResMoE 提出利用 Wasserstein 重心提取公共专家并近似残差,以一次性、数据无关且无需重训练的方式压缩 MoE 大语言模型,在保持可比性能的同时将专家参数最多减少 75%。
2025-03-10 cs.LG
Regime-Gated Residual Mixture-of-Experts for Cross-Sectional Volatility Forecasting
School of Computing, Montclair State University(蒙特克莱尔州立大学计算机学院)
本文针对金融波动率的 regime 依赖性问题,提出 RG-ResMoE 架构,将 regime 信息仅用于专家路由,在美、日股票波动率预测中,该模型在精度和稳定性上均优于 MLP。
2026-08-13 cs.LG q-fin.ST
Deep Residual Networks and Weight Initialization
RIKEN(理化学研究所)
残差网络(ResNet)是实现真正深度神经网络的成功训练的最先进的架构。还已知神经网络的良好权重初始化避免了梯度消失/爆炸的问题。本文分析了ResNets的简化模型。我们认为ResNet的优点与ResNet对初始权重的选择相对不敏感的事实相关。我们还演示了批量归一化如何在不调整权重初始值的情况下改进深度ResNet的反向传播。
2017-09-09 cs.LG stat.ML
Deep Mixtures of Unigrams for uncovering Topics in Textual Data
University of Bologna(博洛尼亚大学)
Unigrams的混合是聚类文本数据的最简单和最有效的工具之一,因为它们假设与同一主题相关的文档具有相似的术语分布,自然由Multinomials描述。当分类任务特别具有挑战性时,例如当文档-术语矩阵是高维且极其稀疏时,更复合的表示可以提供对分组结构的更好的洞察。在这项工作中,我们开发了一个深度版本的Unigrams混合物,用于对具有大量术语的非常短的文档进行无监督分类,允许模型具有更深的潜在层;该提案是在贝叶斯框架中得出的。根据经验将Unigrams的深度混合的行为与其他传统的和最先进的方法的行为进行比较,即$k$ -具有余弦距离的平均值,$k$ -具有根据语义分析转换的数据的欧几里得距离的平均值,围绕中心点的分区,基于语义的转换数据的高斯混合,根据具有余弦相异度的Ward方法的分层聚类,潜在Dirichlet分配,通过期望最大化算法、谱聚类和亲和传播聚类估计的Unigrams的混合。性能的评价方面的正确分类率和调整后的兰德指数。仿真研究和实际数据分析证明,对此类数据进行深入聚类,可以大大提高分类精度。
2020-12-09 cs.LG stat.ML
Global Convergence of Gradient Descent for Deep Linear Residual Networks
Princeton University(普林斯顿大学)
通过提出一种新的初始化方法:零非对称(ZAS)初始化,分析了深度线性残差网络的梯度下降算法的全局收敛性.它的动机是避免鞍点的稳定流形。我们证明了在ZAS初始化下,对于任意目标矩阵,梯度下降算法在$O(L^3 \log(1/\varepsilon))$迭代中收敛到$\varepsilon$ -最优点,该最优点与网络深度$L$成多项式关系.我们的结果和标准初始化(Xavier或近似恒等式)的$\exp(Ω(L))$收敛时间[Shamir,2018]一起证明了残差结构和初始化在深度线性神经网络优化中的重要性,特别是当$L$很大时。
2019-11-02 cs.LG stat.ML
Residual Encoder-Decoder Network for Deep Subspace Clustering
Peking University(北京大学)
子空间聚类的目标是对位于低维线性子空间的并集中的未标记数据进行聚类。基于自动编码器的深度子空间聚类方法已经成为解决子空间聚类问题的一种非常流行的方法。然而,当前深度方法的训练收敛缓慢,这比传统方法效率低得多。我们提出了一种用于深度子空间聚类的残差编码器-解码器网络(RED-SC),它将卷积层和去卷积层与跳过层连接对称地连接起来,使用这种连接,训练收敛得更快。我们使用一个自我表达层,通过多个潜在空间的不同潜在表示来生成更准确的线性表示系数。实验结果表明,RED-SC算法在训练效率和聚类准确率上都具有一定的优势。此外,我们是第一个将残差编码器-解码器应用于无监督学习任务的人。
2019-10-12 cs.LG stat.ML
Generalization bounds for neural ordinary differential equations and deep residual networks
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室)
本文针对连续时间参数的神经常微分方程及相应深度残差网络,基于Lipschitz论证推导泛化界,并数值验证权重差异对泛化能力的影响。
2023-10-11 cs.LG stat.ML
Discrete and Continuous Deep Residual Learning Over Graphs
Universidade Federal do Rio Grande do Sul(南里奥格兰德联邦大学);Università Degli Studi di Siena(锡耶纳大学)
在本文中,我们提出了使用连续的剩余模块的图形内核的图神经网络。我们展示了离散和连续残差层如何允许更强大的训练,因为连续残差层是通过常微分方程(ODE)求解器集成以产生输出的残差层。我们的实验表明,当使用多层时,这些残差比使用非残差模块的残差获得更好的结果,减轻了基于GCN的模型的低通滤波效果。最后,我们应用和分析这些技术的行为,并指出这种技术如何在其他领域是有用的,允许更多的可预测的行为下的动态时间的计算。
2019-11-26 cs.LG stat.ML
Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
Peking University(北京大学);Georgia Institute of Technology(佐治亚理工学院)
深度残差网络(ResNets)比深度前馈网络(FFNets)具有更好的泛化性能。然而,这种现象背后的理论在很大程度上仍然是未知的。本文从所谓的“神经切线核“的角度研究了深度学习中的这个基本问题。具体来说,我们首先证明,在适当的条件下,随着宽度趋于无穷大,训练深度ResNets可以被视为学习具有某些核函数的再生核函数。然后,我们将深度ResNets的内核与深度FFNets的内核进行比较,发现由FFNets的内核诱导的函数类是渐进不可学习的,因为深度是无穷大的。相比之下,由ResNets的内核诱导的函数类并没有表现出这种退化。我们的发现部分证明了深度ResNets在泛化能力方面优于深度FFNets。数值结果支持我们的主张。
2020-12-22 cs.LG stat.ML
PRIME: Mitigating Subgroup Optimization Competition in Shared CTR Top Networks with Plug-in Residual Input-Conditioned Mixture of Expert
Ant Group(蚂蚁集团);Henan Polytechnic University(河南理工大学);Alibaba Inc.(阿里巴巴集团)
PRIME以Dense为锚点的残差输入条件混合专家,解决共享CTR顶层网络的子组优化竞争,在Avazu、Criteo等数据集上提升AUC、降低LogLoss且优于APG,参数更少、延迟更低。
2026-09-01 cs.IR cs.LG
Deep Anomaly Detection by Residual Adaptation
University of Edinburgh(爱丁堡大学);Technische Universität Berlin(柏林工业大学)
深度异常检测是一项困难的任务,因为在高维中,当仅给出正态性的示例时,很难完全表征“差异性”的概念。在本文中,我们提出了一种新的深度异常检测方法,该方法基于使用残差校正来增强大型预训练网络,从而将其调整为异常检测任务。我们的方法产生了一个高度参数有效的学习机制,增强了预训练模型中表示的解纠缠,并优于所有现有的异常检测方法,包括使用预训练网络的其他基线。例如,在CIFAR-10单次与休息基准上,我们的技术将最先进的平均AUC从96.1提高到99.0。
2020-10-05 cs.LG stat.ML
Autoencoder Based Residual Deep Networks for Robust Regression Prediction and Spatiotemporal Estimation
University of Chinese Academy of Sciences(中国科学院大学);Keck School of Medicine, University of Southern California(南加州大学凯克医学院)
为了具有更好的泛化能力,深度学习神经网络通常需要大量的训练样本。随着隐藏层的增加,以提高学习能力,神经网络有潜在的精度下降。这两者都可能严重限制深度学习在某些领域的适用性,特别是涉及小样本连续变量的预测。受计算机视觉中的残差卷积神经网络和神经科学中大脑中关键捷径的最新发现的启发,我们提出了一种基于自动编码器的残差深度网络,用于鲁棒预测。在一个嵌套的方式,我们利用快捷连接来实现残差映射与一个平衡的结构,有效地传播误差信号。通过多个数据集、高时空分辨率气溶胶光学厚度非随机缺失值的填补和<2.5 μm细颗粒物的时空估计,验证了该方法的准确性和高效性。我们的方法也是一个通用的回归学习器,适用于不同的领域。
2018-12-29 cs.LG stat.ML
Deep Residual Reinforcement Learning
University of Oxford(牛津大学)
我们在无模型和基于模型的强化学习设置中重新审视残差算法。我们提出了双向目标网络技术来稳定残差算法,产生DDPG的残差版本,在DeepMind Control Suite基准测试中显著优于vanilla DDPG。此外,我们发现残差算法是一种有效的方法,分布失配问题的基于模型的规划。与现有的TD($k$)方法相比,我们的残差为基础的方法,使更弱的假设模型,并产生更大的性能提升。
2020-01-23 cs.AI cs.LG stat.ML
Multi-residual Mixture of Experts Learning for Cooperative Control in Multi-vehicle Systems
Massachusetts Institute of Technology(麻省理工学院);Toyota InfoTech Labs(丰田信息技术实验室)
针对自动驾驶车辆在多样交通场景下的拉格朗日交通控制泛化难题,提出MRMEL框架,通过混合专家机制动态选择名义策略并学习残差校正进行增强,实验证明其在多城交叉口协同生态驾驶中能额外减少4%-9%的车辆总排放。
2025-07-14 cs.AI cs.LG cs.MA
Deep Unsupervised Clustering Using Mixture of Autoencoders
University of Michigan(密歇根大学);Technicolor(特艺集团);Adobe(Adobe公司)
无监督聚类是机器学习中最基本的挑战之一。一个流行的假设是,数据是从一个低维非线性流形的联合产生的,因此聚类的方法是识别和分离这些流形。在本文中,我们提出了一种新的方法来解决这个问题,通过使用混合的自动编码器。我们的模型由两部分组成:1)一个自动编码器的集合,其中每个自动编码器学习一组相似对象的底层流形,以及2)混合分配神经网络,它将来自自动编码器的级联潜在向量作为输入并推断集群上的分布。通过联合优化这两个部分,我们同时将数据分配给集群并学习每个集群的底层流形。
2017-12-26 cs.LG stat.ML
Implicit regularization of deep residual networks towards neural ODEs
Sorbonne Université(索邦大学);ENS(巴黎高等师范学院);LPSM(数学与计算机科学实验室);DMA(应用数学实验室)
本文建立了深度残差网络向神经常微分方程的隐式正则化理论,证明在梯度流训练下离散化关系全程保持,并在Polyak-Lojasiewicz条件下保证收敛到全局最小值。
2024-07-05 cs.LG stat.ML
Stronger Convergence Results for Deep Residual Networks: Network Width Scales Linearly with Training Data Size
ASELSAN Inc.(ASELSAN公司)
深度神经网络是具有高度表达力的机器学习模型,能够对任意数据集进行插值。深度网络通常通过一阶方法进行优化,优化过程主要取决于网络和数据集的特征。这项工作揭示了网络大小与数据集属性之间的关系,重点是深度残差网络(ResNets)。我们的贡献是,如果网络雅可比矩阵是满秩的,则二次损失和平滑激活的梯度下降收敛到全局最小值,即使ResNet的网络宽度$m$与样本量$n$成线性比例,并且与网络深度无关。据我们所知,这是第一个工作,它提供了一个理论保证神经网络的收敛在$m=Ω(n)$制度。
2019-11-11 cs.LG stat.ML
From Deep to Shallow: Transformations of Deep Rectifier Networks
The University of Western Australia(西澳大利亚大学);The University of New South Wales(新南威尔士大学)
在本文中,我们介绍了深整流网络的转换,使深整流网络转换成浅整流网络。我们随后证明,任何整流器网络的任何深度可以表示的最大数量的功能,可以实现一个浅网络与一个单一的隐藏层。通过对深度整流器网络和深度残差网络的变换,证明了残差网络相对于传统神经网络的优势和深度神经网络相对于浅神经网络的优势。总之,对于具有不同深度但具有相同的隐藏单元总数的两个整流器网络,较深网络的对应单个隐藏层表示比较浅网络的对应单个隐藏层表示复杂得多。类似地,对于除了剩余网络中的跳跃连接之外具有相同结构的剩余网络和常规整流器网络,剩余网络的对应的单隐层表示比常规网络的对应的单隐层表示复杂得多。
2017-03-30 cs.LG stat.ML
Learning to Adapt Clinical Sequences with Residual Mixture of Experts
University of Pittsburgh(匹兹堡大学)
电子健康记录(EHR)中的临床事件序列记录了有关患者病情和患者护理的详细信息,因为它们及时发生。近年来,机器学习社区对开发机器学习模型解决EHR中定义的不同类型的问题的兴趣越来越大。最近,神经序列模型,如RNN和LSTM,成为流行和广泛应用的模型,用于表示患者序列数据和基于这些数据预测未来事件或结果。然而,单个神经序列模型可能无法正确地表示所有患者的复杂动力学及其行为差异。在这项工作中,我们的目标是通过改进一个适合所有的模型,使用混合专家(MoE)架构,以减轻这种限制。该架构由多个(专家)RNN模型组成,覆盖患者亚群并细化基础模型的预测。也就是说,我们不是从头开始训练专家RNN模型,而是在残差信号上定义它们,试图对群体模型的差异进行建模。通过由RNN组成的多个专家对各种患者序列的异质性进行建模。特别地,我们不是直接从头开始训练MoE,而是基于来自预训练的基础GRU模型的预测信号来增强MoE。通过这种方式,专家的混合专家模型可以提供对单基RNN模型的(有限的)预测能力的灵活适应。我们用新提出的模型对真实世界的EHR数据和多变量临床事件预测任务进行了实验。我们使用GRU(Gated Recurrent Units)实现RNN。与单个RNN预测相比,我们在AUPRC统计数据上显示出4.1%的增益。
2022-04-06 cs.AI cs.CY cs.LG
Deep Clustering Based on a Mixture of Autoencoders
Bar-Ilan University(巴伊兰大学)
在本文中,我们提出了一种基于深度自动编码器混合的深度自动编码器混合聚类(DAMIC)算法,其中每个聚类由一个自动编码器表示。聚类网络将数据转换到另一个空间,然后选择其中一个聚类。接下来,使用与该聚类相关联的自动编码器来重建数据点。聚类算法联合学习非线性数据表示和自编码器集合。通过最小化混合自编码器网络的重构损失来寻找最优聚类。与其他深度聚类算法不同,不需要正则化项来避免数据崩溃到单个点。我们对图像和文本语料库的实验评估表明,国家的最先进的方法显着改善。
2019-03-27 cs.AI cs.LG stat.ML
Batch Normalization Biases Residual Blocks Towards the Identity Function in Deep Networks
DeepMind(深度思维)
批量归一化极大地增加了残差网络的最大可训练深度,这一优势对于深度残差网络在广泛的基准测试中取得经验性成功至关重要。我们发现,这一关键的好处,因为在初始化,批量归一化缩小规模的剩余分支相对于跳过连接,通过一个归一化因子的网络深度的平方根的顺序。这确保了在训练的早期,由深度网络中的归一化残差块计算的函数接近于单位函数(平均而言)。我们利用这一洞察力开发了一个简单的初始化方案,可以训练深度残差网络,而无需归一化。我们还提供了对残差网络的详细实证研究,阐明了尽管批量归一化网络可以用更大的学习率进行训练,但这种效果仅在特定的计算机制中有益,并且当批量大小很小时,这种效果微乎其微。
2020-12-09 cs.CV cs.LG stat.ML
Algorithm-Dependent Generalization Bounds for Overparameterized Deep Residual Networks
University of California, Los Angeles(加州大学洛杉矶分校)
残差网络中使用的跳过连接已经成为深度学习中的标准架构选择,因为这种架构提高了训练稳定性和泛化性能,尽管对这种改进的理论理解有限。在这项工作中,我们分析了随机初始化后通过梯度下降训练的过参数化深度残差网络,并证明了(i)通过梯度下降学习的网络类构成了整个神经网络函数类的一个小子集,(ii)这个网络子类足够大,可以保证小的训练误差。通过展示(i),我们能够证明用梯度下降训练的深度残差网络在训练和测试误差之间有一个小的泛化差距,并且(ii)这保证了测试误差很小。我们的优化和泛化保证需要在网络深度上仅为对数的overparameterization,而所有已知的深度非残差网络的泛化边界都具有在深度上至少为多项式的overparameterization要求。这就解释了为什么残差网络比非残差网络更可取。
2019-10-07 cs.LG math.OC stat.ML
Deep Gaussian Mixture Ensembles
J.P. Morgan AI Research(摩根大通人工智能研究院)
本研究提出深度高斯混合集成(DGMEs)技术,通过EM算法学习模型参数与混合权重,可量化两类不确定性、近似复杂分布,在复杂预测密度任务中性能优于现有先进模型。
2023-06-12 cs.LG stat.ME stat.ML
Training of deep residual networks with stochastic MG/OPT
Euler Institute, Università della Svizzera Italiana(瑞士意大利语区大学欧拉研究所)
我们训练深残差网络的随机变量的非线性多重网格方法MG/OPT. To建立多级层次结构,我们使用动力系统的观点,具体到残差网络。我们报告了在深度残差网络上训练MNIST的显着速度提升和额外的鲁棒性。我们的数值实验还表明,多级训练可以用作修剪技术,因为许多辅助网络具有与原始网络相当的精度。
2021-08-09 cs.LG
Who invented deep residual learning?
IDSIA(Dalle Molle人工智能研究所)
该研究通过梳理深度残差学习的演进时间线,追溯残差连接及这一21世纪最高引神经网络论文背后的发明归属。
2025-09-29 cs.LG cs.NE
Short-term Load Forecasting with Deep Residual Networks
Tsinghua University(清华大学);Beijing Jiaotong University(北京交通大学);ETH Zürich(苏黎世联邦理工学院);University of Southern California(南加州大学)
提出了一种基于深度残差网络的短期电力负荷预测模型。该模型能够通过不同的神经网络构建模块来整合领域知识和研究人员对任务的理解。具体而言,一个修改后的深度残差网络制定,以改善预测结果。此外,一个两阶段的集成策略被用来提高所提出的模型的泛化能力。我们还将该模型应用于概率负荷预测,使用蒙特卡罗辍学。三个公共数据集被用来证明所提出的模型的有效性。多个测试案例和与现有模型的比较表明,该模型能够提供准确的负荷预测结果,并具有较高的泛化能力。
2018-05-30 cs.LG stat.AP stat.ML
Model selection for deep audio source separation via clustering analysis
Northwestern University(西北大学)
音频源分离是将混合(例如流行乐队录音)分离为来自各个源(例如仅主唱)的孤立声音的过程。深度学习模型是源分离领域的最新技术,因为要分离的混合与深度模型训练的混合相似。这要求最终用户充分了解每个模型的训练,以便为给定的音频混合选择正确的模型。在这项工作中,我们自动选择适当的模型的音频混合。我们提出了一种置信度度量,该度量不需要地面实况来估计分离质量,给定深度模型和音频混合。我们使用此置信度来自动选择具有最佳预测分离质量的模型输出。我们比较我们的信心为基础的合奏方法,使用单独的模型没有选择,一个神谕,总是选择最好的模型和随机模型选择器。结果表明,我们的信心为基础的合奏显着优于一般的混合物和方法的音乐混合物的甲骨文性能的随机合奏。
2020-07-26 cs.LG cs.SD eess.AS
Prediction Model for Semitransparent Watercolor Pigment Mixtures Using Deep Learning with a Dataset of Transmittance and Reflectance
Graduate Institute of Networking & Multimedia(网络与多媒体研究所);National Taiwan University(台湾大学);Department of Computer Science & Information Engineering(计算机科学与信息工程系);NTU IoX Center(台湾大学IoX中心)
学习色彩混合对新手画家来说是困难的。为了支持新手画家在学习颜色混合,我们提出了一个预测模型的透明颜料混合物,并使用其预测结果创建一个智能调色系统。这样的系统是通过首先构建具有两种类型的颜色混合数据的水彩数据集来构建的,所述颜色混合数据由透射率和反射率表示:相同的主要颜料的增量和两种不同颜料的混合物。接下来,我们将收集的数据应用于深度神经网络,以训练一个模型来预测透明颜料混合物的结果。最后,我们构建了一个智能混合器,它提供了在现实生活中将目标颜色与两种主要颜料混合的易于遵循的指令:当用户从图像中选择一个像素(RGB颜色)时,系统将返回其混合配方,该配方指示正在使用的两种主要颜料及其数量。
2019-03-30 cs.GR cs.LG stat.ML
Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks
University of Pisa(比萨大学)
本文提出深度残差回声网络,通过引入时间残差正交连接提升未训练RNN的长期记忆和时间建模能力。
2026-08-11 cs.AI cs.LG
DeepcomplexMRI: Exploiting deep residual network for fast parallel MR imaging with complex convolution
Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心);Research Center for Medical AI, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院医学人工智能研究中心);Shenzhen College of Advanced Technology, University of Chinese Academy of Sciences(中国科学院大学深圳先进技术学院);The State University of New York, Buffalo(纽约州立大学布法罗分校)
本文提出了一种多通道图像重建方法,命名为Deepcomplex MRI,以加速并行MR成像与剩余复杂卷积神经网络。与大多数依赖于利用线圈灵敏度或预定义变换的先验信息的现有工作不同,DeepcomplexMRI利用大量现有多通道groundtruth图像的可用性,并将其用作标记数据来离线训练深度残差卷积神经网络。特别地,提出了一种复杂的卷积网络,以考虑MR图像的实部和虚部之间的相关性。此外,k空间数据一致性进一步在网络的层之间重复地实施。在活体数据集上的评价表明,该方法具有恢复所需的多通道图像的能力。与现有方法的比较也表明,该方法能够更准确地重建出所需的MR图像。
2019-07-29 cs.LG eess.IV stat.ML