Anti-Symmetric DGN: a stable architecture for Deep Graph Networks
University of Pisa（比萨大学）
深度图网络（DGN）目前主导着从图中学习的研究领域，这是由于它们在节点之间实现自适应消息传递方案的效率和能力。然而，DGN通常受限于其传播和保持节点之间的长期依赖性的能力，即，它们遭受过度挤压现象。这降低了它们的有效性，因为预测问题可能需要在不同的、可能是大的半径处捕获相互作用，以便有效地解决。在这项工作中，我们提出了反对称深度图网络（A-DGNS），这是一个稳定和非耗散的DGN设计框架，通过常微分方程的镜头来构思。我们给出了理论证明，我们的方法是稳定的和非耗散的，导致两个关键结果：节点之间的远程信息被保存，并且在训练中不会发生梯度消失或爆炸。我们在几个图形基准上实证验证了所提出的方法，表明A-DGN可以提高性能，即使使用几十层也可以有效地学习。
2023-02-08 cs.LG
Stable behaviour of infinitely wide deep neural networks
University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛·阿尔贝托学院）；Bocconi University（博科尼大学）；Cogent Labs（Cogent实验室（注：根据机构粒度要求，若实验室本身是独立机构则提取，此处Cogent Labs作为独立实验室提取））
我们考虑全连接前馈深度神经网络（NN），其中权重和偏差独立且同分布为对称中心稳定分布。然后，我们证明了神经网络的无限宽极限，在适当的缩放的权重，是一个随机过程，其有限维分布是多元稳定分布。极限过程被称为稳定过程，并且它将最近获得的高斯过程类推广为NN的无限宽极限（Matthews等人，2018年b）。稳定过程的参数可以通过网络各层上的显式递归来计算。我们的结果有助于全连接前馈深度神经网络的理论，并为扩展依赖高斯无限宽极限的最新研究路线铺平了道路。
2020-03-01 cs.LG stat.ML
Deep Radial Kernel Networks: Approximating Radially Symmetric Functions with Deep Networks
University of Otago（奥塔哥大学）
我们证明了特定的深度网络架构在近似径向对称函数方面比最知名的2层或3层网络更有效。我们使用这种架构来近似高斯核SVM，并随后通过进一步的训练对其进行改进。深度径向核网络的架构和初始权重完全由SVM指定，因此避免了根据经验选择适当深度网络架构的问题。
2017-03-09 cs.LG
Spectral Manifold Regularization for Stable and Modular Routing in Deep MoE Architectures
Ibrahim Delibasoglu（独立研究者）
SR-MoE 通过谱正则化方法解决深度 MoE 架构中的专家崩溃问题，保持结构模块化并实现稳定终身学习。
2026-01-07 cs.AI cs.LG
A Stable Variational Autoencoder for Text Modelling
University of Aberdeen（阿伯丁大学）；University of Sheffield（谢菲尔德大学）
变分自编码器（VAE）是一种学习高维数据表示的有效方法。然而，VAE可能会遇到一个被称为潜在变量崩溃（或KL损失消失）的问题，其中后验崩溃到先验，模型将忽略生成任务中的潜在代码。当采用VAE-RNN架构进行文本建模时，这样的问题特别普遍（Bowman等人，2016）。在本文中，我们提出了一个简单的架构称为整体正则化VAE（HR-VAE），它可以有效地避免潜在变量崩溃。与现有的VAE-RNN架构相比，我们表明我们的模型可以实现更稳定的训练过程，并且可以生成质量更好的文本。
2019-11-13 cs.CL cs.LG
Deep Stable neural networks: large-width asymptotics and convergence rates
University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛·阿尔贝托学院）；Bocconi University（博科尼大学）；Cogent Labs（Cogent实验室）
在现代深度学习中，关于深度高斯神经网络（NN）（即具有高斯分布权重的深度NN）的大宽度渐近性质与高斯随机过程（SP）之间的相互作用，最近有越来越多的文献。这种相互作用在高斯SP先验下的贝叶斯推断、通过梯度下降训练的无限宽深度NN的核回归以及无限宽NN内的信息传播中被证明是至关重要的。受实证分析的启发，这些分析显示了用NN权重的稳定分布取代高斯分布的潜力，在本文中，我们对（全连接）前馈深度稳定NN的大宽度渐近行为进行了严格分析，即具有稳定分布权重的深度NN。我们表明，随着宽度在NN的层上联合趋于无穷大，即“联合增长”设置，重新缩放的深度稳定NN弱收敛到稳定SP，其分布通过NN的层递归表征。由于NN的非三角形结构，这是一个非标准的渐近问题，我们提出了一个独立的兴趣归纳方法。然后，我们建立了重新缩放的深度稳定NN到稳定SP的超范数收敛速度，在NN层的宽度的“联合增长”和“顺序增长”下。这样的结果提供了“联合增长”和“顺序增长”设置之间的差异，表明前者导致比后者更慢的速率，这取决于层的深度和NN的输入数量。我们的工作扩展了一些最近的结果无限宽的限制深高斯神经网络更一般的深稳定神经网络，提供了第一个结果的收敛速度在“联合增长”设置。
2022-06-23 cs.LG math.PR math.ST
A Novel Schur Decomposition-Based Weight Projection Method for Stable State-Space Neural-Network Architectures
Computational Engineering（计算工程部）；LUT University（卢托大学）；DEIB（迪埃比部门）；Politecnico di Milano（米兰理工学院）
本文提出基于Schur分解的稳定保证投影方法，用于线性离散时间状态空间层的状态矩阵，通过动态投影近似稳定同伴以确保稳定动态，实验表明其在准确性和收敛速度上与现有稳定系统识别技术相当。
2026-10-22 cs.LG cs.SY eess.SY
ImitationFlow: Learning Deep Stable Stochastic Dynamic Systems by Normalizing Flows
TU Darmstadt（达姆施塔特工业大学）；University of Verona（维罗纳大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们引入了ImitationFlow，这是一种新型的深度生成模型，允许学习复杂的全局稳定，随机，非线性动力学。我们的方法扩展了规范化流框架来学习稳定的随机微分方程。我们证明了一类随机微分方程的李雅普诺夫稳定性，我们提出了一个学习算法，学习他们从一组演示的轨迹。我们的模型扩展了可以用最先进的方法表示的稳定动力系统的集合，消除了演示中的高斯假设，并且在表示精度方面优于以前的算法。我们证明了我们的方法与标准数据集和一个真正的机器人实验的有效性。
2020-10-25 cs.LG cs.RO
Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）
贝叶斯优化（BO）是寻找黑箱函数全局最优解的一种有效方法。最近，BO已被应用于神经结构搜索，并显示出比纯进化策略更好的性能。这些方法都采用高斯过程（GP）作为代理函数，以手工相似性度量作为输入。在这项工作中，我们提出了一个贝叶斯图神经网络作为一个新的代理，它可以自动从深度神经架构中提取特征，并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理，我们开发了一个图贝叶斯优化框架，以解决深度神经架构搜索的挑战性任务。实验结果表明，我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
A novel Deep Neural Network architecture for non-linear system identification
University of Padova（帕多瓦大学）
提出了一种用于非线性系统辨识的新型深度神经网络（DNN）架构。我们通过限制DNN的表示能力来促进泛化。为了做到这一点，受衰落记忆系统的启发，我们引入了归纳偏置（在架构上）和正则化（在损失函数上）。该架构允许仅基于可用数据的自动复杂度选择，以这种方式减少了必须由用户选择的超参数的数量。利用高度并行化的DNN框架（基于随机优化方法），我们成功地将我们的方法应用于大规模数据集。
2021-06-06 cs.LG
A Review of the Convergence of 5G/6G Architecture and Deep Learning
5G架构与深度学习的融合，无论是在无线通信领域，还是在人工智能领域，都收获了不少研究兴趣。这是因为深度学习技术已被确定为构成5G架构的5G技术的潜在驱动力。因此，对5G架构和深度学习的融合进行了广泛的调查。然而，大多数现有的调查论文主要集中在深度学习如何与特定的5G技术融合，因此没有涵盖5G架构的全部内容。尽管最近有一篇调查论文看起来很有说服力，但对该论文的回顾表明，它的结构并没有很好地涵盖深度学习和5G技术的融合。因此，本文对关键5G技术和深度学习的融合进行了全面概述。这种融合所面临的挑战进行了讨论。此外，还简要概述了未来的6 G架构，以及它如何与深度学习融合。
2022-08-16 cs.AI cs.LG cs.NI
Effects of the optimisation of the margin distribution on generalisation in deep architectures
University of Otago（奥塔哥大学）；Nanjing University（南京大学）
尽管对支持向量机的成功至关重要，但分离边缘最大化的原则并没有用于深度学习。我们表明，最小化的利润率方差，而不是最大化的利润率更适合于提高深度架构的泛化。我们提出了中途损失函数，该函数可以最小化深度学习模型输出的归一化边缘方差（NMV），并在MNIST，smallNORB和CIFAR-10数据集上评估其对Softmax交叉熵损失的性能。
2017-04-19 cs.LG
Understanding Deep Architectures with Reasoning Layer
Georgia Institute of Technology（佐治亚理工学院）；University of Oxford（牛津大学）
最近，人们对将深度学习模型与推理相结合以处理更复杂的学习任务的兴趣激增。在许多情况下，推理任务可以通过迭代算法来解决。该算法通常被展开，并用作深度架构中的专用层，可以与其他神经组件进行端到端训练。虽然这种混合深度架构已经取得了许多经验上的成功，但这种架构的理论基础，特别是算法层和其他神经层之间的相互作用，在很大程度上仍然没有得到探索。在本文中，我们通过展示算法层的属性（如收敛性、稳定性和灵敏度）与端到端模型的近似和泛化能力密切相关，从而迈出了理解这种混合深度架构的第一步。此外，我们的分析与我们在各种条件下的实验观察结果非常吻合，这表明我们的理论可以为设计具有推理层的深层架构提供有用的指导。
2020-10-29 cs.LG stat.ML
UPR: A Model-Driven Architecture for Deep Phase Retrieval
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
相位恢复问题由于其广泛的应用而引起了研究人员的兴趣。相位恢复算法的任务通常是从线性无相位测量中恢复信号。在本文中，我们通过提出一种基于混合模型的数据驱动的深度架构（称为展开相位检索（UPR））来解决这个问题，该架构在提高最先进的相位检索算法的性能方面具有潜力。具体而言，所提出的方法受益于基于模型的算法的通用性和可解释性，同时受益于深度神经网络的表达能力。我们的数值结果说明了这种混合深度架构的有效性，并展示了数据辅助方法在增强现有相位恢复算法方面的未开发潜力。
2020-03-09 cs.LG eess.SP math.OC
Stable ResNet
Deep ResNet架构已经在许多任务上实现了最先进的性能。虽然它们解决了梯度消失的问题，但随着深度变大，它们可能会遭受梯度爆炸（Yang et al. 2017）。此外，最近的研究结果表明，随着深度的无限大，ResNet可能会失去表达能力（Yang et al. 2017，Hayou et al. 2019）。为了解决这些问题，我们引入了一类新的ResNet架构，称为Stable ResNet，它具有稳定梯度的特性，同时确保无限深度限制的表达能力。
2021-03-18 cs.LG stat.ML
DeepLCZChange: A Remote Sensing Deep Learning Model Architecture for Urban Climate Resilience
DLR（德国航空航天中心）
该研究提出面向城市气候韧性的遥感深度学习架构DeepLCZChange，关联机载LiDAR与Landsat 8温度数据，并通过纽约市的概念验证实验验证了城市森林的降温效应。
2023-06-09 cs.AI cs.CV cs.LG
Infinitely wide limits for deep Stable neural networks: sub-linear, linear and super-linear activation functions
University of Warwick（华威大学）；University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛·阿尔贝托学院）；Bocconi University（博科尼大学）
本文研究了深度 Stable 神经网络的大宽度性质，在宽度顺序增长假设下，利用广义中心极限定理将无限宽极限的刻画推广至包含次线性、渐近线性和超线性的通用激活函数类，揭示了其缩放与极限稳定性依赖于激活函数选择，区别于高斯设置。
2023-04-08 cs.LG stat.ML
Performance Comparison of Deep Learning Architectures for Artifact Removal in Gastrointestinal Endoscopic Imaging
Doshisha University（同志社大学）
内窥镜图像通常包含若干伪影。伪影严重影响计算机辅助诊断中的图像分析结果。卷积神经网络（CNN）是一种深度学习，可以消除这些伪影。已经为CNN提出了各种架构，并且伪影去除的准确性取决于架构的选择而变化。因此，有必要根据所选架构确定伪影去除精度。在这项研究中，我们专注于内窥镜手术器械作为伪影，并确定和讨论使用七种不同的CNN架构的伪影去除精度。
2022-01-01 cs.CV cs.LG eess.IV
Are Deep Neural Architectures Losing Information? Invertibility Is Indispensable
Australian National University（澳大利亚国立大学）；Data61-CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）
自从AlexNet出现以来，为不同任务设计新颖的深度神经架构一直是一个富有成效的研究方向。尽管各种架构在实践中表现出色，但我们研究了一个理论问题：深度神经架构保留输入数据的所有信息的条件是什么？识别深度神经架构的信息无损条件非常重要，因为诸如图像复原之类的任务需要尽可能多地保留输入数据的详细信息。使用互信息的定义，我们表明：当且仅当该结构是可逆的时，深度神经结构可以保留关于给定数据的最大细节。我们验证了我们的可逆恢复自动编码器（IRAE）网络的优势，通过比较它与竞争对手的模型在三个扰动的图像复原任务：图像去噪，JPEG图像解压缩和图像修补。实验结果表明，IRAE始终优于不可逆的。我们的模型甚至包含更少的参数。因此，尝试用它们的可逆对应物替换深度神经架构的标准组件（如残差块和ReLU）可能是值得的。我们相信我们的工作为未来的深度学习研究提供了独特的视角和方向。
2020-09-29 cs.CV cs.IT cs.LG
Comprehensive Evaluation of Deep Learning Architectures for Prediction of DNA/RNA Sequence Binding Specificities
Colorado State University（科罗拉多州立大学）
动机：深度学习架构最近已经证明了它们在预测DNA和RNA结合特异性方面的能力。现有的方法分为三类：一些基于卷积神经网络（CNN），其他使用递归神经网络（RNN），以及其他依赖于结合CNN和RNN的混合架构。然而，根据现有的研究，仍然不清楚哪种深度学习架构能够实现最佳性能。因此，需要对不同的方法进行深入的分析和评价，以充分评价它们的相对性。结果：在这项研究中，我们系统地探索了用于预测DNA和RNA结合特异性的各种深度学习架构。为此，我们提出了deepRAM，一个端到端的深度学习工具，提供了一个新的和以前提出的架构的实现;其全自动模型选择过程使我们能够执行一个公平和公正的比较深度学习架构。我们发现，使用k-mer嵌入来表示序列、卷积层和递归层的架构在模型准确性方面优于所有其他方法。我们的工作提供了指导方针，将帮助从业者为手头的任务选择最佳架构，并提供了一些关于卷积和递归网络学习的模型之间差异的见解。特别是，我们发现，尽管递归网络提高了模型的准确性，但这是以损失模型学习到的特征的可解释性为代价的。可用性和实现：deepRAM的源代码可在https://github.com/MedChaabane/deepRAM上获得
2019-01-29 cs.LG q-bio.QM stat.ML
GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training
University of Maryland（马里兰大学）；Google Research（谷歌研究院）
神经架构的创新促进了语言建模和计算机视觉的重大突破。不幸的是，如果网络参数没有正确初始化，新的架构通常会导致具有挑战性的超参数选择和训练不稳定性。已经提出了许多特定于体系结构的初始化方案，但这些方案并不总是可移植到新的体系结构。本文介绍了GradInit，一个自动化和架构无关的方法初始化神经网络。GradInit基于一个简单的启发式算法;调整每个网络层的范数，以便SGD或Adam的单步的与规定的超参数产生最小的可能损失值。这种调整是通过在每个参数块前面引入标量乘数变量，然后使用简单的数值方案优化这些变量来完成的。GradInit加速了许多卷积架构的收敛和测试性能，无论是否有跳过连接，甚至没有归一化层。它还提高了用于机器翻译的原始Transformer架构的稳定性，使其能够在广泛的学习率和动量系数下使用Adam或SGD进行训练，而无需学习率预热。代码可在https://github.com/zhuchen03/gradinit上获得。
2021-11-24 cs.CL cs.CV cs.LG
Deep Active Learning with a Neural Architecture Search
Technion – Israel Institute of Technology（以色列理工学院）
我们考虑深度神经网络的主动学习。大多数主动学习作品在这方面的重点是研究有效的查询机制，并假设一个合适的网络架构是先验已知的问题。我们挑战这一假设，并提出了一种新的主动策略，使学习算法搜索有效的架构上飞，同时积极学习。我们应用我们的策略使用三个已知的查询技术（softmax响应，MC-辍学，和coresets），并表明所提出的方法压倒性地优于使用固定架构的主动学习。
2019-09-05 cs.LG stat.ML
A new architecture of high-order deep neural networks that learn martingales
Department of Engineering and Economics, School of Engineering, Institute of Science Tokyo（工程经济系，工程学院，科学研究所东京）；Department of Mathematics, School of Science, Institute of Science Tokyo（数学系，科学学院，科学研究所东京）
本文提出一种基于SDE高阶弱逼近算法的新深度神经网络架构，通过向量场的迭代复合与线性组合高效学习鞅，并验证其在金融衍生品定价中的有效性。
2025-06-05 cs.LG math.PR q-fin.CP
Quantum Entanglement in Deep Learning Architectures
The Hebrew University of Jerusalem（希伯来大学（耶路撒冷））；School of Mathematics, Institute for Advanced Study（高等研究院数学系）；Institute for Advanced Study（高等研究院）
现代深度学习在各个领域取得了前所未有的成就。尽管如此，用于波函数表示的机器学习的使用集中在更传统的架构上，例如受限玻尔兹曼机（RBM）和全连接神经网络。在这封信中，我们确定当代深度学习架构，以深度卷积和递归网络的形式，可以有效地表示高度纠缠的量子系统。通过构建这些架构的张量网络等价物，我们将网络操作中固有的信息重用确定为将它们与基于标准张量网络的表示区分开来的关键特征，并增强了它们的纠缠能力。我们的研究结果表明，这样的架构可以支持体积律纠缠缩放，多项式更有效地比目前采用的RBM。因此，除了对领先的深度学习架构的纠缠能力进行量化之外，我们的分析还正式激发了基于神经网络的波函数表示的趋势转变，更接近机器学习的最新技术。
2019-02-13 cs.LG quant-ph
Generalization Tower Network: A Novel Deep Neural Network Architecture for Multi-Task Learning
Beijing University of Aeronautics and Astronautics（北京航空航天大学）
深度学习（DL）通过将深度神经网络结合到从输入到强化学习（RL）的学习表示中来推进最先进的强化学习（RL）。然而，传统的深度神经网络架构在学习多任务RL（MT-RL）的表示方面受到限制，因为多个任务可以引用不同种类的表示。因此，在本文中，我们提出了一种新的深度神经网络架构，即泛化塔网络（GTN），它可以在单个学习模型中实现MT-RL。具体而言，GTN的架构由水平流和垂直流组成。在我们的GTN架构中，水平流用于学习类似任务中共享的表示。相比之下，垂直流被引入以更适合于处理不同的任务，其编码这些任务的分层共享知识。实验结果验证了引入垂直流的有效性。实验结果进一步验证了我们的GTN架构是能够推进国家的最先进的MT-RL，通过被测试的51 Atari游戏。
2018-01-02 cs.LG stat.ML
Stable Gradients for Stable Learning at Scale in Deep Reinforcement Learning
Mila - Québec AI Institute（魁北克AI研究院）；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
本研究通过稳定梯度流解决深度强化学习中扩展时的非平稳性和架构问题，提升大规模网络的性能。
2026-01-30 cs.LG
ForecastNet: A Time-Variant Deep Feed-Forward Neural Network Architecture for Multi-Step-Ahead Time-Series Forecasting
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Agriculture & Food, CSIRO（澳大利亚联邦科学与工业研究组织农业与食品部）
递归和卷积神经网络是深度学习文献中用于时间序列预测的最常见架构。这些网络通过在时间或空间上重复具有固定参数的一组固定架构来使用参数共享。其结果是，整个架构是时不变的（在空间域中的平移不变）或静止的。我们认为，时间不变性可以降低执行多步预测的能力，其中需要在一系列尺度和分辨率下对动态进行建模。我们提出了ForecastNet，它使用深度前馈架构来提供时变模型。ForecastNet的另一个新颖之处是交错输出，我们显示它有助于减轻消失的梯度。ForecastNet在几个数据集上的表现优于统计和深度学习基准模型。
2020-06-27 cs.LG stat.ML
On the Impact of Stable Ranks in Deep Nets
Fraunhofer IAIS（弗劳恩霍夫应用信息技术研究所）；IIT, Bombay（孟买印度理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
最近的一系列工作已经在深度神经网络（DNN）模型的泛化/压缩特性与所谓的层权重稳定秩之间建立了有趣的联系。直观地说，后者是网络中有效参数数量的指标。在这项工作中，我们解决了一些自然的问题，关于DNN的空间条件层的稳定排名，在那里我们研究前馈动态，初始化，训练和表达。为此，我们首先提出了一个随机DNN模型，该模型具有基于稳定秩的新采样方案。然后，我们展示了前馈映射如何受到约束的影响，以及训练如何在过度参数化的机制中演变（通过神经切线核）。我们的研究结果意味着，稳定的排名出现分层基本上是线性因素，其影响积累指数dependency。此外，我们提供的实证分析表明，稳定的秩初始化单独可以导致收敛速度的上升。
2021-10-05 cs.AI cs.LG math.ST
Almost Surely Stable Deep Dynamics
University of British Columbia（不列颠哥伦比亚大学）；Honeywell Process Solutions（霍尼韦尔过程解决方案）；Backstrom Systems Engineering Ltd.（巴克斯特罗姆系统工程有限公司）
我们介绍了一种从观测数据中学习可证明稳定的基于深度神经网络的动态模型的方法。具体来说，我们考虑离散时间随机动态模型，因为它们在实际应用中特别感兴趣，如估计和控制。然而，这些方面加剧了保障稳定的挑战。我们的方法通过将李雅普诺夫神经网络嵌入到动态模型中，从而内在地满足稳定性准则。为此，我们提出了两种方法，并将它们应用在确定性和随机设置：一个利用凸性的李雅普诺夫函数，而另一个通过隐式输出层强制稳定。我们通过数值例子证明了每种方法的实用性。
2021-03-26 cs.LG cs.SY eess.SY
Learning Deep Input-Output Stable Dynamics
Graduate School of Medicine（医学研究生院）；Kyoto University（京都大学）
从观测的时间序列数据中学习稳定的动力学是机器人、物理建模和系统生物学中的一个基本问题。这些动态中的许多被表示为与外部环境通信的输入-输出系统。在这项研究中，我们专注于输入输出稳定的系统，表现出对意外的刺激和噪声的鲁棒性。提出了一种保证输入输出稳定性的非线性系统学习方法。我们提出的方法利用到满足Hamilton-Jacobi不等式的空间上的可微投影来实现输入输出稳定性。找到这个投影的问题可以用公式表示为二次约束二次规划问题，我们推导出解析的特解。此外，我们将我们的方法应用于玩具模型和训练从葡萄糖-胰岛素模拟器生成的基准的任务。结果表明，与朴素神经网络相比，该方法能使非线性系统达到输入输出稳定性。我们的代码可在https://github.com/clinfo/DeepIOStability上获得。
2023-01-16 cs.LG cs.RO math.DS
Dual Memory Architectures for Fast Deep Learning of Stream Data via an Online-Incremental-Transfer Strategy
Seoul National University（首尔大学）；Naver Labs
深度神经网络的在线学习是机器学习的一个有趣问题，因为例如，主要的IT公司希望管理每天上传到网络上的海量数据的信息，而这项技术可以为下一代终身学习做出贡献。我们的目标是以最小的计算成本从新数据中训练深度模型，这些数据由新的类、分布和任务组成，我们称之为在线深度学习。不幸的是，通过经典的在线和增量方法进行的深度神经网络学习在理论和实践上都不能很好地工作。在本文中，我们介绍了在线增量式深度学习的双内存架构。所提出的架构由深度表示学习器和快速学习的浅核网络组成，两者协同跟踪新数据的信息。在训练阶段，我们使用各种在线，增量集成，和迁移学习技术，以实现较低的错误的架构。在MNIST，CIFAR-10和ImageNet图像识别任务上，所提出的双存储器架构的性能远远优于经典的在线和增量集成算法，其精度与批处理学习器相似。
2015-06-15 cs.LG
Examining Deep Learning Architectures for Crime Classification and Prediction
Information Technologies Institute, Centre for Research and Technology Hellas（希腊研究与技术中心信息技术研究所）
本文详细研究了使用深度学习架构进行犯罪分类和预测。我们研究了深度学习算法在这一领域的有效性，并提供了设计和训练深度学习系统预测犯罪领域的建议，使用来自警方报告的开放数据。以每个地点的犯罪类型时间序列作为训练数据，对3种不同的深度学习配置进行了10种最先进方法的比较研究。在我们对五个公开数据集的实验中，我们证明了基于深度学习的方法始终优于现有的最佳性能方法。此外，我们评估了深度学习架构中不同参数的有效性，并给出了配置它们的见解，以提高犯罪分类和最终犯罪预测的性能。
2018-12-03 cs.CY cs.LG stat.ML
Deep Architectures for Modulation Recognition
U.S. Naval Research Laboratory（美国海军研究实验室）；Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
我们通过将深度神经网络应用于无线电调制识别任务来调查机器学习的最新进展。结果表明，无线电调制识别不受网络深度的限制，进一步的工作应该集中在提高学习的同步和均衡。这些领域的进步可能来自为这些任务设计的新架构或新的训练方法。
2017-03-27 cs.LG
Manifold Regularization for Locally Stable Deep Neural Networks
CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT（麻省理工学院）
我们应用流形正则化的概念来开发新的正则化技术，用于训练局部稳定的深度神经网络。我们的正则化器基于图拉普拉斯算子的稀疏化，当数据在高维中稀疏时，这种稀疏化具有很高的概率，这在深度学习中很常见。从经验上讲，我们的网络在不同的扰动模型中表现出稳定性，包括$\ell_2$，$\ell_\infty$和基于Wasserstein的扰动;特别是，我们在CIFAR-10上实现了40%的对抗精度，对抗使用大小为$ε= 8/255$的$\ell_\infty$扰动的自适应PGD攻击，并且在相同的扰动模型中，最先进的验证精度为21%。此外，我们的技术是有效的，产生的开销与通过网络的两个额外的并行转发相同。
2020-09-22 cs.CV cs.LG cs.NE
GuavaNet: A deep neural network architecture for automatic sensory evaluation to predict degree of acceptability for Guava by a consumer
Rochester Institute of Technology（罗切斯特理工学院）
本论文分为两个部分：第一部分：基于计算机视觉和深度学习的图像处理的水果、蔬菜、奶酪和鱼分析：综述。它包括一个全面的审查图像处理，计算机视觉和深度学习技术应用于进行水果，蔬菜，奶酪和鱼的分析。这一部分也作为第二部分的文献综述。第二部分：GuavaNet：一个深神经网络架构的自动感官评价，以预测消费者对番石榴的接受程度。这一部分介绍了一个端到端的深度神经网络架构，可以预测的程度，由消费者的番石榴感官评价的基础上。
2021-07-05 cs.CV cs.LG eess.IV
Practical recommendations for gradient-based training of deep architectures
与人工神经网络相关的学习算法，特别是用于深度学习的学习算法，似乎涉及许多花里胡哨的东西，称为超参数。本章是一个实用指南，对一些最常用的超参数提出了建议，特别是在基于反向传播梯度和基于梯度的优化的学习算法的背景下。它还讨论了如何处理这样一个事实，即当允许调整多个超参数时，可以获得更有趣的结果。总的来说，它描述了用于成功有效地训练和调试大规模且通常是深度多层神经网络的实践要素。最后，它提出了一些关于在更深层次的架构中观察到的训练困难的开放性问题。
2012-09-16 cs.LG
Predicting Succinylation Sites in Proteins with Improved Deep Learning Architecture
Department of Electrical Engineering and Computer Science Wichita State University（威奇托州立大学电气工程与计算机科学系）；Wichita State University（威奇托州立大学（注：此处按机构粒度要求，提取到大学级别，原部门属于该大学内的部门，故保留完整部门+大学结构））
蛋白质翻译后修饰（PTMs）发生在翻译过程之后。PTM负责许多细胞过程，例如脱氧核糖核酸（DNA）修复、细胞信号转导和细胞死亡。最近的PTM之一是琥珀酰化。琥珀酰化将赖氨酸残基从$-1$修饰为$+1$。使用实验方法如质谱法定位琥珀酰化位点是非常费力的。因此，使用机器学习技术的计算方法是有利的。本文提出了一种深度学习架构来预测琥珀酰化位点。将所提出的架构的性能与最先进的深度学习架构和用于琥珀酰化的其他传统机器学习技术进行比较。它示出的性能指标，所提出的架构提供了一个很好的权衡之间的计算速度和分类精度。
2021-12-27 cs.LG q-bio.BM
Proceedings of the DATE Friday Workshop on System-level Design Methods for Deep Learning on Heterogeneous Architectures (SLOHA 2021)
本卷包含在2021年2月5日举行的第一届关于异构架构上深度学习的系统级设计方法的星期五研讨会（SLOHA 2021）上接受的论文。SLOHA 2021与欧洲设计，自动化和测试会议（DATE）位于同一地点。
2021-01-27 cs.AI cs.AR cs.CV
D2RL: Deep Dense Architectures in Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California Berkeley（加州大学伯克利分校）
虽然深度学习架构的改进在改善计算机视觉和自然语言处理中的监督和无监督学习状态方面发挥了至关重要的作用，但用于强化学习的神经网络架构选择仍然相对不足。我们从计算机视觉和生成建模的成功架构选择中汲取灵感，并在各种模拟机器人学习基准环境中研究使用更深的网络和密集连接进行强化学习。我们的研究结果表明，目前的方法从密集的连接和更深的网络中受益匪浅，在一系列操纵和运动任务中，无论是本体感受还是基于图像的观察。我们希望我们的结果可以作为一个强有力的基线，并进一步激励未来对强化学习神经网络架构的研究。该项目的网站与代码是在这个链接https://sites.google.com/view/d2rl/home。
2020-11-27 cs.LG
Neural Architecture Search of Deep Priors: Towards Continual Learning without Catastrophic Interference
Goethe University Frankfurt（法兰克福大学）
在本文中，我们分析了神经网络结构的分类性能没有参数推理。利用神经架构搜索，我们凭经验证明，可以找到随机权重架构，这是一种深度先验，使线性分类能够与经过充分训练的深度对应物相媲美。通过消融实验，我们排除了赢得权重初始化彩票的可能性，并确认合适的深度先验不需要额外的推理。在持续学习的扩展中，我们研究了无灾难性干扰增量学习的可能性。假设类起源于相同的数据分布，一个深先验发现只有一个子集的类，允许进一步的类通过训练一个简单的线性分类器的歧视。
2021-04-14 cs.LG
A provably stable neural network Turing Machine
University of South Florida（南佛罗里达大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
我们引入了一个神经堆栈架构，包括一个可微的参数化堆栈运算符，近似堆栈推和弹出操作的参数，明确表示一个堆栈的适当选择。我们证明了这种堆栈架构的稳定性：在任意多个堆栈操作后，神经堆栈的状态仍然非常类似于离散堆栈的状态。利用递归神经网络的神经堆栈，我们引入了一个神经网络下推自动机（nnPDA），并证明了具有有限/有界神经元和时间的nnPDA可以模拟任何PDA。此外，我们扩展了我们的结构，并提出了新的结构神经状态图灵机（nnTM）。我们证明了具有有界神经元的可微nnTM可以实时模拟图灵机（TM）。就像神经堆栈一样，这些架构也是稳定的。最后，我们扩展我们的建设表明，可微nnTM是等价的通用图灵机（UTM），可以模拟任何TM只有\textbf{seven finite/bounded precision}神经元。这项工作为有界精度RNN的计算能力提供了一个新的理论界限。
2022-09-18 cs.FL cs.LG stat.ML
A Comparison of Deep Learning Architectures for Optical Galaxy Morphology Classification
University of the Western Cape（西开普大学）
星系形态的分类对于理解星系的形成和演化起着至关重要的作用。传统上，这个过程是手动完成的。深度学习技术的出现为这一过程的自动化提供了空间。因此，本文提供了深度学习架构的比较，以确定哪种架构最适合光学星系形态分类。采用Walmsley等人在2021年提出的模型训练方法，使用Zoobot Python库训练模型，预测志愿者做出的Galaxy Zoo DECaLS决策树响应，使用EfficientNet B0、DenseNet121和ResNet50作为核心模型架构。然后，预测结果用于生成每个决策树问题的准确性度量，以确定架构性能。DenseNet121被发现在准确性方面产生最好的结果，具有合理的训练时间。在未来，使用更多的深度学习架构进行进一步测试可能会有所帮助。
2021-11-08 astro-ph.GA astro-ph.IM cs.LG
Self-Supervised Neural Architecture Search for Multimodal Deep Neural Networks
Kagoshima University（鹿儿岛大学）
本文提出了一种自监督学习方法，用于多模态深度神经网络的架构搜索，能够在未标记数据上有效设计DNN架构。
2025-12-31 cs.LG cs.NE
Learning Stable Deep Dynamics Models
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
深度网络通常用于对动态系统进行建模，预测系统的状态将如何随时间演变（自主或响应控制输入）。尽管这些系统具有预测能力，但很难对学习系统的基本属性做出正式声明。在本文中，我们提出了一种学习动态系统，保证在整个状态空间是稳定的方法。该方法通过联合学习动力学模型和李雅普诺夫函数，保证学习的李雅普诺夫函数下的动态的非扩展性。我们表明，这种学习系统能够对简单的动态系统进行建模，并且可以与其他深度生成模型相结合，以完全端到端的方式学习复杂的动态，例如视频纹理。
2020-01-17 cs.LG math.DS stat.ML
Optimized Gated Deep Learning Architectures for Sensor Fusion
Texas A&M University（德克萨斯农工大学）
传感器融合是一项关键技术，它集成了各种传感器输入，以便在自动驾驶和机器人控制等许多应用中做出稳健的决策。深度神经网络在最近的研究中已经被用于传感器融合。其中，提出了所谓的netgated架构，它已被证明比传统的卷积神经网络（CNN）的性能有所改善。在本文中，我们提出了两个进一步优化的架构：一个粗粒度门控架构采用（功能）组级融合权重和两个阶段的门控架构，利用组级和功能级融合权重的基线否定架构的几个限制。使用驾驶模式预测和人类活动识别数据集，我们证明了所提出的门控架构带来的显着性能改进，以及它们在传感器噪声和故障存在下的鲁棒性。
2018-10-08 cs.LG stat.ML
A Reconfigurable Low Power High Throughput Architecture for Deep Network Training
University of Dayton（代顿大学）
通用计算系统用于各种各样的应用。这些系统对灵活性的广泛支持限制了它们的能效。神经网络（包括深度网络）广泛用于信号处理和模式识别应用。在本文中，我们提出了一个多核架构的深度神经网络为基础的处理。忆阻器交叉开关用于提供神经网络的低功率高吞吐量执行。该系统具有培训和识别（新输入的评估）功能。该系统可用于分类，降维，特征提取，和异常检测应用。专门架构的系统级面积和功耗优势与NVIDIA Telsa K20 GPGPU进行了比较。我们的实验评估表明，所提出的架构可以提供高达五个数量级以上的能源效率比GPGPU的深度神经网络处理。
2016-06-15 cs.AR cs.DC cs.LG
Dueling Network Architectures for Deep Reinforcement Learning
Google DeepMind（谷歌DeepMind）
近年来，在强化学习中使用深度表征已经取得了许多成功。尽管如此，这些应用中有许多使用传统的架构，如卷积网络，LSTM或自动编码器。在本文中，我们提出了一种新的神经网络结构的无模型强化学习。我们的决斗网络代表两个独立的估计：一个用于状态价值函数，一个用于状态依赖动作优势函数。这种分解的主要好处是在不对底层强化学习算法进行任何更改的情况下将学习推广到各个动作。我们的研究结果表明，这种架构导致更好的政策评估中存在许多类似的价值行动。此外，决斗架构使我们的RL代理在Atari 2600域上的表现优于最先进的技术。
2016-04-05 cs.LG
State of Compact Architecture Search For Deep Neural Networks
University of Waterloo（滑铁卢大学）；DarwinAI Corp.（DarwinAI公司）
紧凑型深度神经网络的设计是使深度神经网络能够在现实世界中广泛采用的关键任务，特别是对于边缘和移动场景。由于手动设计紧凑型深度神经网络的耗时性和挑战性，最近对自动搜索紧凑型网络架构的算法有很大的研究兴趣。一类特别有趣的紧凑架构搜索算法是那些由基线网络架构指导的算法。这样的算法已被证明是显着更有效的计算比无指导的方法。在这项研究中，我们通过对四种不同的最先进的紧凑架构搜索算法进行理论和实证分析来探索深度神经网络的紧凑架构搜索的现状：i）组套索正则化，ii）变分丢弃，iii）MorphNet和iv）生成合成。我们基于许多不同的因素，如效率，有效性和可扩展性，详细研究这些方法。此外，经验评估进行比较这些紧凑的架构搜索算法在三个著名的基准数据集的功效。虽然绝不是一个详尽的探索，我们希望这项研究有助于提供洞察这个相对较新的研究领域的多样性和真正的，有形的收益已经在建筑设计改进方面取得的有趣状态。此外，我们希望这项研究将有助于推动对话向前发展，以更深入的理论和实证理解研究界目前站在紧凑的架构搜索深度神经网络的景观，以及利用这种方法进行操作使用的实际挑战和考虑。
2019-10-15 cs.CV cs.LG cs.NE
Partially-Connected Differentiable Architecture Search for Deepfake and Spoofing Detection
EURECOM（欧洲通信系统工程学院）
本文报告了可区分架构搜索（DARTS）方法在深度伪造和欺骗检测问题中的首次成功应用。作为神经架构搜索的一个例子，DARTS在连续的、可微分的搜索空间上操作，这使得架构和参数都能够通过梯度下降来优化。基于部分连接DARTS的解决方案在搜索空间中使用随机通道掩蔽，以减少GPU时间，并自动学习和优化由卷积运算和残差块组成的复杂神经架构。尽管学习速度很快，几乎没有人力投入，但由此产生的网络与文献中报道的最佳性能系统相比具有竞争力。有些也远没有那么复杂，包含的参数比Res2Net竞争对手少85%。
2021-06-30 cs.LG cs.SD eess.AS
Effectiveness of Deep Networks in NLP using BiDAF as an example architecture
Stanford Center for Professional Development（斯坦福专业发展中心）
通过高级模型架构的发展，如BERT和Birobot，以及更早的基于单词、字符和上下文的嵌入，NLP的问答已经取得了进展。由于BERT已经跨越了模型的准确性，下一个前沿领域的一个元素可以是引入深度网络和训练它们的有效方法。在这种情况下，我探索了深度网络的有效性，重点是Biodynamic的模型编码器层。具有异构层的Bioscience不仅提供了探索深度网络的有效性的机会，而且还提供了评估在较低层中进行的改进是否可以添加到模型架构的上层中进行的改进的机会。我相信NLP中下一个最伟大的模型实际上会像BERT一样融合在一个坚实的语言建模中，它具有一个复合架构，除了通用语言建模之外，它还将带来改进，并将拥有一个更广泛的分层架构。我试验了Bypass网络、Residual Highway网络和DenseNet架构。此外，我还评估了集成网络最后几层的有效性。我还研究了将字符嵌入添加到词嵌入中所产生的差异，以及这种影响是否与深度网络叠加。我的研究表明，深度网络实际上是有效的。此外，像嵌入这样的底层改进可以通过添加到通过深度网络获得的收益中。
2021-08-31 cs.CL cs.LG
Deep Connectomics Networks: Neural Network Architectures Inspired by Neuronal Networks
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；UnifyID AI Labs（UnifyID人工智能实验室）
神经元间网络拓扑结构与认知之间的相互作用已被连接组学研究者和网络科学家深入研究，这对于理解生物神经网络的显著功效至关重要。奇怪的是，复兴神经网络的深度学习革命并没有太多关注拓扑方面。深度神经网络（DNN）的架构在拓扑意义上与其生物学对应物并不相似。我们通过将深度连接组学网络（DCN）的初步结果作为DNN与现实世界神经元网络启发的拓扑结构来弥合这一差距。我们展示了由DCN获得的高分类精度，DCN的架构受到C. Elegans和小鼠视觉皮层。
2019-12-19 cs.LG cs.NE stat.ML
EmbraceNet: A robust deep learning architecture for multimodal classification
Yonsei University（延世大学）
使用多模态数据的分类出现在许多机器学习应用中。这不仅是至关重要的模型跨模态的关系，有效地，而且要确保鲁棒性，防止丢失的部分数据或模态。在本文中，我们提出了一种新的基于深度学习的多模态融合架构的分类任务，它保证与任何类型的学习模型的兼容性，仔细处理跨模态信息，并防止由于部分数据缺失而导致的性能下降。我们使用两个数据集进行多模态分类任务，基于我们的架构和其他最先进的模型构建模型，并分析它们在各种情况下的性能。实验结果表明，当部分数据不可用时，我们的架构优于其他多模态融合架构。
2019-04-19 cs.LG stat.ML
A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service
Politecnico di Milano（米兰理工大学）
深度学习即服务（Deep-learning-as-a-service）是一种新颖且有前途的计算范例，旨在通过基于云的计算基础设施提供机器/深度学习解决方案和机制。由于能够远程执行和训练深度学习模型（通常需要高计算负载和内存占用），这种方法可以保证高性能、可扩展性和可用性。不幸的是，这种方法需要发送要处理的信息（例如，信号、图像、位置、声音、视频）传输到云，因此对用户的隐私具有潜在的灾难性影响。本文介绍了一种新的分布式架构，用于深度学习-即服务，该架构能够在提供基于云的机器和深度学习服务的同时保留用户敏感数据。所提出的架构依赖于能够对加密数据执行操作的同态加密，已针对图像分析领域中的卷积神经网络（CNN）进行了定制，并通过基于REST的客户端-服务器方法实现。实验结果表明了该体系结构的有效性。
2020-03-30 cs.LG stat.ML
Stable Deep Reinforcement Learning via Isotropic Gaussian Representations
University of Waterloo（滑铁卢大学）
本文提出了一种基于各向同性高斯表示的深度强化学习方法，通过在训练过程中塑造表示以达到各向同性高斯分布，从而在非平稳环境下提高性能并减少表示崩溃、神经元休眠和训练不稳定性。
2026-06-04 cs.AI cs.LG
