用于非线性回归的稠密连接神经网络

稠密连接递归残差（Dense R2UNet）卷积神经网络用于肺部CT图像分割

Densely Connected Recurrent Residual (Dense R2UNet) Convolutional Neural Network for Segmentation of Lung CT Images

Washington University School of Medicine（华盛顿大学医学院）

深度学习网络已经为语义分割提供了最先进的性能。这些技术被广泛应用于医学检测、分割和分类。基于U-Net的架构的出现对于该应用已经变得特别流行。本文提出了基于U-Net模型结构的递归残差卷积神经网络（Dense R2 U CNN），它是递归CNN、残差网络和稠密卷积网络的综合。残差单元有助于训练更深的网络，而密集的递归层增强了分割所需的特征传播。在基准肺部病变数据集上测试的所提出的模型在分割任务上表现出比其等效模型更好的性能。

2021-02-01cs.CVcs.LGeess.IV

用于密集预测任务的密集连接多扩张卷积网络

Densely connected multidilated convolutional networks for dense prediction tasks

Sony Corporation（索尼公司）

涉及高分辨率密集预测的任务需要在大输入字段中对局部和全局模式进行建模。虽然局部和全局结构通常相互依赖，并且它们的同时建模很重要，但许多基于卷积神经网络（CNN）的方法仅在不同分辨率下交换表示几次。在本文中，我们声称的重要性，密集的同时建模的多分辨率表示，并提出了一种新的CNN架构称为密集连接的多扩张DenseNet（D3Net）。D3Net涉及一种新型的多重扩张卷积，它在单层中具有不同的扩张因子，可以同时对不同的分辨率进行建模。通过将多重扩张卷积与DenseNet架构相结合，D3Net将多分辨率学习与几乎所有层的指数增长感受野相结合，同时避免了我们天真地将扩张卷积纳入DenseNet时出现的混叠问题。在Cityscapes的图像语义分割任务和MUSDB18的音频声源分离任务上的实验表明，该方法具有优于现有方法的性能。

2021-06-09cs.CVcs.LG

轻量级残差密集连接卷积神经网络

Lightweight Residual Densely Connected Convolutional Neural Network

Sharif University of Technology（谢里夫理工大学）

高效的卷积神经网络架构是有限资源设备（如嵌入式和移动设备）的最重要要求之一。计算能力和存储器大小是这些设备的两个重要约束。最近，已经提出了一些架构，以克服这些限制，考虑特定的硬件-软件设备。本文提出了轻量级的剩余密集连接块，以保证卷积神经网络的深度监督，有效的梯度流和特征重用能力。所提出的方法降低了训练和推理过程的成本，而不使用任何特殊的硬件-软件设备，通过减少参数和计算操作的数量，同时达到可行的精度。大量的实验结果表明，该架构比AlexNet和VGGNet更有效的模型大小，所需的参数，甚至精度。该模型已经在ImageNet、MNIST、Fashion MNIST、SVHN、CIFAR-10和CIFAR-100上进行了评估。它在Fashion MNIST数据集上取得了最先进的结果，在其他数据集上取得了合理的结果。所得到的结果表明，所提出的方法的优越性，如挤压网有效的模型。它也可以与最先进的高效模型（如CondenseNet和ShuffleNet）相媲美。

2020-06-08cs.CVcs.LG

Seismic-Net：一个用于地震事件检测的深度密集连接神经网络

Seismic-Net: A Deep Densely Connected Neural Network to Detect Seismic Events

Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）

大规模地质固碳的风险之一是流体可能从储存地层中迁移出来。由于地下的不确定性和复杂的控制物理，准确和快速地检测这种流体迁移不仅重要，而且具有挑战性。传统的泄漏检测和监测技术依赖于包括地震在内的地球物理观测。然而，这些方法所产生的准确性是有限的，因为它们提供的间接信息需要专家的解释，从而产生不准确的估计泄漏率和位置。在这项工作中，我们开发了一种新的机器学习检测包，名为“地震网络”，它是基于深度密集连接的神经网络。为了验证我们提出的泄漏检测方法的性能，我们采用我们的方法在新墨西哥州奇马约的一个自然模拟站点。数据集中的地震事件是由于间歇泉的喷发而产生的，间歇泉的喷发是由于$\mathrm{CO}_\mathrm{2}$的泄漏。特别是，我们证明了我们的地震网络的有效性，制定我们的检测问题作为一个事件检测问题的时间序列数据。一个固定长度的窗口在整个时间序列数据中滑动，我们构建了一个深度密集连接的网络来对每个窗口进行分类，以确定是否包括间歇泉事件。通过我们的数值测试，我们表明，我们的模型达到精确率/召回率高达0.889/0.923。因此，我们的地震网具有探测$\mathrm{CO}_\mathrm{2}$泄漏的巨大潜力。

2018-01-17cs.CVcs.LGeess.SP

基于密集连接多维动态网络的心脏SPECT无分段PVC

Segmentation-free PVC for Cardiac SPECT using a Densely-connected Multi-dimensional Dynamic Network

Yale University（耶鲁大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）

在核成像中，有限的分辨率导致影响图像清晰度和定量准确性的部分体积效应（PVE）。结合CT或MRI的高分辨率解剖信息的部分容积校正（PVC）方法已被证明是有效的。然而，这种解剖学引导的方法通常需要冗长的图像配准和分割步骤。准确分割的器官模板也很难获得，特别是在心脏SPECT成像中，这是由于缺乏具有高端CT和相关运动伪影的混合SPECT/CT扫描仪。轻微的误配准/误分割将导致PVC后图像质量严重下降。在这项工作中，我们开发了一种基于深度学习的方法，用于快速心脏SPECT PVC，而无需解剖信息和相关器官分割。所提出的网络涉及一种密集连接的多维动态机制，即使在网络经过充分训练之后，也可以根据输入图像调整卷积核。引入心肌内血容量（IMBV）作为网络优化的附加临床相关损失函数。在GE Discovery NM/CT 570 c专用心脏SPECT扫描仪上采集的28项犬研究中，使用锝-99m标记的红细胞进行了64层CT，证明了所提出的网络具有良好的性能。这项工作表明，所提出的网络与密集连接的动态机制产生优越的结果相比，相同的网络没有这样的机制。结果还表明，所提出的网络没有解剖信息，可以产生具有统计学可比的IMBV测量的图像，解剖引导的PVC方法，这可能有助于临床翻译所产生的图像。

2022-12-03cs.CVcs.LGeess.IV

密集连接的卷积网络

Densely Connected Convolutional Networks

Cornell University（康奈尔大学）；Tsinghua University（清华大学）；Facebook AI Research（脸书人工智能研究院）

最近的工作表明，如果卷积网络在靠近输入的层和靠近输出的层之间包含更短的连接，那么它们可以更深入，更准确，更有效地进行训练。在本文中，我们接受了这一观察，并介绍了密集卷积网络（DenseNet），它以前馈方式将每一层连接到其他每一层。传统的卷积网络有L层，每层和后续层之间有一个连接，而我们的网络有L（L+1）/2个直接连接。对于每个层，所有先前层的特征图被用作输入，并且其自身的特征图被用作所有后续层的输入。DenseNets有几个令人信服的优势：它们缓解了消失梯度问题，加强了特征传播，鼓励特征重用，并大大减少了参数的数量。我们在四个高度竞争的对象识别基准任务（CIFAR-10，CIFAR-100，SVHN和ImageNet）上评估了我们提出的架构。DenseNets在大多数最先进的技术上获得了显着的改进，同时需要更少的计算来实现高性能。代码和预训练模型可在https://github.com/liuzhuang13/DenseNet上获得。

2018-01-28cs.CVcs.LG

正则化稠密连接金字塔网络用于显著实例分割

Regularized Densely-connected Pyramid Network for Salient Instance Segmentation

College of Computer Science, Nankai University（南开大学计算机学院）；ETH Zurich（苏黎世联邦理工学院）；School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）

最近的显着目标检测（SOD）的努力已经致力于产生准确的显着性图，而不知道他们的实例标签。为此，我们提出了一个新的管道端到端的显着实例分割（SIS），预测每个检测到的显着实例的类不可知的掩码。为了更好地利用深度网络中丰富的特征层次结构并增强侧预测，我们提出了正则化的密集连接，它专注于促进所有特征金字塔中的信息特征并抑制非信息特征。一种新的多级RoIAlign的解码器引入自适应聚合多级功能更好的掩模预测。这些策略可以很好地封装到Mask R-CNN管道中。在流行的基准测试上进行的大量实验表明，我们的设计在AP度量方面显著优于现有的\sArt竞争对手6.3%（58.6%对52.3%）。代码可在https://github.com/yuhuan-wu/RDPNet上获得。

2021-03-12cs.CVcs.LGeess.IV

基于级联3D稠密连接U网的脑肿瘤分割

Brain tumour segmentation using cascaded 3D densely-connected U-net

Macquarie University（麦考瑞大学）；University of New South Wales（新南威尔士大学）

准确的脑肿瘤分割是改善疾病诊断和适当治疗计划的关键一步。在本文中，我们提出了一种基于深度学习的方法，将脑肿瘤分割成其子区域：整个肿瘤，肿瘤核心和增强肿瘤。所提出的架构是一种基于Ronneberger等人的U-Net架构变体的3D卷积神经网络。[17]有三个主要修改：（i）重编码器，使用残留块的轻解码器结构（ii）采用密集块而不是跳过连接，以及（iii）在网络的解码器部分中利用自组装。该网络使用两种不同的方法进行训练和测试：同时分割所有肿瘤子区域的多任务框架和一次分割一个子区域的三阶段级联框架。还计算了来自两个框架的结果的集合。为了解决类别不平衡问题，在预处理步骤中采用适当的块提取。在后处理步骤中使用连接分量分析以减少假阳性预测。在BraTS 20验证数据集上的实验结果表明，所提出的模型对于整个肿瘤、肿瘤核心和增强肿瘤分别实现了0.90、0.82和0.78的平均Dice评分。

2020-09-16cs.AIcs.LGeess.IV

基于层次密集连接U-net深度学习架构的头颈癌患者三维放疗剂量预测

Three-Dimensional Radiotherapy Dose Prediction on Head and Neck Cancer Patients with a Hierarchically Densely Connected U-net Deep Learning Architecture

University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）

头颈部（H&N）癌症患者的治疗计划过程被认为是最复杂的，由于大的目标体积，多个处方剂量水平，以及许多辐射敏感的关键结构附近的目标。该部位的治疗计划需要高水平的人类专业知识和大量的努力来制定个性化的高质量计划，需要长达一周的时间，这降低了肿瘤控制和患者生存的机会。为了解决这个问题，我们建议研究一种基于深度学习的剂量预测模型，分层密集连接U网，它基于两种非常流行的网络架构：U网和DenseNet。我们发现，这种新的架构是能够准确和有效地预测剂量分布，优于其他两个模型，标准U-网络和DenseNet，在均匀性，剂量一致性，剂量覆盖测试数据。对所有有风险的器官进行平均，我们提出的模型能够预测有风险的器官的最大剂量在6.3%以内，平均剂量在测试数据的处方剂量的5.1%以内。其他模型，标准U-net和DenseNet，表现较差，平均器官风险最大剂量预测误差分别为8.2%和9.3%，平均平均剂量预测误差分别为6.4%和6.8%。此外，我们提出的模型使用的可训练参数比标准U型网络少12倍，预测患者剂量的速度比DenseNet快4倍。

2019-02-04cs.CVcs.LGphysics.med-ph

基于级联区域的稠密连接网络在地震事件检测中的应用

Cascaded Region-based Densely Connected Network for Event Detection: A Seismic Application

Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Rochester（罗切斯特大学）；Penn State University（宾夕法尼亚州立大学）

从时间序列信号中自动检测事件有着广泛的应用，如视频监控中的异常事件检测和地球物理数据中的事件检测。传统的事件检测方法主要是利用数据的相似性和相关性来检测事件。这些方法可能效率低下，准确度低。近年来，由于计算能力的显著增加，机器学习技术已经彻底改变了许多科学和工程领域。在这项研究中，我们将基于深度学习的方法应用于从时间序列地震信号中检测事件。然而，从2D目标检测到我们的问题的类似想法的直接适应面临两个挑战。第一个挑战是地震事件的持续时间变化很大;另一个挑战是所生成的建议在时间上是相关的。为了解决这些挑战，我们提出了一种新的级联区域为基础的卷积神经网络，以捕捉不同大小的地震事件，同时结合上下文信息，以丰富每个单独的建议功能。为了实现更好的泛化性能，我们使用密集连接的块作为网络的骨干。由于事实上，一些积极的事件没有被正确地注释，我们进一步制定了检测问题作为一个从噪声中学习的问题。为了验证我们的检测方法的性能，我们采用我们的方法，地震数据产生的双轴“地震机”位于岩石力学实验室，我们获得的标签与专家的帮助下。通过我们的数值测试，我们表明，我们的新的检测技术产生高精度。因此，我们基于深度学习的新型检测方法可能成为在各种应用中从时间序列数据中定位事件的强大工具。

2017-11-29cs.CVcs.LG

利用内在结构知识与双密集连接GNN优化联邦图学习

Optimizing Federated Graph Learning with Inherent Structural Knowledge and Dual-Densely Connected GNNs

Xidian University（西安电子科技大学）；University of Science and Technology of China（中国科学技术大学）；The University of Electro-Communications（电气通信大学）；Hefei University of Technology（合肥工业大学）

针对联邦图学习中的非独立同分布挑战，提出FedDense框架，通过显式编码结构知识、双密集连接架构及选择性参数共享策略，在大幅降低资源开销的同时显著提升了训练性能。

2024-08-21cs.LG

深度学习中具有密集层连接的深度神经网络的数学建模与收敛性分析

Mathematical Modeling and Convergence Analysis of Deep Neural Networks with Dense Layer Connectivities in Deep Learning

Norwegian Research Center (NORCE)（挪威研究所以）

本文提出密集非局部（DNL）框架，将密集连接DNN建模为非线性积分方程，从最优控制角度结合Γ-收敛分析证明其向连续时间问题的收敛性，为该类网络提供数学基础并验证其训练稳定性。

2025-10-02cs.LG

SVInvNet：一种用于地震速度反演的密集连接编码器-解码器架构

SVInvNet: A Densely Connected Encoder-Decoder Architecture for Seismic Velocity Inversion

Institute of Science and Technology, Ankara University（安卡拉大学科学技术研究所）；Hacettepe University（哈杰泰佩大学）；Ankara University（安卡拉大学）

本研究提出SVInvNet，一种基于密集块增强的多连接编码器-解码器架构，用于解决非线性地震速度反演问题，在参数更少的情况下于多种数据集上实现了优于基线模型的性能。

2025-04-01cs.CVcs.LGphysics.geo-ph

稠密连接的 $G$-不变深度神经网络与带符号置换表示

Densely Connected $G$-invariant Deep Neural Networks with Signed Permutation Representations

University of Tennessee（田纳西大学）

本文提出稠密连接的 $G$-不变深度神经网络，利用带符号置换表示，推导可容许架构条件，并在乘法与3D分类任务中显著提升性能。

2023-10-17cs.LGstat.ML

基于内容和连接联合表示学习的异常检测

Anomaly Detection with Joint Representation Learning of Content and Connection

McGill University（麦吉尔大学）；University of British Columbia（不列颠哥伦比亚大学）

社交媒体网站正在成为政治的关键因素。这些平台很容易被操纵，目的是扭曲信息空间，以混淆和分散选民的注意力。过去识别破坏性模式的工作主要集中在分析推文的内容上。在这项研究中，我们联合嵌入用户发布的内容以及用户的追随者网络的信息，以检测在无监督的方式密集连接的用户组。然后，我们调查这些密集的用户子块来标记异常行为。在我们的实验中，我们研究了与即将到来的2019年加拿大大选相关的推文，并观察了一组参与不同省份地方政治的密集连接用户，并表现出类似巨魔的行为。

2019-06-16cs.LGcs.SIstat.ML

DCC：一种基于级联的社交网络社区检测方法

DCC: A Cascade based Approach to Detect Communities in Social Networks

National Institute of Technology Silchar（西尔查尔国家理工学院）；Eindhoven University of Technology（埃因霍温理工大学）

社交网络中的社区发现与发现和分组网络中固有的最相似的节点相关联。这些相似的节点通过计算结强度来识别。更强的关系表示连接的节点对共享的更高的邻近度。这项工作的动机是格兰米特的论点，表明强关系在于密集连接的节点和理论，社区核心在现实世界的网络是密集连接的。在本文中，我们介绍了一种新的方法称为\emph{Disjoint Community detection using Cascades (DCC)}，它证明了一个新的局部密度为基础的连接强度测量检测社区的有效性。在这里，利用联系强度来决定传播信息所遵循的路径。其思想是通过不断增加的联系强度引导，通过级联的元组信息向社区核心爬行。考虑到级联生成的步骤，一种新的优先成员资格的方法已经被开发来分配社区标签未分配的节点。$DCC$的有效性已经基于几个真实世界数据集和基线社区发现算法的质量和准确性进行了分析。

2022-12-21cs.CVcs.IRcs.LG

关于全连接甚深神经网络回归估计的收敛速度

On the rate of convergence of fully connected very deep neural network regression estimates

Technische Universität Darmstadt（达姆施塔特工业大学）

非参数回归的最新结果表明，深度学习，即，具有许多隐藏层的神经网络估计能够在对回归函数的结构进行适当限制的情况下规避所谓的维数灾难。这些结果中使用的神经网络的一个关键特征是，它们的网络架构具有进一步的约束，即网络稀疏性。在本文中，我们证明了我们也可以得到类似的结果，最小二乘估计基于简单的全连接神经网络与ReLU激活函数。这里，或者每个隐藏层的神经元的数量是固定的，并且对于趋于无穷大的样本量，隐藏层的数量趋于无穷快，或者隐藏层的数量由样本量中的某个对数因子限制，并且对于趋于无穷大的样本量，每个隐藏层的神经元的数量趋于无穷快。证明是基于新的近似结果有关深神经网络。

2020-09-29cs.LGmath.STstat.ML

偏微分方程模型发现的稀疏约束神经网络

Sparsely constrained neural networks for model discovery of PDEs

Leiden University（莱顿大学）

稀疏回归的候选功能库已发展为主要的方法来发现偏微分方程的时空数据集。这些特征包括高阶导数，将模型发现限制在具有低噪声的密集采样数据集。基于神经网络的方法通过构建数据的代理模型来规避这一限制，但迄今为止忽略了稀疏回归算法的进步。在本文中，我们提出了一个模块化框架，该框架使用任何稀疏回归技术动态确定基于深度学习的代理的稀疏模式。使用我们的新方法，我们引入了一个新的约束条件的神经网络，并显示了不同的网络架构和稀疏估计提高模型发现的准确性和收敛的几个基准的例子。我们的框架可以在\url{https://github.com/PhIMaL/DeePyMoD}上找到

2021-05-04cs.LGphysics.comp-ph

张量回归网络

Tensor Regression Networks

NVIDIA（英伟达）；Imperial College London（帝国理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）；University of Southern California（南加州大学）；California Institute of Technology（加州理工学院）

卷积神经网络通常由许多卷积层和一个或多个全连接层组成。虽然卷积层在高阶激活张量之间映射，但完全连接的层对扁平化的激活向量进行操作。尽管在经验上取得了成功，但这种方法有明显的缺点。展平后的全连接层放弃了激活中的多线性结构，需要许多参数。我们通过结合张量代数运算来解决这些问题，这些运算在每一层都保留了多线性结构。首先，我们介绍了张量收缩层（Tensor Contraction Layers，TCL），它可以降低输入的维度，同时使用张量收缩保持其多线性结构。接下来，我们介绍张量回归层（TRL），它通过从高阶激活张量到任意阶输出张量的低秩多线性映射来表达输出。我们端到端地学习收缩和回归因子，并使用更少的参数生成准确的网络。此外，我们的层通过对激活（TCL）和回归权重（TRL）施加低秩约束来正则化网络。ImageNet上的实验表明，应用于VGG和ResNet架构，与完全连接的层相比，TCL和TRL减少了65%以上的参数数量，同时保持或提高了准确性。除了节省空间外，我们的方法利用拓扑结构的能力对于MRI等结构化数据至关重要。特别是，我们展示了与英国生物银行数据集相关的三个任务的可比架构的显着性能改进。

2020-07-20cs.LG

具有各种低秩张量近似的张量回归网络

Tensor Regression Networks with various Low-Rank Tensor Approximations

RIKEN Center for AIP（理化学研究所AIP中心）；McGill University（麦吉尔大学）

张量回归网络实现了神经网络的高压缩率，同时对性能的影响很小。它们通过对全连接层的权重矩阵施加低张量秩结构来做到这一点。近年来，人们从压缩能力的角度对张量回归网络进行了研究，但对低秩张量结构的正则化效应的研究还不够深入。我们使用各种低秩张量近似来研究张量回归网络，旨在比较不同低秩约束的压缩和正则化能力。我们评估的压缩和正则化性能的建议模型与深和浅的卷积神经网络。我们的实验结果表明，全局平均池层优于张量回归层，当应用于CIFAR-10数据集的深度卷积神经网络时。相反，当使用少量样本进行训练时，具有张量回归层和dropout函数的浅层卷积神经网络的测试误差低于全局平均池和具有dropout函数的全连接层。

2018-11-29cs.LGstat.ML

互联车辆环境下行程时间预测的工作区仿真模型

A Work Zone Simulation Model for Travel Time Prediction in a Connected Vehicle Environment

Ohio State University（俄亥俄州立大学）

道路网络中的工作区瓶颈可能导致交通延误、排放和安全问题。工作区旅行时间的准确测量和预测可以帮助旅行者做出更好的路线决策，从而减轻其影响。从历史上看，用于旅行时间分析的数据来自固定回路探测器，其安装和维护成本很高。借助车联网技术（如车对基础设施），便携式路侧单元（RSU）可以位于工作区段内和周围，以与车辆通信并收集交通数据。建立了一个PARAMICS仿真模型，用于连接车辆环境中的原型高速公路工作区，使用纽约州104号公路的交通需求数据来测试这一想法。对于模拟，沿工作区段放置12个RSU，并从模拟结果中提取16个变量，以探索行程时间估计和预测。在行程时间分析中，建立了线性回归、多元自适应回归样条（MARS）、逐步回归和弹性网络四种模型。结果表明，所考虑的建模方法在均方误差根（RMSE）方面具有相似的性能，这为基于其他因素（包括根据各种模型中确定的重要变量的RSU的数量和位置）进行模型选择提供了机会。在这四种方法中，逐步回归模型只需要两个RSU的变量：一个放置在工作区的上游，一个在工作区的末端。

2018-01-20cs.LGcs.MA

具有通信保证的网络线性回归

Linear Regression over Networks with Communication Guarantees

University of Oxford（牛津大学）

智能城市、智能交通系统和工业物联网等新兴互联自治系统的一个关键功能是能够处理和学习在不同物理位置收集的数据。在分布式学习和联邦学习的术语下，这越来越引起人们的关注。然而，在连接的自治系统中，数据传输通过通常具有有限资源的通信网络进行。本文探讨了利用数据的信息性进行线性回归任务的通信有效学习的算法。所开发的算法能够在通信和学习之间进行权衡，具有理论性能保证和有效的实际实现。

2021-03-06cs.LGcs.SYeess.SY

基于图消息传递神经网络的矢量多边形分类几何不变特征学习

Learning Geometric Invariant Features for Classification of Vector Polygons with Graph Message-passing Neural Network

针对矢量多边形几何形状分类难题，提出基于图表示的PolyMP及密集自连接变体PolyMP-DSC框架，分层捕获自环图信息学习几何不变特征，在多基准数据集上性能优于基线，且具备强泛化能力。

2025-06-11cs.CVcs.LG

基于胶囊网络的服装图像检索

Fashion Image Retrieval with Capsule Networks

Özyeğin University（奥兹耶金大学）

在这项研究中，我们研究了密集连接的胶囊网络与动态路由的商店服装检索性能。为了实现这一点，我们提出了基于三元组的设计胶囊网络架构与两种不同的特征提取方法。在我们的设计中，堆叠卷积（SC）和剩余连接（RC）块用于形成胶囊层的输入。实验结果表明，我们的设计优于基线研究的所有变体，即FashionNet，而不依赖于地标信息。此外，当与SOTA架构的服装检索相比，我们提出的三重胶囊网络实现可比的召回率只有一半的参数在SOTA架构中使用。

2019-08-26cs.CVcs.LGstat.ML

基于神经网络的分布回归学习理论

Learning Theory of Distribution Regression with Neural Networks

KU Leuven（鲁汶大学）；Hong Kong Baptist University（香港浸会大学）；University of Sydney（悉尼大学）

本文针对分布回归中输入为概率测度导致传统神经网络无法直接使用的问题，提出一种新颖的全连接神经网络框架，建立Borel概率测度空间上泛函的逼近理论，并通过两阶段误差分解技术推导出几乎最优的学习率。

2023-07-07cs.LGstat.ML

基于UNet的深度卷积神经网络的交通地图预测

Traffic map prediction using UNet based deep convolutional neural network

本文描述了我们基于UNet的深度卷积神经网络方法在2019年的Jumic4cast挑战赛上的应用。挑战性的任务是在高分辨率的城市地图上预测未来的交通流量、航向和速度。我们使用基于UNet的深度卷积神经网络训练预测模型进行短期交通预测。在每个卷积块上，层与后续层紧密连接，就像DenseNet一样。通过对从世界上三个不同城市收集的真实世界数据集进行训练和评估，我们的方法在这一挑战中取得了最佳表现。

2019-11-25cs.LGstat.ML

稀疏化深度神经网络的重加权学习

Re-Weighted Learning for Sparsifying Deep Neural Networks

Department of Electrical；Computer Engineering University of California, San-Diego

本文讨论了稀疏化深度神经网络（DNN）的主题。虽然DNN是在大量任务上实现最先进性能的强大模型，但大量模型参数带来了严重的存储和计算挑战。为了克服这些困难，越来越多的工作专注于在不牺牲性能的情况下修剪网络权重。我们提出了一种通用的仿射尺度变换（AST）算法来稀疏DNN。我们的方法遵循流行的稀疏恢复技术的脚步，这些技术尚未在DNN的背景下进行探索。我们描述了一个原则性的框架，用于在不牺牲网络性能的情况下将密集连接的DNN转换为稀疏连接的DNN。与现有方法不同，我们的方法能够同时学习每一层的稀疏连接，并在测试的架构上实现相当的修剪结果。

2018-02-05cs.LG

动态网络回归的图神经套索算法

Graph Neural Lasso for Dynamic Network Regression

IFM Lab（IFM实验室）；Florida State University（佛罗里达州立大学）

多个相互连接的序列数据的回归是各个学科中的问题。在本文中，我们将多个互连数据实体的回归问题正式命名为“动态网络回归”。在股票预测或交通速度预测问题中，我们需要考虑实体的趋势和实体之间的关系。大多数现有的方法都无法同时捕获这些信息。提出了一些处理序列数据的方法，如LSTM。另一些则利用网络中的先验知识来得到一个固定的图结构，并对一些未知的实体进行预测，如GCN。为了克服这些方法的局限性，我们提出了一种新的图神经网络，即图神经套索（GNL），来处理动态网络问题。GNL扩展了GDU（门控扩散单元）作为基础神经元，以捕获序列背后的信息。GNL可以自动学习动态图结构，而不是使用固定的图结构。通过在GNL中加入注意力机制，我们可以学习每个网络快照中实体之间的动态关系。结合这两个部分，GNL能够很好地建模动态网络问题。在两个网络化序列数据集上提供的实验结果，即，NASDAQ-100和METR-LA的结果表明，GNL可以很好地解决网络回归问题，在现有方法中也很有竞争力。

2020-10-16cs.LGcs.NEstat.ML

非线性加权有向无环图与神经网络的先验估计

Nonlinear Weighted Directed Acyclic Graph and A Priori Estimates for Neural Networks

Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）

本文用非线性加权有向无环图统一描述全连接网络、ResNet和DenseNet，并将总体风险误差分析扩展到DenseNet，证明在温和条件下可获得与输入维度无关的先验估计。

2021-12-06cs.LGstat.ML