Synthesizing real-world distributions from high-dimensional Gaussian Noise with Fully Connected Neural Network
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
本文提出基于全连接神经网络和随机损失函数的高效合成数据生成方法，通过将随机高斯分布转换为近似目标现实数据集，实验表明其在分类质量提升和隐私保护方面优于现有生成方法。
2026-07-17 cs.LG
An Equivalence of Fully Connected Layer and Convolutional Layer
EPFL（洛桑联邦理工学院）
本文论证了卷积运算可以转化为矩阵乘法，其计算方式与全连通层相同。这篇文章有助于神经网络的初学者了解全连接层和卷积层在后端的工作方式。为了简洁和使文章更具可读性，我们只考虑线性情况。它可以很容易地扩展到非线性的情况，通过插入一个非线性封装的值，如这个$σ(x)$表示为$x^{\prime}$。
2017-12-04 cs.AI cs.LG stat.ML
Why Are Convolutional Nets More Sample-Efficient than Fully-Connected Nets?
Princeton University（普林斯顿大学）；IAS（高等研究院）
卷积神经网络在泛化性能上通常优于全连接的神经网络，特别是在图像分类任务上。这通常被解释为“更好的归纳偏差”。然而，这在数学上并不严格，障碍在于全连接网络总是可以模拟卷积网络（对于固定任务）。因此，训练算法发挥了作用。目前的工作描述了一个自然的任务，可以证明样本的复杂性差距，标准的训练算法。我们在$\mathbb{R}^d\times\{\pm 1\}$上构建一个单一的自然分布，在该分布上，任何正交不变算法（即，使用高斯初始化中大多数基于梯度的方法训练的全连接网络）都需要$Ω(d^2)$样本来进行泛化，而$O(1)$样本足以用于卷积架构。此外，我们证明了一个单一的目标函数，学习，在所有可能的分布导致$O(1)$与$Ω(d^2/\varepsilon)$差距。证明依赖于全连通网络上的SGD是正交等变的。对于$\ell_2$回归和自适应训练算法，例如Adam和AdaGrad，也获得了类似的结果，它们只是置换等变的。
2021-05-04 cs.LG stat.ML
The Geometric Structure of Fully-Connected ReLU Layers
该研究形式化阐释了d维全连接ReLU层的几何结构，将其解释为多面体锥投影加仿射变换，推导了单隐藏ReLU层前馈网决策边界的复杂度与种类上限，并讨论了层数增加的影响。
2023-11-08 cs.LG
Universal Approximation Theorems of Fully Connected Binarized Neural Networks
TU Dortmund University（多特蒙德工业大学）
神经网络（NN）以其在复杂学习问题中的高预测精度而闻名。除了实际的优点，神经网络也表明有利的理论性质，如普遍逼近（UA）定理。二进制神经网络（BNN）通过将权重和激活域限制为两个值来显著减少时间和内存需求。尽管有实际的优势，理论保证的基础上UA定理的BNN是相当稀疏的文献。我们通过在以下情况下提供全连接BNN的UA定理来缩小这一差距：（1）对于二进制输入，UA可以在一个隐藏层下构造性地实现;（2）对于实数输入，UA不能在一个隐藏层下实现，但可以在Lipschitz连续函数的两个隐藏层下构造性地实现。我们的研究结果表明，全连接的BNN可以近似函数普遍，在一定的条件下。
2021-02-04 cs.AI cs.LG
From Weight Perturbation to Feature Attribution for Explaining Fully Connected Neural Networks
NCSR Demokritos（德米克里托斯研究所）
本文提出通过扰动特征权重而非值来估计特征归因，改进了Occlusion方法的局限性，提出XWP和XWP_c两种新方法，在简单DNN中表现优异，为模型可解释性提供稳健框架。
2026-05-14 cs.LG
Do We Need Fully Connected Output Layers in Convolutional Networks?
Rochester Institute of Technology（罗切斯特理工学院）；Adobe Research（奥多比研究中心）；Paige（Paige公司）；Cornell Tech（康奈尔理工学院）
传统上，深度卷积神经网络由一系列卷积和池化层组成，随后是一个或多个全连接（FC）层以执行最终分类。虽然这种设计是成功的，但对于具有大量类别的数据集，完全连接的层通常占网络参数的很大比例。对于具有内存限制的应用程序，例如移动设备和嵌入式平台，这并不理想。最近，已经提出了一系列涉及用固定层替换学习的全连接输出层的架构，作为实现更高效率的一种方式。在本文中，我们进一步研究了这个想法，并证明了固定分类器与简单地删除输出层及其参数相比没有额外的好处。我们进一步证明了具有完全连接的最终输出层的典型方法在参数计数方面是低效的。我们能够在ImageNet-1 K、CIFAR-100、Stanford Cars-196和Oxford Flowers-102数据集上实现与传统学习的全连接分类输出层相当的性能，而根本没有全连接输出层。
2020-04-29 cs.CV cs.LG eess.IV
Equivalence of approximation by convolutional neural networks and fully-connected networks
University of Oxford（牛津大学）；Katholische Universität Eichstätt–Ingolstadt（艾希施泰特-英戈尔施塔特天主教大学）
卷积神经网络是应用中最广泛的神经网络类型。然而，在数学分析中，主要研究全连接网络。在本文中，我们建立了两个网络架构之间的连接。使用这种连接，我们表明，所有关于{全连接}神经网络的函数$f \in \mathcal{C}$的近似率的上限和下界-对于任意函数类$\mathcal{C}$ -转换为基本上相同的界限，关于卷积神经网络的函数$f \in {\mathcal{C}^{equi}}$的近似率，类${\mathcal{C}^{equi}}$由所有平移等变函数组成，其第一个坐标属于$\mathcal{C}$。所有给出的结果都专门考虑了卷积神经网络的情况，没有任何池化操作，并且具有循环卷积，即，而不是基于零填充。
2021-01-28 cs.LG math.FA
FC-GAGA: Fully Connected Gated Graph Architecture for Spatio-Temporal Traffic Forecasting
Unity Technologies（Unity科技公司）；McGill University（麦吉尔大学）
多元时间序列预测是一个重要问题，在交通管理、蜂窝网络配置和定量金融中有应用。当有一个图可以捕捉时间序列之间的关系时，就会出现问题的特殊情况。在本文中，我们提出了一种新的学习架构，实现性能竞争力或优于现有的最好的算法，而不需要知识的图形。我们提出的架构的关键要素是可学习的全连接硬图门控机制，使使用的国家的最先进的和高计算效率的全连接的时间序列预测架构在交通预测应用。两个公共交通网络数据集的实验结果说明了我们的方法的价值，消融研究证实了每个元素的架构的重要性。代码可以在这里找到：https://github.com/boreshkinai/fc-gaga。
2020-12-14 cs.LG stat.ML
Sparsely-Connected Neural Networks: Towards Efficient VLSI Implementation of Deep Neural Networks
McGill University（麦吉尔大学）
最近，深度神经网络由于其提取和表示数据集中的高级抽象的能力而受到相当大的关注。深度神经网络（如全连接和卷积神经网络）在广泛的识别和分类任务中表现出出色的性能。然而，由于其高度复杂性，它们的硬件实现目前遭受大硅面积和高功耗。神经网络的功率/能量消耗由存储器访问支配，其中大部分发生在全连接网络中。事实上，它们包含了大部分的深层神经网络参数。在本文中，我们提出了稀疏连接网络，通过展示全连接网络中的连接数量可以减少高达90%，同时提高三种流行数据集（MNIST，CIFAR 10和SVHN）的准确性性能。然后，我们提出了一个有效的硬件架构的基础上，线性反馈移位寄存器，以减少所提出的稀疏连接网络的内存需求。与传统的全连接神经网络实现相比，所提出的架构可以节省高达90%的内存。此外，实施结果表明，减少高达84%的能量消耗的一个神经元的建议稀疏连接的网络相比，一个神经元的全连接神经网络。
2017-03-30 cs.LG cs.NE
A deep-structured fully-connected random field model for structured inference
University of Waterloo（滑铁卢大学）
为了结构化推理的目的，在使用全连接的图形模型和深度结构化的图形模型方面已经有了很大的兴趣。然而，完全连接和深度结构化的图形模型在很大程度上是独立探索的，这两个概念的统一有待探索。统一这两种模型的一个根本挑战是处理计算复杂性。在这项研究中，我们调查的可行性，统一的全连接和深层结构化的模型在计算上易于处理的方式结构化推理的目的。为了实现这一点，我们引入了一个深结构的全连接随机场（DFRF）模型，该模型集成了一系列放置在状态层之间的中间稀疏自动编码层，以显着降低计算复杂度。图像分割的问题被用来说明使用DFRF的结构化推理的可行性，在计算上易于处理的方式。在这项研究中的结果表明，它是可行的，以计算上易于处理的方式来解决结构化推理问题，如图像分割，统一的全连接和深层结构化的模型。
2015-05-27 cs.IT cs.LG math.IT
Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials
Stanford University（斯坦福大学）
用于多类别图像分割和标记的大多数最先进的技术使用在像素或图像区域上定义的条件随机场。虽然区域级模型通常具有密集的成对连接性，但像素级模型要大得多，并且只允许稀疏的图形结构。在本文中，我们考虑全连接CRF模型定义在一个完整的图像中的像素集。由此产生的图具有数十亿条边，使得传统的推理算法不切实际。我们的主要贡献是针对完全连接的CRF模型提出了一种高效的近似推理算法，其中成对边缘势由高斯核的线性组合定义。我们的实验表明，在像素级的密集连接大大提高了分割和标记的准确性。
2012-10-20 cs.AI cs.CV cs.LG
Compression of Fully-Connected Layer in Neural Network by Kronecker Product
Institute of Computing Technology（计算技术研究所）；Chinese Academy of Sciences（中国科学院）；Megvii Inc.（旷视科技有限公司）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出并研究了一种技术，以减少参数的数量和计算时间在全连接层的神经网络使用克罗内克积，在一个温和的成本的预测质量。该技术通过用所谓的克罗内克全连接层替换全连接层来进行，其中FC层的权重矩阵由较小矩阵的多个克罗内克乘积的线性组合来近似。特别是，给定一个在SVHN数据集上训练的模型，我们能够构建一个新的KFC模型，参数总数减少了73%，而误差只轻微上升。相比之下，使用低秩方法只能实现35%的总数量的参数减少相同的质量退化容限。如果我们仅比较KFC层与其对应的全连接层，则参数数量的减少超过99%。由于我们用KFC层中几个较小矩阵的矩阵乘积代替FC层中大矩阵的矩阵乘积，计算量也减少了。在MNIST、SVHN和一些汉字识别模型上的实验也证明了该方法的有效性。
2015-07-22 cs.CV cs.LG cs.NE
The relationship between Fully Connected Layers and number of classes for the analysis of retinal images
City, University of London（伦敦城市大学）
本文实验了深度卷积神经网络中的全连接层的数量，并将其应用于眼底视网膜图像的分类。所分析的图像对应于2019年北京大学国际眼科疾病智能识别竞赛[9]，其中包括各种眼科疾病（白内障，青光眼，近视，糖尿病视网膜病变，年龄相关性黄斑变性（AMD），高血压）以及正常病例的图像。本研究主要针对正常、白内障、AMD和近视进行分类。神经网络的特征提取（卷积）部分保持不变，而网络的特征映射（线性）部分发生变化。不同的数据集也在这些神经网络上进行了探索。每个数据集都因其拥有的类的数量而与另一个数据集不同。因此，本文的目的是找到类的数量和全连接层的数量之间的关系。研究发现，增加神经网络的全连接层数量的效果取决于所使用的数据集的类型。对于简单的线性可分数据集，应该探索增加全连接层，这可能会导致更好的训练精度，但没有发现直接相关性。然而，随着数据集复杂性的增加（更多的重叠类），增加全连接层的数量会导致神经网络停止学习。数据集越复杂，这种现象发生得越快。
2020-04-14 cs.CV cs.LG eess.IV
An interpretation of the final fully connected layer
Saarland University（萨尔兰大学）
近年来，神经网络已经实现了各种任务的最先进的准确性，但所产生的输出的解释仍然是困难的。在这项工作中，我们试图提供一种方法来了解学习的权重在最终的全连接层的图像分类模型。我们通过在RL中的策略梯度目标和监督学习目标之间建立联系来激励我们的方法。我们建议，常用的交叉熵为基础的监督学习目标可以被视为一个特殊的情况下，策略梯度目标。利用这种洞察力，我们提出了一种方法来找到图像中最具歧视性和最令人困惑的部分。该方法不需要对神经网络结构作任何先验假设，计算量小。我们将我们的方法应用于公开的预训练模型，并报告生成的结果。
2022-05-24 cs.CV cs.LG
Artificial intelligence system based on multi-value classification of fully connected neural network for construction management
Kyiv National University of Construction and Architecture（基辅国立建筑大学）
为解决利用人工智能系统确定施工管理人员职业适应能力的问题，提出了全连接前馈神经网络体系结构，并进行了实证建模，建立了数据集。人工智能系统模型允许在执行专业领域的多值分类期间评估全连接前馈神经网络中的过程。已经开发了一种用于机器学习模型的训练过程的方法，该方法反映了人工智能系统的组件之间的内部连接，该内部连接允许其从训练数据中学习。为了训练神经网络，使用了35个输入参数和29个输出参数的数据集;该数据集中的数据量为936个数据线。神经网络训练发生的比例分别为10%和90%。这项研究的结果可以用来进一步提高成功的专业实现所需的知识和技能。
2022-06-19 cs.AI cs.LG
Efficient SDP Inference for Fully-connected CRFs Based on Low-rank Decomposition
University of Adelaide（阿德莱德大学）
条件随机场（CRF）已广泛应用于各种计算机视觉任务中。传统的CRF通常定义相邻图像像素上的边缘，导致稀疏图，使得可以执行有效的推断。然而，这些CRF未能模拟长期的上下文关系。因此，提出了完全连接的CRF。虽然有有效的近似推理方法，这样的CRF，通常他们是敏感的初始化，并作出强有力的假设。在这项工作中，我们开发了一个有效的，但一般的算法推理全连接CRF。该算法基于可扩展的SDP算法和相似性/核矩阵的低秩近似。该算法的核心是一个定制的拟牛顿法，利用低秩矩阵逼近时，解决专门的SDP对偶问题。实验表明，我们的方法可以应用于完全连接的CRF，不能解决以前，如像素级图像的共同分割。
2015-04-07 cs.CV cs.LG stat.ML
Fully Connected Deep Structured Networks
University of Toronto（多伦多大学）
具有许多层的卷积神经网络最近已被证明在许多高级任务（例如图像分类、目标检测以及最近的语义分割）上实现了优异的结果。特别是对于语义分割，通常采用两阶段过程。因此，卷积网络被训练为第二步提供良好的局部像素特征，传统上是一个更全局的图形模型。在这项工作中，我们将这两个阶段的过程统一到一个单一的联合训练算法。我们在语义图像分割任务上展示了我们的方法，并在具有挑战性的PASCAL VOC 2012数据集上显示了令人鼓舞的结果。
2015-03-09 cs.CV cs.LG
Weight Freezing: A Regularization Approach for Fully Connected Layers with an Application in EEG Classification
Tianjin University（天津大学）
本研究提出一种基于神经科学先验的全连接层正则化方法weight freezing，通过掩码矩阵和阈值冻结部分权重实现稀疏连接，在三个EEG数据集上均超越此前最优分类准确率。
2023-06-12 cs.LG eess.SP
Information Theoretic Lower Bounds for Feed-Forward Fully-Connected Deep Networks
Purdue University（普渡大学）；Department of Statistics（统计系）；Department of Computer Science（计算机科学系）；West Lafayette, IN 47906（西拉斐特，印第安纳州 47906）
在本文中，我们研究了样本复杂性下界的参数的准确恢复和一个积极的超额风险的前馈，全连接神经网络的二进制分类，使用信息理论的工具。我们证明了这些下界的生成网络的存在，其特征在于一个向后的数据生成过程中，输入生成的基础上的二进制输出，和网络参数化的隐藏层的权重参数。参数精确恢复的样本复杂度下限为$Ω(d r \log(r) + p )$，正超额风险的样本复杂度下限为$Ω(r \log(r) + p )$，其中$p$是输入的维数，$r$反映权重矩阵的秩，$d$是隐藏层的数量。据我们所知，我们的结果是第一个信息论下界。
2020-10-29 cs.LG stat.ML
Generalisation in fully-connected neural networks for time series forecasting
CWI Amsterdam, the Netherlands（荷兰阿姆斯特丹数学与计算机科学研究院）
在本文中，我们研究的推广能力的全连接神经网络训练的背景下，时间序列预测。时间序列不满足统计学习理论中关于数据独立同分布的典型假设。一些数据生成分布的样本。我们使用输入和权重Hessians，即学习函数相对于输入的平滑度和权重空间中最小值的宽度，来量化网络推广到未知数据的能力。虽然这样的泛化度量已经在i.i.d.例如图像识别的设置，在这里，我们凭经验验证它们在时间序列预测任务中的使用。此外，我们讨论了如何可以控制的泛化能力的网络的训练过程中使用的学习率，批量大小和训练迭代次数作为控制。使用这些超参数，可以有效地控制输出函数的复杂性，而无需施加显式约束。
2019-07-27 cs.LG stat.ML
Exploiting Spline Models for the Training of Fully Connected Layers in Neural Network
Zhejiang University, UIUC Institute（浙江大学UIUC学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
全连接层是人工神经网络（ANN）中最基本的模块之一，由于其大量的参数而导致的过拟合风险等问题，常常被认为是训练困难和低效的。基于以前的工作研究人工神经网络从线性样条的角度来看，我们提出了一种基于样条的方法，减轻了训练FC层的难度。对于给定的数据集，我们首先通过样条方法（如多元自适应回归样条（MARS））获得连续分段线性（CPWL）拟合。接下来，我们从线性样条模型构建ANN模型，并使用梯度下降优化算法在数据集上继续训练ANN模型。我们的实验结果和理论分析表明，我们的方法降低了计算成本，加快FC层的收敛，并显着增加了所得到的模型（FC层）的可解释性相比，标准的人工神经网络训练与随机参数初始化，然后梯度下降优化。
2021-02-12 cs.AI cs.LG
Is logical analysis performed by transformers taking place in self-attention or in the fully connected part?
School of Mathematics, Georgia Institute of Technology（佐治亚理工学院数学学院）
本文通过手工构建单层编码器并在语法类别对预测任务上测试，发现Transformer的逻辑分析可在自注意力中完成，并计算了梯度下降中的不希望零点以避免其影响。
2025-01-20 cs.AI cs.CL cs.LG
Deep Fully-Connected Networks for Video Compressive Sensing
Northwestern University（西北大学）
在这项工作中，我们提出了一个视频压缩感知的深度学习框架。所提出的配方，使视频帧的恢复在几秒钟内显着提高重建质量相比，以前的方法。我们的研究首先学习视频序列和相应的测量帧之间的线性映射，结果证明这提供了有希望的结果。然后，我们将线性公式扩展到深度全连接网络，并使用更深的架构探索性能增益。我们的分析总是由所提出的框架对现有压缩视频架构的适用性驱动。几个视频序列的大量模拟文件的优越性，我们的方法定量和定性。最后，我们的分析为理解数据集大小和层数如何影响重建性能提供了见解，同时为未来的研究提出了几点建议。代码可以在Github上找到：https://github.com/miliadis/DeepVideoCS
2017-12-16 cs.CV cs.LG cs.MM
CBM-Dual: A 65-nm Fully Connected Chaotic Boltzmann Machine Processor for Dual Function Simulated Annealing and Reservoir Computing
Kyushu Institute of Technology（九州工业大学）；Future University Hakodate（公立函馆未来大学）
本文提出CBM-Dual，首个经硅验证的数字混沌动力学处理器，支持模拟退火和回授计算。通过最大规模的全连接1024神经元混沌玻尔兹曼机，实现边缘AI的实时决策和轻量级适应。
2026-04-08 cs.AR cs.LG
Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with $1/n$ Parameters
NTU（南洋理工大学）；Amazon Web Services AI（亚马逊云科技人工智能部门）；Google Research（谷歌研究院）；ETH Zürich（苏黎世联邦理工学院）；VinAI Research（VinAI研究院）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
最近的工作已经证明了超复杂空间中表示学习的合理成功。具体来说，“具有四元数的全连接层”（4D超复数），它用四元数的Hamilton乘积代替全连接层中的实值矩阵乘法，两者都可以节省参数，只有1/4的可学习参数，并在各种应用中实现相当的性能。然而，一个关键的警告是，超复杂空间只存在于非常少的预定义维度（4D，8D和16 D）。这限制了利用超复数乘法的模型的灵活性。为此，我们建议参数化超复杂乘法，允许模型从数据中学习乘法规则，无论这些规则是否是预定义的。因此，我们的方法不仅包含Hamilton乘积，而且还学习在任何nD超复数空间上操作，与全连接层对应物相比，使用任意$1/n$可学习参数提供更多的架构灵活性。LSTM和Transformer模型在自然语言推理、机器翻译、文本风格转换和主语动词一致性方面的应用实验证明了所提出方法的架构灵活性和有效性。
2021-02-17 cs.AI cs.CL cs.CV
A case where a spindly two-layer linear network whips any neural network with a fully connected input layer
Google Research（谷歌研究院）；Poznan University of Technology（波兹南理工大学）
证明了任何结构的神经网络和节点处的任意可微传递函数在使用梯度下降训练时不能有效地学习以下问题样本：实例是$d$维Hadamard矩阵的行，目标是特征之一，即非常稀疏。我们从本质上证明了这个猜想：我们表明，在接收大小为$k < d$的随机训练集后，预期平方损失仍然是$1-\frac{k}{(d-1)}$。唯一的要求是输入层是完全连接的，并且输入节点的初始权重向量是从旋转不变分布中选择的。令人惊讶的是，同样类型的问题可以通过简单的2层线性神经网络更有效地解决，其中$d$输入通过长度为2的链连接到输出节点（现在输入层每个输入只有一条边）。当这样的网络通过梯度下降训练时，已经表明其预期平方损失是$\frac{\log d}{k}$。我们的下界本质上表明，当样本数量小于输入特征数量时，需要稀疏输入层来有效地采样学习具有梯度下降的稀疏目标。
2020-10-16 cs.LG stat.ML
Minimum number of neurons in fully connected layers of a given neural network (the first approximation)
本文提出一种无需多次训练即可估计任意神经网络全连接层最小神经元数量的算法，基于交叉验证和截断奇异值分解自编码器，将最小数量视为解决方案的内在属性，并在多个数据集上验证。
2024-05-23 cs.AI cs.CV cs.LG
Layerwise Decoupling for Stable Structured Sparsification of Fully Connected Layers
The University of Scranton（斯克兰顿大学）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
提出一种逐层解耦的结构化稀疏化方法，通过提取两层子网络并施加组惩罚，实现更稳健的剪枝，具有更宽的正则化范围和更低的过度剪枝率。
2026-09-21 cs.LG stat.ML
Transformers Provably Learn Sparse Token Selection While Fully-Connected Nets Cannot
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
本文研究稀疏 token 选择任务，证明一层 Transformer 可通过梯度下降学习并实现长度泛化，同时将 FCN 的下界强化至平均情况，建立二者的算法分离。
2024-06-11 cs.IT cs.LG math.IT
Redundancy in Deep Linear Neural Networks
Faculty of Math&CS（数学与计算机科学学院）；Weizmann Institute of Science（魏茨曼科学研究所）
传统观点认为，深度线性神经网络受益于单个线性层的表现力和优化优势。本文提出，在实践中，使用传统优化器的深度线性全连接网络的训练过程与单个线性全连接层相同，是凸的。本文旨在解释并证明这一说法。尽管卷积网络与此描述不一致，但这项工作旨在获得对全连接线性网络的新概念理解，这可能会揭示卷积设置和非线性架构的可能约束。
2022-06-09 cs.LG cs.PF
Posterior concentrations of fully-connected Bayesian neural networks with general priors on the weights
Seoul National University（首尔大学）
本文提出了参数有界的非稀疏深度神经网络新逼近理论，并证明了具有非稀疏一般先验的全连接贝叶斯神经网络能达到近极小化极大最优后验集中速率。
2024-03-21 cs.LG stat.ML
On the rate of convergence of fully connected very deep neural network regression estimates
Technische Universität Darmstadt（达姆施塔特工业大学）
非参数回归的最新结果表明，深度学习，即，具有许多隐藏层的神经网络估计能够在对回归函数的结构进行适当限制的情况下规避所谓的维数灾难。这些结果中使用的神经网络的一个关键特征是，它们的网络架构具有进一步的约束，即网络稀疏性。在本文中，我们证明了我们也可以得到类似的结果，最小二乘估计基于简单的全连接神经网络与ReLU激活函数。这里，或者每个隐藏层的神经元的数量是固定的，并且对于趋于无穷大的样本量，隐藏层的数量趋于无穷快，或者隐藏层的数量由样本量中的某个对数因子限制，并且对于趋于无穷大的样本量，每个隐藏层的神经元的数量趋于无穷快。证明是基于新的近似结果有关深神经网络。
2020-09-29 cs.LG math.ST stat.ML
Ensemble learning in CNN augmented with fully connected subnetworks
Industrial Technology Center of Okayama Prefecture（冈山县工业技术中心）；Okayama University（冈山大学）
本研究提出由基础CNN和多个独立训练的全连接子网络构成的EnsNet模型，通过划分卷积层特征图子集分配给子网络、多数投票整合输出，在多个数据集上提升了CNN性能，在MNIST上达0.16%的最优错误率。
2020-03-24 cs.CV cs.LG eess.IV
Sifting out the features by pruning: Are convolutional networks the winning lottery ticket of fully connected ones?
Laboratoire de Physique de l’École normale supérieure, ENS, Université PSL（巴黎高等师范学院物理实验室，巴黎高等师范学院，巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université de Paris（巴黎大学）
剪枝方法可以大大减少人工神经网络的大小，而不会损害它们的性能。在某些情况下，他们甚至可以发现子网络，当孤立地训练时，匹配或超过其密集同行的测试准确性。在这里，我们研究的归纳偏见，修剪印记在这样的“中奖彩票”。专注于视觉任务，我们分析了一个简单的全连接网络（FCN）的迭代幅度修剪所产生的架构。我们证明了幸存的节点连接在输入空间中是局部的，并且以让人想起卷积网络（CNN）中发现的模式组织。我们研究了数据和任务在塑造修剪子网络的架构中所扮演的角色。我们的研究结果表明，FCNs的中奖彩票显示CNN的关键特征。这种自动网络简化过程恢复CNN设计中“手工制作”的关键特征的能力表明了对其他数据集和任务的有趣应用，以便发现新的和有效的架构归纳偏差。
2021-05-14 cs.CV cs.LG stat.ML
Training Fully Connected Neural Networks is $\exists\mathbb{R}$-Complete
ETH Zürich（苏黎世联邦理工学院）；Université libre de Bruxelles（布鲁塞尔自由大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Utrecht University（乌得勒支大学）；London School of Economics（伦敦政治经济学院）；Goethe-Universität Frankfurt（法兰克福歌德大学）
本文证明了两层全连接神经网络的经验风险最小化决策问题是$\exists\mathbb{R}$-完全的，且训练至最优需要任意大次数的代数数权重，表明多输出网络无法使用组合搜索算法求解。
2024-03-22 cs.CC cs.LG cs.NE
Structure and Performance of Fully Connected Neural Networks: Emerging Complex Network Properties
São Carlos Institute of Physics, University of São Paulo（圣保罗大学圣卡洛斯物理研究所）
理解人工神经网络的行为是最近该领域的主要课题之一，因为自从深度学习广泛传播以来，黑盒方法已经变得很常见。这样的高维模型可能会表现出类似复杂系统的不稳定性和怪异特性。因此，我们提出了复杂网络（CN）技术来分析全连接神经网络的结构和性能。为此，我们构建了一个包含4000个模型及其各自CN属性的数据集。他们采用监督分类设置考虑四个视觉基准。每个神经网络被视为神经元和突触的加权无向图，并在训练后计算中心性度量。结果表明，这些措施是高度相关的网络分类性能。我们还提出了Bag-Of-Neurons（BoN）的概念，这是一种基于CN的方法，用于寻找连接相似神经元的拓扑签名。结果表明，六种神经元类型出现在这样的网络中，独立于目标域，并根据分类精度分布不同。我们还解决了与性能相关的特定CN属性，例如在性能较低的模型上具有较高的子图中心性。我们的研究结果表明，CN属性在全连接神经网络的性能中起着至关重要的作用，拓扑模式独立出现在各种模型中。
2021-07-29 cs.AI cs.CV cs.LG
RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr
Baidu Research（百度研究院）；University of Macau（澳门大学）
使用预训练模型微调深度卷积神经网络（CNN）有助于将从较大数据集学习的知识转移到目标任务。虽然即使当训练数据集很小时，准确性也可以大大提高，但迁移学习结果通常受到具有接近CNN权重的预训练模型的约束（Liu et al.，2019），因为这里的反向传播为更深的CNN层带来了更小的更新。在这项工作中，我们提出了RIFLE -一个简单而有效的策略，加深反向传播迁移学习设置，通过定期重新初始化全连接层与随机划痕在微调过程中。RIFLE为深层CNN层的权重带来了有意义的更新，并改进了低级特征学习，而随机化的效果可以在整个学习过程中轻松收敛。实验表明，使用RIFLE显著提高了深度迁移学习在广泛数据集上的准确性，在相同设置下，测试准确率提高0.5%-2%，优于用于类似目的的已知技巧，如Dropout，DropConnect，StochasticDepth，Disturb Label和Cyclic学习率。经验案例和消融研究进一步表明，RIFLE为深层CNN层带来了有意义的更新，提高了准确性。
2020-07-07 cs.CV cs.LG stat.ML
Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs
Univ. of California, Los Angeles（加州大学洛杉矶分校）；Google Inc.（谷歌公司）；CentraleSupélec（巴黎中央理工-高等电力学院）；INRIA（法国国家信息与自动化研究所）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
深度卷积神经网络（DCNN）最近在高级视觉任务（诸如图像分类和目标检测）中显示出最先进的性能。这项工作汇集了DCNN和概率图形模型的方法，用于解决像素级分类（也称为“语义图像分割”）的任务。我们发现，DCNN最后一层的响应对于准确的对象分割来说并不充分。这是由于DCNN的不变性使其适合高级任务。我们通过将最终DCNN层的响应与完全连接的条件随机场（CRF）相结合，克服了深度网络的这种较差的本地化特性。我们的“DeepLab”系统能够以超越以往方法的准确度定位片段边界。量化，我们的方法在PASCAL VOC-2012语义图像分割任务中设置了新的最先进的技术，在测试集中达到了71.6%的IOU准确率。我们展示了如何有效地获得这些结果：仔细的网络重新利用和小波社区的“孔”算法的新应用允许在现代GPU上以每秒8帧的速度密集计算神经网络响应。
2016-06-07 cs.CV cs.LG cs.NE
RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition
Tsinghua University（清华大学）；MEGVII Technology（旷视科技）；Aberystwyth University（阿伯里斯特威斯大学）
我们提出了RepMLP，一个多层感知器风格的神经网络构建块的图像识别，这是由一系列的全连接（FC）层。与卷积层相比，FC层更有效，更擅长建模长距离依赖关系和位置模式，但在捕获局部结构方面较差，因此通常不太适合图像识别。我们提出了一种结构重新参数化技术，增加了本地的前到FC，使其强大的图像识别。具体来说，我们在训练期间在RepMLP内部构建卷积层，并将它们合并到FC中进行推理。在CIFAR上，一个简单的纯MLP模型显示出非常接近CNN的性能。通过在传统的CNN中插入RepMLP，我们在ImageNet上将ResNets的准确率提高了1.8%，在人脸识别上提高了2.9%，在Cityscapes上提高了2.3%的mIoU。我们有趣的发现强调了将FC的全局表示能力和位置感知与卷积的局部先验相结合可以提高神经网络的性能，在具有平移不变性的任务上具有更快的速度（例如，语义分割）和具有对准图像和位置图案的那些（例如，面部识别）。代码和模型可在https://github.com/DingXiaoH/RepMLP上获得。
2022-03-30 cs.AI cs.CV cs.LG
