FEAST: Fully Connected Expressive Attention for Spatial Transcriptomics
Yonsei University（延世大学）；Emory University（埃默里大学）
FEAST通过全连接图模型和负样本注意力机制，提升空间转录组学中基因表达预测的准确性与生物学解释性。
2026-03-26 cs.AI cs.CV
Ensemble learning in CNN augmented with fully connected subnetworks
Industrial Technology Center of Okayama Prefecture（冈山县工业技术中心）；Okayama University（冈山大学）
本研究提出由基础CNN和多个独立训练的全连接子网络构成的EnsNet模型，通过划分卷积层特征图子集分配给子网络、多数投票整合输出，在多个数据集上提升了CNN性能，在MNIST上达0.16%的最优错误率。
2020-03-24 cs.CV cs.LG eess.IV
TFCNet: Temporal Fully Connected Networks for Static Unbiased Temporal Reasoning
时间推理是视觉智能的重要功能之一。在计算机视觉研究领域，时间推理通常以视频分类的形式进行研究，近年来提出了许多最先进的神经网络结构和数据集基准，特别是3D CNN和Kinetics。然而，最近的一些工作发现，目前的视频分类基准包含对静态特征的强烈偏见，从而不能准确地反映时间建模能力。提出了旨在消除静态偏差的新视频分类基准，在这些新基准上的实验表明，RNN结构和最近的视频Transformers优于当前基于剪辑的3D CNN。在本文中，我们发现，当使用视频级采样策略时，3D CNN及其有效的dependency变体实际上能够在静态无偏时间推理基准上以显著的幅度击败RNN和最近的视觉Transformer。此外，我们提出了时间全连接块（TFC块），一个高效和有效的组件，它近似沿时间维度的全连接层，以获得视频级的感受野，增强时空推理能力。通过将TFC块插入到视频级3D CNN（V3D）中，我们提出的TFCNet在合成时间推理基准CATER和真实世界的静态无偏数据集Diving48上建立了新的最先进的结果，超越了所有以前的方法。
2022-03-11 cs.CV
Sifting out the features by pruning: Are convolutional networks the winning lottery ticket of fully connected ones?
Laboratoire de Physique de l’École normale supérieure, ENS, Université PSL（巴黎高等师范学院物理实验室，巴黎高等师范学院，巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université de Paris（巴黎大学）
剪枝方法可以大大减少人工神经网络的大小，而不会损害它们的性能。在某些情况下，他们甚至可以发现子网络，当孤立地训练时，匹配或超过其密集同行的测试准确性。在这里，我们研究的归纳偏见，修剪印记在这样的“中奖彩票”。专注于视觉任务，我们分析了一个简单的全连接网络（FCN）的迭代幅度修剪所产生的架构。我们证明了幸存的节点连接在输入空间中是局部的，并且以让人想起卷积网络（CNN）中发现的模式组织。我们研究了数据和任务在塑造修剪子网络的架构中所扮演的角色。我们的研究结果表明，FCNs的中奖彩票显示CNN的关键特征。这种自动网络简化过程恢复CNN设计中“手工制作”的关键特征的能力表明了对其他数据集和任务的有趣应用，以便发现新的和有效的架构归纳偏差。
2021-05-14 cs.CV cs.LG stat.ML
Convolutional Neural Network with Pruning Method for Handwritten Digit Recognition
Australian National University（澳大利亚国立大学）
CNN模型是一种常用的图像分析方法，可以用于基于MNIST数据集的手写数字识别。为了获得更高的识别精度，利用具有不同全连接层大小的各种CNN模型来计算CNN全连接层大小与识别精度之间的关系。受前人剪枝工作的启发，我们对CNN模型进行了区别性剪枝，并与NN模型进行了比较。为了提高CNN的剪枝性能，研究了角度阈值对剪枝性能的影响.评价结果表明：对于全连通层的大小，存在一个阈值，当层的大小增加时，小于阈值的识别精度增加，大于阈值的识别精度下降;在CNN上进行剪枝的性能比NN差;随着剪枝角度阈值的增加，全连通层的大小和识别精度降低。本文还表明，对于由MNIST数据集训练的CNN模型，它们能够进行手写数字识别，并在全连接层大小为400时达到最高的识别准确率。此外，对于相同的数据集MNIST，CNN模型比发表的论文中的大，深，简单的NN模型更好。
2021-01-15 cs.CV cs.NE
Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials
Stanford University（斯坦福大学）
用于多类别图像分割和标记的大多数最先进的技术使用在像素或图像区域上定义的条件随机场。虽然区域级模型通常具有密集的成对连接性，但像素级模型要大得多，并且只允许稀疏的图形结构。在本文中，我们考虑全连接CRF模型定义在一个完整的图像中的像素集。由此产生的图具有数十亿条边，使得传统的推理算法不切实际。我们的主要贡献是针对完全连接的CRF模型提出了一种高效的近似推理算法，其中成对边缘势由高斯核的线性组合定义。我们的实验表明，在像素级的密集连接大大提高了分割和标记的准确性。
2012-10-20 cs.AI cs.CV cs.LG
An Equivalence of Fully Connected Layer and Convolutional Layer
EPFL（洛桑联邦理工学院）
本文论证了卷积运算可以转化为矩阵乘法，其计算方式与全连通层相同。这篇文章有助于神经网络的初学者了解全连接层和卷积层在后端的工作方式。为了简洁和使文章更具可读性，我们只考虑线性情况。它可以很容易地扩展到非线性的情况，通过插入一个非线性封装的值，如这个$σ(x)$表示为$x^{\prime}$。
2017-12-04 cs.AI cs.LG stat.ML
Do We Need Fully Connected Output Layers in Convolutional Networks?
Rochester Institute of Technology（罗切斯特理工学院）；Adobe Research（奥多比研究中心）；Paige（Paige公司）；Cornell Tech（康奈尔理工学院）
传统上，深度卷积神经网络由一系列卷积和池化层组成，随后是一个或多个全连接（FC）层以执行最终分类。虽然这种设计是成功的，但对于具有大量类别的数据集，完全连接的层通常占网络参数的很大比例。对于具有内存限制的应用程序，例如移动设备和嵌入式平台，这并不理想。最近，已经提出了一系列涉及用固定层替换学习的全连接输出层的架构，作为实现更高效率的一种方式。在本文中，我们进一步研究了这个想法，并证明了固定分类器与简单地删除输出层及其参数相比没有额外的好处。我们进一步证明了具有完全连接的最终输出层的典型方法在参数计数方面是低效的。我们能够在ImageNet-1 K、CIFAR-100、Stanford Cars-196和Oxford Flowers-102数据集上实现与传统学习的全连接分类输出层相当的性能，而根本没有全连接输出层。
2020-04-29 cs.CV cs.LG eess.IV
Computational Separation Between Convolutional and Fully-Connected Networks
Hebrew University（希伯来大学）；School of Computer Science（计算机科学学院）
卷积神经网络（CNN）在众多计算机视觉任务中表现出无与伦比的性能。然而，从理论角度来看，使用卷积网络相对于全连接网络的优势还没有得到理解。在这项工作中，我们展示了卷积网络如何利用数据中的局部性，从而实现比全连接网络更好的计算优势。具体来说，我们展示了一类问题，这些问题可以使用梯度下降训练的卷积网络有效地解决，但同时使用多项式大小的全连接网络很难学习。
2020-10-03 cs.LG stat.ML
How far can we go without convolution: Improving fully-connected networks
Université de Montréal（蒙特利尔大学）；Goethe University Frankfurt（法兰克福歌德大学）
我们提出了提高全连接网络性能的方法。我们发现两种方法对性能有很大的影响：线性瓶颈层和使用无隐藏单元偏差的自编码器进行无监督预训练。我们展示了这两种方法如何与改善梯度流和降低网络稀疏性相关。我们发现，一个完全连接的网络可以产生约70%的分类准确率的置换不变的CIFAR-10任务，这是远远高于目前的最先进的。通过添加变形的训练数据，完全连接的网络达到78%的准确率，这只是一个体面的卷积网络的10%短。
2015-11-09 cs.LG cs.NE
Compression of Fully-Connected Layer in Neural Network by Kronecker Product
Institute of Computing Technology（计算技术研究所）；Chinese Academy of Sciences（中国科学院）；Megvii Inc.（旷视科技有限公司）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们提出并研究了一种技术，以减少参数的数量和计算时间在全连接层的神经网络使用克罗内克积，在一个温和的成本的预测质量。该技术通过用所谓的克罗内克全连接层替换全连接层来进行，其中FC层的权重矩阵由较小矩阵的多个克罗内克乘积的线性组合来近似。特别是，给定一个在SVHN数据集上训练的模型，我们能够构建一个新的KFC模型，参数总数减少了73%，而误差只轻微上升。相比之下，使用低秩方法只能实现35%的总数量的参数减少相同的质量退化容限。如果我们仅比较KFC层与其对应的全连接层，则参数数量的减少超过99%。由于我们用KFC层中几个较小矩阵的矩阵乘积代替FC层中大矩阵的矩阵乘积，计算量也减少了。在MNIST、SVHN和一些汉字识别模型上的实验也证明了该方法的有效性。
2015-07-22 cs.CV cs.LG cs.NE
The relationship between Fully Connected Layers and number of classes for the analysis of retinal images
City, University of London（伦敦城市大学）
本文实验了深度卷积神经网络中的全连接层的数量，并将其应用于眼底视网膜图像的分类。所分析的图像对应于2019年北京大学国际眼科疾病智能识别竞赛[9]，其中包括各种眼科疾病（白内障，青光眼，近视，糖尿病视网膜病变，年龄相关性黄斑变性（AMD），高血压）以及正常病例的图像。本研究主要针对正常、白内障、AMD和近视进行分类。神经网络的特征提取（卷积）部分保持不变，而网络的特征映射（线性）部分发生变化。不同的数据集也在这些神经网络上进行了探索。每个数据集都因其拥有的类的数量而与另一个数据集不同。因此，本文的目的是找到类的数量和全连接层的数量之间的关系。研究发现，增加神经网络的全连接层数量的效果取决于所使用的数据集的类型。对于简单的线性可分数据集，应该探索增加全连接层，这可能会导致更好的训练精度，但没有发现直接相关性。然而，随着数据集复杂性的增加（更多的重叠类），增加全连接层的数量会导致神经网络停止学习。数据集越复杂，这种现象发生得越快。
2020-04-14 cs.CV cs.LG eess.IV
Efficient SDP Inference for Fully-connected CRFs Based on Low-rank Decomposition
University of Adelaide（阿德莱德大学）
条件随机场（CRF）已广泛应用于各种计算机视觉任务中。传统的CRF通常定义相邻图像像素上的边缘，导致稀疏图，使得可以执行有效的推断。然而，这些CRF未能模拟长期的上下文关系。因此，提出了完全连接的CRF。虽然有有效的近似推理方法，这样的CRF，通常他们是敏感的初始化，并作出强有力的假设。在这项工作中，我们开发了一个有效的，但一般的算法推理全连接CRF。该算法基于可扩展的SDP算法和相似性/核矩阵的低秩近似。该算法的核心是一个定制的拟牛顿法，利用低秩矩阵逼近时，解决专门的SDP对偶问题。实验表明，我们的方法可以应用于完全连接的CRF，不能解决以前，如像素级图像的共同分割。
2015-04-07 cs.CV cs.LG stat.ML
FCC-GAN: A Fully Connected and Convolutional Net Architecture for GANs
The University of Melbourne（墨尔本大学）
生成对抗网络（GANs）是一类强大的生成模型。尽管取得了成功，但GAN网络架构的最佳选择仍然没有得到很好的理解。用于图像合成的GAN模型采用了深度卷积网络架构，该架构消除或最小化了全连接和池化层的使用，以支持GANs的生成器和卷积层。在本文中，我们证明了利用深度全连接层和池化层的卷积网络架构可以比传统的仅卷积架构更有效，并且我们提出了FCC-GAN，一种全连接和卷积GAN架构。基于我们的FCC-GAN架构的模型学习速度比传统架构更快，并且生成更高质量的样本。我们证明了我们的方法在四个流行的图像数据集的有效性和稳定性。
2019-05-27 cs.LG stat.ML
A deep-structured fully-connected random field model for structured inference
University of Waterloo（滑铁卢大学）
为了结构化推理的目的，在使用全连接的图形模型和深度结构化的图形模型方面已经有了很大的兴趣。然而，完全连接和深度结构化的图形模型在很大程度上是独立探索的，这两个概念的统一有待探索。统一这两种模型的一个根本挑战是处理计算复杂性。在这项研究中，我们调查的可行性，统一的全连接和深层结构化的模型在计算上易于处理的方式结构化推理的目的。为了实现这一点，我们引入了一个深结构的全连接随机场（DFRF）模型，该模型集成了一系列放置在状态层之间的中间稀疏自动编码层，以显着降低计算复杂度。图像分割的问题被用来说明使用DFRF的结构化推理的可行性，在计算上易于处理的方式。在这项研究中的结果表明，它是可行的，以计算上易于处理的方式来解决结构化推理问题，如图像分割，统一的全连接和深层结构化的模型。
2015-05-27 cs.IT cs.LG math.IT
An interpretation of the final fully connected layer
Saarland University（萨尔兰大学）
近年来，神经网络已经实现了各种任务的最先进的准确性，但所产生的输出的解释仍然是困难的。在这项工作中，我们试图提供一种方法来了解学习的权重在最终的全连接层的图像分类模型。我们通过在RL中的策略梯度目标和监督学习目标之间建立联系来激励我们的方法。我们建议，常用的交叉熵为基础的监督学习目标可以被视为一个特殊的情况下，策略梯度目标。利用这种洞察力，我们提出了一种方法来找到图像中最具歧视性和最令人困惑的部分。该方法不需要对神经网络结构作任何先验假设，计算量小。我们将我们的方法应用于公开的预训练模型，并报告生成的结果。
2022-05-24 cs.CV cs.LG
Why Are Convolutional Nets More Sample-Efficient than Fully-Connected Nets?
Princeton University（普林斯顿大学）；IAS（高等研究院）
卷积神经网络在泛化性能上通常优于全连接的神经网络，特别是在图像分类任务上。这通常被解释为“更好的归纳偏差”。然而，这在数学上并不严格，障碍在于全连接网络总是可以模拟卷积网络（对于固定任务）。因此，训练算法发挥了作用。目前的工作描述了一个自然的任务，可以证明样本的复杂性差距，标准的训练算法。我们在$\mathbb{R}^d\times\{\pm 1\}$上构建一个单一的自然分布，在该分布上，任何正交不变算法（即，使用高斯初始化中大多数基于梯度的方法训练的全连接网络）都需要$Ω(d^2)$样本来进行泛化，而$O(1)$样本足以用于卷积架构。此外，我们证明了一个单一的目标函数，学习，在所有可能的分布导致$O(1)$与$Ω(d^2/\varepsilon)$差距。证明依赖于全连通网络上的SGD是正交等变的。对于$\ell_2$回归和自适应训练算法，例如Adam和AdaGrad，也获得了类似的结果，它们只是置换等变的。
2021-05-04 cs.LG stat.ML
Fully Connected Deep Structured Networks
University of Toronto（多伦多大学）
具有许多层的卷积神经网络最近已被证明在许多高级任务（例如图像分类、目标检测以及最近的语义分割）上实现了优异的结果。特别是对于语义分割，通常采用两阶段过程。因此，卷积网络被训练为第二步提供良好的局部像素特征，传统上是一个更全局的图形模型。在这项工作中，我们将这两个阶段的过程统一到一个单一的联合训练算法。我们在语义图像分割任务上展示了我们的方法，并在具有挑战性的PASCAL VOC 2012数据集上显示了令人鼓舞的结果。
2015-03-09 cs.CV cs.LG
A high-order tensor completion algorithm based on Fully-Connected Tensor Network weighted optimization
Guangdong University of Technology（广东工业大学）
张量补齐旨在恢复丢失的数据，并且它是深度学习和信号处理中的热门关注点之一。在高阶张量分解算法中，最近提出的全连通张量网络分解（FCTN）算法是最先进的。本文利用全连通张量网络（FCTN）分解的优越性，提出了一种新的张量完备化方法--全连通张量网络加权优化（FCTN-WOPT）.该算法通过初始化FCTN分解的因子来执行完整张量的合成。我们将权值张量、完全张量和不完全张量一起构建损失函数，然后使用lbfgs梯度下降算法更新完全张量，以减少空间内存占用并加快迭代速度。最后，我们用合成数据和真实数据（包括图像数据和视频数据）进行了测试，结果显示了我们的FCTN-WOPT应用于高阶张量完成时的先进性能。
2022-04-06 cs.LG
Is logical analysis performed by transformers taking place in self-attention or in the fully connected part?
School of Mathematics, Georgia Institute of Technology（佐治亚理工学院数学学院）
本文通过手工构建单层编码器并在语法类别对预测任务上测试，发现Transformer的逻辑分析可在自注意力中完成，并计算了梯度下降中的不希望零点以避免其影响。
2025-01-20 cs.AI cs.CL cs.LG
Equivalence of approximation by convolutional neural networks and fully-connected networks
University of Oxford（牛津大学）；Katholische Universität Eichstätt–Ingolstadt（艾希施泰特-英戈尔施塔特天主教大学）
卷积神经网络是应用中最广泛的神经网络类型。然而，在数学分析中，主要研究全连接网络。在本文中，我们建立了两个网络架构之间的连接。使用这种连接，我们表明，所有关于{全连接}神经网络的函数$f \in \mathcal{C}$的近似率的上限和下界-对于任意函数类$\mathcal{C}$ -转换为基本上相同的界限，关于卷积神经网络的函数$f \in {\mathcal{C}^{equi}}$的近似率，类${\mathcal{C}^{equi}}$由所有平移等变函数组成，其第一个坐标属于$\mathcal{C}$。所有给出的结果都专门考虑了卷积神经网络的情况，没有任何池化操作，并且具有循环卷积，即，而不是基于零填充。
2021-01-28 cs.LG math.FA
FC-GAGA: Fully Connected Gated Graph Architecture for Spatio-Temporal Traffic Forecasting
Unity Technologies（Unity科技公司）；McGill University（麦吉尔大学）
多元时间序列预测是一个重要问题，在交通管理、蜂窝网络配置和定量金融中有应用。当有一个图可以捕捉时间序列之间的关系时，就会出现问题的特殊情况。在本文中，我们提出了一种新的学习架构，实现性能竞争力或优于现有的最好的算法，而不需要知识的图形。我们提出的架构的关键要素是可学习的全连接硬图门控机制，使使用的国家的最先进的和高计算效率的全连接的时间序列预测架构在交通预测应用。两个公共交通网络数据集的实验结果说明了我们的方法的价值，消融研究证实了每个元素的架构的重要性。代码可以在这里找到：https://github.com/boreshkinai/fc-gaga。
2020-12-14 cs.LG stat.ML
Deep Fully-Connected Networks for Video Compressive Sensing
Northwestern University（西北大学）
在这项工作中，我们提出了一个视频压缩感知的深度学习框架。所提出的配方，使视频帧的恢复在几秒钟内显着提高重建质量相比，以前的方法。我们的研究首先学习视频序列和相应的测量帧之间的线性映射，结果证明这提供了有希望的结果。然后，我们将线性公式扩展到深度全连接网络，并使用更深的架构探索性能增益。我们的分析总是由所提出的框架对现有压缩视频架构的适用性驱动。几个视频序列的大量模拟文件的优越性，我们的方法定量和定性。最后，我们的分析为理解数据集大小和层数如何影响重建性能提供了见解，同时为未来的研究提出了几点建议。代码可以在Github上找到：https://github.com/miliadis/DeepVideoCS
2017-12-16 cs.CV cs.LG cs.MM
EA-CG: An Approximate Second-Order Method for Training Fully-Connected Neural Networks
HTC Research & Healthcare（HTC研究与医疗）
为了训练全连接神经网络（FCNN），提出了一种实用的近似二阶方法，包括：1）Hessian矩阵的近似和2）基于共轭梯度（CG）的方法。我们提出的近似Hessian矩阵是记忆有效的，可以应用于任何FCNN，其中激活和标准函数是两次可微的。我们设计了一种基于CG的方法，结合一阶近似来推导训练FCNN的牛顿方向，这显着降低了空间和时间复杂度。这种基于CG的方法可以用来解决任何线性方程的系数矩阵是克罗内克因子，对称和正定。实验结果表明了该方法的有效性和有效性。
2018-12-06 cs.LG
Sparsely-Connected Neural Networks: Towards Efficient VLSI Implementation of Deep Neural Networks
McGill University（麦吉尔大学）
最近，深度神经网络由于其提取和表示数据集中的高级抽象的能力而受到相当大的关注。深度神经网络（如全连接和卷积神经网络）在广泛的识别和分类任务中表现出出色的性能。然而，由于其高度复杂性，它们的硬件实现目前遭受大硅面积和高功耗。神经网络的功率/能量消耗由存储器访问支配，其中大部分发生在全连接网络中。事实上，它们包含了大部分的深层神经网络参数。在本文中，我们提出了稀疏连接网络，通过展示全连接网络中的连接数量可以减少高达90%，同时提高三种流行数据集（MNIST，CIFAR 10和SVHN）的准确性性能。然后，我们提出了一个有效的硬件架构的基础上，线性反馈移位寄存器，以减少所提出的稀疏连接网络的内存需求。与传统的全连接神经网络实现相比，所提出的架构可以节省高达90%的内存。此外，实施结果表明，减少高达84%的能量消耗的一个神经元的建议稀疏连接的网络相比，一个神经元的全连接神经网络。
2017-03-30 cs.LG cs.NE
Weight Freezing: A Regularization Approach for Fully Connected Layers with an Application in EEG Classification
Tianjin University（天津大学）
本研究提出一种基于神经科学先验的全连接层正则化方法weight freezing，通过掩码矩阵和阈值冻结部分权重实现稀疏连接，在三个EEG数据集上均超越此前最优分类准确率。
2023-06-12 cs.LG eess.SP
Fully-Connected Network on Noncompact Symmetric Space and Ridgelet Transform based on Helgason-Fourier Analysis
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Ehime University（爱媛大学）
黎曼对称空间（如双曲空间和对称正定（SPD）矩阵流形）上的神经网络是几何深度学习中的一个新兴研究课题。基于非紧对称空间上Helgason-Fourier变换的基本框架，本文提出了一种非紧对称空间上的全连通网络及其脊波变换，并以双曲神经网络和SPDNet为特例.脊波变换是由神经元构成的深度为2的连续网络的分析算子，即它将任意给定的函数映射到网络的权值。由于无坐标重构，非线性激活函数的作用被揭示为一个小波函数，和重建公式直接产生的建议的网络的通用性。
2022-10-05 cs.LG
Information Theoretic Lower Bounds for Feed-Forward Fully-Connected Deep Networks
Purdue University（普渡大学）；Department of Statistics（统计系）；Department of Computer Science（计算机科学系）；West Lafayette, IN 47906（西拉斐特，印第安纳州 47906）
在本文中，我们研究了样本复杂性下界的参数的准确恢复和一个积极的超额风险的前馈，全连接神经网络的二进制分类，使用信息理论的工具。我们证明了这些下界的生成网络的存在，其特征在于一个向后的数据生成过程中，输入生成的基础上的二进制输出，和网络参数化的隐藏层的权重参数。参数精确恢复的样本复杂度下限为$Ω(d r \log(r) + p )$，正超额风险的样本复杂度下限为$Ω(r \log(r) + p )$，其中$p$是输入的维数，$r$反映权重矩阵的秩，$d$是隐藏层的数量。据我们所知，我们的结果是第一个信息论下界。
2020-10-29 cs.LG stat.ML
Transformers Provably Learn Sparse Token Selection While Fully-Connected Nets Cannot
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
本文研究稀疏 token 选择任务，证明一层 Transformer 可通过梯度下降学习并实现长度泛化，同时将 FCN 的下界强化至平均情况，建立二者的算法分离。
2024-06-11 cs.IT cs.LG math.IT
The BUTTER Zone: An Empirical Study of Training Dynamics in Fully Connected Neural Networks
本研究构建了一个包含483,000种超参数配置、1100万次训练运行的实证数据集，揭示了全连接神经网络中跨任务和拓扑的持久训练模式，旨在促进机器学习理论的发展。
2023-10-16 cs.LG
Generalisation in fully-connected neural networks for time series forecasting
CWI Amsterdam, the Netherlands（荷兰阿姆斯特丹数学与计算机科学研究院）
在本文中，我们研究的推广能力的全连接神经网络训练的背景下，时间序列预测。时间序列不满足统计学习理论中关于数据独立同分布的典型假设。一些数据生成分布的样本。我们使用输入和权重Hessians，即学习函数相对于输入的平滑度和权重空间中最小值的宽度，来量化网络推广到未知数据的能力。虽然这样的泛化度量已经在i.i.d.例如图像识别的设置，在这里，我们凭经验验证它们在时间序列预测任务中的使用。此外，我们讨论了如何可以控制的泛化能力的网络的训练过程中使用的学习率，批量大小和训练迭代次数作为控制。使用这些超参数，可以有效地控制输出函数的复杂性，而无需施加显式约束。
2019-07-27 cs.LG stat.ML
Synthesizing real-world distributions from high-dimensional Gaussian Noise with Fully Connected Neural Network
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
本文提出基于全连接神经网络和随机损失函数的高效合成数据生成方法，通过将随机高斯分布转换为近似目标现实数据集，实验表明其在分类质量提升和隐私保护方面优于现有生成方法。
2026-07-17 cs.LG
On the rate of convergence of fully connected very deep neural network regression estimates
Technische Universität Darmstadt（达姆施塔特工业大学）
非参数回归的最新结果表明，深度学习，即，具有许多隐藏层的神经网络估计能够在对回归函数的结构进行适当限制的情况下规避所谓的维数灾难。这些结果中使用的神经网络的一个关键特征是，它们的网络架构具有进一步的约束，即网络稀疏性。在本文中，我们证明了我们也可以得到类似的结果，最小二乘估计基于简单的全连接神经网络与ReLU激活函数。这里，或者每个隐藏层的神经元的数量是固定的，并且对于趋于无穷大的样本量，隐藏层的数量趋于无穷快，或者隐藏层的数量由样本量中的某个对数因子限制，并且对于趋于无穷大的样本量，每个隐藏层的神经元的数量趋于无穷快。证明是基于新的近似结果有关深神经网络。
2020-09-29 cs.LG math.ST stat.ML
RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr
Baidu Research（百度研究院）；University of Macau（澳门大学）
使用预训练模型微调深度卷积神经网络（CNN）有助于将从较大数据集学习的知识转移到目标任务。虽然即使当训练数据集很小时，准确性也可以大大提高，但迁移学习结果通常受到具有接近CNN权重的预训练模型的约束（Liu et al.，2019），因为这里的反向传播为更深的CNN层带来了更小的更新。在这项工作中，我们提出了RIFLE -一个简单而有效的策略，加深反向传播迁移学习设置，通过定期重新初始化全连接层与随机划痕在微调过程中。RIFLE为深层CNN层的权重带来了有意义的更新，并改进了低级特征学习，而随机化的效果可以在整个学习过程中轻松收敛。实验表明，使用RIFLE显著提高了深度迁移学习在广泛数据集上的准确性，在相同设置下，测试准确率提高0.5%-2%，优于用于类似目的的已知技巧，如Dropout，DropConnect，StochasticDepth，Disturb Label和Cyclic学习率。经验案例和消融研究进一步表明，RIFLE为深层CNN层带来了有意义的更新，提高了准确性。
2020-07-07 cs.CV cs.LG stat.ML
Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs
Univ. of California, Los Angeles（加州大学洛杉矶分校）；Google Inc.（谷歌公司）；CentraleSupélec（巴黎中央理工-高等电力学院）；INRIA（法国国家信息与自动化研究所）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
深度卷积神经网络（DCNN）最近在高级视觉任务（诸如图像分类和目标检测）中显示出最先进的性能。这项工作汇集了DCNN和概率图形模型的方法，用于解决像素级分类（也称为“语义图像分割”）的任务。我们发现，DCNN最后一层的响应对于准确的对象分割来说并不充分。这是由于DCNN的不变性使其适合高级任务。我们通过将最终DCNN层的响应与完全连接的条件随机场（CRF）相结合，克服了深度网络的这种较差的本地化特性。我们的“DeepLab”系统能够以超越以往方法的准确度定位片段边界。量化，我们的方法在PASCAL VOC-2012语义图像分割任务中设置了新的最先进的技术，在测试集中达到了71.6%的IOU准确率。我们展示了如何有效地获得这些结果：仔细的网络重新利用和小波社区的“孔”算法的新应用允许在现代GPU上以每秒8帧的速度密集计算神经网络响应。
2016-06-07 cs.CV cs.LG cs.NE
CBM-Dual: A 65-nm Fully Connected Chaotic Boltzmann Machine Processor for Dual Function Simulated Annealing and Reservoir Computing
Kyushu Institute of Technology（九州工业大学）；Future University Hakodate（公立函馆未来大学）
本文提出CBM-Dual，首个经硅验证的数字混沌动力学处理器，支持模拟退火和回授计算。通过最大规模的全连接1024神经元混沌玻尔兹曼机，实现边缘AI的实时决策和轻量级适应。
2026-04-08 cs.AR cs.LG
The Geometric Structure of Fully-Connected ReLU Layers
该研究形式化阐释了d维全连接ReLU层的几何结构，将其解释为多面体锥投影加仿射变换，推导了单隐藏ReLU层前馈网决策边界的复杂度与种类上限，并讨论了层数增加的影响。
2023-11-08 cs.LG
A case where a spindly two-layer linear network whips any neural network with a fully connected input layer
Google Research（谷歌研究院）；Poznan University of Technology（波兹南理工大学）
证明了任何结构的神经网络和节点处的任意可微传递函数在使用梯度下降训练时不能有效地学习以下问题样本：实例是$d$维Hadamard矩阵的行，目标是特征之一，即非常稀疏。我们从本质上证明了这个猜想：我们表明，在接收大小为$k < d$的随机训练集后，预期平方损失仍然是$1-\frac{k}{(d-1)}$。唯一的要求是输入层是完全连接的，并且输入节点的初始权重向量是从旋转不变分布中选择的。令人惊讶的是，同样类型的问题可以通过简单的2层线性神经网络更有效地解决，其中$d$输入通过长度为2的链连接到输出节点（现在输入层每个输入只有一条边）。当这样的网络通过梯度下降训练时，已经表明其预期平方损失是$\frac{\log d}{k}$。我们的下界本质上表明，当样本数量小于输入特征数量时，需要稀疏输入层来有效地采样学习具有梯度下降的稀疏目标。
2020-10-16 cs.LG stat.ML
From Weight Perturbation to Feature Attribution for Explaining Fully Connected Neural Networks
NCSR Demokritos（德米克里托斯研究所）
本文提出通过扰动特征权重而非值来估计特征归因，改进了Occlusion方法的局限性，提出XWP和XWP_c两种新方法，在简单DNN中表现优异，为模型可解释性提供稳健框架。
2026-05-14 cs.LG
Layerwise Decoupling for Stable Structured Sparsification of Fully Connected Layers
The University of Scranton（斯克兰顿大学）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
提出一种逐层解耦的结构化稀疏化方法，通过提取两层子网络并施加组惩罚，实现更稳健的剪枝，具有更宽的正则化范围和更低的过度剪枝率。
2026-09-21 cs.LG stat.ML
Training Fully Connected Neural Networks is $\exists\mathbb{R}$-Complete
ETH Zürich（苏黎世联邦理工学院）；Université libre de Bruxelles（布鲁塞尔自由大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Utrecht University（乌得勒支大学）；London School of Economics（伦敦政治经济学院）；Goethe-Universität Frankfurt（法兰克福歌德大学）
本文证明了两层全连接神经网络的经验风险最小化决策问题是$\exists\mathbb{R}$-完全的，且训练至最优需要任意大次数的代数数权重，表明多输出网络无法使用组合搜索算法求解。
2024-03-22 cs.CC cs.LG cs.NE
Redundancy in Deep Linear Neural Networks
Faculty of Math&CS（数学与计算机科学学院）；Weizmann Institute of Science（魏茨曼科学研究所）
传统观点认为，深度线性神经网络受益于单个线性层的表现力和优化优势。本文提出，在实践中，使用传统优化器的深度线性全连接网络的训练过程与单个线性全连接层相同，是凸的。本文旨在解释并证明这一说法。尽管卷积网络与此描述不一致，但这项工作旨在获得对全连接线性网络的新概念理解，这可能会揭示卷积设置和非线性架构的可能约束。
2022-06-09 cs.LG cs.PF
Posterior concentrations of fully-connected Bayesian neural networks with general priors on the weights
Seoul National University（首尔大学）
本文提出了参数有界的非稀疏深度神经网络新逼近理论，并证明了具有非稀疏一般先验的全连接贝叶斯神经网络能达到近极小化极大最优后验集中速率。
2024-03-21 cs.LG stat.ML
A Hysteretic Q-learning Coordination Framework for Emerging Mobility Systems in Smart Cities
University of Delaware（特拉华大学）
互联和自动驾驶汽车（CAV）可以缓解交通拥堵、空气污染并提高安全性。在本文中，我们提供了一个分散的协调框架CAV在无信号交叉口，以最大限度地减少行程时间，提高燃油效率。我们采用了一种简单而强大的强化学习方法，一种称为Q学习的非策略时间差异学习，通过协调机制来解决这个问题。然后，我们结合先进先出排队策略，以提高我们的系统的性能。通过仿真和与基于庞特里亚金最小值原理的经典最优控制方法的比较，我们证明了我们所提出的方法的有效性。
2020-11-05 cs.LG cs.MA cs.SY
