Fully Convolutional Fractional Scaling
The Hebrew University of Jerusalem（希伯来耶路撒冷大学）
我们介绍了一个完全卷积分数缩放组件，FCFS。全卷积网络可以应用于任何大小的输入，以前不支持非整数缩放。我们的架构是简单的一个有效的单层实现。三个常见的缩放方法的例子和代码实现公布。
2022-03-20 cs.LG cs.NE
Time-series modeling with undecimated fully convolutional neural networks
提出了一种新的基于卷积神经网络的时间序列模型。典型的卷积神经网络（CNN）架构依赖于在层之间使用最大池化运算符，这导致顶层的分辨率降低。相反，在这项工作中，我们考虑一个完全卷积网络（FCN）架构，使用因果滤波操作，并允许输出信号的速率与输入信号的速率相同。此外，我们提出了一个未抽取的版本的FCN，我们称之为未抽取的全卷积神经网络（UFCNN），是出于未抽取的小波变换。我们的实验结果验证，使用未抽取版本的FCN是必要的，以便允许有效的时间序列建模。与其他时间序列模型（如递归神经网络（RNN）和长短期记忆（LSTM））相比，UFCNN具有几个优点，因为它不会受到梯度消失或爆炸问题的影响，因此更容易训练。与基于RNN的模型中涉及的递归相比，卷积运算也可以更有效地实现。我们评估我们的模型在合成目标跟踪任务中的性能，使用轴承只测量产生的状态空间模型，一个概率模型的复调音乐序列问题，和一个高频交易任务，使用时间序列的问/出价报价及其相应的卷。我们使用合成和真实数据集的实验结果验证了UFCNN与RNN和LSTM基线相比的显著优势。
2015-08-03 cs.LG stat.ML
Fully Convolutional Networks for Monocular Retinal Depth Estimation and Optic Disc-Cup Segmentation
青光眼是一种严重的眼部疾病，其筛查和诊断通过检查视神经乳头（ONH）来进行。彩色眼底图像（CFI）是用于眼部筛查的最常见的模态。在CFI中，中心R
2019-02-04 cs.LG eess.IV stat.ML
Non-Intrusive Load Monitoring with Fully Convolutional Networks
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
非侵入式负载监测或能量分解涉及从家庭的总功耗的测量来估计各个电器的功耗。深度神经网络已被证明对能量分解是有效的。在这项工作中，我们提出了一种深度神经网络架构，该架构实现了最先进的解聚性能，大大提高了计算效率，将模型训练时间减少了32倍，预测时间减少了43倍。这种效率的提高对于必须在家中对低功率设备进行分解的应用，或者对于涉及训练大量模型的研究实验，可能特别有用。
2018-12-10 cs.LG stat.ML
Beef Cattle Instance Segmentation Using Fully Convolutional Neural Network
Dublin Institute of Technology（都柏林理工学院）；TEAGASC（爱尔兰农业与食品发展局）
我们提出了一个实例分割算法的训练和应用于肉牛在冬季育肥期间的CCTV记录。一个完全卷积的网络被转换成一个实例分割网络，该网络学习分别标记动物的每个实例。我们引入了一个概念上简单的框架，网络使用该框架为每个动物输出一个预测。这些结果是对冬季肥育肉牛行为分析的贡献，早期发现动物福利相关的问题。
2018-09-20 cs.CV cs.LG stat.ML
A Fully Convolutional Neural Network for Speech Enhancement
Qualcomm Research（高通研究院）
在助听器中，多路重合噪声的存在大大降低了人类语音的听力可懂度。然而，在低SNR环境中，去除混串音而不在人类语音中产生伪像是一项具有挑战性的任务。在这里，我们试图通过监督学习找到一个“映射”之间的嘈杂的语音频谱和干净的语音频谱来解决这个问题。具体来说，我们建议使用全卷积神经网络，它由比全连接网络更少的参数组成。提出的网络，冗余卷积编码器解码器（R-CED），表明卷积网络可以比递归网络小12倍，但性能更好，这表明其适用于嵌入式系统：助听器。
2016-09-22 cs.LG
Fully Convolutional Pixel Adaptive Image Denoiser
Sungkyunkwan University（成均馆大学）
我们提出了一种新的图像去噪算法，称为全卷积自适应图像去噪器（FC-AIDE），它可以从一个离线的监督训练集与一个完全卷积神经网络，以及自适应微调的监督模型为每个给定的噪声图像。我们显着扩展的框架，最近提出的神经AIDE，它制定的降噪是基于上下文的像素映射，并利用无偏估计的MSE这样的降噪。我们做出的两个主要贡献是：1）实现了一种新的全卷积架构，增强了基础监督模型，2）引入正则化方法进行自适应微调，从而实现更强大，更鲁棒的自适应性。因此，FC-AIDE被证明具有许多理想的功能;它在我们测试的所有基准数据集上都优于最近基于CNN的最先进的去噪器，并且对于各种具有挑战性的场景变得特别强大，例如，具有不匹配的图像/噪声特性或具有稀少的监督训练数据。我们的算法的源代码可在https://github.com/csm9493/FC-AIDE-Keras上获得。
2019-10-27 cs.CV cs.LG stat.ML
Recurrent Fully Convolutional Neural Networks for Multi-slice MRI Cardiac Segmentation
King's College London（伦敦国王学院）
在心脏磁共振成像中，心脏的全自动分割使得能够进行精确的结构和功能测量，例如，从左心室的短轴MR图像。在这项工作中，我们提出了一个循环的全卷积网络（RFCN），它可以从整个2D切片堆栈中学习图像表示，并能够通过内部存储单元利用切片间的空间依赖性。RFCN将解剖检测和分割结合到一个单一的架构中，该架构是端到端训练的，从而大大减少了计算时间，简化了分割管道，并有可能实现实时应用。我们使用两个数据集，包括公开的MICCAI 2009挑战数据集的RFCN的调查报告。已经在全卷积网络和深度限制玻尔兹曼机之间进行了比较，包括利用切片间空间相关性的递归版本。我们的研究表明，RFCN产生国家的最先进的结果，并可以大大提高轮廓附近的心尖的描绘。
2016-08-13 cs.CV cs.LG stat.ML
Multi-Scale Fully Convolutional Network for Cardiac Left Ventricle Segmentation
Capital Normal University（首都师范大学）；Beijing Advanced Innovation Center for Imaging Technology（北京成像理论与技术高精尖创新中心）
从心脏磁共振图像中分割出的左心室形态结构可用于计算临床关键参数，对心血管疾病的准确、高效诊断具有重要意义。与传统方法相比，基于全卷积神经网络的分割算法大大提高了语义分割的准确率。针对左心室分割问题，提出了一种新的全卷积神经网络结构MS-FCN。MS-FCN网络采用多尺度池化模块来确保网络最大化特征提取能力，并使用密集连接解码器来细化对象的边界。基于MICCAI 2009挑战赛提供的Sunnybrook cine-MR数据集，数值实验表明，我们提出的模型获得了最先进的分割结果：我们的方法的Dice得分达到0.93的内膜，和0.96的心外膜。
2018-09-19 cs.CV cs.LG stat.ML
Raw Waveform-based Speech Enhancement by Fully Convolutional Networks
Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息技术创新研究中心）；Department of Computer Science and Information Engineering, National Taiwan University（国立台湾大学资讯工程学系）；National Institute of Information and Communications Technology（国立信息通信技术研究所）
本研究提出一种全卷积网络（FCN）模型，用于基于原始波形的语音增强。所提出的系统在端到端（即，波形输入和波形输出）方式，这不同于处理幅度谱的大多数现有去噪方法（例如，对数功率谱（LPS））。由于深度神经网络（DNN）和卷积神经网络（CNN）中涉及的全连接层可能无法准确表征语音信号的局部信息，特别是高频分量，因此我们采用全卷积层来建模波形。更具体地说，FCN仅由卷积层组成，因此语音信号的局部时间结构可以用相对较少的权重有效地保留。实验结果表明，基于DNN和CNN的模型恢复波形高频分量的能力有限，从而导致增强语音的可懂度降低。相比之下，所提出的FCN模型不仅可以有效地恢复波形，而且在短时客观可懂度（STOI）和语音质量感知评估（PESQ）方面优于基于LPS的DNN基线。此外，与DNN和CNN相比，FCN中的模型参数数量仅约为0.2%。
2017-06-15 cs.LG cs.SD stat.ML
On the Universal Approximation Property of Deep Fully Convolutional Neural Networks
本文从动力系统视角研究深度全卷积网络对平移不变或等变函数的逼近，证明了残差网络及满足通道与卷积核大小条件的非残差变体可实现万能逼近，并验证了这些条件的必要性。
2023-05-18 cs.CV cs.LG
Fully Convolutional Neural Networks for Raw Eye Tracking Data Segmentation, Generation, and Reconstruction
Eberhard Karls University Tübingen（图宾根埃伯哈德·卡尔斯大学）
在本文中，我们使用完全卷积神经网络的眼动追踪数据的语义分割。我们还使用这些网络进行重建，并结合变分自动编码器来生成眼动数据。我们的方法的第一个改进是不需要输入窗口，因为使用了全卷积网络，因此可以直接处理任何输入大小。第二个改进是所使用和生成的数据是未经预处理的原始眼动追踪数据（位置X、Y和时间）。这是通过预先初始化第一层中的滤波器并沿着z轴构建输入张量来实现的。我们在三个公开的数据集上评估了我们的方法，并将结果与最先进的方法进行了比较。
2021-01-17 cs.CV cs.HC cs.LG
Text classification problems via BERT embedding method and graph convolutional neural network
CREATORY
本文提出了一种将BERT嵌入方法与图卷积神经网络相结合的新方法。这种组合被用来解决文本分类问题。首先，我们将BERT嵌入方法应用于文本（在BBC新闻数据集和IMDB电影评论数据集中），以便将所有文本转换为数值向量。然后，图卷积神经网络将被应用于这些数字向量，以将这些文本分类到其适当的类别/标签。实验表明，图卷积神经网络模型的性能优于BERT嵌入方法与经典机器学习模型相结合的性能。
2022-09-03 cs.CL cs.LG stat.ML
Do We Need Fully Connected Output Layers in Convolutional Networks?
Rochester Institute of Technology（罗切斯特理工学院）；Adobe Research（奥多比研究中心）；Paige（Paige公司）；Cornell Tech（康奈尔理工学院）
传统上，深度卷积神经网络由一系列卷积和池化层组成，随后是一个或多个全连接（FC）层以执行最终分类。虽然这种设计是成功的，但对于具有大量类别的数据集，完全连接的层通常占网络参数的很大比例。对于具有内存限制的应用程序，例如移动设备和嵌入式平台，这并不理想。最近，已经提出了一系列涉及用固定层替换学习的全连接输出层的架构，作为实现更高效率的一种方式。在本文中，我们进一步研究了这个想法，并证明了固定分类器与简单地删除输出层及其参数相比没有额外的好处。我们进一步证明了具有完全连接的最终输出层的典型方法在参数计数方面是低效的。我们能够在ImageNet-1 K、CIFAR-100、Stanford Cars-196和Oxford Flowers-102数据集上实现与传统学习的全连接分类输出层相当的性能，而根本没有全连接输出层。
2020-04-29 cs.CV cs.LG eess.IV
Fully Convolutional Siamese Networks for Change Detection
ONERA（法国航空航天研究院）
本文提出了三个完全卷积神经网络架构，使用一对配准图像进行变化检测。最值得注意的是，我们提出了完全卷积网络的两个连体扩展，它们使用关于当前问题的算法，以在我们使用RGB和多光谱图像对两个开放变化检测数据集进行的测试中获得最佳结果。我们表明，我们的系统能够从头开始学习使用注释的变化检测图像。我们的架构比以前提出的方法实现了更好的性能，同时比相关系统快至少500倍。这项工作是朝着有效处理哥白尼或大地卫星等大规模地球观测系统的数据迈出的一步。
2018-10-19 cs.CV cs.LG
Minimal Filtering Algorithms for Convolutional Neural Networks
West Pomeranian University of Technology Szczecin（西波美拉尼亚工业大学什切青分校）
在本文中，我们提出了几个资源高效的算法解决方案，关于在卷积神经网络的卷积层中执行的基本滤波操作的完全并行硬件实现。实际上，这些基本操作计算由滑动时间窗从当前数据流形成的相邻向量与M抽头有限脉冲响应滤波器的脉冲响应的两个内积。我们使用Winograd最小滤波技巧，并将其应用于开发完全并行的面向硬件的算法，用于实现M= 3，5，7，9和11的基本滤波操作。在每种情况下，所提出的算法的完全并行硬件实现给出了大约30%的节省嵌入式乘法器的数量相比，一个完全并行的硬件实现的天真的计算方法。
2020-04-12 cs.LG eess.SP stat.ML
Equivalence of approximation by convolutional neural networks and fully-connected networks
University of Oxford（牛津大学）；Katholische Universität Eichstätt–Ingolstadt（艾希施泰特-英戈尔施塔特天主教大学）
卷积神经网络是应用中最广泛的神经网络类型。然而，在数学分析中，主要研究全连接网络。在本文中，我们建立了两个网络架构之间的连接。使用这种连接，我们表明，所有关于{全连接}神经网络的函数$f \in \mathcal{C}$的近似率的上限和下界-对于任意函数类$\mathcal{C}$ -转换为基本上相同的界限，关于卷积神经网络的函数$f \in {\mathcal{C}^{equi}}$的近似率，类${\mathcal{C}^{equi}}$由所有平移等变函数组成，其第一个坐标属于$\mathcal{C}$。所有给出的结果都专门考虑了卷积神经网络的情况，没有任何池化操作，并且具有循环卷积，即，而不是基于零填充。
2021-01-28 cs.LG math.FA
Recognizing Challenging Handwritten Annotations with Fully Convolutional Networks
University of Kaiserslautern（凯泽斯劳滕大学）；Insiders Technologies GmbH（Insiders科技有限公司）；University of Fribourg（弗里堡大学）
本文介绍了一个非常具有挑战性的数据集的历史德国文件和评估全卷积神经网络（FCNN）为基础的方法来定位这些文件中的任何类型的手写注释。手写注释可以通过使用各种书写工具以下划线和文本的形式出现，铅笔的使用使数据更具挑战性。我们训练和评估各种端到端的语义分割方法，并报告结果。任务是将文档的像素分为两类：背景和手写注释。最佳模型在所呈现数据集的测试文档上实现了95.6%的平均Intersection over Union（IoU）得分。我们还比较了用于数据增强和训练的不同策略。为了进行评估，我们使用了ICDAR 2017年中世纪建筑布局分析竞赛的布局分析评估器。
2018-06-22 cs.CV cs.LG stat.ML
Object Detection and 3D Estimation via an FMCW Radar Using a Fully Convolutional Network
University of Technology Sydney（悉尼科技大学）；Qamcom Research and Technology AB（Qamcom研究与技术公司）
本文考虑使用FMCW雷达的目标检测和三维估计。采用最先进的深度学习框架，而不是使用传统的信号处理。在准备雷达训练数据时，通过进行图像分析来提供3D空间中的对象取向的基本事实，其中，通过与雷达设备耦合的相机来获得图像。为了确保一个完全卷积网络（FCN）的成功训练，我们提出了一个归一化的方法，这是必不可少的被施加到雷达信号之前，送入神经网络。经过适当训练后，系统能够首先检测环境中物体的存在。如果是，则系统进一步产生其3D位置的估计。实验结果表明，该系统可以成功地训练和用于检测汽车，并进一步估计其在嘈杂的环境中的三维位置。
2019-02-04 cs.CV cs.LG stat.ML
A Fully Convolutional Neural Network Approach to End-to-End Speech Enhancement
The Cooper Union（库珀联盟学院）
本文将描述一种新的方法，鸡尾酒会的问题，依赖于一个完全卷积神经网络（FCN）架构。FCN将噪声音频数据作为输入，并执行非线性滤波操作，以在输出端产生目标语音的干净音频数据。我们的方法为一个特定的扬声器学习一个模型，然后能够从串音背景噪声中提取扬声器的声音。实验结果表明，该方法具有推广到新的说话人的能力，并且对不同信噪比的新噪声环境具有鲁棒性。这种方法的一个潜在应用是用于助听器。预先训练的模型可以快速地为个人家庭成员和亲密的朋友进行微调，并部署到助听器上，以在嘈杂的环境中帮助听众。
2018-07-20 cs.LG cs.SD eess.AS
Transfer of Fully Convolutional Policy-Value Networks Between Games and Game Variants
Maastricht University（马斯特里赫特大学）；Facebook AI Research（脸书人工智能研究院）
提出在类 AlphaZero 自博弈框架中利用 Ludii 表示的通道语义迁移全卷积策略-价值网络，并通过零样本与微调实验评估跨游戏及变体的迁移效果。
2021-02-24 cs.LG
Multi-Resolution Fully Convolutional Neural Networks for Monaural Audio Source Separation
University of Surrey（萨里大学）
在具有卷积层的深度神经网络中，每一层通常具有固定大小/单一分辨率的感受野（RF）。具有大RF的卷积层从输入特征捕获全局信息，而具有小RF大小的层从输入特征捕获具有高分辨率的局部细节。在这项工作中，我们引入了新的深度多分辨率全卷积神经网络（MR-FCNN），其中每一层都有不同的RF大小来提取多分辨率特征，这些特征从其输入特征中捕获全局和局部细节信息。所提出的MR-FCNN被应用于从许多音频源的混合中分离目标音频源。实验结果表明，与前馈深度神经网络（DNN）和单分辨率深度全卷积神经网络（FCNN）相比，使用MR-FCNN在音频声源分离问题上提高了性能。
2017-10-28 cs.CV cs.LG cs.SD
Fully Convolutional Multi-Class Multiple Instance Learning
UC Berkeley（加州大学伯克利分校）
多实例学习（MIL）可以通过削弱所需的监督程度来减少语义分割等任务中昂贵的注释需求。我们提出了一种新的MIL制定的多类语义分割学习的全卷积网络。在这种情况下，我们试图从弱图像级标签中学习语义分割模型。该模型是端到端训练的，以联合优化表示，同时消除像素图像标签分配的歧义。完全卷积训练接受任何大小的输入，不需要对象建议预处理，并提供像素级损失图来选择潜在实例。我们的多类MIL损失利用了具有多个标签的图像所提供的进一步监督。我们通过对PASCAL VOC分割挑战的初步实验来评估这种方法。
2015-04-15 cs.CV cs.LG cs.NE
Physics-Guided Fully Convolutional Spatiotemporal Learning Toward Digital-Twin-Enabled Microstructure Evolution Prediction
Florida Institute of Technology（佛罗里达理工学院）
提出物理引导的全卷积时空学习框架，通过将控制物理方程纳入训练目标，提升微观结构演化预测的物理一致性和长期稳定性，优于纯数据驱动方法。
2026-06-23 cs.LG
Training Bit Fully Convolutional Network for Fast Semantic Segmentation
Megvii Inc.（旷视科技有限公司）
全卷积神经网络为输入图像提供精确的逐像素预测，并具有语义分割等应用。然而，一个典型的FCN通常需要大量的浮点计算和大的运行时内存，这有效地限制了它的可用性。我们提出了一种训练比特全卷积网络（BFCN）的方法，BFCN是一种具有低位宽权重和激活的全卷积神经网络。由于BFCN的大部分计算密集型卷积都是在低位宽的数字之间完成的，因此可以通过有效的位卷积实现来加速BFCN。在CPU上，两个位向量之间的点积运算可以简化为按位运算和popcount，这可以提供比32位乘法和加法高得多的吞吐量。为了验证BFCN的有效性，我们在PASCAL VOC 2012语义分割任务和Cityscapes上进行了实验。我们的BFCN具有1位权重和2位激活，在CPU上运行速度快7.8倍，或在FPGA上需要不到1%的资源，可以实现与32位对应物相当的性能。
2016-12-01 cs.CV cs.LG
Translated Skip Connections -- Expanding the Receptive Fields of Fully Convolutional Neural Networks
University of the Witwatersrand（金山大学）
在设计架构时，全卷积神经网络的有效感受野是一个重要的考虑因素，因为它定义了每个卷积核可见的输入部分。我们提出了一个神经网络模块，扩展了传统的跳过连接，称为翻译跳过连接。平移跳跃连接几何地增加了架构的感受野，而对参数空间的大小和计算复杂性的影响可以忽略不计。通过将翻译的跳过连接嵌入到基准架构中，我们证明了我们的模块与其他四种方法相匹配或优于其他四种方法，以扩展完全卷积神经网络的有效感受野。我们在来自不同领域的五个当代图像分割数据集上证实了这一结果，包括COVID-19感染的检测，航空图像的分割，常见对象分割和自动驾驶汽车的分割。
2022-11-03 cs.CV cs.LG eess.IV
Fully Convolutional Measurement Network for Compressive Sensing Image Reconstruction
Xidian University（西安电子科技大学）
最近，深度学习方法在压缩感知图像重建任务中取得了显著的进步。在现有的方法中，由于高的计算复杂性，场景是逐块测量的。这导致恢复的图像的块效应。在本文中，我们提出了一个完全卷积的测量网络，其中场景作为一个整体进行测量。该方法保留了场景图像的结构信息，有效地消除了块效应。为了使测量更灵活，测量和恢复部分联合训练。实验结果表明，该方法在PSNR、SSIM和视觉效果等方面均优于现有方法。
2018-05-29 cs.CV cs.LG
Fully Hyperbolic Convolutional Neural Networks for Computer Vision
University of Hildesheim（希尔德斯海姆大学）
本文提出全双曲卷积神经网络HCNN，基于Lorentz模型推广CNN核心组件，在混合和全双曲设置下于标准视觉任务中展现良好性能，为更强大的双曲神经网络奠定基础。
2024-02-07 cs.CV cs.LG
On the reproducibility of fully convolutional neural networks for modeling time-space evolving physical systems
ISAE-SUPAERO（法国高等航空航天学院）；Université de Toulouse（图卢兹大学）；Université de Sherbrooke（舍布鲁克大学）
深度学习全卷积神经网络的可复制性通过在相同条件（数据库、超参数、硬件）下使用非确定性图形处理单元（GPU）操作训练相同网络多次来评估。二维声波的传播，典型的时空演变的物理系统，研究递归和非递归的任务。观察到模型属性（权重，特征字段）的显着变化。当在各种传播基准上进行测试时，这些模型系统地返回了具有高水平偏差的估计，特别是对于由于非确定性而强烈放大可变性的递归分析。使用双浮点精度执行的训练提供了稍好的估计，并显着降低了网络参数及其测试误差范围的可变性。
2021-05-12 cs.LG physics.flu-dyn
A Fully Convolutional Deep Auditory Model for Musical Chord Recognition
Johannes Kepler University（约翰内斯·开普勒大学）
和弦识别系统依赖于鲁棒的特征提取流水线。虽然这些管道传统上是手工制作的，但端到端机器学习的最新进展已经开始激励研究人员探索数据驱动的方法来完成这些任务。在本文中，我们提出了一个和弦识别系统，使用一个完全卷积的深度听觉模型的特征提取。提取的特征由条件随机场进行处理，解码最终的和弦序列。两个处理阶段都是自动训练的，不需要专业知识来优化参数。我们表明，学习的听觉系统提取音乐可解释的功能，并建议的和弦识别系统达到了同等或更好的结果比国家的最先进的算法。
2016-12-15 cs.LG cs.SD
DenseCap: Fully Convolutional Localization Networks for Dense Captioning
Stanford University（斯坦福大学）
我们介绍了密集字幕任务，这需要一个计算机视觉系统来定位和描述显着的区域在图像中的自然语言。当描述由单个单词组成时，密集字幕任务概括目标检测，并且当一个预测区域覆盖整个图像时，概括图像描述。为了共同解决定位和描述任务，我们提出了一种全卷积定位网络（FCLN）架构，该架构通过单个高效的前向传递处理图像，不需要外部区域建议，并且可以通过单轮优化进行端到端训练。该体系结构由卷积网络、一个新的密集定位层和生成标签序列的递归神经网络语言模型组成。我们在Visual Genome数据集上评估了我们的网络，该数据集包括94，000张图像和4，100，000个区域接地标题。我们观察到的速度和准确性的改进基线的基础上，目前的最先进的方法在生成和检索设置。
2015-11-24 cs.CV cs.LG
T-Net: Parametrizing Fully Convolutional Nets with a Single High-Order Tensor
Samsung AI Center, Cambridge（三星人工智能中心（剑桥））
最近的研究结果表明，过度参数化虽然对于成功训练深度神经网络至关重要，但也会引入大量冗余。张量方法有可能通过利用这种冗余来有效地参数化过完备表示。在本文中，我们提出完全参数化卷积神经网络（CNN）与一个单一的高阶，低秩张量。以前关于网络张量化的工作主要集中在参数化单个层（卷积或全连接），并逐层单独执行张量化。相比之下，我们建议通过使用单个高阶张量对其进行参数化来共同捕获神经网络的完整结构，其模式表示网络的每个架构设计参数（例如卷积块的数量，深度，堆栈的数量，输入特征等）。这种参数化允许正则化整个网络并大大减少参数的数量。我们的模型是端到端可训练的，施加在权重张量上的低秩结构充当隐式正则化。我们研究了具有丰富结构的网络的情况，即全卷积网络（FCN），我们建议用单个8阶张量参数化。我们表明，我们的方法可以实现卓越的性能与小的压缩率，并达到高压缩率，可以忽略不计的准确性下降的挑战性任务的人体姿态估计。
2019-04-04 cs.AI cs.CV cs.LG
Central limit theorems for the outputs of fully convolutional neural networks with time series input
本文研究全卷积神经网络在时间序列输入下的输出分布，证明在短程依赖线性过程中，使用全局平均池化层的输出渐近正态，且随观测时间序列长度趋于无穷时极限成立，提出改进的全局加权池化方法。
2026-03-31 cs.LG stat.ME
Discriminatively Boosted Image Clustering with Fully Convolutional Auto-Encoders
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Centre for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
传统的图像聚类方法采用两步方法，依次进行特征学习和聚类。然而，最近的研究结果表明，将分离的阶段结合在一个统一的框架中并联合训练它们可以实现更好的性能。在本文中，我们首先介绍了用于图像特征学习的全卷积自动编码器，然后提出了一个统一的聚类框架，以基于全卷积自动编码器和软$k$均值得分来联合学习图像表示和聚类中心。在学习过程的初始阶段，从自动编码器提取的表示对于后面的聚类可能不是非常有区别的。我们解决这个问题，采用了一个提升的歧视性分布，其中高分作业突出显示，低分的不强调。随着区分度的逐步提高，聚类分配分数得到区分，聚类纯度得到提高。在多个视觉基准数据集上的实验表明，我们的方法可以达到最先进的性能。
2017-03-23 cs.CV cs.LG
Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks
MIT（麻省理工学院）
最近的方法基于人工神经网络（ANN）的短文本分类显示出可喜的成果。然而，许多短文本是按顺序出现的（例如，文档中的句子或对话中的话语），并且大多数现有的基于ANN的系统在对后续文本进行分类时不利用前面的短文本。在这项工作中，我们提出了一个基于递归神经网络和卷积神经网络的模型，它结合了前面的短文本。我们的模型在三个不同的对话行为预测数据集上实现了最先进的结果。
2016-03-12 cs.AI cs.CL cs.LG
Removing Noise from Extracellular Neural Recordings Using Fully Convolutional Denoising Autoencoders
Information Technologies Institute, Centre for Research and Technology – Hellas (CERTH)（希腊研究与技术中心信息技术研究所）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
细胞外记录受到大量噪声源的严重污染，使得去噪过程成为一项极具挑战性的任务，应该解决有效的尖峰分选。为此，我们提出了一种端到端的深度学习方法来解决这个问题，利用全卷积去噪自动编码器，它可以学习从嘈杂的多通道输入中产生干净的神经元活动信号。仿真数据的实验结果表明，我们提出的方法可以显着改善噪声污染的神经信号的质量，优于广泛使用的小波去噪技术。
2021-09-18 cs.LG eess.SP q-bio.NC
Competition vs. Concatenation in Skip Connections of Fully Convolutional Networks
German Center for Neurodegenerative Diseases (DZNE)（德国神经退行性疾病研究中心（DZNE））；Technische Universität München（慕尼黑工业大学）；Harvard Medical School（哈佛医学院）
针对全卷积网络跳跃连接的特征融合问题，提出引入竞争式maxout激活的CDFNet，通过CDB和CUB分别在局、全局尺度引入层间竞争，在VISCERAL基准全身分割任务上优于多种现有最优方法。
2018-07-20 cs.CV cs.LG
Learning to Extract Semantic Structure from Documents Using Multimodal Fully Convolutional Neural Network
The Pennsylvania State University（宾夕法尼亚州立大学）；Adobe Research（Adobe研究院）；Adobe Document Cloud（Adobe文档云）
我们提出了一个端到端，多模态，完全卷积网络，用于从文档图像中提取语义结构。我们认为文档的语义结构提取作为一个像素明智的分割任务，并提出了一个统一的模型，分类像素的基础上，不仅根据他们的视觉外观，在传统的页面分割任务，但也对底层文本的内容。此外，我们还提出了一个高效的合成文档生成过程，用于为我们的网络生成预训练数据。一旦网络在大量合成文档上进行了训练，我们将使用半监督方法对未标记的真实文档进行微调。我们系统地研究了最佳的网络架构，并表明我们的多模态方法和合成数据预训练显着提高性能。
2017-06-07 cs.CV cs.LG
Redesigning Fully Convolutional DenseUNets for Large Histopathology Images
AstraZeneca（阿斯利康）；University of Cambridge（剑桥大学）
组织病理学图像中癌症组织的自动分割可以帮助临床医生检测、诊断和分析此类疾病。与许多卷积网络中用于基准测试的其他自然图像不同，组织病理学图像可以非常大，并且癌症模式可以达到1000像素以上。因此，文献中的著名网络从未被设想来处理这些特性。在这项工作中，我们提出了一个完全卷积的DenseUNet，专门设计用于解决组织病理学问题。我们在最近的MICCAI 2019中作为挑战发布的两个公共病理学数据集中评估了我们的网络：结肠癌图像中的二进制分割（DigestPath 2019）和前列腺癌图像中的多类分割（Gleason 2019），分别取得了与挑战获胜者相似和更好的结果。此外，我们讨论了训练设置中的一些良好实践，以在这些组织病理学数据集中获得最佳性能和主要挑战。
2021-08-05 cs.CV cs.LG
Fully Convolutional Networks for Automatically Generating Image Masks to Train Mask R-CNN
Anhui University of Technology（安徽工业大学）；University of Glasgow（格拉斯哥大学）
本文针对最先进的Mask R-CNN深度学习方法提出了一种新的自动生成图像掩码的方法。Mask R-CNN方法在目标检测中取得了最好的效果，但是训练时需要得到目标Mask，非常费时费力，本文提出的方法分为两阶段设计，自动生成图像Mask，第一阶段实现基于全卷积网络（FCN）的分割网络，第二阶段实现基于Mask R-CNN的目标检测网络，其在来自FCN输出的对象图像掩模、原始输入图像和附加标签信息上被训练。通过实验，我们提出的方法可以自动获取图像模板来训练Mask R-CNN，并且可以达到很高的分类精度，平均分割精度（mAP）超过90
2021-05-20 cs.CV cs.LG
FiniteNet: A Fully Convolutional LSTM Network Architecture for Time-Dependent Partial Differential Equations
California Institute of Technology（加州理工学院）
在这项工作中，我们提出了一个机器学习的方法，以减少数值求解时变偏微分方程（PDE）的错误。我们使用完全卷积的LSTM网络来利用PDE的时空动态。神经网络用于增强通常用于求解偏微分方程的有限差分和有限体积方法（FDM/FVM），使我们能够保持对方法收敛阶的保证。我们训练网络的模拟数据，并表明，我们的网络可以减少2至3倍的误差相比，基线算法。我们证明了我们的方法在三个偏微分方程，每个功能定性不同的动态。我们看看线性平流方程，它以恒定的速度传播其初始条件，无粘Burgers方程，它发展冲击波，和Kuramoto-Sivashinsky（KS）方程，这是混乱的。
2020-02-07 cs.LG cs.NA math.NA
On Study of the Reliable Fully Convolutional Networks with Tree Arranged Outputs (TAO-FCN) for Handwritten String Recognition
Fujitsu Research & Development Center（富士通研究开发中心）
虽然有了强大的深度学习工具，但手写字符串识别仍然是一个具有挑战性的任务。本文基于TAO-FCN提出了一个端到端的手写字符串识别系统。与传统方法相比，该方法不需要预处理，也不需要人工设计规则。有足够的标记数据，它是很容易应用到不同的应用所提出的方法。虽然所提出的方法的性能可能无法与国家的最先进的方法相比，它的可用性和鲁棒性是更有意义的实际应用。
2017-07-10 cs.CV cs.LG
Object Contour Detection with a Fully Convolutional Encoder-Decoder Network
Adobe Research（奥多比研究院）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；UC Merced（加州大学默塞德分校）
我们开发了一种深度学习算法，用于使用全卷积编码器-解码器网络进行轮廓检测。与以往的低层次边缘检测不同，我们的算法侧重于检测更高层次的目标轮廓。我们的网络在PASCAL VOC上进行端到端的训练，并从不准确的多边形注释中获得精确的地面真实值，从而比以前的方法在对象轮廓检测方面具有更高的精度。我们发现，学习的模型可以很好地概括MS COCO上相同超类别中的不可见对象类，并且可以通过微调匹配BSDS 500上最先进的边缘检测。通过与多尺度组合分组算法相结合，我们的方法可以生成高质量的分割对象建议，这大大提高了PASCAL VOC的最新技术水平（将平均召回率从0.62提高到0.67），候选对象的数量相对较少（每幅图像$\sim$ 1660）。
2016-03-15 cs.CV cs.LG
Accuracy Improvement for Fully Convolutional Networks via Selective Augmentation with Applications to Electrocardiogram Data
University of Southern California（南加州大学）；Universität für Musik und darstellende Kunst Graz（格拉茨音乐与表演艺术大学）
深度学习方法已显示出适用于健康和医疗领域的时间序列分类，并在心电图数据分类方面取得了可喜的成果。成功识别心肌梗死具有挽救生命的潜力，该领域深度学习模型的任何有意义的改进都令人非常感兴趣。传统上，当数据有限时，数据增强方法普遍应用于训练集，以改善数据分辨率或样本大小。在本研究提出的方法中，在数据稀缺的情况下不应用数据增强。相反，产生低置信度预测的样本被选择性地增强，以增强模型对与给定类别关联性较低的特征或模式的敏感性。这种方法被测试用于提高全卷积网络的性能。所提出的方法对心肌梗死的分类准确率达到90%，而基线的准确率为82%，这是一个显着的改进。此外，所提出的方法的准确性是最佳的限定的上限阈值附近的低置信度样本和降低，因为这个阈值被提高到包括更高的置信度样本。这表明专门选择较低置信度的样本进行数据增强，对于使用全卷积网络进行心电图数据分类具有明显的好处。
2021-07-10 cs.LG eess.SP
Very Deep Convolutional Networks for Text Classification
Facebook AI Research（Facebook人工智能研究院）；University of Le Mans（勒芒大学）
许多NLP任务的主要方法是递归神经网络，特别是LSTM和卷积神经网络。然而，与推动计算机视觉发展的深度卷积网络相比，这些架构相当肤浅。我们提出了一个新的架构（VDCNN）的文本处理，直接在字符级，只使用小卷积和池操作。我们能够证明该模型的性能随着深度的增加而增加：使用多达29个卷积层，我们报告了几个公共文本分类任务的最新改进。据我们所知，这是第一次将非常深的卷积网络应用于文本处理。
2017-01-27 cs.CL cs.LG cs.NE
Attention Based Fully Convolutional Network for Speech Emotion Recognition
National Engineering Laboratory for Speech and Language Information Processing（语音及语言信息处理国家工程实验室）；University of Science and Technology of China（中国科学技术大学）
语音情感识别是一项具有挑战性的任务，主要原因有三个：1）人类情感是抽象的，这意味着很难区分; 2）一般来说，人类情感只能在长话语中的某些特定时刻被检测到; 3）带有情感标签的语音数据通常是有限的。在本文中，我们提出了一种新的基于注意力的全卷积网络语音情感识别。我们采用全卷积网络，因为它能够处理可变长度的语音，无需分段以保持关键信息不丢失。所提出的注意力机制可以使我们的模型知道语音谱图的哪个时频区域更具有情感相关性。考虑到数据的有限性，采用迁移学习的方法来提高识别精度。特别是，有趣的是观察到基于自然场景图像的预训练模型获得的明显改善。在公开的IEMOCAP语料库上进行验证，该模型的加权准确率为70.4%，未加权准确率为63.9%，优于最先进的方法。
2019-05-02 cs.LG cs.SD eess.AS
Training a Fully Convolutional Neural Network to Route Integrated Circuits
Oracle America（甲骨文美国公司）；Stanford University（斯坦福大学）
我们提出了一个深，完全卷积神经网络，学习路由电路布局网络与适当选择的金属轨道和导线类组合。网络的输入是包含要布线的管脚的空间位置的编码布局。在15个完全卷积阶段之后，接着是分数比较器，网络输出8个布局层（对应于4个布线层、3个通孔层和一个标识映射引脚层），然后解码这些布局层以获得布线布局。我们将其公式化为基于每层每像素的二进制分割问题，其中网络被训练为正确地将每个布局层中的像素分类为“开”或“关”。为了证明布局设计规则的可学习性，我们在基于某些预定义布局约束生成的50，000个训练和10，000个验证样本的数据集上对网络进行训练。使用精确度、召回率和$F_1$分数度量来跟踪训练进度。我们的网络在训练集上实现$F_1\approx97\%$，在验证集上实现$F_1\approx92\%$。我们使用PyTorch来实现我们的模型。代码可在https://github.com/sjain-stanford/deep-route上公开获取。
2017-09-11 cs.AI cs.CV cs.LG
Deformable Part-based Fully Convolutional Network for Object Detection
Thales Optronique S.A.S.（泰雷兹光电子公司）
现有的基于区域的对象检测器仅限于具有固定框几何形状的区域来表示对象，即使这些区域是高度非矩形的。在本文中，我们介绍了DP-FCN，一个深度模型的目标检测，明确适应形状的物体与变形部分。在没有额外注释的情况下，它学会关注有区别的元素并将它们对齐，同时为分类和几何信息带来更多的不变性，以改进定位。DP-FCN由三个主要模块组成：一个全卷积网络，以有效地保持空间分辨率，一个可变形的部分为基础的RoI池层，以优化零件的位置和建立不变性，和一个变形感知定位模块明确利用部分的位移，以提高限界框回归的准确性。我们通过实验验证了我们的模型，并显示出显着的收益。DP-FCN在仅使用VOC数据的PASCAL VOC 2007和2012上实现了83.1%和80.9%的最新性能。
2017-07-19 cs.AI cs.CV cs.LG
Urban Change Detection by Fully Convolutional Siamese Concatenate Network with Attention
Shiraz University（设拉子大学）
变化检测是遥感中的一个重要问题，特别是在灾害时期的城市管理中。现有的传统变化检测方法大多是基于像素或对象进行分类的。在处理甚高分辨率遥感图像时，基于对象的模型比基于像素的方法更可取。这些方法可以从正在进行的深度学习研究中受益。本文提出了一种基于全卷积Siamese级联网络（FC-Siam-Conc）的VHR遥感影像变化检测算法。该方法使用预处理和注意力门层来提高准确性。高斯注意力（GA）作为一种软视觉注意力机制用于预处理。GA帮助网络像生物视觉系统一样处理特征图。由于GA参数在网络训练过程中无法调整，因此引入了一个注意门层来扮演GA的角色，其参数可以在其他网络参数中进行调整。在Onera卫星变化检测（OSCD）和RIVER-CD数据集上获得的实验结果证实了所提出的架构优于最先进的算法。
2021-01-31 cs.CV cs.LG eess.IV
Sentiment analysis in non-fixed length audios using a Fully Convolutional Neural Network
Xeridia S.L.（Xeridia有限公司）
本文提出一种基于全卷积神经网络的情感分析方法，可处理任意长度音频，在EMODB、RAVDESS和TESS数据集上优于现有方法，支持近实时分析，适用于呼叫中心、医疗咨询和金融等领域。
2024-02-03 cs.LG cs.SD eess.AS
