Accelerating Conjugate Gradient Solvers for Homogenization Problems with Unitary Neural Operators
Institute of Applied Mechanics, Data Analytics in Engineering（应用力学研究所，工程数据化分析中心）；University of Stuttgart（斯图加特大学）
UNO-CG通过结合机器学习预条件器和经典求解器，加速均质化问题的求解，减少迭代次数并保持高性能。
2026-02-04 cs.LG cs.NA math.NA
Multi-scale Topology Optimization using Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Intact Solutions
针对多尺度结构中相邻微结构单元连通性差的问题，提出一种拓扑神经网络直接进行逆均匀化优化，通过坐标扩展融合边界，实现兼容且空间变化的梯度多尺度结构设计。
2025-02-20 cs.AI cs.LG cs.NE
Mesh-based graph convolutional neural networks for modeling materials with microstructure
Sandia National Laboratories（桑迪亚国家实验室）
预测具有微观结构的材料的代表性样品的演变是均匀化中的基本问题。在这项工作中，我们提出了一个图形卷积神经网络，直接利用初始微观结构的离散化表示，没有分割或聚类。与基于特征和基于像素的卷积神经网络模型相比，所提出的方法具有许多优点：（a）它的深度在于它不需要特征化，但可以从中受益，（b）它具有标准卷积滤波器和层的简单实现，（c）它在无插值的情况下原生地工作在非结构化和结构化网格数据上（与基于像素的卷积神经网络不同），以及（d）它像其他基于图形的卷积神经网络一样保持旋转不变性。我们证明了该网络的性能，并将其与传统的基于像素的卷积神经网络模型和基于特征的图卷积神经网络在多个大型数据集上进行比较。
2021-11-29 cs.LG
Initialization Strategies of Spatio-Temporal Convolutional Neural Networks
University of Toronto（多伦多大学）
我们提出了一种新的方法，将视频中的时间信息合并到在图像上训练的空间卷积神经网络（ConvNets）中，避免从头开始训练时空ConvNets。我们使用从ImageNet学习的2D卷积权重描述了时空ConvNet的3D卷积层中的几个权重初始化。我们表明，为了学习视频的时间表示，明智地初始化3D卷积权重是很重要的。我们在UCF-101数据集上评估了我们的方法，并证明了对Spatial ConvNets的改进。
2015-03-25 cs.CV cs.LG
On the Robustness of Convolutional Neural Networks to Internal Architecture and Weight Perturbations
Cornell University（康奈尔大学）；Augsburg University（奥格斯堡大学）；Technische Universität München（慕尼黑工业大学）；Ludwig-Maximilians-Universität München（慕尼黑大学）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
深度卷积神经网络通常被认为是鲁棒的函数逼近器。到目前为止，这种直觉是基于对外部刺激的扰动，例如要分类的图像。在这里，我们探讨了卷积神经网络对网络本身的内部权重和结构扰动的鲁棒性。我们发现，卷积网络对较高卷积层中的一些内部扰动具有惊人的鲁棒性，但底层卷积层要脆弱得多。例如，Alexnet在随机删除顶部卷积层或密集层中超过70%的权重连接时，分类性能下降不到30%，但在第一个卷积层中使用相同的扰动时，性能几乎是偶然的。最后，我们建议进一步的研究，可以继续为卷积网络对内部扰动的鲁棒性提供信息。
2017-03-23 cs.CV cs.LG
Universal Fourier Neural Operators for periodic homogenization problems in linear elasticity
University of Duisburg-Essen（杜伊斯堡-埃森大学）；Center for Nanointegration Duisburg-Essen (CENIDE)（杜伊斯堡-埃森纳米集成中心）；Fraunhofer Institute for Industrial Mathematics ITWM（弗劳恩霍夫工业数学研究所）
本文提出用傅里叶神经算子（FNO）求解线性弹性周期均匀化胞元问题，通过借鉴基于FFT的微力学方法构造无需训练的代理模型，实现对任意刚度分布的高精度通用预测，并能高效处理超大规模问题。
2025-11-06 cs.CE cs.LG
Descriptor Matching with Convolutional Neural Networks: a Comparison to SIFT
最新的结果表明，通过卷积神经网络学习的特征在分类任务中的表现大大优于以前的描述符。事实证明，当这些网络应用于与它们训练时不同的数据集或识别任务时，它们仍然工作得很好。然而，像SIFT这样的描述符不仅用于识别，而且还用于许多依赖于描述符匹配的对应问题。在本文中，我们将卷积神经网络的各个层的特征与标准SIFT描述符进行了比较。我们考虑一个在ImageNet上训练的网络和另一个在没有监督的情况下训练的网络。令人惊讶的是，卷积神经网络在描述符匹配方面明显优于SIFT。本文已与arXiv：1406.6909合并
2015-06-24 cs.CV cs.LG
Pointwise Convolutional Neural Networks
The University of Tokyo（东京大学）；Singapore University of Technology and Design（新加坡科技设计大学）
利用诸如重建的点云和CAD模型的3D数据的深度学习最近受到了极大的研究兴趣。然而，使用点云与卷积神经网络的能力迄今尚未得到充分探索。本文提出了一种用于三维点云语义分割和目标识别的卷积神经网络。我们网络的核心是逐点卷积，这是一种新的卷积运算符，可以应用于点云的每个点。我们的全卷积网络设计，虽然实现起来非常简单，但在语义分割和对象识别任务中都可以产生有竞争力的准确性。
2018-03-29 cs.CV cs.LG
Local Binary Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Michigan State University（密歇根州立大学）
我们提出了局部二进制卷积（LBC），这是标准卷积神经网络（CNN）中卷积层的有效替代方案。LBC的设计原则是由局部二进制模式（LBP）激发的。LBC层包括在训练过程期间不更新的一组固定稀疏预定义二进制卷积滤波器、非线性激活函数和一组可学习线性权重。线性权重组合激活的滤波器响应以近似标准卷积层的对应激活的滤波器响应。LBC层提供了显着的参数节省，与标准卷积层相比，可学习参数的数量为9倍至169倍。此外，与标准卷积层相比，权重的稀疏和二进制性质还导致模型大小节省高达9倍至169倍。我们从理论和实验上证明，我们的局部二进制卷积层是标准卷积层的一个很好的近似。从经验上讲，具有LBC层的CNN，称为局部二进制卷积神经网络（LBCNN），在一系列视觉数据集（MNIST，SVHN，CIFAR-10和ImageNet）上实现了与常规CNN的性能等同，同时节省了大量计算。
2017-07-01 cs.CV cs.LG
FluTO: Graded Multiscale Fluid Topology Optimization using Neural Networks
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
具有低耗散但高接触面积的流体流动装置在许多应用中是重要的。一个众所周知的策略来设计这样的设备是多尺度拓扑优化（MTO），其中最佳的微结构被设计在每个单元内的离散域。不幸的是，MTO在计算上是非常昂贵的，因为必须在均匀化过程的每个步骤期间执行演变的微结构的均匀化。作为替代，我们在这里提出了一个分级多尺度拓扑优化（GMTO）设计流体流动装置。在所提出的方法中，几个预先选择的，但尺寸参数化和定向的微结构被用来最佳地填充域。GMTO大大减少了计算量，同时保留了MTO的许多优点。特别地，GMTO在这里使用神经网络（NN）来实现，因为：（1）均匀化可以离线执行，并且在优化期间由NN使用，（2）它使得能够在优化期间在微结构之间连续切换，（3）设计变量和计算工作量的数量与所使用的微结构的数量无关，以及（4）它支持自动微分，从而消除了手动灵敏度分析。几个数值结果来说明所提出的框架。
2022-09-16 cs.LG cs.NA math.NA
Research Progress of Convolutional Neural Network and its Application in Object Detection
East China University of Science and Technology（华东理工大学）
随着计算机性能的提高和数据量的增加，基于卷积神经网络（CNN）的目标检测已成为目标检测的主要算法。综述了卷积神经网络及其在目标检测中的应用研究进展，重点分析和讨论了将卷积神经网络应用于目标检测的具体思路和方法，指出了目前存在的不足和未来的发展方向。
2020-07-27 cs.CV cs.LG eess.IV
Temporally Folded Convolutional Neural Networks for Sequence Forecasting
Kavli IPMU (WPI), University of Tokyo（东京大学卡弗里数物连携宇宙研究机构（世界顶级国际研究中心））
在这项工作中，我们提出了一种新的方法，利用卷积神经网络的时间序列预测。具有空间维度的序列数据的时间方向$D=1,2$被民主地认为是时空$(D+1)$维卷积神经网络的输入。然后，后者从$D +1 \to D$维度减少数据流，然后是使用此信息预测后续时间步长的定罪单元。我们根据经验将这种策略与卷积LSTM和LSTM分别在顺序MNIST和JSB chorals数据集上的性能进行了比较。我们的结论是，时间折叠卷积神经网络（TFC的）可能优于传统的递归策略。
2020-01-10 cs.CV cs.LG stat.ML
Brain tumor detection using artificial convolutional neural networks
Universidad Autónoma de Chihuahua（奇瓦瓦自治大学）
在本文中，卷积神经网络（CNN）被用来分类的核磁共振图像的人脑与4种不同类型的肿瘤：脑膜瘤，胶质瘤和垂体瘤。在本项目的训练阶段，准确率为100%，同时，在评估阶段的精度为96%。
2022-06-22 cs.CV cs.LG eess.IV
Recent Advances in Convolutional Neural Networks
Nanyang Technological University（南洋理工大学）
在过去的几年里，深度学习在各种问题上都有很好的表现，比如视觉识别、语音识别和自然语言处理。在不同类型的深度神经网络中，卷积神经网络得到了最广泛的研究。随着标注数据量的快速增长和图形处理器性能的不断提高，卷积神经网络的研究迅速兴起，并在多个领域取得了令人瞩目的成果。本文对卷积神经网络的最新进展进行了广泛的综述。详细介绍了CNN在不同方面的改进，包括层设计、激活函数、损失函数、正则化、优化和快速计算。此外，我们还介绍了卷积神经网络在计算机视觉、语音和自然语言处理中的各种应用。
2017-10-19 cs.CV cs.LG cs.NE
Malaria detection in Segmented Blood Cell using Convolutional Neural Networks and Canny Edge Detection
Leading University（领先大学）；Clemson University（克莱姆森大学）
我们应用卷积神经网络从薄血涂片切片图像中识别疟疾感染和未感染的分割细胞。我们优化了我们的模型，以发现疟疾细胞检测的准确率超过95%。我们还应用Canny图像处理来减少训练文件的大小，同时保持相当的准确率（~ 94%）。
2022-02-21 cs.CV cs.LG eess.IV
Quaternion-Valued Convolutional Neural Network Applied for Acute Lymphoblastic Leukemia Diagnosis
Escuela Superior Politécnica del Litoral（滨海理工学院）；Universidade Estadual de Campinas（坎皮纳斯州立大学）
近年来，随着深度神经网络和卷积神经网络的发展，神经网络领域已经取得了重大进展。虽然目前的许多工作都是针对实值模型，但最近的研究表明，具有超复值参数的神经网络可以更好地捕获，概括和表示多维数据的复杂性。本文探讨了四元数值卷积神经网络在医学模式识别任务中的应用，即急性淋巴细胞白血病的诊断。准确地说，我们比较了实值和四元数值卷积神经网络的性能，以分类淋巴母细胞从外周血涂片显微图像。四元数值卷积神经网络实现了更好或类似的性能比其相应的实值网络，但仅使用其参数的34%。这一结果证实，四元数代数允许捕获和提取信息的彩色图像与较少的参数。
2021-12-13 cs.CV cs.LG cs.NE
Attention Based Image Compression Post-Processing Convolutional Neural Network
University of Southampton（南安普顿大学）；Fuzhou University（福州大学）
传统的图像压缩器，例如，BPG和H.266都实现了出色的图像和视频压缩质量。近年来，卷积神经网络在图像压缩中得到了广泛的应用。针对传统图像压缩解码器的输出进行后处理，提出了一种基于注意力的低码率卷积神经网络。在验证集上的实验结果中，由MAE和MS-SSIM损失训练的后处理模块在比特率为0.15时平均产生最高的PSNR 32.10。
2019-05-27 cs.CV cs.LG eess.IV
Deep Transfer Convolutional Neural Network and Extreme Learning Machine for Lung Nodule Diagnosis on CT images
文章的某些内容需要保密
2020-04-28 cs.CV cs.LG eess.IV
Polyconvex neural-network surrogates with learned paired directional features for anisotropic hyperelastic homogenization
Centre Internacional de Mètodes Numèrics en Enginyeria (CIMNE)（国际数值工程方法中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Stanford University（斯坦福大学）
本研究提出带学习配对方向特征的多凸物理增强神经网络，用于各向异性超弹性均匀化，其受约束能量在数据外仍保持凸性，精度损失小且性能稳定。
2026-10-12 cs.LG cs.NA math.NA
GaborNet: Gabor filters with learnable parameters in deep convolutional neural networks
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文描述了一种使用深度卷积神经网络进行图像识别的系统。提出了改进的网络结构，重点是提高收敛性和降低训练复杂度。网络第一层中的滤波器被约束以拟合Gabor函数。Gabor函数的参数是可学习的，并通过标准的反向传播技术进行更新。该系统在Python上实现，在几个数据集上进行了测试，性能优于常见的卷积网络。
2019-04-30 cs.CV cs.LG eess.IV
Implementation of Training Convolutional Neural Networks
University of Chinese Academy of Sciences（中国科学院大学）
深度学习是机器学习的一个闪亮分支，它基于对表示的学习水平。卷积神经网络（CNN）是一种深度神经网络。可以同时学习。本文详细分析了CNN算法的前向过程和反向传播过程。然后应用特殊的卷积神经网络，用java实现了典型的人脸识别问题。然后，在第四节中提出了一种并行策略。另外，通过测量前后向计算的实际时间，从理论上分析了最大加速比和并行效率。
2015-06-04 cs.CV cs.LG cs.NE
Band-limited Training and Inference for Convolutional Neural Networks
University of Chicago（芝加哥大学）
卷积层是神经网络架构的核心构建块。通常，卷积滤波器应用于输入数据的整个频谱。我们探索在训练过程中人为地约束这些滤波器和数据的频谱，称为频带限制。频域约束适用于前馈和反向传播步骤。在实验中，我们观察到卷积神经网络（CNN）对这种压缩方案具有弹性，结果表明CNN学会利用低频分量。特别是，我们发现：（1）带限训练可以有效地控制资源使用（GPU和存储器）;（2）用带限层训练的模型保持高预测精度;以及（3）不需要修改现有的训练算法或神经网络架构来使用，不像其他压缩方案。
2019-11-21 cs.CV cs.LG stat.ML
On the Empirical Neural Tangent Kernel of Standard Finite-Width Convolutional Neural Network Architectures
University of Basel（巴塞尔大学）
神经切线核（NTK）是构建深度学习理论的一个重要里程碑。它的预测，即足够宽的神经网络表现为核方法，或等效为随机特征模型，已被证实为某些宽架构的经验。NTK理论如何对标准神经网络架构进行建模仍然是一个悬而未决的问题，这些架构的宽度在实践中很常见，并在ImageNet等复杂数据集上进行了训练。我们对两个著名的卷积神经网络架构（即AlexNet和LeNet）进行了经验研究，发现它们的行为与有限宽度NTK的行为有很大的差异。对于这些网络的更宽版本，其中通道的数量和完全连接层的宽度增加，偏差减小。
2020-06-24 cs.CV cs.LG stat.ML
Convexified Convolutional Neural Networks
Stanford University（斯坦福大学）
我们描述了一类凸化的卷积神经网络（CCNNs），它以凸的方式捕获卷积神经网络的参数共享。通过将非线性卷积滤波器表示为再生核希尔伯特空间中的向量，CNN参数可以表示为低秩矩阵，其可以被放松以获得凸优化问题。对于学习两层卷积神经网络，我们证明了由凸化的CNN获得的泛化误差收敛到最佳可能的CNN。为了学习更深层次的网络，我们以逐层的方式训练CCNN。从经验上讲，CCNN的性能与通过反向传播、SVM、全连接神经网络、堆叠去噪自动编码器和其他基线方法训练的CNN相比具有竞争力。
2016-09-04 cs.LG
Convolutional Neural Network(CNN/ConvNet) in Stock Price Movement Prediction
Shiv Nadar University（希夫·纳达尔大学）
随着技术的进步和数据的指数增长，我们已经在不同的领域展开了神经网络的不同功能。在本文中，我尝试在股票市场中使用一种特定类型的神经网络，称为卷积神经网络（CNN/ConvNet）。换句话说，我试图根据过去的股票价格数据构建和训练一个卷积神经网络，然后试图预测股票价格的走势，即股票价格在未来一段时间内是上涨还是下跌。
2021-06-03 cs.AI cs.CV cs.LG
Similarity Equivariant Graph Neural Networks for Homogenization of Metamaterials
Eindhoven University of Technology（埃因霍温理工大学）；Czech Technical University in Prague（布拉格捷克技术大学）；Eindhoven AI Systems Institute (EAISI)（埃因霍温人工智能系统研究所）
本文提出融合 E(n) 与尺度等变的图神经网络，将微结构作为输入以预测超材料均匀化中的全局力学量和图案变换，并以孔洞边界构建高效图表示。
2025-03-13 cond-mat.soft cs.AI cs.LG
SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization
École Centrale de Nantes（南特中央理工学院）
卷积神经网络（CNN）是一类代表性的深度学习算法，包括基于其分层架构对输入数据执行卷积不变分类的卷积计算。然而，经典的卷积神经网络学习方法使用最速下降算法进行训练，学习性能受卷积层和全连接层初始权重设置的影响很大，需要重新调整以在不同的模型结构和数据下获得更好的性能。结合模拟退火算法在全局搜索方面的优势，提出将其应用于超参数搜索过程，以提高卷积神经网络（CNN）的有效性。本文在Text-CNN神经网络的基础上引入SA-CNN神经网络用于文本分类任务，并实现了用于超参数搜索的模拟退火算法。实验表明，我们可以实现更高的分类精度比早期的模型与手动调整，并在时间和空间上的改进，探索相对于人类调整是实质性的。
2023-03-13 cs.LG
Multi-Resolution Fully Convolutional Neural Networks for Monaural Audio Source Separation
University of Surrey（萨里大学）
在具有卷积层的深度神经网络中，每一层通常具有固定大小/单一分辨率的感受野（RF）。具有大RF的卷积层从输入特征捕获全局信息，而具有小RF大小的层从输入特征捕获具有高分辨率的局部细节。在这项工作中，我们引入了新的深度多分辨率全卷积神经网络（MR-FCNN），其中每一层都有不同的RF大小来提取多分辨率特征，这些特征从其输入特征中捕获全局和局部细节信息。所提出的MR-FCNN被应用于从许多音频源的混合中分离目标音频源。实验结果表明，与前馈深度神经网络（DNN）和单分辨率深度全卷积神经网络（FCNN）相比，使用MR-FCNN在音频声源分离问题上提高了性能。
2017-10-28 cs.CV cs.LG cs.SD
Equivariant graph convolutional neural networks for the representation of homogenized anisotropic microstructural mechanical response
Sandia National Laboratories（桑迪亚国家实验室）
针对微观结构材料本构建模问题，提出结合等变与张量基操作的图卷积神经网络架构，有效均匀化各向异性材料，并在随机体积元数据集上实现显著性能提升。
2024-04-05 cond-mat.mtrl-sci cs.LG
Graph Convolutional Networks from the Perspective of Sheaves and the Neural Tangent Kernel
University of Minnesota（明尼苏达大学）
图卷积网络是一类流行的深度神经网络算法，其在许多关系学习任务中显示出成功。尽管取得了成功，但图卷积网络表现出许多独特的特征，包括偏向于学习过平滑和同质函数，由于这些算法的复杂性，这些函数不容易诊断。我们建议通过研究层卷积网络的神经切线核来弥合这一理解上的差距--层卷积网络是图卷积网络的拓扑推广。为此，我们推导出层卷积网络的神经切线核的参数化，该参数化将函数分为两部分：一部分由图确定的前向扩散过程驱动，另一部分由节点激活对输出层的复合效应确定。这种几何聚焦的推导产生了许多我们详细讨论的直接见解。
2022-08-19 cs.LG
Review of blockchain application with Graph Neural Networks, Graph Convolutional Networks and Convolutional Neural Networks
本文综述了GNN、GCN和CNN在区块链中的应用，分析其如何提升效率、安全性与可扩展性，并展望未来研究方向。
2024-10-01 cs.LG
Autoregressive Convolutional Neural Networks for Asynchronous Time Series
Imperial College London（帝国理工学院）；Hellebore Capital Limited（Hellebore Capital有限公司）；Ecole Polytechnique（巴黎综合理工学院）
我们提出了显著性偏移卷积神经网络，这是一种用于多元异步时间序列回归的深度卷积网络架构。该模型受到标准自回归（AR）模型和递归神经网络中使用的门控机制的启发。它涉及一个类似AR的加权系统，其中最终预测值是作为调整后回归量的加权和获得的，而权重是通过卷积网络学习的数据相关函数。该架构专为异步时间序列的应用程序而设计，并在以下数据集上进行评估：对冲基金专有的信用衍生品指数超过200万次报价的数据集，人工生成的噪声自回归序列和UCI家庭用电量数据集。与卷积和递归神经网络相比，所提出的架构取得了令人鼓舞的结果。
2018-06-12 cs.LG
One weird trick for parallelizing convolutional neural networks
Google Inc.（谷歌公司）
我提出了一种新的方法来并行化多个GPU上的卷积神经网络的训练。当应用于现代卷积神经网络时，该方法的扩展性明显优于所有替代方案。
2014-04-26 cs.DC cs.LG cs.NE
Toward Understanding Convolutional Neural Networks from Volterra Convolution Perspective
Guangdong University of Technology（广东工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）
该研究通过探索卷积神经网络与Volterra卷积的关系，提出将CNN结构转换为Volterra卷积形式的方法，实现对多数CNN的近似并保留其特征，还提出零阶和一阶代理核近似方法，为理解CNN提供新视角。
2022-10-22 cs.LG
Predicting Alzheimer's disease: a neuroimaging study with 3D convolutional neural networks
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）
近年来，使用神经成像数据诊断阿尔茨海默病的模式识别方法已经成为广泛研究的主题。在本文中，我们使用深度学习方法，特别是稀疏自编码器和3D卷积神经网络，来构建一种算法，该算法可以基于大脑的MRI扫描来预测患者的疾病状态。我们报告使用ADNI数据集的实验，涉及2,265个历史扫描。我们证明了3D卷积神经网络优于文献中报道的其他几种分类器，并产生最先进的结果。
2015-02-09 cs.CV cs.LG stat.AP
VC dimensions of group convolutional neural networks
University of Vienna（维也纳大学）
研究了群卷积神经网络的泛化能力。我们确定精确的估计组卷积神经网络的简单集的VC尺寸。特别是，我们发现，对于无限群和适当选择的卷积核，卷积神经网络的双参数族已经具有无限的VC维数，尽管对无限群的作用是不变的。
2022-12-19 cs.LG math.FA stat.ML
Extension of Convolutional Neural Network with General Image Processing Kernels
Stony Brook University（石溪大学）；The State University of New York Korea（纽约州立大学韩国分校）
我们将为图像处理开发的预定义内核（也称为过滤器或掩码）应用于卷积神经网络。我们没有让神经网络找到自己的内核，而是在卷积神经网络的第一层使用了41种不同的通用内核，包括模糊、边缘检测、锐化、离散余弦变换等。这种结构被称为通用滤波卷积神经网络（GFNN），与常规卷积神经网络（CNN）相比，可以减少30%的训练时间，并具有更好的准确性。GFNN也可以通过500个样本训练达到90%的准确率。此外，即使这些内核不是专门针对MNIST数据集的，我们也在没有集成或任何其他特殊算法的情况下实现了99.56%的准确率。
2019-01-16 cs.CV cs.LG eess.IV
Combinatorial Convolutional Neural Networks for Words
Institute of Biomedical Sciences, Academia Sinica（中央研究院生物医学科学研究所）
本文讨论了深度学习模型在识别和利用数据录入上的双射变换下保持不变的特征方面的局限性，我们将其称为组合模式。我们认为，这种模式的识别可能是重要的某些应用程序，并建议提供神经网络的信息，充分描述了输入条目的组合模式，并允许网络来确定什么是相关的预测。为了证明这种方法的可行性，我们提出了一个组合卷积神经网络的词分类。
2023-03-28 cs.LG
A Fully Convolutional Neural Network for Speech Enhancement
Qualcomm Research（高通研究院）
在助听器中，多路重合噪声的存在大大降低了人类语音的听力可懂度。然而，在低SNR环境中，去除混串音而不在人类语音中产生伪像是一项具有挑战性的任务。在这里，我们试图通过监督学习找到一个“映射”之间的嘈杂的语音频谱和干净的语音频谱来解决这个问题。具体来说，我们建议使用全卷积神经网络，它由比全连接网络更少的参数组成。提出的网络，冗余卷积编码器解码器（R-CED），表明卷积网络可以比递归网络小12倍，但性能更好，这表明其适用于嵌入式系统：助听器。
2016-09-22 cs.LG
Continuous Convolutional Neural Networks: Coupled Neural PDE and ODE
Maynooth University（梅努斯大学）
最近的深度学习工作集中在求解常微分方程或偏微分方程中的物理系统。当前的工作提出了一种卷积神经网络（CNN）的变体，其可以使用常微分方程（ODE）系统（ODE）和偏微分方程系统（PDE）来学习物理系统的隐藏动力学。这种新的技术可以用微分方程的形式对系统进行建模，而不是将图像、时间序列等物理系统看作是一个多层系统。通过求解非规则区域上的稳态偏微分方程，包括热方程、Navier-Stokes方程，对所提出的方法进行了评估。
2021-10-30 cs.LG
Regularization for convolutional kernel tensors to avoid unstable gradient problem in convolutional neural networks
China University of Geosciences（中国地质大学）
卷积神经网络是目前非常流行的一种神经网络。训练神经网络并不是一件容易的事。每个卷积对应于一个结构化的变换矩阵。为了帮助避免梯度爆炸/消失问题，期望每个变换矩阵的奇异值在训练过程中不大/不小。我们为卷积核张量提出了三个新的正则化项来约束每个变换矩阵的奇异值。我们展示了如何执行梯度类型的方法，这提供了新的见解的训练卷积神经网络。
2021-02-05 cs.LG cs.NA math.NA
Improved Learning of One-hidden-layer Convolutional Neural Networks with Overlaps
Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）；Department of Computer Science, University of Texas at Austin（德克萨斯大学奥斯汀分校计算机科学系）
提出了一种新的学习单隐层卷积神经网络的算法，其中卷积权值和输出权值都是待学习的参数。我们的算法适用于一般类（可能重叠）补丁，包括常用的结构计算机视觉任务。我们的算法从（1）学习神经网络的保序回归和（2）非凸矩阵分解问题的景观分析中汲取了思想。我们相信，这些发现可能会激发进一步的发展，在设计可证明的算法学习神经网络和其他复杂的模型。
2018-06-01 cs.AI cs.CV cs.DS
PAC-Bayesian Margin Bounds for Convolutional Neural Networks
LTS2；EPFL（洛桑联邦理工学院）；IDCOM；University of Edinburgh（爱丁堡大学）
最近，深度神经网络的泛化误差已经通过PAC-Bayesian框架进行了分析，对于全连接层的情况。我们将这种方法适用于卷积设置。
2018-04-20 cs.LG stat.ML
Analysis of the rate of convergence of an over-parametrized convolutional neural network image classifier learned by gradient descent
Technische Universität Darmstadt（达姆施塔特工业大学）；Concordia University（康考迪亚大学）
该研究针对带全局平均池化层的过参数化卷积神经网络图像分类场景，分析梯度下降训练下的收敛特性，推导了其误分类风险与最优值差值的收敛速率界。
2024-05-13 cs.LG stat.ML
IEA: Inner Ensemble Average within a convolutional neural network
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
包围学习是一种结合多个训练模型以提高模型准确性的方法。我们提出在卷积神经网络（CNN）架构中使用这种方法，特别是集成平均，通过将单个卷积层替换为多个卷积层的内部平均集成（IEA）。不同基准数据集上的实证结果表明，使用IEA的CNN模型优于使用常规卷积层的模型。IEA生成的特征的视觉和相似性得分分析解释了为什么它提高了模型性能。
2019-08-06 cs.LG stat.ML
Optimal Convergence Rates of Deep Convolutional Neural Networks: Additive Ridge Functions
Shenzhen Polytechnic（深圳职业技术学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
卷积神经网络在许多应用中表现出令人印象深刻的能力，特别是与分类任务相关的应用。然而，对于回归问题，卷积结构的能力还没有被完全理解，需要进一步的研究。在本文中，我们考虑深度卷积神经网络的均方误差分析。我们表明，对于加性脊函数，卷积神经网络后跟一个具有ReLU激活函数的全连接层可以达到最佳的最小-最大速率（高达对数因子）。输入维数只出现在收敛速度常数中。这项工作显示了卷积神经网络的统计最优性，并可能揭示为什么卷积神经网络能够对高维输入表现良好。
2023-01-20 cs.LG math.ST stat.TH
Fast Algorithms for Convolutional Neural Networks
Nervana Systems（Nervana系统公司）
深度卷积神经网络需要GPU数天的计算时间来对大型数据集进行训练。自动驾驶汽车的行人检测需要非常低的延迟。移动电话的图像识别受到有限处理资源的限制。卷积神经网络在这些情况下的成功受到我们计算它们的速度的限制。传统的基于FFT的卷积对于大型滤波器来说是快速的，但是现有技术的卷积神经网络使用小型的3 × 3滤波器。本文利用Winograd的最小滤波算法，提出了一类新的卷积神经网络快速算法。这些算法在小块上计算最小复杂度的卷积，这使得它们在小过滤器和小批量的情况下速度更快。我们用VGG网络对我们算法的GPU实现进行基准测试，并在1到64的批量大小下显示最先进的吞吐量。
2015-11-10 cs.LG cs.NE
On the rate of convergence of image classifiers based on convolutional neural networks
Technische Universität Darmstadt（达姆施塔特工业大学）；Concordia University（康考迪亚大学）
定义了基于卷积神经网络的图像分类器，并分析了估计的误分类风险向最优误分类风险的收敛速度。在适当的假设下的光滑性和结构的后验概率的收敛速度是独立的图像的尺寸。这证明了在图像分类中，卷积神经网络可以规避维数灾难。
2020-10-14 cs.LG stat.ML
A Gaussian Process perspective on Convolutional Neural Networks
Dipartimento di Matematica, Università di Bologna（博洛尼亚大学数学系）
在本文中，我们将众所周知的卷积神经网络投射到高斯过程的角度。通过这种方式，我们希望对卷积网络的性能有更多的了解，特别是了解在什么情况下它们往往表现良好，以及在网络中隐含了什么假设。虽然对于全连接网络，收敛到高斯过程的特性已经被广泛研究，但对于卷积网络的输出接近多元正态分布的情况知之甚少。
2019-01-09 cs.LG stat.ML
RecNets: Channel-wise Recurrent Convolutional Neural Networks
School of ECE, NTUA（希腊国家技术大学电气与计算机工程学院）
在本文中，我们介绍了逐层递归卷积神经网络（RecNets），这是一系列新颖的，紧凑的神经网络架构，用于受递归神经网络（RNN）启发的计算机视觉任务。RecNets建立在逐行递归卷积（CRC）层之上，这是一种新型的卷积层，它将输入通道分成不相交的段，并以递归的方式处理它们。通过这种方式，我们模拟了广泛而紧凑的模型，因为通过RNN公式的参数共享，参数的数量大大减少了。CIFAR-10和CIFAR-100图像分类任务的实验结果表明，与其他紧凑的最先进的架构相比，RecNets具有更好的尺寸精度权衡。
2020-03-19 cs.LG stat.ML
Traffic map prediction using UNet based deep convolutional neural network
本文描述了我们基于UNet的深度卷积神经网络方法在2019年的Jumic4cast挑战赛上的应用。挑战性的任务是在高分辨率的城市地图上预测未来的交通流量、航向和速度。我们使用基于UNet的深度卷积神经网络训练预测模型进行短期交通预测。在每个卷积块上，层与后续层紧密连接，就像DenseNet一样。通过对从世界上三个不同城市收集的真实世界数据集进行训练和评估，我们的方法在这一挑战中取得了最佳表现。
2019-11-25 cs.LG stat.ML
Post-processing Multi-Model Medium-Term Precipitation Forecasts Using Convolutional Neural Networks
Radboud University（拉德堡德大学）；KNMI（荷兰皇家气象研究所）
本研究的目的是改善后处理的降水预报使用卷积神经网络（CNN）。与在气象后处理中采用机器学习时通常进行的逐像素后处理预测不同，输入预测图像被组合并使用全卷积神经网络转换为概率输出预测图像。CNN并没有优于正则化逻辑回归。此外，还进行了消融分析。将来自全球低分辨率天气模型和区域高分辨率天气模型的输入预报相结合，可以提高其中任何一个的性能。
2021-05-14 cs.LG physics.ao-ph
Equivalence of approximation by convolutional neural networks and fully-connected networks
University of Oxford（牛津大学）；Katholische Universität Eichstätt–Ingolstadt（艾希施泰特-英戈尔施塔特天主教大学）
卷积神经网络是应用中最广泛的神经网络类型。然而，在数学分析中，主要研究全连接网络。在本文中，我们建立了两个网络架构之间的连接。使用这种连接，我们表明，所有关于{全连接}神经网络的函数$f \in \mathcal{C}$的近似率的上限和下界-对于任意函数类$\mathcal{C}$ -转换为基本上相同的界限，关于卷积神经网络的函数$f \in {\mathcal{C}^{equi}}$的近似率，类${\mathcal{C}^{equi}}$由所有平移等变函数组成，其第一个坐标属于$\mathcal{C}$。所有给出的结果都专门考虑了卷积神经网络的情况，没有任何池化操作，并且具有循环卷积，即，而不是基于零填充。
2021-01-28 cs.LG math.FA
Matching Convolutional Neural Networks without Priors about Data
IMT Atlantique（法国大西洋高等矿业电信学校）；Cityzen Data（城市数据公司）
我们提出了一种将卷积神经网络（CNN）扩展到图结构数据的方法，包括图上的跨卷积和数据增强。当应用于图像时，我们的方法与最先进的CNN的准确性相匹配，而没有任何关于其2D规则结构的先验知识。在fMRI数据上，与现有的基于图形的替代方法相比，我们获得了显着的准确性增益。
2018-02-27 cs.LG stat.ML
