DRGCN: Dynamic Evolving Initial Residual for Deep Graph Convolutional Networks
Ant Group（蚂蚁集团）
图卷积网络（GCN）已被证明是非常实用的处理各种图形相关的任务。由于深层GCN具有比浅层GCN更优越的性能，因此引起了人们的极大兴趣。然而，简单地增加网络深度反而会由于过度平滑问题而损害性能。添加剩余连接被证明对学习深度卷积神经网络（deep CNN）是有效的，当应用于深度GCN时，它并不是微不足道的。最近的工作提出了一个初始的残留机制，缓解了深GCN的过度平滑问题。然而，根据我们的研究，他们的算法对不同的数据集非常敏感。在他们的设置中，残差如何应用的个性化（动态）和相关性（演变）被忽略了。为此，我们提出了一种新的模型称为动态演化初始残差图卷积网络（DRGCN）。首先，我们为每个节点使用一个动态块来自适应地从初始表示中获取信息。其次，我们使用一个进化块来模拟层间的残差进化模式。我们的实验结果表明，我们的模型有效地缓解了深度GCN中的过度平滑问题，并在各种基准数据集上优于最先进的（SOTA）方法。此外，我们开发了一个小批量版本的DRGCN，它可以适用于大规模的数据。结合几种公平的训练技术，我们的模型在Open Graph Benchmark（OGB）的大规模ogbn-arxiv数据集上获得了新的SOTA结果。我们的可复制代码可以在GitHub上找到。
2023-02-10 cs.LG
Image Denoising using Attention-Residual Convolutional Neural Networks
São Paulo State University（圣保罗州立大学）；Federal University of São Carlos（圣卡洛斯联邦大学）
在图像采集过程中，噪声通常被添加到数据中，主要是由于采集传感器的物理限制，以及数据传输和操作过程中的不精确性。从这个意义上说，需要对生成的图像进行处理，以在不丢失细节的情况下衰减其噪声。基于滤波器和噪声先验建模等非学习策略被用来解决图像去噪问题。目前，基于学习的去噪技术被证明是一种更加有效和灵活的方法，如残差卷积神经网络。在这里，我们提出了一种新的基于学习的非盲去噪技术称为注意力残差卷积神经网络（ARCNN），其扩展到盲去噪称为灵活注意力残差卷积神经网络（FARCNN）。所提出的方法尝试使用注意残差机制来学习潜在的噪声期望。在不同水平的高斯和泊松噪声污染的公共数据集上的实验支持所提出的方法对一些最先进的图像去噪方法的有效性。ARCNN在高斯去噪和泊松去噪方面分别实现了约0.44dB和0.96dB的总体平均PSNR结果，FARCNN则呈现出非常一致的结果，尽管与ARCNN相比性能略有下降。
2021-01-19 cs.LG
Residual Hyperbolic Graph Convolution Networks
Beijing Institute of Technology（北京理工大学）；Guangdong Laboratory of Machine Perception and Intelligent Computing（广东省机器感知与智能计算实验室）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）
针对 HGCN 随层数加深产生的过平滑问题，本文提出 R-HGCN，通过双曲残差连接、多原点乘积流形和 HyperDrop 增强表示并缓解过拟合。
2024-12-05 cs.LG
Adversarial Optimal Transport Through The Convolution Of Kernels With Evolving Measures
New York University（纽约大学）
提出了一种新的算法来解决基于样本的最优传输问题。前推条件的对抗公式使用测试函数，该测试函数被构建为自适应内核与潜在变量$b$上的演进概率分布$ν$之间的卷积。通过在$ν$的演化样本$b^i(t)$上的模拟来近似该卷积，测试函数的参数化简化为确定这些样本的流。这个流，离散的离散时间步长$t_n$，是建立在基本地图的组成。最优运输也遵循一个流，通过对偶，必须遵循测试函数的梯度。将测试函数表示为分布的蒙特卡罗模拟使得算法对维数具有鲁棒性，并且其在无记忆流下的演化从简单的参数变换产生丰富的复杂映射。最后用数值例子说明了该算法。
2020-06-09 cs.LG stat.ML
Learning Graph While Training: An Evolving Graph Convolutional Neural Network
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
图上卷积神经网络是对经典卷积神经网络的重要推广和扩展。虽然以前的工作通常假设样本的图结构是规则的，具有统一的维度，但在许多应用中，它们是高度多样的，甚至没有很好地定义。在某些情况下，例如化学分子数据，聚类或粗化以简化图形是很难从化学上证明的。在本文中，我们提出了一个更通用和灵活的图卷积网络（EGCN），由一批任意形状的数据以及以监督方式训练的进化图拉普拉斯算子组成。已经进行了大量的实验，以证明在加速参数拟合和显着提高多个图形结构的数据集上的预测精度方面的优越性能。
2017-08-10 cs.CV cs.LG
LeanResNet: A Low-cost Yet Effective Convolutional Residual Networks
Ben Gurion University（本·古里安大学）；Emory University（埃默里大学）；University of British Columbia（不列颠哥伦比亚大学）；Xtract AI
卷积神经网络（CNN）使用具有紧凑扩展的空间卷积算子对输入数据进行滤波。通常，卷积运算符耦合来自所有通道的特征，这导致CNN的训练和预测的巨大计算成本。为了提高CNN的效率，我们引入了精益卷积算子，减少了参数的数量和计算复杂性，并可用于广泛的现有CNN。在这里，我们讨论了它们在残差网络（ResNets）中的使用，这些网络几年来一直非常可靠，并进行了深入的分析。在我们对三个图像分类问题的实验中，所提出的LeanResNet产生的结果与最近提出的使用类似数量的参数的简化架构相当。
2019-05-16 cs.LG stat.ML
Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们研究了从高阶图卷积和直接从邻接矩阵学习节点分类的有效学习。我们重新审视了缩放图残差网络，并从残差层中移除ReLU激活，并在每个残差层上应用单个权重矩阵。我们表明，由此产生的模型导致新的图形卷积模型作为多项式的归一化邻接矩阵，残差权重矩阵和残差缩放参数。此外，我们提出了直接图多项式卷积模型之间的自适应学习和直接从邻接矩阵学习。此外，我们提出了完全自适应的模型来学习每个残差层的缩放参数。我们证明了所提出的方法的推广界是有界的特征值谱，尺度参数和上界的残差权重的多项式。通过理论分析，我们认为，所提出的模型可以通过限制卷积的高阶和直接从邻接矩阵学习来获得改进的推广界。使用一组广泛的真实数据，我们证明了所提出的方法获得了改进的精度为节点分类的非同构图。
2022-09-12 cs.LG cs.SI
LPRNet: Lightweight Deep Network by Low-rank Pointwise Residual Convolution
深度学习近年来变得流行，主要是由于GPU等强大的计算设备。然而，将这些深度模型部署到资源有限的终端用户设备、智能手机或嵌入式系统是一项挑战。为了减少计算和内存成本，我们提出了一种新的轻量级深度学习模块，称为LPRNet。本质上，LPR的目的是在逐点卷积中使用低秩近似以进一步减小模块大小，同时保留depressive卷积作为残差模块来校正LPR模块。当低秩破坏卷积过程时，这是至关重要的。我们通过替换MobileNet和ShuffleNetv2中相同输入输出维度的模块来体现我们的设计。视觉识别任务的实验，包括流行的基准测试的图像分类和人脸对齐表明，我们的LPRNet实现了有竞争力的性能，但与专注于模型压缩的最先进的深度模型相比，浮点数和内存成本显着减少。
2019-11-14 cs.CV cs.LG
ICD Coding from Clinical Text Using Multi-Filter Residual Convolutional Neural Network
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；Bedford Veterans Affairs Medical Center（贝德福德退伍军人事务医疗中心）；University of Massachusetts Medical School（马萨诸塞大学医学院）
自动化ICD编码将国际疾病分类代码分配给患者访问，由于它可以节省计费的时间和劳动力，因此吸引了许多研究关注。以前的最先进的模型利用一个卷积层来构建用于预测ICD代码的文档表示。然而，与ICD编码密切相关的文本片段的长度和语法在不同的文档中有很大的差异。因此，平坦且固定长度的卷积架构可能无法学习良好的文档表示。本文提出了一种用于ICD编码的多滤波残差卷积神经网络（MultiResCNN）。我们的模型的创新是双重的：它利用多过滤器卷积层来捕获不同长度的各种文本模式，并利用剩余卷积层来扩大感受野。我们在广泛使用的MIMIC数据集上评估了我们的模型的有效性。在MIMIC-III的完整代码集上，我们的模型在6个评估指标中的4个方面优于最先进的模型。在MIMIC-III的前50个代码集和MIMIC-II的完整代码集上，我们的模型在所有评估指标上都优于所有现有的和最先进的模型。该代码可在https://github.com/foxlf823/Multi-Filter-Residual-Convolutional-Neural-Network上获得。
2019-11-25 cs.CL cs.LG
Deep Residual Compensation Convolutional Network without Backpropagation
University of York（约克大学）；Taif University（塔伊夫大学）
PCANet及其变体为分类任务提供了良好的准确性结果。然而，尽管网络深度在实现良好的分类精度方面很重要，但这些网络最多训练了9层。在本文中，我们介绍了一种残差补偿卷积网络，这是第一个用数百层训练的PCANet类网络，同时提高了分类精度。所提出的网络的设计由几个卷积层组成，每个卷积层后面都有后处理步骤和分类器。为了纠正分类错误并显着增加网络的深度，我们用来自所有先前层的剩余信息的新标签训练每一层。这种学习机制是通过在单个前向传递中遍历网络的层来实现的，而无需反向传播或梯度计算。我们在四个不同的分类基准（MNIST，CIFAR-10，CIFAR-100和TinyImageNet）上的实验表明，我们的深度网络优于所有现有的PCANet类网络，并且与几个传统的基于梯度的模型竞争。
2023-01-27 cs.CV cs.LG
Multi-wavelet residual dense convolutional neural network for image denoising
Beijing Institute of Technology（北京理工大学）
近年来，具有大感受野（RF）的网络显示出先进的拟合能力。在这项工作中，我们利用短期残差学习方法来提高图像去噪任务的网络的性能和鲁棒性。在这里，我们选择了一个多小波卷积神经网络（MWCNN），一个具有大RF的最先进的网络，作为骨干，并在其每一层插入剩余密集块（RDB）。我们称之为多小波残差密集卷积神经网络（MWRDCNN）。与其他基于关系数据库的网络相比，它可以从相邻层中提取更多的目标特征，保留较大的RF，提高计算效率。同时，这种方法也提供了一种可能性，吸收多种架构的优点，在一个单一的网络没有冲突。所提出的方法的性能已被证明在广泛的实验与现有技术的比较。
2020-02-19 cs.LG eess.IV stat.ML
Skip-Convolutions for Efficient Video Processing
Qualcomm AI Research（高通人工智能研究院）
我们提出了跳过卷积来利用视频流中的大量冗余并节省计算。每个视频都表示为跨帧和网络激活的一系列变化，表示为残差。我们重新制定了标准卷积，以有效地计算残差帧：每一层都与二进制门耦合，决定残差是否对模型预测很重要，~ \eg前景区域，或者它可以安全地跳过，例如背景区域。这些门可以实现为与卷积核联合训练的高效网络，或者可以简单地基于其幅度跳过残差。门控函数还可以结合逐块稀疏结构，如在硬件平台上高效实现所需。通过在两种最先进的架构（即EfficientDet和HRNet）中将所有卷积替换为Skip-Convolutions，我们将两种不同任务的计算成本一致地降低了3~ 4倍，而没有任何精度下降。与现有的模型压缩，以及图像和视频效率的方法进行了广泛的比较表明，跳过卷积设置一个新的国家的最先进的有效地利用视频中的时间冗余。
2021-04-23 cs.CV cs.LG
Towards Understanding Residual and Dilated Dense Neural Networks via Convolutional Sparse Coding
University of Chinese Academy of Sciences（中国科学院大学）
卷积神经网络（CNN）及其变体在各个领域已经导致了许多最先进的结果。然而，对它们的理论认识还很欠缺。最近，多层卷积稀疏编码（ML-CSC）已被提出，并证明等于这样的简单堆叠网络（平原网络）。在此，我们认为在每一层中的三个因素，包括初始化，字典设计和迭代次数极大地影响ML-CSC的性能。受这些考虑的启发，我们提出了两个新的多层模型--残差卷积稀疏编码模型（Res-CSC）和混合规模密集卷积稀疏编码模型（MSD-CSC），它们分别与残差神经网络（ResNet）和混合规模（扩张）密集神经网络（MSDNet）有密切的关系。在数学上，我们推导出ResNet中的捷径连接作为ML-CSC上新的前向传播规则的特殊情况。通过对MSD-CSC的分析，我们找到了MSDNet中膨胀卷积和稠密连接的理论解释，从而给出了对它们的清晰的数学理解。我们实现了迭代软阈值算法（ISTA）及其快速版本来解决Res-CSC和MSD-CSC，它可以使用展开操作进行进一步的改进。最后，利用三个典型数据集进行了大量的数值实验，并与竞争方法进行了比较，结果表明了本文方法的有效性。
2019-12-08 cs.CV cs.LG stat.ML
Colorectal Cancer Segmentation using Atrous Convolution and Residual Enhanced UNet
Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）；Shri Guruji Gobind Singhji Institute of Engineering and Technology（什里古鲁吉·戈宾德·辛格吉工程技术学院）
结直肠癌是世界范围内的主要死亡原因。然而，早期诊断大大增加了生存的机会，因此识别体内的肿瘤至关重要。由于其成像使用高分辨率技术，注释肿瘤是耗时的，需要特殊的专业知识。最近，基于卷积神经网络（CNN）的方法已被证明在许多生物医学分割任务中即使不是更好，也是一样的。对于手头的任务，我们提出了另一种基于CNN的方法，除了传统的滤波器外，它还使用了无环卷积和残差连接。训练和推理是使用一种有效的基于补丁的方法进行的，这大大减少了不必要的计算。在DigestPath 2019 Challenge数据集上训练了拟议的AtResUNet，用于结直肠癌分割，结果的Dice系数为0.748。
2021-03-16 cs.CV cs.LG eess.IV
ShaResNet: reducing residual network parameter number by sharing weights
ONERA, The French Aerospace Lab（法国国家航空航天研究中心）
深度残差网络在诸如图像分类等许多图像处理任务中已经达到了最先进的水平。然而，在深度和存储器方面的准确性增益的成本是禁止的，因为它需要更高数量的残差块，高达初始值的两倍。为了解决这个问题，我们在本文中提出了一种方法来减少网络的冗余信息。我们在以相同空间尺度操作的残差块之间共享卷积层的权重。信号在同一卷积层中多次流动。由此产生的架构称为SharesNet，包含特定于块的层和共享层。这些SharesNet的训练方式与常用的残差网络完全相同。我们表明，一方面，他们几乎是一样有效的顺序对应，而涉及较少的参数，另一方面，他们是更有效的比具有相同数量的参数的残差网络。例如，一个152层深度的残差网络可以减少到106个卷积层，即参数增益为39%，而ImageNet的准确率低于0.2%。
2017-03-06 cs.CV cs.LG
CrescendoNet: A Simple Deep Convolutional Neural Network with Ensemble Behavior
Clemson University（克莱姆森大学）
我们引入了一种新的深度卷积神经网络CrescendoNet，通过堆叠没有剩余连接的简单构建块。每个Crescendo块包含具有增加的深度的独立卷积路径。卷积层和参数的数量仅在Crescendo块中线性增加。在实验中，只有15层的CrescendoNet在基准数据集CIFAR 10、CIFAR 100和SVHN上的性能优于几乎所有没有剩余连接的网络。如果像SVHN数据集一样有足够的数据量，具有15层和4.1M参数的CrescendoNet可以与具有250层和15.3M参数的DenseNet-BC的性能相匹配。CrescendoNet提供了一种新的方法来构建无剩余连接的高性能深度卷积神经网络。此外，通过研究CrescendoNet中子网络的行为和性能，我们注意到CrescendoNet的高性能可能来自其隐式集成行为，这与FractalNet不同，FractalNet也是一个没有剩余连接的深度卷积神经网络。此外，CrescendoNet中路径之间的独立性允许我们引入一个新的路径训练过程，这可以减少训练所需的内存。
2018-01-04 cs.CV cs.LG stat.ML
NESTA: Hamming Weight Compression-Based Neural Proc. Engine
George Mason University（乔治梅森大学）
在本文中，我们介绍了NESTA，这是一种专用的神经引擎，可以显著加速深度卷积神经网络中卷积层的计算，同时降低计算能量。NESTA将卷积重新格式化为$3 \times 3$批，并使用汉明权重压缩器的层次结构来处理每个批。此外，当处理多个通道的卷积时，NESTA不是计算每个通道的卷积的精确结果，而是快速计算其部分和的近似值和残差值，以便如果添加到近似部分和，则生成准确的输出。然后，不是立即添加剩余物，而是在具有可用容量的汉明重量压缩机中处理下一批次时使用（消耗）剩余物。该机制通过避免在每轮计算期间传播进位信号的需要缩短了关键路线，并且加速了每个通道的卷积。在计算的最后阶段，当计算出最后一个通道的部分和时，NESTA通过将剩余比特添加到近似输出以生成正确的结果来终止。
2019-10-01 cs.LG stat.ML
DeepcomplexMRI: Exploiting deep residual network for fast parallel MR imaging with complex convolution
Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心）；Research Center for Medical AI, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院医学人工智能研究中心）；Shenzhen College of Advanced Technology, University of Chinese Academy of Sciences（中国科学院大学深圳先进技术学院）；The State University of New York, Buffalo（纽约州立大学布法罗分校）
本文提出了一种多通道图像重建方法，命名为Deepcomplex MRI，以加速并行MR成像与剩余复杂卷积神经网络。与大多数依赖于利用线圈灵敏度或预定义变换的先验信息的现有工作不同，DeepcomplexMRI利用大量现有多通道groundtruth图像的可用性，并将其用作标记数据来离线训练深度残差卷积神经网络。特别地，提出了一种复杂的卷积网络，以考虑MR图像的实部和虚部之间的相关性。此外，k空间数据一致性进一步在网络的层之间重复地实施。在活体数据集上的评价表明，该方法具有恢复所需的多通道图像的能力。与现有方法的比较也表明，该方法能够更准确地重建出所需的MR图像。
2019-07-29 cs.LG eess.IV stat.ML
Knowledge Graph Embedding with Atrous Convolution and Residual Learning
Northeastern University（东北大学）
知识图谱的嵌入是一个重要的课题，它将使下游应用受益。目前，基于深度神经网络的方法实现了最先进的性能。然而，这些现有的方法大多是非常复杂的，需要大量的时间来训练和推理。为了解决这个问题，我们提出了一个简单而有效的基于atrous卷积的知识图谱嵌入方法。与现有的最先进的方法相比，我们的方法有以下主要特点。首先，它通过使用atrous卷积有效地增加了特征交互。其次，针对原始信息遗忘问题和梯度消失/爆炸问题，采用残差学习方法。第三，它结构简单，但参数效率高得多。我们在六个具有不同评估指标的基准数据集上评估了我们的方法。大量的实验表明，我们的模型是非常有效的。在这些不同的数据集上，它在大多数评估指标上都取得了比现有方法更好的结果。我们的模型的源代码可以在https://github.com/neukg/AcrE上找到。
2020-10-30 cs.AI cs.CL cs.LG
Evolving Character-level Convolutional Neural Networks for Text Classification
更高级的卷积神经网络（char-CNN）不需要知道它们所分类的语言的语义或句法结构。该属性简化了其实现，但降低了其分类精度。增加char-CNN架构的深度并不会带来突破性的准确性改进。研究还没有确定哪种char-CNN架构最适合文本分类任务。手动设计和训练char-CNN是一个迭代和耗时的过程，需要专业的领域知识。进化深度学习（EDL）技术，包括基于代理的版本，已经证明在自动搜索用于图像分析任务的高性能CNN架构方面取得了成功。研究人员还没有应用EDL技术来搜索用于文本分类任务的char-CNN的架构空间。这篇文章展示了使用基于遗传编程的新型EDL算法（间接编码和代理模型）来自动搜索性能良好的char-CNN架构的第一项工作。该算法在八个文本分类数据集上进行了评估，并针对五个手动设计的CNN架构和一个长短期记忆（LSTM）架构进行了基准测试。实验结果表明，该算法可以进化出在分类精度方面优于LSTM的架构，以及在分类精度和参数计数方面优于五种手动设计的CNN架构。
2020-12-03 cs.CL cs.LG cs.NE
Compressed Sensing MRI via a Multi-scale Dilated Residual Convolution Network
Nanjing University of Information Science and Technology（南京信息工程大学）
磁共振成像（MRI）重建是一个主动逆问题，可以通过传统的压缩感知（CS）MRI算法，利用MRI的稀疏性质，在迭代优化的方式来解决。然而，基于迭代优化的CSMRI方法的两个主要缺点是耗时和模型容量有限。同时，最近基于深度学习的CSMRI的一个主要挑战是模型性能和网络规模之间的权衡。为了解决上述问题，我们开发了一种新的多尺度扩张网络用于MRI重建，具有高速和出色的性能。与具有相同感受野的卷积核相比，扩张卷积用较小的核减少了网络参数，并扩大了核的感受野，以获得几乎相同的信息。为了保持丰富的特征，我们提出了全局和局部残差学习，以提取更多的图像边缘和细节。然后，我们利用级联层融合多尺度特征和残差学习，以更好地重建。与几种非深度学习和深度学习CSMRI算法相比，该方法具有更好的重建精度和明显的视觉改善。此外，我们执行噪声设置来验证模型的稳定性，然后将所提出的模型扩展到MRI超分辨率任务上。
2019-06-11 cs.CV cs.LG eess.IV
PaperNet: Efficient Temporal Convolutions and Channel Residual Attention for EEG Epilepsy Detection
Rajshahi University of Engineering \& Technology, Kazla, Rajshahi-6204, Bangladesh BRAC University, Kha 224 Pragati Sarani, Merul Badda, Dhaka 1212, Bangladesh University of Asia Pacific, 74/A, Green Road, Dhaka-1205, Bangladesh
PaperNet通过结合时间卷积、通道残差注意和轻量级循环模块，实现高效脑电图癫痫检测，达到0.96宏F1值。
2025-12-17 cs.LG eess.SP
Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach
Hefei University of Technology（合肥工业大学）；University of Science and Technology of China（中国科学技术大学）
图卷积网络（Graph Convolutional Network，GCN）是一种基于图的表示学习模型，它通过迭代地堆叠多层卷积聚合操作和非线性激活操作来实现。近年来，在基于协同过滤的推荐系统中，一些研究者将用户与项目的交互行为视为二分图，用GCN对更高层的协同信号进行建模。这些基于GCN的推荐模型表现出优越的性能相比，传统的作品。然而，这些模型遭受训练困难与非线性激活大型用户项图。此外，大多数基于GCN的模型由于图卷积操作的过度平滑效应而不能对更深的层进行建模。在本文中，我们重新GCN基于CF模型从两个方面。首先，我们经验性地表明，去除非线性将提高推荐性能，这与简单图卷积网络中的理论是一致的。其次，我们提出了一个残差网络结构，是专门为CF与用户项交互建模，它体现了在图卷积聚合操作与稀疏用户项交互数据的过平滑问题。该模型是一个线性模型，易于训练，规模大的数据集，并产生更好的效率和有效性在两个真实的数据集。我们在https://github.com/newlei/LRGCCF上发布源代码。
2020-01-28 cs.IR cs.LG stat.ML
AICRN: Attention-Integrated Convolutional Residual Network for Interpretable Electrocardiogram Analysis
Department of Computer Engineering, University of Peradeniya, Peradeniya 20400, Sri Lanka（珀达尼亚大学计算机工程系）；Simula Research Laboratory, Kristian Augusts Gate 23, 0164 Oslo（Simula研究实验室）
本文提出注意力集成卷积残差网络AICRN，通过空间与通道注意力机制和卷积残差结构回归PR间期、QT间期等关键心电图参数，以更高精度实现可解释的ECG分析并减少人工负担。
2025-08-16 cs.AI cs.LG
Lesion Net -- Skin Lesion Segmentation Using Coordinate Convolution and Deep Residual Units
Couger Inc.（库格公司）
皮肤病灶分割是皮肤黑色素瘤自动诊断过程中的重要环节。然而，由于用于训练的数据较少，形状不规则，边界不清晰以及不同的肤色，因此分割黑色素瘤皮肤病变的准确性是相当具有挑战性的任务。我们提出的方法有助于提高皮肤病变分割的准确性。首先，我们在将输入图像传递到编码器之前引入了坐标卷积层。这一层帮助网络决定与平移不变性相关的特征，从而进一步提高模型的泛化能力。其次，我们利用了深度残差单元和卷积层的特性。最后，我们结合了两个损失函数来优化训练指标，而不是只使用交叉熵或Dice-loss，这有助于更快更平滑地收敛损失。在ISIC 2018（60%作为训练集+20%作为验证集）上训练和验证了所提出的模型后，我们在其他各种数据集上测试了我们训练的模型的鲁棒性，如ISIC 2018（20%作为测试集）ISIC 2017，2016和PH 2数据集。实验结果表明，该模型的分割效果优于或等同于现有的皮肤病变分割方法。
2020-12-28 cs.CV cs.LG eess.IV
AsymmNet: Towards ultralight convolution neural networks using asymmetrical bottlenecks
Hasso Plattner Institute（哈索·普拉特纳研究院）；Alibaba Cloud（阿里云）；ByteDance（字节跳动）
深度卷积神经网络（CNN）在各种各样的应用中取得了惊人的成果。然而，由于有限的内存和计算资源，在移动或嵌入式设备上使用这些模型是困难的。最近，反转残差块成为紧凑CNN架构设计的主要解决方案。在这项工作中，我们全面研究了现有的设计概念，重新思考的功能特性的两个逐点卷积的倒残差。我们提出了一种新颖的设计，称为不对称瓶颈。准确地说，我们调整了第一个逐点卷积维度，通过特征重用来丰富信息流，并将节省的计算迁移到第二个逐点卷积。通过这样做，我们可以在不增加计算开销的情况下进一步提高精度。非对称瓶颈可以被采用作为现有CNN块的直接替代。因此，我们可以根据适当的深度和宽度条件轻松地堆叠这些块来创建AsymmNet。大量的实验表明，我们提出的块设计比移动网络的原始反向剩余瓶颈更有益，特别是对于那些在<220 M MAds范围内的超轻型CNN。代码可在https://github.com/Spark001/AsymmNet上获得
2021-04-15 cs.CV cs.LG
Emotional Brain State Classification on fMRI Data Using Deep Residual and Convolutional Networks
Columbia University（哥伦比亚大学）；New York State Psychiatric Institute（纽约州精神病学研究所）
基于功能磁共振成像（fMRI）数据的情绪脑状态分类的目标是识别实验期间受试者执行的特定情绪任务相关的脑活动模式。使用功能磁共振成像数据区分情绪大脑状态和其他大脑状态已经被证明是具有挑战性的，这是由于两个因素：难以在短时间内生成快速而准确的预测，以及难以提取概括到看不见的主体的情绪特征。为了应对这些挑战，我们进行了一项实验，让22名受试者观看旨在刺激消极、中性或休息情绪反应的图片，同时使用功能磁共振成像测量他们的大脑活动。然后，我们开发了两种不同的基于卷积的方法来解码情感大脑状态，只使用来自单个最小预处理（切片定时和重新排列）fMRI卷的空间信息。在我们的第一种方法中，我们训练了一个1D卷积网络（准确率为84.9%;机会水平为33%），使用单向方差分析（ANOVA）体素选择结合超对齐对3种情绪状况进行分类。在我们的第二种方法中，我们训练了一个3D ResNet-50模型（准确率为78.0%;概率水平为50%），直接从单个3D fMRI体积中分类2种情绪状况。我们的卷积和残差分类器成功地学习了组级别的情感特征，并可以在毫秒内从fMRI卷中解码情感条件。这些方法有可能用于脑机接口和实时功能磁共振成像神经反馈研究。
2022-10-31 cs.CV cs.LG eess.IV
MOGNET: A Mux-residual quantized Network leveraging Online-Generated weights
CEA-LETI
该研究提出面向资源受限硬件的 MOGNET，通过卷积分解、元胞自动机在线生成权重、多路复用残差与三值化训练，在低于 2Mb 内存预算下实现最高 1% 的准确率提升。
2025-01-16 cs.AR cs.LG
A High-Accuracy Optical Music Recognition Method Based on Bottleneck Residual Convolutions
Department of Artificial Intelligence, Tianshui Normal University（天水师范学院人工智能系）；Department of Physics, Tianshui Normal University（天水师范学院物理系）；School of Music and Dance, Tianshui Normal University（天水师范学院音乐与舞蹈学院）
本文提出一种结合残差瓶颈卷积与双向门控循环单元的端到端光学音乐识别框架，通过多尺度扩张卷积提取特征并建模音乐符号的时序依赖，实验表明在Camera-PrIMuS和PrIMuS数据集上均取得优异的识别性能。
2026-04-07 cs.CV cs.LG cs.SD
Uncertainty Quantification of Graph Convolution Neural Network Models of Evolving Processes
University of Michigan（密歇根大学）；Sandia National Laboratories（桑迪亚国家实验室）
本研究针对演化过程的图卷积神经网络模型，使用HMC和SVGD等方法进行参数化不确定性量化，发现Stein变分推断是Monte Carlo方法的有效替代方案。
2024-02-17 cs.LG math.ST physics.comp-ph
ResMGCN: Residual Message Graph Convolution Network for Fast Biomedical Interactions Discovering
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
提出残差消息图卷积网络ResMGCN，通过聚合低阶与高阶信息指导节点更新，在四个生物医学交互数据集上以更低存储和时间成本超越现有最先进模型。
2024-02-18 cs.AI cs.LG q-bio.MN
Denoising of Three-Dimensional Fast Spin Echo Magnetic Resonance Images of Knee Joints using Spatial-Variant Noise-Relevant Residual Learning of Convolution Neural Network
the Chinese University of Hong Kong（香港中文大学）
二维（2D）快速自旋回波（FSE）技术在膝关节的临床磁共振成像（MRI）中起着核心作用。此外，三维（3D）FSE提供膝关节的高各向同性分辨率磁共振（MR）图像，但与2D FSE相比，其信噪比降低。深度学习去噪方法是一种很有前途的MR图像去噪方法，但由于在获得MR图像的真实噪声分布方面存在挑战，因此它们通常使用合成噪声进行训练。在这项研究中，来自2-NEX采集的固有真实噪声信息被用于开发基于卷积神经网络（CNN）的残差学习的深度学习模型，并且该模型被用于抑制膝关节的3D FSE MR图像中的噪声。提出的CNN使用并行传输和残差块上的两步残差学习，并被设计为从2-NEX训练数据中全面学习真实噪声特征。消融研究的结果验证了网络设计。新方法实现了改进的去噪性能的3D FSE膝关节MR图像相比，目前最先进的方法，基于峰值信噪比和结构相似性指数的措施。通过放射学评价，验证了使用新方法去噪后图像质量的改善。开发了使用2-NEX采集中固有的空间变化噪声信息的深度CNN。该方法显示出对膝关节临床MRI评估的前景，并具有对其他解剖结构评估的潜在应用。
2022-04-21 cs.CV cs.LG eess.IV
