Spatial-temporal Fusion Convolutional Neural Network for Simulated Driving Behavior Recognition
Southeast University（东南大学）
异常驾驶行为是导致严重交通事故的主要原因之一，危及人类生命。因此，对驾驶行为监控的研究已成为交通安全和公共管理的重要内容。在本文中，我们进行这项有前途的研究，并采用两个流的CNN框架，基于视频的驾驶行为识别，其中空间流CNN捕获的外观信息从静止帧，而时间流CNN捕获运动信息与预先计算的光流位移之间的几个相邻的视频帧。我们研究不同的时空融合策略，结合帧内静态线索和帧间动态线索的最终行为识别。为了验证所设计的基于时空深度学习的模型的有效性，我们创建了一个模拟驾驶行为数据集，包含1237个视频，具有6种不同的驾驶行为进行识别。实验结果表明，我们提出的方法相比现有的方法获得了显着的性能改善。
2018-12-03 cs.CV cs.LG
Source Camera Identification Based On Content-Adaptive Fusion Network
Beijing Jiaotong University（北京交通大学）
源摄像机的识别仍然是取证界的一个难题，特别是在小尺寸查询图像的情况下。本文提出了一种识别小尺寸图像源摄像机的方法：内容自适应融合网络。为了从输入数据中学习更好的特征表示，构造了内容自适应卷积神经网络（CA-CNN）。我们在预处理阶段添加了卷积层。此外，为了获取更全面的信息，我们将三个CA-CNN：CA 3-CNN，CA 5-CNN，CA 7-CNN并行，得到内容自适应融合网络。三种CA-CNN的区别在于预处理层的卷积核大小。实验结果表明，该方法是可行的，令人满意的。
2017-03-15 cs.CV
Coarse-to-fine Airway Segmentation Using Multi information Fusion Network and CNN-based Region Growing
School of Mechanical engineering and Automation, Fuzhou University（福州大学机械工程及自动化学院）；School of Physics and Information Engineering, Fuzhou University（福州大学物理与信息工程学院）；Thoracic Department, Fujian Medical University Union Hospital（福建医科大学附属协和医院胸外科）
从胸部CT扫描图像中自动分割气道在肺部疾病诊断和计算机辅助治疗中起着重要作用。然而，低对比度在周边分支和复杂的树状结构仍然是两个主要的挑战，气道分割。最近的研究表明，深度学习方法在分割任务中表现良好。受这些工作的启发，提出了一个由粗到细的分割框架，以获得完整的气道树。我们的框架通过多信息融合卷积神经网络（Mif-CNN）和基于CNN的区域生长，分别分割整体气道和小分支。在Mif-CNN中，空间金字塔池（ASPP）被集成到一个U形网络中，它可以扩展感受野并捕获多尺度信息。同时，边界和位置信息被纳入语义信息。这些信息被融合以帮助Mif-CNN利用额外的上下文知识和有用的特征。为了提高分割结果的性能，基于CNN的区域生长方法被设计成专注于获得小分支。体素分类网络（VCN），它可以完整地捕捉每个体素周围的丰富信息，被应用到分类的体素分为气道和非气道。此外，形状重建方法用于细化气道树。
2021-02-25 cs.CV cs.LG eess.IV
MASTAF: A Model-Agnostic Spatio-Temporal Attention Fusion Network for Few-shot Video Classification
University of California Davis（加州大学戴维斯分校）
我们提出了MASTAF，一个模型无关的时空注意力融合网络的Few-Shot视频分类。MASTAF从一般视频空间和时间表示中获取输入，例如，使用2D CNN、3D CNN和视频Transformer。然后，为了充分利用这种表示，我们使用自我和交叉注意模型来突出关键的时空区域，以增加类间的变化，减少类内的变化。最后，MASTAF应用轻量级融合网络和最近邻分类器对每个查询视频进行分类。我们证明，MASTAF提高了三个Few-Shot视频分类基准（UCF 101，HMDB 51和Something-Something-V2）的最先进性能，例如，对于五路单镜头视频分类，分别高达91.6%，69.5%和60.7%。
2022-10-16 cs.CV cs.LG
An Effective Fusion Method to Enhance the Robustness of CNN
随着科技的飞速发展，卷积神经网络的应用提高了我们生活的便利性。然而，在图像分类领域，人们发现当图像中加入一些扰动时，CNN会对图像进行误分类，因此人们提出了各种防御方法。以前的方法只考虑了如何在网络中合并模块以提高鲁棒性，但没有关注模块的合并方式。在本文中，我们设计了一种新的融合方法，以提高CNN的鲁棒性。我们使用基于点积的方法为ResNet18添加去噪模块和注意力机制，以进一步提高模型的鲁棒性。在CIFAR10上的实验结果表明，该方法在FGSM和PGD攻击下的性能优于现有方法。
2022-06-22 cs.CV
Relating CNN-Transformer Fusion Network for Change Detection
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
RCTNet通过早期融合骨干、跨阶段聚合、多尺度特征融合和高效自解密注意力模块，结合CNN与Transformer优势，在遥感变化检测中实现了精度与计算成本的最佳平衡。
2024-07-03 cs.CV cs.LG cs.MM
CNN based Multistage Gated Average Fusion (MGAF) for Human Action Recognition Using Depth and Inertial Sensors
卷积神经网络（CNN）提供了从其架构的所有层提取和融合特征的杠杆。然而，从CNN结构的不同层中提取和融合中间特征仍然没有被研究用于使用深度和惯性传感器的人类动作识别（HAR）。为了获得访问所有CNN层的最大好处，在本文中，我们提出了一种新型的多级门控平均融合（MGAF）网络，该网络使用我们的新型和计算效率高的门控平均融合（GAF）网络（MGAF的决定性组成部分）从CNN的所有层提取和融合特征。在建议的MGAF的输入，我们将深度和惯性传感器数据转换成深度图像，称为顺序前视图图像（SFI）和信号图像（SI）分别。这些SFI是根据由深度数据生成的前视图信息形成的。采用CNN从两种输入模态提取特征图。GAF网络有效地融合了提取的特征，同时保持了融合特征的维数。所提出的MGAF网络具有结构可扩展性，可以展开到两个以上的模态。在三个公开的多模态HAR数据集上的实验表明，所提出的MGAF在识别精度方面优于先前的深度-惯性HAR融合方法，同时计算效率更高。我们将精度平均提高了1.5%，同时将计算成本比以前的技术水平降低了约50%。
2020-10-29 cs.CV cs.LG cs.MM
Fusion of evidential CNN classifiers for image classification
Université de technologie de Compiègne（贡比涅技术大学）；Institut universitaire de France（法国大学研究院）
提出了一种基于置信函数的卷积神经网络信息融合方法。在这种方法中，几个预先训练的基于DS的CNN架构从输入图像中提取特征，并将其转换为不同识别帧上的质量函数。然后，融合模块使用Dempster规则聚合这些质量函数。端到端的学习过程允许我们使用带有软标签的学习集来微调整体架构，这进一步提高了分类性能。使用三个基准数据库的实验证明了这种方法的有效性。
2021-08-23 cs.AI cs.CV
SANDFORMER: CNN and Transformer under Gated Fusion for Sand Dust Image Restoration
Xinjiang University（新疆大学）；Shandong University of Technology（山东理工大学）
尽管卷积神经网络（CNN）在图像复原方面取得了很好的进展，但卷积的内在等价性和局部性仍然制约着图像质量的进一步提高。最近的视觉Transformer和自我注意力在各种计算机视觉任务上取得了可喜的成果。然而，直接利用Transformer进行图像复原是一项具有挑战性的任务。在本文中，我们介绍了一种有效的混合架构的沙子图像复原任务，它利用本地功能从CNN和远程依赖捕获的Transformer，以进一步改善结果。针对Transformer和CNN之间的特征不一致问题，提出了一种有效的沙尘图像复原混合结构。该框架通过调制基于CNN和基于Transformer的分支的特征来补充每个表示，而不是简单地添加或连接特征。实验表明，与以往的沙粒图像复原方法相比，SandFormer在合成和真实沙尘场景中的复原性能都有了显著的提高。
2023-03-08 cs.CV
Balancing Accuracy and Efficiency: CNN Fusion Models for Diabetic Retinopathy Screening
Department of Electrical and Computer Engineering（电气与计算机工程系）；North South University（北南大学）；Digital Health Research Division（数字健康研究部）；Korea Institute of Oriental Medicine（韩国东方医学研究院）；Department of Computer Science（计算机科学系）；American International University--Bangladesh（美国国际大学-孟加拉国）
本研究提出通过特征级融合提升糖尿病视网膜病变筛查的准确性和效率，采用EfficientNet-B0和DenseNet121的融合模型在准确率和延迟之间取得良好平衡。
2025-12-26 cs.AI cs.CV cs.LG
Spatiotemporal Fusion in 3D CNNs: A Probabilistic View
Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
尽管在静态图像识别方面取得了成功，但用于时空信号任务（例如视频中的人类动作识别）的深度神经网络在过去几年中仍然存在低效率和低效率。最近，人类专家投入了更多的精力来分析3D卷积神经网络（3D CNN）中不同组件的重要性，以设计更强大的时空学习骨干。其中，时空融合是其中的一个关键。它控制在推理过程中如何在每一层提取空间和时间信号。以前的尝试通常从ad-hoc设计开始，这些设计经验性地结合某些卷积，然后根据训练相应网络获得的性能得出结论。这些方法只支持对有限数量的融合策略进行网络级分析。在本文中，我们建议将时空融合策略转换成一个概率空间，这使我们能够执行网络级的各种融合策略的评估，而不必单独进行训练。此外，我们还可以获得细粒度的数值信息，如层级偏好的时空融合的概率空间内。我们的方法大大提高了时空融合分析的效率。基于概率空间，我们进一步生成新的融合策略，在四个著名的动作识别数据集上实现了最先进的性能。
2020-04-10 cs.CV
Feature Fusion through Multitask CNN for Large-scale Remote Sensing Image Segmentation
Beijing University of Chemical Technology（北京化工大学）
近年来，全卷积网络（FCN）已被广泛应用于各种语义分割任务，包括多模态遥感图像。如何融合多模态数据以提高分割性能一直是研究的热点。本文提出了一种新的端到端全卷积神经网络，用于自然颜色、红外图像和数字表面模型（DSM）的语义分割。它基于修改后的DeepUNet，并以多任务方式执行分割。通道被聚类成组，并在不同的任务管道上处理。经过一系列的分割和融合，它们的共享特征和私有特征被成功地融合在一起。实验结果表明，该特征融合网络是有效的。该方法在ISPRS语义标注竞赛（2D）中取得了良好的效果。
2018-07-24 cs.CV
Ensemble of 3D CNN regressors with data fusion for fluid intelligence prediction
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
在这项工作中，我们的目标是预测儿童的流体智力分数的基础上，结构T1加权磁共振图像从最大的长期研究大脑发育和儿童健康。目标变量回归的数据收集网站，社会人口统计变量和脑容量，从而独立于潜在的信息因素，这是不直接相关的大脑功能。我们研究了特征提取和深度学习方法以及不同的深度CNN架构及其集成。我们提出了一种先进的VoxCNN集成架构，在盲测试中产生MSE（92.838）。
2019-05-25 cs.CV cs.LG eess.IV
Multimodal Image Fusion based on Hybrid CNN-Transformer and Non-local Cross-modal Attention
Shanghai Jiao Tong University（上海交通大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Calgary（卡尔加里大学）
对多传感器图像进行融合，可以丰富图像信息，提高成像质量。在这篇文章中，我们提出了一个混合模型，由卷积编码器和基于transformer的解码器融合多模态图像。在编码器中，提出了一种非局部跨模态注意块来捕获多个源图像的局部和全局依赖性。设计了分支融合模块，对两个分支的特征进行自适应融合。我们在解码器中嵌入一个线性复杂度的Transformer模块，以增强所提出的网络的重构能力。定性和定量的实验证明了该方法的有效性，通过比较它与现有的国家的最先进的融合模型。我们工作的源代码可以在https://github.com/pandayuanyu/HCFusion上找到。
2022-10-18 cs.CV
Fusion Network for Face-based Age Estimation
The University of Warwick（华威大学）；University of Bath（巴斯大学）；Charles Sturt University（查尔斯史都华大学）
卷积神经网络（CNN）作为核心框架已被应用于年龄相关的研究。虽然人脸由许多面部属性组成，但大多数使用CNN的作品仍然将人脸视为典型对象，并且没有足够关注携带特定年龄特征的面部区域。在本文中，我们提出了一种新的CNN架构称为融合网络（FusionNet）来解决年龄估计问题。除了整个面部图像外，FusionNet还连续将几个特定年龄的面部斑块作为输入的一部分，以强调特定年龄的特征。通过实验，我们表明，FusionNet显着优于其他国家的最先进的模型在MORPH II基准。
2018-07-27 cs.CV
Multi-modal multi-class Parkinson disease classification using CNN and decision level fusion
Jadavpur University（贾达普大学）
本文提出基于MRI和DTI多模态数据、四个CNN及决策级最优加权平均融合的帕金森病三类直接分类方法，在PPMI数据库上达到95.53%准确率。
2023-07-06 cs.CV
Food Recognition using Fusion of Classifiers based on CNNs
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
随着卷积神经网络的出现，近年来复杂的食物识别问题经历了重要的改进。使用基于非常深的卷积神经网络的方法已经获得了最好的结果，这表明模型越深，获得的分类精度越好。然而，非常深的神经网络可能遭受过拟合问题。在本文中，我们提出了一种基于不同卷积模型的多分类器组合，这些模型相互补充，从而提高了性能。我们的方法的评估是在两个公共数据集上完成的：Food-101作为具有各种细粒度菜肴的数据集，Food-11作为高级食物类别的数据集，我们的方法优于独立的CNN模型。
2017-09-14 cs.CV
Solar Power Plant Detection on Multi-Spectral Satellite Imagery using Weakly-Supervised CNN with Feedback Features and m-PCNN Fusion
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；AIST Tokyo WaterFront（产业技术综合研究所东京临海中心）
传统的卷积神经网络（CNN）大多采用自底向上的方法（前馈）进行图像分类。然而，许多科学研究表明，灵长类动物的视觉感知依赖于自下而上和自上而下的连接。因此，在这项工作中，我们提出了一个CNN网络与反馈结构的太阳能发电厂检测中分辨率的卫星图像。为了表达自上而下的连接的强度，我们引入反馈CNN网络（FB-Net）的基线CNN模型用于太阳能发电厂分类的多光谱卫星数据。此外，我们引入了一种方法来改善类激活映射（CAM）到我们的FB-Net，它利用多通道脉冲耦合神经网络（m-PCNN）的弱监督定位的太阳能发电厂从建议FB-Net的功能。对于建议FB-Net CAM与m-PCNN，实验结果表明，有前途的结果太阳能发电厂图像分类和检测任务。
2017-06-21 cs.CV
A Fusion Model for Artwork Identification Based on Convolutional Neural Networks and Transformers
The School of Control and Computer Engineering, North China Electric Power University（华北电力大学控制与计算机工程学院）
本文提出一种融合CNN与Transformer的艺术品识别模型，结合局部与全局特征，在中国画和油画数据集上分类准确率分别提升9.7%和7.1%，F1分数提升0.06和0.05。
2025-02-27 cs.CV
Feature Fusion for Improved Classification: Combining Dempster-Shafer Theory and Multiple CNN Architectures
Prince Sultan University（苏丹王子大学）
本文提出一种利用Dempster-Shafer理论融合多个预训练CNN模型的新算法，通过特征提取与质量函数融合提升分类可靠性，在CIFAR-10和CIFAR-100上分别实现5.4%和8.4%的准确率提升。
2024-05-23 cs.AI cs.CV cs.LG
3D Inception-based CNN with sMRI and MD-DTI data fusion for Alzheimer's Disease diagnostics
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；University of Bordeaux（波尔多大学）；University Ibn Zhor（伊本·祖赫尔大学）；EPHE（法国高等研究实践学院）；PSL（巴黎文理研究大学）
在过去的十年中，阿尔茨海默病（AD）及其前驱形式轻度认知障碍（MCI）的计算机辅助早期诊断一直是广泛研究的主题。最近的一些研究表明，使用结构和功能磁共振成像（sMRI，fMRI），正电子发射断层扫描（PET）和扩散张量成像（DTI）模式在AD和MCI的确定有希望的结果。此外，融合成像模态的监督机器学习框架已显示出有前途的研究方向。在本文中，我们首先回顾了自动分类方法的主要趋势，例如基于特征提取的方法以及应用于阿尔茨海默病诊断领域的医学图像分析中的深度学习方法。然后，我们提出了我们自己的设计的3D Inception-based卷积神经网络（CNN）的阿尔茨海默病诊断。该网络的设计重点是内部资源的利用，并使用sMRI和DTI模式融合海马ROI。与使用来自阿尔茨海默病神经成像倡议（ADNI）数据集（http：//www.example.com）的数据的传统的基于AlexNet的网络的比较证明了所提出的基于3D Inception-based CNN的显著更好的性能。adni.loni.usc.edu
2018-07-17 cs.CV
Transformer based Multi-task Fusion Network for Food Spoilage Detection and Shelf life Forecasting
SRM University（SRM大学）
本文提出基于Transformer的多任务融合网络，用于蔬菜分类、腐败检测和保质期预测，通过结合CNN、LSTM和DeiT transformer，实现高精度检测与预测。
2026-01-20 cs.CV
Vehicle-Rear: A New Dataset to Explore Feature Fusion for Vehicle Identification Using Convolutional Neural Networks
[-15pt]1 Federal University of Technology - Paran\' a , Curitiba, Brazil 2 Federal University of Paran\'a, Curitiba, Brazil [0.5ex]
这项工作解决了通过非重叠摄像机识别车辆的问题。作为我们的主要贡献，我们引入了一个用于车辆识别的新型数据集，称为Vehicle-Rear，其中包含超过三个小时的高分辨率视频，以及近3，000辆汽车的制造，型号，颜色和年份的准确信息，以及车牌的位置和识别。为了探索我们的数据集，我们设计了一个双流CNN，它同时使用两个最独特和持久的特征：车辆的外观和车牌。这是为了解决一个主要问题：由设计相似的车辆或非常接近的车牌识别器引起的误报。在第一个网络流中，形状相似性由连体CNN识别，该连体CNN使用由两个不同摄像机记录的一对低分辨率车辆补丁。在第二个流中，我们使用CNN进行OCR，以从一对高分辨率车牌补丁中提取文本信息、置信度得分和字符串相似性。然后，来自两个流的特征通过一系列完全连接的层进行合并以进行决策。在我们的实验中，我们使用单个或多个车辆特征将双流网络与几种知名的CNN架构进行了比较。架构，训练模型和数据集可在https://github.com/icarofua/vehicle-rear上公开获得。
2021-07-25 cs.CV cs.LG
A CNN-based Spatial Feature Fusion Algorithm for Hyperspectral Imagery Classification
Tianjin University（天津大学）
训练样本的不足是人工神经网络（ANN）应用于高光谱图像分类的主要障碍之一。为了融合空间和光谱信息，通常使用像素块来训练模型，这可能进一步聚合该问题。在现有的工作中，引入了一个由中心损失监督的人工神经网络模型（ANNC）。仅用光谱信息训练，ANNC产生适合于后续分类任务的有区别的光谱特征。本文提出了一种基于神经网络的空间特征融合（CSFF）算法，该算法可以将空间信息智能地融合到由ANNC提取的光谱特征中。作为CSFF的关键部分，引入了基于CNN的判别模型来判断两个配对像素是否属于同一类。在测试阶段，通过将判别模型应用于由测试像素及其邻居生成的像素对，估计局部结构并表示为定制的卷积核。通过估计的核与邻域内的对应谱特征之间的卷积运算来获得谱空间特征。最后，通过对得到的光谱-空间特征进行分类，预测测试像素的标签。在不增加训练样本的数量或在训练阶段不涉及像素块的情况下，CSFF框架通过在三个著名的高光谱图像上的实验中降低$20\%-50\%$分类失败来实现最先进的。
2018-08-07 cs.CV
Super-pixel cloud detection using Hierarchical Fusion CNN
Shanghai University（上海大学）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
云检测在遥感图像处理中起着非常重要的作用。设计了一种基于卷积神经网络（CNN）和深度森林的超像素级云检测方法。首先，通过SLIC和SEEDS的结合，遥感图像分割成超像素。采用结构森林算法计算每个像素的边缘概率，在此基础上对超像素进行更精确的分割。分割后的超像元构成超像元级遥感数据库。虽然云检测本质上是一个二进制分类问题，我们的数据库被标记为四个类别：厚云，卷云，建筑物和其他文化，以提高我们提出的模型的泛化能力。其次，利用超像素级数据库对基于CNN和深度森林的云检测模型进行训练。针对超像素级遥感图像与一般目标分类数据库相比所包含的语义信息较少的特点，提出了一种层次融合CNN（HFCNN）方法。它充分利用了颜色和纹理等底层特征，更适用于云检测任务。在测试阶段，遥感图像中的每一个超像素被我们提出的模型分类，然后结合我们提出的距离度量恢复最终的二值掩模，这是用来确定模糊的超像素。实验结果表明，与传统方法相比，HFCNN具有更好的查准率和查全率。
2018-10-19 cs.CV
MHAFF: Multi-Head Attention Feature Fusion of CNN and Transformer for Cattle Identification
Charles Sturt University（查尔斯斯特大学）；Food Agility CRC Ltd（食品敏捷合作研究中心有限公司）；Gulbali Institute for Agriculture, Water and Environment（古尔巴利农业、水与环境研究所）
针对牛只鼻镜识别中 CNN 长程建模不足及加法、拼接融合的缺陷，提出 MHAFF 多头注意力特征融合方法，在两个公开数据集上取得 99.88% 和 99.52% 的最高准确率。
2025-01-09 cs.CV
Skin Cancer Classification: Hybrid CNN-Transformer Models with KAN-Based Fusion
Mehta Family School of Data Science（梅hta家族数据科学学院）；Artificial Intelligence Indian Institute of Technology Guwahati Assam, India（人工智能印度理工学院果阿瓦提阿萨姆印度）
本文提出结合CKAN的混合CNN-Transformer皮肤癌分类模型，利用迁移学习与数据增强，在HAM10000、PAD-UFES和BCN20000数据集上取得高准确率与F1分数，验证了模型的有效性和泛化能力。
2025-08-17 cs.CV
CNN-LSTM Based Multimodal MRI and Clinical Data Fusion for Predicting Functional Outcome in Stroke Patients
CREATIS（CREATIS实验室）；Université Lyon1（里昂第一大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；INSA-Lyon（里昂国立应用科学学院）；Hospices Civils de Lyon（里昂民用医院）；CarMeN（CarMeN实验室）；INRA（法国国家农业研究院）；LARIS（LARIS实验室）；Universite d’Angers（昂热大学）
临床结局预测在卒中患者管理中起着重要作用。从机器学习的角度来看，主要挑战之一是处理患者入院时的异构数据，即多维图像数据和标量临床数据。提出了一种基于多模态卷积神经网络-长短期记忆（CNN-LSTM）的集成模型。对于每个MR图像模块，专用网络使用改良Rankin量表（mRS）提供临床结局的初步预测。通过合并专用于特定类型MR图像的每个模块的初步概率获得最终mRS评分，该特定类型MR图像由临床元数据加权，此处为年龄或美国国立卫生研究院卒中量表（NIHSS）。实验结果表明，该模型超越了基线，并提供了一种在深度学习架构中自动编码MR图像时空背景的原始方法。使用NIHSS的拟定模型达到了最高AUC（0.77）。
2022-05-11 cs.CV cs.LG eess.IV
Feature Level Fusion from Facial Attributes for Face Recognition
University of Notre Dame（圣母大学）
我们引入了一种深度卷积神经网络（CNN）架构，通过共享学习范式同时对面部属性进行分类和识别面部图像，以提高面部属性预测和面部识别性能的准确性。在该方法中，我们使用人脸属性作为辅助信息源，以辅助从人脸图像中提取的CNN特征，以提高人脸识别性能。具体来说，我们使用一个共享的CNN架构，通过一个共享的学习参数，同时联合预测人脸属性和识别人脸图像，然后我们使用人脸属性特征作为一个辅助信息源连接的人脸特征，以增加识别的CNN的人脸识别。这个过程有助于CNN分类器更好地识别人脸图像。实验结果表明，该模型提高了人脸识别和人脸属性预测的性能，特别是对性别和种族等身份属性。我们在几个由身份和人脸属性标记的标准数据集上对我们的方法进行了评估，结果表明，所提出的方法优于最先进的人脸识别模型。
2021-08-11 cs.CV
Image Fusion Transformer
Johns Hopkins University（约翰霍普金斯大学）
在图像融合中，从不同传感器获得的图像被融合以生成具有增强信息的单个图像。近年来，最先进的方法已经采用卷积神经网络（CNN）来编码用于图像融合的有意义的特征。具体地，基于CNN的方法通过融合局部特征来执行图像融合。然而，它们不考虑图像中存在的长范围依赖性。基于transformer的模型被设计来克服这一点，通过建模的自我注意力机制的帮助下的长期依赖关系。这促使我们提出了一种新的图像融合Transformer（IFT），我们开发了一种基于transformer的多尺度融合策略，兼顾本地和远程信息（或全局上下文）。所提出的方法遵循两阶段的训练方法。在第一阶段中，我们训练自动编码器以在多个尺度下提取深度特征。在第二阶段，多尺度特征融合使用空间变换器（ST）融合策略。ST融合块由分别捕获本地和远程特征的CNN和Transformer分支组成。在多个基准数据集上的实验表明，该方法的性能优于许多竞争对手的融合算法。此外，我们提出的ST融合策略与消融分析的有效性。源代码可在https://github.com/Vibashan/Image-Fusion-Transformer上获得。
2022-12-04 cs.CV
FuseVis: Interpreting neural networks for image fusion using per-pixel saliency visualization
Visualisation, Faculty of Computer Science, Technische Universit\" a t Dresden, N\" o thnitzer Stra e 46, 01187 Dresden, Germany
图像融合有助于合并两个或多个图像，以构建信息量更大的单个融合图像。最近，基于无监督学习的卷积神经网络（CNN）已经被用于不同类型的图像融合任务，诸如医学图像融合、用于自动驾驶的红外-可见光图像融合以及用于卫星图像的多聚焦和多曝光图像融合。然而，分析这些CNN用于图像融合任务的可靠性是具有挑战性的，因为没有可用的地面实况。这导致了使用各种各样的模型架构和优化功能，从而产生完全不同的融合结果。此外，由于这种神经网络的高度不透明性，很难解释其融合结果背后的内部机制。为了克服这些挑战，我们提出了一种新的实时可视化工具，名为FuseVis，最终用户可以计算每像素的显着性图，检查输入图像像素对融合图像的每个像素的影响。我们在医学图像对上训练了几种基于图像融合的CNN，然后使用我们的FuseVis工具，通过解释每种融合方法的显着性图，对特定的临床应用进行了案例研究。我们具体可视化的相对影响，每个输入图像的融合图像的预测，并表明，一些评估的图像融合方法更适合于特定的临床应用。据我们所知，目前，还没有一种方法用于图像融合的神经网络的视觉分析。因此，这项工作为提高深度融合网络的可解释性开辟了一个新的研究方向。FuseVis工具还可以适用于其他基于深度神经网络的图像处理应用程序，以使其可解释。
2020-12-06 cs.CV cs.LG eess.IV
Real-Time Driver State Monitoring Using a CNN Based Spatio-Temporal Approach
Intel Deutschland GmbH（英特尔德国有限公司）；Technical University of Munich（慕尼黑工业大学）
许多交通事故是由于司机分心造成的。如今，即使是最新的自动驾驶汽车，驾驶员监控也是必不可少的，它可以提醒分心的驾驶员，以便在紧急情况下接管车辆的控制权。在本文中，一个时空的方法来分类驾驶员的分心水平和运动决策，使用卷积神经网络（CNN）。我们将这个问题作为动作识别来处理，以便除了空间信息之外还受益于时间信息。我们的方法依赖于使用预先训练的BN-Inception网络从稀疏选择的动作帧中提取的特征。实验表明，我们的方法优于最先进的结果分心司机数据集（96.31%），与99.10%的准确率为10类分类，同时提供实时的【形】性能。我们还分析了融合的影响，使用RGB和光流模态与最近的数据级融合策略。分心驾驶员和Brain 4Cars数据集的结果表明，这些模式的融合进一步提高了准确性。
2019-07-18 cs.CV cs.LG eess.IV
Dual-view Spatio-Temporal Feature Fusion with CNN-Transformer Hybrid Network for Chinese Isolated Sign Language Recognition
Leshan Normal University（乐山师范学院）；Southwest Petroleum University（西南石油大学）
本文构建覆盖完整中国国家手语词汇的双视角数据集NationalCSL-DP，并提出CNN-Transformer基线与简单有效的融合策略，实验表明双视角融合可显著提升孤立手语识别性能。
2025-06-08 cs.CV
CAFCT-Net: A CNN-Transformer Hybrid Network with Contextual and Attentional Feature Fusion for Liver Tumor Segmentation
School of Information Technology, Monash University（莫纳什大学信息技术学院）
针对CT图像肝肿瘤自动分割问题，提出融合上下文与注意力特征的CNN-Transformer混合网络CAFCT-Net，通过引入AFF、ASPP、AG模块增强边界上下文信息，在LiTS数据集上取得优于纯CNN/Transformer方法的分割精度。
2024-10-04 cs.CV eess.SP stat.AP
A Synergistic CNN-Transformer Network with Pooling Attention Fusion for Hyperspectral Image Classification
College of Engineering（工程学院）；School of Electronic Information and Communications（电子信息与通信学院）；Changchun Institute of Optics, Fine Mechanics and Physics（长春光学精密机械与物理研究所）；School of Computer Science and Technology（计算机科学与技术学院）；School of Intelligent Manufacturing and Electrical Engineering（智能制造与电气工程学院）
本文提出一种协同CNN-Transformer网络，通过双分支特征提取模块和混合池化注意力模块，有效融合空间和光谱信息，提升超光谱图像分类性能。
2026-04-26 cs.CV
SynthEnsemble: A Fusion of CNN, Vision Transformer, and Hybrid Models for Multi-Label Chest X-Ray Classification
BRAC University（BRAC大学）
本研究提出SynthEnsemble，融合CNN、Transformer及混合模型，通过差分进化加权集成，在ChestX-ray14数据集上将胸部X光多标签分类AUROC提升至85.4%，优于单模型。
2024-05-22 cs.AI cs.CV cs.LG
Reliable Liver Fibrosis Assessment from Ultrasound using Global Hetero-Image Fusion and View-Specific Parameterization
PAII Inc.（PAII公司）；Chang Gung Memorial Hospital（长庚纪念医院）；Vanderbilt University（范德堡大学）；PingAn Technology（平安科技）
超声（US）是诊断肝纤维化的重要方法。不幸的是，评估是非常主观的，激励自动化的方法。我们介绍了一个原则性的深度卷积神经网络（CNN）工作流程，其中包含几项创新。首先，为了避免对非相关图像特征的过度拟合，我们迫使网络专注于临床感兴趣区域（ROI），包括肝实质和上边界。其次，我们引入了全局异像融合（GHIF），它允许CNN融合研究中任意数量图像的特征，增加了其通用性和灵活性。最后，我们使用基于“样式”的视图特定参数化（VSP）来针对肝脏的不同视点定制CNN处理，同时保持视图中的大多数参数相同。在610例患者研究（6979张图像）的数据集上进行的实验表明，与传统分类器相比，我们的管道可以分别在曲线下部分面积和90%的准确率下分别贡献大约7%和22%的改进，从而验证了我们解决这个关键问题的方法。
2020-08-07 cs.CV cs.LG eess.IV
Multi-views Fusion CNN for Left Ventricular Volumes Estimation on Cardiac MR Images
Harbin Institute of Technology（哈尔滨工业大学）；University of Manchester（曼彻斯特大学）
左心室容积估计是心脏病诊断的重要步骤。本文的目的是解决直接LV容量预测任务。方法：本文提出了一种基于端到端深度卷积神经网络（CNN）的直接体积预测方法。从数据预处理、网络结构、多视图融合策略等方面对端到端的左心室容积预测方法进行了研究。本文的主要贡献在于以下几个方面。首先，我们提出了一种新的心脏磁共振（CMR）数据预处理方法。其次，我们提出了一种新的网络结构，用于端到端LV体积估计。第三，我们探讨了不同切片的代表能力，并提出了一种融合策略，以提高预测精度。结果如下：评估结果表明，该方法优于其他国家的最先进的LV体积估计方法的开放访问的基准数据集。由预测体积导出的临床指标与实际值吻合良好（EDV：R2=0.974，RMSE=9.6ml; ESV：R2=0.976，RMSE=7.1ml; EF：R2=0.828，RMSE =4.71%）。结论：实验结果表明，该方法可以用于LV体积预测任务。重要性：该方法不仅在大规模CMR数据的心脏疾病筛查中具有应用潜力，而且可以推广到其他医学图像研究领域
2018-04-09 cs.CV
Employing Fusion of Learned and Handcrafted Features for Unconstrained Ear Recognition
University of South Florida（南佛罗里达大学）；Federal University of Bahia（巴伊亚联邦大学）
我们提出了一个不受约束的人耳识别框架，在不同的公开可用的图像数据库中的性能优于最先进的系统。为此，我们开发了基于CNN的耳标准化和描述解决方案，我们使用了众所周知的手工描述符，并融合了学习和手工特征以提高识别率。我们设计了一个两阶段的地标检测器，成功地在未经训练的情况下工作。我们使用生成的结果来执行几何图像归一化，从而提高了所有评估描述符的性能。我们的CNN描述符优于文献中其他基于CNN的作品，特别是在更困难的情况下。学习和手工制作的匹配器的融合似乎是互补的，因为它在所有实验中取得了最佳性能。所获得的结果优于UERC挑战的所有其他报告结果，其中包含当今最困难的数据库。
2017-10-20 cs.CV
Learnable Exposure Fusion for Dynamic Scenes
Huawei German Research Center（华为德国研究中心）；Technical University of Munich（慕尼黑工业大学）
在本文中，我们专注于动态场景的曝光融合（EF）[ExposFusi2]。任务是融合多个通过包围曝光获得的图像，以创建包含高水平细节的图像。通常，由于硬件限制，这样的图像不可能直接从相机获得，传感器的有限动态范围。这样的任务的一个主要问题是，由于场景运动或相机运动，图像可能不会在空间上对齐。已知图像配准问题所需的对准是不适定的。在这种情况下，要对齐的图像在其强度范围内变化，这使得问题更加困难。为了解决上述问题，我们提出了一个端到端的\emph{Convolutional Neural Network}（CNN）为基础的方法来学习估计曝光融合从$2$和$3$低动态范围（LDR）图像描绘不同的场景内容。据我们所知，在文献中找不到有效和强大的基于CNN的端到端方法来解决此类问题。我们的想法是创建一个数据集与完美对齐的LDR图像，以获得地面实况曝光融合图像。同时，我们获得了具有一些运动的附加LDR图像，其具有与完美对准的LDR图像相同的曝光融合地面实况。这样，我们可以训练具有未对准的LDR输入图像但具有适当的地面实况曝光融合图像的端到端CNN。我们提出了一个具体的CNN架构来解决这个问题。在各种实验中，我们表明，所提出的方法产生优异的结果。
2018-04-04 cs.CV
Latent Code-Based Fusion: A Volterra Neural Network Approach
NCSU（北卡罗来纳州立大学）
我们提出了一个深度结构编码器，使用最近推出的Volterra神经网络（VNN）寻求多模态数据的潜在表示，其特征是由子空间的联合联合捕获。所谓的自表示嵌入的潜在代码导致一个简化的融合，这是由一个类似构造的解码驱动。Volterra滤波器架构实现了参数复杂性的降低，这主要是由于与广义激活函数相比，高阶卷积引入了受控的非线性。两个不同数据集上的实验结果表明，与传统的卷积神经网络（CNN）自动编码器相比，VNN自动编码器的聚类性能有显着提高。此外，我们还表明，所提出的方法证明了一个基于CNN的自动编码器具有极好的鲁棒性分类性能大大提高了样本的复杂性。
2021-04-10 cs.AI cs.CV cs.LG
Cooperation Learning Enhanced Colonic Polyp Segmentation Based on Transformer-CNN Fusion
Jiangnan University（江南大学）；The Hong Kong Polytechnic University（香港理工大学）
传统的结肠息肉分割方法主要是基于低层特征设计的。他们无法准确提取结肠小息肉的位置。现有的深度学习方法虽然能够提高分割精度，但效果仍然不尽如人意。为了应对上述挑战，我们提出了一种称为Fusion-Transformer-HardNetMSEG的混合网络（即，Fu-TransHNet）。Fu-TransHNet使用不同机制的深度学习相互融合，并通过多视图协作学习技术进行增强。首先，Fu-TransHNet利用Transformer分支和CNN分支分别实现全局特征学习和局部特征学习。其次，设计了一个融合模块，用于融合两个分支的特征。融合模块由两部分组成：1）全局-局部特征融合（GLFF）部分和2）多尺度特征密集融合（DFM）部分。前者用于补偿同一尺度下两个分支的特征信息量，后者用于增强特征表示。第三，上述两个分支和融合模块利用多视图协作学习技术，以获得各自的权重，表示其重要性，然后作出最终的综合决策。实验结果表明，Fu-TransHNet网络优于现有的方法在五个广泛使用的基准数据集。特别是，在包含许多小目标结肠息肉的ETIS-LaribPolypDB数据集上，Fu-TransHNet获得的mDice分别比最先进的方法HardNet-MSEG和TransFuse-s高12.4%和6.2%。
2023-01-17 cs.AI cs.CV
MATCNN: Infrared and Visible Image Fusion Method Based on Multi-scale CNN with Attention Transformer
Shanghai University（上海大学）；Fudan University（复旦大学）；Sun Yat-sen University（中山大学）
本文提出MATCNN方法，通过多尺度卷积与注意力Transformer结合局部和全局特征提取，并利用信息掩码引导优化，以提升红外与可见光图像融合质量。
2025-02-04 cs.CV
Multimodal feature fusion for CNN-based gait recognition: an empirical comparison
University of Malaga（马拉加大学）；University of Cordoba（科尔多瓦大学）；University of Granada（格拉纳达大学）；Department of Computer Architecture, University of Malaga, Spain（西班牙马拉加大学计算机架构系）；Department of Computing and Numerical Analysis, University of Cordoba, Spain（西班牙科尔多瓦大学计算与数值分析系）；Department of Computer Science and Artificial Intelligence, University of Granada, Spain（西班牙格拉纳达大学计算机科学与人工智能系）
基于人们行走的方式（即步态）的视频中的人识别是使用非侵入性方法的计算机视觉中的相关任务。标准和当前的方法通常从从图像中提取的受试者的二进制能量图的序列中导出步态特征，但是该过程引入了大量的非平稳噪声，因此，影响了它们的功效。相比之下，在本文中，我们专注于原始像素或从它们派生的简单函数，让高级学习技术来提取相关特征。因此，我们在两个广泛采用且具有挑战性的数据集：TUM-GAID和CASIA-B上，通过使用三种不同的模式（即灰色像素，光流通道和深度图）对不同的卷积神经网络（CNN）架构进行了比较研究。此外，我们进行了不同的早期和晚期融合方法之间的比较研究，用于结合从每种模态获得的信息。我们的实验结果表明，（i）与传统的基于轮廓的特征相比，原始像素值代表了具有竞争力的输入模态（例如GEI），因为获得了同等或更好的结果;（ii）原始像素信息与来自光流和深度图的信息的融合允许获得步态识别任务的图像分辨率比以前报告的结果小几倍的艺术结果;以及，（iii）CNN架构的选择和设计是关键点，可以在最先进的结果或较差的结果之间产生差异。
2020-02-20 cs.CV
GCF-Net: Gated Clip Fusion Network for Video Action Recognition
InnoPeak Technology（英诺峰科技）
近年来，视频动作识别的大部分准确性增益来自新设计的CNN架构（例如，3D-CNN）。这些模型通过在固定时间长度的单个剪辑上应用深度CNN来训练。由于每个视频片段由3D-CNN模块单独处理，因此相应的剪辑描述符是本地的，并且剪辑间关系本质上是隐式的。由于缺乏能够提取和整合相关信息以表示视频的机制，直接平均剪辑级输出作为视频级预测的常见方法容易失败。在本文中，我们介绍了门控剪辑融合网络（GCF-Net），它可以大大提高现有的视频动作分类器的成本很小的计算开销。GCF-Net明确地对视频片段之间的相互依赖性进行建模，以加强本地片段描述符的接受域。此外，计算每个剪辑对动作事件的重要性，并相应地选择剪辑的相关子集用于视频级分析。在大型基准数据集（Kinetics-600）上，GCF-Net将现有动作分类器的准确率分别提高了11.49%（基于中心剪辑）和3.67%（基于密集采样剪辑）。
2021-02-02 cs.CV
Towards Improved Human Action Recognition Using Convolutional Neural Networks and Multimodal Fusion of Depth and Inertial Sensor Data
Ryerson University（瑞尔森大学）
本文试图通过融合深度和惯性传感器数据来提高人体动作识别（HAR）的准确性。首先，我们将深度数据转换为序列前视图图像（SFI），并在这些图像上微调预训练的AlexNet。然后，惯性数据被转换为信号图像（SI），并在这些图像上训练另一个卷积神经网络（CNN）。最后，从两个CNN中提取学习的特征，融合在一起以形成共享特征层，并将这些特征馈送到分类器。我们用两种分类器，即支持向量机（SVM）和softmax分类器进行实验，并比较它们的性能。还计算每个模态、单独的深度数据和单独的传感器数据的识别精度，并将其与基于融合的精度进行比较，以突出模态的融合产生比单个模态更好的结果的事实。在UTD-MHAD和Kinect 2D数据集上的实验结果表明，与最近提出的其他视觉惯性动作识别方法相比，该方法达到了最先进的效果。
2020-08-22 cs.AI cs.CV cs.LG
Improved Image Classification with Token Fusion
Seoul National University of Science and Technology（首尔国立科技大学）；Ways1 Inc（Ways1公司）
本文提出了一种利用CNN和Transformer结构的融合来提高图像分类性能的方法。在CNN的情况下，可以很好地提取关于图像上的局部区域的信息，但是对全局信息的提取存在限制。另一方面，Transformer在相对全局的提取中具有优势，但是具有缺点，因为它需要大量的存储器用于局部特征值提取。在图像的情况下，通过CNN将其转换为特征图，并且每个特征图的像素被视为令牌。同时，图像被划分为小块区域，然后用Transformer方法进行融合，将它们视为令牌。针对两种不同特征的令牌融合，提出了三种方法：（1）并行结构的后期令牌融合，（2）早期令牌融合，（3）逐层令牌融合。在使用ImageNet 1k的实验中，该方法显示出最佳的分类性能。
2022-08-19 cs.AI cs.CV
Predictive Failure Detection in Network Hardware Using Thermal Imaging and Deep Learning with Sensor Fusion
该研究提出结合热成像与电源传感器数据的多模态深度学习模型，经ROI预处理后可实现网络硬件早期故障的高精度预测，为数据中心主动维护提供支撑。
2026-08-11 cs.CV
LGBP-OrgaNet: Learnable Gaussian Band Pass Fusion of CNN and Transformer Features for Robust Organoid Segmentation and Tracking
School of Optoelectronic Science and Engineering（光电科学与工程学院）；Translational Chinese Medicine Key Laboratory of Sichuan, Sichuan-Chongqing Joint Key Laboratory of innovation of New Drugs of Traditional, Chinese Medicine Sichuan Institute for Translational Chinese Medicine（四川 translational 中医关键实验室，四川-重庆联合新药创新中药关键实验室，四川 translational 中医研究所）；Sichuan Cancer Hospital and Institute（四川癌症医院与研究所）
针对传统荧光标记法易破坏类器官结构的问题，提出融合CNN与Transformer特征的LGBP-OrgaNet深度学习系统，通过可学习高斯带通融合等模块实现精准的类器官分割与跟踪，为相关研究提供有力工具。
2025-09-03 cs.AI cs.CV
HyFormer-Net: A Synergistic CNN-Transformer with Interpretable Multi-Scale Fusion for Breast Lesion Segmentation and Classification in Ultrasound Images
Department of Computer Science and Engineering, Ahsanullah University of Science and Technology（计算机科学与工程系，阿沙努尔大学科学与技术学院）
提出混合架构HyFormer-Net，通过多尺度融合与双管道可解释性同时进行乳腺超声病灶分割与分类，在BUSI数据集上表现优异，并首次验证了其跨数据集渐进式微调的泛化能力。
2025-11-02 cs.CV
DA-DETR: Domain Adaptive Detection Transformer with Information Fusion
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）；Black Sesame Technologies（黑芝麻科技）；Wenzhou University（温州大学）
最近的检测Transformer（DETR）通过去除传统两级对象检测器中采用的手工设计和超参数来简化目标检测流水线。然而，如何利用简单而有效的DETR架构在域自适应目标检测很大程度上被忽视。受独特的DETR注意力机制的启发，我们设计了DA-DETR，一个域自适应目标检测Transformer，它引入了信息融合，用于从标记的源域到未标记的目标域的有效转移。DA-DETR引入了一种新颖的CNN-Transformer Blender（CTBlender），它巧妙地融合了CNN特征和Transformer特征，以实现跨领域的有效特征对齐和知识转移。具体而言，CTBlender采用Transformer特征来跨多个尺度调制CNN特征，其中高级语义信息和低级空间信息被融合以进行准确的对象识别和定位。大量的实验表明，DA-DETR实现了卓越的检测性能，在多个广泛采用的领域自适应基准一致。
2023-03-22 cs.CV
Two-stream Fusion Model for Dynamic Hand Gesture Recognition using 3D-CNN and 2D-CNN Optical Flow guided Motion Template
IIT Guwahati（印度理工学院古瓦哈提分校）
手势的使用对于人机交互社区中的许多应用来说可以是有用的工具。在广泛的领域中，手势技术可以具体应用于手语识别、机器人手术等。在手势识别的过程中，由于手的形状和大小不同，正确检测和跟踪移动的手变得具有挑战性。这里的目标是跟踪手的运动，而不管手的形状、大小和颜色。为此，提出了一种光流引导的运动模板（OFMT）。OFMT是编码到单个图像中的姿势的运动信息的紧凑表示。在实验中，使用了不同的数据集，使用裸露的手与打开的手掌，和折叠的手掌戴着绿色手套，在这两种情况下，我们可以生成具有相同精度的OFMT图像。最近，与传统的手工制作的基于特征的技术相比，基于深度网络的技术已经显示出令人印象深刻的改进。此外，在文献中，可以看出，使用具有信息性输入数据的不同流有助于提高识别精度的性能。本文提出了一种基于光流的手势识别双流融合模型和一种简洁高效的运动模板。具体来说，双流网络由两层组成：将手势视频作为输入的3D卷积神经网络（C3 D）和将OFMT图像作为输入的2D-CNN。C3 D已经显示出其在捕获视频的时空信息方面的效率。而OFMT有助于消除不相关的手势，提供额外的运动信息。虽然每个流可以独立工作，但它们与融合方案相结合，以提高识别结果。我们已经在两个数据库上展示了所提出的双流网络的效率。
2020-07-17 cs.CV eess.IV
UAGLNet: Uncertainty-Aggregated Global-Local Fusion Network with Cooperative CNN-Transformer for Building Extraction
School of Computer Science (National Pilot Software Engineering School), Beijing University Of Posts and Telecommunications（计算机学院（国家级试点软件工程学院），北京邮电大学）；School of Cyber Science and Technology, Shenzhen Campus, Sun Yat-sen University（网络科学与技术学院，中山大学深圳校区）
UAGLNet通过合作CNN-Transformer架构和不确定性聚合解码器，提升遥感图像中建筑物提取的准确性和鲁棒性。
2025-12-15 cs.CV
2D and 3D CNN-Based Fusion Approach for COVID-19 Severity Prediction from 3D CT-Scans
University Paris-Est Creteil（巴黎东克雷泰伊大学）；University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））
自2019年底COVID-19出现以来，COVID-19已成为人工智能（AI）社区的一个活跃研究课题。最有趣的人工智能主题之一是新冠肺炎医学成像分析。CT扫描成像是关于这种疾病的最有用的工具。这项工作是第三届COV 19 D竞赛的一部分，用于COVID-19严重程度预测。为了解决验证和测试结果之间的巨大差距，我们建议将2D和3D CNN预测相结合。对于2D CNN方法，我们提出了2B-InceptResnet架构，该架构由两条路径组成，分别用于分割肺部和感染输入CT扫描的所有切片。每个路径由ImageNet上的ConvLayer和Inception-ResNet预训练模型组成。对于3D CNN方法，我们提出了混合DeCoVNet架构，该架构由四个模块组成：Stem，四个3D-ResNet层，分类头和决策层。在第三届COV 19 D竞赛的验证数据中，我们提出的方法在Covid-19严重程度预测方面优于基线方法36%。
2023-03-15 cs.CV eess.IV
