Teaching CNNs to mimic Human Visual Cognitive Process & regularise Texture-Shape bias
DTSU Honda Innovation Lab(本田创新实验室)
针对CNN存在纹理偏差、忽略全局形状特征的问题,提出受心理学启发的CognitiveCNN架构及正则化方法,平衡多模态特征影响,提升目标识别的准确率、鲁棒性与可解释性。
2022-01-10 cs.AI cs.CV cs.LG
LargeKernel3D: Scaling up Kernels in 3D Sparse CNNs
The Chinese University of Hong Kong(香港中文大学);MEGVII Technology(旷视科技);The University of Hong Kong(香港大学)
2D CNN的最新进展表明,大内核很重要。然而,当在3D CNN中直接应用大型卷积核时,会遇到严重的困难,其中2D中那些成功的模块设计在3D网络上变得令人惊讶地无效,包括流行的深度卷积。为了解决这个重要的挑战,我们提出了空间分区卷积及其大内核模块。因此,它避免了朴素3D大内核的优化和效率问题。我们的大内核3D CNN网络LargeKernel3D在语义分割和目标检测的3D任务中产生了显着的改进。它在ScanNetv2语义分割和NDS nuScenes目标检测基准测试中实现了73.9%的mIoU,在nuScenes LIDAR排行榜上排名第一。通过简单的多模态融合,性能进一步提升至74.2% NDS。此外,在Waymo 3D目标检测上,LargeKernel3D可以扩展到17x17x17的内核大小。这是第一次,我们表明,大内核是可行的,并为3D视觉任务所必需的。
2023-03-22 cs.CV cs.LG
RedBit: An End-to-End Flexible Framework for Evaluating the Accuracy of Quantized CNNs
University of Coimbra(科英布拉大学);Instituto de Telecomunicações(电信研究所);ETH Zürich(苏黎世联邦理工学院)
近年来,卷积神经网络(CNN)已成为用于图像处理、分类和分割任务的标准类深度神经网络。然而,CNN在准确性上的巨大进步是由于增加了网络拓扑的复杂性,这在CNN的训练和推理中带来了相当大的性能和能量损失。最近的许多工作已经验证了参数量化的有效性,包括减少网络参数的位宽,以实现相当大的性能和能源效率的增益,而不会显着损害精度。然而,很难比较不同量化方法的相对有效性。为了解决这个问题,我们引入了RedBit,这是一个开源框架,它提供了一个透明的,可扩展的和易于使用的界面,以评估不同算法和参数配置对网络精度的有效性。我们使用RedBit对应用于MNIST,CIFAR-10和ImageNet数据集的五种最先进的量化方法进行了全面的调查。我们评估了总共2300个单独的位宽组合,独立地调整网络权重和输入激活参数的宽度,从32位降到1位(例如,8/8、2/2、1/32、1/1,用于权重/激活)。本文中的所有结果都是在一个最先进的GPU池中使用20000小时以上的计算时间生成的。对于1位量化,MNIST、CIFAR-10和ImageNet数据集的准确度损失分别在[0.26%,0.79%]、[9.74%,32.96%]和[10.86%,47.36%] top-1之间。我们积极鼓励读者下载源代码并使用RedBit进行实验,并将他们自己观察到的结果提交到我们的公共存储库,可在https://github.…
2023-01-15 cs.CV cs.LG
Eigenspace Restructuring: a Principle of Space and Frequency in Neural Networks
Google Research, Brain Team(谷歌研究院大脑团队)
理解神经网络巨大成功背后的基本原理是深度学习中最重要的开放问题之一。然而,由于问题的高度复杂性,进展相对缓慢。在本文中,通过无限宽网络的透镜,a.k.a.神经内核,我们提出了一个这样的原则,从分层的地方。众所周知,无限宽多层感知器(MLP)的特征结构仅取决于概念频率,它衡量了相互作用的顺序。我们表明,深度卷积网络(CNN)的拓扑结构将相关的特征空间重构为更精细的子空间。除了频率之外,新结构还依赖于概念空间,概念空间测量非线性相互作用项之间的空间距离。由此产生的细粒度特征结构极大地提高了网络的可学习性,使它们能够同时对更丰富的交互类进行建模,包括长距离低频交互、短距离高频交互以及其间的各种插值和外推。此外,模型缩放可以提高插值和外推的分辨率,从而提高网络的可学习性。最后,我们证明了一个尖锐的表征的泛化误差的任意深度的高维设置的无限宽CNN。两个推论如下:(1)无限宽度的深度CNN可以打破维度灾难而不会失去其表现力,(2)缩放可以提高有限和无限数据状态下的性能。
2021-12-10 cs.AI cs.LG stat.ML
Learning Multi-Modal Volumetric Prostate Registration with Weak Inter-Subject Spatial Correspondence
University of Magdeburg(马格德堡大学);University Hospital Magdeburg(马格德堡大学医院)
最近的研究表明,卷积神经网络(CNN)解决图像配准问题的资格。CNN可以实现更快的转换估计和更大的泛化能力,以便在医疗干预期间提供更好的支持。传统的全监督训练需要大量高质量的地面实况数据,例如体素到体素的转换,这通常是以过于繁琐和容易出错的方式实现的。在我们的工作中,我们使用弱监督学习,它仅通过分割掩码间接优化模型,而分割掩码是比变形场更容易获得的基础事实。关于弱监督,我们研究了两个分割相似性度量:多尺度骰子相似性系数(mDSC)和分割导出的符号距离图(SDM)之间的相似性。我们表明,mDSC和SDM相似性措施的组合,结果在一个更准确和自然的转换模式,以及更强的梯度覆盖。此外,我们引入了一个辅助输入的神经网络的先验信息的前列腺位置的MR序列,这主要是术前。这种方法明显优于标准的双输入模型。使用弱标记的MR-TRUS前列腺数据,我们显示出与最先进的基于深度学习的方法相当的配准质量。
2021-02-09 cs.CV cs.LG eess.IV
ChronoMID - Cross-Modal Neural Networks for 3-D Temporal Medical Imaging Data
University of Sheffield(谢菲尔德大学)
ChronoMID建立在交叉模态卷积神经网络(X-CNN)的成功基础上,将该技术应用于医学成像数据。具体而言,本文介绍和比较替代方法-时间戳和差分图像-将时间信息用于小鼠骨骼疾病的分类,应用于小鼠胫骨的微CT扫描。虽然以前关于疾病和疾病分类的许多工作都是基于结合领域专业知识和假设的明确编码的数学模型,但这里给出的方法利用不断增长的计算资源来分析大型数据集并揭示空间和时间上的微妙模式。在对超过75000张图像的平衡集进行训练后,所有包含时间特征的模型在包含超过20000张图像的看不见的平衡验证集上的表现都优于最先进的CNN基线。表现最好的模型达到了99.54%的准确率,而CNN基线的准确率为73.02%。
2019-01-12 cs.LG eess.IV stat.ML
Two Headed Dragons: Multimodal Fusion and Cross Modal Transactions
Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay(印度理工学院孟买分校资源工程研究中心)
随着遥感领域的不断发展,我们见证了信息的积累,从几种方式,如多光谱(MS),高光谱(HSI),激光雷达等,这些方式都具有自己独特的特点,当结合协同,执行非常好的识别和分类任务。然而,融合多种形式的遥感是麻烦的,由于高度不同的领域。此外,现有的方法不便于跨模式的相互作用。为此,我们提出了一种新的基于Transformer的HSI和LiDAR模态融合方法。该模型由堆叠的自动编码器组成,这些编码器利用HSI和LiDAR的交叉键值对,从而在两种模式之间建立通信,同时使用CNN从HSI和LiDAR中提取光谱和空间信息。我们在休斯顿(数据融合竞赛- 2013)和MUUFL海湾港数据集上测试了我们的模型,并取得了有竞争力的结果。
2021-07-24 cs.CV cs.LG eess.IV
Multi-modal biometric authentication: Leveraging shared layer architectures for enhanced security
本研究提出一种整合面部、声音和签名数据的多模态生物特征认证系统,采用CNN与RNN结合双重共享层架构,通过联合损失训练及PCA融合和GBM分类,显著提升认证准确性与鲁棒性。
2024-11-04 cs.CV cs.LG
Investigating the Visual Cues of CNNs for Vascular Segmentation: A Case Study in Microscopy and Fundus Imaging
Federal University of São Carlos(圣卡洛斯联邦大学)
研究卷积神经网络在荧光显微镜和视网膜眼底摄影领域分割血管的视觉线索,通过系列实验量化形状、纹理和感受野对分割性能的影响,发现像素强度更重要,该方法为审核和改进血管成像深度学习系统提供定量基础。
2026-07-28 cs.CV cs.LG eess.IV
Multimodal Deep Learning for Robust RGB-D Object Recognition
University of Freiburg(弗莱堡大学)
鲁棒的对象识别是许多(如果不是全部)现实世界机器人应用的关键组成部分。本文利用卷积神经网络(CNN)的最新进展,提出了一种新的RGB-D结构的对象识别。我们的架构由两个独立的CNN处理流组成-每个模态一个-它们与后期融合网络连续组合。我们专注于学习不完美的传感器数据,在现实世界的机器人任务的一个典型问题。为了准确学习,我们引入了一种多阶段训练方法和两个关键因素,用于使用CNN处理深度数据。第一,CNN深度信息的有效编码,使学习不需要大型深度数据集。第二,数据增强方案,用于通过用真实的噪声模式破坏深度图像来进行鲁棒学习。我们在RGB-D对象数据集上展示了最先进的结果,并在具有挑战性的RGB-D现实噪声环境中显示了识别。
2015-08-18 cs.CV cs.LG cs.NE
Hardware-aware training for large-scale and diverse deep learning inference workloads using in-memory computing-based accelerators
IBM Research(IBM研究院)
模拟存内计算(AIMC)--一种很有前途的深度学习工作负载节能加速方法--计算矩阵向量乘法(MVMs),但由于非理想性通常是非确定性或非线性的,因此只能近似计算。与常规浮点(FP)实现相比,这可能不利地影响可实现的深度神经网络(DNN)推理准确性。虽然之前已经建议重新训练以提高鲁棒性,但之前的工作仅探索了少数DNN拓扑,使用不同且过于简化的AIMC硬件模型。在这里,我们使用硬件感知(HWA)训练来系统地检查AIMC在多个DNN拓扑中的多个常见人工智能(AI)工作负载的准确性,并研究对广泛的非理想性的敏感性和鲁棒性。通过引入一个新的和高度现实的AIMC交叉模型,我们显着改善早期的再培训方法。我们发现,许多不同拓扑结构的大规模DNN,包括卷积神经网络(CNN),递归神经网络(RNN)和Transformers,实际上可以成功地重新训练,以显示AIMC的等精度。我们的研究结果进一步表明,向输入或输出添加噪声的AIMC非理想性,而不是权重,对DNN精度的影响最大,并且RNN对所有非理想性都特别鲁棒。
2023-02-16 cs.ET cs.LG
Identification of Flux Rope Orientation via Neural Networks
Goucher College(古彻学院);NASA Goddard Space Flight Center(美国国家航空航天局戈达德太空飞行中心);ADNET Systems Inc.(ADNET系统公司);University of Colorado(科罗拉多大学)
地磁扰动预报的基础是识别太阳风结构并准确确定其磁场方向。对于即时预报活动,这目前是一个繁琐的手动过程。聚焦于地磁扰动的主要驱动力,行星际日冕物质抛射(ICME)的扭曲内部磁场,我们探索了卷积神经网络(CNN)预测嵌入的磁通量绳的方向的能力,一旦它已被确定从原位太阳风观测。我们的工作使用CNN训练的磁场矢量从分析磁通绳数据。模拟的磁绳跨越许多可能的航天器轨迹和磁绳取向。我们首先用全持续时间通量绳训练CNN,然后再用部分持续时间通量绳。前者为我们提供了CNN预测磁绳方向的基线,而后者通过探索观测到的磁绳百分比如何影响准确性来提供对实时预测的见解。讨论了将物理问题转化为机器学习问题的过程,以及不同因素对预测精度的影响,如磁绳波动和不同的神经网络拓扑结构。最后,对1995-2015年期间从风观测到的ICME的训练网络进行评估的结果。
2022-02-21 cs.LG physics.space-ph
Co-training for Deep Object Detection: Comparing Single-modal and Multi-modal Approaches
Computer Vision Center (CVC)(计算机视觉中心(CVC));Universitat Autònoma de Barcelona (UAB)(巴塞罗那自治大学(UAB))
性能最好的计算机视觉模型由卷积神经网络(CNN)提供支持。训练准确的CNN高度依赖于原始传感器数据及其相关的地面实况(GT)。收集这样的GT通常是通过人工标记完成的,这很耗时,而且不能像我们希望的那样扩展。由于图像传感器之间的域偏移,这种数据标记瓶颈可能会加剧,这可能会迫使每个传感器的数据标记。在本文中,我们专注于使用协同训练,一种半监督学习(SSL)方法,用于获得自标记对象边界框(BB),即,GT用于训练深层物体探测器。特别是,我们通过依赖图像的两个不同视图(即外观(RGB)和估计深度(D))来评估多模态协同训练的优点。此外,我们比较了基于外观的单模态协同训练与多模态协同训练。我们的研究结果表明,在标准SSL设置(没有域转移,一些人类标记的数据)和虚拟到真实域转移(许多虚拟世界标记的数据,没有人类标记的数据)下,多模态协同训练优于单模态。在后一种情况下,通过执行基于GAN的域翻译,两种协同训练模式都是成对的;至少在使用未在翻译图像上专门训练的现成深度估计模型时是这样。
2021-04-23 cs.CV cs.LG
5 Parallel Prism: A topology for pipelined implementations of convolutional neural networks using computational memory
IBM Research – Zurich(IBM研究院(苏黎世));ETH Zurich(苏黎世联邦理工学院)
存内计算是一种新兴的计算范式,它可以以显著更高的能量效率和更低的延迟实现深度学习推理。基本思想是将对应于每层的突触权重映射到一个或多个计算存储器(CM)核。在推断期间,这些核以O(1)时间复杂度就地执行相关联的矩阵-向量乘法运算,从而避免了将突触权重移动到附加处理单元的需要。此外,这种架构可以使这些网络的执行在一个高度流水线的方式。然而,一个关键的挑战是设计一个有效的通信结构的CM核心。在这里,我们提出了一个这样的通信结构的基础上的图形拓扑结构,非常适合于广泛成功的卷积神经网络(CNN)。我们表明,这种通信结构有利于所有国家的最先进的CNN的流水线执行证明这些网络的一个图形表示和建议的图形拓扑之间的同态的存在。然后,我们提出了一个定量的比较与已建立的通信拓扑结构,并表明我们提出的拓扑结构实现了最低的带宽要求,每个通信信道。最后,我们给出了一个将ResNet-32映射到CM核心阵列上的具体示例。
2019-06-08 cs.LG
Cross-modal supervised learning for better acoustic representations
iQiYi, Inc.(爱奇艺公司)
获取大规模的人类标记数据集来训练声学表示模型是一项非常具有挑战性的任务。相反,我们可以很容易地用机器生成的标签收集数据。在这项工作中,我们建议利用机器生成的标签来学习更好的声学表示,基于视觉和音频之间的同步。首先,我们收集了一个大规模的视频数据集,有1500万个样本,总共持续了16,320小时。每个视频的长度为3到5秒,并由公开的视觉和音频分类模型自动注释。其次,我们训练各种经典的卷积神经网络(CNN),包括VGGish,ResNet 50和Mobilenet v2。我们还对VGGish进行了一些改进,并取得了更好的效果。最后,我们将我们的模型转移到三个外部标准基准上进行音频分类任务,并在最先进的结果上实现了显着的性能提升。型号和代码可在https://github.com/Deeperjia/vgg-like-audio-models上获得。
2020-01-01 cs.CV cs.LG cs.SD
Soybean Disease Detection via Interpretable Hybrid CNN-GNN: Integrating MobileNetV2 and GraphSAGE with Cross-Modal Attention
Biology Unit, Okinawa Institute of Science;Technology Graduate University, Okinawa 904-0412, Japan (e-mail: );Thomas Lord Department of Computer Science, Viterbi School of Engineering, University of Southern California, Los Angeles, CA 90007, USA (e-mail: );Department of Computer Science, American International University-Bangladesh, Dhaka 1229, Bangladesh (e-mail: , );Department of Robotics;Automation, Multimedia University, Melaka, Malaysia (e-mail: );Department of Computer Science \& Engineering, Techno International New Town, Kolkata 700156, India (e-mail: )
本文提出一种可解释的混合CNN-GNN框架,结合MobileNetV2与GraphSAGE进行大豆叶片病害检测,通过图结构建模与可视化技术,在仅230万参数下实现97.16%准确率,兼顾高精度与实时部署。
2025-05-02 cs.CV cs.LG
Multimodal Structure Learning: Disentangling Shared and Specific Topology via Cross-Modal Graphical Lasso
Stony Brook University(石溪大学);Sichuan University(四川大学);USTC(中国科学技术大学)
本文提出跨模态图拉索方法,通过统一视觉语言编码器和跨注意力蒸馏机制,解耦共享与类别特定拓扑,提升多模态表征的可解释性。
2026-04-05 cs.CV cs.LG
Convolutional Neural Networks for Medical Image Analysis: Full Training or Fine Tuning?
Arizona State University(亚利桑那州立大学);Mayo Clinic(梅奥诊所)
从头开始训练深度卷积神经网络(CNN)是很困难的,因为它需要大量的标记训练数据和大量的专业知识来确保适当的收敛。一个有希望的替代方案是微调CNN,该CNN已经使用例如大量标记的自然图像进行了预训练。然而,自然图像和医学图像之间的实质性差异可能会反对这种知识转移。在本文中,我们试图回答医学图像分析背景下的以下中心问题:\emph{Can the use of pre-trained deep CNNs with sufficient fine-tuning eliminate the need for training a deep CNN from scratch?}为了解决这个问题,我们考虑了3个专业的4种不同的医学成像应用(放射学、心脏病学和胃肠病学),涉及3种不同成像模式的分类、检测和分割,并研究了从头开始训练的深度CNN的性能如何与以逐层方式微调的预训练CNN进行比较。我们的实验一致表明,(1)使用具有足够微调的预训练的CNN优于或在最坏情况下表现得与从头开始训练的CNN一样好;(2)微调的CNN比从头开始训练的CNN对训练集的大小更鲁棒;(3)浅调或深调都不是特定应用的最佳选择;以及(4)我们的逐层微调方案可以提供一种实用的方法,以根据可用数据的量来达到当前应用的最佳性能。
2017-06-02 cs.CV cs.LG
Cross-Modal Domain Adaptation in Brain Disease Diagnosis: Maximum Mean Discrepancy-based Convolutional Neural Networks
本文针对脑疾病诊断中标注数据稀缺及跨模态泛化困难的问题,提出将最大均值差异(MMD)域自适应方法与卷积神经网络(CNN)结合,在Kaggle数据集上实现CT与MRI间的跨模态知识迁移,有效提升了诊断准确性和效率。
2024-05-06 cs.CV cs.LG
Focal Sparse Convolutional Networks for 3D Object Detection
The Chinese University of Hong Kong(香港中文大学);MEGVII Technology(旷视科技);SmartMore(思谋科技)
非均匀3D稀疏数据,例如,不同空间位置的点云或体素以不同的方式对3D目标检测的任务做出贡献。稀疏卷积网络(Sparse CNN)中的现有基本组件处理所有稀疏数据,无论是常规卷积还是子流形稀疏卷积。在本文中,我们引入了两个新模块来增强稀疏CNN的能力,这两个模块都是基于通过位置重要性预测使特征稀疏性可学习。它们是焦点稀疏卷积(Focals Conv)及其融合焦点稀疏卷积的多模态变体,或简称为Focals Conv-F。新模块可以很容易地替换现有稀疏CNN中的普通对应模块,并以端到端的方式进行联合训练。这是第一次,我们表明,在稀疏卷积空间可学习的稀疏性是必不可少的复杂的三维目标检测。在KITTI,nuScenes和Waymo基准上进行的大量实验验证了我们方法的有效性。在没有花里胡哨的情况下,我们的结果在论文提交时优于nuScenes测试基准上所有现有的单一模型条目。代码和模型在https://github.com/dvlab-research/FocalsConv上。
2022-04-26 cs.CV cs.LG
Evaluation of Multi-Slice Inputs to Convolutional Neural Networks for Medical Image Segmentation
Umeå University(于默奥大学);Eindhoven University of Technology(埃因霍温理工大学)
当使用卷积神经网络(CNN)分割医学图像中的器官和病变时,传统的方法是将输入和输出作为单个切片(2D)或整个体积(3D)来工作。一种常见的替代方案,在本研究中表示为伪3D,是使用相邻切片的堆栈作为输入,并至少对中心切片进行预测。这种方法使网络有可能捕获3D空间信息,只需少量额外的计算成本。在这项研究中,我们系统地评估了这种伪3D方法的分割性能和计算成本,作为输入切片数量的函数,并将结果与传统的端到端2D和3D CNN进行了比较。标准的伪3D方法将相邻切片视为多个输入图像通道。我们还评估了一种简单的方法,其中输入堆栈是一个体积输入,可重复地在3D中卷积,以获得2D特征图。该2D地图又被馈送到标准2D网络中。我们使用两种不同的CNN骨干架构和五个不同的数据集,涵盖不同的解剖区域,成像方式和分割任务进行了实验。我们发现,虽然这两种伪3D方法都可以一次处理大量切片,并且在计算上仍然比完全3D CNN更有效,但仅在五个数据集之一中观察到比常规2D CNN有显着改进。的分割掩模的结构特性的分析显示,没有关系的分割性能相对于输入切片的数量。因此,结论是,在一般情况下,多切片输入似乎没有显着改善分割结果超过使用2D或3D CNN。
2019-12-22 cs.CV cs.LG eess.IV
Convolutional Neural Networks on non-uniform geometrical signals using Euclidean spectral transformation
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);Technical University of Munich(慕尼黑工业大学)
卷积神经网络(CNN)已经成功地处理在空间域中均匀采样的数据信号(例如,图像)。然而,大多数数据信号并不原生地存在于网格上,并且在被采样到均匀物理网格上的过程中遭受显著的混叠误差和信息丢失。此外,信号可以存在于不同的拓扑结构中,例如点、线、表面和体积。分析具有混合拓扑结构的信号(例如,具有表面网格的点云)一直具有挑战性。为此,我们开发了非均匀傅立叶变换(NUFT)的数学公式,以直接,最佳地,采样到频谱域的不同拓扑结构上定义的单形网格的非均匀数据信号,没有空间采样误差。谱变换是在欧氏空间中进行的,它消除了图谱上的平移模糊性。我们的代表有四个明显的优势:(1)该过程在初始采样期间不引起空间采样误差,(2)该方法的通用性提供了用于使用CNN来分析混合拓扑的信号的统一框架,(3)它允许我们利用最先进的骨干CNN架构进行有效学习,而不必为广告中的特定数据结构设计特定架构。hoc方式,以及(4)该表示允许加权网格,其中每个元素具有不同的权重(即,纹理),指示局部属性。我们实现的结果与国家的最先进的三维形状检索任务,和一个新的国家的最先进的点云表面重建任务。
2019-01-07 cs.AI cs.CG cs.CV
Binary Graph Neural Networks
Imperial College London(伦敦帝国理工学院);Université Côte d’Azur - Inria(蔚蓝海岸大学 - 法国国家信息与自动化研究所);IRT Saint-Exupéry(圣埃克苏佩里技术研究院)
图神经网络(GNNs)已经成为一个强大而灵活的框架,用于对不规则数据进行表示学习。由于它们将经典CNN在网格上的操作推广到任意拓扑结构,因此GNN也带来了许多欧几里德同行的实现挑战。模型大小、内存占用和能耗是许多实际应用中常见的问题。网络二进制化将单个位分配给参数和激活,从而大幅降低内存需求(与单精度浮点数相比,最高可达32倍),并最大限度地发挥现代硬件上快速SIMD指令的优势,实现可测量的加速提升。然而,尽管在经典CNN的二值化方面有大量的工作,但在几何深度学习中,这一领域在很大程度上仍未被探索。在本文中,我们提出和评估不同的策略二值化的图神经网络。我们表明,通过精心设计的模型,并控制训练过程中,二进制图神经网络可以训练在具有挑战性的基准只有适度的成本在准确性。特别是,我们提出了第一个动态图神经网络在汉明空间,能够利用有效的k-NN搜索二进制向量,以加快建设的动态图。我们进一步验证,二进制模型提供了显着的节省嵌入式设备。我们的代码在Github上公开。
2021-03-29 cs.AI cs.CV cs.LG
Generative artificial intelligence in ophthalmology: multimodal retinal images for the diagnosis of Alzheimer's disease with convolutional neural networks
本研究利用生成式AI(DDPM)合成多模态视网膜图像,预训练CNN以预测阿尔茨海默病相关AmyloidPET状态,结合元数据将AUPR提升至0.634。
2024-06-26 cs.CV cs.LG eess.IV
A fully 3D multi-path convolutional neural network with feature fusion and feature weighting for automatic lesion identification in brain MRI images
New Jersey Institute of Technology(新泽西理工学院);Kessler Foundation(凯斯勒基金会);Emory University(埃默里大学);Atlanta VA Medical Center(亚特兰大退伍军人事务医疗中心);Medical College of Wisconsin(威斯康星医学院);Rutgers University - Newark(罗格斯大学纽瓦克分校)
我们提出了一个全三维多路径卷积网络来预测中风病变的三维脑MRI图像。我们的多路径模型具有针对包含残余卷积块的不同模态的独立编码器、来自不同模态的加权多路径特征融合以及用于组合编码器和解码器特征的加权融合模块。与DeepMedic、3D U-Net和AnatomyNet等现有的3D CNN相比,我们的网络在220名患者的大型ATLAS基准测试中实现了最高的统计学显著交叉验证准确率(60.5%)。我们还在来自Kessler Foundation和Medical College Wisconsin的多模态图像上测试了我们的模型,并实现了65%的统计学显著交叉验证准确率,显著优于多模态3D U-Net和DeepMedic。总的来说,我们的模型提供了一个原则性的,可扩展的多路径方法,优于多通道的替代品,并在现有的基准实现高骰子精度。
2019-11-16 cs.CV cs.LG eess.IV
Convolutional Neural Networks for Neuroimaging in Parkinson's Disease: Is Preprocessing Needed?
University of Granada(格拉纳达大学);University of Malaga(马拉加大学)
本研究探讨了在帕金森病核脑成像分析中,CNN模型是否仍需空间和强度归一化预处理,发现三维ALEXNET能有效弥补空间差异并达到94.1%准确率,但强度归一化对结果影响显著不可忽视。
2023-11-21 cs.CV cs.LG
Classification and regression of trajectories rendered as images via 2D Convolutional Neural Networks
International Center for Advanced Computing in Medicine (ICAM), University of Pavia(帕维亚大学国际医学高级计算中心(ICAM))
本文研究将轨迹渲染为图像后利用二维CNN进行分类与回归的效果,系统分析线宽、分辨率、运动历史和抗混叠等因素的影响,发现应根据模型深度和运动方向需求合理选择图像分辨率。
2024-09-27 cs.CV cs.LG
BiTr-Unet: a CNN-Transformer Combined Network for MRI Brain Tumor Segmentation
New York University(纽约大学)
卷积神经网络(CNN)在自动分割3D医学图像上的器官或病变方面取得了显着的成功。最近,Vision Transformer网络在2D图像分类任务中表现出卓越的性能。与神经网络相比,Transformer网络由于其自注意算法在提取长距离特征方面具有很大的优势。因此,我们提出了一个CNN-Transformer组合模型,称为BiTr-Unet,对多模态MRI扫描的脑肿瘤分割进行了特定的修改。我们的BiTr-Unet在BraTS 2021验证数据集上实现了良好的性能,对于整个肿瘤、肿瘤核心和增强肿瘤,中值Dice评分分别为0.9335、0.9304和0.8899,中值Hausdorff距离分别为2.8284、2.2361和1.4142。在BraTS 2021测试数据集上,Dice评分的相应结果分别为0.9257、0.9350和0.8874,Hausdorff距离的相应结果分别为3、2.2361和1.4142。该代码可在https://github.com/JustaTinyDot/BiTr-Unet上公开获取。
2021-12-30 cs.AI cs.CV cs.LG