Harmonic Beltrami Signature Network: a Shape Prior Module in Deep Learning Framework
Department of Mathematics, The Chinese University of Hong Kong(香港中文大学数学系)
本文提出HBSN,一种用于提取形状先验信息的深度学习模块,能有效提升分割模型性能。
2026-03-03 cs.CV
Deep Reasoning with Multi-Scale Context for Salient Object Detection
Beijing Jiaotong University(北京交通大学);National University of Singapore(新加坡国立大学)
为了准确地检测显著对象,现有方法通常设计复杂的骨干网络架构来学习和融合强大的特征。然而,从融合特征执行显著性预测的显著性推理模块在其架构设计上受到的关注要少得多,并且通常仅采用几个完全卷积层。在本文中,我们发现显着性推理模块的有限容量确实是一个根本的性能瓶颈,提高其容量是获得更好的显着性预测的关键。相应地,我们提出了一个深度但重量轻的显着性推理模块,采用多扩张的深度卷积架构。这种深度推理模块虽然具有简单的架构,但可以直接从多尺度卷积特征快速执行关于显著对象的推理,并且以较少的计算成本给出优异的显著目标检测性能。据我们所知,我们是第一个揭示的重要性,推理模块的显着目标检测,并提出了一种新的架构设计具有吸引力的效率和准确性。广泛的实验评估表明,我们的简单的框架表现良好的国家的最先进的方法与复杂的骨干设计相比。
2019-03-25 cs.CV
Learning Edge-Preserved Image Stitching from Large-Baseline Deep Homography
Beijing Jiaotong University(北京交通大学)
图像拼接是计算机视觉中的一项经典而关键的技术,其目的是生成大视场的图像。传统的方法严重依赖于特征检测,要求场景特征在图像中密集且均匀分布,导致重影效果多变,鲁棒性差。学习方法通常受到固定视图和输入大小的限制,在其他真实数据集上缺乏泛化能力。在本文中,我们提出了一个图像拼接学习框架,它由一个大基线深度单应性模块和一个边缘保持变形模块。首先,我们提出了一个大基线深度单应性模块来估计参考图像和目标图像在不同尺度的特征之间的精确投影变换。然后设计了一个边缘保持变形模块,学习图像拼接从边缘到内容的变形规律,尽可能地消除鬼影效应。特别是,所提出的学习框架可以拼接任意视图和输入尺寸的图像,从而有助于监督深度图像拼接方法在其他真实图像中具有出色的泛化能力。实验结果表明,我们的单应性模块显着优于现有的深度单应性方法在大基线场景。在图像拼接中,我们的方法优于现有的学习方法,并显示出与最先进的传统方法的竞争性能。
2020-12-11 cs.CV
Padding Module: Learning the Padding in Deep Neural Networks
University of Nebraska Omaha(内布拉斯加大学奥马哈分校)
在过去的几十年中,许多研究致力于提高神经网络的性能,例如网络结构,初始化和激活。然而,研究可学习填充方法在深度学习中的重要性和效果仍然相对开放。为了弥补这一差距,本文提出了一种新的可训练填充模块,可以放置在深度学习模型中。Padding Module可以在不需要或影响模型的整个损失函数的情况下优化自身。为了训练自身,填充模块通过利用用于监督的输入数据中的底层结构来从输入构建地面实况和预测器。因此,填充模块可以自动学习将像素填充到其输入图像或特征图的边界。填充内容是对其输入数据的实际扩展,同时促进了深度学习模型的下游任务。实验表明,所提出的填充模块优于国家的最先进的竞争对手和基线方法。例如,在VGG16和ResNet50上测试时,Padding模块的分类精度比零填充高1.23%和0.44%。
2023-01-11 cs.CV cs.LG
EDPN: Enhanced Deep Pyramid Network for Blurry Image Restoration
University of Science and Technology of China(中国科学技术大学)
随着深度神经网络的发展,图像去模糊得到了很大的改善。然而,在实践中,模糊的图像经常遭受额外的降级,如缩小和压缩。为了解决这些问题,我们提出了一种增强型深度金字塔网络(EDPN),通过充分利用退化图像中的自相似性和跨尺度相似性,用于从多个退化中恢复模糊图像复原。具体地,我们设计了两个基于深度金字塔网络的模块,即,金字塔渐进传输(PPT)模块和金字塔自我注意(PSA)模块,作为所提出的网络的主要组成部分。PPT模块通过将多个复制的模糊图像作为输入,以渐进的方式从同一退化图像中传输自相似性信息和跨尺度相似性信息。然后,PSA模块融合上述转移的特征,用于随后的恢复使用自我和空间注意力机制。实验结果表明,我们的方法显着优于现有的解决方案,模糊图像超分辨率和模糊图像去块。在NTIRE 2021图像去模糊挑战赛中,EDPN在Track 1(低分辨率)中获得最佳PSNR/SSIM/LPIPS分数,在Track 2(JPEG伪影)中获得最佳SSIM/LPIPS分数。
2021-05-11 cs.CV
Supervised Deep Sparse Coding Networks
The Johns Hopkins University(约翰霍普金斯大学);West Virginia University(西弗吉尼亚大学)
在本文中,我们描述了深度稀疏编码网络(SCN),这是一种新型的深度网络,它使用非负稀疏编码对中间表示进行编码。SCN建立在多个级联瓶颈模块上,其中每个模块由两个稀疏编码层组成,所述两个稀疏编码层具有相对宽和窄的字典,所述字典分别专门用于产生用于聚类的高维判别特征和低维表示。在训练过程中,使用基于多级优化的端到端监督学习算法优化字典和正则化参数。在几个流行的基准测试数据集上验证了具有七个瓶颈模块的SCN的有效性。值得注意的是,我们的SCN在CIFAR-10和CIFAR-100上分别达到了5.81%和19.93%的分类出错率。
2017-05-23 cs.CV
Soccer Event Detection Using Deep Learning
University of Tehran(德黑兰大学)
事件检测是从视频中提取知识的重要步骤。在本文中,我们提出了一种深度学习方法来检测足球比赛中的事件,强调红色和黄色卡片的图像之间的区别,并从其他图像中正确检测选定事件的图像。该方法包括以下三个模块:变分自编码器(VAE)模块,用于区分足球图像和其它图像;图像分类模块,用于对事件图像进行分类;以及细粒度图像分类模块,用于对红黄牌图像进行分类。此外,引入了一个新的数据集用于足球图像分类,用于训练文中提到的网络。在最后一节中,10场欧洲冠军联赛的比赛被用来评估网络的性能和检测事件的精度。实验结果表明,该方法取得了更好的性能比国家的最先进的方法。
2021-02-08 cs.CV
Deep Reinforced Attention Learning for Quality-Aware Visual Recognition
在本文中,我们建立在任何卷积神经网络中的中间注意力图的弱监督生成机制的基础上,更直接地揭示了注意力模块的有效性,以充分发挥其潜力。给定一个现有的神经网络配备了任意的注意力模块,我们引入了一个Meta评论网络来评估的质量的注意力地图的主要网络。由于我们设计的奖励的离散性,所提出的学习方法被安排在一个强化学习设置,其中注意演员和经常性的批评者交替优化,以提供即时的批评和修正的临时注意表示,因此被称为深度强化注意学习(DREAL)。它可以普遍适用于不同类型的注意力模块的网络架构,并通过最大化每个单独的注意力模块产生的最终识别性能的相对增益来提高它们的表达能力,如在类别和实例识别基准上的广泛实验所示。
2022-08-30 cs.CV
ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks
Tianjin University(天津大学);Dalian University of Technology(大连理工大学);Harbin Institute of Technology(哈尔滨工业大学)
最近,通道注意力机制已被证明在提高深度卷积神经网络(CNN)的性能方面具有巨大的潜力。然而,大多数现有方法都致力于开发更复杂的注意力模块以获得更好的性能,这不可避免地增加了模型的复杂度。为了克服性能和复杂性权衡的矛盾,本文提出了一个有效的通道注意力(ECA)模块,它只涉及少数参数,同时带来明显的性能增益。通过剖析SENet中的通道注意力模块,我们经验性地表明,避免降维对于学习通道注意力非常重要,并且适当的跨通道交互可以在显著降低模型复杂度的同时保持性能。因此,我们提出了一个本地跨信道的互动策略,没有降维,这可以有效地实现通过$1D$卷积。此外,我们开发了一种方法来自适应地选择$1D$卷积的核大小,确定局部跨通道交互的覆盖范围。拟议的非洲经委会模块既有效率又有效,例如,我们的模块对ResNet 50的主干的参数和计算分别为80 vs. 24.37M和4.7e-4 GFLOPs vs. 3.86 GFLOPs,并且在Top-1精度方面性能提升超过2%。我们广泛评估我们的ECA模块的图像分类,目标检测和实例分割与ResNets和MobileNetV 2的骨干。实验结果表明,我们的模块是更有效的,同时表现良好,对它的同行。
2020-04-07 cs.CV
NURBS-Diff: A Differentiable Programming Module for NURBS
Iowa State University(爱荷华州立大学);New York University(纽约大学)
使用非均匀有理B样条(NURBS)的边界表示(B-reps)是CAD中使用的事实标准,但它们在基于深度学习的方法中的实用性尚未得到充分研究。我们提出了一个可微的NURBS模块来集成CAD模型的NURBS表示与深度学习方法。我们用数学方法定义NURBS曲线或曲面相对于输入参数(控制点、权重和节点向量)的导数。这些导数用于定义用于执行“向后”评估以训练深度学习模型的近似雅可比矩阵。我们使用GPU加速算法实现了NURBS模块,并将其与流行的深度学习框架PyTorch集成。我们证明了我们的NURBS模块在执行CAD操作,如曲线或曲面拟合和曲面偏移的功效。此外,我们展示了它在深度学习中用于无监督点云重建和强制分析约束的实用性。这些示例表明,我们的模块在某些深度学习框架中表现更好,并且可以直接与任何需要NURBS的深度学习框架集成。
2022-01-13 cs.CV cs.LG
Deep End-to-End Alignment and Refinement for Time-of-Flight RGB-D Module
SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学)
最近,为移动RGB相机配备用于主动深度感测的飞行时间(ToF)传感器越来越流行。然而,对于现成的ToF传感器,为了获得相对于RGB相机的高质量深度,必须解决两个问题,即1)在线校准和对准;以及2)ToF深度感测的复杂误差校正。在这项工作中,我们提出了一个框架,通过深度学习联合对齐和细化。首先,估计RGB图像和ToF振幅图像之间的交叉模态光流以用于对准。然后,通过改进的内核预测网络来细化对齐的深度,该网络执行内核归一化并在动态卷积之前应用偏差。为了丰富端到端训练的数据,我们还使用计算机图形学工具合成了一个数据集。实验结果表明,我们的方法的有效性,实现国家的最先进的ToF细化。
2019-09-17 cs.CV
DeepSquare: Boosting the Learning Power of Deep Convolutional Neural Networks with Elementwise Square Operators
ByteDance AI Lab(字节跳动人工智能实验室)
现代神经网络模块可以显著提高学习能力,但通常会给原始神经网络增加太多的计算复杂性。在本文中,我们追求非常高效的神经网络模块,这些模块可以显著提高深度卷积神经网络的学习能力,而额外的计算成本可以忽略不计。我们首先从理论和实验两个方面提出了逐元素平方算子具有提高神经网络学习能力的潜力。然后,我们设计了四种类型的轻量级模块与elementwise平方运算符,命名为平方池,平方Softmin,平方激发,和平方编码。我们将四个轻量级模块添加到Resnet 18,Resnet 50和ShuffleNetV 2中,以便在ImageNet 2012数据集上的实验中获得更好的性能。实验结果表明,我们的模块可以带来显着的准确性提高的基础卷积神经网络模型。我们的轻量级模块的性能甚至可以与许多复杂的模块相媲美,如双线性池,挤压和激发,聚集激发。我们的高效模块特别适用于移动模型。例如,当配备单个Square-Pooling模块时,ShuffleNetV 2 -0.5x在ImageNet 2012上的前1分类准确率绝对提高了1.45%,没有额外的参数,推理时间开销可以忽略不计。
2019-06-12 cs.CV cs.LG
Deep Layout of Custom-size Furniture through Multiple-domain Learning
IHome Company(IHome公司);IBM Research Singapore(IBM新加坡研究院);Radio Company(Radio公司);Huazhong University of Science and Technology(华中科技大学);Tongji University(同济大学)
在本文中,我们提出了一个多领域模型,用于在室内场景中生成定制尺寸的家具布局。该模型旨在支持专业室内设计师更快地制作定制尺寸家具的室内装饰解决方案。该模型在端-端训练中结合了深度布局模块、领域注意模块、维度领域转移模块和自定义尺寸模块。与已有的场景合成方法相比,该模型增强了室内家具的自动布局能力。我们进行我们的实验在一个真实世界的室内布局数据集,其中包含专业设计师的$710,700$设计。我们的数值结果表明,该模型产生更高质量的布局定制尺寸的家具相比,国家的最先进的模型。
2020-12-15 cs.CV
Classification of X-Ray Protein Crystallization Using Deep Convolutional Neural Networks with a Finder Module
University of Tsukuba(筑波大学);High Energy Accelerator Research Organization(高能加速器研究机构)
最近,深度卷积神经网络在图像识别方面表现出了良好的效果。在本文中,我们使用卷积神经网络与查找器模块,发现识别的重要区域,并提取该区域。我们建议将我们的方法应用于识别蛋白质晶体的X射线结构分析。在该分析中,有必要从大量图像中识别蛋白质结晶的状态。利用卷积神经网络实现蛋白质结晶识别的方法有多种。在每一种方法中,都需要大规模的数据集才能以高精度进行识别。在我们的数据集中,图像的数量不足以训练CNN。CNN的数据量在各个领域都是一个严重的问题。我们的方法实现了高精度的识别与少量的图像发现的结晶液滴存在的区域。我们将我们的结晶图像识别方法与使用Inception-V3的高精度方法进行了比较。我们证明了我们的方法是有效的结晶图像使用几个实验。我们的方法得到的AUC值比对比方法高约5%。
2018-12-25 cs.CV
Single Image Super-Resolution with Dilated Convolution based Multi-Scale Information Learning Inception Module
Harbin Institute of Technology(哈尔滨工业大学)
传统的研究表明,自然图像中的斑块往往会在同一尺度内以及不同尺度上重复出现多次。充分利用这些多尺度信息可以提高图像复原的性能。然而,目前提出的基于深度学习的恢复方法没有考虑多尺度信息。在本文中,我们提出了一个基于扩张卷积的初始模块来学习多尺度信息,并设计了一个用于单图像超分辨率的深度网络。不同的扩张卷积学习不同的尺度特征,然后初始模块连接所有这些特征来融合多尺度信息。为了增加我们的网络的接收领域,以捕捉更多的上下文信息,我们级联多个初始模块,构成一个深度网络进行单图像超分辨率。该网络采用基于扩张卷积的初始化模块,能够充分利用多尺度信息,提高图像超分辨率性能。实验结果表明,我们提出的方法优于许多国家的最先进的单图像超分辨率方法。
2017-07-22 cs.CV
Pyramid Frequency Network with Spatial Attention Residual Refinement Module for Monocular Depth Estimation
Jiangnan University(江南大学)
基于深度学习的深度估计方法正在迅速发展,提供优于现有方法的性能。为了估计真实场景中的深度,深度估计模型需要对各种噪声环境具有鲁棒性。在这项工作中,提出了一种具有空间注意力残差细化模块(SARRM)的金字塔频率网络(PFN),以解决现有深度学习方法鲁棒性弱的问题。为了重建具有精确细节的深度图,SARRM构造了具有注意力机制的残差融合方法来细化模糊深度。设计了频域划分策略,并建立了频率金字塔网络,实现了多频带特征提取。通过频率策略,PFN在Make3D,KITTI深度和NYUv2数据集上的室内和室外场景中实现了比最先进的方法更好的视觉准确性。在嘈杂的NYUv2数据集上进行的其他实验表明,PFN在高噪声场景中比现有的深度学习方法更可靠。
2022-04-05 cs.CV
BAM: Bottleneck Attention Module
Lunit Inc.(Lunit公司);Adobe Research(奥多比研究院)
深度神经网络的最新进展是通过架构搜索来获得更强的表示能力。在这项工作中,我们专注于一般深度神经网络中的注意力效应。我们提出了一个简单而有效的注意力模块,称为瓶颈注意力模块(BAM),它可以与任何前馈卷积神经网络集成。我们的模块沿着两个独立的路径推断注意力地图,通道和空间。我们将我们的模块放置在模型的每个瓶颈处,在那里发生特征映射的下采样。我们的模块在瓶颈处构建了一个具有许多参数的分层注意力,并且它可以与任何前馈模型一起以端到端的方式进行训练。我们通过在CIFAR-100、ImageNet-1 K、VOC 2007和MS COCO基准上进行大量实验来验证我们的BAM。我们的实验表明,在不同的模型的分类和检测性能的一致改善,展示了广泛的适用性BAM。代码和模型将公开提供。
2018-07-18 cs.CV
LPRNet: Lightweight Deep Network by Low-rank Pointwise Residual Convolution
深度学习近年来变得流行,主要是由于GPU等强大的计算设备。然而,将这些深度模型部署到资源有限的终端用户设备、智能手机或嵌入式系统是一项挑战。为了减少计算和内存成本,我们提出了一种新的轻量级深度学习模块,称为LPRNet。本质上,LPR的目的是在逐点卷积中使用低秩近似以进一步减小模块大小,同时保留depressive卷积作为残差模块来校正LPR模块。当低秩破坏卷积过程时,这是至关重要的。我们通过替换MobileNet和ShuffleNetv2中相同输入输出维度的模块来体现我们的设计。视觉识别任务的实验,包括流行的基准测试的图像分类和人脸对齐表明,我们的LPRNet实现了有竞争力的性能,但与专注于模型压缩的最先进的深度模型相比,浮点数和内存成本显着减少。
2019-11-14 cs.CV cs.LG
Deep network for rolling shutter rectification
CMOS传感器在对场景进行成像时采用逐行采集机制,这可能导致捕获图像中的不期望的运动伪影,称为滚动快门(RS)失真。现有的单图像RS校正方法试图通过使用为特定类别的场景定制的算法来解释这些失真,该场景保证了固有相机参数的信息,或者使用具有已知地面真实运动参数的基于学习的框架。在本文中,我们提出了一个端到端的深度神经网络的单图像遥感纠正的挑战性任务。我们的网络由运动块、轨迹模块、行块、RS校正模块和RS再生模块(仅在训练期间使用)组成。运动块预测相机的姿态为每一行的输入RS失真的图像,而轨迹模块拟合估计的运动参数的三阶多项式。行块预测必须与目标即RS校正图像中的每个像素相关联的相机运动。最后,RS校正模块利用运动轨迹和行块的输出对输入的RS图像进行变形,得到无畸变的图像。为了在训练过程中更快地收敛,我们还使用了RS再生模块,该模块将输入RS图像与由估计的运动参数失真的地面真实图像进行比较。在我们的模型中的端到端公式不约束估计的运动地面实况运动参数,从而成功地纠正复杂的现实生活中的相机运动的RS图像。在合成和真实数据集上的实验表明,我们的网络在定性和定量方面都优于现有技术。
2021-12-12 cs.CV
Multi-layer Feature Aggregation for Deep Scene Parsing Models
University of Technology Sydney(悉尼科技大学);Griffith University(格里菲斯大学)
从图像中进行场景解析是视觉内容理解中的一个基本而又具有挑战性的问题。在这个密集预测任务中,解析模型将每个像素分配给一个分类标签,这需要相邻图像块的上下文信息。因此,这个学习任务的挑战是同时描述对象或场景的几何和语义属性。在本文中,我们探索了有效地利用多层特征输出的深度解析网络的空间语义一致性,通过设计一种新的特征聚合模块,以生成适当的全局表示之前,提高功能的区分能力。该模块可以自动选择中间视觉特征来关联空间和语义信息。同时,多个跳跃连接形成强监督,使得深度解析网络易于训练。在四个公共场景解析数据集上的大量实验证明,配备了所提出的特征聚合模块的深度解析网络可以取得非常有前途的结果。
2020-11-04 cs.CV
Xception: Deep Learning with Depthwise Separable Convolutions
Google, Inc.(谷歌公司)
我们将卷积神经网络中的Inception模块解释为常规卷积和深度可分离卷积操作(深度卷积之后是逐点卷积)之间的中间步骤。从这个角度来看,一个深度可分离的卷积可以被理解为一个具有最大数量塔的Inception模块。这一观察使我们提出了一种受Inception启发的新型深度卷积神经网络架构,其中Inception模块已被替换为深度可分离卷积。我们发现,这种被称为Xception的架构在ImageNet数据集上的性能略优于Inception V3(Inception V3是为之设计的),并且在包含3.5亿张图像和17,000个类的更大的图像分类数据集上的性能明显优于Inception V3。由于Xception体系结构与Inception V3具有相同数量的参数,因此性能的提高不是由于容量的增加,而是由于模型参数的更有效使用。
2017-04-04 cs.CV
An Advanced Deep Learning Based Three-Stream Hybrid Model for Dynamic Hand Gesture Recognition
Pabna University of Science and Technology(帕布纳科学技术大学);The University of Aizu(会津大学)
针对手势识别中数据集有限、形态与环境干扰等问题,提出结合RGB与骨骼特征的三流混合深度学习模型,通过多模块特征融合与增强,实现了更优的动态手势检测效果。
2024-08-15 cs.CV
Layered Optical Flow Estimation Using a Deep Neural Network with a Soft Mask
Illinois Institute of Technology(伊利诺伊理工学院)
使用分层表示进行运动估计具有能够处理不连续性和遮挡的优点。在本文中,我们学习通过将分层运动表示与深度学习相结合来估计光流。代替预先分割的图像层,所提出的方法自动生成一个分层表示的光流使用建议的软掩模模块。软掩模模块的基本组成部分是最大输出和融合操作,这使得光流的不相交分层表示和更准确的流量估计。我们表明,通过使用掩码的运动估计结果在输出层的输入功能的二次函数。所提出的软掩模模块可以添加到任何现有的光流估计网络,通过替换它们的流输出层。在这项工作中,我们使用FlowNet作为基础网络,我们添加软掩码模块。由此产生的网络进行了测试,在三个著名的基准与监督和无监督的流量估计任务。评价结果表明,与原FlowNet相比,该网络取得了更好的效果。
2018-05-09 cs.CV
Recurrence along Depth: Deep Convolutional Neural Networks with Recurrent Layer Aggregation
The University of Hong Kong(香港大学)
本文引入了层聚合的概念来描述如何从以前的层的信息可以被重用,以更好地提取在当前层的功能。虽然DenseNet是层聚合机制的典型示例,但其冗余在文献中受到普遍批评。这促使我们提出一个非常轻量级的模块,称为递归层聚合(RLA),通过利用深层CNN中的层的顺序结构。我们的RLA模块与许多主流的深度CNN兼容,包括ResNets,Xception和MobileNetV 2,其有效性通过我们对图像分类,目标检测和实例分割任务的广泛实验得到验证。具体来说,在CIFAR、ImageNet和MS COCO数据集上可以一致地观察到改进,并且相应的RLA-Nets可以令人惊讶地将目标检测任务的性能提高2-3%。这证明了我们的RLA模块在帮助主要CNN更好地学习图像中的结构信息方面的能力。
2021-10-22 cs.CV
DeepLens: Shallow Depth Of Field From A Single Image
Dalian University of Technology(大连理工大学);ByteDance AI Lab(字节跳动人工智能实验室);Adobe Research(奥多比研究院);Adobe Systems(奥多比系统公司)
我们的目标是产生高分辨率浅景深(DoF)的图像从一个单一的全聚焦图像与可控的焦距和光圈大小。为了实现这一点,我们提出了一种新的神经网络模型,包括一个深度预测模块,镜头模糊模块,和一个引导上采样模块。所有模块都是可区分的,并从数据中学习。为了训练我们的深度预测模块,我们收集了一个由手机双镜头相机捕获的2462个RGB-D图像的数据集,并使用现有的分割数据集来改进边界预测。我们进一步利用具有已知深度的合成数据集来监督镜头模糊和引导上采样模块。实验验证了系统和训练策略的有效性。我们的方法可以在高分辨率下生成高质量的浅DoF图像,并且比用于单个图像浅DoF合成的基线和现有解决方案产生显著更少的伪影。与iPhone肖像模式相比,这是一种基于双镜头深度相机的最先进的浅自由度解决方案,我们的方法产生了相当的结果,同时允许更大的灵活性来选择焦点和光圈大小,并且不限于一个捕获设置。
2018-10-18 cs.CV
From Shallow to Deep: Compositional Reasoning over Graphs for Visual Question Answering
University of Chinese Academy of Sciences(中国科学院大学)
为了实现一个通用的视觉问答(VQA)系统,它是必不可少的学习回答更深层次的问题,需要对图像和外部知识的组合推理。同时,推理过程应该是明确的和可解释的,以理解模型的工作机制。这对人类来说很容易,但对机器来说很有挑战性。在本文中,我们提出了一个层次图神经模块网络(HGNMN),原因在多层图与神经模块,以解决上述问题。具体来说,我们首先从视觉,语义和常识的观点,因为支持答案的线索可能存在于不同的模态的多层图编码的图像。我们的模型由几个精心设计的神经模块组成,它们在图上执行特定的功能,可用于在不同的图内和图之间进行多步推理。与现有的模块化网络相比,我们将视觉推理从一个图扩展到更多的图。我们可以显式地跟踪推理过程中,根据模块的权重和图的关注度。实验表明,我们的模型不仅达到了最先进的性能在CRIC数据集上,但也获得了明确的和可解释的推理过程。
2022-06-25 cs.CV
Fast Generation of High Fidelity RGB-D Images by Deep-Learning with Adaptive Convolution
Delft University of Technology(代尔夫特理工大学);The Chinese University of Hong Kong(香港中文大学);South China University of Technology(华南理工大学)
使用来自消费级RGB-D相机的原始数据作为输入,我们提出了一种基于深度学习的方法来有效地生成具有完整信息的高分辨率RGB-D图像。为了处理具有缺失区域的低分辨率输入图像,在我们的深度学习网络中引入了新的自适应卷积算子,该网络由三个级联模块组成-完成模块,细化模块和超分辨率模块。完成模块基于编码器-解码器的架构,其中输入原始RGB-D的特征将由深度神经网络的编码层自动提取。解码层被应用于重建完整的深度图,随后是细化模块以锐化不同区域的边界。对于超分辨率模块,我们通过用于特征提取的多个层和用于上采样的层来生成高分辨率的RGB-D图像。得益于本文新提出的自适应卷积算子,我们的结果优于现有的基于深度学习的RGB-D图像完整和超分辨率方法。作为一种端到端的方法,可以以每秒约21帧的速率高效地生成高保真RGB-D图像。
2020-06-12 cs.CV cs.RO eess.IV
A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution
Department of Computer Engineering and Informatics, Patras University(计算机工程与信息学院,帕特拉大学);Department Digital Media and Communication, Ionian University(数字媒体与通信系,伊奥尼亚大学)
本文提出DeepMix,一种结合手工与可学习正则化器的深度展开优化框架,用于高光谱图像去卷积,通过残差结构和上下文感知去噪模块显著提升图像质量与计算效率。
2025-05-21 cs.CV eess.IV
Deep Learning-based Pipeline for Module Power Prediction from EL Measurements
Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡大学);Forschungszentrum Jülich GmbH(于利希研究中心有限公司);Helmholtz-Institute Erlangen-Nuremberg for Renewable Energies(亥姆霍兹埃尔朗根-纽伦堡可再生能源研究所);School of Advanced Optical Technologies, Erlangen(埃尔朗根高等光学技术学院)
自动化检测在大型光伏电站的监控中发挥着重要作用。通常,电致发光测量用于识别太阳能模块上的各种类型的缺陷,但尚未用于确定模块的功率。然而,了解最大功率点的功率也很重要,因为单个模块的功率下降会影响整个串的性能。到目前为止,这通常是通过需要断开甚至拆卸模块的测量来确定的,这使得对单个模块进行定期检查变得不可行。在这项工作中,我们弥合电致发光测量和模块的功率确定之间的差距。我们编译了一个大型数据集的719电致发光测量模块在不同阶段的退化,特别是细胞裂缝和骨折,以及相应的功率在最大功率点。在这里,我们专注于非活性区域和裂纹作为主要类型的缺陷。我们建立了一个基线回归模型来预测电致发光测量的功率,平均绝对误差为9.0+/-3.7 $W_P$(4.0+/-8.4%)。然后,我们证明了深度学习可以用来训练一个性能明显更好的模型(7.3+/-2.7 $W_P$或3.2+/-6.5%),并提出了一个类激活图的变体来获得模型预测的每个单元的功率损耗。通过这项工作,我们的目标是开辟一个新的研究课题。因此,我们公开发布数据集,代码和训练模型,以使其他研究人员能够与我们的结果进行比较。最后,我们对某些边界条件进行了全面评估,例如数据集大小和现场测量的自动预处理管道,同时显示多个模块。
2020-11-26 cs.CV cs.LG eess.IV
Deep Decomposition and Bilinear Pooling Network for Blind Night-Time Image Quality Evaluation
Ningbo University(宁波大学);University of Waterloo(滑铁卢大学);Shanghai Jiao Tong University(上海交通大学)
盲图像质量评估(BIQA)是一种在没有任何原始参考信息的情况下准确预测图像质量的方法,在过去的几十年里受到了广泛的关注。特别是在深度神经网络的帮助下,取得了很大的进展。然而,它仍然是较少的研究夜间图像(NTIs),通常遭受复杂的真实失真,如能见度降低,低对比度,加性噪声,和颜色失真的BIQA。这些不同的真实退化特别挑战了用于盲NTI质量评估(NTIQE)的有效深度神经网络的设计。在本文中,我们提出了一种新的深度分解和双线性池化网络(DDB-Net)来更好地解决这个问题。DDB-Net包含三个模块,即,图像分解模块、特征编码模块和双线性池化模块。图像分解模块受到Retinex理论的启发,并且涉及将输入NTI解耦为负责照明信息的照明层组件和负责内容信息的反射层组件。然后,特征编码模块涉及学习分别植根于两个解耦分量的退化的特征表示。最后,通过将照明相关和内容相关的劣化建模为双因素变化,将两个特征集双线性地汇集在一起以形成用于质量预测的统一表示。通过在多个基准数据集上的大量实验,验证了所提出的DDB-Net的优越性。源代码将很快提供。
2022-08-29 cs.CV cs.MM
Deep Spectral Clustering via Joint Spectral Embedding and Kmeans
College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院)
针对谱聚类中嵌入与聚类分离及高维数据维度灾难问题,提出深度谱聚类(DSC),通过深度网络和幂迭代学习嵌入,并用贪心策略优化Kmeans,端到端联合训练,在七个数据集上达到最优性能。
2024-12-15 cs.CV cs.LG
Lightweight Modules for Efficient Deep Learning based Image Restoration
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Mathworks(Mathworks公司)
低水平图像复原是现代人工智能(AI)驱动的相机流水线的组成部分。这些框架中的大多数基于深度神经网络,其在资源受限的平台(如移动电话)上呈现出巨大的计算开销。在本文中,我们提出了几个轻量级的低级别模块,可用于创建一个给定的基线模型的计算成本低的变体。最近的工作,有效的神经网络设计主要集中在分类。然而,低级图像处理属于图像到图像的翻译类型,它需要一些分类中不存在的额外计算模块。本文试图通过设计通用高效模块来弥合这一差距,这些模块可以取代当代基于深度学习的图像复原网络中使用的基本组件。我们还提出并分析了我们的结果,强调了将深度可分离卷积核(一种用于高效分类网络的流行方法)应用于基于亚像素卷积的上采样(一种用于低级视觉应用的流行上采样策略)的缺点。这表明,分类领域的概念并不总是能够无缝地集成到图像到图像的翻译任务中。我们广泛验证了我们的研究结果的三个流行的任务图像修补,去噪和超分辨率。我们的研究结果表明,与全容量基线相比,建议的网络始终输出视觉上相似的重建,并在当代移动设备上显着减少参数,内存占用和执行速度。
2020-07-11 cs.CV eess.IV
Pixel Adaptive Deep Unfolding Transformer for Hyperspectral Image Reconstruction
Beijing Institute of Technology(北京理工大学);Baidu Inc.(百度公司);ETH Zürich(苏黎世联邦理工学院)
本文提出像素自适应深度展开Transformer(PADUT),通过像素自适应下降步长、非局部光谱Transformer和基于FFT的阶段交互改进,解决高光谱图像重建中数据匹配不足的问题,并在模拟与真实场景中取得优于现有方法的性能。
2023-09-22 cs.CV eess.IV
Deeper or Wider Networks of Point Clouds with Self-attention?
由自我关注驱动的更深层次网络的流行与未充分探索的基于点的方法形成鲜明对比。在本文中,我们提出了分组自注意作为构建我们的网络的基本块:SepNet。我们提出的模块可以有效地捕获本地和全局依赖关系。该模块基于组内任何点的加权特征的总和来计算组的特征。为了方便起见,我们推广了分组操作来组装这个模块。为了进一步方便我们的网络,我们分别在分割和分类任务上深化和扩展了SepNet,并验证了其实用性。具体而言,SepNet在大多数数据集上实现了最先进的分类和分割任务。我们展示了经验证据,SepNet可以分别通过增加宽度或深度来获得额外的分类或分割精度。
2021-08-14 cs.CV cs.GR
Deep Incubation: Training Large Models by Divide-and-Conquering
Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
近年来,大型深度学习模型取得了显着成功。然而,由于计算成本高、收敛速度慢和过拟合问题,训练这些模型具有挑战性。在本文中,我们提出了深度孵化,这是一种新的方法,通过将大型模型划分为可以单独训练和无缝组装的更小的子模块,从而实现高效和有效的大型模型训练。实现这一想法的一个关键挑战是确保独立训练的子模块的兼容性。为了解决这个问题,我们首先引入了一个全局的共享Meta模型,它被用来隐式地将所有模块链接在一起,并且可以被设计为一个非常小的网络,计算开销可以忽略不计。然后提出了一种模块孵化算法,该算法训练每个子模块替换Meta模型的相应组件,完成给定的学习任务。尽管简单,我们的方法有效地鼓励每个子模块意识到它在目标大模型中的作用,这样最终学习的子模块可以在组装后顺利地相互协作。从经验上讲,我们的方法在最终准确性和训练效率方面都优于端到端(E2 E)训练。例如,在ViT-Huge的基础上,它将ImageNet的准确率提高了2.7%,或者在训练时间减少4倍的情况下实现了类似的性能。值得注意的是,这些收益对于下游任务也很重要(例如,COCO和ADE 20 K上的目标检测和图像分割)。代码可在https://github.com/LeapLabTHU/Deep-Incubation上获得。
2023-03-16 cs.AI cs.CV cs.LG
Converged Deep Framework Assembling Principled Modules for CS-MRI
Dalian University of Technology(大连理工大学);Hangzhou Dianzi University(杭州电子科技大学);Guilin University of Electronic Technology(桂林电子科技大学)
压缩感知磁共振成像(CS-MRI)以远低于奈奎斯特标准的采样率显著加速MR数据采集。CS-MRI的一个主要挑战在于解决严重不适定的逆问题,从稀疏的k空间数据中重建无混叠的MR图像。传统方法通常优化能量函数,产生高质量的重建,但其迭代数值求解器必然带来极慢的处理。最近的数据驱动技术能够通过学习直接预测到最终重建或将学习的模块插入能量优化器来提供快速恢复。然而,这些数据驱动的预测器不能保证重建以下的约束下的常规方法的正则化,使其重建结果的可靠性是值得怀疑的。在本文中,我们提出了一个融合的深度框架,组装CS-MRI的原则性模块,将学习策略与传统重建能量的迭代求解器融合在一起。该框架嵌入了最佳条件检查机制,促进了\emph{efficient}和\emph{reliable}重建。我们还将该框架应用于两个实际任务,\emph{i.e.},并行成像和重建与Rician噪声。在基准测试图像和模糊测试图像上的大量实验表明,该方法在各种场景下都能比现有技术更有效、更准确地收敛到最优解。
2019-10-29 cs.CV eess.IV
A CNN with Noise Inclined Module and Denoise Framework for Hyperspectral Image Classification
National Innovation Institute of Defense Technology, Chinese Academy of Military Science(中国人民解放军军事科学院国防科技创新研究院);National University of Defense Technology(国防科技大学)
深度神经网络已成功应用于高光谱图像分类。然而,大多数现有的工作采用一般的深度架构,而忽略了高光谱图像的内在结构,如物理噪声的产生。这将使这些深度模型无法生成有区别的特征,并提供令人印象深刻的分类性能。为了利用这些内在信息,这项工作开发了一种新的深度学习框架,具有噪声倾斜模块和去噪框架,用于高光谱图像分类。首先,我们用物理噪声模型对高光谱图像的光谱特征进行建模,以描述图像中每个类的高类内方差和不同类之间的大重叠。然后,噪声倾斜模块被开发用于捕获每个对象内的物理噪声,然后遵循去噪框架来从对象中去除这样的噪声。最后,通过构造具有噪声倾斜模块的CNN和去噪框架,获得了高光谱图像的鉴别特征,并对高光谱图像进行了分类。在两个常用的真实世界数据集上进行了实验,实验结果表明了该方法的有效性。所提出的方法和其他比较方法的实现可以在https://github.com/shendu-sw/noise-physical-framework上访问。
2022-05-25 cs.CV eess.IV
ACSGRegNet: A Deep Learning-based Framework for Unsupervised Joint Affine and Diffeomorphic Registration of Lumbar Spine CT via Cross- and Self-Attention Fusion
Shanghai Jiao Tong University(上海交通大学)
配准在医学图像分析中起着重要的作用。已经研究了用于医学图像配准的基于深度学习的方法,其利用卷积神经网络(CNN)来有效地从一对图像中回归密集变形场。然而,CNN在提取语义上有意义的图像内和图像间空间对应的能力方面受到限制,这对于准确的图像配准至关重要。该研究提出了一种新的基于端到端深度学习的框架,用于无监督仿射和仿射变形配准,称为ACSGRegNet,它集成了用于建立图像间特征对应关系的交叉注意模块和用于图像内解剖结构感知的自注意模块。这两个注意力模块都建立在Transformer编码器上。来自每个注意力模块的输出分别被馈送到解码器以生成速度场。我们进一步引入门控融合模块来融合两个速度场。融合的速度场,然后集成到一个密集的变形场。对腰椎CT图像进行了广泛的实验。一旦模型被训练,成对的看不见的腰椎可以在一个镜头中被配准。在450对脊椎CT数据上进行了评估,我们的方法的平均Dice为0.963,平均距离误差为0.321 mm,优于最先进的(SOTA)。
2022-08-13 cs.AI cs.CV
Deep Attention-guided Graph Clustering with Dual Self-supervision
City University of Hong Kong(香港城市大学);Caritas Institute of Higher Education(明爱专上学院);Southeast University(东南大学)
现有的深度嵌入聚类工作仅考虑最深层来学习特征嵌入,因此无法很好地利用来自聚类分配的可用区分信息,导致性能限制。为此,我们提出了一种新的方法,即具有双重自监督的深度注意力引导图聚类(DAGC)。具体地说,DAGC首先利用异质性融合模块来自适应地整合每层中的自动编码器和图卷积网络的特征,然后使用尺度融合模块来动态地连接不同层中的多尺度特征。这样的模块能够通过基于注意力的机制来学习区分性特征嵌入。此外,我们设计了一个分布式融合模块,利用聚类分配直接获得聚类结果。为了更好地探索从集群分配的判别信息,我们开发了一个双重的自我监督解决方案,包括一个软自我监督策略与三重Kullback-Leibler发散损失和一个硬自我监督策略与伪监督损失。大量的实验验证了我们的方法在六个基准数据集上的性能始终优于最先进的方法。特别是,我们的方法提高了ARI超过18.14%的最佳基线。
2022-12-26 cs.AI cs.CV
DeepStreet: A deep learning powered urban street network generation module
University of Cambridge(剑桥大学)
在经历前所未有的城市化浪潮的国家,需要快速和高质量的城市街道设计。我们的研究提出了一种新的深度学习驱动的方法,DeepStreet(DS),用于自动生成街道网络,可以应用于具有本地特色的城市街道设计。DS由卷积神经网络(CNN)驱动,该网络能够基于紧邻区域对街道进行插值。具体来说,首先训练CNN以检测、识别和捕获本地特征以及源自OpenStreetMap的现有街道网络的模式。通过训练好的CNN,DS能够预测街道网络在预定义区域内的未来扩展模式,该区域以其周围的街道网络为条件。为了测试DS的性能,我们将其应用于巴塞罗那市Eixample区及其周围的一个区域,这是城市和交通规划领域的一个著名例子,中心有标志性的网格状街道网络,更远的地方有不规则的道路路线。结果表明,DS可以(1)检测和自聚类不同类型的复杂的街道模式在巴塞罗那;(2)预测网格和不规则的街道和道路网络。DS被证明是一个很大的潜力,作为一个新的工具,设计师有效地设计城市街道网络,以及保持现有的和新生成的城市街道网络的一致性。此外,生成的网络可以作为一个基准,以指导当地的规划制定,特别是在快速发展的城市。
2020-10-09 cs.AI cs.CV
Deep Iteration Assisted by Multi-level Obey-pixel Network Discriminator (DIAMOND) for Medical Image Recovery
Southeast University(东南大学)
图像复原是一个典型的不适定问题,它包含了多种任务。在医学成像领域中,不适定图像中断诊断,甚至中断后续的图像处理。传统的迭代和最新的深度网络都引起了广泛的关注,并在重建令人满意的图像方面取得了显着的进步。本研究将它们的优点结合到一个统一的数学模型中,并提出了一种通用的图像恢复策略来处理这些问题。该战略包括两个模块。首先,构建了一种新的具有WGAN-GP训练的生成对抗网络(GAN)来恢复图像结构和细微细节。然后,深度迭代模块通过ADMM优化利用预训练的深度网络和压缩感知算法的组合来提升图像质量。(D)eep(I)迭代模块抑制图像伪影并进一步恢复微妙的图像细节,(A)由(M)多级(O)超像素特征提取网络(D)识别器支持以恢复一般结构。因此,该策略被命名为DIAMOND。
2021-02-08 cs.CV eess.IV
Sparse Deep Stacking Network for Image Classification
Nanjing University of Science and Technology(南京理工大学)
稀疏编码可以学习对噪声具有良好鲁棒性的表示,并为图像分类建模更高阶的表示。然而,即使在稀疏编码技术中使用监督信号来学习紧凑和有区别的字典,推理算法也是计算昂贵的。幸运的是,一个简化的神经网络模块(SNNM)已被提出来直接学习的判别字典,以避免昂贵的推理。但是SNNM模块忽略了稀疏表示。因此,我们提出了一个稀疏SNNM模块,通过添加混合范数正则化(l1/l2范数)。稀疏SNNM模块进一步堆叠以构建稀疏深度堆叠网络(S-DSN)。在实验中,我们评估S-DSN与四个数据库,包括扩展YaleB,AR,15场景和Caltech 101。实验结果表明,我们的模型优于相关的分类方法,只有一个线性分类器。值得注意的是,我们达到了98.8%的识别准确率在15个场景。
2015-01-05 cs.CV cs.LG cs.NE
Reinforcement Learning and Deep Learning based Lateral Control for Autonomous Driving
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文研究了基于视觉的自动驾驶与深度学习和强化学习方法。与端到端学习方法不同,该方法将基于视觉的侧向控制系统分解为感知模块和控制模块。感知模块基于多任务学习神经网络,首先以驾驶员视角图像为输入,预测轨迹特征。基于强化学习的控制模块然后基于这些特征做出控制决策。为了提高数据效率,我们提出了可视化TORCS(VTORCS),一个深度的强化学习环境,它是基于开放的赛车模拟器(TORCS)。通过所提供的功能,可以训练具有图像或各种物理传感器测量的输入的代理,或者在该模拟器上评估感知算法。训练后的强化学习控制器在不同的跟踪性能上优于线性二次型调节器(LQR)控制器和模型预测控制(MPC)控制器。实验结果表明,感知模块表现出良好的性能和控制器能够控制车辆沿轨道中心与视觉输入很好地驱动。
2018-10-30 cs.AI cs.CV cs.LG
Revisiting Residual Connections: Orthogonal Updates for Stable and Efficient Deep Networks
Yonsei University(延世大学);Seoul National University(首尔国立大学)
本文提出正交残差更新方法,通过正交化残差连接以提升深度网络的泛化能力和训练稳定性。
2026-01-10 cs.AI cs.CV
Deep Learning based Full-reference and No-reference Quality Assessment Models for Compressed UGC Videos
Shanghai Jiao Tong University(上海交通大学)
在本文中,我们提出了一个基于深度学习的视频质量评估(VQA)框架来评估压缩用户生成内容(UGC)视频的质量。VQA框架由三个模块组成:特征提取模块、质量回归模块和质量池模块。对于特征提取模块,我们将卷积神经网络(CNN)网络中间层的特征融合到最终的质量感知特征表示中,使模型能够充分利用从低级到高级的视觉信息。具体地说,从所有中间层提取的特征图的结构和纹理相似度计算作为全参考(FR)VQA模型的特征表示,并计算由中间特征图融合的最终特征图的全局均值和标准差作为无参考(NR)VQA模型的特征表示。对于质量回归模块,我们使用全连接(FC)层将质量感知功能回归到帧级分数。最后,一个主观启发的时间池策略,采用池的帧级分数到视频级分数。该模型在压缩的UGC VQA数据库上实现了最好的性能,并且在野生UGC VQA数据库上也实现了相当好的性能。
2021-06-02 cs.CV cs.MM eess.IV
PURe: A Plug-and-Play Product-Unit Residual Module for Vision Networks
Department of Mathematics, Informatics and Technology, University of Applied Sciences Koblenz(科隆应用科学大学数学、信息学与技术系);Technical University of Munich(慕尼黑技术大学)
提出PURe模块,通过二维乘积单元的对数域公式实现稳定的局部乘法交互,可替代残差网络中的标准单元,在图像分类和CT分割任务中提升精度-参数权衡。
2026-08-10 cs.AI cs.CV cs.LG
Exploring Deep Learning for Joint Audio-Visual Lip Biometrics
Tianjin University(天津大学);National Institute of Informatics(日本国立信息学研究所)
视听(AV)唇生物特征识别技术是一种很有前途的认证技术,它充分利用了语音通信中的音频和视觉模式的优点。以前的工作已经证明了AV唇生物识别的有用性。然而,缺乏一个相当大的AV数据库阻碍了基于深度学习的视听嘴唇生物识别的探索。为了解决这个问题,我们使用现有的公共数据库编译一个中等大小的数据库。同时,我们建立了DeepLip AV嘴唇生物识别系统,该系统由基于卷积神经网络(CNN)的视频模块、基于时延神经网络(TDNN)的音频模块和多模态融合模块实现。我们的实验表明,DeepLip在上下文建模方面优于传统的说话人识别模型,与我们最好的单一模态基线相比,实现了超过50%的相对改进,在测试数据集上的相等出错率分别为0.75%和1.11%。
2021-04-17 cs.CV cs.MM cs.SD
Signal2Image Modules in Deep Neural Networks for EEG Classification
School of Electrical and Computer Engineering, National Technical University of Athens(雅典国立技术大学电气与计算机工程学院)
本文提出信号转图像(S2Is)模块,将 EEG 信号转换为图像表示以适配图像深度网络,并通过实验证明一层 CNN S2I 在多数模型上优于不可训练方法。
2024-04-02 cs.CV eess.IV eess.SP
Dynamic Representations Toward Efficient Inference on Deep Neural Networks by Decision Gates
Shahid Rajee University(沙希德·拉贾伊大学);University of Waterloo(滑铁卢大学);DarwinAI Corp.(DarwinAI公司)
虽然深度神经网络从输入数据中提取了丰富的特征,但目前深度和计算成本之间的权衡使得很难将深度神经网络用于许多工业应用,特别是当计算能力有限时。在这里,我们受到这样一个想法的启发,即虽然需要更深的嵌入来区分困难的样本(即,细粒度鉴别),大量的样本可以经由浅得多的嵌入来很好地鉴别(即,粗粒度的歧视)。在这项研究中,我们引入了简单而有效的决策门(d-gate)概念,这些模块被训练来决定是否需要将样本投影到更深的嵌入中,或者是否可以在d-gate进行早期预测,从而能够计算不同深度的动态表示。所提出的d门模块可以与任何深度神经网络集成,并在保持建模精度的同时降低了深度神经网络的平均计算成本。通过不同的网络架构和数据集检查了所提出的d-gate框架,实验结果表明,利用所提出的d-gate模块,在ResNet-101上实现了约43%的加速和44%的FLOP减少,在CIFAR 10数据集上训练的DenseNet-201上实现了55%的加速和39%的FLOP减少,准确度仅下降了约2%。此外,将d-gate模块集成到在ImageNet数据集上训练的ResNet-101中的实验表明,可以将网络的计算成本降低1.5 GFLOPs,而不会降低建模精度。
2019-05-11 cs.CV cs.LG cs.NE
RA V-Net: Deep learning network for automated liver segmentation
Qu Fu Normal University(曲阜师范大学)
肝脏的准确分割是疾病诊断的前提。自动分割是计算机辅助检测和诊断肝脏疾病的一个重要应用。近年来,医学图像的自动化处理取得了突破性进展。然而,腹部扫描CT图像的低对比度和肝脏形态的复杂性使得精确的自动分割具有挑战性。在本文中,我们提出了RA V-Net,这是一个改进的医学图像自动分割模型的基础上的U-Net。它有以下三个主要创新。提出了复合原始特征残差模块(Composite Original Feature Residual Module)。用更复杂的卷积层和跳过连接使其获得更高层次的图像特征提取能力,并防止梯度消失或爆炸。提出了AR模块(Attention Recovery Module)来减少模型的计算量。此外,通过调整通道和LSTM卷积来感测编码和解码模块的数据像素之间的空间特征。最后,有效地保留了图像特征。提出了CA模块(Channel Attention Module),该模块用于提取具有相关性的相关通道,并通过矩阵点积对相关通道进行增强,同时对不相关的不相关通道进行弱化。达到了渠道关注的目的。LSTM卷积和CA模块提供的注意力机制是神经网络性能的有力保证。U-Net网络的准确度:0.9862,精度:0.9118,DSC:0.8547,JSC:0.82。RA V-Net的评价指标,准确度:0.9968,精密度:0.9597,DSC:0.9654,JSC:0.9414。分割效…
2021-12-16 cs.CV cs.LG eess.IV
Learning to Authenticate with Deep Multibiometric Hashing and Neural Network Decoding
Lane Department of Computer Science and Electrical Engineering West Virginia University(西弗吉尼亚大学计算机科学与电气工程莱恩系)
在本文中,我们提出了一种新的多模式深度哈希神经解码器(MDHND)架构,它集成了深度哈希框架与神经网络解码器(NND),以创建一个有效的多生物特征认证系统。MDHND由两个独立的模块组成:多模态深度哈希(MDH)模块,其用于多个生物特征的特征级融合和二进制化;以及神经网络解码器(NND)模块,其用于细化由MDH生成的中间二进制代码并补偿登记和探针生物特征之间的差异(姿态、照明等的变化)。使用NND有助于提高整个多模式身份验证系统的性能。MDHND框架使用两个模块的联合优化在3个步骤中训练。在步骤1中,MDH参数被训练和学习以生成共享的多模态潜码;在步骤2中,来自步骤1的潜码被传递通过常规纠错码(ECC)解码器以生成地面真值以训练神经网络解码器(NND);在步骤3中,NND解码器使用来自步骤2的地面真值来训练,并且MDH和NND被联合优化。在标准多模态数据集上的实验结果表明,该方法相对于现有的多模态认证系统具有更好的性能
2019-03-07 cs.CV cs.LG eess.IV
Preoperative Rotator Cuff Tear Prediction from Shoulder Radiographs using a Convolutional Block Attention Module-Integrated Neural Network
Seoul National University College of Medicine(首尔大学医学院);SMG-SNU Boramae Medical Center(首尔市立大学首尔大学Borame医疗中心);Hanyang University(汉阳大学);Hankuk University of Foreign Studies(韩国外国语大学);Canon Medical Systems Korea(佳能医疗系统韩国公司);Yonsei University College of Medicine(延世大学医学院)
本研究提出集成卷积块注意力模块的深度神经网络,基于肩部X光片预测肩袖撕裂,达到0.889的平均AUC与0.831的准确率,可为昂贵的MRI检查提供术前预评估或替代方案。
2024-08-19 cs.AI cs.CV eess.IV
Deep Learning for Predictive Analytics in Reversible Steganography
National Institute of Informatics(国立信息学研究所);Feng Chia University(逢甲大学);University of Jinan(济南大学);Fujian Polytechnic Normal University(福建技术师范学院);University of Warwick(华威大学);Deakin University(迪肯大学)
深度学习被认为是可逆隐写术的一种有前途的解决方案。用单片神经网络来表示可逆隐写系统的趋势正在加速,这种网络绕过了传统可逆隐写流水线中的中间操作。然而,这种端到端的范例具有不完美的可逆性。相比之下,将神经网络合并到传统管道模块中的模块化范例可以稳定地保证具有数学可解释性的可逆性。预测误差调制是一种成熟的数字图像可逆隐写流水线。它由预测分析模块和可逆编码模块组成。考虑到可逆性是由编码模块独立管理的,我们将重点缩小到将神经网络纳入分析模块,这有助于预测像素强度,并在确定容量和不可感知性方面发挥关键作用。本研究的目的是评估不同的训练配置对神经网络预测精度的影响,并提供实用的见解。特别是,我们研究了输入图像的不同初始化策略如何影响学习过程,以及双层预测的不同训练策略如何应对分布偏移问题。此外,我们比较了不同的模型架构与不同的损失函数的隐写性能。
2023-03-07 cs.CV cs.MM eess.IV