A Trainable Feature Extractor Module for Deep Neural Networks and Scanpath Classification
University Tübingen(蒂宾根大学)
本文提出一种可训练的特征提取模块,将扫描路径转换为特征向量,与深度神经网络联合训练以提升分类性能,并在三个公开数据集上验证其优于现有方法。
2024-03-19 cs.CV cs.LG
Evaluation of Deep Convolutional Generative Adversarial Networks for data augmentation of chest X-ray images
Harrisburg University of Science and Technology(哈里斯堡科技大学)
医学图像数据集通常是不平衡的,由于获取数据的成本高,注释耗时。在这样的数据集上训练深度神经网络模型以准确地对医学状况进行分类不会产生期望的结果,并且通常过度拟合大多数类别样本上的数据。为了解决这个问题,通常通过诸如缩放、裁剪、翻转、填充、旋转、平移、仿射变换的位置增强技术和诸如亮度、对比度、饱和度和色调的颜色增强技术对训练数据执行数据增强以增加数据集大小。这些增强技术不能保证在具有有限数据(特别是医学图像数据)的领域中是有利的,并且可能导致进一步的过拟合。在这项工作中,我们通过生成建模(深度卷积生成对抗网络)对胸部X射线数据集进行了数据增强,该生成建模创建了保留与原始数据相似特征的人工实例,并对模型进行了评估,结果是Fréchet初始距离(FID)评分为1.289。
2020-09-02 cs.AI cs.CV cs.LG
NURBS-Diff: A Differentiable Programming Module for NURBS
Iowa State University(爱荷华州立大学);New York University(纽约大学)
使用非均匀有理B样条(NURBS)的边界表示(B-reps)是CAD中使用的事实标准,但它们在基于深度学习的方法中的实用性尚未得到充分研究。我们提出了一个可微的NURBS模块来集成CAD模型的NURBS表示与深度学习方法。我们用数学方法定义NURBS曲线或曲面相对于输入参数(控制点、权重和节点向量)的导数。这些导数用于定义用于执行“向后”评估以训练深度学习模型的近似雅可比矩阵。我们使用GPU加速算法实现了NURBS模块,并将其与流行的深度学习框架PyTorch集成。我们证明了我们的NURBS模块在执行CAD操作,如曲线或曲面拟合和曲面偏移的功效。此外,我们展示了它在深度学习中用于无监督点云重建和强制分析约束的实用性。这些示例表明,我们的模块在某些深度学习框架中表现更好,并且可以直接与任何需要NURBS的深度学习框架集成。
2022-01-13 cs.CV cs.LG
Scaling Binarized Neural Networks on Reconfigurable Logic
Xilinx Research Labs(赛灵思研究实验室);Norwegian University of Science and Technology(挪威科技大学);University of Sydney(悉尼大学)
二进制神经网络(BNN)由于其显著降低的计算和内存成本而在深度学习社区中引起了兴趣。它们特别适合于可重新配置的逻辑器件,这些器件包含大量细粒度的计算资源,可以实现更小、更低的功耗,或者相反地实现更高的分类率。为此,芬兰人的框架,最近提出了建立快速和灵活的现场可编程门阵列(FPGA)的BNN加速器。Finn使用了一组新颖的优化,可以将BNN有效映射到硬件,并实现了完全连接的非填充卷积层和池化层,每层计算资源都是根据用户提供的吞吐量要求定制的。然而,由于所选FPGA的大小,FINN没有在较大的拓扑结构上进行评估,并且由于缺乏填充而显示出降低的准确性。在本文中,我们改进了Finn,展示了如何在BNN上使用填充,同时仍然保持1位数据路径和高精度。基于这种技术,我们展示了大量的实验来说明该方法的灵活性和可扩展性。特别是,我们表明,在ADM-PCIE-8 K5平台上运行的每帧需要12亿次操作的大型BNN可以以12 kFPS的速度对图像进行分类,延迟为671 us,同时功耗小于41 W,并以88.7%的准确率对CIFAR-10图像进行分类。我们对该网络的实施实现了每秒14.8万亿次操作。我们相信这是迄今为止在该基准上报告的最快分类率。
2017-01-27 cs.CV cs.LG
VMRFANet:View-Specific Multi-Receptive Field Attention Network for Person Re-identification
Suning Commerce R&D Center USA(苏宁美国研发中心)
人员重新识别(re-ID)的目的是在不同的摄像机中检索同一个人。在实践中,它仍然是一个具有挑战性的任务,由于背景杂乱,身体姿势和视图条件的变化,不准确的限界框检测等,为了解决这些问题,在本文中,我们提出了一种新的多感受野注意(MRFA)模块,利用各种大小的过滤器,以帮助网络集中在信息像素。此外,我们提出了一个特定于视图的机制,指导注意模块处理视图条件的变化。此外,我们引入了高斯水平随机裁剪/填充方法,进一步提高了我们提出的网络的鲁棒性。综合实验证明了各组成部分的有效性。我们的方法在Market-1501上的rank-1 / mAP达到95.5% / 88.1%,在DukeMTMC-reID上达到88.9% / 80.0%,在CUHK 03标记数据集上达到81.1% / 78.8%,在CUHK 03检测数据集上达到78.9% / 75.3%,优于当前最先进的方法。
2020-01-21 cs.CV
DeepSquare: Boosting the Learning Power of Deep Convolutional Neural Networks with Elementwise Square Operators
ByteDance AI Lab(字节跳动人工智能实验室)
现代神经网络模块可以显著提高学习能力,但通常会给原始神经网络增加太多的计算复杂性。在本文中,我们追求非常高效的神经网络模块,这些模块可以显著提高深度卷积神经网络的学习能力,而额外的计算成本可以忽略不计。我们首先从理论和实验两个方面提出了逐元素平方算子具有提高神经网络学习能力的潜力。然后,我们设计了四种类型的轻量级模块与elementwise平方运算符,命名为平方池,平方Softmin,平方激发,和平方编码。我们将四个轻量级模块添加到Resnet 18,Resnet 50和ShuffleNetV 2中,以便在ImageNet 2012数据集上的实验中获得更好的性能。实验结果表明,我们的模块可以带来显着的准确性提高的基础卷积神经网络模型。我们的轻量级模块的性能甚至可以与许多复杂的模块相媲美,如双线性池,挤压和激发,聚集激发。我们的高效模块特别适用于移动模型。例如,当配备单个Square-Pooling模块时,ShuffleNetV 2 -0.5x在ImageNet 2012上的前1分类准确率绝对提高了1.45%,没有额外的参数,推理时间开销可以忽略不计。
2019-06-12 cs.CV cs.LG
LPRNet: Lightweight Deep Network by Low-rank Pointwise Residual Convolution
深度学习近年来变得流行,主要是由于GPU等强大的计算设备。然而,将这些深度模型部署到资源有限的终端用户设备、智能手机或嵌入式系统是一项挑战。为了减少计算和内存成本,我们提出了一种新的轻量级深度学习模块,称为LPRNet。本质上,LPR的目的是在逐点卷积中使用低秩近似以进一步减小模块大小,同时保留depressive卷积作为残差模块来校正LPR模块。当低秩破坏卷积过程时,这是至关重要的。我们通过替换MobileNet和ShuffleNetv2中相同输入输出维度的模块来体现我们的设计。视觉识别任务的实验,包括流行的基准测试的图像分类和人脸对齐表明,我们的LPRNet实现了有竞争力的性能,但与专注于模型压缩的最先进的深度模型相比,浮点数和内存成本显着减少。
2019-11-14 cs.CV cs.LG
NeRD: Neural Representation of Distribution for Medical Image Segmentation
Cornell University(康奈尔大学);Weill Cornell Medical College(威尔康奈尔医学院);University of Pennsylvania(宾夕法尼亚大学)
我们介绍了神经分布表示(NeRD)技术,这是卷积神经网络(CNN)的一个模块,可以通过优化将图像坐标映射到特征分布的底层函数来估计特征分布。使用NeRD,我们提出了一种用于医学图像分割的端到端深度学习模型,可以补偿由常用的网络操作(如填充和池化)引起的特征分布偏移问题的负面影响。通过查询图像坐标,使用隐函数表示特征分布的参数空间。通过NeRD算法,降低了过分割和缺失等问题的影响,对具有挑战性的脑白质病变分割和左心房分割的实验结果验证了该方法的有效性。该代码可通过https://github.com/tinymilky/NeRD获得。
2021-03-06 cs.CV cs.LG eess.IV
Deep Spectral Clustering via Joint Spectral Embedding and Kmeans
College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院)
针对谱聚类中嵌入与聚类分离及高维数据维度灾难问题,提出深度谱聚类(DSC),通过深度网络和幂迭代学习嵌入,并用贪心策略优化Kmeans,端到端联合训练,在七个数据集上达到最优性能。
2024-12-15 cs.CV cs.LG
Spatially-sparse convolutional neural networks
University of Warwick(华威大学)
卷积神经网络(CNN)在手写识别和图像分类等问题上表现良好。然而,网络的性能通常受到预算和时间约束的限制,特别是在尝试训练深度网络时。受在线手写识别问题的启发,我们开发了一个用于处理空间稀疏输入的CNN;用一个像素宽的笔在高分辨率网格上绘制的字符看起来像一个稀疏矩阵。利用稀疏性,我们可以更有效地训练和测试大型深度CNN。在CASIA-OLHWDB 1.1数据集上,我们得到了3.82%的测试误差。虽然图片不是稀疏的,但可以通过添加填充来认为它们是稀疏的。使用稀疏性应用深度卷积网络可以大幅降低CIFAR小图片数据集的测试误差:CIFAR-10为6.28%,CIFAR-100为24.30%。
2014-09-22 cs.CV cs.NE
Deep Representation Learning for Road Detection through Siamese Network
Nanjing University of Posts and Telecommunications(南京邮电大学);Nanjing University of Science and Technology(南京理工大学)
稳健的道路检测是安全自动驾驶的关键挑战。近年来,随着3D传感器的快速发展,越来越多的研究者试图融合不同传感器的信息来提高道路检测的性能。虽然在这一领域已经取得了许多成功的工作,深度学习框架下的数据融合方法仍然是一个开放的问题。本文提出了一种基于FCN-8 s的Siamese深度神经网络来检测道路区域。我们的方法使用从单目彩色相机和Velodyne-64 LiDAR传感器收集的数据。我们将LiDAR点云投影到图像平面上以生成LiDAR图像,并将其馈送到网络的一个分支中。RGB图像被馈送到我们提出的网络的另一个分支。这两个分支在多个尺度上提取的特征图在每个池化层之前通过填充额外的融合层进行融合。在公共数据集KITTI ROAD上的实验结果证明了该方法的有效性。
2019-05-26 cs.CV eess.IV
A-Lamp: Adaptive Layout-Aware Multi-Patch Deep Convolutional Neural Network for Photo Aesthetic Assessment
SUNY at Buffalo(布法罗纽约州立大学);Tianjin University(天津大学)
深度卷积神经网络(CNN)最近被证明可以为美学评估产生有希望的结果。然而,这些深度CNN方法的性能通常受到神经网络仅采用固定大小输入的约束的影响。为了满足这一要求,输入图像需要通过裁剪、扭曲或填充进行变换,这通常会改变图像组成、降低图像分辨率或导致图像失真。因此,原始图像的美学受到损害,因为潜在的损失的细粒度的细节和整体的图像布局。然而,这种细粒度的细节和整体图像布局对于评估图像的美学至关重要。在本文中,我们提出了一个自适应布局感知多补丁卷积神经网络(A-Lamp CNN)架构的照片美学评估。该方案能够接受任意大小的图像,并同时从细粒度细节和整体图像布局中学习。为了能够在这些混合输入上进行训练,我们通过开发专用的双子网神经网络结构来扩展该方法,即多补丁子网和布局感知子网。我们进一步构建了一个聚合层,以有效地结合这两个混合特征。在大规模美学评估基准(AVA)上进行的大量实验表明,与最先进的照片美学评估方法相比,该方法的性能有了显着提高。
2017-04-02 cs.CV
Deep Incubation: Training Large Models by Divide-and-Conquering
Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
近年来,大型深度学习模型取得了显着成功。然而,由于计算成本高、收敛速度慢和过拟合问题,训练这些模型具有挑战性。在本文中,我们提出了深度孵化,这是一种新的方法,通过将大型模型划分为可以单独训练和无缝组装的更小的子模块,从而实现高效和有效的大型模型训练。实现这一想法的一个关键挑战是确保独立训练的子模块的兼容性。为了解决这个问题,我们首先引入了一个全局的共享Meta模型,它被用来隐式地将所有模块链接在一起,并且可以被设计为一个非常小的网络,计算开销可以忽略不计。然后提出了一种模块孵化算法,该算法训练每个子模块替换Meta模型的相应组件,完成给定的学习任务。尽管简单,我们的方法有效地鼓励每个子模块意识到它在目标大模型中的作用,这样最终学习的子模块可以在组装后顺利地相互协作。从经验上讲,我们的方法在最终准确性和训练效率方面都优于端到端(E2 E)训练。例如,在ViT-Huge的基础上,它将ImageNet的准确率提高了2.7%,或者在训练时间减少4倍的情况下实现了类似的性能。值得注意的是,这些收益对于下游任务也很重要(例如,COCO和ADE 20 K上的目标检测和图像分割)。代码可在https://github.com/LeapLabTHU/Deep-Incubation上获得。
2023-03-16 cs.AI cs.CV cs.LG
Dilated Deep Residual Network for Image Denoising
卷积神经网络(CNN)等深度神经网络的变体已成功应用于图像去噪。目标是在给定由噪声图像和干净图像对组成的训练数据的情况下,自动学习从噪声图像到干净图像的映射。大多数现有的用于图像去噪的CNN模型具有许多层。在这种情况下,模型涉及大量的参数,并且对于训练来说在计算上是昂贵的。在本文中,我们开发了一个扩张的残差CNN高斯图像去噪。与最近提出的残差去噪方法相比,我们的方法可以以更少的计算成本达到相当的性能。具体地说,我们通过在残差网络中采用扩张卷积来扩大感受野,并将扩张因子设置为一定值。我们利用适当的零填充来使输出的维度与输入相同。实验证明,感受野的扩大可以提高CNN在图像分类中的性能,并且我们进一步证明,它也可以导致去噪问题的竞争性能。此外,我们提出了一个公式来计算感受野大小时,扩张卷积。因此,可以从数学上解释感受野的变化。为了验证我们的方法的有效性,我们进行了广泛的实验,灰度和彩色图像去噪特定或随机噪声水平。与最先进的基线相比,定量测量和去噪的视觉结果都是有希望的。
2017-09-27 cs.CV
Module-Power Prediction from PL Measurements using Deep Learning
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Helmholtz Institut Erlangen Nürnberg(埃尔朗根-纽伦堡亥姆霍兹研究所)
光伏组件的功率损耗的个别原因进行了相当长的一段时间的调查。最近,已经表明模块的功率损耗例如与无效区域的分数有关。虽然这些区域可以很容易地从电致发光(EL)图像中识别出来,但对于光致发光(PL)图像来说要困难得多。通过这项工作,我们缩小了EL和PL图像的功率回归之间的差距。我们应用深度卷积神经网络从PL图像预测模块功率,平均绝对误差(MAE)为4.4%或11.7WP。此外,我们描述了从训练网络的嵌入计算的回归图可以用于计算局部功率损耗。最后,我们表明,这些回归图也可以用来识别PL图像中的非活动区域。
2021-08-31 cs.CV
Deep Learning-based Pipeline for Module Power Prediction from EL Measurements
Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡大学);Forschungszentrum Jülich GmbH(于利希研究中心有限公司);Helmholtz-Institute Erlangen-Nuremberg for Renewable Energies(亥姆霍兹埃尔朗根-纽伦堡可再生能源研究所);School of Advanced Optical Technologies, Erlangen(埃尔朗根高等光学技术学院)
自动化检测在大型光伏电站的监控中发挥着重要作用。通常,电致发光测量用于识别太阳能模块上的各种类型的缺陷,但尚未用于确定模块的功率。然而,了解最大功率点的功率也很重要,因为单个模块的功率下降会影响整个串的性能。到目前为止,这通常是通过需要断开甚至拆卸模块的测量来确定的,这使得对单个模块进行定期检查变得不可行。在这项工作中,我们弥合电致发光测量和模块的功率确定之间的差距。我们编译了一个大型数据集的719电致发光测量模块在不同阶段的退化,特别是细胞裂缝和骨折,以及相应的功率在最大功率点。在这里,我们专注于非活性区域和裂纹作为主要类型的缺陷。我们建立了一个基线回归模型来预测电致发光测量的功率,平均绝对误差为9.0+/-3.7 $W_P$(4.0+/-8.4%)。然后,我们证明了深度学习可以用来训练一个性能明显更好的模型(7.3+/-2.7 $W_P$或3.2+/-6.5%),并提出了一个类激活图的变体来获得模型预测的每个单元的功率损耗。通过这项工作,我们的目标是开辟一个新的研究课题。因此,我们公开发布数据集,代码和训练模型,以使其他研究人员能够与我们的结果进行比较。最后,我们对某些边界条件进行了全面评估,例如数据集大小和现场测量的自动预处理管道,同时显示多个模块。
2020-11-26 cs.CV cs.LG eess.IV
3D Human Action Recognition with Siamese-LSTM Based Deep Metric Learning
Gebze Technical University(盖布泽技术大学);VisLab(视觉实验室)
本文提出了一个新的3D人体动作识别系统,作为一个两阶段系统:(1)深度度量学习模块,使用Siamese-LSTM网络学习两个3D联合序列之间的相似性度量;(2)多类分类模块,使用第一个模块的输出来产生最终的识别输出。该模型有几个优点:第一个模块使用更大的数据集进行训练,因为它使用了许多序列对的组合。我们的深度度量学习模块也可以独立于数据集进行训练,这使得我们的系统具有模块化和可推广性。我们在标准数据集和新引入的数据集上测试了所提出的系统,结果表明初步结果是有希望的。我们将通过添加更复杂的LSTM块和在不同数据集之间进行交叉训练来继续开发这个系统。
2018-07-05 cs.CV
Sparse Deep Stacking Network for Image Classification
Nanjing University of Science and Technology(南京理工大学)
稀疏编码可以学习对噪声具有良好鲁棒性的表示,并为图像分类建模更高阶的表示。然而,即使在稀疏编码技术中使用监督信号来学习紧凑和有区别的字典,推理算法也是计算昂贵的。幸运的是,一个简化的神经网络模块(SNNM)已被提出来直接学习的判别字典,以避免昂贵的推理。但是SNNM模块忽略了稀疏表示。因此,我们提出了一个稀疏SNNM模块,通过添加混合范数正则化(l1/l2范数)。稀疏SNNM模块进一步堆叠以构建稀疏深度堆叠网络(S-DSN)。在实验中,我们评估S-DSN与四个数据库,包括扩展YaleB,AR,15场景和Caltech 101。实验结果表明,我们的模型优于相关的分类方法,只有一个线性分类器。值得注意的是,我们达到了98.8%的识别准确率在15个场景。
2015-01-05 cs.CV cs.LG cs.NE
Reinforcement Learning and Deep Learning based Lateral Control for Autonomous Driving
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文研究了基于视觉的自动驾驶与深度学习和强化学习方法。与端到端学习方法不同,该方法将基于视觉的侧向控制系统分解为感知模块和控制模块。感知模块基于多任务学习神经网络,首先以驾驶员视角图像为输入,预测轨迹特征。基于强化学习的控制模块然后基于这些特征做出控制决策。为了提高数据效率,我们提出了可视化TORCS(VTORCS),一个深度的强化学习环境,它是基于开放的赛车模拟器(TORCS)。通过所提供的功能,可以训练具有图像或各种物理传感器测量的输入的代理,或者在该模拟器上评估感知算法。训练后的强化学习控制器在不同的跟踪性能上优于线性二次型调节器(LQR)控制器和模型预测控制(MPC)控制器。实验结果表明,感知模块表现出良好的性能和控制器能够控制车辆沿轨道中心与视觉输入很好地驱动。
2018-10-30 cs.AI cs.CV cs.LG
A Deep Error Correction Network for Compressed Sensing MRI
Xiamen University(厦门大学);Columbia University(哥伦比亚大学)
磁共振成像的压缩感知(CS-MRI)利用图像稀疏特性从非常少的傅立叶k空间测量值重建MRI。我们的目标是尽量减少重建中可能对其诊断质量产生负面影响的任何结构性错误。为此,我们提出了一种用于CS-MRI的深度纠错网络(DECN)。DECN模型由三个部分组成,我们称之为模块:指南或模板模块、纠错模块和数据保真度模块。现有的CS-MRI算法可以作为模板模块,用于指导重建。使用该模板作为指导,误差校正模块学习卷积神经网络(CNN)以调整模板图像的重建误差的方式映射k空间数据。我们的实验结果表明,建议DECN CS-MRI重建框架可以大大改善现有的反演算法,通过补充纠错CNN。
2018-03-23 cs.CV
STNReID : Deep Convolutional Networks with Pairwise Spatial Transformer Networks for Partial Person Re-identification
Zhejiang University(浙江大学);Beijing Research Institute of Megvii Inc(旷视科技北京研究院)
部分人重新识别(ReID)是一个具有挑战性的任务,因为只有部分信息的人的图像可用于匹配目标人。很少有研究,特别是关于深度学习的研究,专注于将部分人物图像与整体人物图像进行匹配。该研究提出了一种新的基于成对空间Transformer网络(STNReID)的深度部分ReID框架,该框架可以在现有的整体人数据集上进行训练。STNReID包括空间Transformer网络(STN)模块和ReID模块。仿射模块从整体图像中采样仿射图像(语义上对应的补丁)以匹配部分图像。ReID模块提取整体、部分和仿射图像的特征。在STNReID模块和ReID模块之间观察到竞争(或对抗),并且应用两阶段训练来获得部分ReID的强STNReID。实验结果表明,我们的STNReID在部分ReID和部分iLIDS数据集上分别获得了66.7%和54.6%的rank-1准确率。这些值与用最先进的方法获得的值相当。
2020-01-07 cs.CV
Accelerating Deep Neural Networks with Spatial Bottleneck Modules
Chinese Academy of Sciences(中国科学院);The Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院)
本文提出了一个高效的空间瓶颈模块,用于加速深度神经网络中的卷积层。核心思想是将卷积分解为两个阶段,首先降低特征图的空间分辨率,然后将其恢复到所需的大小。该操作降低了空间域中的采样密度,这与信道域中的网络加速方法是独立的但互补的。使用不同的采样率,我们可以在识别精度和模型复杂度之间进行权衡。作为一个基本的构建块,空间瓶颈可以用来替换任何单个卷积层,或者两个卷积层的组合。我们通过将空间瓶颈应用于深度残差网络,实证验证了空间瓶颈的有效性。空间瓶颈算法对常规残差块和通道校验残差块分别实现了2倍和1.4倍的加速比,在识别低分辨率图像时保持了精度,在识别高分辨率图像时甚至有所提高。
2018-09-07 cs.CV
Deep Convolutional Neural Network for Multi-modal Image Restoration and Fusion
Imperial College London(帝国理工学院)
在本文中,我们提出了一种新的深度卷积神经网络来解决一般的多模态图像复原(MIR)和多模态图像融合(MIF)问题。与其他基于深度学习的方法不同,我们的网络架构是通过从新提出的多模态卷积稀疏编码(MCSC)模型中汲取灵感而设计的。所提出的网络的关键特征是,它可以自动地将不同模态之间共享的公共信息从属于每个单个模态的唯一信息中分离出来,因此用CU-Net表示,即,共同的和独特的信息分裂网络。具体来说,CU-Net由三个模块组成,即,唯一特征提取模块(UFEM)、公共特征保留模块(CFPM)和图像重建模块(SVM)。每个模块的架构都来自MCSC模型中的相应部分,该部分由几个学习的卷积稀疏编码(LCSC)块组成。大量的数值结果验证了我们的方法对各种MIR和MIF任务的有效性,包括RGB引导的深度图像超分辨率,闪光灯引导的非闪光图像去噪,多聚焦和多曝光图像融合。
2019-10-09 cs.CV
Harmonic Beltrami Signature Network: a Shape Prior Module in Deep Learning Framework
Department of Mathematics, The Chinese University of Hong Kong(香港中文大学数学系)
本文提出HBSN,一种用于提取形状先验信息的深度学习模块,能有效提升分割模型性能。
2026-03-03 cs.CV
Deep Reasoning with Multi-Scale Context for Salient Object Detection
Beijing Jiaotong University(北京交通大学);National University of Singapore(新加坡国立大学)
为了准确地检测显著对象,现有方法通常设计复杂的骨干网络架构来学习和融合强大的特征。然而,从融合特征执行显著性预测的显著性推理模块在其架构设计上受到的关注要少得多,并且通常仅采用几个完全卷积层。在本文中,我们发现显着性推理模块的有限容量确实是一个根本的性能瓶颈,提高其容量是获得更好的显着性预测的关键。相应地,我们提出了一个深度但重量轻的显着性推理模块,采用多扩张的深度卷积架构。这种深度推理模块虽然具有简单的架构,但可以直接从多尺度卷积特征快速执行关于显著对象的推理,并且以较少的计算成本给出优异的显著目标检测性能。据我们所知,我们是第一个揭示的重要性,推理模块的显着目标检测,并提出了一种新的架构设计具有吸引力的效率和准确性。广泛的实验评估表明,我们的简单的框架表现良好的国家的最先进的方法与复杂的骨干设计相比。
2019-03-25 cs.CV
Learning Edge-Preserved Image Stitching from Large-Baseline Deep Homography
Beijing Jiaotong University(北京交通大学)
图像拼接是计算机视觉中的一项经典而关键的技术,其目的是生成大视场的图像。传统的方法严重依赖于特征检测,要求场景特征在图像中密集且均匀分布,导致重影效果多变,鲁棒性差。学习方法通常受到固定视图和输入大小的限制,在其他真实数据集上缺乏泛化能力。在本文中,我们提出了一个图像拼接学习框架,它由一个大基线深度单应性模块和一个边缘保持变形模块。首先,我们提出了一个大基线深度单应性模块来估计参考图像和目标图像在不同尺度的特征之间的精确投影变换。然后设计了一个边缘保持变形模块,学习图像拼接从边缘到内容的变形规律,尽可能地消除鬼影效应。特别是,所提出的学习框架可以拼接任意视图和输入尺寸的图像,从而有助于监督深度图像拼接方法在其他真实图像中具有出色的泛化能力。实验结果表明,我们的单应性模块显着优于现有的深度单应性方法在大基线场景。在图像拼接中,我们的方法优于现有的学习方法,并显示出与最先进的传统方法的竞争性能。
2020-12-11 cs.CV
PURe: A Plug-and-Play Product-Unit Residual Module for Vision Networks
Department of Mathematics, Informatics and Technology, University of Applied Sciences Koblenz(科隆应用科学大学数学、信息学与技术系);Technical University of Munich(慕尼黑技术大学)
提出PURe模块,通过二维乘积单元的对数域公式实现稳定的局部乘法交互,可替代残差网络中的标准单元,在图像分类和CT分割任务中提升精度-参数权衡。
2026-08-10 cs.AI cs.CV cs.LG
EDPN: Enhanced Deep Pyramid Network for Blurry Image Restoration
University of Science and Technology of China(中国科学技术大学)
随着深度神经网络的发展,图像去模糊得到了很大的改善。然而,在实践中,模糊的图像经常遭受额外的降级,如缩小和压缩。为了解决这些问题,我们提出了一种增强型深度金字塔网络(EDPN),通过充分利用退化图像中的自相似性和跨尺度相似性,用于从多个退化中恢复模糊图像复原。具体地,我们设计了两个基于深度金字塔网络的模块,即,金字塔渐进传输(PPT)模块和金字塔自我注意(PSA)模块,作为所提出的网络的主要组成部分。PPT模块通过将多个复制的模糊图像作为输入,以渐进的方式从同一退化图像中传输自相似性信息和跨尺度相似性信息。然后,PSA模块融合上述转移的特征,用于随后的恢复使用自我和空间注意力机制。实验结果表明,我们的方法显着优于现有的解决方案,模糊图像超分辨率和模糊图像去块。在NTIRE 2021图像去模糊挑战赛中,EDPN在Track 1(低分辨率)中获得最佳PSNR/SSIM/LPIPS分数,在Track 2(JPEG伪影)中获得最佳SSIM/LPIPS分数。
2021-05-11 cs.CV
Supervised Deep Sparse Coding Networks
The Johns Hopkins University(约翰霍普金斯大学);West Virginia University(西弗吉尼亚大学)
在本文中,我们描述了深度稀疏编码网络(SCN),这是一种新型的深度网络,它使用非负稀疏编码对中间表示进行编码。SCN建立在多个级联瓶颈模块上,其中每个模块由两个稀疏编码层组成,所述两个稀疏编码层具有相对宽和窄的字典,所述字典分别专门用于产生用于聚类的高维判别特征和低维表示。在训练过程中,使用基于多级优化的端到端监督学习算法优化字典和正则化参数。在几个流行的基准测试数据集上验证了具有七个瓶颈模块的SCN的有效性。值得注意的是,我们的SCN在CIFAR-10和CIFAR-100上分别达到了5.81%和19.93%的分类出错率。
2017-05-23 cs.CV
Soccer Event Detection Using Deep Learning
University of Tehran(德黑兰大学)
事件检测是从视频中提取知识的重要步骤。在本文中,我们提出了一种深度学习方法来检测足球比赛中的事件,强调红色和黄色卡片的图像之间的区别,并从其他图像中正确检测选定事件的图像。该方法包括以下三个模块:变分自编码器(VAE)模块,用于区分足球图像和其它图像;图像分类模块,用于对事件图像进行分类;以及细粒度图像分类模块,用于对红黄牌图像进行分类。此外,引入了一个新的数据集用于足球图像分类,用于训练文中提到的网络。在最后一节中,10场欧洲冠军联赛的比赛被用来评估网络的性能和检测事件的精度。实验结果表明,该方法取得了更好的性能比国家的最先进的方法。
2021-02-08 cs.CV
Deep Reinforced Attention Learning for Quality-Aware Visual Recognition
在本文中,我们建立在任何卷积神经网络中的中间注意力图的弱监督生成机制的基础上,更直接地揭示了注意力模块的有效性,以充分发挥其潜力。给定一个现有的神经网络配备了任意的注意力模块,我们引入了一个Meta评论网络来评估的质量的注意力地图的主要网络。由于我们设计的奖励的离散性,所提出的学习方法被安排在一个强化学习设置,其中注意演员和经常性的批评者交替优化,以提供即时的批评和修正的临时注意表示,因此被称为深度强化注意学习(DREAL)。它可以普遍适用于不同类型的注意力模块的网络架构,并通过最大化每个单独的注意力模块产生的最终识别性能的相对增益来提高它们的表达能力,如在类别和实例识别基准上的广泛实验所示。
2022-08-30 cs.CV
ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks
Tianjin University(天津大学);Dalian University of Technology(大连理工大学);Harbin Institute of Technology(哈尔滨工业大学)
最近,通道注意力机制已被证明在提高深度卷积神经网络(CNN)的性能方面具有巨大的潜力。然而,大多数现有方法都致力于开发更复杂的注意力模块以获得更好的性能,这不可避免地增加了模型的复杂度。为了克服性能和复杂性权衡的矛盾,本文提出了一个有效的通道注意力(ECA)模块,它只涉及少数参数,同时带来明显的性能增益。通过剖析SENet中的通道注意力模块,我们经验性地表明,避免降维对于学习通道注意力非常重要,并且适当的跨通道交互可以在显著降低模型复杂度的同时保持性能。因此,我们提出了一个本地跨信道的互动策略,没有降维,这可以有效地实现通过$1D$卷积。此外,我们开发了一种方法来自适应地选择$1D$卷积的核大小,确定局部跨通道交互的覆盖范围。拟议的非洲经委会模块既有效率又有效,例如,我们的模块对ResNet 50的主干的参数和计算分别为80 vs. 24.37M和4.7e-4 GFLOPs vs. 3.86 GFLOPs,并且在Top-1精度方面性能提升超过2%。我们广泛评估我们的ECA模块的图像分类,目标检测和实例分割与ResNets和MobileNetV 2的骨干。实验结果表明,我们的模块是更有效的,同时表现良好,对它的同行。
2020-04-07 cs.CV
Deep End-to-End Alignment and Refinement for Time-of-Flight RGB-D Module
SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学)
最近,为移动RGB相机配备用于主动深度感测的飞行时间(ToF)传感器越来越流行。然而,对于现成的ToF传感器,为了获得相对于RGB相机的高质量深度,必须解决两个问题,即1)在线校准和对准;以及2)ToF深度感测的复杂误差校正。在这项工作中,我们提出了一个框架,通过深度学习联合对齐和细化。首先,估计RGB图像和ToF振幅图像之间的交叉模态光流以用于对准。然后,通过改进的内核预测网络来细化对齐的深度,该网络执行内核归一化并在动态卷积之前应用偏差。为了丰富端到端训练的数据,我们还使用计算机图形学工具合成了一个数据集。实验结果表明,我们的方法的有效性,实现国家的最先进的ToF细化。
2019-09-17 cs.CV
Deep Layout of Custom-size Furniture through Multiple-domain Learning
IHome Company(IHome公司);IBM Research Singapore(IBM新加坡研究院);Radio Company(Radio公司);Huazhong University of Science and Technology(华中科技大学);Tongji University(同济大学)
在本文中,我们提出了一个多领域模型,用于在室内场景中生成定制尺寸的家具布局。该模型旨在支持专业室内设计师更快地制作定制尺寸家具的室内装饰解决方案。该模型在端-端训练中结合了深度布局模块、领域注意模块、维度领域转移模块和自定义尺寸模块。与已有的场景合成方法相比,该模型增强了室内家具的自动布局能力。我们进行我们的实验在一个真实世界的室内布局数据集,其中包含专业设计师的$710,700$设计。我们的数值结果表明,该模型产生更高质量的布局定制尺寸的家具相比,国家的最先进的模型。
2020-12-15 cs.CV
Classification of X-Ray Protein Crystallization Using Deep Convolutional Neural Networks with a Finder Module
University of Tsukuba(筑波大学);High Energy Accelerator Research Organization(高能加速器研究机构)
最近,深度卷积神经网络在图像识别方面表现出了良好的效果。在本文中,我们使用卷积神经网络与查找器模块,发现识别的重要区域,并提取该区域。我们建议将我们的方法应用于识别蛋白质晶体的X射线结构分析。在该分析中,有必要从大量图像中识别蛋白质结晶的状态。利用卷积神经网络实现蛋白质结晶识别的方法有多种。在每一种方法中,都需要大规模的数据集才能以高精度进行识别。在我们的数据集中,图像的数量不足以训练CNN。CNN的数据量在各个领域都是一个严重的问题。我们的方法实现了高精度的识别与少量的图像发现的结晶液滴存在的区域。我们将我们的结晶图像识别方法与使用Inception-V3的高精度方法进行了比较。我们证明了我们的方法是有效的结晶图像使用几个实验。我们的方法得到的AUC值比对比方法高约5%。
2018-12-25 cs.CV
Neural Finite-State Machines for Surgical Phase Recognition
United Imaging Intelligence(联影智能);Johns Hopkins University(约翰斯·霍普金斯大学);State University of New York at Buffalo(纽约州立大学布法罗分校);Vanderbilt University(范德堡大学)
提出神经有限状态机(NFSM),通过集成状态转移先验与神经网络并引入未来阶段预测机制,有效解决了手术阶段识别中的预测碎片化问题,在多个基准上达到最先进性能。
2025-03-02 cs.CV eess.IV
Single Image Super-Resolution with Dilated Convolution based Multi-Scale Information Learning Inception Module
Harbin Institute of Technology(哈尔滨工业大学)
传统的研究表明,自然图像中的斑块往往会在同一尺度内以及不同尺度上重复出现多次。充分利用这些多尺度信息可以提高图像复原的性能。然而,目前提出的基于深度学习的恢复方法没有考虑多尺度信息。在本文中,我们提出了一个基于扩张卷积的初始模块来学习多尺度信息,并设计了一个用于单图像超分辨率的深度网络。不同的扩张卷积学习不同的尺度特征,然后初始模块连接所有这些特征来融合多尺度信息。为了增加我们的网络的接收领域,以捕捉更多的上下文信息,我们级联多个初始模块,构成一个深度网络进行单图像超分辨率。该网络采用基于扩张卷积的初始化模块,能够充分利用多尺度信息,提高图像超分辨率性能。实验结果表明,我们提出的方法优于许多国家的最先进的单图像超分辨率方法。
2017-07-22 cs.CV
Fast Generation of High Fidelity RGB-D Images by Deep-Learning with Adaptive Convolution
Delft University of Technology(代尔夫特理工大学);The Chinese University of Hong Kong(香港中文大学);South China University of Technology(华南理工大学)
使用来自消费级RGB-D相机的原始数据作为输入,我们提出了一种基于深度学习的方法来有效地生成具有完整信息的高分辨率RGB-D图像。为了处理具有缺失区域的低分辨率输入图像,在我们的深度学习网络中引入了新的自适应卷积算子,该网络由三个级联模块组成-完成模块,细化模块和超分辨率模块。完成模块基于编码器-解码器的架构,其中输入原始RGB-D的特征将由深度神经网络的编码层自动提取。解码层被应用于重建完整的深度图,随后是细化模块以锐化不同区域的边界。对于超分辨率模块,我们通过用于特征提取的多个层和用于上采样的层来生成高分辨率的RGB-D图像。得益于本文新提出的自适应卷积算子,我们的结果优于现有的基于深度学习的RGB-D图像完整和超分辨率方法。作为一种端到端的方法,可以以每秒约21帧的速率高效地生成高保真RGB-D图像。
2020-06-12 cs.CV cs.RO eess.IV
Pyramid Frequency Network with Spatial Attention Residual Refinement Module for Monocular Depth Estimation
Jiangnan University(江南大学)
基于深度学习的深度估计方法正在迅速发展,提供优于现有方法的性能。为了估计真实场景中的深度,深度估计模型需要对各种噪声环境具有鲁棒性。在这项工作中,提出了一种具有空间注意力残差细化模块(SARRM)的金字塔频率网络(PFN),以解决现有深度学习方法鲁棒性弱的问题。为了重建具有精确细节的深度图,SARRM构造了具有注意力机制的残差融合方法来细化模糊深度。设计了频域划分策略,并建立了频率金字塔网络,实现了多频带特征提取。通过频率策略,PFN在Make3D,KITTI深度和NYUv2数据集上的室内和室外场景中实现了比最先进的方法更好的视觉准确性。在嘈杂的NYUv2数据集上进行的其他实验表明,PFN在高噪声场景中比现有的深度学习方法更可靠。
2022-04-05 cs.CV
BAM: Bottleneck Attention Module
Lunit Inc.(Lunit公司);Adobe Research(奥多比研究院)
深度神经网络的最新进展是通过架构搜索来获得更强的表示能力。在这项工作中,我们专注于一般深度神经网络中的注意力效应。我们提出了一个简单而有效的注意力模块,称为瓶颈注意力模块(BAM),它可以与任何前馈卷积神经网络集成。我们的模块沿着两个独立的路径推断注意力地图,通道和空间。我们将我们的模块放置在模型的每个瓶颈处,在那里发生特征映射的下采样。我们的模块在瓶颈处构建了一个具有许多参数的分层注意力,并且它可以与任何前馈模型一起以端到端的方式进行训练。我们通过在CIFAR-100、ImageNet-1 K、VOC 2007和MS COCO基准上进行大量实验来验证我们的BAM。我们的实验表明,在不同的模型的分类和检测性能的一致改善,展示了广泛的适用性BAM。代码和模型将公开提供。
2018-07-18 cs.CV
Deep network for rolling shutter rectification
CMOS传感器在对场景进行成像时采用逐行采集机制,这可能导致捕获图像中的不期望的运动伪影,称为滚动快门(RS)失真。现有的单图像RS校正方法试图通过使用为特定类别的场景定制的算法来解释这些失真,该场景保证了固有相机参数的信息,或者使用具有已知地面真实运动参数的基于学习的框架。在本文中,我们提出了一个端到端的深度神经网络的单图像遥感纠正的挑战性任务。我们的网络由运动块、轨迹模块、行块、RS校正模块和RS再生模块(仅在训练期间使用)组成。运动块预测相机的姿态为每一行的输入RS失真的图像,而轨迹模块拟合估计的运动参数的三阶多项式。行块预测必须与目标即RS校正图像中的每个像素相关联的相机运动。最后,RS校正模块利用运动轨迹和行块的输出对输入的RS图像进行变形,得到无畸变的图像。为了在训练过程中更快地收敛,我们还使用了RS再生模块,该模块将输入RS图像与由估计的运动参数失真的地面真实图像进行比较。在我们的模型中的端到端公式不约束估计的运动地面实况运动参数,从而成功地纠正复杂的现实生活中的相机运动的RS图像。在合成和真实数据集上的实验表明,我们的网络在定性和定量方面都优于现有技术。
2021-12-12 cs.CV
A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution
Department of Computer Engineering and Informatics, Patras University(计算机工程与信息学院,帕特拉大学);Department Digital Media and Communication, Ionian University(数字媒体与通信系,伊奥尼亚大学)
本文提出DeepMix,一种结合手工与可学习正则化器的深度展开优化框架,用于高光谱图像去卷积,通过残差结构和上下文感知去噪模块显著提升图像质量与计算效率。
2025-05-21 cs.CV eess.IV
Deep Decomposition and Bilinear Pooling Network for Blind Night-Time Image Quality Evaluation
Ningbo University(宁波大学);University of Waterloo(滑铁卢大学);Shanghai Jiao Tong University(上海交通大学)
盲图像质量评估(BIQA)是一种在没有任何原始参考信息的情况下准确预测图像质量的方法,在过去的几十年里受到了广泛的关注。特别是在深度神经网络的帮助下,取得了很大的进展。然而,它仍然是较少的研究夜间图像(NTIs),通常遭受复杂的真实失真,如能见度降低,低对比度,加性噪声,和颜色失真的BIQA。这些不同的真实退化特别挑战了用于盲NTI质量评估(NTIQE)的有效深度神经网络的设计。在本文中,我们提出了一种新的深度分解和双线性池化网络(DDB-Net)来更好地解决这个问题。DDB-Net包含三个模块,即,图像分解模块、特征编码模块和双线性池化模块。图像分解模块受到Retinex理论的启发,并且涉及将输入NTI解耦为负责照明信息的照明层组件和负责内容信息的反射层组件。然后,特征编码模块涉及学习分别植根于两个解耦分量的退化的特征表示。最后,通过将照明相关和内容相关的劣化建模为双因素变化,将两个特征集双线性地汇集在一起以形成用于质量预测的统一表示。通过在多个基准数据集上的大量实验,验证了所提出的DDB-Net的优越性。源代码将很快提供。
2022-08-29 cs.CV cs.MM
Lightweight Modules for Efficient Deep Learning based Image Restoration
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Mathworks(Mathworks公司)
低水平图像复原是现代人工智能(AI)驱动的相机流水线的组成部分。这些框架中的大多数基于深度神经网络,其在资源受限的平台(如移动电话)上呈现出巨大的计算开销。在本文中,我们提出了几个轻量级的低级别模块,可用于创建一个给定的基线模型的计算成本低的变体。最近的工作,有效的神经网络设计主要集中在分类。然而,低级图像处理属于图像到图像的翻译类型,它需要一些分类中不存在的额外计算模块。本文试图通过设计通用高效模块来弥合这一差距,这些模块可以取代当代基于深度学习的图像复原网络中使用的基本组件。我们还提出并分析了我们的结果,强调了将深度可分离卷积核(一种用于高效分类网络的流行方法)应用于基于亚像素卷积的上采样(一种用于低级视觉应用的流行上采样策略)的缺点。这表明,分类领域的概念并不总是能够无缝地集成到图像到图像的翻译任务中。我们广泛验证了我们的研究结果的三个流行的任务图像修补,去噪和超分辨率。我们的研究结果表明,与全容量基线相比,建议的网络始终输出视觉上相似的重建,并在当代移动设备上显着减少参数,内存占用和执行速度。
2020-07-11 cs.CV eess.IV
Pixel Adaptive Deep Unfolding Transformer for Hyperspectral Image Reconstruction
Beijing Institute of Technology(北京理工大学);Baidu Inc.(百度公司);ETH Zürich(苏黎世联邦理工学院)
本文提出像素自适应深度展开Transformer(PADUT),通过像素自适应下降步长、非局部光谱Transformer和基于FFT的阶段交互改进,解决高光谱图像重建中数据匹配不足的问题,并在模拟与真实场景中取得优于现有方法的性能。
2023-09-22 cs.CV eess.IV
Deeper or Wider Networks of Point Clouds with Self-attention?
由自我关注驱动的更深层次网络的流行与未充分探索的基于点的方法形成鲜明对比。在本文中,我们提出了分组自注意作为构建我们的网络的基本块:SepNet。我们提出的模块可以有效地捕获本地和全局依赖关系。该模块基于组内任何点的加权特征的总和来计算组的特征。为了方便起见,我们推广了分组操作来组装这个模块。为了进一步方便我们的网络,我们分别在分割和分类任务上深化和扩展了SepNet,并验证了其实用性。具体而言,SepNet在大多数数据集上实现了最先进的分类和分割任务。我们展示了经验证据,SepNet可以分别通过增加宽度或深度来获得额外的分类或分割精度。
2021-08-14 cs.CV cs.GR
Converged Deep Framework Assembling Principled Modules for CS-MRI
Dalian University of Technology(大连理工大学);Hangzhou Dianzi University(杭州电子科技大学);Guilin University of Electronic Technology(桂林电子科技大学)
压缩感知磁共振成像(CS-MRI)以远低于奈奎斯特标准的采样率显著加速MR数据采集。CS-MRI的一个主要挑战在于解决严重不适定的逆问题,从稀疏的k空间数据中重建无混叠的MR图像。传统方法通常优化能量函数,产生高质量的重建,但其迭代数值求解器必然带来极慢的处理。最近的数据驱动技术能够通过学习直接预测到最终重建或将学习的模块插入能量优化器来提供快速恢复。然而,这些数据驱动的预测器不能保证重建以下的约束下的常规方法的正则化,使其重建结果的可靠性是值得怀疑的。在本文中,我们提出了一个融合的深度框架,组装CS-MRI的原则性模块,将学习策略与传统重建能量的迭代求解器融合在一起。该框架嵌入了最佳条件检查机制,促进了\emph{efficient}和\emph{reliable}重建。我们还将该框架应用于两个实际任务,\emph{i.e.},并行成像和重建与Rician噪声。在基准测试图像和模糊测试图像上的大量实验表明,该方法在各种场景下都能比现有技术更有效、更准确地收敛到最优解。
2019-10-29 cs.CV eess.IV
A CNN with Noise Inclined Module and Denoise Framework for Hyperspectral Image Classification
National Innovation Institute of Defense Technology, Chinese Academy of Military Science(中国人民解放军军事科学院国防科技创新研究院);National University of Defense Technology(国防科技大学)
深度神经网络已成功应用于高光谱图像分类。然而,大多数现有的工作采用一般的深度架构,而忽略了高光谱图像的内在结构,如物理噪声的产生。这将使这些深度模型无法生成有区别的特征,并提供令人印象深刻的分类性能。为了利用这些内在信息,这项工作开发了一种新的深度学习框架,具有噪声倾斜模块和去噪框架,用于高光谱图像分类。首先,我们用物理噪声模型对高光谱图像的光谱特征进行建模,以描述图像中每个类的高类内方差和不同类之间的大重叠。然后,噪声倾斜模块被开发用于捕获每个对象内的物理噪声,然后遵循去噪框架来从对象中去除这样的噪声。最后,通过构造具有噪声倾斜模块的CNN和去噪框架,获得了高光谱图像的鉴别特征,并对高光谱图像进行了分类。在两个常用的真实世界数据集上进行了实验,实验结果表明了该方法的有效性。所提出的方法和其他比较方法的实现可以在https://github.com/shendu-sw/noise-physical-framework上访问。
2022-05-25 cs.CV eess.IV
ACSGRegNet: A Deep Learning-based Framework for Unsupervised Joint Affine and Diffeomorphic Registration of Lumbar Spine CT via Cross- and Self-Attention Fusion
Shanghai Jiao Tong University(上海交通大学)
配准在医学图像分析中起着重要的作用。已经研究了用于医学图像配准的基于深度学习的方法,其利用卷积神经网络(CNN)来有效地从一对图像中回归密集变形场。然而,CNN在提取语义上有意义的图像内和图像间空间对应的能力方面受到限制,这对于准确的图像配准至关重要。该研究提出了一种新的基于端到端深度学习的框架,用于无监督仿射和仿射变形配准,称为ACSGRegNet,它集成了用于建立图像间特征对应关系的交叉注意模块和用于图像内解剖结构感知的自注意模块。这两个注意力模块都建立在Transformer编码器上。来自每个注意力模块的输出分别被馈送到解码器以生成速度场。我们进一步引入门控融合模块来融合两个速度场。融合的速度场,然后集成到一个密集的变形场。对腰椎CT图像进行了广泛的实验。一旦模型被训练,成对的看不见的腰椎可以在一个镜头中被配准。在450对脊椎CT数据上进行了评估,我们的方法的平均Dice为0.963,平均距离误差为0.321 mm,优于最先进的(SOTA)。
2022-08-13 cs.AI cs.CV
Deep Attention-guided Graph Clustering with Dual Self-supervision
City University of Hong Kong(香港城市大学);Caritas Institute of Higher Education(明爱专上学院);Southeast University(东南大学)
现有的深度嵌入聚类工作仅考虑最深层来学习特征嵌入,因此无法很好地利用来自聚类分配的可用区分信息,导致性能限制。为此,我们提出了一种新的方法,即具有双重自监督的深度注意力引导图聚类(DAGC)。具体地说,DAGC首先利用异质性融合模块来自适应地整合每层中的自动编码器和图卷积网络的特征,然后使用尺度融合模块来动态地连接不同层中的多尺度特征。这样的模块能够通过基于注意力的机制来学习区分性特征嵌入。此外,我们设计了一个分布式融合模块,利用聚类分配直接获得聚类结果。为了更好地探索从集群分配的判别信息,我们开发了一个双重的自我监督解决方案,包括一个软自我监督策略与三重Kullback-Leibler发散损失和一个硬自我监督策略与伪监督损失。大量的实验验证了我们的方法在六个基准数据集上的性能始终优于最先进的方法。特别是,我们的方法提高了ARI超过18.14%的最佳基线。
2022-12-26 cs.AI cs.CV
DeepStreet: A deep learning powered urban street network generation module
University of Cambridge(剑桥大学)
在经历前所未有的城市化浪潮的国家,需要快速和高质量的城市街道设计。我们的研究提出了一种新的深度学习驱动的方法,DeepStreet(DS),用于自动生成街道网络,可以应用于具有本地特色的城市街道设计。DS由卷积神经网络(CNN)驱动,该网络能够基于紧邻区域对街道进行插值。具体来说,首先训练CNN以检测、识别和捕获本地特征以及源自OpenStreetMap的现有街道网络的模式。通过训练好的CNN,DS能够预测街道网络在预定义区域内的未来扩展模式,该区域以其周围的街道网络为条件。为了测试DS的性能,我们将其应用于巴塞罗那市Eixample区及其周围的一个区域,这是城市和交通规划领域的一个著名例子,中心有标志性的网格状街道网络,更远的地方有不规则的道路路线。结果表明,DS可以(1)检测和自聚类不同类型的复杂的街道模式在巴塞罗那;(2)预测网格和不规则的街道和道路网络。DS被证明是一个很大的潜力,作为一个新的工具,设计师有效地设计城市街道网络,以及保持现有的和新生成的城市街道网络的一致性。此外,生成的网络可以作为一个基准,以指导当地的规划制定,特别是在快速发展的城市。
2020-10-09 cs.AI cs.CV
Deep Iteration Assisted by Multi-level Obey-pixel Network Discriminator (DIAMOND) for Medical Image Recovery
Southeast University(东南大学)
图像复原是一个典型的不适定问题,它包含了多种任务。在医学成像领域中,不适定图像中断诊断,甚至中断后续的图像处理。传统的迭代和最新的深度网络都引起了广泛的关注,并在重建令人满意的图像方面取得了显着的进步。本研究将它们的优点结合到一个统一的数学模型中,并提出了一种通用的图像恢复策略来处理这些问题。该战略包括两个模块。首先,构建了一种新的具有WGAN-GP训练的生成对抗网络(GAN)来恢复图像结构和细微细节。然后,深度迭代模块通过ADMM优化利用预训练的深度网络和压缩感知算法的组合来提升图像质量。(D)eep(I)迭代模块抑制图像伪影并进一步恢复微妙的图像细节,(A)由(M)多级(O)超像素特征提取网络(D)识别器支持以恢复一般结构。因此,该策略被命名为DIAMOND。
2021-02-08 cs.CV eess.IV
Deep Learning based Full-reference and No-reference Quality Assessment Models for Compressed UGC Videos
Shanghai Jiao Tong University(上海交通大学)
在本文中,我们提出了一个基于深度学习的视频质量评估(VQA)框架来评估压缩用户生成内容(UGC)视频的质量。VQA框架由三个模块组成:特征提取模块、质量回归模块和质量池模块。对于特征提取模块,我们将卷积神经网络(CNN)网络中间层的特征融合到最终的质量感知特征表示中,使模型能够充分利用从低级到高级的视觉信息。具体地说,从所有中间层提取的特征图的结构和纹理相似度计算作为全参考(FR)VQA模型的特征表示,并计算由中间特征图融合的最终特征图的全局均值和标准差作为无参考(NR)VQA模型的特征表示。对于质量回归模块,我们使用全连接(FC)层将质量感知功能回归到帧级分数。最后,一个主观启发的时间池策略,采用池的帧级分数到视频级分数。该模型在压缩的UGC VQA数据库上实现了最好的性能,并且在野生UGC VQA数据库上也实现了相当好的性能。
2021-06-02 cs.CV cs.MM eess.IV
Exploring Deep Learning for Joint Audio-Visual Lip Biometrics
Tianjin University(天津大学);National Institute of Informatics(日本国立信息学研究所)
视听(AV)唇生物特征识别技术是一种很有前途的认证技术,它充分利用了语音通信中的音频和视觉模式的优点。以前的工作已经证明了AV唇生物识别的有用性。然而,缺乏一个相当大的AV数据库阻碍了基于深度学习的视听嘴唇生物识别的探索。为了解决这个问题,我们使用现有的公共数据库编译一个中等大小的数据库。同时,我们建立了DeepLip AV嘴唇生物识别系统,该系统由基于卷积神经网络(CNN)的视频模块、基于时延神经网络(TDNN)的音频模块和多模态融合模块实现。我们的实验表明,DeepLip在上下文建模方面优于传统的说话人识别模型,与我们最好的单一模态基线相比,实现了超过50%的相对改进,在测试数据集上的相等出错率分别为0.75%和1.11%。
2021-04-17 cs.CV cs.MM cs.SD