Tracking by Animation: Unsupervised Learning of Multi-Object Attentive Trackers
Academy of Military Medical Sciences(军事医学科学院);National University of Defense Technology(国防科技大学);University College London(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所)
视频中的在线多目标跟踪(MOT)是一个具有挑战性的计算机视觉任务,已经被广泛研究了几十年。大多数现有的MOT算法都是基于检测跟踪(TBD)范式结合流行的机器学习方法,这在很大程度上减少了调整算法参数的人工努力。然而,常用的监督学习方法需要标记的数据(例如,边界框),这对于视频来说是昂贵的。此外,TBD框架通常是次优的,因为它不是端到端的,即,它将任务视为检测和跟踪,但不是联合的。为了实现MOT的无标签和端到端学习,我们提出了一个动画跟踪框架,其中可微分神经模型首先从输入帧中跟踪对象,然后将这些对象动画化为重建帧。然后通过反向传播由重建误差驱动学习。我们进一步提出了一个重优先级的注意跟踪,以提高数据关联的鲁棒性。在合成和真实视频数据集上进行的实验表明了该模型的潜力。我们的项目页面可在https://github.com/zhen-he/tracking-by-animation上公开访问
2019-04-09 cs.CV cs.LG stat.ML
A Multi-Stage Attentive Transfer Learning Framework for Improving COVID-19 Diagnosis
Texas A&M University(得克萨斯农工大学)
计算机断层扫描(CT)成像是诊断COVID-19的一种很有前途的方法。机器学习方法可以用于根据标记的CT图像来训练模型,并预测病例是阳性还是阴性。然而,不存在公开可用的和大规模的CT数据来训练精确的模型。在这项工作中,我们提出了一个多阶段的专注迁移学习框架,以改善COVID-19诊断。我们提出的框架包括三个阶段,通过学习知识,从多个源任务和数据的不同领域的训练准确的诊断模型。重要的是,我们提出了一种新的自监督学习方法来学习肺部CT图像的多尺度表示。我们的方法从整个肺部捕获语义信息,并突出每个肺部区域的功能,以实现更好的表示学习。然后将该方法集成到所提出的迁移学习框架的最后阶段,以重用从相同CT图像中学习到的复杂模式。我们使用一个集成了自我注意力(ATTN)和卷积操作的基础模型。实验结果表明,与ATTN的网络诱导更大的性能改善,通过迁移学习比没有ATTN的网络。这表明注意力比卷积具有更高的可转移性。我们的研究结果还表明,所提出的自监督学习方法优于几个基线方法。
2021-01-14 cs.CV eess.IV
Dynamic Attentive Graph Learning for Image Restoration
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Peng Cheng Laboratory(鹏城实验室)
自然图像的非局部自相似性被证明是图像复原的有效先验。然而,大多数现有的深度非局部方法为每个查询项分配固定数量的邻居,忽略了非局部相关性的动态性。此外,非局部相关性通常是基于像素的,容易由于图像退化而产生偏差。针对这些不足,本文提出了一种动态注意图学习模型(DAGL)来研究图像块级的动态非局部特性,并用于图像复原。具体来说,我们提出了一种改进的图形模型来执行补丁式图形卷积与动态和自适应数量的邻居为每个节点。以这种方式,图像内容可以通过其连接的邻居的数量自适应地平衡过平滑和过尖锐的伪影,并且逐块的非局部相关性可以增强消息传递过程。各种图像复原任务的实验结果:合成图像去噪,真实图像去噪,图像去马赛克,压缩伪影减少表明,我们的DAGL可以产生国家的最先进的结果具有优越的精度和视觉质量。源代码可在https://github.com/jianzhangcs/DAGL上获得。
2021-09-14 cs.CV
Attentive-based Multi-level Feature Fusion for Voice Disorder Diagnosis
College of Computer Science, Sichuan University(四川大学计算机学院);West China Hospital, Sichuan University(四川大学华西医院)
针对语音障碍诊断中数据集有限、检测准确率待提升的问题,提出基于注意力融合的两阶段训练框架,结合ECAPA-TDNN与Wav2vec 2.0提取特征并交互融合,在FEMH和SVD数据集上准确率优于基线。
2024-10-07 cs.MM cs.SD eess.AS
CharFormer: A Glyph Fusion based Attentive Framework for High-precision Character Image Denoising
Jilin University(吉林大学);University of Trento(特伦托大学);ETH Zurich(苏黎世联邦理工学院)
在一般的字符图像源中普遍存在着退化图像,导致字符识别效果不理想。现有的方法致力于恢复退化的字符图像。然而,通过这些方法获得的去噪结果似乎并没有提高字符识别性能。这主要是因为目前的方法只关注像素级的信息,而忽略了字符的关键特征,如它的轮廓,导致在去噪过程中字符轮廓受损。在本文中,我们介绍了一种新的通用框架的基础上融合和注意力机制,即,CharFormer,用于精确恢复字符图像,而不改变其固有的字形。与现有框架不同,CharFormer引入了一个并行目标任务,用于捕获额外的信息并将其注入图像去噪主干,这将在字符图像去噪期间保持字符字形的一致性。此外,我们利用基于注意力的网络进行全局-局部特征交互,这将有助于处理盲去噪并提高去噪性能。我们在多个数据集上比较了CharFormer与最先进的方法。实验结果从定量和定性两个方面证明了CharFormer的优越性。
2022-07-19 cs.CV
Attentive Fine-Grained Structured Sparsity for Image Restoration
ASRI(先进技术与信息研究中心);IPAI, Seoul National University(首尔国立大学 IPAI);NVIDIA(英伟达);Yonsei University(延世大学)
针对图像复原深度模型计算量大的问题,提出一种为每层N:M结构化稀疏确定剪枝比例的细粒度剪枝方法,在超分辨率、去模糊任务上性能显著优于现有剪枝方法。
2024-10-08 cs.CV
Half-Truth Audio Detection and Localisation: A Lightweight Cross-Attentive Architecture and a Cross-Corpus Diagnostic Study
Department of Computer Science(计算机科学系)
提出CAFNet模型,通过三元分类和边界回归联合检测部分伪造音频,在MLADDC数据集上达到92.71%准确率和0.075s定位误差。
2026-09-03 cs.CV cs.LG cs.SD
Component Divide-and-Conquer for Real-World Image Super-Resolution
Sun Yat-sen University(中山大学);Harbin Institute of Technology(哈尔滨工业大学);University of Chinese Academy of Sciences(中国科学院大学);DarkMatter AI
在本文中,我们提出了一个大规模的多样化的现实世界的图像超分辨率数据集,即,DRealSR,以及分而治之的超分辨率(SR)网络,探索指导SR模型与低级别的图像组件的实用性。DRealSR建立了一个新的SR基准与不同的现实世界的退化过程,减轻传统的模拟图像退化的局限性。通常,SR的目标随着具有不同低级别图像分量的图像区域而变化,例如,平坦区域的平滑度保持、边缘的锐化以及纹理的细节增强。使用传统的像素丢失来学习SR模型通常很容易被平坦区域和边缘所控制,并且无法推断复杂纹理的真实细节。我们提出了一个组件分而治之(CDC)模型和一个服从加权(GW)的损失SR。我们的CDC解析图像与三个组件,采用三个服从注意块(CAB)学习注意的面具和中间SR预测与中间监督学习策略,并训练SR模型如下分而治之的学习原则。我们的GW损失还提供了一种可行的方法来平衡SR的图像组件的困难。大量的实验验证了我们的CDC的优越性能和我们的DRealSR数据集与不同的现实世界场景相关的挑战性方面。我们的数据集和代码可在https://github.com/xiezw5/Component-Divide-and-Conquer-for-Real-World-Image-Super-Resolution上公开获取
2020-08-05 cs.CV
GLEAM: A Multimodal Imaging Dataset and HAMM for Glaucoma Classification
Department of Ophthalmology, Shenyang Fourth People’s Hospital(眼科医院,沈阳第四人民医院)
本文提出GLEAM数据集,包含三种多模态图像,用于青光眼分类,并提出HAMM方法整合跨模态信息以提高诊断准确性。
2026-05-11 cs.CV eess.IV
FA-GAN: Fused Attentive Generative Adversarial Networks for MRI Image Super-Resolution
Zhejiang Sci-Tech University(浙江理工大学);Zhejiang University(浙江大学);Chongqing University(重庆大学);Beijing Institute of Technology(北京理工大学);Royal Brompton Hospital(皇家布朗普顿医院);Imperial College London(伦敦帝国理工学院)
高分辨率磁共振图像可以提供细粒度的解剖信息,但获取这样的数据需要很长的扫描时间。本文提出了一种融合注意生成对抗网络(FA-GAN)框架,用于从低分辨率磁共振图像生成超分辨率MR图像,该框架可以有效地减少扫描时间,但需要高分辨率MR图像。在FA-GAN框架下,提出了由不同卷积核的三遍网络组成的局部融合特征块,用于提取不同尺度下的图像特征。设计了全局特征融合模块,包括通道关注模块、自关注模块和融合操作,用于增强MR图像的重要特征。此外,频谱归一化过程中引入,使网络的稳定。40组3D磁共振图像(每组图像包含256个切片)用于训练网络,10组图像用于测试所提出的方法。实验结果表明,该方法生成的超分辨磁共振图像的PSNR和SSIM值均高于现有的重建方法。
2021-08-09 cs.CV eess.IV
Fine-grained MRI Reconstruction using Attentive Selection Generative Adversarial Networks
University of Edinburgh(爱丁堡大学)
压缩感知(CS)利用稀疏性为快速磁共振成像(fastMRI)提供基础。然而,不适定问题的迭代求解器阻碍了它们对时间关键应用的适应。此外,这样的先验既不能丰富地捕获复杂的解剖结构,也不能适用于满足现代MRI中高保真重建的需求。受最先进的图像生成方法的启发,我们提出了一种新的基于注意力的深度学习框架,以提供高质量的MRI重建。我们在生成对抗网络(GAN)框架中集成了大范围上下文特征集成和注意力选择。我们证明,与其他基于深度学习的方法相比,所提出的模型在图像质量以及与极低采样率饮食中的MRI重建相关性方面可以产生更好的结果。
2021-03-13 cs.CV eess.IV
Deep Attentive Generative Adversarial Network for Photo-Realistic Image De-Quantization
Southeast University(东南大学);University of Technology Sydney(悉尼科技大学)
目前大多数显示设备具有八位或更高的位深。然而,大多数多媒体工具的质量不能达到这个位深度标准的生成图像。解量化可以改善低位深图像在高位深屏幕上显示的视觉质量。本文提出了DAGAN算法对与空间分辨率正交的图像强度分辨率进行超分辨率处理,通过端到端的学习模式实现真实感去量化。到目前为止,这是第一次尝试将生成对抗网络(GAN)框架应用于图像去量化。具体来说,我们提出了密集的残余自我注意(DenseResAtt)模块,这是由密集的残余块武装的自我注意机制,更加关注高频信息。此外,顺序的DenseResAtt模块的串联连接形成了深度关注网络,在图像去量化中具有卓越的判别学习能力,对代表性特征图进行建模,以恢复尽可能多的有用信息。此外,由于对抗性学习框架可以可靠地生成高质量的自然图像,因此指定的内容损失以及对抗性损失被反向传播以优化模型的训练。最重要的是,DAGAN能够生成照片级真实感的高比特深度图像,而没有条带伪影。在多个公共基准测试上的实验结果表明,DAGAN算法具有良好的视觉效果和令人满意的量化性能。
2020-04-07 cs.CV eess.IV
Self-Attentive Spatial Adaptive Normalization for Cross-Modality Domain Adaptation
CIBM Center for Biomedical Imaging(CIBM生物医学成像中心)
尽管深度神经网络在许多具有挑战性的视觉任务上取得了成功,但它们往往无法推广到与训练数据分布不相同的新测试域。领域自适应对于具有显著领域偏移的跨模态医学数据变得更具挑战性。鉴于特定的注释成像模式可能无法访问或不完整。我们提出的解决方案是基于医学图像的跨模态合成,以减少放射科医生昂贵的注释负担,并弥合放射图像中的域差距。我们提出了一种新的方法,用于医学图像中的图像到图像的翻译,能够监督或无监督(未配对的图像数据)设置。基于对抗性训练,我们提出了一种可学习的深度卷积生成器网络中间激活的自我关注空间归一化。与以前的注意力为基础的图像到图像的翻译方法,这是特定于域或需要失真的源域的结构,我们挖掘的重要性,辅助语义信息来处理的几何变化,并保留在图像翻译的解剖结构。与最先进的方法相比,我们在多模态全心脏和多模态脑肿瘤MRI(T1/T2)数据集的未配对MRI和CT数据之间的跨模态分割方面取得了优异的结果。我们还观察到令人鼓舞的结果,在跨模态转换成对的MRI和CT图像的大脑数据集。此外,跨模态图像平移的详细分析,彻底的消融研究证实了我们提出的方法的有效性。
2021-03-05 cs.CV eess.IV
Self-Attentive Adversarial Stain Normalization
University of Virginia(弗吉尼亚大学);Aga Khan University(阿迦汗大学);University of Zambia School of Medicine(赞比亚大学医学院);Queen Mary University of London(伦敦玛丽女王大学)
苏木精和伊红(H&E)染色的全载玻片图像(WSIs)用于基于活检可视化的疾病诊断和预后评估。不同实验室站点的H&E染色过程的变化可能导致活检图像外观的显著变化。当病理学家检查切片或将其用于训练深度学习模型时,这些变化会引入不期望的偏差。为了减少这种偏差,需要在分析前将载玻片转换为常见的染色外观域。我们提出了一种自注意对抗染色归一化(SANDO)方法,用于将多个染色外观归一化到一个共同的域。这种无监督生成对抗方法包括自注意机制,用于合成具有更精细细节的图像,同时在翻译期间保持活检特征的结构一致性。与其他流行的染色标准化技术相比,SANDO在H&E染色的十二指肠活检图像数据上表现出一致和优越的性能。
2020-11-22 cs.CV eess.IV q-bio.QM
Knee Osteoarthritis Severity Prediction using an Attentive Multi-Scale Deep Convolutional Neural Network
Indian Institute of Technology Guwahati(印度古瓦哈蒂印度理工学院);Cleveland Clinic(克利夫兰诊所);Duke-NUS Medical School(杜克-新加坡国立大学医学院);National University of Singapore(新加坡国立大学)
本文提出 OsteoHRNet,结合 HRNet 多尺度特征提取与注意力机制,从膝部X光片自动预测KL分级,并在OAI数据集上取得优于已有方法的性能。
2021-06-27 cs.CV eess.IV
Luminance Attentive Networks for HDR Image and Panorama Reconstruction
School of Computer Science, Wuhan University(武汉大学计算机学院);JD Finance America Corporation(京东金融美国公司);SRI International(斯坦福国际研究院)
从低动态范围(LDR)图像重建高动态范围(HDR)图像是一个非常具有挑战性的不适定问题。本文提出了一种亮度关注的网络命名为LANet的HDR重建从一个单一的LDR图像。我们的方法基于两个基本观察:(1)以相对亮度存储的HDR图像是尺度不变的,这意味着HDR图像在乘以任何正实数时将保持相同的信息。基于这一观察,我们提出了一种新的归一化方法,称为“HDR校准”的HDR图像存储在相对亮度,校准HDR图像到一个类似的亮度尺度根据LDR图像。(2)HDR图像和LDR图像之间的主要区别在于曝光不足/过度的区域,特别是那些突出显示的区域。根据这一观察,我们提出了一个亮度注意模块与两个流结构的LANet更加关注曝光不足/过度的地区。此外,我们提出了一种扩展的panoLANet网络,用于从LDR全景图重建HDR全景图,并为panoLANet构建了一种双网络结构,以解决等矩形全景图引起的失真问题。大量的实验表明,我们提出的方法LANet可以重建视觉上令人信服的HDR图像,并证明其优越性的国家的最先进的方法在逆色调映射的所有指标。基于图像的照明应用程序与我们提出的panoLANet也表明,我们的方法可以模拟自然场景照明,仅使用LDR全景。我们的源代码可在https://github.com/LWT3437/LANet上获得。
2021-09-14 cs.CV eess.IV
Attentive Continuous Generative Self-training for Unsupervised Domain Adaptive Medical Image Translation
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland School of Dentistry(马里兰大学牙医学院)
本文提出生成式自训练框架,通过变分贝叶斯量化不确定性和自注意力弱化背景,实现无监督域自适应医学图像翻译,并在跨扫描仪MR翻译任务上验证其优于对抗训练UDA方法。
2023-05-23 cs.CV cs.LG eess.IV
A Deep Attentive Convolutional Neural Network for Automatic Cortical Plate Segmentation in Fetal MRI
Shenzhen University(深圳大学);Harvard University(哈佛大学)
胎儿大脑皮质板的分割是定量分析胎儿大脑发育和皮质折叠的基础。皮质板的手动分割或自动分割的手动细化是繁琐且耗时的。另一方面,皮质板的自动分割受到以下挑战:与皮质板的薄结构相比,重建的胎儿脑MRI扫描的分辨率相对较低,部分体积化,以及随着大脑在妊娠期间成熟,皮质板的形态变化范围很广。为了减少手动细化分割的负担,我们开发了一种新的强大的深度学习分割方法。我们的方法在一个完全卷积神经网络架构中利用了新的深度关注模块,该架构利用了深度监督和剩余连接。我们评估了我们的方法定量的基础上,几个性能指标和专家的评价。结果表明,我们的方法优于几种最先进的深度分割模型,以及最先进的多图谱分割技术。我们实现了平均Dice相似系数为0.87,平均Hausdorff距离为0.96 mm,平均对称表面差异为0.28 mm,对胎龄范围为16至39周的胎儿进行了MRI扫描。每个胎儿大脑的计算时间不到1分钟,我们的方法可以促进和加速对正常和改变的胎儿大脑皮层成熟和折叠的大规模研究。
2021-04-02 cs.CV eess.IV q-bio.QM