LIPAR: Training-free Latent Inter-Frame Pruning with Attention Recovery
University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta
本文提出LIPAR框架,通过利用视频潜在补丁中的时间冗余性,减少计算延迟,提升视频编辑效率,同时保持生成质量。
2026-11-03 cs.CV
To Find Where You Talk: Temporal Sentence Localization in Video with Attention Based Location Regression
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院);JD AI Research(京东人工智能研究院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
给定一个未修剪的视频和一个句子描述,时间句子定位的目的是自动确定视频中所描述的句子的开始和结束点。这个问题具有挑战性,因为它需要对视频和句子的理解。现有的研究主要采用了一个昂贵的“扫描和本地化”的框架,忽略了全球视频上下文和句子中的具体细节,这是这个问题的关键问题。在本文中,我们提出了一种新的基于注意力的位置回归(ABLR)的方法来解决时间句子定位从全局的角度来看。具体来说,为了保留上下文信息,ABLR首先通过双向LSTM网络对视频和句子进行编码。然后,引入多模态协同注意力机制,不仅生成反映全局视频结构的视频注意力,还生成突出时间定位关键细节的句子注意力。最后,设计了一种新的基于注意力的位置回归网络,从先前的注意力预测句子查询的时间坐标。ABLR以端到端的方式进行联合培训。在ActivityNet Captions和TACoS数据集上的综合实验证明了所提出的ABLR方法的有效性和效率。
2018-11-03 cs.CV
Dynamic Attention-controlled Cascaded Shape Regression Exploiting Training Data Augmentation and Fuzzy-set Sample Weighting
University of Surrey(萨里大学);Jiangnan University(江南大学)
我们提出了一种新的级联形状回归(CSR)架构,即动态注意力控制的CSR(DAC-CSR),用于无约束人脸上的鲁棒面部标志点检测。我们的DAC-CSR分为三个级联的子任务:面部限界框细化,一般CSR和注意力控制的CSR。前两个阶段细化初始面部边界框并输出中间面部标志。然后,使用在线动态模型选择方法来选择合适的特定领域的CSR进一步的地标细化。我们的DAC-CSR的关键创新是容错机制,使用模糊集样本加权的注意力控制特定领域的模型训练。此外,我们提倡使用简单但有效的2D轮廓人脸生成器进行数据增强,并使用上下文感知的特征提取来更好地表示面部特征。在具有挑战性的数据集上获得的实验结果证明了我们的DAC-CSR的优点。
2017-04-04 cs.CV
SCAR: Spatial-/Channel-wise Attention Regression Networks for Crowd Counting
Northwestern Polytechnical University(西北工业大学)
近年来,人群计数是人群分析中的一个热门话题。许多基于CNN的计数算法获得了良好的性能。然而,这些方法只关注人群场景的局部外观特征,而忽略了大范围像素级上下文和人群注意力信息。为了解决上述问题,本文将空间/空间方向注意力模型引入到传统的回归CNN中来估计密度图,称之为“SCAR”。它包括两个模块,即空间方向注意力模型(SAM)和空间方向注意力模型(CAM)。前者可以对整个图像的逐像素上下文进行编码,以更准确地预测像素级的密度图。后者试图在不同通道之间提取更多的区分特征,这有助于模型关注人群场景的核心-头部区域。直观地,CAM消除了背景区域的错误估计。最后,两种类型的注意力信息和传统的CNN的特征图集成的级联操作。此外,广泛的实验进行了四个流行的数据集,上海科技A/B部分,GCC和UCF_CC_50数据集。结果表明,该方法取得了较好的效果。
2019-08-10 cs.CV
Spiking Meets Attention: Efficient Remote Sensing Image Super-Resolution with Attention Spiking Neural Networks
School of Computer and Artificial Intelligence, Zhengzhou University(计算机与人工智能学院,郑州大学);Wuhan University(武汉大学);Harbin Institution of Technology(哈尔滨理工大学);Dalian Maritime University(大连海事大学);National Tsinghua University(清华大学)
本文提出基于注意力尖峰神经网络的高效遥感图像超分辨率方法,通过尖峰注意力块优化膜电位并利用全局自相似性,在多个基准上达到最先进性能。
2025-10-09 cs.CV
Recurrent Autoregressive Diffusion: Global Memory Meets Local Attention
Peking University(北京大学);Princeton University(普林斯顿大学);Nanyang Technological University(南洋理工大学)
研究针对超长视频生成中现有模型的不足,提出循环自回归扩散(RAD)框架,结合循环块与局部注意力,解决训练推理差距等问题,在相关数据集实验中展现出长视频生成的优越性。
2026-07-28 cs.CV
Facial Landmarks Detection by Self-Iterative Regression based Landmarks-Attention Network
University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research Asia(微软亚洲研究院)
基于级联回归(Cascaded Regression,CR)的人脸特征点检测方法是通过在粗、细两个阶段分别训练多个级联回归器来学习一系列下降方向。它们在精度和运行速度上都优于传统的基于梯度下降的方法。然而,级联回归不够鲁棒,因为每个回归器的训练数据来自前一个回归器的输出。此外,训练多个回归量需要大量的计算资源,特别是对于基于深度学习的方法。在本文中,我们开发了一个自迭代回归(SIR)框架,以提高模型的效率。该方法只训练一个自迭代回归器来学习样本从粗阶段到细阶段的下降方向,并由同一个回归器迭代更新参数。具体来说,我们提出了地标-注意力网络(LAN)作为我们的回归器,它同时学习每个地标周围的特征并获得整体位置增量。通过这样做,不仅去除了剩余的回归量以简化训练过程,而且显著减少了模型参数的数量。实验结果表明,该方法仅需3.72M模型参数,就达到了最佳性能。
2018-03-18 cs.CV
Point-Focused Attention Meets Context-Scan State Space: Robust Biological Visual Perception for Point Cloud Representation
College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics(南京航空航天大学人工智能学院);School of Mathematical Sciences, Beijing University of Posts and Telecommunications(北京邮电大学数学科学学院)
本文提出仿生点云表示学习网络PointLearner,结合点聚焦注意力与上下文扫描状态空间,在多点云任务中实现最优性能且鲁棒性卓越。
2026-10-09 cs.CV
Age Progression and Regression with Spatial Attention Modules
Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心);National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室)
年龄增长和回归是指美学地呈现给定的面部图像,以分别呈现面部老化和年轻化的效果。虽然在这个主题中已经进行了大量的研究,但存在两个主要问题:1)通常训练多个模型来模拟不同的年龄映射,以及2)生成的人脸图像的照片真实感受到训练图像在姿势,照明和背景方面的变化的严重影响。为了解决这些问题,在本文中,我们提出了一个基于条件生成对抗网络(cGANs)的框架,以同时实现年龄增长和回归。特别是,由于面部衰老和年轻化在图像平移模式方面有很大的不同,我们使用两个单独的生成器对这两个过程进行建模,每个生成器专用于一个年龄变化过程。此外,我们利用空间注意力机制,以限制图像修改的区域密切相关的年龄变化,使图像具有高的视觉保真度可以合成在野外的情况下。在多个数据集上的实验表明,我们的模型能够在所需年龄合成逼真的人脸图像,并保留个性化特征,并保持与年龄无关的区域不变。
2019-10-07 cs.CV
Activating Self-Attention for Multi-Scene Absolute Pose Regression
Sungkyunkwan University(成均馆大学)
本文针对多场景绝对位姿回归中Transformer自注意力图坍塌问题,从query-key嵌入空间扭曲的新视角出发,提出辅助损失对齐query与key,并采用固定正弦位置编码,有效提升了室内外场景的位姿回归性能。
2024-11-18 cs.CV
MATTER: Multiscale Attention for Registration Error Regression
Department of Electrical Engineering, Linköping University, Linköping, Sweden(Linköping大学电子工程系)
MATTER通过多尺度注意力机制实现点云注册误差的回归,提升注册质量评估的精度与鲁棒性,尤其在异质点云中表现优异。
2026-02-06 cs.CV
PointLAMA: Latent Attention meets Mamba for Efficient Point Cloud Pretraining
本文提出 PointLAMA 点云预训练框架,通过任务感知序列化、融合 PMLA 与 Mamba 的混合编码器及条件扩散去噪,以极低参数量和 FLOPs 取得有竞争力的性能。
2025-07-23 cs.CV
SwInception -- Local Attention Meets Convolutions
Chalmers University of technology(查尔姆斯理工大学);Zenseact(Zenseact公司)
提出SwInception架构,通过在Swin Transformer的前馈层引入Inception块增强归纳偏置,并改进解码器以更少参数捕捉细节,在多个医学数据集上提升分割性能。
2026-05-28 cs.CV
DiffCLIP: Differential Attention Meets CLIP
KAUST(阿卜杜拉国王科技大学)
本文提出DiffCLIP,将差分注意力机制引入CLIP双编码器,以极少参数和可忽略的计算开销在零样本分类、检索和鲁棒性任务上持续超越基线CLIP模型。
2025-03-09 cs.AI cs.CV cs.LG
Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention
通过对比注意力框架,研究揭示了MLLMs中视觉-文本融合的层次演变,并改进了多模态推理性能。
2026-08-17 cs.CV cs.MM
Knowing When to Quit: Selective Cascaded Regression with Patch Attention for Real-Time Face Alignment
Samsung Semiconductor Israel R&D Center (SIRC)(三星半导体以色列研发中心(SIRC));Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院)
人脸标志点(FLM)估计是许多人脸相关应用中的关键组成部分。在这项工作中,我们的目标是优化准确性和速度,并探索它们之间的权衡。我们的主要观察是,并非所有的面孔都是平等的。具有中性表情的正面面孔比具有极端姿势或表情的面孔收敛得更快。为了区分样本,我们训练我们的模型来预测每次迭代后的回归误差。如果当前迭代足够精确,我们停止迭代,在保持精度的同时保存冗余迭代。我们还观察到,由于相邻的补丁重叠,我们可以推断所有的面部标志(FLM),只有少量的补丁没有重大的准确性牺牲。在架构上,我们提供了一个多尺度,基于补丁,轻量级的特征提取器与细粒度的本地补丁注意模块,它计算补丁加权根据补丁本身的信息,提高了补丁功能的表达能力。我们分析补丁注意力数据,以推断模型在回归面部标志时的注意力,并将其与人类的面部注意力进行比较。我们的模型在移动终端GPU上实时的【形】运行,具有95次Mega Multiple-Add(MMA)操作,在1000 MMA下优于所有最先进的方法,在300 W挑战性数据集上的归一化平均误差为8.16。
2021-08-03 cs.CV
Paying Attention to Activation Maps in Camera Pose Regression
Bar-Ilan University(巴伊兰大学)
相机姿态回归方法将单个前向传递应用于查询图像以估计相机姿态。因此,他们提供了一个快速和轻量级的替代传统的定位方案的基础上图像检索。姿势回归方法同时学习两个回归任务,旨在使用卷积骨干计算的单个嵌入向量联合估计相机位置和方向。我们提出了一种基于注意力的姿态回归方法,其中卷积激活图被用作顺序输入。应用Transformers将顺序激活图编码为潜在向量,用于相机姿态回归。这使我们能够关注空间变化的深度特征。使用两个Transformer头,我们分别专注于相机位置和方向的功能,根据它们对每个任务的信息量。我们提出的方法被证明是比较有利的当代姿态回归计划,并实现了国家的最先进的精度在多个室外和室内基准。特别是,据我们所知,我们的方法是在户外场景中获得亚米级平均精度的唯一方法。我们让我们的代码从这里公开。
2021-04-11 cs.AI cs.CV
GeoGAT: Bidirectional Temporal Sampling Meets Hierarchical Graph Attention for Global Video Geo-localization
Information Engineering University(信息工程大学);Zhengzhou University(郑州大学)
GeoGAT通过双向时间采样与图注意力网络结合,并引入双重约束机制,解决了全球视频地理定位中多层级预测冲突问题,在CityGuessr68k和GeoGAT10k上均取得最先进性能。
2026-10-01 cs.CV
Attention Mechanism Meets with Hybrid Dense Network for Hyperspectral Image Classification
National University of Computer and Emerging Sciences(国立计算机与新兴科学大学);Innopolis University(因诺波利斯大学);University of Messina(墨西拿大学);Jalpaiguri Government Engineering College(贾尔派古里政府工程学院);Beijing Institute of Technology(北京理工大学)
卷积神经网络(CNN)确实更合适。然而,传统的CNN由于核大小固定,过于具体,既不灵活,也不利于特征学习,从而影响分类精度。不同核大小的网络的卷积可以通过捕获更多有区别的和相关的信息来克服这个问题。鉴于此,所提出的解决方案旨在将3D和2D Inception网络的核心思想与注意力机制相结合,以提高混合场景中的HSIC CNN性能。由此产生的\textit{attention-fused hybrid network}(AfNet)基于三个注意力融合的并行混合子网,每个块中具有不同的内核,重复使用高级特征来增强最终的地面实况图。简而言之,AfNet能够选择性地过滤掉对分类至关重要的判别特征。与最先进的模型相比,对HSI数据集的几项测试为AfNet提供了具有竞争力的结果。事实上,拟议的管道实现了97%的印度松树,100%的博茨瓦纳,99%的帕维亚大学,帕维亚中心和萨利纳斯数据集的整体准确性。
2022-01-04 cs.CV eess.IV
Shift-Window Meets Dual Attention: A Multi-Model Architecture for Specular Highlight Removal
College of Mechanical and Vehicle Engineering, Chongqing University(重庆大学机械与车辆工程学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Artificial Intelligence Center, Geely Automotive Research Institute(吉利汽车研究院人工智能中心)
本文提出多模型架构MM-SHR,结合卷积与注意力机制,有效去除不同尺度的镜面高光,提升视觉任务性能。
2025-12-04 cs.CV
PDANet: Polarity-consistent Deep Attention Network for Fine-grained Visual Emotion Regression
University of California, Berkeley(加州大学伯克利分校);Tsinghua University(清华大学);Xidian University(西安电子科技大学)
现有的视觉情感分析方法主要集中在粗粒度的情感分类上,即为图像分配一个占主导地位的离散情感类别。然而,这些方法不能很好地反映情感的复杂性和微妙性。本文研究了基于卷积神经网络(CNN)的视觉情感细粒度回归问题。具体来说,我们开发了一个极性一致的深度注意力网络(PDANet),一种新颖的网络架构,将注意力集成到具有情感极性约束的CNN中。首先,我们建议将空间和通道方面的注意力结合到一个CNN的视觉情感回归,共同考虑沿每个通道的局部空间连接模式和不同通道之间的相互依赖性。其次,我们设计了一种新的回归损失,即极性一致回归(PCR)损失,基于弱监督的情绪极性来指导注意力的产生。通过优化PCR损失,PDANet可以生成极性保持的注意力图,从而提高情感回归性能。在IAPS、NAPS和EMOTIC数据集上进行了大量的实验,结果表明,所提出的PDANet在细粒度视觉情感回归方面明显优于现有的方法。我们的源代码发布在:https://github.com/ZizhouJia/PDANet。
2019-09-11 cs.AI cs.CV cs.MM
A Probabilistic Attention Model with Occlusion-aware Texture Regression for 3D Hand Reconstruction from a Single RGB Image
Lancaster University(兰卡斯特大学);St John’s College of the University of Oxford(牛津大学圣约翰学院)
针对单RGB图像3D手部重建现有方法的缺陷,提出融合先验网络、AMVUR模型和遮挡感知纹理回归的概率模型,可在监督/弱监督场景下实现SOTA的手部及纹理重建精度。
2023-04-27 cs.CV
Full-attention based Neural Architecture Search using Context Auto-regression
Tianjin University(天津大学);University of Western Ontario(西安大略大学)
自我注意架构已经成为最近的进步,以提高视觉任务的性能。人工确定自注意网络的架构依赖于专家的经验,不能自动适应各种场景。同时,神经结构搜索(NAS)也极大地促进了神经结构的自动设计。因此,考虑使用NAS方法来自动发现更好的自注意体系结构是合适的。然而,由于基于单元的搜索空间的统一性和缺乏长期的内容依赖性,直接使用现有的NAS方法来搜索注意力网络是具有挑战性的。为了解决这个问题,我们提出了一种基于全注意力的NAS方法。更具体地说,逐阶段的搜索空间的构造,允许各种注意力操作,以采用不同的网络层。为了提取全局特征,提出了一种自监督搜索算法,该算法使用上下文自回归来发现全注意力结构。为了验证所提出的方法的有效性,我们进行了广泛的实验,各种学习任务,包括图像分类,细粒度图像识别,和zero-shot图像检索。实证结果表明,我们的方法是能够发现高性能,全注意力架构,同时保证所需的搜索效率强有力的证据。
2021-11-13 cs.CV cs.LG
Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出语义感知掩码 slot attention,融合语义特征与时间对应图,通过两阶段注意力与共享高斯分布实现实例识别,在无监督视频对象发现和密集标签传播任务上达到最先进性能。
2024-03-21 cs.CV
A-SCoRe: Attention-based Scene Coordinate Regression for wide-ranging scenarios
Graduate School of Information Science and Engineering, Ritsumeikan University(立命馆大学信息科学与工程研究生院);College of Information Science and Engineering, Ritsumeikan University(立命馆大学信息科学与工程学院)
本文提出基于注意力的场景坐标回归架构A-SCoRe,在描述子图层级建模像素空间关系,支持深度图、SLAM与SfM等多模态稠密或稀疏输入,并在多个基准上以更轻量、灵活的形式达到可比的先进定位性能。
2025-03-18 cs.CV
Transformers Meet Visual Learning Understanding: A Comprehensive Review
Xidian University(西安电子科技大学)
动态注意力机制和全局建模能力使Transformer表现出较强的特征学习能力。近年来,Transformer已成为计算机视觉中的CNN方法。本文主要综述了Transformer在图像和视频应用中的研究进展,对Transformer在视觉学习理解中的应用进行了全面的综述。首先,回顾了《Transformer》中的注意力机制。然后介绍了可视化的Transformer模型和各个模块的工作原理。第三,研究了现有的基于transformer的模型,并比较了它们在视觉学习理解应用中的性能。研究了计算机视觉的三种图像任务和两种视频任务。前者主要包括图像分类、目标检测和图像分割。后者包括对象跟踪和视频分类。这对于在多个公共基准数据集上比较不同模型在不同任务中的性能具有重要意义。最后,总结了目前存在的十个问题,并对可视化Transformer的发展前景进行了展望。
2022-03-24 cs.CV
Deep Learning meets Liveness Detection: Recent Advancements and Challenges
Imam Khomeini International University(伊玛目霍梅尼国际大学);University of Alicante(阿利坎特大学);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所(IPM))
面部生物识别技术作为传统身份认证系统的替代品,近年来受到了极大的关注。因此,检测恶意尝试具有重要意义,导致人脸反欺骗(FAS)的广泛研究,即,人脸呈现攻击检测与手工制作的功能相反,深度特征学习和技术有望大幅提高FAS系统的准确性,解决实现此类系统的现实应用的关键挑战。因此,一个新的研究领域,处理更广泛的发展,以及准确的模型越来越多地吸引了研究界和工业界的关注。在本文中,我们对自2017年以来与基于深度特征的FAS方法相关的文献进行了全面调查。为了阐明这一主题,语义分类的基础上,各种功能和学习方法。此外,我们还按时间顺序介绍了FAS的主要公共数据集,它们的演变过程以及评估标准(数据集内和数据集间)。最后,我们讨论了开放的研究挑战和未来的方向。
2021-12-29 cs.CV
Regression and Learning with Pixel-wise Attention for Retinal Fundus Glaucoma Segmentation and Detection
University of Florida(佛罗里达大学)
眼科医生观察视网膜眼底图像是青光眼的主要诊断方法。然而,仅通过人工观察仍然难以区分病变的特征,特别是在青光眼早期。在本文中,我们提出了两种基于深度学习的自动算法,用于青光眼检测和视盘和视杯分割。我们利用注意力机制来学习像素级特征以进行准确预测。特别是,我们提出了两个卷积神经网络,可以专注于学习各种像素级特征。此外,我们还开发了几种注意力策略来指导网络学习对预测准确性有重大影响的重要特征。我们在验证数据集上评估了我们的方法,提出的两个任务的解决方案可以取得令人印象深刻的结果,并优于当前最先进的方法。\textit{The code is available at \url{https://github.com/cswin/RLPA}}。
2020-01-06 cs.CV eess.IV
ACRNet: Attention Cube Regression Network for Multi-view Real-time 3D Human Pose Estimation in Telemedicine
Columbia University(哥伦比亚大学)
人体姿态估计(HPE)的三维骨骼重建在远程医疗一直受到关注。尽管深度学习的发展使慧与的远程医疗方法变得更简单、更易于使用,但解决低准确性和高延迟问题仍然是一个巨大的挑战。本文提出了一种新的多视图注意力立方体回归网络(ACRNet),它通过聚集每个立方体表面上的信息注意力点来实时的回归关节的3D位置。更特别的是,首先创建一个立方体,其每个表面包含具有特定坐标值的均匀分布的注意点,以从主视图包裹目标。然后,我们的网络通过加权后对每个表面上的注意点坐标进行求和和平均来回归每个关节的3D位置。为了验证我们的方法,我们首先在开源的ITOP数据集上测试了ACRNet;同时,我们在躯干支持训练器(TruST)上收集了一个新的多视图上身运动数据集(UBM),以验证我们的模型在真实康复场景中的能力。实验结果表明,ACRNet的优越性与其他国家的最先进的方法相比。我们还验证了ACRNet中每个模块的有效性。此外,我们的工作分析了ACRNet的性能下的医疗监测指标。由于该模型具有较高的精度和运行速度,适合于实时的远程医疗环境。源代码可在https://github.com/BoceHu/ACRNet上获得
2022-10-11 cs.CV cs.RO
Feature Combination Meets Attention: Baidu Soccer Embeddings and Transformer based Temporal Detection
Baidu Research(百度研究院)
随着互联网技术和新兴工具的快速发展,在线生成的体育相关视频正在以前所未有的速度增长。为了自动化体育视频编辑/高光生成过程,一个关键的任务是精确地识别和定位长的未修剪的视频中的事件。在这份技术报告中,我们提出了一个两阶段的范例来检测足球广播视频中发生的事件以及事件发生的时间。具体来说,我们对足球数据的多个动作识别模型进行了微调,以提取高层次的语义特征,并设计了一个基于Transformer的时间检测模块来定位目标事件。这种方法在两个任务中都实现了最先进的性能,即,行动发现和重播接地,在足球网v2挑战赛,根据CVPR 2021 ActivityNet研讨会。我们的足球嵌入功能在https://github.com/baidu-research/vidpress-sports上发布。通过与更广泛的社区共享这些功能,我们希望加速对足球视频理解的研究。
2021-06-28 cs.AI cs.CV cs.LG
SSM Meets Video Diffusion Models: Efficient Long-Term Video Generation with Structured State Spaces
The University of Tokyo(东京大学)
本文提出利用结构状态空间模型作为视频扩散模型的时序特征提取器,以解决传统注意力层在生成长视频序列时的计算成本问题,实验表明结构状态空间模型在内存使用和性能上更具优势。
2026-06-27 cs.AI cs.CV
Recursive Joint Attention for Audio-Visual Fusion in Regression based Emotion Recognition
École de technologie supérieure(高等技术学院)
本文提出递归联合注意力与LSTM相结合的音视频融合模型,用于回归式情绪识别,在Affwild2和Fatigue数据集上显著优于现有方法。
2023-04-17 cs.CV cs.SD eess.AS
Contextual Attention Network: Transformer Meets U-Net
RWTH Aachen University(亚琛工业大学);Iran University of Science and Technology(伊朗科技大学);Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学MEVIS研究所)
目前,卷积神经网络(CNN)(例如,U-Net)已经成为事实上的标准,并取得了巨大的成功,在医学图像分割。然而,作为缺点,基于CNN的方法是一把双刃剑,因为由于卷积运算的固有特性导致的有限的接受域,它们无法建立长距离依赖关系和全局上下文连接。因此,最近的文章已经利用Transformer变体进行医学图像分割任务,由于其通过注意力机制捕获远程相关性的固有能力,这些任务开辟了很大的机会。虽然设计可行,但大多数队列研究在捕获局部信息方面表现不佳,从而导致边界区域不清晰。在本文中,我们提出了一个上下文注意力网络来解决上述限制。该方法利用Transformer模块的强度对长距离上下文依赖进行建模。同时,它利用CNN编码器捕获本地语义信息。此外,一个对象级的表示包括模拟区域的相互作用地图。然后将提取的分层特征馈送到上下文注意力模块,以使用局部信息自适应地重新校准表示空间。然后,他们强调信息区域,同时考虑到由Transformer模块导出的长距离上下文依赖性。我们在几个大规模的公共医学图像分割数据集上验证了我们的方法,并达到了最先进的性能。我们在https://github.com/rezazad68/TMUnet中提供了实现代码。
2022-03-31 cs.CV cs.LG eess.IV
Partial Convolution Meets Visual Attention
Advanced Micro Devices, Inc.(超威半导体公司);Xi’an Jiaotong University(西安交通大学)
为解决 PConv 通道利用不足问题,提出结合 PConv 与视觉注意力的 PAT 机制及 PATNet 网络,在降低参数和延迟的同时显著提升了模型准确率与推理速度。
2025-03-05 cs.AI cs.CV
Learning Exhaustive Correlation for Spectral Super-Resolution: Where Spatial-Spectral Attention Meets Linear Dependence
Beijing Institute of Technology(北京理工大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对光谱超分辨率中现有Transformer忽略统一空间-光谱相关性和线性依赖的问题,提出穷尽相关性Transformer(ECT),结合SD3D分割策略和动态低秩映射模型,在模拟和真实数据上达到最先进性能。
2024-03-18 cs.CV eess.IV
CLAReSNet: When Convolution Meets Latent Attention for Hyperspectral Image Classification
Institute of Engineering and Management (IEM), University of Engineering and Management Kolkata, IEM Centre of Excellence for InnovAI, Department of Computer Science & Engineering(工程管理学院(IEM)、工程管理大学科塔卡尔,创新AI研究中心、计算机科学与工程系);Institute of Engineering and Management (IEM), University of Engineering and Management Kolkata, Department of Computer Science & Engineering(工程管理学院(IEM)、工程管理大学科塔卡尔,计算机科学与工程系)
CLAReSNet通过结合卷积与潜在注意力机制,有效解决超光谱图像分类中的高维度、复杂相关性和类别不平衡问题,实现高准确率。
2025-12-19 cs.AI cs.CV cs.LG
When Counting Meets HMER: Counting-Aware Network for Handwritten Mathematical Expression Recognition
Tomorrow Advancing Life(好未来);Huazhong University of Science and Technology(华中科技大学)
目前手写体数学表达式识别(HMER)方法大多采用编码器-解码器网络,利用注意力机制直接从公式图像中预测标记序列。然而,这样的方法可能无法准确地读取具有复杂结构的公式或生成长标记序列,因为注意力结果通常由于书写风格或空间布局的大变化而不准确。为了缓解这个问题,我们提出了一个非常规的网络HMER命名为计数感知网络(CAN),它联合优化两个任务:HMER和符号计数。具体来说,我们设计了一个弱监督计数模块,可以预测每个符号类的数量,而无需符号级位置注释,然后将其插入到一个典型的基于注意力的HMER编码器-解码器模型中。在HMER基准数据集上的实验验证了联合优化和计数结果都有利于纠正编码器-解码器模型的预测错误,并且CAN始终优于最先进的方法。特别地,与用于HMER的编码器-解码器模型相比,由所提出的计数模块引起的额外时间成本是微不足道的。源代码可在https://github.com/LBH1024/CAN上获得。
2022-07-23 cs.AI cs.CV
Motion meets Attention: Video Motion Prompts
Australian National University(澳大利亚国立大学);Data61/CSIRO(澳大利亚联邦科学与工业研究组织数据61分部);Curtin University(科廷大学)
本文提出即插即用的运动提示层,用改进 Sigmoid 注意力调制帧差分运动并加入时间正则化,从而替代原始帧提升动作识别性能。
2024-10-02 cs.AI cs.CV cs.LG
TransGUNet: Transformer Meets Graph-based Skip Connection for Medical Image Segmentation
Inha University(仁荷大学)
本文提出 TransGUNet,通过 ACS-GNN 图跳跃连接和 EFS 空间注意力增强多模态医学图像分割,在 6 个已见与 8 个未见数据集上取得更优性能和效率。
2025-02-14 cs.AI cs.CV
An Attention-Guided Deep Regression Model for Landmark Detection in Cephalograms
School of Electronic Engineering, Xidian University(西安电子科技大学电子工程学院);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
头影测量描记法是正畸诊断和治疗计划中常用的方法。在本文中,我们提出了一个基于深度学习的框架来自动检测头影测量X射线图像中的解剖标志。我们训练深度编码器-解码器进行地标检测,并将全局地标配置与局部高分辨率特征响应相结合。提出的框架是基于2阶段的u-网络,回归的多通道热图的地标检测。在该框架中,我们将注意力机制嵌入到全局阶段热图中,引导局部阶段推断,以高分辨率回归局部热图块。此外,扩展探索策略提高了推理的鲁棒性,在不增加模型复杂度的情况下扩大了搜索范围。我们已经评估了我们的框架中使用最广泛的公共数据集的标志性检测头影测量X射线图像。通过更少的计算和手动调整,我们的框架获得了最先进的结果。
2020-09-27 cs.CV cs.LG eess.IV
Spikformer: When Spiking Neural Network Meets Transformer
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Sea AI Lab(Sea人工智能实验室);Shenzhen EEGSmart Technology Co., Ltd.(深圳脑陆科技有限公司)
我们考虑两个生物学上合理的结构,脉冲神经网络(SNN)和自我注意力机制。前者为深度学习提供了一个节能和事件驱动的范例,而后者具有捕获特征依赖关系的能力,使Transformer能够实现良好的性能。这是直观的承诺,探索他们之间的婚姻。在本文中,我们考虑利用自我注意能力和SNN的生物学特性,并提出了一种新的尖峰自我注意(SSA)以及一个强大的框架,命名为尖峰Transformer(Spikformer)。Spikformer中的SSA机制通过使用spike-form Query、Key和Value而不使用softmax来对稀疏视觉特征进行建模。由于其计算稀疏,避免了乘法,SSA是高效的,具有低的计算能耗。结果表明,Spikformer与SSA可以优于国家的最先进的SNNs样框架在图像分类的神经形态和静态数据集。Spikformer(66.3M参数)与SEW-ResNet-152(60.2M,69.26%)大小相当,可以在ImageNet上使用4个时间步长实现74.81%的top1准确率,这是直接训练SNN模型的最新技术。
2022-11-22 cs.CV cs.LG cs.NE
CORAL8: Concurrent Object Regression for Area Localization in Medical Image Panels
The University of Queensland(昆士兰大学)
这项工作解决了多图像面板生成医疗报告的问题。我们将我们的解决方案应用于肾直接免疫荧光(RDIF)检测,该检测需要病理学家根据八种不同WSI的观察结果与现有临床特征生成报告。为此,我们提出了一种新的基于注意力的多模态生成递归神经网络(RNN)架构,能够在RDIF面板上同时动态采样图像数据。所提出的方法结合了来自请求医生的临床笔记的文本,以调节网络的输出,从而与整体临床背景保持一致。此外,我们发现了正则化的注意力权重的单词生成过程的重要性。这是因为系统可以通过为所有成员分配相等的权重来忽略注意力机制。因此,我们提出了两个正则化,迫使系统利用注意力机制。我们的新的收集RDIF WSIs由一个大型临床实验室提供的实验表明,我们的框架提供了显着的改进现有的方法。
2019-06-24 cs.AI cs.CL cs.CV
When Transformer Meets Robotic Grasping: Exploits Context for Efficient Grasp Detection
University of Science and Technology of China(中国科学技术大学)
在本文中,我们提出了一个基于转换器的架构,即TF-把握,机器人把握检测。开发的TF-Grasp框架有两个精心设计,使其非常适合视觉抓取任务。第一个关键设计是采用局部窗口注意来捕捉可抓取对象的局部上下文信息和细节特征。然后,我们应用交叉窗口注意力来建模遥远的像素之间的长期依赖关系。对象知识,环境配置和不同的视觉实体之间的关系被聚合,用于后续的抓取检测。第二个关键的设计是,我们建立了一个分层的编码器-解码器架构与跳跃连接,提供浅功能从编码器到解码器,使多尺度特征融合。由于强大的注意力机制,TF-Grasp可以同时获得局部信息(即,物体的轮廓),并对长期联系进行建模,例如杂乱中不同视觉概念之间的关系。广泛的计算实验表明,与最先进的抓取卷积模型相比,TF-Grasp实现了更好的结果,并在Cornell和Jardin抓取数据集上分别达到了97.99%和94.6%的更高准确度。使用7 DoF Franka Panda机器人的真实实验也证明了它在各种场景中抓住看不见的物体的能力。代码和预训练模型将在https://github.com/WangShaoSUN/grasp-transformer上提供
2022-09-13 cs.AI cs.CV cs.RO
BLADE: Block-Sparse Attention Meets Step Distillation for Efficient Video Generation
Zhejiang University(浙江大学);Central Media Technology Institute, Huawei Technologies(华为技术有限公司中央媒体技术研究所)
本文提出无数据联合训练框架 BLADE,通过自适应块稀疏注意力与稀疏感知 TDM 步数蒸馏协同优化视频扩散模型推理,在保持并提升生成质量的同时实现最高14.10倍加速。
2025-09-29 cs.AI cs.CV cs.LG
Deep Reinforced Attention Regression for Partial Sketch Based Image Retrieval
Rochester Institute of Technology(罗切斯特理工学院)
基于细粒度草图的图像检索(FG-SBIR)旨在从给定查询草图的大型图库中找到特定的图像。尽管FG-SBIR在许多关键领域(例如,犯罪活动跟踪),但是现有的方法仍然具有低准确性,同时对诸如草图中不必要的笔划之类的外部噪声敏感。检索性能将进一步恶化下一个更实际的飞行设置,其中只有一个部分完整的草图,只有几个(嘈杂的)中风可用于检索相应的图像。我们提出了一个新的框架,利用一个独特设计的深度强化学习模型,执行双层探索,以处理部分草图训练和注意区域选择。通过将模型的注意力集中在草图的重要区域,该模型对不必要的笔画噪声保持了鲁棒性,并大幅度提高了检索精度。为了充分探索部分草图并定位要参与的重要区域,该模型执行用于全局探索的自举策略梯度,同时调整用于局部探索的管理定位器网络的标准偏差项。训练过程由一个混合损失来指导,该混合损失集成了强化损失和监督损失。提出了一种动态的排序奖励机制,以适应基于局部草图的实时图像检索过程。在三个公开数据集上进行的大量实验表明,我们提出的方法在基于部分草图的图像检索上达到了最先进的性能。
2021-11-21 cs.CV cs.IR cs.LG
Multi-view Attention for gestational age at birth prediction
University of North Carolina(北卡罗来纳大学)
我们提出了我们的出生时胎龄预测的SLCN(表面学习临床神经成像)挑战的方法。我们的方法是基于多视图形状分析技术,从不同的角度捕捉一个3D对象的2D渲染。我们在球体表面渲染大脑特征,然后通过2D CNN和回归任务的注意力层分析2D图像。回归任务在原生空间上的MAE为1.637 +- 1.3,在模板空间上的MAE为1.38 +- 1.14。这个项目的源代码可以在我们的github存储库https://github.com/MathieuLeclercq/SLCN_challenge_UNC中找到。
2022-07-08 cs.CV cs.LG eess.IV