Residual Attention Net for Superior Cross-Domain Time Sequence Modeling
AARC;Huawei Technologies(华为技术有限公司)
我们提出了一种新的架构,剩余注意力网(RAN),它合并了一个序列架构,通用Transformer,和一个计算机视觉架构,剩余网,与跨域序列建模的高速架构。该架构旨在解决基于递归神经网络的结构经常面临的长依赖性问题。本文作为一个新的架构,RAN的目的是提供一个更高层次的序列模式的理解模型的概念验证。据我们所知,我们是第一个提出这种架构的。在标准的85个UCR数据集中,我们已经获得了35个最先进的结果,其中10个结果与当前最先进的结果相匹配,无需进一步的模型微调。结果表明,这种架构是有前途的复杂,长序列的建模,并可能有巨大的,跨领域的应用。
2020-01-13 cs.CV cs.LG
Attentional Push: Augmenting Salience with Shared Attention Modeling
McGill University(麦吉尔大学)
提出了一种基于共享注意模型的视觉注意跟踪方法。我们提出的方法模型观众作为一个参与者在现场发生的活动。我们超越了图像的显著性,而不是只计算图像区域吸引注意力的能力,我们还考虑了图像的其他区域将注意力推向该区域的强度。我们使用“注意力推动”一词来指图像区域引导和操纵观众注意力分配的能力。提出了一种注意力模型,它将注意力推送线索与标准的基于图像显着性的注意力建模算法相结合,以提高预测观众将注视的能力。实验评估验证了显着改善预测观众的固定使用所提出的方法在静态和动态图像。
2016-09-01 cs.CV
$α$-Graph: Attention-Infused Normalizing Flow Approach to Tractable Graph Modeling
University of Arkansas(阿肯色大学);Carnegie Mellon University(卡内基梅隆大学);Washington State University Vancouver(华盛顿州立大学温哥华分校)
本文提出基于注意力注入的归一化流图建模方法$\alpha$-Graph,通过可逆注意力机制和可学习查询的条件流,实现显式可处理的图结构建模,在三个基准上达到最先进性能。
2026-09-09 cs.CV cs.LG
Local and Global Graph Modeling with Edge-weighted Graph Attention Network for Handwritten Mathematical Expression Recognition
Nantes Universite(南特大学);Ecole Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);Rochester Institute of Technology(罗切斯特理工学院)
提出融合 EGAT 与局部/全局笔画级图建模的端到端 HMER 方法,将识别转化为节点与边分类,提升符号、关系及表达式识别性能。
2024-10-24 cs.CV cs.LG
Modeling Point Clouds with Self-Attention and Gumbel Subset Sampling
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
由于3D传感器的普及,几何深度学习变得越来越重要。受自然语言处理领域最新进展的启发,引入自注意Transformer来处理点云数据。我们开发了点注意力Transformers(PAT),使用一个参数有效的组洗牌注意力(GSA),以取代昂贵的多头注意力。我们证明了它的能力,以处理大小不同的输入,并证明其置换等方差。此外,先前的工作使用对输入数据的逻辑依赖(例如,以分层方式选择输入点的子集。因此,我们第一次提出了一个端到端的学习和任务无关的采样操作,命名为Gumbel子集采样(GSS),选择一个有代表性的输入点子集。该算法采用Gumbel-Softmax算法,在训练阶段产生一个“软”连续子集,在测试阶段产生一个“硬”离散子集。通过以分层方式选择代表性子集,网络以较低的计算成本学习输入集的更强表示。分类和分割基准上的实验表明了我们的方法的有效性和效率。此外,我们提出了一个新的应用程序,处理事件相机流作为点云,并实现了最先进的性能DVS 128手势数据集。
2019-04-06 cs.CV cs.LG
Attention in Reasoning: Dataset, Analysis, and Modeling
University of Minnesota(明尼苏达大学)
虽然注意力已经成为深度神经网络中越来越受欢迎的组成部分,可以解释和提高模型的性能,但很少有工作研究注意力如何完成任务以及它是否合理。在这项工作中,我们提出了一个注意力与推理能力(AIR)的框架,使用注意力来理解和改进的过程中导致任务的结果。我们首先定义一个评价指标的基础上的一系列原子推理操作,使定量测量的注意力,认为推理过程。然后,我们收集人类眼球追踪和答案正确性数据,并分析各种机器和人类注意力机制的推理能力以及它们如何影响任务性能。为了提高视觉问答模型的注意力和推理能力,我们提出在推理过程中监督注意力的学习,并区分正确和错误的注意模式。我们证明了该框架的有效性,在分析和建模的注意力更好的推理能力和任务性能。代码和数据可在https://github.com/szzexpoi/AiR上获得
2022-04-20 cs.CV
Attention-based Part Assembly for 3D Volumetric Shape Modeling
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Fraunhofer IOSB(弗劳恩霍夫光学、电子与精密工程研究所);Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心)
针对3D体积形状的部件装配问题,提出VoxAttention注意力架构及通道级部件注意力变体,以学习部件关系并生成变换,实验表明其优于多数最先进方法。
2023-04-17 cs.CV
Knowing What, Where and When to Look: Efficient Video Action Modeling with Attention
Samsung AI Centre(三星人工智能中心);University of Surrey(萨里大学)
由于无约束视频在时间和空间上具有丰富的冗余信息,因此注意视频建模对于无约束视频中的动作识别至关重要。然而,由于两个原因,在深度神经网络中引入注意力以进行动作识别是具有挑战性的。首先,一个有效的注意力模块需要学习什么(对象及其局部运动模式),在哪里(空间),以及何时(时间)关注。其次,视频注意力模块必须是有效的,因为现有的动作识别模型已经遭受高计算成本。为了解决这两个挑战,提出了一种新的What-Where-When(W3)视频注意模块。从现有的替代方案出发,我们的W3模块模型的所有三个方面的视频注意力联合。至关重要的是,它通过将高维视频特征数据分解为低维有意义的空间(“什么”的1D通道向量和“哪里”的2D空间张量),然后进行轻量级的时间注意力推理,效率非常高。大量的实验表明,我们的注意力模型带来了显着的改进,现有的动作识别模型,实现了新的国家的最先进的性能在一些基准。
2020-04-02 cs.CV
Connecting Gaze, Scene, and Attention: Generalized Attention Estimation via Joint Modeling of Gaze and Scene Saliency
Georgia Institute of Technology(佐治亚理工学院)
本文讨论了具有挑战性的问题,估计一般的视觉注意的人在图像中。我们提出的方法旨在跨多个自然主义的社会场景,并提供了一个完整的图片的主题的注意力和目光。相比之下,早期的作品凝视和注意力估计集中在更具体的情况下的约束问题。特别是,我们的模型显式地表示注视方向和处理帧外注视目标。我们使用多任务学习方法利用三个不同的数据集。我们评估了我们的方法广泛使用的单一任务的基准,如凝视角度估计和注意力内的一个图像,以及在新的挑战性任务的广义视觉注意力预测。此外,我们还为实验中使用的MMDB和GazeFollow数据集创建了扩展注释,我们将公开发布。
2018-07-27 cs.CV
Spatiotemporal Self-attention Modeling with Temporal Patch Shift for Action Recognition
The Hong Kong Polytechnic University(香港理工大学);DAMO Academy, Alibaba(阿里巴巴达摩院)
基于变换器的方法最近在基于2D图像的视觉任务上取得了很大的进步。然而,对于基于3D视频的任务,如动作识别,直接应用时空Transformers的视频数据将带来沉重的计算和内存负担,由于补丁的数量大大增加和自注意计算的二次复杂度。如何高效地对视频数据的3D自注意力建模一直是Transformers面临的巨大挑战。在本文中,我们提出了一个时间补丁移位(TPS)的方法,有效的3D自我注意力建模Transformers基于视频的动作识别。TPS在时间维度上移动具有特定镶嵌模式的部分斑块,从而将香草空间自注意操作转换为时空操作,并且几乎没有额外的成本。因此,我们可以使用与2D自我注意力几乎相同的计算和内存成本来计算3D自我注意力。TPS是一个即插即用的模块,可以插入到现有的2D Transformer模型,以增强时空特征学习。所提出的方法在Something-something V1 & V2、Diving-48和Kinetics 400上实现了具有竞争力的性能,同时在计算和内存成本上更有效。TPS的源代码可以在https://github.com/MartinXM/TPS上找到。
2022-07-27 cs.AI cs.CV cs.LG
Recursive Recurrent Nets with Attention Modeling for OCR in the Wild
UC San Diego(加州大学圣迭戈分校);Flickr / Yahoo Inc.(Flickr/雅虎公司)
我们提出了递归递归神经网络与注意力建模(R $^2$ AM)的字典自由光学字符识别在自然场景图像。所提出的方法的主要优点是:(1)使用递归卷积神经网络(CNN),其允许参数高效和有效的图像特征提取;(2)隐式学习的字符级语言模型,其体现在避免需要使用N元语法的递归神经网络中;以及(3)软注意力机制的使用,允许模型以协调的方式选择性地利用图像特征,并且允许在标准反向传播框架内进行端到端训练。我们在具有挑战性的基准数据集上以最先进的性能验证了我们的方法:街景文本、IIIT 5 k、ICDAR和Synth 90 k。
2016-03-09 cs.CV
ENA: Efficient N-dimensional Attention
Independent Researcher(独立研究者)
本文提出ENA架构,通过将线性循环模型与分块高阶滑动窗口注意力相结合,以线性循环压缩全局信息、SWA强化局部建模,为超长高阶数据建模提供高效实用的解决方案。
2025-08-16 cs.AI cs.CV cs.LG
Attention-guided Spectrogram Sequence Modeling with CNNs for Music Genre Classification
IIT Hyderabad(印度理工学院海得拉巴分校)
本文提出利用CNN与多头注意力对频谱图序列建模,捕捉音乐中时序关键片段形成流派签名,以提升音乐流派分类准确率并支撑个性化推荐。
2024-11-18 cs.CV cs.LG cs.SD
Contextformer: A Transformer with Spatio-Channel Attention for Context Modeling in Learned Image Compression
Technical University of Munich(慕尼黑工业大学);Huawei Munich Research Center(华为慕尼黑研究中心);Tencent America(腾讯美国公司);Huawei Moscow Research Center(华为莫斯科研究中心)
本文提出Contextformer,将Transformer注意力推广到空间-通道维度以改进图像压缩的熵建模,在多个数据集上相比VTM 16.2节省最高11%码率并提升PSNR和MS-SSIM。
2022-07-20 cs.CV cs.LG eess.IV
GTA: Global Temporal Attention for Video Action Understanding
University of Maryland(马里兰大学);Fudan University(复旦大学);Facebook AI(Facebook人工智能)
自我注意力学习成对交互来建模长距离依赖关系,从而极大地改进了视频动作识别。在本文中,我们寻求更深入的理解自注意视频中的时间建模。我们首先证明,纠缠模型的时空信息平坦的所有像素是次优的,无法捕捉帧之间的时间关系明确。为此,我们引入了全局时间注意力(GTA),它以解耦的方式在空间注意力之上执行全局时间注意力。我们将GTA应用于像素和语义相似的区域,以捕获不同级别的空间粒度的时间关系。与传统的计算特定于实例的注意力矩阵的自注意力不同,GTA直接学习全局注意力矩阵,该矩阵旨在对跨不同样本进行概括的时间结构进行编码。我们进一步增强GTA与跨通道多头时尚,利用更好的时间建模通道的相互作用。在2D和3D网络上进行的大量实验表明,我们的方法始终增强了时间建模,并在三个视频动作识别数据集上提供了最先进的性能。
2021-11-02 cs.CV
Attend to Anything: Foundation Model for Unified Human Attention Modeling
College of Computer Science, Sichuan University, Chengdu, 610065, China(四川大学计算机学院);National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University, Chengdu, 610065, China(合成视觉基础科学国家重点实验室)
提出 Attend to Anything Model (AAM),一种多模态基础模型,通过层次化语言提示和双曲空间嵌入统一图像、视频和视听任务中的注意力建模,并在16个基准上平均提升6%,视频推理加速约4倍。
2026-06-02 cs.CV
Ultrasound Image Representation Learning by Modeling Sonographer Visual Attention
University of Oxford(牛津大学)
图像表示通常从类标签中学习,这是人类图像理解的简单近似。在本文中,我们证明了可转移的图像表示可以学习,而无需手动注释,通过模拟人类的视觉注意。我们的分析的基础是一个独特的视线跟踪数据集的超声医师进行常规临床胎儿异常筛查。通过训练卷积神经网络(CNN)来学习超声医师视觉注意力的模型,以通过视觉显著性预测或注视点回归来预测超声视频帧上的注视。我们评估的可转移性的学习表示的任务,超声标准平面检测在两种情况下。首先,我们通过使用有限数量的标记标准平面图像微调CNN来执行迁移学习。我们发现,微调显着性预测优于随机初始化训练,总体平均F1分数提高了9.6%,心脏平面平均提高了15.3%。其次,我们对每个CNN层的特征激活进行训练,以便独立于迁移学习超参数来评估表示。我们发现,注意力模型得到了强有力的表示,除了最后一层之外,几乎达到了完全监督基线模型的精度。
2019-05-27 cs.CV cs.LG cs.NE
G^2RA-NET: Graph-based Cross-Slice Relation Modeling with Attention Gating for Medical Image Segmentation
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);Chengyi College, Jimei University(集美大学诚毅学院)
提出G^2RA-Net,结合图基跨切片关系建模与注意力门控,提升各向异性医学图像分割的准确性和边界质量。
2026-09-18 cs.CV
Interpretable Modeling of Driver Attention Shifts with a Vision-Language Model
Texas Tech University(德克萨斯理工大学);Towson University(托森大学)
本研究通过少量人工监督微调视觉-语言模型,生成可解释的驾驶员注意力转移描述,以补充传统注视热图,提升人因分析、监控和态势感知支持。
2026-06-02 cs.CV
Multiscale Self Attentive Convolutions for Vision and Language Modeling
Microsoft(微软)
自注意力机制已经成为许多最先进的语言理解模型的关键组成部分。本文证明了自注意力算子可以用1 × 1卷积运算表示。根据这一观察,我们提出了几个新的运营商:首先,我们介绍了一个二维版本的自注意力,适用于二维信号,如图像。其次,我们提出了1D和2D自注意卷积(SAC)算子,分别将自注意力从1x 1卷积推广到1xm和nxm卷积。虽然1D和2D自注意力对单个单词和像素进行操作,但SAC分别对m-gram和图像块进行操作。第三,我们提出了一个多尺度版本的SAC(MSAC),它通过采用多个SAC运营商,不同的过滤器大小,并行分析输入。最后,我们解释了如何MSAC可以用于视觉和语言建模,并进一步利用MSAC形成一个交叉关注的图像相似性机制。
2019-12-03 cs.CL cs.CV cs.LG
Attention in Attention: Modeling Context Correlation for Efficient Video Classification
University of Science and Technology of China(中国科学技术大学);Wuhan Research Institute of Posts and Telecommunications(武汉邮电科学研究院);Hefei University of Technology(合肥工业大学);Wuhan Institute of Technology(武汉工程大学)
注意力机制利用视角上下文显著提高了视频分类神经网络的性能。然而,目前对视频注意力的研究通常集中在采用上下文的特定方面(例如,信道、空间/时间或全局上下文)来细化特征,并在计算注意力时忽略它们的潜在相关性。这导致不完全的上下文利用,从而承担有限的性能提高的弱点。为了解决这个问题,本文提出了一种有效的注意力(AIA)方法,用于元素特征细化,研究了将通道上下文插入时空注意力学习模块(称为CinST)及其反向变体(称为STinC)的可行性。具体来说,我们将视频特征上下文实例化为沿特定轴聚合的动态,具有全局平均和最大池化操作。AIA模块的工作流程是,第一注意力块使用一种上下文信息来指导针对另一上下文的第二注意力的选通权重计算。此外,注意单元中的所有计算操作都作用于池维,这导致相当少的计算成本增加($<$ 0.02\%)。为了验证我们的方法,我们密集地将其集成到两个经典的视频网络骨干,并在几个标准的视频分类基准上进行了广泛的实验。我们的AIA源代码可在\url{https://github.com/haoyanbin918/Attention-in-Attention}获得。
2022-04-20 cs.CV
What to Hide from Your Students: Attention-Guided Masked Image Modeling
National Technical University of Athens(雅典国立技术大学);Institute of Advanced Research in Artificial Intelligence (IARAI)(人工智能高级研究院(IARAI));Athena RC(雅典娜研究中心);University of Crete(克里特大学);IACM-Forth(希腊计算机科学研究所-基础研究与技术基金会)
Transformers和掩蔽语言建模作为视觉Transformer和掩码图像建模(MIM)在计算机视觉中被迅速采用和探索。在这项工作中,我们认为,图像令牌掩蔽不同于文本中的令牌掩蔽,由于在图像中的令牌的数量和相关性。特别是,要生成一个具有挑战性的借口任务MIM,我们主张从随机掩蔽知情掩蔽。我们开发和展示这种想法的背景下,蒸馏为基础的MIM,教师Transformer编码器生成的注意力地图,我们用它来指导掩蔽的学生。因此,我们引入了一种新的掩蔽策略,称为注意力引导掩蔽(AttMask),我们证明了其有效性超过随机掩蔽的密集蒸馏为基础的MIM以及平原蒸馏为基础的自监督学习分类令牌。我们确认AttMask加速了学习过程,并提高了各种下游任务的性能。我们在https://github.com/gkakogeorgiou/attmask上提供了实现代码。
2022-07-22 cs.CV
Translution: Unifying Self-attention and Convolution for Adaptive and Relative Modeling
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
本文提出Translution操作,统一了自注意力的自适应识别能力与卷积的相对编码优势,并设计了轻量级变体α-Translution,在视觉和NLP任务上准确率优于自注意力。
2025-10-11 cs.AI cs.CL cs.CV
Co-distilled attention guided masked image modeling with noisy teacher for self-supervised learning on medical images
Memorial Sloan Kettering Cancer Center(纪念斯隆凯特林癌症中心)
本文提出DAGMaN框架,通过引导注意力的掩码机制和噪声教师提升医学图像自监督学习的效果,减少信息泄露并增强预训练难度,应用于肺结节分类、免疫治疗预测等任务。
2026-04-16 cs.CV
Self-distilled Masked Attention guided masked image modeling with noise Regularized Teacher (SMART) for medical image analysis
本文提出SMARTFormer,通过语义注意力增强Swin Transformer并结合噪声动量教师引导掩码图像建模,在肺结节分类、肺癌治疗反应预测等医学图像分析任务中取得高准确率。
2024-07-03 cs.CV
Weakly-Supervised Action Localization by Generative Attention Modeling
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
弱监督时间动作定位是一个学习动作定位模型的问题,只有视频级的动作标记可用。一般框架主要依赖于分类激活,它采用注意力模型来识别动作相关帧,然后将它们分类到不同的类。这种方法导致动作上下文混淆的问题:动作片段附近的上下文帧往往被识别为动作帧本身,因为它们与特定的类密切相关。为了解决这个问题,在本文中,我们提出了模型的类不可知帧的概率条件下的帧注意使用条件变分自动编码器(VAE)。通过观察到上下文在表示级别上表现出与动作的显著差异,概率模型,即,条件VAE被学习以对给定注意力的每个帧的可能性进行建模。通过最大化关于注意力的条件概率,动作和非动作框架被很好地分离。在THUMOS 14和ActivityNet1.2上的实验表明了该方法的优越性和处理动作上下文混淆问题的有效性。代码现在在GitHub上可用。
2020-03-30 cs.CV
Unified Attention Modeling for Efficient Free-Viewing and Visual Search via Shared Representations
Department of Engineering Cybernetics, Norwegian University of Science and Technology (NTNU)(工程 cybernetics 系,挪威科学技术大学(NTNU))
本文基于HAT提出统一注意力模型,证明自由观看与视觉搜索可共享表示,迁移后扫描路径性能仅下降3.86%,同时大幅降低计算成本与参数量。
2025-06-03 cs.AI cs.CV
Linear Attention Modeling for Learned Image Compression
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
针对现有学习型图像压缩研究多聚焦强骨干、少考虑低复杂度设计的问题,提出基于线性注意力的LALIC方法,采用Bi-RWKV块与RWKV-SCCTX模型,在多个数据集上取得优于VTM-9.1的率失真性能。
2025-03-22 cs.CV
DrivenMorph: Bridging Attention Mechanism and Variational Image Registration via Difference Modeling
提出DrivenMorph框架,通过差异建模作为物理启发归纳偏置,结合注意力机制与变分图像配准,利用神经Demons层模拟力-位移交互生成平滑形变,在3D脑MRI数据集上优于现有方法。
2026-06-29 cs.CV
Context Matters: Query-aware Dynamic Long Sequence Modeling of Gigapixel Images
Hong Kong University of Science and Technology(香港科技大学);Beijing Institute of Collaborative Innovation(北京协同创新研究院);Peking University(北京大学)
本文提出Querent框架,通过查询感知的动态长序列建模,在千兆像素全切片图像分析中实现高效且近似完整自注意力的性能,并在多个WSI数据集上超越现有方法。
2025-05-24 cs.CV
OpenVAM: Open-World Visual Attention Modeling with VLMs
University of Tehran(德黑兰大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);University Health Network(大学健康网络)
OpenVAM提出统一框架,结合密集视觉通路与视觉-语言语义头,实现跨领域注视预测的通用性与可解释性,并通过三阶段训练和可扩展注释流水线提升鲁棒性。
2026-09-28 cs.CV
Demographic-Guided Attention in Recurrent Neural Networks for Modeling Neuropathophysiological Heterogeneity
Yale University(耶鲁大学);Yale School of Medicine(耶鲁大学医学院)
神经系统疾病的异质性表现表明大脑中发生的潜在病理生理变化存在潜在差异。我们建议使用人口统计学引导的注意力(DGA)机制对功能网络差异的异构模式进行建模,用于根据功能磁共振成像(fMRI)时间序列数据进行预测的循环神经网络模型。从DGA头计算的上下文用于帮助基于个人人口统计信息关注适当的功能网络。我们展示了在已发表的研究中使用的ABIDE I数据集的3个子集上改进的分类,这些研究先前已经产生了最先进的结果,在留一个站点交叉验证框架下评估性能,以便更好地概括新数据。最后,我们提供了基于个人人口统计变量解释功能网络差异的例子。
2021-04-15 cs.CV cs.LG eess.IV
Modeling the Impact of Visual Brand Language on Attention, Object Recognition, and Memory Retrieval
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究探究视觉品牌语言对物体功能身份识别的影响,基于JIM物体识别模型与LISA类比推理模型构建框架开展仿真,发现品牌信息会捕获注意力、拖慢物体功能类别识别,品牌强度越高效应越强。
2026-07-07 cs.AI cs.CV cs.HC
EchoMask: Speech-Queried Attention-based Mask Modeling for Holistic Co-Speech Motion Generation
Wuhan University(武汉大学);Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团)
本研究提出EchoMask框架,通过MAM和SQA实现动作对齐的语音特征引导的掩码建模,生成高质量同步语音动作,性能优于现有最先进方法。
2026-08-18 cs.CV cs.GR cs.SD
Perceiver-VL: Efficient Vision-and-Language Modeling with Iterative Latent Attention
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
我们提出了Perceiver-VL,这是一个视觉和语言框架,可以有效地处理长视频和文本等高维多模态输入。由Perceiver的迭代潜在交叉注意力提供支持,我们的框架具有线性复杂度,与许多最先进的基于transformer的模型中使用的自我注意力的二次复杂度形成对比。为了进一步提高我们的框架的效率,我们还研究了在交叉注意层上应用LayerDrop,并为跨模态检索引入了一个混合流架构。我们在不同的视频-文本和图像-文本基准测试中评估了Perceiver-VL,其中Perceiver-VL实现了最低的GFLOP和延迟,同时保持了具有竞争力的性能。此外,我们还提供了对我们框架各个方面的全面分析,包括预训练数据,潜在大小和输入大小的可扩展性,在推理时丢弃交叉注意层以减少延迟,模态聚合策略,位置编码和权重初始化策略。我们的代码和检查点可在https://github.com/zinengtang/Perceiver_VL上找到
2022-11-21 cs.AI cs.CL cs.CV
Interpretable and Sparse Linear Attention with Decoupled Membership-Subspace Modeling via MCR2 Objective
本文提出了解耦的成员-子空间注意力(DMSA),通过MCR2目标实现可解释且稀疏的线性注意力,提升视觉建模的效率和可解释性。
2026-01-20 cs.AI cs.CV
Cross-Domain Image Retrieval with Attention Modeling
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);University of Electronic Science and Technology of China(电子科技大学)
随着电子商务网站的激增和智能手机的普及,使用智能手机拍摄的图像作为查询来搜索电子商务网站上的产品的跨域图像检索正在成为一种流行的应用。这个任务的一个挑战是定位查询和数据库图像的注意力。具体地,电子商务网站上的例如时尚产品的数据库图像通常与其他附件一起显示,并且用户拍摄的图像包含嘈杂的背景以及取向和照明的大变化。因此,他们的注意力很难定位。在本文中,我们利用电子商务网站上丰富的标签信息来定位数据库图像的注意。对于查询图像,我们使用数据库中的每个候选图像作为上下文来定位查询注意力。提出了新的深度卷积神经网络架构,即TagYNet和CtxYNet,以学习注意力权重,然后提取图像的有效表示。在公共数据集上的实验结果表明,该方法在检索精度和效率上都比现有方法有显著的提高。
2017-09-06 cs.CV cs.IR cs.MM
Plan-Recognition-Driven Attention Modeling for Visual Recognition
Arizona State University(亚利桑那州立大学)
人类对活动或外部代理的视觉识别涉及高级计划识别和低级感知之间的相互作用。鉴于此,一个自然的问题是:低层次的感知是否可以通过高层次的计划识别来改善?我们制定的问题,利用公认的计划,以产生更好的自上而下的注意力地图\cite{gazzaniga2009,baluch2011},以提高感知性能。我们将这些自上而下的注意力地图称为计划识别驱动的注意力地图。为了解决这个问题,我们引入了像素动态网络。像素动态网络作为一个观察模型,它预测对象点在每个像素位置的下一个状态给定的像素和像素级的动作特征的观察。这就像在内部学习像素级动态模型。像素动态网络是一种卷积神经网络(ConvNet),具有特殊的结构。因此,像素动力学网络可以利用ConvNets的并行计算,同时学习像素级动力学模型。进一步证明了像素动态网络作为观测模型与部分可观测马尔可夫决策过程(POMDP)框架中的信念更新之间的等价性。我们在事件识别任务中评估我们的像素动态网络。我们建立了一个事件识别系统,ER-PRN,它采取像素动态网络作为一个子程序,识别事件的基础上增加了计划识别驱动的注意观察。
2021-10-14 cs.AI cs.CV
SUM: Saliency Unification through Mamba for Visual Attention Modeling
University of Tehran(德黑兰大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);University Health Network(大学健康网络)
本文提出 SUM 框架,将 Mamba 与 U-Net 结合,并通过 C-VSS 块动态适配自然场景、网页和商业图像,在五个基准上实现统一且优于现有方法的视觉显著性预测。
2024-09-09 cs.AI cs.CV