Learnable Instance Attention Filtering for Adaptive Detector Distillation
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Bowling Green State University(博林格林州立大学)
本文提出LIAF-KD框架,通过可学习的实例选择器动态评估和重新加权实例重要性,提升检测器蒸馏效果,在KITTI和COCO数据集上实现2%的提升。
2026-03-27 cs.CV
Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Lab(鹏城实验室);DAMO Academy at Alibaba Group(阿里巴巴达摩院)
对于图像修补,以往的卷积神经网络(CNN)通常采用标准卷积算子,对有效像素和空洞进行不可分割的处理。因此,它们在处理不规则孔方面受到限制,并且倾向于产生颜色不一致和模糊的修补结果。部分卷积(PConv)通过仅以有效像素为条件进行掩码卷积和特征重新归一化来解决这个问题,但掩码更新是手工制作的,与图像结构信息无关。在本文中,我们提出了一个边缘引导的可学习的双向注意图(边缘LBAM),以提高图像修补的不规则孔有几个明显的优点。代替使用硬0-1掩码,引入可学习的注意力映射模块,用于以端到端的方式学习特征重新规范化和掩码更新。在解码器中进一步提出了可学习的反向注意力映射,强调填充未知像素而不是重建所有像素。由于填充顺序对修复结果至关重要,并且在很大程度上取决于基于样本的方法中的图像结构,因此我们进一步提出了一种多尺度边缘完成网络来预测相干边缘。我们的Edge-LBAM方法包含两个过程,包括由预测边缘引导的结构感知的掩模更新和由掩模生成的用于特征重新归一化的注意力图。大量的实验表明,我们的Edge-LBAM在生成连贯的图像结构和防止颜色差异和模糊方面是有效的,并且在定性度量和视觉质量方面优于最先进的方法。
2021-04-25 cs.CV
Learnable Multi-level Frequency Decomposition and Hierarchical Attention Mechanism for Generalized Face Presentation Attack Detection
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形研究所);TU Darmstadt(达姆施塔特工业大学)
随着人脸识别系统在日常生活中的应用越来越广泛,人脸呈现攻击检测(PAD)技术越来越受到人们的关注,并在人脸识别系统的安全保护中发挥着重要作用。尽管手工制作和基于深度学习的方法在数据集内评估中取得了很好的性能,但在处理看不见的场景时,性能会下降。在这项工作中,我们提出了一个双流卷积神经网络(CNN)的框架。一个流适应四个可学习的频率滤波器来学习频域中的特征,其受传感器/照明变化的影响较小。另一个流利用RGB图像来补充频域的特征。此外,我们提出了一个层次化的注意力模块集成,通过考虑CNN不同层中深度特征的性质,在不同阶段将来自两个流的信息连接起来。在数据集内和跨数据集设置中对所提出的方法进行了评估,结果表明,与最先进的方法相比,我们所提出的方法增强了大多数实验设置的通用性,包括明确设计用于域自适应/移位问题的方法。我们成功地证明了我们提出的PAD解决方案的设计,在逐步消融研究,涉及我们提出的可学习的频率分解,我们的分层注意模块设计,和使用的损失函数。公开发布训练代码和预训练模型
2021-11-02 cs.CV
Adaptive Sparse ViT: Towards Learnable Adaptive Token Pruning by Fully Exploiting Self-Attention
Peking University(北京大学);Baidu Research(百度研究院)
本文提出自适应稀疏ViT框架,利用注意力头重要性加权评分与可学习阈值实现分层令牌剪枝,在DeiT-S上吞吐量提升50%且准确率仅下降0.2%。
2023-07-06 cs.CV
Reference-based OCT Angiogram Super-resolution with Learnable Texture Generation
The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong(香港中文大学)
针对OCTA成像中视野增大导致分辨率下降的问题,提出基于参考的超分辨率框架LTGNet,用可学习纹理生成器替代参考图像搜索,扩大纹理空间,无需参考图像,实验证明性能与鲁棒性优于现有方法。
2023-05-10 cs.CV cs.LG eess.IV
CoSA: Correlation-Guided Change Attention with Learnable Residual Gating for Remote Sensing Change Detection
Department of Data Science, Graduate School of Kookmin University(国民大学研究生院数据科学系)
提出CoSA模块,利用双时特征相关性作为控制信号,通过可学习残差门控增强变化感知,在四个基准数据集上提升变化类F1达1.5-2.6%,参数开销极小。
2026-06-23 cs.CV
State-Space Hierarchical Compression with Gated Attention and Learnable Sampling for Hour-Long Video Understanding in Large Multimodal Models
本文提出了一种基于状态空间模型和门控注意力的高效压缩方法,用于减少大模型中小时级视频的token消耗,同时保持性能。
2026-02-07 cs.CV
SLA2: Sparse-Linear Attention with Learnable Routing and Quantization-aware Training
Tsinghua University(清华大学)
SLA2通过可学习路由和量化感知训练,提升稀疏-线性注意力的效率和性能
2026-10-20 cs.AI cs.CV cs.LG
Kolmogorov-Arnold Attention: Is Learnable Attention Better For Vision Transformers?
Department of Computer Science(计算机科学系);Department of Mathematics(数学系)
本研究提出首款适用于视觉Transformer的可学习注意力机制KArAt,通过低秩近似解决内存爆炸问题,在多个数据集上取得与传统softmax注意力相当或更优的性能,首次证明注意力可被学习,为相关研究提供新方向。
2025-10-21 cs.CV cs.LG
ABLE-NeRF: Attention-Based Rendering with Learnable Embeddings for Neural Radiance Field
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
提出ABLE-NeRF,利用自注意力机制和可学习嵌入改进神经辐射场,减少光泽表面模糊并真实渲染半透明物体,在Blender数据集上超越Ref-NeRF。
2023-03-24 cs.CV
Explicitly Modeled Attention Maps for Image Classification
Technical University of Munich(慕尼黑工业大学);University of Freiburg(弗莱堡大学);University of Bonn(波恩大学);Robert Bosch GmbH(罗伯特·博世有限公司)
自注意网络在图像分类等计算机视觉任务中取得了显着进展。自我注意力机制的主要好处是能够在注意力地图中捕获长距离特征交互。然而,注意力地图的计算需要可学习的键、查询和位置编码,其使用通常不直观并且计算昂贵。为了缓解这个问题,我们提出了一种新的自我注意力模块,明确建模的注意力地图只使用一个单一的可学习的参数,计算开销低。使用几何先验的显式建模的注意力地图的设计是基于这样的观察,即图像内给定像素的空间上下文主要由其邻居主导,而更远的像素具有较小的贡献。具体地说,注意力地图通过简单的函数(例如,高斯核),具有可学习的半径,其独立于输入内容进行建模。我们的评估表明,我们的方法在ImageNet ILSVRC中的ResNet基线上实现了高达2.2%的准确性提高,并且比其他自注意力方法(如AA-ResNet 152)的准确性提高了0.9%,参数减少了6.4%,GFLOPs减少了6.7%。这一结果从经验上表明了将几何先验引入自注意力机制在图像分类中的应用价值。
2021-03-18 cs.CV
Learnable Pooling Methods for Video Classification
University of Toronto(多伦多大学)
我们介绍了修改国家的最先进的方法,通过使用注意力机制和功能近似聚合本地视频描述符。我们提供了创建新架构的见解,而不是使用现有架构的集合。我们在“第二届YouTube-8 M视频理解挑战赛”中通过使用帧级视频和音频描述符展示了我们的解决方案。我们获得了与最先进水平相似的测试精度,同时满足预算限制,并触及了改进最先进水平的策略。模型实现可在https://github.com/pomonam/LearnablePoolingMethods中获得。
2018-10-01 cs.CV
LeMeViT: Efficient Vision Transformer with Learnable Meta Tokens for Remote Sensing Image Interpretation
Wuhan University(武汉大学);The University of Sydney(悉尼大学)
针对遥感图像视觉Transformer效率与性能难平衡的问题,提出带可学习元令牌的LeMeViT架构,通过双交叉注意力实现令牌交互,在分类与密集预测任务上实现1.7倍加速且性能具竞争力。
2024-05-16 cs.CV
Geometric Attention for Prediction of Differential Properties in 3D Point Clouds
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);New York University(纽约大学)
离散三维数据表示中微分几何量的估计是几何处理流水线中的关键步骤之一。具体来说,从原始点云估计法线和尖锐的特征线有助于提高网格质量,并允许我们使用更精确的表面重建技术。当设计一个可学习的方法来解决这些问题时,主要的困难是在点云中选择邻域并结合点之间的几何关系。在这项研究中,我们提出了一个几何注意力机制,可以提供这样的属性在一个可学习的方式。我们建立了有用的建议的技术与几个实验的预测法向量和提取的特征线。
2020-08-06 cs.CV
ARM: A Learnable, Plug-and-Play Module for CLIP-based Open-vocabulary Semantic Segmentation
Southwest University of Science and Technology, China(西南科技大学)
ARM是一种可学习的即插即用模块,通过自适应融合层次特征提升基于CLIP的开放词汇语义分割性能。
2025-12-30 cs.CV
Pose-Free Feed-Forward 3D Inpainting via Learnable Mask Attention and Support Token Refinement
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
FreeInpaint是一种无姿态前馈三维补全框架,通过可学习掩码注意力与支持令牌优化解决掩码输入适配问题,无需预计算相机姿态即可实现高质量三维场景补全,且推理速度快。
2026-10-09 cs.CV
BoQ: A Place is Worth a Bag of Learnable Queries
Department of Computer Science and Software Engineering(计算机科学与软件工程系);Université Laval(拉瓦尔大学)
本文提出 Bag-of-Queries (BoQ) 技术,通过可学习的全局查询和交叉注意力机制捕获位置特征,在 14 个基准上优于现有方法,且比两阶段方法更快更高效。
2024-11-13 cs.CV
Multi-layer Learnable Attention Mask for Multimodal Tasks
Dartmouth College(达特茅斯学院)
针对Transformer自注意力机制在多模态等复杂场景下因token粒度差异和长序列计算量大导致效果不佳的问题,提出多层可学习注意力掩码(LAM)以全局调节注意力图、优先关键token,在缓解冗余计算的同时显著提升模型性能。
2024-06-04 cs.AI cs.CV cs.LG
Fine-tuning Image Transformers using Learnable Memory
Google Inc.(谷歌公司)
在本文中,我们提出了增强视觉Transformer模型与可学习的记忆令牌。我们的方法允许模型使用很少的参数来适应新的任务,同时可选地保留其在以前学习的任务上的能力。在每一层,我们引入了一组可学习的嵌入向量,这些向量提供了对特定数据集有用的上下文信息。我们称之为“记忆令牌”。我们发现,与传统的仅头部微调相比,每层仅用少数这样的令牌来增强模型可以显着提高准确性,并且仅略低于显着更昂贵的完全微调。然后,我们提出了一种注意力掩蔽方法,可以扩展到新的下游任务,并具有计算重用。在这种设置中,除了参数高效之外,模型还可以以较小的增量成本执行旧任务和新任务作为单个推理的一部分。
2022-03-30 cs.CV
Indirect-Instant Attention Optimization for Crowd Counting in Dense Scenes
Qingdao University(青岛大学)
引导可学习参数优化(如特征映射)的吸引人的方法之一是全局注意力,它以一小部分成本启发了网络智能。然而,它的损失计算过程仍然存在不足:1)我们只能为注意力产生一维的“伪标签”,因为过程中涉及的人工阈值并不鲁棒; 2)等待损失计算的注意力必然是高维的,通过卷积减少它将不可避免地引入额外的可学习参数,从而混淆损失的来源。为此,我们设计了一个简单但有效的间接即时注意力优化(IIAO)模块的基础上SoftMax-Attention,它将高维的注意力地图转换为一维的特征地图在数学意义上的损失计算中途通过网络,同时自动提供自适应多尺度融合的特征金字塔模块。特殊的变换产生相对粗糙的特征,并且最初,区域的预测可靠性因人群密度分布而异,因此我们定制区域相关损失(RCLoss)来检索连续的易出错区域和平滑的空间信息。大量的实验证明,我们的方法优于以前的SOTA方法在许多基准数据集。
2022-06-12 cs.CV
Boosting Crowd Counting via Multifaceted Attention
Xi’an Jiaotong University(西安交通大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Science(中国科学院深圳先进技术研究院);Xiamen University(厦门大学);Peng Cheng Laboratory(鹏城实验室);Harbin Institute of Technology(哈尔滨工业大学)
本文主要研究具有挑战性的人群计数任务。由于人群图像中经常存在大规模的变化,无论是CNN的固定大小的卷积核还是最近的视觉Transformer的固定大小的注意力都不能很好地处理这种变化。为了解决这个问题,我们提出了一个多方面的注意力网络(MAN),以改善Transformer模型在局部空间关系编码。MAN将来自普通Transformer的全局注意力、可学习的局部注意力和实例注意力合并到计数模型中。首先,提出局部可学习区域注意力(LRA),动态地为每个特征位置分配专门的注意力。其次,我们设计了局部注意力正则化,通过最小化不同特征位置的注意力之间的偏差来监督LRA的训练。最后,我们提供了一个实例注意力机制,在训练过程中动态地关注最重要的实例。在ShanghaiTech、UCF-QNRF、JHU++和NWPU四个具有挑战性的人群计数数据集上进行了广泛的实验,验证了所提出的方法。代码:https://github.com/LoraLinH/Boosting-Crowd-Counting-via-Multifaceted-Attention。
2022-03-05 cs.CV
Full Contextual Attention for Multi-resolution Transformers in Semantic Segmentation
Conservatoire National des Arts et Métiers(法国国立工艺学院);IRCAD(消化外科研究所);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(巴黎智能系统与机器人研究所)
Transformers已被证明对视觉识别任务非常有效。特别地,视觉Transformer通过自我注意和可学习的类标记来构造压缩的全局表示。多分辨率Transformers最近在语义分割方面取得了成功,但只能捕获高分辨率特征图中的局部交互。本文扩展了全局令牌的概念,以构建全局注意力多分辨率(GLAM)Transformers。GLAM是一个通用模块,可以集成到大多数现有的Transformer主干中。GLAM包括可学习的全局令牌,与以前的方法不同,它可以对所有图像区域之间的交互进行建模,并在训练期间提取强大的表示。大量的实验表明,GLAM-Swin或GLAM-Swin-UNet在ADE 20 K和Cityscapes上表现出比它们的香草对应物更好的性能。此外,GLAM可用于分割大型3D医学图像,GLAM-nnFormer在BCV数据集上实现了最先进的性能。
2022-12-15 cs.CV
Image Aesthetics Assessment via Learnable Queries
Nanyang Technological University(南洋理工大学);DSO National Laboratories(DSO国家实验室);Alibaba Group(阿里巴巴集团);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-南洋理工大学新加坡联合研究院)
针对图像美学评估中视觉骨干训练耗时且注意力分散的问题,提出IAA-LQ方法,利用可学习查询从冻结编码器特征中提取美学特征,并在真实数据上显著提升SRCC与PLCC。
2023-09-06 cs.CV
LeNo: Adversarial Robust Salient Object Detection Networks with Learnable Noise
Huazhong University of Science and Technology(华中科技大学)
深度神经网络的逐像素预测已成为显著目标检测(SOD)的有效范例,并取得了显着的性能。然而,很少有SOD模型对人类视觉注意力在视觉上不可感知的对抗攻击具有鲁棒性。先前的工作鲁棒显着性(ROSA)洗牌的预分割的超像素,然后通过密集连接的条件随机场(CRF)细化的粗糙显着性图。与ROSA依赖于各种前后处理不同,本文提出了一种轻量级的可学习噪声(LeNo)来防御SOD模型的对抗攻击。LeNo保留了SOD模型在对抗图像和干净图像上的准确性,以及推理速度。一般而言,LeNo由简单的浅层噪声和噪声估计组成,分别嵌入任意SOD网络的编码器和解码器中。受人类视觉注意力机制的中心先验的启发,我们用十字形高斯分布初始化浅层噪声,以更好地防御对抗攻击。所提出的噪声估计仅修改解码器的一个通道,而不是添加用于后处理的额外网络组件。通过在最先进的RGB和RGB-D SOD网络上进行深度监督的噪声解耦训练,LeNo不仅在对抗图像上而且在干净图像上都优于以前的作品,这为SOD提供了更强的鲁棒性。我们的代码可在https://github.com/ssecv/LeNo上获得。
2022-12-07 cs.CV
Learnable Visual Words for Interpretable Image Recognition
Brandeis University(布兰迪斯大学);Tulane University(杜兰大学)
为了解释深度模型的预测,基于注意力的视觉线索被广泛用于解决\textit{why}深度模型做出这样的预测。除此之外,当前的研究社区对推理\textit{how}深度模型进行预测变得更加感兴趣,其中一些基于原型的方法采用可解释的表示及其相应的视觉线索来揭示深度模型行为的黑盒机制。然而,这些开创性的尝试要么学习特定类别的原型,并恶化其概括能力,或展示几个说明性的例子,而没有定量评估基于视觉的可解释性,进一步限制了其实际用途。在本文中,我们重新审视视觉词的概念,并提出了可学习视觉词(LVW)解释模型预测行为的两个新模块:语义视觉词学习和双保真度保存。语义视觉词学习放松了类别特定的约束,使一般视觉词在不同类别之间共享。除了采用视觉词进行预测以将视觉词与基本模型对齐之外,我们的双保真度保留还包括注意力引导的语义对齐,该语义对齐鼓励学习的视觉词专注于相同的概念区域进行预测。六个视觉基准的实验表明,我们提出的LVW在准确性和模型解释的最先进的方法优越的有效性。此外,我们详细阐述了各种深入的分析,以进一步探索学习的视觉词和我们的方法的不可见的类别的推广。
2022-05-26 cs.CV
Enhancing Few-Shot Image Classification through Learnable Multi-Scale Embedding and Attention Mechanisms
School of Computer Engineering, Iran University of Science and Technology (IUST)(伊朗科技大学计算机工程学院)
本文提出一种多输出嵌入网络,结合自注意力机制和可学习阶段权重,通过多尺度特征空间提升小样本图像分类性能,并在MiniImageNet、FC100及跨域任务中验证了有效性。
2025-01-16 cs.AI cs.CV
C3D-AD: Toward Continual 3D Anomaly Detection via Kernel Attention with Learnable Advisor
提出持续3D异常检测框架C3D-AD,通过内核注意力与可学习顾问机制,实现多类别点云泛化表示及新类别持续学习,在三个数据集上取得优异AUROC。
2025-08-02 cs.CV cs.LG
Attention Prompt Tuning: Parameter-efficient Adaptation of Pre-trained Models for Spatiotemporal Modeling
Johns Hopkins University(约翰斯·霍普金斯大学)
提出 APT 参数高效微调方法,通过将 prompt 注入非局部注意力的键和值并引入重参数化,在视频动作识别上降低 FLOPs 与延迟且提升性能。
2024-03-11 cs.CV
HyperGALE: ASD Classification via Hypergraph Gated Attention with Learnable Hyperedges
IIIT Hyderabad(印度信息技术与管理研究所(海得拉巴))
本文提出HyperGALE模型,通过结合可学习超边和门控注意力机制的超图方法处理脑图数据,在ABIDE II数据集上提升了ASD分类的性能与可解释性。
2024-03-21 cs.AI cs.CV cs.LG
Learnable Weight Initialization for Volumetric Medical Image Segmentation
Mohammed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Linkoping University(林雪平大学)
本文提出一种面向混合体积医学图像分割模型的数据依赖可学习权重初始化方法,通过自监督目标学习医学体数据的上下文与结构信息,在多器官和肺癌分割任务上达到最先进性能。
2024-04-03 cs.CV eess.IV
ViG-LRGC: Vision Graph Neural Networks with Learnable Reparameterized Graph Construction
The American University in Cairo(埃及美国大学)
本文提出可学习重参数化图构建方法LRGC,通过键-查询注意力和软阈值重参数化实现无需超参数的邻域选择,使ViG-LRGC在ImageNet-1k上超越同规模最先进ViG模型。
2025-09-23 cs.CV
Generalizable Non-Line-of-Sight Imaging with Learnable Physical Priors
University of Science and Technology of China(中国科学技术大学)
针对非视域成像受限于经验先验且低信噪比下泛化差的问题,提出包含可学习路径补偿与自适应相量场的方法,有效减少光衰减并动态选择频带,实现跨真实数据集的泛化。
2024-09-21 cs.CV
Learnable Prompting SAM-induced Knowledge Distillation for Semi-supervised Medical Image Segmentation
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);Institute of High-Performance Computing, Agency for Science, Technology and Research(新加坡科技研究局高性能计算研究所);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
本文提出KnowSAM框架,通过多视图协同训练、可学习提示策略微调SAM,并利用SAM诱导知识蒸馏减轻伪标签噪声,显著提升了半监督医学图像分割性能且可无缝集成至其他方法。
2024-12-18 cs.CV
Sparse DETR: Efficient End-to-End Object Detection with Learnable Sparsity
Lunit;KakaoBrain
DETR是第一个使用Transformer编码器-解码器架构的端到端对象检测器,在高分辨率特征图上表现出有竞争力的性能,但计算效率较低。随后的工作,可变形DETR,通过用可变形注意力取代密集注意力来提高DETR的效率,从而实现10倍的收敛速度和性能提升。可变形DETR使用多尺度特性来改善性能,然而,与DETR相比,编码器令牌的数量增加了20倍,并且编码器注意力的计算成本仍然是一个瓶颈。在我们的初步实验中,我们观察到,检测性能几乎没有恶化,即使只有一部分的编码器令牌更新。受此启发,我们提出了稀疏DETR,选择性地只更新期望被解码器引用的令牌,从而帮助模型有效地检测对象。此外,我们表明,在编码器中的选定令牌上应用辅助检测损失,提高了性能,同时最大限度地减少计算开销。我们验证了稀疏DETR实现更好的性能比变形DETR,即使只有10%的编码器令牌的COCO数据集。虽然只有编码器令牌被稀疏化,但与可变形DETR相比,总计算成本降低了38%,每秒帧数(FPS)增加了42%。代码可在https://github.com/kakaobrain/sparse-detr上获得
2022-03-04 cs.CV cs.LG
Domain Adaptation of Attention Heads for Zero-shot Anomaly Detection
Department of Industrial and Management Engineering, Korea University(韩国大学工业与管理工程系);Department of Industrial Engineering, Seoul National University(首尔国立大学工业工程系)
HeadCLIP通过域适应注意力头实现零样本异常检测,提升工业和医疗领域异常检测性能。
2026-01-31 cs.CV
LSS3D: Learnable Spatial Shifting for Consistent and High-Quality 3D Generation from Single-Image
Tsinghua University, Beijing, China(清华大学);Beihang University, Beijing, China(北航);National University of Singapore, Singapore(国立新加坡大学)
针对多视图扩散3D生成方法的多视图错位及非正面输入鲁棒性差问题,提出LSS3D方法,通过可学习空间偏移及输入视图约束优化,实现更优的几何与纹理质量,且提供定量评估pipeline,实验表现领先。
2025-11-15 cs.CV
Learnable Query Aggregation with KV Routing for Cross-view Geo-localisation
本文提出一种基于可学习查询聚合与KV路由的跨视图地理定位方法,通过改进模型适应性、空间表示稳定性和特征聚合过程,实现了在较少参数下的高性能表现。
2025-12-30 cs.CV
Reflecting Topology Consistency and Abnormality via Learnable Attentions for Airway Labeling
Institute of Medical Robotics(医学机器人研究所);Shanghai Jiao Tong University(上海交通大学);Institute of Image Processing and Pattern Recognition(图像处理与模式识别研究所)
针对气道标注中的拓扑不一致与异常分支识别难题,本文提出含SSC和ABS模块的可学习注意力方法,在严重病变气道数据集上显著提升标注准确率与拓扑一致性。
2025-05-14 cs.CV cs.LG
Global Prompt Refinement with Non-Interfering Attention Masking for One-Shot Federated Learning
School of Software, Shandong University(山东大学软件学院);AIM Lab, Faculty of Engineering, Monash University(莫纳什大学工程学院AIM实验室);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Department of Electrical and Computer Engineering, University of British Columbia(不列颠哥伦比亚大学电气与计算机工程系);Vector Institute, Canada(加拿大向量研究所)
针对一次性联邦提示学习中全局信息滞后和跨任务泛化不足的问题,提出GPR-NIAM,通过注意力隔离与跨筒仓协作精炼校准全局提示,并在十个基准上优于八种方法。
2025-10-21 cs.CV
DFYP: A Dynamic Fusion Framework with Spectral Channel Attention and Adaptive Operator learning for Crop Yield Prediction
School of Computer Science and Technology, Xidian University(电子科技大学计算机科学与技术学院);School of Computing, Australian National University(澳大利亚国立大学计算机学院)
提出DFYP动态融合框架,结合光谱通道注意力、自适应算子学习和可学习融合机制,在MODIS和Sentinel-2数据集上优于现有方法,提升作物产量预测的精度与泛化能力。
2025-07-08 cs.CV
Advanced Feature Learning on Point Clouds using Multi-resolution Features and Learnable Pooling
KAIST(韩国科学技术院)
现有的点云特征学习网络通常包含采样、邻域分组、邻域特征学习和特征聚合的序列,以学习表示点云的全局上下文的高语义点特征。不幸的是,由于采样和最大池化而导致的关于粒度和非最大点特征的信息的复合损失可能会对来自现有网络的高语义点特征产生不利影响,使得它们不足以表示点云的局部上下文,这反过来可能会阻碍网络区分精细形状。为了解决这个问题,我们提出了一种新的点云特征学习网络,PointStack,使用多分辨率特征学习和可学习池(LP)。多分辨率特征学习是通过聚合多个层次中不同分辨率的点特征来实现的,使得最终的点特征既包含高语义信息又包含高分辨率信息。另一方面,LP被用作广义池函数,其通过具有可学习查询的注意力机制来计算多分辨率点特征的加权和,以便从所有可用的点特征中提取所有可能的信息。因此,PointStack能够以最小的粒度和非最大点特征信息损失来提取高语义点特征。因此,最终的聚合点特征可以有效地表示点云的全局和局部上下文。此外,网络头可以很好地理解点云的全局结构和局部形状细节,这使得PointStack能够推进点云特征学习的最新技术。这些代码可在https://github.com/kaist-avelab/PointStack上获得。
2022-05-20 cs.CV
Learnable human mesh triangulation for 3D human pose and shape estimation
Kwangwoon University(光云大学);NCSOFT(NCSoft公司)
在基于皮肤化多人线性模型(SMPL)的多视点人体网格重建中,与关节位置估计相比,关节旋转和形状估计的准确性受到的关注相对较少。这一领域的工作大致分为两类。第一种方法执行关节估计,然后通过将SMPL拟合到所得关节来产生SMPL参数。第二种方法通过基于卷积神经网络(CNN)的模型直接从输入图像回归SMPL参数。然而,这些方法的缺点是缺乏信息来解决关节旋转和形状重建的模糊性以及网络学习的困难。为了解决上述问题,我们提出了一个两阶段的方法。该方法首先通过基于CNN的模型从输入图像中估计网格顶点的坐标,并通过将SMPL模型拟合到估计的顶点来获取SMPL参数。估计的网格顶点为确定关节旋转和形状提供了足够的信息,并且比SMPL参数更容易学习。在Human3.6M和MPI-INF-3DHP数据集上的实验结果表明,该方法在关节旋转和形状估计方面明显优于以往的方法,在关节位置估计方面也取得了较好的效果。
2022-08-24 cs.CV
Learnable Scaled Gradient Descent for Guaranteed Robust Tensor PCA
University of Electronic Science and Technology of China (UESTC)(电子科技大学);Michigan State University (MSU)(密歇根州立大学)
针对现有鲁棒张量PCA方法依赖高计算成本张量核范数的问题,提出基于t-SVD框架的RTPCA-SGD方法,证明其线性收敛保证,并提出可学习自监督深度展开模型优化参数,实现性能与效率的双重提升。
2025-01-17 cs.CV
Balanced Multi-Task Attention for Satellite Image Classification: A Systematic Approach to Achieving 97.23% Accuracy on EuroSAT Without Pre-Training
Department of Computer Science and Engineering(计算机科学与工程系)
提出一种平衡多任务注意力机制,结合坐标注意力和压缩-激励模块,在EuroSAT数据集上无需预训练即达到97.23%准确率,并通过可学习融合参数和正则化技术有效解决卫星图像分类中的过拟合与类别不平衡问题。
2025-10-17 cs.CV
Implicit Temporal Modeling with Learnable Alignment for Video Recognition
Fudan University(复旦大学);Microsoft Research Asia(微软亚洲研究院);Carnegie Mellon University(卡内基梅隆大学)
针对视频 CLIP 的时序建模难题,本文提出 ILA,通过预测帧对交互点并增强、池化对齐特征来替代时序自注意力,在 Kinetics-400 上以更低 FLOPs 达到 88.7% top-1 准确率。
2023-08-15 cs.AI cs.CV
MV-MR: multi-views and multi-representations for self-supervised learning and knowledge distillation
University of Geneva(日内瓦大学)
提出基于多视图与多表示(MV-MR)的自监督学习与知识蒸馏通用框架,通过最大化依赖性并引入多表示正则化,在STL10和ImageNet-1K上取得SOTA性能。
2024-06-02 cs.CV
Domain Adaptation and Multi-view Attention for Learnable Landmark Tracking with Sparse Data
Department of Computer Science and Engineering(计算机科学与工程系);University at Buffalo(布法罗大学)
提出一种轻量级实时天体地标跟踪系统,通过改进的领域自适应方法和新颖的注意力对齐公式,利用低成本训练数据实现高效检测与跨视点鲁棒描述,性能超越现有最先进技术。
2025-07-12 cs.AI cs.CV cs.LG
Depth360: Self-supervised Learning for Monocular Depth Estimation using Learnable Camera Distortion Model
Toyota Central R&D Labs., Inc.(丰田中央研发实验室股份有限公司)
自监督单目深度估计已被广泛研究以从RGB图像估计深度图像和相对姿态。这个框架对研究人员来说很有吸引力,因为深度和姿态网络可以从时间序列图像中训练,而不需要地面真实深度和姿态。在这项工作中,我们估计机器人周围的深度(360度视图)使用时间序列球形相机图像,从相机的参数是未知的。我们提出了一个可学习的轴对称相机模型,它接受两个鱼眼相机图像失真的球形相机图像。此外,我们使用照片级逼真的模拟器训练我们的模型,以生成地面真实深度图像来提供监督。此外,我们引入了损失函数来提供地板约束,以减少反射地板表面可能导致的伪影。我们证明了我们的方法的有效性,使用来自GO斯坦福数据集的球形摄像机图像和来自KITTI数据集的针孔摄像机图像来比较我们的方法与基线方法在学习摄像机参数方面的性能。
2022-02-18 cs.CV cs.RO
Pruning Self-attentions into Convolutional Layers in Single Path
Monash University(莫纳什大学);The University of Sydney(悉尼大学);Nanyang Technological University(南洋理工大学)
本文提出单路径视觉Transformer剪枝方法SPViT,通过MSA与卷积的权重共享和可学习门自动搜索剪枝结构,在ImageNet-1k上实现新SOTA,如为DeiT-B削减52.0% FLOPs并提升0.6% top-1精度。
2024-01-16 cs.CV cs.LG
Narrowing the semantic gaps in U-Net with learnable skip connections: The case of medical image segmentation
Northeastern University(东北大学);Key Laboratory of Intelligent Computing in Medical Image of Ministry of Education(教育部医学图像智能计算重点实验室);DAMO Academy, Alibaba Group(阿里巴巴达摩院);University of Alberta(阿尔伯塔大学)
提出UDTransNet,通过双注意力变换器与解码器引导的重新校准注意力模块,建立可学习跳跃连接,解决U-Net语义差距,提升医学图像分割性能。
2023-12-23 cs.CV cs.LG eess.IV
CALIP: Zero-Shot Enhancement of CLIP with Parameter-free Attention
Peking University(北京大学);Shanghai AI Laboratory(上海人工智能实验室);ShanghaiTech University(上海科技大学)
对比图像预训练(CLIP)已被证明可以学习具有很大可移植性的视觉表示,从而实现zero-shot分类的有希望的准确性。为了进一步提高其下游性能,现有的作品提出了额外的可学习模块CLIP和微调他们的Few-Shot训练集。然而,由此产生的额外培训成本和数据需求严重阻碍了模型部署和知识转移的效率。在本文中,我们介绍了一种免费午餐增强方法,CALIP,通过一个无参数的注意力模块来提高CLIP的zero-shot性能。具体来说,我们引导视觉和文本表征相互作用,并通过注意力探索跨模态信息特征。由于预训练大大减少了两个模态之间的嵌入距离,我们丢弃了注意力中所有可学习的参数,并双向更新多模态特征,使整个过程无参数和无训练。通过这种方式,图像与文本感知信号混合,并且文本表示变为视觉引导的,以实现更好的自适应zero-shot对准。我们评估CALIP的各种基准的14个数据集的二维图像和三维点云Few-Shot分类,显示一致的zero-shot性能改善CLIP。在此基础上,我们进一步在CALIP的注意力模块中插入少量的线性层,并在Few-Shot设置下验证了我们的鲁棒性,与现有方法相比,也取得了领先的性能。这些广泛的实验证明了我们的方法的优越性,有效地增强CLIP。
2022-12-18 cs.AI cs.CV cs.MM
Hiding and Recovering Knowledge in Text-to-Image Diffusion Models via Learnable Prompts
Monash University(莫纳什大学);VinAI Research(VinAI研究院);Defence Science and Technology Group(国防科技集团)
针对文生图扩散模型中不良概念永久擦除导致性能下降和信息不可逆丢失的问题,本文提出在交叉注意力中加入带密钥的可学习提示,实现概念隐藏与受控恢复。
2025-02-17 cs.CV cs.LG
LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
CUHK(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);CPII of InnoHK(香港创新科技署CPII机构)
提出LLaMA-Adapter,通过零初始化注意力机制和1.2M可学习参数高效微调LLaMA,实现与Alpaca相当的指令遵循性能,并支持多模态扩展。
2024-09-18 cs.AI cs.CL cs.CV