Attention Diversification for Domain Generalization
Hikvision Research Institute（海康威视研究院）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Chongqing University（重庆大学）
卷积神经网络（CNN）在学习区分特征方面已经表现出令人满意的结果。然而，当应用于看不见的领域时，最先进的模型通常容易由于域偏移而产生错误。在从捷径学习的角度研究这个问题后，我们发现魔鬼在于这样一个事实，即在不同领域上训练的模型仅仅偏向于不同的领域特定特征，而忽略了与任务相关的各种特征。在此指导下，提出了一种新的注意分散框架，该框架通过模型内和模型间注意分散正则化的协同作用，将适当的注意力重新分配给不同的任务相关特征。简而言之，在高级特征图上配备模型内注意力分散正则化，以通过迫使不同的通道将其最显著的注意力集中到不同的空间位置来实现通道内区分和跨通道分散。此外，提出了模型间注意力分散正则化（Inter-Model Attention Diversification Regularization），进一步提供任务相关的注意力分散和领域相关的注意力抑制，这是一种“模拟、划分和组装”的范式：通过利用多个领域特定模型模拟领域转移，将注意力图划分为任务相关组和领域相关组，并在每组内分别组装它们以执行正则化。在各种基准上进行了大量的实验和分析，以证明我们的方法与其他竞争方法相比具有最先进的性能。代码可在https://github.com/hikvision-research/DomainGeneralization上获得。
2022-10-09 cs.CV
APPLeNet: Visual Attention Parameterized Prompt Learning for Few-Shot Remote Sensing Image Generalization using CLIP
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Technical University of Munich（慕尼黑工业大学）
APPLeNet提出视觉注意力参数化提示学习，结合多尺度视觉内容与风格特征并引入反相关正则化，在少样本遥感域泛化任务中持续优于现有方法。
2023-04-12 cs.CV
Better YOLO with Attention-Augmented Network and Enhanced Generalization Performance for Safety Helmet Detection
School Of Automation And Electeical Engineering, University of Science and Technology Beijing（北京科技大学自动化与电气工程学院）；Intelligent Transportation Thrust, Systems Hub, the Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）智能交通枢纽系统中心）
本文提出一种基于GhostNetv2轻量骨干、SCNet与CANet注意力模块及GAM优化器的改进YOLO安全帽检测方法，在减少25%以上参数和计算量的同时将mAP提升2%，兼顾精度、泛化与效率。
2024-05-04 cs.CV
Simulate, Refocus and Ensemble: An Attention-Refocusing Scheme for Domain Generalization
Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science and Technology, Beijing Institute of Technology（北京智能信息科技重点实验室，计算机科学与技术学院，北京理工大学）；Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University（广东机器感知与智能计算实验室，深圳MSU-BIT大学）；Department of Computer Science, University of Rochester（计算机科学系，罗切斯特大学）
针对CLIP在领域泛化中难以聚焦领域不变区域的问题，提出SRE方案，通过模拟领域偏移、注意力重聚焦和集成学习对齐注意力图，在多个数据集上取得优于现有方法的性能。
2025-07-17 cs.CV
Attention Head Purification: A New Perspective to Harness CLIP for Domain Generalization
Beihang University（北京航空航天大学）
本文提出 CLIP 注意力头净化框架，通过头感知 LoRA 与门控头选择联合进行任务级和域级净化，在多个 DG 基准上优于现有方法。
2024-12-10 cs.CV
CodedVTR: Codebook-based Sparse Voxel Transformer with Geometric Guidance
Tsinghua University（清华大学）；Peking University（北京大学）；Shanghai Qizhi Institude（上海期智研究院）
Transformers在许多2D视觉任务中的表现优于卷积神经网络，因此备受关注。然而，众所周知，它们存在泛化问题，并且依赖于大规模的预训练和复杂的训练技术。在应用于三维任务时，不规则的数据结构和有限的数据规模增加了Transformer的应用难度。提出了CodedVTR（Codebook-based Voxel Transformer）算法，提高了三维稀疏体素Transformers的数据效率和泛化能力。一方面，我们提出了基于码本的注意力，将注意力空间投影到由可学习码本中的“原型”组合表示的子空间中。它使注意力学习规则化，提高了泛化能力。另一方面，我们提出了几何感知的自我注意，利用几何信息（几何图案，密度）来指导注意学习。CodedVTR可以嵌入到现有的基于稀疏卷积的方法中，并为室内和室外3D语义分割任务带来一致的性能改进
2022-03-27 cs.CV
Attention: A Big Surprise for Cross-Domain Person Re-Identification
University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们专注于跨域的人重新识别（Re-ID）的模型泛化和自适应。与现有的跨域Re-ID方法不同，利用那些未标记的目标域数据的辅助信息，我们的目标是通过区分性特征学习来增强模型的泛化和自适应，并直接将预训练的模型用于新的域（数据集），而不利用目标域的任何信息。为了解决判别特征学习问题，我们惊讶地发现，简单地引入注意力机制来自适应地提取每个域的人的特征是非常有效的。我们采用了两种流行的注意力机制，基于长距离依赖的注意和基于直接生成的注意。两者都可以单独通过空间维度或通道维度，甚至空间维度和通道维度的组合来执行注意。不同的关注的轮廓很好地说明。此外，我们还将注意力的结果，通过跳跃连接到模型的最终输出，以改善与高，中层次的语义视觉信息的功能。在直接利用一个预先训练好的模型到新领域的方式，注意力纳入方法确实可以提高模型的泛化和适应性，以执行跨领域的人Re-ID。我们进行了广泛的实验之间的三个大数据集，市场-1501，DukeMTMC-reID和MSMT 17。令人惊讶的是，仅引入注意力就可以实现最先进的性能，甚至比那些利用目标域辅助信息的跨域Re-ID方法要好得多。
2019-05-30 cs.CV
Recursive Generalization Transformer for Image Super-Resolution
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Sydney（悉尼大学）；ETH Zürich（苏黎世联邦理工学院）
本文提出递归泛化Transformer（RGT），通过递归泛化自注意力与混合自适应集成捕获全局信息并融合局部特征，在图像超分辨率任务中超越现有最先进方法。
2024-02-23 cs.CV
Liver Segmentation in Abdominal CT Images via Auto-Context Neural Network and Self-Supervised Contour Attention
Seoul National University（首尔国立大学）；Soong-sil University（崇实大学）
由于肝脏的形状变化大、边界不清晰，因此对肝脏图像的精确分割是一个具有挑战性的问题。虽然全卷积神经网络（CNN）的应用已经显示出突破性的结果，但有限的研究集中在泛化性能上。在这项研究中，我们引入了一个CNN肝脏分割腹部计算机断层扫描（CT）图像，表现出较高的泛化性能和准确性。为了提高泛化性能，我们首先提出了一个自动上下文算法在一个单一的CNN。所提出的自动上下文神经网络利用一个有效的高层次的残差估计，以获得形状先验。相同的双路径被有效地训练以表示相互互补的特征，用于肝脏的准确后验分析。此外，我们通过采用自监督轮廓方案来扩展我们的网络。我们训练稀疏轮廓特征，通过惩罚地面实况轮廓，将更多的轮廓注意力集中在故障上。实验结果表明，该网络的结果在更好的准确性相比，国家的最先进的网络，减少了10.31%的Hausdorff距离。我们使用180个腹部CT图像进行训练和验证。与最先进的神经网络相比，双重交叉验证。新的多个N折交叉验证进行验证的泛化性能。该网络表现出最好的泛化性能的网络。此外，我们提出了一系列的消融实验，全面支持的重要性的基本概念。
2020-02-14 cs.CV
Internal Structure Attention Network for Fingerprint Presentation Attack Detection from Optical Coherence Tomography
Zhejiang University of Technology（浙江工业大学）
光学相干层析成像（OCT）作为一种非侵入性的光学成像技术，在自动指纹识别系统（AFRS）中有着广阔的应用前景。基于OCT的指纹呈现攻击检测（PAD）已经提出了多种方法。然而，考虑到PA样本的复杂性和多样性，在有限的PA数据集上提高泛化能力是极具挑战性的。为了解决这一问题，提出了一种基于监督学习的PAD方法ISAPAD，该方法利用先验知识指导网络训练，提高了网络的泛化能力。提出的双分支结构不仅可以从OCT图像中学习全局特征，而且可以集中于来自内部结构注意模块（ISAM）的分层结构特征。简单而有效的ISAM使所提出的网络，以获得分层分割功能只属于Bonafide从嘈杂的OCT体数据直接。ISAPAD结合有效的训练策略和PAD得分生成规则，在有限的训练数据下获得了最优的PAD性能。领域泛化实验和可视化分析验证了该方法对OCT PAD的有效性。
2023-03-20 cs.CV
FrogDogNet: Fourier frequency Retained visual prompt Output Guidance for Domain Generalization of CLIP in Remote Sensing
Indian Institute of Technology Bombay（印度理工学院班加罗尔分校）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
FrogDogNet通过傅里叶频率滤波和自注意力保留不变低频特征，提升CLIP在遥感场景分类中的域泛化性能，在四个数据集和三个任务上超越现有方法。
2025-04-23 cs.CV
DeAR: Fine-Grained VLM Adaptation by Decomposing Attention Head Roles
Chongqing Research Institute of Harbin Institute of Technology（哈尔滨工业大学重庆研究所）；Ocean University of China（中国海洋大学）；The Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
DeAR通过分解注意力头角色实现细粒度VLM适应，有效平衡任务适应与泛化能力。
2026-03-07 cs.CV
Confidence Attention and Generalization Enhanced Distillation for Continuous Video Domain Adaptation
Nanyang Technological University（南洋理工大学）
针对连续视频域自适应中无监督学习与灾难性遗忘的挑战，提出置信注意力与泛化增强蒸馏方法，通过精炼伪标签和一致性正则化缓解错误累积，显著提升性能。
2023-08-29 cs.CV
IBAFormer: Intra-batch Attention Transformer for Domain Generalized Semantic Segmentation
East China University of Science and Technology（华东理工大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；United Imaging Intelligence（联影智能）；Linköping University（林雪平大学）
本文提出IBAFormer，通过引入MIBA和EIBA两种批内注意力机制捕获样本间相关性，增强Transformer在领域泛化语义分割任务中的特征表示与泛化能力，实现了SOTA性能。
2023-09-12 cs.CV
BeatFormer: Efficient motion-robust remote heart rate estimation through unsupervised spectral zoomed attention filters
Department of Information and Communication Technologies, Pompeu Fabra University（信息与通信技术系，庞培法布拉大学）
本文提出轻量级频谱注意力模型BeatFormer，结合缩放正交复数注意力与频域能量测量，并引入频谱对比学习实现无标签训练，在多个数据集上展现出运动场景下优异的跨数据集鲁棒性。
2025-07-20 cs.CV
Global Prompt Refinement with Non-Interfering Attention Masking for One-Shot Federated Learning
School of Software, Shandong University（山东大学软件学院）；AIM Lab, Faculty of Engineering, Monash University（莫纳什大学工程学院AIM实验室）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Department of Electrical and Computer Engineering, University of British Columbia（不列颠哥伦比亚大学电气与计算机工程系）；Vector Institute, Canada（加拿大向量研究所）
针对一次性联邦提示学习中全局信息滞后和跨任务泛化不足的问题，提出GPR-NIAM，通过注意力隔离与跨筒仓协作精炼校准全局提示，并在十个基准上优于八种方法。
2025-10-21 cs.CV
Dynamically Decoding Source Domain Knowledge for Domain Generalization
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
优化分类器对未知领域样本的性能仍然是一个具有挑战性的问题。虽然大多数现有的研究领域泛化集中在学习领域不变的特征表示，多专家框架已被提出作为一种可能的解决方案，并已表现出良好的性能。然而，目前的多专家学习框架未能充分利用源域知识在推理过程中，导致次优性能。在这项工作中，我们建议适应Transformers的目的是动态解码源域知识的领域泛化。具体来说，我们建立一个特定领域的本地专家每个源域和一个域不可知的特征分支作为查询。Transformer编码器将所有特定于域的特征编码为存储器中的源域知识。在Transformer解码器中，与域无关的查询与交叉注意模块中的存储器交互，并且与输入相似的域将对注意输出做出更多贡献。因此，源域知识得到动态解码，用于从看不见的域推断当前输入。该机制使所提出的方法能够很好地推广到看不见的领域。所提出的方法已在领域泛化领域的三个基准进行了评估，并显示出最好的性能相比，国家的最先进的方法。
2021-12-05 cs.CV
Attention Consistency Refined Masked Frequency Forgery Representation for Generalizing Face Forgery Detection
针对现有人脸伪造检测方法跨域泛化能力不足的问题，提出融合掩码频率伪造表示与注意力一致性约束的ACMF算法，在多个公开数据集上取得了优于现有最优方法的检测性能。
2023-07-21 cs.CV
Deep Frequency Filtering for Domain Generalization
University of Science and Technology of China（中国科学技术大学）；Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）
提高深度神经网络（DNN）的泛化能力对其实际应用至关重要，这一直是一个长期存在的挑战。一些理论研究发现，DNN在学习过程中对某些频率分量具有偏好，并表明这可能会影响学习特征的鲁棒性。在本文中，我们提出了深度频率滤波（DFF）来学习域可概括的特征，这是第一次尝试在训练过程中显式地调制潜在空间中跨域不同传输困难的频率分量。为了实现这一点，我们执行快速傅立叶变换（FFT）的特征图在不同的层，然后采用一个轻量级的模块来学习注意掩模从FFT后的频率表示，以提高可转移的成分，同时抑制成分不利于泛化。此外，我们实证比较了采用不同类型的注意设计实施DFF的有效性。大量的实验证明了我们提出的DFF的有效性，并表明，应用我们的DFF在一个普通的基线上优于国家的最先进的方法在不同的领域泛化任务，包括闭集分类和开集检索。
2023-03-25 cs.CV
Pulmonary Disease Classification Using Globally Correlated Maximum Likelihood: an Auxiliary Attention mechanism for Convolutional Neural Networks
卷积神经网络（CNN）现在被广泛用于分类和检测胸部X线照片中的肺部异常。CNN的两个互补的泛化特性，平移不变性和等变性，在检测与肺部疾病相关的明显异常时特别有用，无论它们在图像中的空间位置如何。然而，这些属性也伴随着在局部区域中检测到的异常的精确空间信息和全局相对位置的丢失。这些异常的全球相对位置可能有助于区分类似的情况，如COVID-19和病毒性肺炎。在这种情况下，需要一种全局注意力机制，而CNN在其传统架构中不支持这种机制，这些架构旨在通过平移不变性和等变性提供泛化。视觉Transformer提供了一种全局注意力机制，但缺乏平移不变性和等变性，需要更多的训练数据样本来匹配CNN的泛化。为了解决空间信息的丢失和特征之间的全局关系，同时保留CNN的归纳偏差，我们提出了一种新的技术，作为现有CNN架构的辅助注意力机制，以提取显着特征之间的全局相关性。
2021-09-01 cs.CV cs.LG
ScalableViT: Rethinking the Context-oriented Generalization of Vision Transformer
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；ByteDance Inc.（字节跳动公司）
香草自我注意力机制内在地依赖于预定义的和稳定的计算维度。这种不灵活性限制了它具有面向上下文的概括能力，而这种概括能力可以带来更多的上下文线索和全局表示。为了缓解这个问题，我们提出了一个可扩展的自我注意力（SSA）机制，利用两个缩放因子来释放查询，键和值矩阵的维度，同时将它们与输入解除绑定。这种可扩展性获得了面向上下文的泛化能力，并增强了对象敏感性，从而使整个网络在准确性和成本之间处于更有效的权衡状态。此外，我们提出了一个交互式的基于窗口的自我注意力（IWSA），它建立了非重叠区域之间的相互作用，重新合并独立的价值令牌和聚合空间信息从相邻的窗口。通过交替堆叠SSA和IWSA，可扩展视觉Transformer（ScalableViT）在通用视觉任务中实现了最先进的性能。例如，ScalableViT-S在ImageNet-1 K分类上比Twins-SVT-S高1.4%，比Swin-T高1.8%。
2022-07-17 cs.AI cs.CV
Boundless Across Domains: A New Paradigm of Adaptive Feature and Cross-Attention for Domain Generalization in Medical Image Segmentation
本文针对医学图像分割的领域泛化问题，提出基于跨通道注意力的领域不变表示约束和自适应特征混合方法，以生成分布外样本扩展领域范围，并在两个标准基准上验证了其优越性能。
2024-11-22 cs.AI cs.CV cs.LG
Discovering Spatial Relationships by Transformers for Domain Generalization
由于图像数据多样性的迅速增加，领域泛化问题近年来受到越来越多的关注。领域泛化是一个具有挑战性的问题，但随着人工智能技术在计算机视觉领域的快速发展，领域泛化得到了很大的发展。这些高级算法中的大多数都是基于卷积神经网络（CNN）的深度架构提出的。然而，尽管CNN有很强的能力来找到区分特征，但由于对CNN滤波器的响应大多是局部的，因此它们在对图像中不同位置之间的关系建模方面做得很差。由于这些局部和全局空间关系的特征在于区分所考虑的对象，它们在提高对域间隙的泛化能力方面起着至关重要的作用。为了获得对象部分之间的关系，以获得更好的领域泛化，这项工作提出了使用自注意模型。然而，注意力模型是针对序列提出的，在区分二维图像的特征提取方面并不成熟。考虑到这一点，我们提出了一个混合架构，发现这些本地功能之间的空间关系，并得出一个复合表示，编码的歧视性功能和它们的关系，以提高领域泛化。三个著名的基准测试的评估表明，使用所提出的方法的图像的特征之间的建模关系的好处，并实现了最先进的领域泛化性能。更具体地说，所提出的算法优于国家的最先进的2.2%和3.4%的PACS和家庭数据库，分别。
2021-10-13 cs.AI cs.CV
RaBiT: An Efficient Transformer using Bidirectional Feature Pyramid Network with Reverse Attention for Colon Polyp Segmentation
Hanoi University of Science and Technology（河内科技大学）；RMIT University（皇家墨尔本理工大学）；University of Technology Sydney（悉尼科技大学）
本文提出 RaBiT 编码器-解码器模型，结合轻量级 Transformer、双向特征金字塔与反向注意力进行多尺度息肉分割，在多个基准上以低计算量取得更优性能和跨数据集泛化能力。
2023-07-12 cs.CV
Unlocking Generalization Power in LiDAR Point Cloud Registration
School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）；Ningbo Institute, Northwestern Polytechnical University（西北工业大学宁波研究院）；Swansea University（斯旺西大学）；HuaZhong University of Science and Technology（华中科技大学）
本文提出剪枝框架 UGP，通过移除交叉注意力、引入渐进式自注意力并融合 BEV 特征增强 LiDAR 点云配准的跨距离与跨数据集泛化，在 KITTI、nuScenes 上取得最先进结果。
2025-03-13 cs.CV
Stylizing ViT: Anatomy-Preserving Instance Style Transfer for Domain Generalization
xAILab Bamberg, University of Bamberg, Bamberg, Germany（巴姆堡大学）
Stylizing ViT通过权重共享的注意力块实现解剖保持的实例风格迁移，提升领域泛化能力，实验显示在多个医学图像分类任务中准确率提升13%并减少伪影。
2026-01-24 cs.CV cs.LG eess.IV
Multi-scale Alternated Attention Transformer for Generalized Stereo Matching
Hunan University（湖南大学）
本文提出AAUformer，通过窗口自注意力和多尺度交替注意力骨干网络平衡极线约束在单双视图中的作用，在Scene Flow和KITTI 2015等数据集上取得领先的立体匹配与跨域泛化性能。
2023-08-06 cs.CV
PatchMixer: Rethinking network design to boost generalization for 3D point cloud understanding
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文提出PatchMixer架构，通过处理局部块并使用MLP聚合特征，将MLP-Mixer思想扩展至3D点云，在形状分类和部件分割任务中实现了更优的跨域泛化性能。
2023-07-28 cs.CV
A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Michigan State University（密歇根州立大学）；IBM Research（IBM研究院）
本文首次从理论上分析了浅层视觉Transformer（自注意力加两层感知机）的分类学习，刻画了零泛化误差的样本复杂度，证明SGD训练产生稀疏注意力，并表明令牌稀疏化可提升测试性能。
2023-11-12 cs.CV cs.LG stat.ML
Understanding and Mitigating the Video-Action Generalization Gap via Temporal Ratio
Georgia Tech（佐治亚理工学院）；Amazon FAR（亚马逊FAR）
研究视频动作泛化差距，引入时间比率（TR），通过TR衡量动作头对未来潜在展开的依赖程度，提出推理时自适应引导方法，利用TR特性缓解组合泛化差距。
2026-07-10 cs.CV cs.RO
ADOD: Adaptive Domain-Aware Object Detection with Residual Attention for Underwater Environments
Khalifa University（哈利法大学）
本研究针对水下目标检测的域偏移问题，提出融合残差注意力YOLOv3与注意力域分类模块的ADOD方法，可有效学习域不变特征，在多水下数据集上性能优于现有域泛化方法，适配实际水下场景需求。
2023-12-11 cs.CV cs.RO
Label-Decoupled Style Augmentation for Domain Generalization in Multi-Label Remote Sensing Scene Classification
Faculty of Engineering and Natural Sciences, Sabancı University（工程与自然科学学院，萨班哲大学）
研究多标签遥感场景分类中的域泛化问题，提出标签解耦增强框架，将风格扰动限制在特定标签区域，通过特定方法产生六个变体进行评估，该框架提升了泛化精度，增加参数少且推理不变。
2026-07-21 cs.CV cs.LG
MLA-BIN: Model-level Attention and Batch-instance Style Normalization for Domain Generalization of Federated Learning on Medical Image Segmentation
School of Computer and Communication Engineering, Zhengzhou University of Light Industry（郑州轻工业大学计算机与通信工程学院）；Department of Applied Computing, Michigan Technological University（密歇根理工大学应用计算系）
针对联邦学习在医学图像分割未见域上的性能下降问题，提出MLA-BIN方法，通过设计模型级注意力模块和批实例风格归一化块，有效提升模型的领域泛化能力，并在实验中优于现有方法。
2023-06-29 cs.CV eess.IV
Dual encoding feature filtering generalized attention UNET for retinal vessel segmentation
Sichuan University（四川大学）
本文提出DEFFA-Unet，通过双编码器、特征滤波融合和注意力引导特征重构模块解决视网膜血管分割中数据不足、分布不平衡及特征提取不充分的问题，并在多个基准数据集上验证了其优越的泛化性能。
2025-06-02 cs.CV eess.IV
Why does Knowledge Distillation Work? Rethink its Attention and Fidelity Mechanism
North China Electric Power University（华北电力大学）；Amazon（亚马逊公司）
本文通过实验揭示知识蒸馏中教师注意力多样性越高、学生-教师保真度越低反而越有利于学生泛化，并提出应增强数据增强与教师集成多样性、减少模仿行为来优化学生模型性能。
2024-04-30 cs.CV cs.LG eess.IV
Hybrid Explanation-Guided Learning for Transformer-Based Chest X-Ray Diagnosis
ARTORG Center for Biomedical Engineering Research, University of Bern（ARTORG生物医学工程研究中心，伯恩大学）；Inselspital (Bern University Hospital)（Inselspital（伯恩大学医院））；Insel Gruppe Bern Universitätsinstitut für Diagnostische, Interventionelle und Pädiatrische Radiologie（Bern大学诊断、介入和儿科放射学研究所）；Department of Radiation Oncology, Inselspital, Bern University Hospital（放射肿瘤科，Inselspital，伯恩大学医院）
提出混合解释引导学习框架，结合自监督与人类引导约束，提升Transformer胸部X射线诊断的注意力对齐和泛化性能，优于现有方法。
2025-10-14 cs.AI cs.CV
Multi-Cohort Framework with Cohort-Aware Attention and Adversarial Mutual-Information Minimization for Whole Slide Image Classification
Technion – Israel Institute of Technology（以色列理工学院）
针对现有全切片图像分类方法仅聚焦单肿瘤、泛化性差的问题，提出含队列感知注意力、对抗式队列正则化与分层样本平衡的多队列框架，在多癌数据集上显著提升泛化能力。
2024-09-17 cs.CV eess.IV
TDANet: Target-Directed Attention Network For Object-Goal Visual Navigation With Zero-Shot Ability
College of Engineering, Peking University（北京大学工学院）
针对对象目标视觉导航在新场景中的泛化难题，本文提出TDANet，通过目标注意力与孪生架构学习领域无关表示，在AI2-THOR及真实机器人上验证了零样本泛化优势。
2024-08-12 cs.CV cs.RO
CoAtNet: Marrying Convolution and Attention for All Data Sizes
Google Research, Brain Team（谷歌研究院大脑团队）
Transformers在计算机视觉中引起了越来越多的兴趣，但它们仍然落后于最先进的卷积网络。在这项工作中，我们表明，虽然Transformers往往具有更大的模型容量，但由于缺乏正确的归纳偏差，它们的泛化能力可能比卷积网络更差。为了有效地结合这两种架构的优势，我们提出了CoAtNets（发音为“coat”nets），这是一个基于两个关键见解的混合模型家族：（1）dependency卷积和self-Attention可以通过简单的相对注意力自然地统一起来;（2）以原则性的方式垂直堆叠卷积层和注意力层在提高泛化能力，容量和效率方面令人惊讶地有效。实验表明，我们的CoAtNet在不同的资源约束下，在不同的数据集上实现了最先进的性能：在没有额外数据的情况下，CoAtNet达到了86.0%的ImageNet top-1准确率;当使用ImageNet-21 K的13 M图像进行预训练时，我们的CoAtNet达到了88.56%的top-1准确率，将ViT-huge预训练与JFT-300 M的300 M图像进行匹配，同时使用23倍的数据;值得注意的是，当我们使用JFT-3B进一步扩展CoAtNet时，它在ImageNet上实现了90.88%的top-1准确率，建立了一个新的最先进的结果。
2021-09-15 cs.CV cs.LG
MRL: Learning to Mix with Attention and Convolutions
Sony Group Corporation（索尼集团公司）
在本文中，我们提出了一个新的神经架构块的视觉域，名为混合区域和本地（MRL），开发的目的是有效地和高效地混合提供的输入功能。我们将输入特征混合任务分为区域和局部混合。为了实现有效的混合，我们利用自注意力提供的全域感受野进行区域尺度混合，并将卷积核限制在局部尺度进行局部尺度混合。更具体地说，我们提出的方法混合了与定义区域内的局部特征相关联的区域特征，然后是由区域特征增强的局部尺度特征混合。实验表明，这种自我注意和卷积的混合带来了改进的能力，泛化（右归纳偏差）和效率。在类似的网络设置下，MRL在分类、目标检测和分割任务方面优于或与同类产品相当。我们还表明，我们基于MRL的网络架构实现了H&E组织学数据集的最先进性能。我们分别为Kumar、CoNSep和CPM-17数据集实现了0.843、0.855和0.892的DICE，同时突出了MRL框架通过合并群卷积等层来改善特定于
2022-08-30 cs.CV cs.LG
Dual-Resolution Attention-Gated Deep Learning with Ordinal Regression for Diabetic Retinopathy Grading: A Quantified Assessment of Cross-Domain Generalization
Tuwaiq Academy（图瓦伊克学院）；Tuwaiq Research and Development Centre（图瓦伊克研究与发展中心）
本文提出双分辨率注意力深度学习框架，结合顺序回归提升跨数据集泛化能力，通过互补特征融合和有序回归实现鲁棒的DR分级。
2026-08-04 cs.AI cs.CV
A Recipe for Improving Remote Sensing VLM Zero Shot Generalization
Google Research（谷歌研究院）
本文构建两类遥感图像-字幕数据集并预训练 MaMMUT，提升零样本跨模态检索泛化，同时以 Smooth-Attention-Operation 蒸馏注意力知识增强定位。
2025-03-17 cs.AI cs.CV cs.LG
Domain Composition and Attention for Unseen-Domain Generalizable Medical Image Segmentation
University of Electronic Science and Technology of China（电子科技大学）；SenseTime Research（商汤科技研究院）；Shanghai Jiao Tong University（上海交通大学）
由于医学图像数据通常来自不同的研究机构，使用不同的成像协议和扫描仪，因此领域泛化模型在医学图像分析中受到越来越多的关注。为了解决这一具有挑战性的领域泛化问题，我们提出了一种基于领域组合和注意力的网络（DCA-Net），以提高领域表示和泛化能力。首先，我们提出了一种域合成方法，该方法通过一组基表示的线性组合来表示一个特定域（即，代表银行）。其次，提出了一种新的即插即用并行域preceptor来学习这些基础表示，我们引入了发散约束函数，以鼓励基础表示尽可能发散。然后，提出了一个领域注意模块来学习基表示的线性组合系数。线性组合的结果被用来校准输入图像的特征图，这使得模型能够推广到不同的，甚至看不见的领域。我们验证了我们的方法在公共前列腺MRI数据集从六个不同的机构获得明显的域偏移。实验结果表明，我们提出的模型可以推广到不同的，甚至看不见的领域，它优于国家的最先进的方法上的多域前列腺分割任务。
2021-09-18 cs.CV eess.IV
PriorNet: A Novel Lightweight Network with Multidimensional Interactive Attention for Efficient Image Dehazing
University of Science and Technology of China（中国科学技术大学）；Ocean University of China（中国海洋大学）
本文提出轻量级去雾网络PriorNet，通过原创多维交互注意力机制与统一卷积核精简架构，在模型仅18Kb下实现高效去雾与强泛化能力，利于边缘部署。
2024-04-24 cs.AI cs.CV
Latent Danger Zone: Distilling Unified Attention for Cross-Architecture Black-box Attacks
School of Automation at Northwestern Polytechnical University（西北工业大学自动化学院）；School of Zhejiang University（浙江大学学院）
针对黑盒对抗攻击跨架构迁移性有限、查询成本高的问题，提出JAD框架，通过蒸馏CNN和ViT的注意力图引导潜在扩散模型生成对抗样本，实现架构无关的高效攻击迁移与泛化。
2025-09-23 cs.CV cs.LG
Improving Target-driven Visual Navigation with Attention on 3D Spatial Relationships
University of Electronic Science and Technology of China（电子科技大学）
人工智能（AI）任务从专注于互联网图像的任务转变为涉及在3D环境中感知和行动的具体代理的主动设置。在本文中，我们研究了在3D室内场景中使用深度强化学习（DRL）的目标驱动的视觉导航，其导航任务旨在训练智能体，该智能体能够智能地做出一系列决策，仅基于自我中心的视图从任何可能的起始位置到达预先指定的目标位置。然而，目前大多数导航方法都面临着一些具有挑战性的问题，如数据效率，自动避障和泛化。泛化问题是指智能体没有能力将从以前的经验中学习到的导航技能转移到看不见的目标和场景。为了解决这些问题，我们在经典的DRL框架中加入了两个设计：关注3D知识图谱（KG）和目标技能扩展（TSE）模块。一方面，我们提出的方法结合视觉特征和三维空间表示来学习导航策略。另一方面，TSE模块用于生成子目标，允许代理从失败中学习。具体来说，我们的三维空间关系编码通过最近流行的图卷积网络（GCN）。考虑到现实世界的设置，我们的工作也考虑开放的行动，并添加到传统的导航情况下可操作的目标。这些更困难的设置被用来测试DRL代理是否真正理解它的任务，导航环境，并能进行推理。我们在AI 2-THOR中进行的实验表明，我们的模型在SR和SPL指标方面都优于基线，并提高了跨目标和场景的泛化能力。
2020-04-29 cs.CV cs.LG stat.ML
Masked Extended Attention for Zero-Shot Virtual Try-On In The Wild
Tel Aviv University（特拉维夫大学）
本研究提出一种无需额外训练的零样本虚拟试穿方法，借助扩散模型先验与带掩码的扩展注意力机制，缓解纹理粘连与背景泄露问题，在未见过的衣物和人物上实现了更优的试穿图像质量与特征保留效果。
2024-06-21 cs.CV cs.GR cs.LG
