Efficient Human Vision Inspired Action Recognition using Adaptive Spatiotemporal Sampling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta Reality Labs Research（Meta现实实验室）
利用视频中的时空冗余的自适应采样对于具有有限计算和电池资源的可穿戴设备上的始终在线动作识别至关重要。常用的固定采样策略是不感知上下文的，并且可能对视觉内容进行欠采样，从而对计算效率和准确性产生不利影响。受人类视觉感知机制中的中心凹视觉和前注意处理概念的启发，我们引入了一种新的自适应时空采样方案来实现高效的动作识别。我们的系统以低分辨率预扫描全局场景上下文，并决定跳过或请求显著区域的高分辨率特征以进行进一步处理。我们在EPIC-KITCHENS和UCF-101数据集上验证了该系统的动作识别能力，并表明与最先进的基线相比，我们提出的方法可以大大加快推理速度，并具有可容忍的准确性损失。源代码可在https://github.com/knmac/adaptive_spatiotemporal上获得。
2022-07-14 cs.CV
Mitigating Face Recognition Bias via Group Adaptive Classifier
Michigan State University（密歇根州立大学）
人脸识别是已知的表现出偏见-在一定的人口统计组的主题可以更好地识别比其他群体。这项工作的目的是学习一个公平的脸表示，每个群体的脸可以更平等地代表。我们提出的组自适应分类器通过使用自适应卷积核和基于人口统计属性的人脸注意力机制来减轻偏见。自适应模块包括每个人口统计组的内核掩码和通道注意力图，以便激活不同的面部区域进行识别，从而产生与其人口统计相关的更具区别性的特征。我们引入的自动适应策略通过迭代计算人口统计自适应参数之间的差异来确定是否将自适应应用于某个层。提出了一种新的去偏损失函数，以减小人口统计组之间平均类内距离的差距。在人脸基准测试（RFW，LFW，IJB-A和IJB-C）上的实验表明，我们的工作能够减轻人口统计学群体之间的人脸识别偏差，同时保持竞争力的准确性。
2020-12-01 cs.CV
Data-specific Adaptive Threshold for Face Recognition and Authentication
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；MOST Joint Research Center for AI Technology and All Vista Healthcare（科技部人工智能技术与全视角医疗联合研究中心）
许多人脸识别系统使用深度学习模型来提高性能，但只有少数研究涉及处理在线注册的机制。虽然我们可以通过最先进的深度模型训练来获得有区别的面部特征，但如何确定实际使用的最佳阈值仍然是一个挑战。我们开发了一种自适应阈值机制技术来提高识别准确率。我们还设计了一个人脸识别系统与注册程序一起处理在线注册。此外，我们引入了一个新的评估协议，以更好地评估现实世界的情况下的算法的性能。在我们提出的协议下，我们的方法可以在LFW数据集上实现22%的准确率提高。
2018-10-26 cs.CV
Adaptive Detrending to Accelerate Convolutional Gated Recurrent Unit Training for Contextual Video Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
随着图像识别技术的发展，视频识别技术成为当前研究的热点。然而，大多数现有的方法都集中在短期而不是长期的视频识别，称为上下文视频识别。为了解决上下文视频识别问题，我们使用具有丰富时空信息处理能力的卷积递归神经网络（ConvRNN），但ConvRNN需要大量计算，这会减慢训练速度。在本文中，受归一化和去趋势方法的启发，我们提出了用于时间归一化的自适应去趋势（AD），以加速ConvRNN的训练，特别是卷积门控递归单元（ConvGRU）。AD通过减去趋势来去除递归神经网络（RNN）中每个神经元的序列内的内部协变量偏移。在ConvGRU的上下文识别实验中，结果表明：（1）ConvGRU明显优于前馈神经网络，（2）AD始终提供显着的训练加速和泛化改进，（3）AD通过与现有的归一化方法合作得到进一步改进。
2017-05-24 cs.CV
Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition
Fudan University（复旦大学）；University of Oxford（牛津大学）
人类可以很容易地识别动作，只有几个例子，而现有的视频识别模型仍然严重依赖于大规模的标记数据输入。这一观察激发了越来越多的兴趣，在Few-Shot视频动作识别，其目的是学习新的动作，只有很少的标记样本。在本文中，我们提出了一个深度引导的自适应元融合网络的Few-Shot视频识别，这是被称为AMeFu-Net。具体来说，我们从三个方面解决了Few-Shot识别问题：首先，通过引入深度信息作为场景的载体，为模型带来额外的视觉信息，从而缓解了这一数据极度匮乏的问题;其次，我们将原始RGB剪辑的表示与通过我们的时间增强增强机制采样的多个非严格对应的深度剪辑相融合，第三，提出了一种新的深度引导自适应实例归一化（DGAdaIN）融合模块，有效地融合了两个流模态。此外，为了更好地模仿Few-Shot识别过程，我们的模型是在元学习的方式进行训练。在多个动作识别基准上的实验证明了该模型的有效性。
2020-10-20 cs.CV
AR-Net: Adaptive Frame Resolution for Efficient Action Recognition
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）；Boston University（波士顿大学）
动作识别是计算机视觉中一个开放的、具有挑战性的问题。虽然目前最先进的模型提供了出色的识别结果，但其计算费用限制了其对许多现实应用的影响。在本文中，我们提出了一种新的方法，称为AR-Net（自适应分辨率网络），该方法根据输入为每个帧选择最佳分辨率，以便在长的未修剪视频中进行有效的动作识别。具体而言，给定视频帧，使用策略网络来决定动作识别模型应该使用什么样的输入分辨率进行处理，目标是提高准确性和效率。我们有效地训练的政策网络与识别模型，使用标准的反向传播。在几个具有挑战性的动作识别基准数据集上进行的大量实验很好地证明了我们所提出的方法优于最先进方法的有效性。该项目的页面可以在https://mengyuest.github.io/AR-Net上找到
2020-07-31 cs.CV
Towards Adaptive Fusion of Multimodal Deep Networks for Human Action Recognition
Departemen Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya（计算机科学系，信息学院，布拉格亚大学）
本文提出了一种基于多模态深度网络的自适应融合方法，通过门控机制提升人类动作识别的准确性和鲁棒性。
2025-12-04 cs.CV
AdaFuse: Adaptive Temporal Fusion Network for Efficient Action Recognition
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Microsoft（微软）；Boston University（波士顿大学）
时间建模是高效视频动作识别的关键。虽然理解时间信息可以提高动态动作的识别精度，但去除时间冗余和重用过去的特征可以显着节省计算，从而实现高效的动作识别。在本文中，我们介绍了一个自适应的时间融合网络，称为Adaetron，动态融合通道，从当前和过去的特征映射强大的时间建模。具体来说，来自历史卷积特征图的必要信息与当前修剪的特征图融合，目标是提高识别准确性和效率。此外，我们使用一个跳跃操作，以进一步减少动作识别的计算成本。在Something V1 & V2，Jester和Mini-Kinetics上的大量实验表明，我们的方法可以实现约40%的计算节省，并且与最先进的方法具有相当的精度。该项目的页面可以在https://mengyuest.github.io/AdaFuse/上找到
2021-02-10 cs.CV
AdaFace: Quality Adaptive Margin for Face Recognition
Michigan State University（密歇根州立大学）
低质量人脸数据集的识别是具有挑战性的，因为面部属性是模糊和退化的。基于边缘的损失函数的进步已经导致了嵌入空间中人脸的增强的可辨别性。此外，以前的研究已经研究了自适应损失的影响，以分配更多的重要性，错误分类（硬）的例子。在这项工作中，我们介绍了另一个方面的适应性的损失函数，即图像质量。我们认为，强调误分类样本的策略应根据其图像质量进行调整。具体而言，容易或困难样品的相对重要性应基于样品的图像质量。我们提出了一个新的损失函数，强调样本的不同困难的基础上，他们的图像质量。我们的方法通过用特征范数近似图像质量来实现自适应裕度函数的形式。大量的实验表明，我们的方法AdaFace在四个数据集（IJB-B，IJB-C，IJB-S和TinyFace）上提高了人脸识别性能。代码和模型在https://github.com/mk-minchul/AdaFace上发布。
2023-02-16 cs.CV
Cross-Domain Visual Recognition via Domain Adaptive Dictionary Learning
University of Maryland（马里兰大学）；General Electric Global Research（通用电气全球研究中心）
在现实世界的视觉识别问题中，经常违反训练数据（源域）和测试数据（目标域）从相同分布采样的假设。这被称为领域自适应问题。在这项工作中，我们提出了一个新的域自适应字典学习框架的跨域视觉识别。我们的方法生成一组中间域。这些中间域形成了一条平滑的路径，并在源域和目标域之间架起了一座桥梁。具体来说，我们不仅学习一个共同的字典编码域共享的功能，但也学习了一组特定领域的字典来建模域转移。通用词典和领域自适应词典的分离使我们能够学习到更紧凑的、可重构的词典，以用于领域自适应。这些字典通过域自适应稀疏编码和字典更新步骤之间的交替来学习。同时，我们的方法沿着域路径逐步恢复源数据和目标数据的特征表示，通过对齐所有恢复的域数据，我们得到最终的跨域视觉识别的域自适应特征。在三个公共数据集上的大量实验表明，我们的方法优于大多数最先进的方法。
2018-04-16 cs.CV
Adaptive Temporal Motion Guided Graph Convolution Network for Micro-expression Recognition
Renmin University of China（中国人民大学）
针对微表情短暂复杂及现有方法忽视时间依赖或存在冗余的问题，提出ATM-GCN框架，通过自适应时间运动层聚合全局与局部运动特征，在Composite和CAS(ME)^3数据集上取得领先性能。
2024-06-13 cs.CV
AW-GATCN: Adaptive Weighted Graph Attention Convolutional Network for Event Camera Data Joint Denoising and Object Recognition
School of Electronic and Electrical Engineering（电子与电气工程学院）；Centre for Machine Intelligence（智能机器研究中心）；The University of Sheffield（谢菲尔德大学）
针对事件相机数据噪声大且易丢失时空信息的问题，提出自适应图去噪框架，通过密度分析分割、多因素边权重及图去噪策略，在四个数据集上识别准确率达83.77%-99.30%，优于现有方法。
2025-05-26 cs.CV
View Adaptive Neural Networks for High Performance Skeleton-based Human Action Recognition
Xian Jiaotong University（西安交通大学）；Microsoft Research Asia（微软亚洲研究院）；Chinese Academy of Sciences（中国科学院）
由于3D骨架数据的可访问性和普及性，基于骨骼的人体动作识别最近引起了越来越多的关注。基于图像的动作识别的关键挑战之一在于捕获数据时的大视图变化。为了减轻视图变化的影响，本文介绍了一种新的视图自适应方案，它自动确定虚拟观察视点的学习为基础的数据驱动方式。我们设计了两个视图自适应神经网络，基于RNN的VA-RNN和基于CNN的VA-CNN。对于每个网络，一个新的视图自适应模块学习和确定最合适的观察视点，并将骨架转换为与主分类网络进行端到端识别的视点。消融研究发现，所提出的视图自适应模型是能够转换的骨架的各种观点，更一致的虚拟视点，这在很大程度上消除了视点的影响。此外，我们设计了一个双流方案（称为VA融合），融合两个网络的分数，以提供融合的预测。在五个具有挑战性的基准上进行的广泛的实验评估表明，所提出的视图自适应网络的有效性和优越的性能超过最先进的方法。源代码可在https://github.com/microsoft/View-Adaptive-Neural-Networks-for-Skeleton-based-Human-Action-Recognition上获得。
2019-09-03 cs.CV
Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition
The University of Melbourne（墨尔本大学）
基于骨架的动作识别受到越来越多的关注，因为骨架表示通过消除与动作无关的视觉信息来减少训练数据的量。为了进一步提高样本效率，提出了基于元学习的一次性学习方案。这些方法根据实例级全局平均嵌入之间的相似性来寻找最近邻。然而，由于对局部不变特征和噪声特征的广义学习不足，这种测量具有不稳定的代表性，而直观地说，更细粒度的识别通常依赖于确定关键的局部身体运动。为了解决这一问题，我们提出了自适应局部组件感知图卷积网络，它取代了比较度量的相似性测量对齐本地嵌入的动作关键的空间/时间段的集中总和。在公共基准测试NTU-RGB+D 120上进行的综合一次性实验表明，我们的方法提供了比全局嵌入更强的表示，并帮助我们的模型达到最先进的水平。
2022-09-21 cs.CV
AdaFedFR: Federated Face Recognition with Adaptive Inter-Class Representation Learning
Cranberry-Lemon University（蔓越莓柠檬大学）
本文提出AdaFedFR联邦人脸识别框架，利用自适应类间表示学习，以公共身份特征作为负知识优化局部目标，在不到3轮通信内提升基准性能。
2024-05-22 cs.CV
Robust Face Recognition via Adaptive Sparse Representation
Hefei University of Technology（合肥工业大学）；National University of Singapore（新加坡国立大学）
基于稀疏表示（或编码）的分类方法（SRC）在人脸识别中取得了巨大的成功。然而，SRC过于强调稀疏性，忽略了相关性信息，这已被证明是在现实世界中的人脸识别问题的关键。此外，一些工作考虑了相关性，但忽略了稀疏性的区分能力。不同于这些现有的技术，在本文中，我们提出了一个框架称为自适应稀疏表示基于分类（ASRC），其中稀疏性和相关性共同考虑。具体来说，当样本相关性较低时，ASRC选择最具鉴别力的样本进行表示，就像SRC一样;当训练样本高度相关时，ASRC选择大多数相关且具有鉴别力的样本进行表示，而不是随机选择一些相关样本。一般来说，表示模型是自适应的相关结构，这得益于$\ell_1$ -范数和$\ell_2$ -范数。在公开数据集上进行的大量实验验证了该算法的有效性和鲁棒性，并与最先进的方法进行了比较。
2014-04-18 cs.CV
From Volcano to Toyshop: Adaptive Discriminative Region Discovery for Scene Recognition
Radboud University（拉德堡德大学）；TU Delft（代尔夫特理工大学）
随着场景识别的深度学习方法的出现，它们继续在多个尺度上利用区分区域，建立在传统图像分类研究建立的实践基础上。然而，这些方法在很大程度上仍然是通用的，并且没有仔细考虑场景的特殊属性。在本文中，受场景和对象之间的直观差异的启发，我们提出了Adi-Red，一种自适应的判别区域发现方法，用于场景识别。Adi-Red使用CNN分类器，该分类器仅使用图像级场景标签进行预训练，以直接发现有区别的图像区域。然后，这些区域被用作执行场景识别的特征源。CNN分类器的使用使得可以以相对低的计算成本使用简单而优雅的阈值来适应每个图像的区分区域的数量。在场景识别基准数据集SUN 397上的实验结果证明了Adi-Red超越现有技术的能力。在Places数据集上的其他实验分析揭示了Adi-Red的优势，并强调了它们如何特定于场景。我们将Adi-Red的有效性归因于自适应区域发现的能力，以避免引入噪声，同时也不会错过重要信息。
2018-08-15 cs.CV
A NIR-to-VIS face recognition via part adaptive and relation attention module
Yonsei University（延世大学）
在人脸识别应用场景中，我们需要处理各种条件下捕获的人脸图像，例如在夜间通过近红外（NIR）监控摄像头捕获的人脸图像。近红外和可见光（VIS）之间的照明差异导致面部图像之间存在域差距，并且姿势和情感的变化也使面部匹配变得更加困难。异构人脸识别（HFR）存在领域差异的困难，许多研究都集中在提取领域不变的特征，如面部部位的关系信息。然而，当姿态变化发生时，面部组件位置改变，并且提取不同的部分关系。在本文中，我们提出了一个部分关系注意模块，作物通过语义面具获得的面部部位，并使用这些代表性的功能进行关系建模。此外，我们建议组件自适应三重损失函数使用自适应权重的每个部分，以减少类内的身份，无论域以及姿势。最后，我们的方法在CASIA NIR-VIS 2.0中表现出性能改进，并在具有大姿态和情感变化的BUAA-VisNir中取得了优异的结果。
2021-02-01 cs.CV
Multi-View Region Adaptive Multi-temporal DMM and RGB Action Recognition
人类行为识别仍然是一个重要而具有挑战性的任务。本文提出了一种新的动作识别系统。它使用了一种新的多视角区域自适应多分辨率的时间深度运动映射（MV-RAMDMM）公式结合外观信息。多流3D卷积神经网络（CNN）在区域自适应深度运动图的不同视图和时间分辨率上进行训练。多个视图被合成以增强视图不变性。基于局部运动的区域自适应权重强调和区分具有更快运动的动作的部分。还包括用于多时间分辨率外观信息（RGB）的专用3D CNN流。这些有助于识别和区分小对象之间的相互作用。这里使用预训练的3D-CNN，对每个流进行微调，以及多个类支持向量机（SVM）。在输出上使用平均分数融合。所开发的方法是能够识别人类的行动和人与物体的互动。三个公共领域的数据集，包括：MSR 3D行动，西北加州大学洛杉矶分校的多视图行动和MSR 3D日常活动被用来评估所提出的解决方案。实验结果表明，这种方法的鲁棒性相比，国家的最先进的算法。
2019-04-12 cs.CV
Occlusion-Adaptive Deep Network for Robust Facial Expression Recognition
University of Maryland, College Park（马里兰大学帕克分校）
部分遮挡人脸的表情识别是一个具有挑战性的计算机视觉问题。以前的表情识别方法，要么忽略了这个问题，要么使用极端的假设解决了这个问题。由于人类视觉系统擅长忽略遮挡并专注于非遮挡面部区域，因此我们提出了一个地标引导的注意力分支来查找和丢弃遮挡区域中的损坏特征，以便它们不用于识别。首先生成一个注意力图来指示特定的面部部分是否被遮挡，并引导我们的模型关注未被遮挡的区域。为了进一步提高鲁棒性，我们提出了一个面部区域分支，将特征图划分为不重叠的面部块，并分配每个块来独立预测表情。这导致更多样化和更有区别的特征，使得表情识别系统能够在面部被部分遮挡的情况下恢复。根据这两个分支的协同效应，我们的遮挡自适应深度网络在两个具有挑战性的野外基准数据集和三个真实世界的遮挡表达数据集上的表现明显优于最先进的方法。
2020-05-12 cs.CV
DcnnGrasp: Towards Accurate Grasp Pattern Recognition with Adaptive Regularizer Learning
Wenzhou University（温州大学）；Memorial University of Newfoundland（纽芬兰纪念大学）
抓取模式识别的任务是根据视觉信息推导出物体的适用抓取类型。现有的抓取模式识别方法忽略了抓取对象的类别信息。提出了一种新的双分支卷积神经网络（DcnnGrasp）来实现物体类别分类和抓取模式识别的联合学习。DcnnGrasp将物体类别分类作为辅助任务，提高抓取模式识别的有效性。同时，通过最大化后验值，得到了一种新的损失函数--联合交叉熵，并引入了自适应正则化算子，显著提高了模型的性能。此外，基于新的损失函数，提出了一种训练策略，以最大限度地提高两个任务的协作学习。该实验在五个家庭对象数据集上进行，包括RGB-D对象数据集，Hit-GPRec数据集，阿姆斯特丹对象图像库（ALOI），哥伦比亚大学图像库（COIL-100）和MeganePro数据集1。实验结果表明，该方法在抓取模式识别方面具有与现有方法相媲美的性能。具体来说，我们的方法在RGB-D Object数据集上测试新对象的全局准确性方面甚至比第二好的方法高出近15%。
2022-05-11 cs.CV
Adaptive Graph-Based Feature Normalization for Facial Expression Recognition
Fudan University（复旦大学）；Shanghai University of Engineering Science（上海工程技术大学）
人脸表情识别（FER）存在着由模糊人脸图像和标注者主观性引起的数据不确定性问题，导致语义和特征协变量移动问题。现有的工作通常通过估计噪声分布来纠正错误标记的数据，或者用从干净数据中学习的知识来指导网络训练，忽略了表达式之间的关联关系。在这项工作中，我们提出了一个自适应的基于图形的特征规范化（AGFN）的方法来保护FER模型的数据不确定性，通过规范化的特征分布与表达式的关联。具体而言，我们提出了一个泊松图生成器，通过采样过程自适应地构建每个小批量中的样本的拓扑图，并相应地设计了一个坐标下降策略，以优化建议的网络。我们的方法在基准数据集FERPlus和RAF-DB上的准确率分别为91.84%和91.11%，并且当错误标记数据的百分比增加时（例如，至20%），我们的网络远超现有工程3.38%及4.52%。
2022-07-22 cs.CV
Social Adaptive Module for Weakly-supervised Group Activity Recognition
Nanjing University of Science and Technology（南京理工大学）；Huawei Inc.（华为公司）
本文提出了一种新的任务称为弱监督的群体活动识别（GAR），它不同于传统的GAR任务，只有视频级的标签是可用的，但每个帧内的重要人物，即使在训练数据不提供。这使得我们可以轻松地收集和注释大规模的NBA数据集，从而对GAR提出新的挑战。为了从弱监督中挖掘有用的信息，我们提出了一个关键的见解，即关键实例可能彼此相关，从而设计了一个社会适应模块（SAM）来从噪声数据中推理关键人物和帧。实验表明，NBA数据集以及流行的排球数据集显着改善。特别是，我们在视频级注释上训练的模型实现了与需要强标签的先前算法相当的准确性。
2020-07-18 cs.CV
Adaptive Embedding Gate for Attention-Based Scene Text Recognition
South China University of Technology（华南理工大学）；SCUT-Zhuhai Institute of Modern Industrial Innovation（华南理工大学珠海现代产业创新研究院）
由于场景文本识别是一个非常具有挑战性的问题，并且有着广泛的应用前景，因此引起了人们的研究兴趣。最前沿的方法是注意编码器-解码器框架，它学习输入图像和输出序列之间的对齐。特别地，解码器循环地输出预测，使用前一步骤的预测作为每个时间步骤的指导。在本研究中，我们指出现有的注意力机制中对先前预测的不恰当使用限制了再认性能并带来了不稳定性。为了解决这个问题，我们提出了一个新的模块，即自适应嵌入门（AEG）。该算法通过控制相邻字符之间的信息传递，将高阶字符语言模型引入到注意力机制中。AEG是一个灵活的模块，可以很容易地集成到国家的最先进的注意力方法。我们评估其有效性以及鲁棒性的一些标准的基准，包括IIIT $5$ K，SVT，SVT-P，CUTE $80$，和ICDAR数据集。实验结果表明，AEG可以显著提高识别性能，并带来更好的鲁棒性。
2019-08-26 cs.CV
Audio-Adaptive Activity Recognition Across Video Domains
University of Amsterdam（阿姆斯特丹大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Terminus Group（特斯联集团）
本文致力于在领域转移下的活动识别，例如由场景或相机视点的变化引起的。领先的方法通过对抗训练和自监督学习减少活动外观的变化。与这些以视觉为中心的作品不同，我们利用活动声音进行领域自适应，因为它们在不同领域之间的差异较小，并且可以可靠地指示哪些活动没有发生。我们提出了一个音频自适应编码器和相关的学习方法，有区别地调整视觉特征表示以及解决语义分布的变化。为了进一步消除特定领域的功能，并包括域不变的活动的声音识别，音频注入识别器，提出了有效的跨域跨模态交互模型。我们还介绍了演员转移的新任务，与相应的视听数据集，挑战我们的方法与活动的外观发生显着变化的情况。在EPIC-Kittlewood和CharadesEgo数据集上的实验表明了该方法的有效性。
2022-03-29 cs.CV
AdaDNNs: Adaptive Ensemble of Deep Neural Networks for Scene Text Recognition
University of Science and Technology Beijing（北京科技大学）；Tencent Co. LTD（腾讯公司）
在野外识别文本是一项非常具有挑战性的任务，因为复杂的背景，各种照明和不同的失真，即使是深度神经网络（卷积神经网络和递归神经网络）。在场景文本识别的端到端训练过程中，深度神经网络在不同迭代时的输出总是表现出目标对象（文本）的多样性和互补性。在这里，提出了一种简单但有效的深度学习方法，即深度神经网络的自适应集成（AdaDNNs），用于在整个学习系统的不同迭代中简单地选择和自适应地组合分类器组件。此外，合奏制定为分类器加权和组合的贝叶斯框架。在几个典型的公认基准上进行了各种实验，即，ICDAR Robust Reading Competition（Challenge 1、2和4）数据集验证了与基线DNN相比的惊人改进，以及AdaDNN与最近最先进方法相比的有效性。
2017-10-10 cs.CV
KappaFace: Adaptive Additive Angular Margin Loss for Deep Face Recognition
Sungkyunkwan University（成均馆大学）
针对深度人脸识别中的类别不平衡问题，提出 KappaFace 自适应加性角度间隔损失，依据类别难度与集中度动态调节间隔，并在多个基准上超越现有方法。
2023-12-06 cs.CV
TransLoc3D : Point Cloud based Large-scale Place Recognition using Adaptive Receptive Fields
Tsinghua University（清华大学）；National Defence University of PLA（中国人民解放军国防大学）；Chinese Academy of Sciences（中国科学院）；Cardiff University（卡迪夫大学）
位置识别在自动驾驶和机器人导航领域起着至关重要的作用。基于点云的方法主要集中在从点云的局部特征中提取全局描述符。尽管已经取得了有希望的结果，但现有的解决方案忽略了以下方面，这可能导致性能下降：（1）室外场景中的对象之间的巨大尺寸差异;（2）与地点识别无关的移动对象;（3）长距离上下文信息。我们说明，上述方面带来的挑战，提取歧视性的全球描述符。为了缓解这些问题，我们提出了一种新的方法名为transloc 3D，利用自适应感受野逐点重新加权方案来处理不同大小的对象，同时抑制噪声，和外部Transformer来捕获远程特征依赖关系。与采用固定和有限感受野的现有架构相反，我们的方法受益于大小自适应感受野以及全局上下文信息，并且在流行数据集上具有显着改进，优于当前最先进的技术。
2022-10-12 cs.CV
PoseFace: Pose-Invariant Features and Pose-Adaptive Loss for Face Recognition
AiBee Inc.（爱比公司）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；The University of Sydney（悉尼大学）；Northwestern Polytechnical University（西北工业大学）；Mininglamp Technology（明略科技）；University of Chinese Academy of Sciences（中国科学院大学）
尽管深度学习方法在人脸识别中取得了巨大的成功，但在无约束环境中（例如，在监视和照片标记的情况下）。为了解决这个问题，当前的方法要么部署特定于姿势的模型，要么通过额外的模块来正面化面部。尽管如此，他们忽略了身份信息应该在各个姿势之间保持一致的事实，并且没有意识到在训练过程中正面和侧面人脸图像之间的数据不平衡。在本文中，我们提出了一个有效的PoseFace框架，它利用面部地标解开姿态不变的功能，并利用姿态自适应损失自适应地处理不平衡的问题。在Multi-PIE、CFP、CPLFW和IJB的实验结果表明了该方法的优越性。
2021-07-25 cs.CV
Skeleton-Based Action Recognition with Multi-Stream Adaptive Graph Convolutional Networks
图卷积网络（GCN）将CNN推广到更通用的非欧结构，在基于卷积的动作识别方面取得了显着的性能。然而，仍然存在一些问题，在以前的GCN为基础的模型。首先，图的拓扑结构被逐层设置并且固定在所有模型层和输入数据上。这可能不适合GCN模型的层次结构和动作识别任务中数据的多样性。第二，骨架数据的二阶信息，即，骨骼的长度和方向很少被研究，这对于人类动作识别来说自然是更有信息量和区别性的。在这项工作中，我们提出了一种新的多流注意力增强的自适应图卷积神经网络（MS-AAGCN）的动作识别。我们模型中的图拓扑可以基于输入数据以端到端的方式统一或单独学习。这种数据驱动的方法增加了模型构建图的灵活性，并带来了更大的通用性，以适应各种数据样本。此外，提出的自适应图卷积层通过时空通道注意模块进一步增强，这有助于模型更多地关注重要的关节，帧和特征。此外，关节和骨骼的信息，连同他们的运动信息，同时建模在一个多流的框架，这表明识别精度显着提高。在两个大规模数据集NTU-RGBD和Kinetics-Skeleton上的大量实验表明，我们的模型的性能超过了最先进的水平，具有显着的优势。
2019-12-15 cs.CV
Task-Adaptive Negative Envision for Few-Shot Open-Set Recognition
Columbia University（哥伦比亚大学）
我们研究了Few-Shot开集识别（FSOR）问题，它学习一个识别系统，能够快速适应新的类与有限的标记的例子和拒绝未知的负样本。由于数据的限制，传统的大规模开集方法在求解FSOR问题时已被证明是无效的。当前的FSOR方法通常将Few-Shot闭集分类器校准为对负样本敏感，使得它们可以经由阈值化而被拒绝。然而，阈值调整是一个具有挑战性的过程，因为不同的FSOR任务可能需要不同的抑制功率。在本文中，我们提出了任务自适应负类设想FSOR集成阈值调整到学习过程中。具体来说，我们增加了Few-Shot闭集分类器与额外的负面原型生成的Few-Shot的例子。通过将Few-Shot类的相关性在负生成过程中，我们能够学习动态拒绝边界的FSOR任务。此外，我们将我们的方法扩展到广义Few-Shot开集识别（GFSOR），它需要对多镜头和Few-Shot类进行分类，以及拒绝负样本。在公共基准上的大量实验验证了我们在这两个问题上的方法。
2022-07-18 cs.CV
An Adaptive Descriptor Design for Object Recognition in the Wild
University of British Columbia（不列颠哥伦比亚大学）
当今的数字图像在色调、对比度、渐晕等方面有着各种各样的外观风格，这些“图片风格”与场景的亮度、相机的图像流水线和后处理功能直接相关。由于这些原因的复杂性和非线性，目前流行的基于梯度的图像描述子对不同的图像风格不能保持不变，这将降低目标识别的性能。考虑到在线共享或由个人用户创建的图像是用各种设备拍摄的，并且可以由各种后处理功能处理，找到一个鲁棒的对象识别系统是有用的和具有挑战性的。在本文中，我们提出了第一个研究的影响图片风格的对象识别，并提出了一种自适应方法的基础上的梯度描述符和多核学习的内核视图，而不估计或指定的风格的图像用于训练和测试。我们在领域自适应数据集和Oxford Flower数据集上进行了实验。实验还包括通过处理具有流行照片效果的图像的花数据集的几个变体。结果表明，我们提出的方法在所有情况下都比标准描述符有所改进。
2013-05-01 cs.CV
View Adaptive Recurrent Neural Networks for High Performance Human Action Recognition from Skeleton Data
Microsoft Research Asia（微软亚洲研究院）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）
基于骨骼的人体动作识别近年来受到越来越多的关注，由于3D骨架数据的普及。一个主要的挑战在于捕捉的人类动作中的大视图变化。我们提出了一种新的视图自适应方案，自动调节观察的观点，在发生的行动。我们设计了一个具有LSTM架构的视图自适应递归神经网络（RNN），而不是基于人类定义的先验标准重新定位骨架，这使得网络本身能够从端到端适应最合适的观察视点。大量的实验分析表明，所提出的视图自适应RNN模型致力于（1）将各种视图的骨架转换为更一致的视点，（2）保持动作的连续性，而不是将每个帧转换到具有相同身体方向的相同位置。我们的模型在三个基准数据集上实现了对最先进方法的显着改进。
2017-08-04 cs.CV
CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition
Tencent（腾讯）；Zhejiang University（浙江大学）；Michigan State University（密歇根州立大学）
作为人脸识别领域的一个新兴课题，设计基于边缘的损失函数可以增加不同类别之间的特征边缘，从而提高人脸的区分度。最近，采用基于挖掘的策略的思想来强调错误分类的样本，取得了可喜的成果。然而，在整个训练过程中，现有方法要么没有基于其重要性明确强调样本，使得硬样本没有被充分利用;要么明确强调半硬/硬样本的影响，即使在早期训练阶段也可能导致收敛问题。在这项工作中，我们提出了一种新的自适应课程学习损失（CurricularFace），将课程学习的思想嵌入到损失函数中，以实现一种新的深度人脸识别训练策略，该策略主要解决早期训练阶段的简单样本和后期训练阶段的困难样本。具体来说，我们的CurricularFace在不同的训练阶段自适应地调整简单和困难样本的相对重要性。在每个阶段中，根据不同的样本对应的难度，赋予不同的重要性。在流行的基准测试上进行的大量实验结果表明，我们的CurricularFace优于最先进的竞争对手。
2020-04-01 cs.CV
From Indoor To Outdoor: Unsupervised Domain Adaptive Gait Recognition
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；University of South Carolina（南卡罗来纳大学）
针对现有步态识别方法难以从室内场景迁移到户外场景的问题，提出基于不确定性估计与正则化的无监督域自适应步态识别方法，构建新基准并验证方法有效，将公开基准与代码。
2022-11-21 cs.CV
FreqDGT: Frequency-Adaptive Dynamic Graph Networks with Transformer for Cross-subject EEG Emotion Recognition
Department of Chinese and Bilingual Studies, The Hong Kong Polytechnic University（中文与双语研究系，香港理工大学）；School of Information Engineering, Shanghai Maritime University（信息工程学院，上海海洋大学）
针对跨被试脑电情绪识别中的个体差异问题，本文提出FreqDGT框架，通过频率自适应处理、自适应动态图学习和多尺度时间解缠网络，融合频率、空间与时间建模，显著提升跨被试识别准确率与鲁棒性。
2025-08-19 cs.CV
Domain Private and Agnostic Feature for Modality Adaptive Face Recognition
Chongqing University（重庆大学）
异构人脸识别是一个具有挑战性的任务，由于大的模态差异和不足的跨模态样本。现有的研究主要集中在鉴别特征变换、度量学习和跨模态人脸合成等方面。然而，跨模态人脸总是由域（模态）和身份信息耦合的事实很少受到关注。因此，如何学习和利用领域私有特征和领域无关特征进行模态自适应人脸识别是本文研究的重点。具体而言，本文提出了一种特征聚合网络（FAN），它包括解纠缠表示模块（DRM），特征融合模块（FFM）和自适应惩罚度量（APM）学习会话。首先，在DRM中，专门设计了两个子网，即域专用网络和域无关网络，分别用于学习模态特征和身份特征。其次，在FFM中，将身份特征与领域特征相融合，实现跨模态的双向身份特征变换，在很大程度上进一步理清了模态信息和身份信息。第三，考虑到跨模态数据集中存在的分布不平衡，这增加了模型偏差的风险，在我们的FAN中提出了自适应硬对惩罚的身份保持引导度量学习。提出的APM还保证了跨模态的类内紧凑性和类间分离。在基准跨模态人脸数据集上的大量实验表明，我们的FAN优于SOTA方法。
2020-08-10 cs.CV
Multi-Level Adaptive Region of Interest and Graph Learning for Facial Action Unit Recognition
Hikvision Research Institute（海康威视研究院）；Zhejiang University（浙江大学）
在人脸动作单元（AU）识别任务中，区域特征学习和AU关系建模是两个值得探索的有效方面。然而，区域特征的有限表示能力使得关系模型难以嵌入AU关系知识。在本文中，我们提出了一种新的多级自适应ROI和图学习（MARGL）框架来解决这个问题。具体而言，自适应ROI学习模块被设计为自动调整预定义AU区域的位置和大小。同时，除了AU之间的关系之外，骨干网络的多个级别之间的区域特征之间存在很强的相关性，因为级别特征集中在表示的不同方面。为了同时融合层内AU关系和层间AU区域相关性，构造了多层AU关系图，并通过图卷积进一步增强了各层AU区域特征。在BP4D和DISFA上的实验表明，所提出的MARGL显著优于以前的最先进的方法。
2021-02-24 cs.CV
From General Actions to Domain-Specific Monitoring: Prior-Adaptive Transfer for Skeleton-Based Action Recognition
University of Science and Technology of China（中国科学技术大学）
研究基于骨架的动作识别模型在特定领域任务中表现不佳的问题，提出先验自适应迁移框架PATS，通过选择性保留相关先验并过滤冗余，经实验在阿尔茨海默病检测和跌倒检测任务中提升性能与效率。
2026-07-07 cs.CV
3D Adaptive Structural Convolution Network for Domain-Invariant Point Cloud Recognition
University of Central Florida（中佛罗里达大学）；Ajou University（亚洲大学）
本文提出3D自适应结构卷积网络（3D-ASCN），通过结合3D卷积核、结构树和自适应邻域采样提取域不变几何特征，在无需参数调整的情况下提升自动驾驶点云识别在不同传感器配置下的鲁棒性与效率。
2024-10-22 cs.AI cs.CV
Segmentation-Aware and Adaptive Iris Recognition
虹膜识别作为一种最准确、最方便的身份识别技术，在电子安全领域得到了越来越广泛的应用。已知在远距离处或在较少约束的成像环境下获取的虹膜图像的质量会降低虹膜匹配精度。眼周信息固有地嵌入在这样的虹膜图像中，并且可以被利用来辅助在这样的非理想场景下的虹膜识别。我们对这种虹膜模板的分析也表明感兴趣区域的显著退化和减少，其中虹膜识别可以受益于可以考虑不同二进制位的重要性的相似性距离，而不是文献中直接使用汉明距离。眼周信息可以动态地增强，通过将可用虹膜区域的有效面积的差异，用于更准确的虹膜识别。本文提出了这样一个分割辅助自适应框架，更准确的少约束虹膜识别。在三个公开的虹膜数据库上进行了数据集内和跨数据集性能评估，验证了该框架的有效性。
2019-12-31 cs.CV eess.IV
Human-Centric Transformer for Domain Adaptive Action Recognition
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Peng Cheng Laboratory（鹏城实验室）
针对跨域动作识别中现有方法易丢失人类线索、依赖无关背景导致性能下降的问题，提出HCTransformer，通过解耦的以人为中心学习范式建模人类线索及人-动作相关背景的领域不变交互，在三个基准上取得SOTA性能。
2024-07-15 cs.CV
Adaptive Text Recognition through Visual Matching
University of Oxford（牛津大学）；DeepMind
在这项工作中，我们的目标是解决文件中的文本识别的泛化和灵活性的问题。我们引入了一个新的模型，利用语言中字符的重复性，并将视觉表示学习和语言建模阶段相结合。通过这样做，我们把文本识别转化为形状匹配问题，从而实现了外观的泛化和类的灵活性。我们在不同字母表的合成数据集和真实数据集上评估了新模型，并表明它可以处理传统架构在没有昂贵的重新训练的情况下无法解决的挑战，包括：（i）它可以推广到看不见的字体，而无需新的样本;（ii）它可以灵活地改变类的数量，只需改变提供的样本;以及（iii）它可以通过提供新的字符集来推广到它还没有被训练的新语言和新字符。在所有这些情况下，我们表现出显着的改进，在国家的最先进的模型。
2020-09-14 cs.CV
Adaptive Multiscale Illumination-Invariant Feature Representation for Undersampled Face Recognition
School of Automation, Southeast University（东南大学自动化学院）；School of Automation, Nanjing University of Posts and Telecommunications（南京邮电大学自动化学院）
提出了一种新的光照不变特征表示方法，用于消除欠采样人脸识别中光照变化的影响。首先，提出了一种基于奇异值分解（SVD）的光照度分类方法，用于判断输入图像的光照度。其次，基于Lambertian模型和人脸图像的局部近邻特征，构造了适用于多尺度下局部区域的对数边缘映射特征（LEF）。然后，参考光照水平构造高性能的LEF，并对人脸图像实现多尺度LEF的自适应融合，进行JLEF特征。此外，通过约束操作去除无用的高频干扰，分离有用的人脸特征边缘，构造AJLEF人脸。最后，我们的方法和其他国家的最先进的算法，包括深度学习方法的效果进行了测试扩展耶鲁B，CMU PIE，AR以及我们的自建驱动程序数据库（SDB）。实验结果表明，JLEF特征和AJLEF脸优于其他相关方法的欠采样人脸识别在不同的照明。
2020-04-07 cs.CV
AdaFrame: Adaptive Frame Selection for Fast Video Recognition
Georgia Institute of Technology（佐治亚理工学院）；Salesforce Research（赛富时研究院）；University of Maryland（马里兰大学）
我们提出了AdaFrame，一个框架，自适应地选择相关的帧在每输入的基础上快速视频识别。AdaFrame包含一个长短期记忆网络，该网络增强了全局记忆，该全局记忆提供上下文信息，用于搜索随时间推移使用哪些帧。AdaFrame使用策略梯度方法进行训练，生成预测，确定下一个要观察的帧，并计算效用，即，预期的未来回报，在每个时间步看到更多的帧。在测试时，AdaFrame利用预测工具来实现自适应前瞻推理，从而在不降低准确性的情况下降低整体计算成本。在FCVID和ActivityNet两个大规模视频基准上进行了大量的实验。AdaFrame在FCVID和ActivityNet上分别仅使用8.21和8.65帧的所有帧的性能相匹配。我们进一步定性地证明了学习框架的使用可以表明分类决策的难度;更容易的样本需要更少的框架，而更难的样本需要更多的框架，无论是在同一类中的实例级还是在不同类别之间的类级。
2019-04-10 cs.CV
X2-Softmax: Margin Adaptive Loss Function for Face Recognition
Jinan University（暨南大学）；University of Macau（澳门大学）
针对固定角度边距损失函数在人脸样本分布不平衡时存在的收敛难、特征判别性不足问题，提出具备角度自适应边距的X2-Softmax损失，经多基准测试验证可有效提升人脸识别效果。
2023-12-19 cs.CV
Making Every Frame Matter: Continuous Activity Recognition in Streaming Video via Adaptive Video Context Modeling
Nanjing University（南京大学）；Microsoft Research（微软研究院）；AIR, Tsinghua University（清华大学AIR）
针对流式视频中多尺度未裁剪连续活动识别难题，提出CARS系统，通过自适应时空上下文建模、空间特征提取和活动感知状态更新，在边缘设备上实现超过30 FPS的高效识别并显著提升准确率。
2025-03-13 cs.CV
Not All Instances Contribute Equally: Instance-adaptive Class Representation Learning for Few-Shot Visual Recognition
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）；JD Explore Academy（京东探索研究院）；Beijing Institute of Technology（北京理工大学）；Nanyang Technological University（南洋理工大学）
Few-Shot视觉识别是指从少量标记实例中识别新的视觉概念。许多Few-Shot视觉识别方法采用基于度量的元学习范式，通过比较查询表示和类表示来预测查询实例的类别。然而，目前的基于度量的方法通常平等地对待所有实例，因此经常获得有偏见的类表示，考虑到不是所有的实例都同样重要时，总结类级表示的实例级表示。例如，某些实例可能包含不具有代表性的信息，例如太多的背景和不相关概念的信息，这会扭曲结果。为了解决上述问题，我们提出了一种新的基于度量的元学习框架称为实例自适应类表示学习网络（ICRL-Net）的Few-Shot视觉识别。具体来说，我们开发了一个自适应的实例重估网络的能力，以解决有偏见的代表性问题时，产生的类表示，通过学习和分配自适应的权重为不同的实例，根据其相对重要性在相应的类的支持集。此外，我们设计了一个改进的双线性实例表示，并纳入两个新的结构损失，即，类内实例聚类损失和类间表示区分损失，以进一步规范实例重估过程，细化类表示。我们对四个常用的Few-Shot基准测试进行了广泛的实验：miniImageNet，tieredImageNet，CIFAR-FS和FC 100数据集。实验结果表明，我们的ICRL-Net与国家的最先进的方法相比的优越性。
2022-09-07 cs.CV
Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
图卷积网络（GCN）将人体骨架建模为时空图，在基于人体骨架的动作识别中取得了令人瞩目的成绩。然而，在现有的基于GCN的方法中，图的拓扑是手动设置的，并且在所有层和输入样本上都是固定的。这可能不是最佳的分层GCN和不同的动作识别任务中的样本。此外，二阶信息（骨骼的长度和方向）的骨架数据，这是自然更多的信息和歧视性的动作识别，很少在现有的方法进行研究。在这项工作中，我们提出了一种新的双流自适应图卷积网络（2s-AGCN）的动作识别。在我们的模型中，图的拓扑结构可以通过BP算法以端到端的方式统一或单独学习。这种数据驱动的方法增加了模型构建图的灵活性，并带来了更大的通用性，以适应不同的数据样本。此外，提出了一个双流框架，同时建模的一阶和二阶信息，这表明显着提高识别精度。在两个大规模数据集NTU-RGBD和Kinetics-Skeleton上的大量实验表明，我们的模型的性能超过了最先进的水平，具有显着的优势。
2019-07-10 cs.CV
Adaptive Logit Adjustment Loss for Long-Tailed Visual Recognition
Tsinghua University（清华大学）；ByteDance（字节跳动）；Microsoft（微软）
现实世界中的数据往往呈现长尾标签分布，这给视觉识别中的神经网络训练带来了巨大的挑战。现有的方法主要从数据量的角度来解决这个问题，即，每个类别中的样本数量。具体来说，他们更关注尾部类，比如对logit应用更大的调整。然而，在训练过程中，数据的数量和难度是两个相互交织、同样关键的问题。对于某些尾类，其实例的特征具有明显的区分性，也能带来令人满意的准确率;对于某些头类，虽然样本足够，但由于与其他类的语义相似度高，缺乏区分性特征，准确率会很差。基于这些观察结果，我们提出了自适应Logit调整损失（ALA损失）应用自适应调整项的logit。自适应调整项由两个互补因子组成：1）数量因子，它更关注尾类; 2）难度因子，它在训练过程中自适应地更关注硬实例。难度因子可以缓解尾部但容易的实例的过度优化和头部但困难的实例的优化不足。这两个因素的协同作用不仅可以进一步提高尾类的性能，而且还可以提高头类的准确性。与以往的logit调整方法只关注数据量不同，ALA Loss从更全面、细粒度和自适应的角度解决了长尾问题。大量的实验结果表明，我们的方法在具有挑战性的识别基准测试中达到了最先进的性能，包括ImageNet-LT，iNaturalist 2018和Places-LT。
2021-09-23 cs.CV
Towards Semi-Supervised Deep Facial Expression Recognition with An Adaptive Confidence Margin
Xidian University（西安电子科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Chongqing University of Posts and Telecommunications（重庆邮电大学）
对于大多数半监督学习方法，仅选择未标记数据的部分来训练模型，其置信度分数通常高于预定义阈值（即，置信度）。我们认为，识别性能应进一步提高，充分利用所有未标记的数据。在本文中，我们学习了自适应置信度（Ada-CM），以充分利用所有未标记的数据进行半监督深度面部表情识别。通过在每个训练时期将所有未标记的样本的置信度分数与自适应学习的置信度裕度进行比较，将所有未标记的样本划分为两个子集：（1）子集I，包括置信度分数不低于裕度的样本;（2）子集II，包括置信度分数低于裕度的样本。对于子集I中的样本，我们约束它们的预测以匹配伪标签。同时，子集II中的样本参与特征级对比目标，以学习有效的面部表情特征。我们在四个具有挑战性的数据集上对Ada-CM进行了广泛的评估，结果表明我们的方法达到了最先进的性能，特别是以半监督的方式超过了完全监督的基线。消融实验进一步证明了该方法的有效性。源代码可在https://github.com/hangyu94/Ada-CM上获得。
2022-03-24 cs.CV
Learning Spatially-Adaptive Squeeze-Excitation Networks for Image Synthesis and Image Recognition
North Carolina State University（北卡罗来纳州立大学）
在图像合成和图像识别中学习轻量级但富有表现力的深度网络仍然是一个具有挑战性的问题。受最近观察到的数据特异性使得Transformer模型中的多头自注意（MHSA）如此强大的启发，本文提出将广泛采用的轻量级挤压激励（SE）模块扩展为空间自适应的，以增强其数据特异性，作为MHSA的卷积替代方案，同时保留SE的效率和卷积的归纳基础。提出了两种空间自适应挤压激励（SASE）模块的设计，分别用于图像合成和图像识别。对于图像合成任务，所提出的SASE进行了测试，在低拍摄和单次学习任务。它显示出比现有技术更好的性能。对于图像识别任务，所提出的SASE被用作ResNets中卷积层的直接替代品，并且比普通ResNets实现了更好的准确性，并且比MHSA的同类产品（如ImageNet-1000数据集中的Swin-Transformer和Pyramid-Transformer）略好，模型明显更小。
2022-10-03 cs.CV cs.LG
DART: Dual Adaptive Refinement Transfer for Open-Vocabulary Multi-Label Recognition
Sun Yat-sen University（中山大学）
DART框架通过双自适应模块（ARM与ATM）分别实现类内细化和类间关系迁移，利用LLM构建的类别关系图增强开放词汇多标签识别，在多个基准上达到最先进性能。
2025-08-07 cs.CV
Multimodal Emotion Recognition in Conversations via Class-Wise Adaptive Modality Fusion and Affective Geometry
Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心Eurecat）；Universitat Pompeu Fabra（庞培法布拉大学）
本研究提出一种结合外观与几何视觉表示、类别自适应模态融合及效价-唤醒先验的ERC方法，在MELD和IEMOCAP上显著提升性能，验证了结构化面部线索与情感几何的互补价值。
2026-09-10 cs.CV
