CAMAL: Context-Aware Multi-layer Attention framework for Lightweight Environment Invariant Visual Place Recognition
University of Essex（埃塞克斯大学）；Queensland University of Technology（昆士兰科技大学）
在过去的几年里，深度卷积神经网络（D-CNN）已经在视觉位置识别（VPR）方面表现出了最先进的（SOTA）性能，VPR是长期智能机器人视觉（视觉感知定位和导航系统）的关键组成部分。D-CNN在大规模地点数据集上进行训练后获得了著名的泛化能力，并学习了持久的图像区域，这些区域在不断变化的条件和相机视角下对于特定地点识别具有鲁棒性。然而，针对用于确定资源受限的移动机器人的近似位置的基于计算和功率密集型D-CNN的VPR算法，轻量级VPR技术是优选的。本文提出了一个计算和能量高效的CAMAL框架，该框架可以有效地捕获特定于位置的多层卷积注意力，以实现环境不变-VPR。在低4倍的功耗下，在具有挑战性的基准位置识别数据集上评估所提出的VPR框架，显示出更好的和可比的精确召回（AUC-PR）曲线下的面积，与当代VPR方法相比，图像检索性能提高了约4倍。
2020-08-13 cs.CV
CAS-FD: Contact-Aware Temporal Sampling for Single-View Foul vs Dive Recognition
Premier University（普雷米尔大学）
针对单视角足球犯规与假摔识别难题，提出接触感知时间采样方法，构建含600个片段的均衡数据集，性能较无接触感知方法提升12个百分点，提供可复现流水线与评估框架。
2026-08-19 cs.CV
Towards Reading Beyond Faces for Sparsity-Aware 4D Affect Recognition
Center for Machine Vision and Signal Analysis (CMVS), University of Oulu（奥卢大学机器视觉与信号分析中心）
在本文中，我们提出了一种用于自动4D面部表情识别（FER）的稀疏感知深度网络。给定4D数据，我们首先提出了一种新的增强方法来解决深度学习的数据限制问题。这是通过将输入数据投影到RGB和深度图图像中，然后迭代地执行随机化通道级联来实现的。在给定的3D地标编码，我们还介绍了一种有效的方法来捕捉面部肌肉运动从三个正交计划（TOP），TOP地标在多个视图。重要的是，我们提出了一个稀疏感知的深度网络来计算多视图上卷积特征的稀疏表示。这不仅对于更高的识别精度是有效的，而且在计算上也是方便的。对于训练，TOP地标和稀疏表示用于训练长短期记忆（LSTM）网络。当学习的特征在多视图上协作时，实现了精细的预测。在BU-4DFE数据集上取得的广泛实验结果表明，我们的方法对4D FER的准确率达到99.69%，比最先进的方法具有重要意义。
2020-08-19 cs.CV
Intensity-Aware Loss for Dynamic Facial Expression Recognition in the Wild
University of Science and Technology of China（中国科学技术大学）
与基于图像的静态人脸表情识别（SFER）任务相比，基于视频序列的动态人脸表情识别（DFER）任务更接近自然表情识别场景。然而，DFER往往更具挑战性。其中一个主要原因是视频序列通常包含具有不同表情强度的帧，特别是对于真实世界场景中的面部表情，而SFER中的图像经常呈现均匀且高的表情强度。然而，如果对不同强度的表达式进行同等对待，则网络学习的特征将具有较大的类内差异和较小的类间差异，这对DFER是有害的。为了解决这个问题，我们提出了全局卷积注意块（GCA）来重新缩放特征图的通道。此外，我们在训练过程中引入了强度感知损失（IAL），以帮助网络区分表达强度相对较低的样本。在两个野外动态面部表情数据集上的实验（即，DFEW和FERV39k）表明，我们的方法优于最先进的DFER方法。源代码将公开提供。
2022-08-19 cs.CV
High-Accuracy RGB-D Face Recognition via Segmentation-Aware Face Depth Estimation and Mask-Guided Attention Network
Department of Computer Science, National Tsing Hua University（台湾清华大学计算机科学系）；Microsoft AI R&D Center（微软人工智能研发中心）
深度学习方法通过用非常大的人脸图像数据集训练模型来实现高度准确的人脸识别。与大型2D人脸图像数据集的可用性不同，缺乏可供公众使用的大型3D人脸数据集。现有的公开3D人脸数据集通常采集对象较少，导致过拟合问题。本文提出了两种CNN模型来改进RGB-D人脸识别任务。第一个是分割感知深度估计网络，称为DepthNet，它通过包含语义分割信息来估计RGB人脸图像的深度图，以实现更准确的人脸区域定位。另一个是一种新的面具引导的RGB-D人脸识别模型，它包含一个RGB识别分支，一个深度图识别分支，和一个辅助分割面具分支与空间注意力模块。我们的DepthNet用于将大型2D人脸图像数据集增强为大型RGB-D人脸数据集，用于训练准确的RGB-D人脸识别模型。此外，所提出的面具引导的RGB-D人脸识别模型可以充分利用深度图和分割面具信息，并且比以前的方法对姿态变化更具鲁棒性。我们的实验结果表明，深度网络可以产生更可靠的深度图从人脸图像的分割掩模。我们的面具引导人脸识别模型在几个公共3D人脸数据集上的性能优于最先进的方法。
2021-12-22 cs.CV
E2-Capsule Neural Networks for Facial Expression Recognition Using AU-Aware Attention
胶囊神经网络是深度学习中的一种新的流行技术。然而，传统的胶囊神经网络没有充分提取特征之前，胶囊之间的动态路由。本文提出了一种双增强型胶囊神经网络（E2-Capsnet），它利用AU感知的注意力进行人脸表情识别。E2-Capsnet利用了胶囊之间的动态路由，并具有两个增强模块，这对FER是有益的。第一个增强模块是具有AU感知注意力的卷积神经网络，它可以帮助关注表情的活跃区域。第二个增强模块是具有多个卷积层的胶囊神经网络，增强了特征表示的能力。最后利用压缩函数对人脸表情进行分类。我们证明了E2-Capsnet在两个公共基准数据集RAF-DB和CAP 2 tioNet上的有效性。实验结果表明，我们的E2-Capsnet是优于国家的最先进的方法。我们的实施将在网上公开。
2019-12-05 cs.CV
ScaleFace: Uncertainty-aware Deep Metric Learning
Skoltech（斯科尔科沃科技学院）；Sberbank（俄罗斯联邦储蓄银行）；Technology Innovation Institute（技术创新研究院）；Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）
现代基于深度学习的系统的性能极大地依赖于输入对象的质量。例如，对于模糊或损坏的输入，面部识别质量将较低。然而，在更复杂的场景中，很难预测输入质量对结果准确性的影响。我们提出了一种深度度量学习的方法，可以直接估计不确定性，几乎没有额外的计算成本。所开发的\textit{ScaleFace}算法使用可训练的尺度值来修改嵌入空间中的相似性。这些依赖于输入的尺度值表示识别结果中的置信度的度量，从而允许不确定性估计。我们提供了全面的人脸识别任务的实验，显示了优越的性能相比，其他不确定性感知的人脸识别方法的ScaleFace。我们还将结果扩展到文本到图像检索的任务，表明所提出的方法击败了竞争对手显着的利润。
2022-09-12 cs.AI cs.CV cs.LG
DenseFace: Bias Mitigation in Face Recognition via Density-Aware Probabilistic Matching
VisionLabs；Amazon Web Services（亚马逊云服务）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对人脸识别中的种族偏差问题，提出基于冯·米塞斯-费舍尔分布密度感知的概率匹配方法DenseFace，在不降低精度且无需重训练的情况下有效缓解偏差。
2026-09-16 cs.CV
Geometry-Aware Recurrent Neural Networks for Active Visual Recognition
Carnegie Mellon University（卡内基梅隆大学）
我们提出了经常性的几何感知神经网络，将视觉信息跨多个视图的场景到3D潜在特征张量，同时保持一个一对一的映射之间的3D物理位置在世界场景和潜在特征的位置。然后直接使用所构建的3D特征存储器来执行目标检测、目标分割和3D重建，而不是任何输入的2D图像。所提出的模型配备了可微的自我运动感知的特征扭曲和（学习）深度感知的非投影操作，以实现输入帧中的特征与构建的场景潜在模型之间的几何一致映射。我们的经验表明，所提出的模型比几何未知的LSTM/GRU网络更好地推广，特别是在存在多个对象和跨对象遮挡的情况下。结合主动视图选择策略，我们的模型学习选择信息丰富的视点，通过“撤销”跨对象遮挡来整合信息，将几何形状与经验学习无缝结合起来。
2018-11-14 cs.CV
Diffusion for De-Occlusion: Accessory-Aware Diffusion Inpainting for Robust Ear Biometric Recognition
Department of Computer Science and Engineering, University of Notre Dame（计算机科学与工程系，圣母大学）
本文提出了一种基于扩散的耳部修复方法，用于缓解耳饰遮挡问题，提升基于耳部的生物识别系统性能。
2026-01-27 cs.CV
Face Quality Estimation and Its Correlation to Demographic and Non-Demographic Bias in Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
人脸质量评估的目的是估计人脸图像的识别目的的效用。它是实现高性能人脸识别的关键因素。目前，这些人脸识别系统的高性能是以对人口统计和非人口统计子群体的强烈偏见为代价的。最近的工作表明，人脸质量评估算法应该适应部署的人脸识别系统，以实现高度准确和鲁棒的质量估计。然而，这可能导致对面部质量评估的偏见转移，从而导致歧视性影响，例如在注册期间。在这项工作中，我们提出了一个深入的分析人脸识别和人脸质量评估的偏见之间的相关性。实验在两个公开的数据集上进行，这些数据集是在受控和非受控的情况下捕获的，具有两种流行的人脸嵌入。我们评估了四种最先进的面部质量评估解决方案，包括对姿势，种族和年龄的偏见。实验表明，人脸质量评估解决方案分配给受识别偏差影响的子组的质量值显着较低，表明这些方法也有偏差。这就提出了关于公平和歧视的伦理问题，未来的工作必须解决这些问题。
2020-07-10 cs.CV
Mitigate Bias in Face Recognition using Skewness-Aware Reinforcement Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
种族平等是国际人权法的重要主题，但在盲目追求整体人脸识别准确率的情况下，种族平等在很大程度上被掩盖了。越来越多的事实表明，种族偏见确实降低了识别系统的公平性，非白种人的出错率通常远高于白种人。为了鼓励公平性，我们引入了自适应保证金的想法，以根据大的保证金损失来学习不同种族的平衡性能。提出了一种基于强化学习的竞争平衡网络（RL-RBN）。我们将为非高加索人寻找最佳利润的过程表述为马尔可夫决策过程，并采用深度Q学习来学习策略，以便代理通过近似Q-价值函数来选择适当的利润。在智能体的指导下，种族间特征分散度的偏度可以减小。此外，我们提供了两个种族意识的训练数据集，称为BUPT-Globalface和BUPT-Balancedface数据集，可以用来从数据和算法两个方面研究种族偏见。在RFW数据库上的大量实验表明，RL-RBN成功地减轻了种族偏见，并为不同种族学习了更平衡的性能。
2019-11-25 cs.CV
Deep Reinforced Attention Learning for Quality-Aware Visual Recognition
在本文中，我们建立在任何卷积神经网络中的中间注意力图的弱监督生成机制的基础上，更直接地揭示了注意力模块的有效性，以充分发挥其潜力。给定一个现有的神经网络配备了任意的注意力模块，我们引入了一个Meta评论网络来评估的质量的注意力地图的主要网络。由于我们设计的奖励的离散性，所提出的学习方法被安排在一个强化学习设置，其中注意演员和经常性的批评者交替优化，以提供即时的批评和修正的临时注意表示，因此被称为深度强化注意学习（DREAL）。它可以普遍适用于不同类型的注意力模块的网络架构，并通过最大化每个单独的注意力模块产生的最终识别性能的相对增益来提高它们的表达能力，如在类别和实例识别基准上的广泛实验所示。
2022-08-30 cs.CV
Uncertainty-aware Label Distribution Learning for Facial Expression Recognition
University of Science（科学大学）；Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学）；AIOZ；FPT Software AI Center（FPT软件人工智能中心）；University of Liverpool（利物浦大学）
尽管在过去几年中取得了重大进展，但模糊性仍然是面部表情识别（FER）的一个关键挑战。它可能导致噪声和不一致的注释，这会阻碍深度学习模型在现实场景中的性能。在本文中，我们提出了一种新的不确定性感知标签分布学习方法，以提高深度模型对不确定性和模糊性的鲁棒性。我们利用邻域信息的效价唤醒空间自适应地构建情感分布的训练样本。我们还考虑了将它们纳入标签分布时所提供的标签的不确定性。我们的方法可以很容易地集成到深度网络中，以获得更多的训练监督并提高识别精度。在各种噪声和模糊设置下对几个数据集进行的密集实验表明，我们的方法取得了有竞争力的结果，并优于最近的最先进的方法。我们的代码和模型可以在https://github.com/minhnhatvt/label-distribution-learning-fer-tf上找到。
2022-09-21 cs.CV
AAFACE: Attribute-aware Attentional Network for Face Recognition
West Virginia University（西弗吉尼亚大学）
提出多分支网络 AAFace，通过属性感知注意力整合模块融合软生物特征与人脸识别特征，提升表征判别力，并在实验中优于现有 SoTA 方法。
2023-08-14 cs.CV
EQFace: A Simple Explicit Quality Network for Face Recognition
Shenzhen Deepcam Information Technologies（深圳深视信息技术有限公司）；LinkSprite Technologies（LinkSprite 技术公司）
随着深度学习在静态图像人脸识别方面取得了很大的进展，由于姿态、模糊、遮挡、光照等原因造成的低质量人脸图像，无约束视频人脸识别仍然是一项具有挑战性的任务。本文提出了一种用于人脸识别的网络，该网络在提取特征向量的同时给出了明确的量化质量分数。据我们所知，这是第一个在一个网络中在线实现这两个功能的网络。该网络非常简单，只需在人脸识别的基线网络上添加一个质量网络分支。它不需要带有注释的人脸质量标签的训练数据集。我们在静态图像人脸数据集和视频人脸数据集上对该网络进行了评估，并在许多情况下实现了最先进的性能。该网络支持许多使用显式面部质量scpre的应用。我们展示了三个应用程序的显式人脸质量，其中之一是一个渐进的特征聚合计划在在线视频人脸识别。我们设计了一个实验来证明在这个应用程序中使用人脸质量的好处。代码将在\url{https://github.com/deepcam-cn/facequality}上提供。
2021-05-03 cs.CV
DAIL: Dataset-Aware and Invariant Learning for Face Recognition
Wyze Labs（Wyze实验室）；Zhejiang University-University of Illinois at Urbana-Champaign Institute（浙江大学-伊利诺伊大学厄巴纳-香槟分校学院）；University of Rochester（罗切斯特大学）
为了在人脸识别中获得良好的性能，通常需要大规模的训练数据集。提高识别性能的一种简单而有效的方法是通过在训练中组合多个数据集来使用尽可能大的数据集。然而，由于两个主要问题，天真地组合不同的数据集是有问题和麻烦的。首先，同一个人可能出现在不同的数据集中，导致不同数据集之间的身份重叠问题。在训练过程中，将同一个人视为不同数据集中的不同类会影响反向传播并生成非代表性嵌入。另一方面，手动清理标签可能需要巨大的人力，特别是当有数百万张图像和数千个身份时。其次，不同的数据集是在不同的情况下收集的，因此会导致不同的域分布。简单地组合数据集将使跨不同数据集学习域不变嵌入变得困难。在本文中，我们提出DAIL：数据集感知和不变学习来解决上述问题。为了解决身份重叠的第一个问题，我们提出了一种多数据集训练的身份感知损失，当同一个人出现在多个数据集中时，减少惩罚。这可以很容易地实现与一个修改的softmax损失与网络感知的条款。为了解决第二个问题，采用具有梯度反转层的领域自适应进行数据集不变学习。所提出的方法不仅在几种常用的人脸识别验证集上取得了最先进的结果，包括LFW，CFP-FP和CFDB-30，而且在实际应用中也表现出了很大的优势。
2021-01-14 cs.CV
Predicting Face Recognition Performance Using Image Quality
University of Twente（特文特大学）
提出了一种基于图像质量特征的数据驱动模型来预测人脸识别系统的性能。我们对图像质量特征（例如，姿势、照明等）与图像质量特征之间的关系进行建模。以及使用概率密度函数的识别性能测量。为了解决大多数数据驱动模型中固有的实际训练数据的有限性问题，我们开发了一种贝叶斯方法来模拟识别性能指标在质量空间小区域中的分布。由于该模型仅基于图像质量特征，因此即使在实际识别发生之前，它也可以预测性能。我们评估了所提出的模型的性能预测能力的六个人脸识别系统（两个商业和四个开源）上运行三个独立的数据集：MultiPIE，FRGC和CAS-PEAL。我们的研究结果表明，该模型可以准确地预测性能使用准确和公正的图像质量评估器（IQA）。此外，我们的实验突出了未考虑的质量空间的影响-IQA未考虑的图像质量特征-在导致性能预测误差方面。
2015-10-24 cs.CV
Predicting Performance of a Face Recognition System Based on Image Quality
University of Twente（特文特大学）；Netherlands Forensic Institute（荷兰法医研究所）；Gjøvik University College（约维克大学学院）；Michigan State University（密歇根州立大学）；Centre for Telematics and Information Technology（远程信息处理与信息技术中心）
在这篇论文中，我们提出了一个生成模型来捕捉人脸图像质量特征（如姿态，光照方向等）和人脸识别性能之间的关系。这样的模型可以用来预测人脸识别系统的性能。由于该模型仅基于图像质量特征，因此即使在实际识别发生之前也可以进行性能预测，从而促进了许多先发制人的行动。这种数据驱动生成模型的实际限制是训练数据集的有限性质。为了解决这个问题，我们已经开发了一种贝叶斯方法来模拟识别性能指标的分布的基础上的匹配和非匹配分数在图像质量空间的小区域的数量。从这些模型中抽取的随机样本提供了训练生成模型所必需的初始数据。基于六个人脸识别系统在三个独立数据集上运行的实验结果表明，所提出的性能预测模型可以使用准确且无偏见的图像质量评估器（IQA）准确地预测人脸识别性能。此外，我们的研究结果表明，在未考虑的质量空间的变化-IQA不考虑的图像质量特征-是造成预测性能不准确的主要因素。
2015-10-24 cs.CV
Quality-Aware Multimodal Biometric Recognition
West Virginia University（西弗吉尼亚大学）
我们提出了一个质量感知的多模态识别框架，结合不同的质量和样本数量的多个生物特征的表示，以实现提高识别精度，通过提取互补的识别信息的基础上的样本的质量。我们开发了一个质量感知框架，通过使用弱监督方式估计的质量分数来加权其重要性，以融合输入模态的表示。该框架利用两个融合块，每个融合块由一组质量感知和聚合网络表示。除了架构修改，我们提出了两个特定于任务的损失函数：多模态分离性损失和多模态紧凑性损失。第一个损失确保了一个类的模态表示具有可比的幅度，以提供更好的质量估计，而不同类的多模态表示是分布式的，以实现嵌入空间中的最大区分。第二种损失被认为是正则化网络权重，通过正则化框架来提高泛化性能。我们评估的性能，考虑三个多模态数据集组成的脸，虹膜和指纹模式。通过与最先进的算法进行比较，证明了该框架的有效性。特别是，我们的框架优于等级和评分级别的融合形式的BIOMDATA超过30%的真实接受率在错误的接受率$10^{-4}$。
2021-12-10 cs.CV cs.LG
Pose Impact Estimation on Face Recognition using 3D-Aware Synthetic Data with Application to Quality Assessment
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Hochschule Darmstadt (h-da)（达姆施塔特应用技术大学）
本文构建3D感知合成姿态数据集Syn-YawPitch，量化俯仰角对人脸识别的影响，并提出符合ISO标准的轻量可解释姿态质量预测器。
2023-12-06 cs.CV cs.HC
FaceQnet: Quality Assessment for Face Recognition based on Deep Learning
UAM（马德里自治大学）；European Commission, JRC（欧盟委员会联合研究中心）
在本文中，我们开发了一种基于深度学习的人脸识别质量评估方法。该方法包括一个卷积神经网络，FaceQnet，这是用来预测一个特定的输入图像的人脸识别目的的适用性。FaceQnet的训练使用VGGFace2数据库完成。我们采用BioLab-ICAO框架来标记VGGFace2图像，其中包含与其ICAO合规级别相关的质量信息。地面实况质量标签是使用FaceNet获得的，以生成比较分数。我们使用地面实况数据来微调基于ResNet的CNN，使其能够为每个输入图像返回数值质量度量。最后，我们验证了FaceQnet分数是否适合预测预期的性能时，采用特定的图像与COTS人脸识别系统进行人脸识别。从这项工作中可以得出若干结论，最值得注意的是：1）我们设法采用现有的ICAO合规框架和预训练的CNN来自动标记具有质量信息的数据，2）我们通过微调预训练的人脸识别网络来训练FaceQnet进行质量估计（ResNet-50），以及3）我们已经证明，FaceQnet的预测与开发过程中未使用的最先进商业系统的人脸识别准确性高度相关。FaceQnet在GitHub上公开。
2019-04-04 cs.CV cs.LG eess.IV
TDATR: Improving End-to-End Table Recognition via Table Detail-Aware Learning and Cell-Level Visual Alignment
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（iFLYTEK研究院）
TDATR通过表格细节感知学习和单元级视觉对齐改进端到端表格识别，采用感知-融合策略，提升模型鲁棒性和识别精度，无需数据集特定微调即可在七个基准上取得领先性能。
2026-03-24 cs.AI cs.CV
Ordering Matters: Rank-Aware Selective Fusion for Blended Emotion Recognition
Department of Artificial Intelligence and Software（人工智能与软件系）
提出一种排名感知的多编码器框架，通过注意力门控模块选择最有效的编码器进行融合，并解耦预测为存在性和显著性头，结合无监督域适应，在混合情感识别任务中取得第二名成绩。
2026-05-24 cs.AI cs.CV
MAND: Modality-Aware Novelty Detection for Open-World Egocentric Activity Recognition
Department of Computer Science and Engineering, Chung-Ang University（Chung-Ang大学计算机科学与工程系）
提出MAND框架，通过模态感知自适应评分和表示稳定训练，利用视觉和惯性模态互补信息，提升开放世界自我中心活动识别中的新颖性检测和已知类准确率。
2026-06-16 cs.AI cs.CV
Walking Further: Semantic-aware Multimodal Gait Recognition Under Long-Range Conditions
本文提出LRGait基准和EMGaitNet框架，通过语义引导融合和跨模态对齐提升远距离步态识别性能，验证了方法的有效性。
2026-03-15 cs.AI cs.CV
Watch Where You Move: Region-aware Dynamic Aggregation and Excitation for Gait Recognition
School of Artificial Intelligence, South China Normal University（人工智能学院，华南师范大学）；Media Analytics and Computing Lab, Department of Artificial Intelligence, School of Informatics, Xiamen University（媒体分析与计算实验室，人工智能系，信息学院，厦门大学）；School of Computer Science, Wuhan University（计算机科学学院，武汉大学）；PhiGent Robotics（PhiGent机器人）
针对步态识别中运动区域动态变化且现有方法时间尺度固定的问题，提出GaitRDAE框架，通过RDA与RDE模块自适应搜索区域、分配时序尺度并激励稳定运动模式，在多个基准上达到SOTA。
2025-10-18 cs.AI cs.CV
Pose-Aware Person Recognition
CVIT, IIIT Hyderabad（海得拉巴国际信息技术学院 CVIT）；Facebook AI Research（Facebook 人工智能研究院）
使用多个身体区域的人识别方法已经显示出比传统的基于面部的识别显著的改进。全身人物识别的主要挑战之一是姿势和视角的极端变化。在这项工作中，（i）我们提出了一种方法，该方法利用在特定姿势上训练的多个模型来处理姿势变化，并在测试期间使用姿势感知权重进行组合。(ii)为了学习一个人的表示，我们提出了一个网络，联合优化多个身体区域的单一损失。(iii)最后，我们引入了新的基准来评估不同场景下的人识别，并在所有基准上（包括PIPA的相册设置）显示了比以前提出的方法的显着改进。
2017-05-29 cs.CV
You Can Run but not Hide: Improving Gait Recognition with Intrinsic Occlusion Type Awareness
Johns Hopkins University（约翰斯·霍普金斯大学）
本文针对步态识别中的遮挡问题，提出一种遮挡感知方法，通过利用学习到的遮挡类型增强现有步态识别模型，并在 GREW 和 BRIAR 数据集上验证了其有效性。
2023-12-04 cs.CV
Unsupervised Pre-trained, Texture Aware And Lightweight Model for Deep Learning-Based Iris Recognition Under Limited Annotated Data
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
在本文中，我们提出了一个纹理感知的轻量级深度学习框架的虹膜识别。我们的贡献主要有三个方面。首先，为了解决标记虹膜数据的缺乏，我们提出了一个重建损失引导的无监督预训练阶段，然后进行监督细化。这使得网络权重集中在有区别的虹膜纹理模式上。接下来，我们在卷积神经网络中提出了几种纹理感知即兴创作，以更好地利用虹膜纹理。最后，我们表明，我们的系统训练和架构选择使我们能够设计一个高效的框架，其参数比当代深度学习基线少100倍，但在数据集内和跨数据集评估中实现更好的识别性能。
2020-02-20 cs.CV
SalientFusion: Context-Aware Compositional Zero-Shot Food Recognition
Renmin University of China（中国人民大学）
针对组合式零样本食物识别的背景冗余、角色混淆与语义偏差三大挑战，提出含SalientFormer和DebiasAT的SalientFusion方法，在自建及通用基准上取得最优结果。
2025-09-04 cs.AI cs.CV
Robust Context-Aware Object Recognition
Visual Recognition Group, Czech Technical University in Prague（捷克技术大学布拉格分校视觉识别组）
针对视觉识别中模型过度依赖背景的捷径学习问题，提出RCOR方法，通过将定位融入识别解耦目标与上下文建模并鲁棒融合，在不牺牲二者的前提下提升了多类模型在不同背景数据集上的性能。
2025-10-01 cs.CV
ICE-GAN: Identity-aware and Capsule-Enhanced GAN with Graph-based Reasoning for Micro-Expression Recognition and Synthesis
University of Sydney（悉尼大学）；University of New South Wales（新南威尔士大学）
微表情是人们真实情感和动机的反映，因此吸引了越来越多的研究者对人脸微表情自动识别的研究。短的检测窗口，微妙的面部肌肉运动和有限的训练样本使得微表情识别具有挑战性。为此，我们提出了一种新的基于图推理的身份感知和胶囊增强的生成对抗网络（ICE-GAN），引入微表情合成作为辅助任务来辅助识别。生成器生成具有可控微表情和身份感知特征的合成人脸，其长期依赖性通过图推理模块（GRM）捕获，并且该生成器检测图像真实性和表情类。我们的ICE-GAN在Micro-Expression Grand Challenge 2019（MEGC 2019）上进行了评估，与获奖者相比有显著改善（12.9%），并超过了其他最先进的方法。
2021-04-26 cs.CV
Difficulty-aware Balancing Margin Loss for Long-tailed Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出难度感知平衡边际损失，通过结合类级边际和实例级边际同时解决长尾识别中的类别不平衡与实例难度变化问题，提升模型判别性。
2024-12-20 cs.AI cs.CV cs.LG
Recognition-Aware Learned Image Compression
已知的图像压缩方法通常优化速率失真损失，以增加的比特率来权衡视觉失真的改善。然而，越来越多的压缩图像被用作深度学习网络的输入，用于各种任务，如分类，对象检测和超分辨率。我们提出了一种具有识别意识的学习压缩方法，该方法优化了率失真损失以及特定于任务的损失，联合学习压缩和识别网络。我们使用EfficientNet识别模型增强了基于分层自动编码器的压缩网络，并使用两个超参数在失真、比特率和识别性能之间进行权衡。我们的特征的分类准确性，我们提出的方法作为比特率的函数，并发现，对于低比特率，我们的方法实现高达26%的识别准确率在同等比特率相比，传统的方法，如更好的便携式图形（BPG）。
2022-02-01 cs.CV eess.IV
Recognition Awareness: An Application of Latent Cognizance to Open-Set Recognition
Uttaradit Rajabhat University（程逸皇家大学）
本研究探讨了一种新的概率解释的softmax输出开集识别（OSR）的应用。Softmax是一种广泛用于分类和对象识别的机制。然而，softmax机制迫使模型在闭集范式下运行，即，从一组预定义的标签中预测出一个对象类。这个特性有助于分类的有效性，但在对象识别中造成无意义预测的风险。目标识别往往是在动态变化的条件下进行的。任何时候都可能遇到外来对象--任何未准备好的类的对象。OSR旨在解决在对象识别中识别外来对象的问题。基于贝叶斯定理和强调上下文条件化的思想，对softmax推理进行了重新解释。这种重新解释导致了OSR的新方法，称为潜在认知（LC）。我们的调查采用了各种场景，使用Imagenet 2012数据集以及傻瓜和开放集图像。研究结果支持LC假说，并显示其有效性的OSR。
2021-10-29 cs.CV
Identity-Aware CycleGAN for Face Photo-Sketch Synthesis and Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
人脸素描合成与识别在数字娱乐和执法领域有着广泛的应用。最近，基于生成对抗网络（GANs）的方法显着提高了图像合成的质量，但它们没有明确考虑识别的目的。在本文中，我们首先提出了一种身份感知CycleGAN（IACycleGAN）模型，该模型应用了一种新的感知损失来监督图像生成网络。它改进了CycleGAN的照片素描合成，更加关注关键面部区域的合成，如眼睛和鼻子，这对身份识别很重要。此外，我们开发了合成模型和识别模型之间的相互优化过程，该过程通过IACycleGAN迭代合成更好的图像，并通过生成的和真实样本的三重丢失来增强识别模型。使用广泛使用的CUFS和CUFSF数据库上的photo-to-sketch和sketch-to-photo任务进行了广泛的实验。实验结果表明，该方法在合成图像质量和草图识别精度方面均优于现有的几种方法。
2021-03-30 cs.CV
Class-Aware Universum Inspired Re-Balance Learning for Long-Tailed Recognition
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对少数类的数据增强是长尾识别的一种有效策略，因此发展了大量的方法。虽然这些方法都保证了样本数量的平衡，但增强样本的质量并不总是令人满意的识别，容易出现过拟合，缺乏多样性，语义漂移等问题。针对这些问题，我们提出了类感知的Universum启发再平衡学习（CaUIRL）用于长尾识别，这赋予了Universum从样本数量和质量两个方面重新平衡单个少数类的类意识能力。特别是，我们从理论上证明了CaUIRL学习的分类器是一致的，从贝叶斯的角度来看，在平衡条件下学习。此外，我们进一步开发了一种高阶混合方法，该方法可以自动生成类感知的Universum（CaU）数据，而无需借助任何外部数据。与传统的Universum不同，这种生成的Universum还考虑了域相似性，类可分性和样本多样性。在基准数据集上的大量实验表明，该方法具有令人惊讶的优势，特别是少数类的top1准确率比最先进的方法提高了1.9%-6%。
2022-08-11 cs.CV
Deep Action- and Context-Aware Sequence Learning for Activity Recognition and Anticipation
Australian National University（澳大利亚国立大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；EPFL（洛桑联邦理工学院）
动作识别和预测是许多计算机视觉应用成功的关键。现有的方法可以大致分为那些提取整个图像或序列的全局、上下文感知表示的方法，以及那些旨在关注动作发生区域的方法。前者可能会因为背景并不总是可靠而受到影响，而后者则完全忽略了这一信息来源，尽管如此，这一信息来源在许多情况下可能是有用的。在本文中，我们的目标是通过开发一种利用上下文感知和动作感知功能的方法来两全其美。在我们的方法的核心在于一个新的多阶段循环架构，使我们能够有效地结合这两个信息源在整个视频。该体系结构首先利用全局的、上下文感知的特征，并将所得到的表示与本地化的、动作感知的表示合并。我们在标准数据集上的实验证明了我们的方法优于单独使用每种信息类型的方法。我们优于最先进的方法，因为我们只依赖RGB帧作为动作识别和预测的输入。
2016-11-18 cs.CV
Evaluating 2D and 3D-Aware Vision Foundation Models for Vehicle Attribute Recognition
Federal University of Paraná（巴拉那联邦大学）；Paraná Military Police（巴拉那宪兵队）；Pontifical Catholic University of Paraná（巴拉那天主教大学）
该研究通过对14种2D与3D感知视觉基础模型的实证基准测试，发现DINOv3等2D自监督模型在车辆属性识别细粒度任务中优于多数3D感知模型，仅Depth Anything v2在车辆类型视角鲁棒性上更优，为混合方法提供了依据。
2026-09-01 cs.CV
SAN: Structure-Aware Network for Complex and Long-tailed Chinese Text Recognition
School of Computer and Communication Engineering, University of Science and Technology Beijing（北京科技大学计算机与通信工程学院）
针对中文文本识别中复杂字形与尾部类别性能不佳的问题，提出结构感知网络SAN，利用偏旁分支蒸馏层次组合信息并采用树相似度加权，显著提升复杂及长尾字符识别性能。
2024-11-10 cs.CV
Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition
The University of Melbourne（墨尔本大学）
基于骨架的动作识别受到越来越多的关注，因为骨架表示通过消除与动作无关的视觉信息来减少训练数据的量。为了进一步提高样本效率，提出了基于元学习的一次性学习方案。这些方法根据实例级全局平均嵌入之间的相似性来寻找最近邻。然而，由于对局部不变特征和噪声特征的广义学习不足，这种测量具有不稳定的代表性，而直观地说，更细粒度的识别通常依赖于确定关键的局部身体运动。为了解决这一问题，我们提出了自适应局部组件感知图卷积网络，它取代了比较度量的相似性测量对齐本地嵌入的动作关键的空间/时间段的集中总和。在公共基准测试NTU-RGB+D 120上进行的综合一次性实验表明，我们的方法提供了比全局嵌入更强的表示，并帮助我们的模型达到最先进的水平。
2022-09-21 cs.CV
Visual Place Recognition in Forests with Depth-Aware Distillation
CSIRO Robotics, Brisbane, Australia（澳大利亚联邦科学与工业研究组织机器人实验室，布里斯班，澳大利亚）；University of Queensland, Brisbane, Australia（昆士兰大学，布里斯班，澳大利亚）；Queensland University of Technology, Brisbane, Australia（昆士兰科技大学，布里斯班，澳大利亚）
针对森林环境中视觉地点识别因植被重复、结构线索弱及外观变化大而困难的问题，提出轻量级深度感知蒸馏框架，将几何线索注入DINOv2模型，在WildCross基准上提升鲁棒性。
2026-06-12 cs.CV cs.RO
Uncertainty-Aware Lidar Place Recognition in Novel Environments
DATA61, CSIRO（联邦科学与工业研究组织DATA61）；Queensland University of Technology（昆士兰科技大学）
本文研究跨新环境的激光雷达地点识别可靠性问题，提出不确定性感知评估协议与综合基准，证明Ensembles方法可一致提升识别与不确定性估计性能。
2023-07-12 cs.CV
Spatio-temporal Aware Non-negative Component Representation for Action Recognition
Laboratory of Image Sciences and Technology, Southeast University（东南大学影像科学与技术实验室）；Ginkgo LLC（银杏有限责任公司）
本文提出了一种新的中级表示的动作识别，命名为时空感知的非负分量表示（STANNCR）。STANNCR是基于动作成分，并结合了时空信息。首先，我们引入了一个时空分布向量（STDV）模型的局部特征位置的分布在一个紧凑和歧视的方式。然后，我们采用非负矩阵分解（NMF）学习的动作组件和编码的视频样本。动作部分考虑了视觉词的相关性，有效地弥补了动作识别中的语义鸿沟。为了将时空线索用于最终表示，STDV被用作NMF的图正则化的一部分。时空信息的融合使STANNCR具有更强的鉴别力，而且与传统的向量拼接方法相比，该方法具有更紧凑的结构。该方法在三个公共数据集上进行了广泛的评估。实验结果证明了STANNCR用于动作识别的有效性。
2016-08-27 cs.CV
Trokens: Semantic-Aware Relational Trajectory Tokens for Few-Shot Action Recognition
University of Maryland, College Park（马里兰大学学院公园分校）
本文提出Trokens方法，通过语义感知采样和运动建模将轨迹点转化为语义令牌，增强少样本动作识别性能，在六个基准上达到最先进水平。
2025-08-05 cs.CV
Pose And Joint-Aware Action Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学帕克分校）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
动作识别的最新进展主要集中在RGB和光流特征上。在本文中，我们将探讨基于关节的动作识别问题。与其他模态不同，关节及其运动的星座生成具有简洁的人体运动信息的模型用于活动识别。我们提出了一个新的模型，基于关节的动作识别，首先提取运动特征，从每个关节分别通过一个共享的运动编码器，然后进行集体推理。我们的关节选择器模块对关节信息进行重新加权，以选择最具鉴别力的关节用于任务。我们还提出了一种新的联合对比损失，拉在一起的联合功能，传达相同的动作组。我们通过使用几何感知的数据增强技术来加强基于关节的表示，该技术在保持动作动态的同时抖动姿势热图。我们在JHMDB，HMDB，Charades，AVA动作识别数据集上展示了当前最先进的基于联合的方法的巨大改进。与RGB和基于流的方法的后期融合产生了额外的改进。我们的模型在Mimetics上的表现也优于现有的基线，Mimetics是一个具有上下文外操作的数据集。
2021-10-29 cs.CV
Incomplete Multi-Label Image Recognition by Co-learning Semantic-Aware Features and Label Recovery
School of Mathematics and Information Science（数学与信息科学学院）；Nanchang Hangkong University（南昌航空大学）
本文提出CSL框架，通过协同学习语义感知特征与标签恢复，提升不完整多标签图像识别性能。
2026-03-02 cs.CV
Heterogeneity Aware Deep Embedding for Mobile Periocular Recognition
IIIT-Delhi（德里英迪拉·甘地信息技术学院）；IBM TJ Watson（IBM托马斯·J·沃森研究中心）
移动生物识别方法提供了一个无所不在的技术安全认证的便利。然而，这带来了在不受约束的环境中识别生物特征模式的额外挑战，包括移动相机传感器、照明条件和捕获距离的变化。为了解决异构的挑战，这项研究提出了一种新的异构感知损失函数的深度学习框架内。建议的损失函数的有效性进行评估，使用CSIP，IMP和VISOB移动眼周数据库的眼周生物特征。实验结果表明，该算法在异构环境下得到了最佳的结果，并提高了跨数据库实验的通用性。
2018-11-02 cs.CV
Context-aware Cascade Attention-based RNN for Video Emotion Recognition
Emotibot Inc.（Emotibot公司）
在构建人机交互（HCI）系统时，情感识别可以在许多应用中提供关于用户的关键信息。目前视觉情感识别的研究大多集中在人脸特征的探索上。然而，包括周围环境和人体的上下文信息也可以提供额外的线索，以更准确地识别情感。受神经机器翻译的“序列到序列模型”的启发，提出了一种新的递归神经网络结构--“CACA-RNN”。该网络由两个级联结构的RNN组成，用于处理上下文和面部信息，以执行视频情感分类。该模型的结果被提交给多模态情感识别挑战赛（MEC 2017）的视频情感识别子挑战赛。CACA-RNN优于MEC 2017基线（mAP为21.7%）：在仅视频挑战的测试集上，它实现了45.51%的mAP。
2018-05-30 cs.CV
Towards Few-shot Entity Recognition in Document Images: A Label-aware Sequence-to-Sequence Framework
University of California, San Diego（加州大学圣地亚哥分校）
实体识别是理解文档图像的一项基本任务。传统的序列标记框架将实体类型视为类ID，并依赖于大量的数据和高质量的注释来学习语义，这在实践中通常是昂贵的。在本文中，我们的目标是建立一个实体识别模型，只需要几个镜头的注释文档图像。为了克服数据限制，我们建议利用标签表面名称来更好地通知目标实体类型语义的模型，并将标签嵌入到空间嵌入空间中以捕获区域和标签之间的空间对应关系。具体来说，我们超越了序列标记，并开发了一个新的标签感知seq 2seq框架，激光。该模型遵循一个新的标签计划，生成的标签表面名称逐字显式生成实体后。在训练过程中，LASER通过更新标签表面名称表示来细化标签语义，并加强标签区域相关性。通过这种方式，LASER通过语义和布局对应从文档图像中识别实体。在两个基准数据集上的大量实验证明了激光在Few-Shot设置下的优越性。
2022-03-30 cs.AI cs.CL cs.CV
Uncertainty-aware Bridge based Mobile-Former Network for Event-based Pattern Recognition
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；School of Electronic and Information Engineering, Anhui University（安徽大学电子与信息工程学院）；Suzhou Glink IoT Technology Co., Ltd.（苏州格联物联网科技有限公司）
针对RGB摄像头在人类活动识别中易受低质图像影响及隐私问题，提出基于事件流的轻量不确定性感知Mobile-Former网络，融合MobileNet与Transformer实现高效模式识别，经多数据集验证有效，代码将开源。
2024-09-12 cs.CV
Uncertainty-Aware Pedestrian Attribute Recognition via Evidential Deep Learning
College of Electronics and Information Engineering, Sichuan University（四川大学电子信息学院）
本文提出UAPAR框架，利用证据深度学习处理行人属性识别中的不确定性，通过区域感知证据推理模块和双阶段课程学习策略提升系统鲁棒性，在多个数据集上取得竞争力或更优表现。
2026-04-29 cs.CV
Semantic-Aware Scene Recognition
Universidad Autónoma de Madrid（马德里自治大学）
场景识别是当前计算机视觉中最具挑战性的研究领域之一。这可能是由于类之间的模糊性：几个场景类的图像可能共享相似的对象，这导致它们之间的混淆。当特定场景类的图像明显不同时，该问题加剧。卷积神经网络（CNN）已经显著提高了场景识别的性能，尽管它仍然远远低于其他识别任务（例如，对象或图像识别）。在本文中，我们描述了一种新的方法，场景识别的基础上，端到端的多模态CNN，结合图像和上下文信息的注意力模块。上下文信息，在语义分割的形式，用于门的特征提取的RGB图像，通过利用在语义表示编码的信息：场景对象和东西的集合，以及它们的相对位置。该门控过程通过将CNN的感受野重新聚焦到指示性场景内容来加强对指示性场景内容的学习并增强场景消歧。在四个公开数据集上的实验结果表明，该方法在显著减少网络参数数量的同时，性能优于其他所有最先进的方法。本文中使用的所有代码和数据都可以在https://github.com/vpulab/Semantic-Aware-Scene-Recognition上获得
2020-01-22 cs.CV
