Less can be more: representational vs. stereotypical gender bias in facial expression recognition
Public University of Navarre (UPNA)（纳瓦拉公立大学）
该研究以面部表情识别领域为对象，基于Affectnet数据集构建不同偏差强度的子集训练模型，发现表征性别偏差影响弱于预期，刻板印象性别偏差影响更强，指出区分偏差类型对制定缓解策略至关重要。
2024-06-25 cs.CV
One-shot Representational Learning for Joint Biometric and Device Authentication
Michigan State University（密歇根州立大学）
在这项工作中，我们提出了一种方法，同时执行（i）生物识别（即，识别个体），以及（ii）设备识别，（即，识别设备）。这样的联合识别方案可以在诸如智能电话的设备中用于增强安全性以及隐私。我们建议自动学习一个联合表示，封装生物特征和传感器特定的功能。我们评估所提出的方法，使用虹膜，面部和眼周图像获得近红外虹膜传感器和智能手机摄像头。使用来自15个传感器的14，451张图像进行的实验导致高达99.81%的rank-1识别准确率和高达100%的验证准确率，错误匹配率为1%。
2021-01-02 cs.CV
Augmented Skeleton Based Contrastive Action Learning with Momentum LSTM for Unsupervised Action Recognition
基于三维骨架数据的动作识别是近年来新兴的重要课题。大多数现有的方法要么提取手工制作的描述符，要么通过需要大量标记数据的监督学习范例来学习动作表示。在本文中，我们首次提出了一种名为AS-CAL的对比动作学习范式，它可以利用未标记骨架数据的不同增强来以无监督的方式学习动作表示。具体来说，我们首先提出了对比增强实例（查询和键）的输入骨架序列，这是由多个新的增强策略，学习不同的骨架变换的固有动作模式（“模式不变”）之间的相似性。其次，为了鼓励学习具有更一致动作表示的模式不变性，我们提出了一种动量LSTM，它被实现为基于LSTM的查询编码器的基于动量的移动平均，以编码键序列的长期动作动态。第三，我们引入了一个队列来存储编码的键，这使得我们的模型可以灵活地重用进行键，并建立一个更一致的字典，以提高对比学习。最后，通过对查询编码器学习到的隐藏动作状态进行时间平均，提出了一种新的动作表示方法--对比动作编码（CAE）。大量的实验表明，我们的方法通常可以将现有的手工方法提高10-50%的top-1准确率，并且可以实现与许多监督学习方法相当甚至更好的性能。
2021-04-02 cs.CV
ReSAGE-PAR: Representational Similarity Assessment for Generative Expansion in Pedestrian Attribute Recognition
Universidad Autónoma de Madrid（阿隆托纳大学马德里分校）
针对行人属性识别数据稀缺问题，提出ReSAGE-PAR管道，通过扩散模型生成图像并利用贝叶斯分类器验证属性，实现可扩展的高保真数据集扩展，在标准骨干网络上提升高达8.7%。
2026-07-29 cs.CV
Rethinking the Augmentation Module in Contrastive Learning: Learning Hierarchical Augmentation Invariance with Expanded Views
Tsinghua University（清华大学）
在对比学习中，利用数据增强模块将给定的数据示例转换为两个视图，这被认为是必不可少的和不可替代的。然而，多个数据增强的预定组成带来两个缺点。首先，人工选择的增强类型带来了特定的代表性不变性的模型，这对不同的下游任务有不同程度的积极和消极的影响。在训练过程中平等地对待每种类型的增强会使模型学习各种下游任务的非最佳表示，并限制了事先选择增强类型的灵活性。其次，经典对比学习方法中使用的强数据增强在某些情况下可能会带来太多的不变性，并且可能会丢失对某些下游任务至关重要的细粒度信息。本文提出了一种通用的方法，以减轻这两个问题，考虑在一般的对比学习框架中，在哪里和什么进行对比。我们首先建议根据每个数据增强的重要性在模型的不同深度学习不同的增强不变性，而不是在主干中均匀地学习代表性不变性。然后，我们建议使用增强嵌入来扩展对比度内容，以减少强数据增强的误导作用。基于几个基线方法的实验表明，我们学习更好的表示为各种基准分类，检测和分割下游任务。
2022-08-22 cs.CV
Traffic scene recognition based on deep cnn and vlad spatial pyramids
University of Liverpool（利物浦大学）
交通场景识别是智能交通系统（ITS）中的一个重要而又具有挑战性的问题.近年来，卷积神经网络（CNN）模型在包括场景分类在内的许多应用中取得了巨大的成功。CNN显著的表征学习能力仍有待进一步探索，以解决现实世界的问题。局部聚集描述符向量（VLAD）编码也被证明是一种捕获全局上下文信息的强大方法。在本文中，我们试图解决交通场景识别问题相结合的功能表示能力的CNN与VLAD编码方案。更具体地，通过应用VLAD来编码由区域提议算法生成的图像块的CNN特征，其随后以紧凑表示来表示图像。为了捕获空间信息，利用空间金字塔来编码CNN特征。我们实验了10类交通场景的数据集，具有令人满意的分类性能。
2017-07-24 cs.CV
Block-Diagonal Sparse Representation by Learning a Linear Combination Dictionary for Recognition
在基于稀疏表示的识别方案中，学习所需的字典是关键，目的是获得良好的表示能力和区分性能。在本文中，我们提出了一个新的字典学习模型的识别应用程序，其中采用三种策略，同时实现这两个目标。首先，在模型中引入块对角约束，以消除类间的相关性，提高判别性能。其次，采用一个低秩项来模拟类内的一致性，以细化每个类的稀疏表示。最后，而不是使用传统的过完备字典，一个特定的字典构造的训练样本的线性组合，提出了提高字典的代表性的权力，并提高稀疏表示模型的鲁棒性。该方法在几个公共数据集上进行了测试。实验结果表明，该方法优于大多数国家的最先进的方法。
2016-11-28 cs.CV
Skeleton-based Human Action Recognition via Convolutional Neural Networks (CNN)
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；College of Computing and Informatics（计算与信息学院）
最近，有一个显着增加的兴趣在研究社区内对基于信标的动作识别，由于其各种有利的功能，包括计算效率，代表性的功能，和光照不变性。尽管如此，研究人员仍在继续探索和研究通过骨架表示和提取的特征来表示人类动作的最佳方式。因此，人类动作识别数据集的增长和可用性大幅上升。此外，由于各种计算机视觉任务的显著进步，基于深度学习的算法已经获得了广泛的普及。大多数最先进的贡献，在基于动作识别的图神经网络（GCN）架构，用于表示人体和提取功能。我们的研究表明，卷积神经网络（CNN）可以达到与GCN相当的结果，只要应用适当的训练技术，增强和优化。我们的方法已经过严格验证，在NTU-60数据集上，我们的得分达到了95
2023-01-31 cs.AI cs.CV
Hierarchical growing grid networks for skeleton based action recognition
University of Lund（隆德大学）；University of Linköping（林雪平大学）
本文提出了一种新的动作识别认知结构，该结构采用多层生长网格神经网络，使系统能够自动安排其表征结构。除了在生长阶段扩展神经映射之外，系统还具有输入空间的先验知识，这提高了学习阶段的处理速度。除了两层生长网格网络外，该体系结构还包括预处理层、有序向量表示层和单层监督神经网络。这些层旨在解决动作识别问题。第一层增长网格接收人类动作的输入数据，神经映射通过连接训练映射的诱发激活来生成表示每个动作序列的动作模式向量。然后将模式向量发送到有序向量表示层，以构建用于第二层生长网格的键激活的时不变输入向量。第二层生长网格将输入向量分类为相应的动作聚类/子聚类，最后单层监督神经网络用动作标签标记成形的聚类。使用不同的动作数据集的三个实验表明，该系统能够快速有效地学习分类的动作。增长的网格架构的性能与基于自组织映射的系统的结果一致，表明增长的网格架构在动作识别任务上表现出显着的优越性。
2021-04-22 cs.AI cs.CV cs.LG
Facial Emotion Detection Using Convolutional Neural Networks and Representational Autoencoder Units
情感是一个主观的东西，利用标记数据背后的知识和科学并提取构成它的组件，多年来一直是行业中的一个具有挑战性的问题。随着深度学习在计算机视觉中的发展，情感识别已经成为一个广泛解决的研究问题。在这项工作中，我们提出了两个独立的方法来完成这项任务。第一种方法使用自动编码器来构建每个情感的唯一表示，而第二种方法是8层卷积神经网络（CNN）。这些方法是在姿态情感数据集（JAFFE）上训练的，为了测试它们的鲁棒性，这两个模型还在来自野生标签人脸（LFW）数据集的100张随机图像上进行了测试，该数据集由坦率的图像组成。结果表明，通过更多的微调和深度，我们的CNN模型可以优于最先进的情感识别方法。我们还提出了一些令人兴奋的想法，扩大代表性自动编码器的概念，以提高其性能。
2017-06-05 cs.CV stat.ML
Rotation Invariance Neural Network
旋转不变性和平移不变性在图像识别任务中具有重要的应用价值。本文提出了一种新的卷积神经网络（CNN）结构--循环卷积层，以实现二维符号识别中的旋转不变性。通过该网络还可以得到二维符号的位置和方向，达到对多个非重叠目标的检测目的。最后但并非最不重要的是，这种架构可以在某些情况下使用这些不变性实现一次性学习。
2017-06-17 cs.CV
Learning Descriptors Invariance Through Equivalence Relations Within Manifold: A New Approach to Expression Invariant 3D Face Recognition
Umm Al-Qura University（乌姆·库拉大学）
本文提出了一种独特的方法的二分法之间的有用的和不利的变化的关键点描述符，即身份和表达的描述符（特征）空间的变化。描述符的变化是从训练样本中学习的。基于训练数据的标签，建立描述符之间的等价关系。这两种类型的描述符的变化表示的描述符流形中嵌入的图形。不变识别，然后进行图搜索问题。设计了一种适用于该结构下的启发式图搜索算法。该方法在FRGC v2.0、博斯普鲁斯海峡和3D TEC数据集上进行了测试。它已被证明可以提高识别性能，特别是在表情变化的情况下，提高了相当大的幅度。
2020-05-11 cs.CV
Learning Geometric Invariance for Gait Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；Watrix Technology Limited Co. Ltd（华矩阵科技有限公司）
本文提出了一种基于几何变换的步态识别方法，通过学习反射、旋转和缩放的不变性来提升跨视角和跨服装的识别性能。
2026-01-09 cs.CV
Multimodal Skip-gram Using Convolutional Pseudowords
Binghamton University, SUNY（纽约州立大学宾汉姆顿分校）；Zhejiang University（浙江大学）
这项工作研究了跨多模态数据的代表性映射，使得给定一个模态中的原始数据，立即获得另一个模态中的原始数据的相应语义描述。这种代表性映射可以在广泛的现实世界应用中找到，包括图像/视频检索，对象识别，动作/行为识别以及事件理解和预测。为此，我们引入了一个简化的训练目标，用于学习多模态嵌入使用的跳过语法架构，通过引入卷积“伪词“：嵌入组成的分布式单词表示和图像特征的添加剂组合从卷积神经网络投影到多模态空间。我们提出了广泛的结果，这些嵌入在各种单词相似性基准的代表性属性，以显示这种方法的承诺。
2015-11-29 cs.CL cs.CV
On the Selective and Invariant Representation of DCNN for High-Resolution Remote Sensing Image Recognition
School of Geosciences and Info Physics, Central South University（中南大学地球科学与信息物理学院）
人类视觉在图像识别中具有很强的不变性。深度卷积神经网络（DCNN）直接从原始图像进行分层编码，使其认知能力接近人类视觉水平。由于其在特征表示方面的优势，DCNN在高分辨率遥感图像的场景识别和高光谱遥感图像的分类中表现出了显著的性能。深入的研究对于理解为什么DCNN可以通过其有效的特征表示准确地识别不同的地面物体仍然是必不可少的。因此，我们训练深神经网络称为AlexNet在我们的大规模遥感图像识别基准。在每个卷积层的神经元层次上，采用视觉刺激-特征响应结合特征编码-分类解码的框架，分析了DCNN在HRRS图像识别中的一般特性。具体来说，我们使用直方图统计，代表性相异度矩阵和类激活映射观察HRRS图像识别中的DCNN的选择性和不变性表示。我们认为，选择性和不变性表示在遥感图像的任务，如分类，检测和分割中起着重要的作用。选择性和不变性表示对于设计新的DCNN模型分析和理解遥感图像具有重要意义。
2017-08-04 cs.CV
Diverse feature visualizations reveal invariances in early layers of deep neural networks
Centre for Integrative Neuroscience（综合神经科学中心）；Institute for Theoretical Physics（理论物理研究所）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；University of Tübingen（图宾根大学）
可视化深度神经网络（DNN）中的特征可以帮助理解它们的计算。许多先前的研究旨在通过寻找有意义的图像来最大化它们的激活，从而可视化单个单元的选择性。然而，很少有人注意到DNN中的图像变换单元是不变的。在这里，我们提出了一种方法来发现深层神经网络的隐藏层单元的响应中的不变性。我们的方法是基于同时搜索一批图像，这些图像强烈激活一个单元，同时尽可能彼此不同。我们发现，即使是VGG-19中的早期卷积层也表现出各种形式的响应不变性：在某些单元中具有近乎完美的相位不变性，而在其他单元中具有对局部双态变换的不变性。同时，我们发现了ResNet-50在其相应层中的代表性差异。我们的结论是，不变性变换是DNN学习的一个主要计算组件，我们提供了一个系统的方法来研究它们。
2018-07-27 cs.CV
Embedding Rotation Invariance for Provable Multi-Oriented Scene Text Recognition
Sun Yat-sen University（中山大学）；Baidu Inc.（百度公司）；Nanjing University of Science and Technology（南京理工大学）
本研究提出带理论保证的端到端旋转不变场景文本识别网络RISTER，通过编码器嵌入旋转等变性、解码器嵌入旋转不变性，在多方向场景文本识别任务上实现最优性能且无额外推理成本。
2026-08-12 cs.CV
Dual Invariance Self-training for Reliable Semi-supervised Surgical Phase Recognition
Institute of Information Technology (ITEC), University of Klagenfurt（克拉根福大学信息技术研究所（ITEC））；Center for AI in Medicine, University of Bern（伯尔尼大学医学人工智能中心）
针对手术阶段识别中标注数据稀缺且伪标签评估不可靠的问题，提出结合时间与变换不变性的半监督框架DIST，通过动态选择可靠伪标签优化决策边界，在多个数据集上超越现有方法。
2025-01-29 cs.CV eess.IV
Learning Domain and Pose Invariance for Thermal-to-Visible Face Recognition
CCDC Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
在过去的十年中，由于热红外相机和可见光谱以外的分析技术的进步，对热可见人脸识别的兴趣显着增长。尽管热光谱和可见光谱之间存在很大差异，但现有方法通过从热面合成可见面或通过学习交叉光谱图像表示来弥合域间隙。这些方法通常与在不同范围和表情下收集的正面面部图像一起工作得很好，但是当将具有不同姿势的热面部与正面可见面部匹配时，表现出显著降低的性能。我们提出了一种新的域和姿态不变框架，同时学习域和姿态不变表示。我们提出的框架由修改后的网络、一个联合桥接域和姿势间隙的子网络以及一个由交叉组成的联合损失函数组成，其中修改后的网络用于从非姿势热和正面可见人脸图像中提取最相关的中间表示。频谱和姿势校正损失。我们证明了所提出的方法的有效性和优势，通过评估三个热可见光数据集：ARL可见热脸，ARL多模态脸，和塔夫茨脸。虽然DPIF侧重于学习匹配关闭热正面可见的面孔，我们也表明，DPIF提高性能时，匹配正面热正面可见的人脸图像。
2022-11-17 cs.CV
Distilling Facial Knowledge With Teacher-Tasks: Semantic-Segmentation-Features For Pose-Invariant Face-Recognition
University of Michigan - Dearborn（密歇根大学迪尔伯恩分校）
提出了一种基于语义分割特征提高人脸识别姿态不变性的方法。所提出的Seg-Distilled-ID网络联合学习识别和语义分割任务，其中分割任务然后被“蒸馏”（MobileNet编码器）。性能基准对三个国家的最先进的编码器上公开的数据集，强调头部姿势的变化。实验评估表明，Seg-Distilled-ID网络显示出显著的鲁棒性优势，测试准确率达到99.9%，而ResNet-101为81.6%，VGG-19为96.1%，InceptionV 3为96.3%。这是使用大约十分之一的顶部编码器的推理参数来实现的。这些结果表明，提取语义分割特征可以有效地解决人脸识别的姿态不变性。
2022-09-02 cs.CV
Deep 3D Face Identification
我们提出了一种新的三维人脸识别算法，使用深度卷积神经网络（DCNN）和三维增强技术。通过利用深度神经网络的表征能力和使用大规模标记的训练数据，2D人脸识别算法的性能显著提高。与2D人脸识别相反，由于缺乏大规模的3D人脸数据集，训练用于3D人脸识别的区分性深度特征非常困难。在本文中，我们表明，从2D人脸图像上训练的CNN的迁移学习可以通过使用相对较少的3D人脸扫描来微调CNN，从而有效地进行3D人脸识别。我们还提出了一种3D人脸增强技术，该技术从单个3D人脸扫描中合成了许多不同的面部表情。我们提出的方法在博斯普鲁斯海峡，BU-3DFE和3D-TEC数据集上显示出出色的识别结果，而无需使用手工制作的功能。使用我们的深度特征的3D识别也可以很好地扩展到大型数据库。
2017-03-30 cs.CV
DaliID: Distortion-Adaptive Learned Invariance for Identification Models
University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；Universidade Estadual de Campinas（坎皮纳斯州立大学）
在不受约束的场景中，人脸识别和人员重新识别会受到诸如运动模糊、大气湍流或上采样伪影等失真的影响。为了提高在这些情况下的鲁棒性，我们提出了一种称为失真自适应学习不变性识别（DaliID）模型的方法。我们认为，失真增强，降低图像质量，可以成功地利用到更大的程度比文献中所示。借助于自适应加权计划，在训练过程中，在严重的水平上应用一种新的失真增强。这种训练策略增加了特征级对失真的不变性，并减少了向无约束场景的域转移。在推理时，我们使用来自并行模型的特征的幅度加权融合来保持图像范围内的鲁棒性。DaliID模型在包括IJB-S、TinyFace、DeepChange和MSMT 17在内的七个基准数据集上实现了最先进的人脸识别和人员重新识别（SOTA）。此外，我们还提供了在750米以上距离处重新捕获的评估数据，并在真实的长距离人脸图像上进行了进一步验证。
2023-02-11 cs.CV
VNI-Net: Vector Neurons-based Rotation-Invariant Descriptor for LiDAR Place Recognition
Department of Computer Science and Technology, School of Electronics and Information Engineering, Tongji University（同济大学电子信息工程学院计算机科学与技术系）；MOE Key Lab of Embedded System and Service Computing, Tongji University（同济大学嵌入式系统与服务计算教育部重点实验室）；Institute of Intelligent Vehicles, Tongji University（同济大学智能汽车研究所）
针对激光雷达地点识别中旋转导致的失效问题，提出基于向量神经元网络的VNI-Net方法，实现SO(3)旋转不变性，提升描述子判别性，性能优于同类旋转不变方法且与主流无旋转约束方法效果相当。
2023-08-24 cs.CV
What Should Not Be Contrastive in Contrastive Learning
UC Berkeley（加州大学伯克利分校）；UC San Diego（加州大学圣迭戈分校）
最近的自监督对比方法已经能够通过学习对不同的数据增强保持不变来产生令人印象深刻的可转移视觉表示。然而，这些方法隐含地假设了一组特定的代表性不变性（例如，颜色不变性），并且当下游任务违反该假设时可能表现不佳（例如，红车与黄车的区别）。我们引入了一个对比学习框架，它不需要特定的，任务相关的不变性的先验知识。我们的模型通过构建单独的嵌入空间来学习捕获视觉表示的变化和不变因素，每个嵌入空间除了一个增强之外都是不变的。我们使用一个具有共享骨干的多头网络，该网络在每个增强过程中捕获信息，并且单独在下游任务上优于所有基线。我们进一步发现，不变空间和变化空间的串联在我们调查的所有任务中表现最好，包括粗粒度，细粒度和Few-Shot下游分类任务，以及各种数据损坏。
2021-03-18 cs.CV
Your "Attention" Deserves Attention: A Self-Diversified Multi-Channel Attention for Facial Action Analysis
State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）；Rice University（莱斯大学）
视觉注意已经被广泛研究用于在面部表情识别（FER）和动作单元（AU）检测中学习细粒度特征。以前的一系列广泛的研究已经探索了如何使用注意力模块来定位详细的面部部位（例如，面部动作单元）、学习区别特征以及学习类间相关性。然而，很少有相关的工作注意到注意模块本身的鲁棒性。通过实验，我们发现，当学习关注同一感兴趣区域（ROI）时，使用不同特征图初始化的神经注意力图会产生不同的表示。换句话说，与一般的特征学习类似，注意力地图的表示质量也会极大地影响模型的性能，这意味着无约束注意力学习具有很大的随机性。这种不确定性让传统的注意力学习陷入了次优状态。在本文中，我们提出了一个紧凑的模型，以提高神经注意力地图的代表性和聚焦能力，并学习精细注意力地图的“注意力间”相关性，我们称之为“自我多样化多通道注意力网络（SMA-Net）”。所提出的方法进行了评估两个基准数据库（BP 4D和DISFA）AU检测和四个数据库（CK+，MMI，BU-3DFE，和BP 4D+）的面部表情识别。与最先进的方法相比，它实现了卓越的性能。
2022-03-23 cs.CV
Low-rank SIFT: An Affine Invariant Feature for Place Recognition
Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了一种新的仿射不变特征的基础上SIFT，利用人造物体的外观规则。该特征实现了完全仿射不变性，而无需在仿射参数空间上进行模拟。低秩SIFT，因为我们命名的功能，是基于我们的观察，局部倾斜，这是由相机轴方向的变化，可以通过转换本地补丁标准的低秩形式进行规范化。旋转、平移和缩放不变性可以以类似于SIFT的方式实现。作为SIFT的一种扩展，该方法通过引入先验知识来解决仿射参数估计问题，并直接将其归一化，适用于具有规则结构的对象。此外，由于最近在凸优化的突破，这样的参数可以有效地计算。我们将证明其有效性的地方识别作为我们的主要应用程序。作为额外的贡献，我们还描述了我们的管道建设地理标记的建筑物数据库从地上爬起来，以及一个有效的计划，自动特征选择。
2014-08-07 cs.CV
Revisiting Data Augmentation for Rotational Invariance in Convolutional Neural Networks
Instituto de Investigación en Informática LIDI, Facultad de Informática, Universidad Nacional de La Plata（拉普拉塔国立大学信息学院LIDI信息学研究所）；Universitat Rovira i Virgili（罗维拉-依维尔基里大学）
本研究探讨在卷积神经网络中实现旋转不变性的方法，发现仅用数据增强即可达到与专门模型相当的精度，并分析了编码旋转不变性的关键层。
2023-10-12 cs.CV cs.NE
Quantifying Translation-Invariance in Convolutional Neural Networks
Stanford University（斯坦福大学）
物体识别中的一个基本问题是图像表示的发展，是不变的常见的变换，如平移，旋转和小变形。关于CNN中翻译不变性的来源有多种假设。一种观点认为，平移不变性是由于连续卷积层中神经元的感受野大小不断增加。另一种可能性是不变性是由于池化操作。我们开发了一个简单的工具，反射灵敏度图，我们用它来可视化和量化的反射不变性的各种架构。我们得到了令人惊讶的结果，架构的选择，如池层的数量和卷积滤波器的大小只有一个次要的影响，对网络的不变性。我们的分析确定训练数据增强是使用卷积神经网络获得图像的平移不变表示的最重要因素。
2017-12-10 cs.CV
Explainable graph attention network for stress recognition (StressGAT) via differential action units
研究针对压力识别中传统架构的不足，提出基于差分动作单元的可解释图注意力网络StressGAT，利用图建模捕捉面部动态实现个性化识别，在压力诱导队列实验中取得高准确率，并通过多实例学习揭示压力区间和表情特征，为情感监测提供有力方案。
2026-07-28 cs.CV
Transitive Invariance for Self-supervised Visual Representation Learning
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook 人工智能研究院）
利用自监督学习来学习视觉表示在计算机视觉中已经变得流行。我们的想法是设计辅助任务，标签是免费获得的。这些任务中的大多数最终提供数据来学习对识别有用的特定类型的不变性。在本文中，我们提出利用不同的自监督方法来学习对（i）实例间变化（同一类中的两个对象应该具有相似的特征）和（ii）实例内变化（视点，姿态，变形，照明等）不变的表示。而不是将两种方法与多任务学习相结合，我们认为组织和理由的数据与多种变化。具体来说，我们建议从数十万个视频中挖掘出数百万个对象来生成一个图。对象由两种类型的边连接，这两种类型的边对应于两种类型的不变性：“不同的实例，但类似的观点和类别”和“同一实例的不同观点”。通过在具有这些边的图上应用简单传递性，我们可以获得表现出更丰富的视觉不变性的图像对。我们使用这些数据来训练一个以VGG 16为基础架构的Triplet-Siamese网络，并将学习到的表示应用于不同的识别任务。对于目标检测，我们使用Fast R-CNN在PASCAL VOC 2007上实现了63.2%的mAP（与ImageNet预训练的67.3%相比）。对于具有挑战性的COCO数据集，我们的方法令人惊讶地接近（23.5%）使用Faster R-CNN框架的ImageNet监督对应物（24.4%）。我们还表明，我们的网络在表面法线估计任务中的表现明显优于ImageNet网络。
2017-08-15 cs.CV
Smooth regularization for efficient video recognition
Computer Science Department（计算机科学系）；Carnegie Mellon University（卡内基梅隆大学）；School of Electrical and Computer Engineering（电气与计算机工程学院）；Tel-Aviv University（特拉维夫大学）
本文提出了一种平滑正则化方法，通过建模连续帧的变化为高斯随机游走，提升轻量级视频识别模型的准确率。
2026-01-12 cs.CV
Benchmarking NACTI Species Recognition in Long-Tailed Regimes
University of Bristol（布里斯托大学）；School of Computer Science（计算机科学学院）
研究针对NACTI数据集长尾类不平衡问题，基于PyTorch Wildlife模型评估LTR方法，优化配置取得高准确率，在多测试集评估中展现强泛化能力，虽当前LTR优化有局限，但相关数据和代码已发布。
2026-07-21 cs.CV
ILPO-NET: Network for the invariant recognition of arbitrary volumetric patterns in 3D
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆廷诺实验室）
针对三维体数据识别的旋转不变性难题，提出基于Wigner矩阵展开的ILPO-Net，其卷积天然对局部模式方向不变，在多数据集上性能超基线且参数量最高减1000倍，为多学科应用提供支撑。
2024-04-24 cs.CV cs.LG
The Effect of Learning Strategy versus Inherent Architecture Properties on the Ability of Convolutional Neural Networks to Develop Transformation Invariance
Stanford（斯坦福大学）
随着对象识别成为越来越常见的机器学习任务，以及最近的研究表明CNN易受攻击和小图像扰动的影响，有必要充分理解对象识别的基础。我们专注于理解神经网络如何推广到复杂对象的空间变换背后的机制。虽然人类擅长区分在新位置、方向和尺度上显示的物体，但过去的结果表明，这可能仅限于熟悉的物体-人类对有目的地构建的新物体表现出较低的空间差异容忍度。由于从头开始训练人工神经网络类似于向人类展示新的对象，因此我们试图了解影响CNN对空间变换的耐受性的因素。我们对七种卷积神经网络（CNN）架构进行了彻底的实证研究。通过在受控的人脸图像数据集上进行训练，我们测量了不同程度的5种变换的模型准确性：位置，大小，旋转，高斯模糊和分辨率变换。我们还通过研究不同数量的预训练对模型鲁棒性的影响来研究学习策略如何影响泛化能力。总的来说，我们发现，对变换不变性最重要的贡献者是在大型、多样化的图像数据集上进行预训练。此外，虽然AlexNet往往是最不健壮的网络，但VGG和ResNet架构对不同的转换表现出更高的健壮性。除了内核可视化和定性分析，我们还研究了学习策略和固有架构属性之间的差异，这些差异有助于实现变换的不变性，为理解如何在CNN中实现更强的变换鲁棒性提供了有价值的信息。
2018-10-31 cs.CV
Deep Learning for Target Classification from SAR Imagery: Data Augmentation and Translation Invariance
Toshiba Infrastructure Systems & Solutions Corporation（东芝基础设施系统与解决方案公司）
本文研究了用于合成孔径雷达（SAR）图像自动目标识别（ATR）的卷积神经网络（CNN）的平移不变性。特别地，用于SAR ATR的CNN的平移不变性表示对从SAR图像提取的目标芯片的未对准的鲁棒性。为了理解CNN的平移不变性，我们训练了CNN，在有和没有数据增强的情况下，将来自MSTAR的目标芯片分类为10类，然后可视化CNN的平移不变性。根据我们的结果，即使我们使用深度残差网络，在没有使用对齐图像（例如MSTAR目标芯片）的数据增强的情况下，CNN的平移不变性也不是那么大。平移不变性的一个更重要的因素是使用增强的训练数据。此外，我们的CNN使用增强的训练数据实现了99.6%的最先进的分类准确率。这些结果显示了特定领域数据增强的重要性。
2017-08-26 cs.CV
Demystifying Contrastive Self-Supervised Learning: Invariances, Augmentations and Dataset Biases
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook 人工智能研究院）
自监督表示学习方法最近在目标检测和图像分类等下游任务上超过了监督学习方法。令人费解的是，最近的性能提升来自于训练实例分类模型，将每个图像及其增强版本视为单个类的样本。在这项工作中，我们首先提出了定量实验来揭开这些收益的神秘面纱。我们证明了像MOCO和PIRL这样的方法可以学习遮挡不变表示。然而，他们无法捕捉的观点和类别实例的不变性，这是对象识别的关键组成部分。其次，我们证明了这些方法可以从访问像Imagenet这样的干净的以对象为中心的训练数据集中获得进一步的收益。最后，我们提出了一种利用非结构化视频来学习具有更高视点不变性的表示的方法。我们的研究结果表明，学习表示优于MOCOv2训练相同的数据方面的不变性编码和下游图像分类和语义分割任务的性能。
2020-07-29 cs.CV
Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks
University of Edinburgh（爱丁堡大学）；Samsung AI Research（三星人工智能研究院）
自监督学习是无标记图像表示学习的一个强大范例。大量基于实例匹配的有效新方法依赖于数据增强来驱动学习，并且这些方法已经就优化流行识别基准的增强方案达成了大致一致。然而，有充分的理由怀疑计算机视觉中的不同任务需要特征来编码不同的（不）方差，因此可能需要不同的增强策略。在本文中，我们测量了通过对比方法学习的不变性，并证实它们确实学习了对所使用的增强的不变性，并进一步表明这种不变性在很大程度上转移到了姿势和照明的相关现实世界变化中。我们发现，学习的不变性强烈影响下游任务的性能，并确认不同的下游任务受益于极性相反（在）的差异，导致性能损失时，使用标准的增强策略。最后，我们证明了一个简单的融合表示与互补的不变性，确保广泛的可转移性，所有不同的下游任务考虑。
2022-10-10 cs.CV
TeTRA-VPR: A Ternary Transformer Approach for Compact Visual Place Recognition
University of Southampton（南安普顿大学）；Queensland University of Technology（昆士兰科技大学）；University of Essex（埃塞克斯大学）
TeTRA是一种三值Transformer方法，通过将ViT主干量化至2位并二值化嵌入层，在保持recall@1的同时大幅降低内存和延迟，适用于资源受限的机器人VPR部署。
2025-03-04 cs.CV
Cluster and Aggregate: Face Recognition with Large Probe Set
Michigan State University（密歇根州立大学）
特征融合在无约束人脸识别中起着至关重要的作用，其中输入（探针）包括一组$N$低质量图像，其个体质量不同。注意力和循环模块的进步导致了特征融合，可以对输入集中图像之间的关系进行建模。然而，注意力机制不能扩展到大的$N$，由于它们的二次复杂性和经常性的模块遭受输入顺序敏感性。我们提出了一个两阶段的特征融合范例，聚类和聚合，既可以扩展到大$N$，并保持顺序不变性进行顺序推理的能力。具体而言，聚类阶段是将$N$输入线性分配给$M$全局聚类中心，聚合阶段是对$M$聚类特征的融合。当输入是连续的时，聚类特征起着不可或缺的作用，因为它们可以作为过去特征的总结。通过利用增量平均操作的顺序不变性，设计了一种实现批量顺序不变性的更新规则，保证了序列中早期图像的贡献不会随着时间步长的增加而减少。在IJB-B和IJB-S基准数据集上的实验表明了该方法在无约束人脸识别中的优越性。代码和预训练模型可在https://github.com/mk-minchul/caface上获得
2023-02-16 cs.AI cs.CV
Naturally Computed Scale Invariance in the Residual Stream of ResNet18
Independent（独立研究者）
本研究探讨了ResNet18残差流如何通过尺度等变表示的逐元素求和自然计算尺度不变性，并通过消融实验将其与尺度鲁棒的物体识别行为建立因果联系。
2025-04-29 cs.CV cs.LG
Patch Reordering: a Novel Way to Achieve Rotation and Translation Invariance in Convolutional Neural Networks
University of Science and Technology of China（中国科学技术大学）；University of Technology Sydney（悉尼科技大学）
卷积神经网络（CNN）在许多视觉识别任务中表现出了最先进的性能。然而，卷积和池化操作的组合仅对输入中有意义的对象中的小的局部位置变化示出不变性。有时，这种网络使用数据增强来训练，以将这种不变性编码到参数中，这限制了模型学习这些对象内容的能力。更有效地使用参数预算是将旋转或平移不变性编码到模型架构中，这使模型无需学习它们。为了使模型能够专注于学习对象的内容而不是它们的位置，我们建议在将它们馈送到下一层之前对特征图进行补丁排名。当补丁排名与卷积和池化操作相结合时，尽管输入中有意义的对象的位置，我们还是获得了一致的表示。我们表明，补丁排名模块提高了CNN在许多基准任务，包括MNIST数字识别，大规模图像识别和图像检索的性能。该代码可在https://github.com//jasonustc/caffe-multigpu/tree/TICNN上获得。
2019-11-28 cs.CV cs.LG eess.IV
Generalizable Sensor-Based Activity Recognition via Categorical Concept Invariant Learning
Nanjing Normal University（南京师范大学）；Southern University of Science and Technology（南方科技大学）；Southeast University（东南大学）
针对HAR中受试者差异导致的泛化问题，提出CCIL框架，通过概念矩阵同时关注特征不变性与logit不变性正则化模型，在四种跨域设置下显著优于现有方法。
2024-12-18 cs.AI cs.CV
Achieving Rotation-Invariant Convolution via Non-Learnable Orientation Alignment Operators
University of Science and Technology of China（中国科学技术大学）
提出基于不可学习算子的旋转不变卷积（RIConvs），其参数量和计算过程与标准卷积相同，在多个视觉任务中提升准确率，尤其在数据有限时效果显著。
2026-06-03 cs.CV
Towards Viewpoint-Invariant Visual Recognition via Adversarial Training
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；RealAI（瑞莱智慧）；Peng Cheng Laboratory（鹏城实验室）；OPPO；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
针对视觉模型对三维视角变化鲁棒性不足的问题，提出视角不变对抗训练VIAT方法，将视角变换建模为对抗攻击，通过极小极大优化和分布共享策略提升分类器的视角鲁棒性，实验验证了其有效性。
2023-07-16 cs.CV
FoPro-KD: Fourier Prompted Effective Knowledge Distillation for Long-Tailed Medical Image Recognition
The Hong Kong University of Science and Technology（香港科技大学）；University of Girona（赫罗纳大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（港科大深港协同创新研究院）
针对现有医学图像分类迁移方法忽略模型频率依赖特性、长尾罕见疾病识别效果受限的问题，本文提出FoPro-KD框架，通过傅里叶提示生成器调控图像频率实现有效知识蒸馏，在两类长尾医学图像任务上性能优于现有方法。
2023-12-12 cs.CV cs.LG eess.IV
Improving Viewpoint Robustness for Visual Recognition via Adversarial Training
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）；OPPO Intellisense and Interaction Research Department（OPPO感知与交互研究部）
针对视觉识别中视角变化影响预测的问题，提出视角不变对抗训练VIAT方法，构建ImageNet-V+数据集，并提出可证明鲁棒性方法ViewRS，显著提升了图像分类器的视角鲁棒性。
2023-07-21 cs.CV
Level Playing Field for Million Scale Face Recognition
人脸识别具有解决问题的感觉，但是当在百万级测试时，不同算法的准确性会有很大的差异。算法有很大不同吗？访问好的/大的训练数据是他们的秘密武器吗？人脸识别应该在哪里改进？为了解决这些问题，我们创建了一个基准测试MF 2，要求所有算法都在相同的数据上进行训练，并在百万级进行测试。MF 2是一个公共的大型集合，包含672 K个身份和470万张照片，旨在为大规模人脸识别提供公平的竞争环境。我们将我们的结果与其他两个大型基准MegaFace Challenge和MS-Celebs-1 M的结果进行了对比，其中允许团体在任何私人/公共/大/小集合上进行训练。一些关键发现：1）在MF 2上训练的算法能够达到最先进的水平，并且与在大规模私有集上训练的算法具有可比性，2）一些算法在MF 2上训练后表现出色，3）对老化的不变性受到MegaFace的低准确性的影响，识别出在未来测试中可能在身份或算法调整中需要更大的年龄变化。
2017-05-01 cs.CV
Geodesics of learned representations
Howard Hughes Medical Institute（霍华德·休斯医学研究所）；Center for Neural Science（神经科学中心）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）
我们开发了一种新的方法来可视化和精炼学习表征的不变性。具体来说，我们测试的一般形式的不变性，线性化，其中的行动的变换被限制在一个低维子空间。给定两个参考图像（通常，通过一些变换而不同），我们合成一个图像序列，该图像序列位于它们之间的路径上，该路径在表示空间中具有最小长度（“表示测地线”）。如果通过表示将与两个参考图像相关的变换线性化，则该序列应当遵循该变换的逐渐演变。我们使用这种方法来评估一个国家的最先进的图像分类网络的不变性，并发现生成的图像对不同的平移，旋转和膨胀的测地线不演变根据其相关的变换。我们的方法还建议这些故障的补救措施，并按照此处方，我们表明，修改后的表示是能够线性化的各种几何图像变换。
2016-02-22 cs.CV cs.LG
BILTS: A Bi-Invariant Similarity Measure for Robust Object Trajectory Recognition under Reference Frame Variations
KU Leuven（鲁汶大学）；Flanders Make（弗兰德斯制造研究院）
针对参考系变化下物体轨迹识别受场景干扰、现有相似性度量对奇点噪声敏感且缺双不变性的问题，提出具备双不变性等特性的BILTS度量，其离散正则化版本经多数据集实验验证识别率最高、场景敏感度最低。
2025-01-17 cs.CG cs.CV cs.RO
Open-RadVLAD: Fast and Robust Radar Place Recognition
University of Oxford（牛津大学）
本文提出Open-RadVLAD，利用极坐标表示、径向一维傅里叶变换与局部聚合描述符实现快速鲁棒的雷达地点识别，并在Oxford Radar RobotCar上以更低成本达到91.52%的Recall@1中位数。
2024-03-02 cs.CV cs.RO
RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition
Tsinghua University（清华大学）；MEGVII Technology（旷视科技）；Aberystwyth University（阿伯里斯特威斯大学）
我们提出了RepMLP，一个多层感知器风格的神经网络构建块的图像识别，这是由一系列的全连接（FC）层。与卷积层相比，FC层更有效，更擅长建模长距离依赖关系和位置模式，但在捕获局部结构方面较差，因此通常不太适合图像识别。我们提出了一种结构重新参数化技术，增加了本地的前到FC，使其强大的图像识别。具体来说，我们在训练期间在RepMLP内部构建卷积层，并将它们合并到FC中进行推理。在CIFAR上，一个简单的纯MLP模型显示出非常接近CNN的性能。通过在传统的CNN中插入RepMLP，我们在ImageNet上将ResNets的准确率提高了1.8%，在人脸识别上提高了2.9%，在Cityscapes上提高了2.3%的mIoU。我们有趣的发现强调了将FC的全局表示能力和位置感知与卷积的局部先验相结合可以提高神经网络的性能，在具有平移不变性的任务上具有更快的速度（例如，语义分割）和具有对准图像和位置图案的那些（例如，面部识别）。代码和模型可在https://github.com/DingXiaoH/RepMLP上获得。
2022-03-30 cs.AI cs.CV cs.LG
Synthesis-Guided Feature Learning for Cross-Spectral Periocular Recognition
West Virginia University（西弗吉尼亚大学）
眼周生物识别中常见但具有挑战性的场景是交叉光谱匹配-特别是可见光波长与近红外（NIR）眼周图像的匹配。我们提出了一种新的方法来交叉光谱眼周验证，主要集中在学习从可见光和近红外眼周图像映射到共享的潜在代表子空间，并支持这一努力，同时学习内光谱图像重建。我们表明，辅助图像重建任务（特别是高层次的语义特征的重建）的结果是学习一个更具鉴别力的，域不变的子空间相比，基线，而不会产生额外的计算或内存成本在测试时。所提出的耦合条件生成对抗网络（CoGAN）架构使用成对的生成器网络（一个在可见光图像上操作，另一个在NIR上操作），该生成器网络由具有ResNet-18编码器的U网组成，该编码器经过训练用于通过对比损失进行特征学习，以及用于具有对抗性、基于像素和感知重建损失的谱内图像重建。此外，所提出的CoGAN模型在跨光谱眼周识别中击败了当前最先进的（SotA）。在香港理工大学基准数据集上，我们实现了98.65%的AUC和5.14%的EER，而SotA的EER为8.02%。在交叉眼数据集上，我们实现了99.31%的AUC和3.99%的EER，而SotA的EER为4.39%。
2021-11-16 cs.AI cs.CV
Attributes Shape the Embedding Space of Face Recognition Models
Department of Mathematical Sciences, Politecnico di Torino, Turin, Italy（波兰理工学院数学科学系）；Department of Computer Science, University of Pisa, Pisa, Italy（比萨大学计算机科学系）；CENTAI Institute, Turin, Italy（CENTAI研究院）
本文提出一种几何方法和受物理启发的对齐度量，用于描述人脸识别模型嵌入空间中由可解释人脸与图像属性引起的多尺度几何结构及模型对这些属性的依赖或不变性，揭示了模型的优缺点并提升可解释性。
2025-07-15 cs.AI cs.CV
S2P-Net: A Spectral-Spatial Polar Network for Rotation-Invariant Object Recognition in Low-Data Regimes
Unaffiliated Researcher（无隶属研究人员）
S2P-Net通过数学保证的旋转不变性实现紧凑深度学习架构，在低数据环境下实现目标识别。
2026-06-26 cs.AI cs.CV
