Trunk-Branch Ensemble Convolutional Neural Networks for Video-based Face Recognition
South China University of Technology（华南理工大学）；UBTech Sydney Artificial Intelligence Institute（优必选悉尼人工智能研究院）；The University of Sydney（悉尼大学）
监控视频中的人脸通常会出现严重的图像模糊、姿态变化和遮挡。在本文中，我们提出了一个全面的框架，卷积神经网络（CNN）的基础上，以克服在基于视频的人脸识别（VFR）的挑战。首先，为了学习模糊鲁棒的人脸表示，我们人为地模糊了由清晰的静止图像组成的训练数据，以弥补真实世界视频训练数据的不足。使用由静止图像和人工模糊数据组成的训练数据，鼓励CNN自动学习模糊不敏感特征。其次，为了增强CNN特征对姿态变化和遮挡的鲁棒性，我们提出了一种主干-分支包围CNN模型（TBE-CNN CNN），该模型从整体面部图像和面部组件周围裁剪的补丁中提取补充信息。TBE-CNN是一种端到端模型，通过在主干和分支网络之间共享低级和中级卷积层来有效地提取特征。第三，为了进一步提高TBE-CNN学习的表示的区分能力，我们提出了一个改进的三重损失函数。系统的实验证明了所提出的技术的有效性。最令人印象深刻的是，TBE-CNN在三个流行的视频人脸数据库上实现了最先进的性能：PaSC，COX Face和YouTube Faces。在BTAS 2016年视频人物识别评测中，我们也获得了第一名。
2017-05-17 cs.CV
BiSTF: Bilateral-Branch Self-Training Framework for Semi-Supervised Large-scale Fine-Grained Recognition
University of Science and Technology of China（中国科学技术大学）
半监督细粒度识别是一个具有挑战性的任务，由于数据不平衡，高类间相似性和领域不匹配的困难。近年来，这一领域取得了很大的进展，许多方法取得了很好的效果.然而，这些方法很难推广到大规模数据集，如Semi-iNat，因为它们容易受到未标记数据中的噪声和不平衡细粒度数据中学习特征的能力。在这项工作中，我们提出了双边分支自训练框架（BiSTF），一个简单而有效的框架，以改善现有的半监督学习方法的类不平衡和域转移细粒度数据。通过随机历元更新调整更新频率，BiSTF迭代地重新训练基线SSL模型，其中标记集通过选择性地从未标记集中添加伪标记样本来扩展，其中伪标记样本的分布与标记数据相同。我们证明BiSTF在Semi-iNat数据集上的性能优于现有的最先进的SSL算法。
2021-07-14 cs.CV
When Facial Expression Recognition Meets Few-Shot Learning: A Joint and Alternate Learning Framework
Xiamen University（厦门大学）；University College London（伦敦大学学院）；Xiamen University of Technology（厦门理工学院）
人类的情感包括基本的和复合的面部表情。然而，目前的人脸表情识别（FER）的研究主要集中在基本的表情，从而无法解决人类的情感在实际场景中的多样性。同时，现有的复合表情识别工作严重依赖于大量的标记复合表情训练数据，这些数据往往是在心理学专业指导下辛苦收集的。在本文中，我们研究了复合FER的跨域少样本学习设置，其中只有一些图像的新类的目标域作为参考。特别是，我们的目标是通过在易于访问的基本表达式数据集上训练的模型来识别看不见的复合表达式。为了缓解FER任务中基类有限的问题，我们提出了一种新的情感引导相似性网络（EGS-Net），由情感分支和相似性分支组成，基于两阶段学习框架。具体地，在第一阶段中，相似性分支与情感分支以多任务方式联合训练。通过情感分支的正则化，我们防止了相似性分支过度拟合到在不同情节中高度重叠的采样基类。在第二阶段，情感分支和相似性分支玩"两个学生的游戏"，以交替地相互学习，从而进一步提高相似性分支对看不见的复合表达式的推理能力。在实验室和野外的化合物表达数据集上的实验结果表明，我们提出的方法对几个国家的最先进的方法的优越性。
2022-01-18 cs.CV
Meta Transfer Learning for Emotion Recognition
Queensland University of Technology（昆士兰科技大学）；Deakin University（迪肯大学）
深度学习已被广泛应用于自动情感识别，并在该领域取得了重大进展。然而，由于标注的情感数据集不足，预训练模型的泛化能力有限，从而导致在新的测试集上表现不佳。为了缓解这一挑战，已经应用了对预训练模型进行微调的迁移学习。然而，微调后的知识可能会覆盖和/或丢弃从预训练模型中学习到的重要知识。在本文中，我们解决这个问题，提出了一个基于PathNet的迁移学习方法，能够转移从一个视觉/音频情感域学习到另一个视觉/音频情感域的情感知识，并将从多个音频情感域学习到的情感知识转移到另一个，以提高整体情感识别的准确性。为了显示我们所提出的系统的鲁棒性，已经进行了三个情感数据集：SAVEE，EMODB和eNTERFACE的面部表情识别和语音情感识别任务的各种实验。实验结果表明，我们提出的系统是能够提高情感识别的性能，使其性能大大优于最近提出的微调/预训练模型的迁移学习方法。
2020-06-23 cs.CV
Learning Unified Representations for Multi-Resolution Face Recognition
Beijing Institute of Technology（北京理工大学）
提出BTNet网络，通过主干和分支结构实现多分辨率人脸识别，减少插值误差，提升微小面孔识别性能，并在QMUL-SurvFace基准上达到最先进水平。
2023-10-14 cs.CV
Occlusion-Adaptive Deep Network for Robust Facial Expression Recognition
University of Maryland, College Park（马里兰大学帕克分校）
部分遮挡人脸的表情识别是一个具有挑战性的计算机视觉问题。以前的表情识别方法，要么忽略了这个问题，要么使用极端的假设解决了这个问题。由于人类视觉系统擅长忽略遮挡并专注于非遮挡面部区域，因此我们提出了一个地标引导的注意力分支来查找和丢弃遮挡区域中的损坏特征，以便它们不用于识别。首先生成一个注意力图来指示特定的面部部分是否被遮挡，并引导我们的模型关注未被遮挡的区域。为了进一步提高鲁棒性，我们提出了一个面部区域分支，将特征图划分为不重叠的面部块，并分配每个块来独立预测表情。这导致更多样化和更有区别的特征，使得表情识别系统能够在面部被部分遮挡的情况下恢复。根据这两个分支的协同效应，我们的遮挡自适应深度网络在两个具有挑战性的野外基准数据集和三个真实世界的遮挡表达数据集上的表现明显优于最先进的方法。
2020-05-12 cs.CV
SORT: Second-Order Response Transform for Visual Recognition
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体创新中心）；The Johns Hopkins University（约翰斯·霍普金斯大学）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
在本文中，我们揭示了将二阶运算引入深度神经网络的重要性和好处。本文提出了一种新的二阶响应变换方法（SORT），该方法将逐元素乘积变换附加到两个分支网络模块的线性和上。SORT的一个直接优点是便于跨分支响应传播，这样每个分支都可以根据其他分支的当前状态更新其权重。此外，SORT扩充了变换运算族，增加了网络的非线性，使得学习灵活的函数以适应特征空间的复杂分布成为可能。SORT可以应用于广泛的网络架构，包括链式网络和剩余网络的分支变体，具有非常轻的修改。我们在小型（CIFAR10，CIFAR100和SVHN）和大型（ILSVRC 2012）数据集上观察到一致的准确性增益。此外，SORT是非常有效的，因为额外的计算开销小于5%。
2017-09-14 cs.CV
Soften the Mask: Adaptive Temporal Soft Mask for Efficient Dynamic Facial Expression Recognition
Beijing Union University（北京联合大学）；Huaqiao University（华侨大学）；Beijing University of Posts and Telecommunication（北京邮电大学）
提出一种结合自监督重建与监督分类的AdaTosk网络，通过自适应时间软掩码（类不可知和类语义软掩码）增强关键表情时刻并减少语义冗余，在降低计算成本的同时保持竞争性能。
2026-05-28 cs.CV
Attribute-Based Deep Periocular Recognition: Leveraging Soft Biometrics to Improve Periocular Recognition
West Virginia University（西弗吉尼亚大学）
近年来，眼周识别已发展为一种有价值的生物特征识别方法，尤其是在面部识别可能不适用的野生环境中（例如，由于COVID-19大流行而导致的蒙面面部）。本文提出了一种新的深度眼周识别框架，称为基于属性的深度眼周识别（ADPR），它预测软生物特征，并将预测纳入眼周识别算法，以高精度确定眼周图像的身份。我们提出了一个端到端的框架，它使用几个共享的卷积神经网络（CNN）层（一个共同的网络），其输出馈送两个单独的专用分支（模态专用层）;第一个分支分类眼周图像，而第二个分支预测softn生物特征。接下来，将这两个分支的特征融合在一起，以进行最终的眼周识别。所提出的方法是不同于现有的方法，因为它不仅使用一个共享的CNN特征空间来训练这两个任务联合，但它也融合预测的软生物特征与眼周特征的训练步骤，以提高整体眼周识别性能。我们提出的模型使用四个不同的公开数据集进行了广泛的评估。实验结果表明，我们的软生物特征为基础的眼周识别方法优于其他国家的最先进的方法在野外环境中的眼周识别。
2021-11-02 cs.CV eess.IV
High-Accuracy RGB-D Face Recognition via Segmentation-Aware Face Depth Estimation and Mask-Guided Attention Network
Department of Computer Science, National Tsing Hua University（台湾清华大学计算机科学系）；Microsoft AI R&D Center（微软人工智能研发中心）
深度学习方法通过用非常大的人脸图像数据集训练模型来实现高度准确的人脸识别。与大型2D人脸图像数据集的可用性不同，缺乏可供公众使用的大型3D人脸数据集。现有的公开3D人脸数据集通常采集对象较少，导致过拟合问题。本文提出了两种CNN模型来改进RGB-D人脸识别任务。第一个是分割感知深度估计网络，称为DepthNet，它通过包含语义分割信息来估计RGB人脸图像的深度图，以实现更准确的人脸区域定位。另一个是一种新的面具引导的RGB-D人脸识别模型，它包含一个RGB识别分支，一个深度图识别分支，和一个辅助分割面具分支与空间注意力模块。我们的DepthNet用于将大型2D人脸图像数据集增强为大型RGB-D人脸数据集，用于训练准确的RGB-D人脸识别模型。此外，所提出的面具引导的RGB-D人脸识别模型可以充分利用深度图和分割面具信息，并且比以前的方法对姿态变化更具鲁棒性。我们的实验结果表明，深度网络可以产生更可靠的深度图从人脸图像的分割掩模。我们的面具引导人脸识别模型在几个公共3D人脸数据集上的性能优于最先进的方法。
2021-12-22 cs.CV
On the Exploration of Convolutional Fusion Networks for Visual Recognition
Leiden University（莱顿大学）
尽管最近在多尺度深度表示方面取得了进展，但它们的局限性归因于昂贵的参数和弱融合模块。因此，我们提出了一种有效的方法来融合多尺度深度表示，称为卷积融合网络（CFN）。由于使用了1 $\times$ 1卷积和全局平均池，CFN可以有效地产生侧分支，而添加很少的参数。此外，我们提出了一个局部连接的融合模块，它可以学习自适应权重的侧分支，并形成一个有区别的融合功能。在CIFAR和ImageNet数据集上训练的CFN模型与普通CNN相比表现出显着的改进。此外，我们推广CFN三个新的任务，包括场景识别，细粒度识别和图像检索。实验结果表明，该方法能对迁移任务取得一致的改进。
2016-11-16 cs.CV
A Multi-Task Deep Learning Framework for Pose-Invariant Face Recognition and Facial Landmark Localization
该研究提出一种多任务深度学习框架，结合ResNet50与带空间注意力的EfficientNetV2B0分支，改造CPLFW数据集后验证，实现姿态不变人脸识别与面部关键点定位，获81.58%识别准确率及96.38的关键点定位均方误差。
2026-10-14 cs.CV
Robust RGB-D Face Recognition Using Attribute-Aware Loss
University of Science and Technology of China（中国科学技术大学）；Beijing Dilusense Technology Corporation（北京的卢深视科技有限公司）；Cardiff University（卡迪夫大学）
现有的基于卷积神经网络（CNN）的人脸识别算法通常使用损失函数来学习区别性特征映射，所述损失函数强制分离来自不同类别的特征和/或聚合同一类别内的特征。然而，它们可能遭受训练数据中的偏差，例如不均匀的采样密度，因为它们优化了所学习的特征的邻近关系，而没有考虑底层面部的邻近性。此外，由于它们仅使用面部图像进行训练，因此学习的特征映射可能无法正确指示其他属性（例如性别和种族）的关系，这对于某些面部识别应用来说可能很重要。在本文中，我们提出了一种新的基于CNN的人脸识别方法，将这些属性纳入训练过程。使用属性感知的损失函数，正则化的特征映射使用属性接近度，我们的方法学习更多的歧视性特征，与属性相关。我们训练我们的人脸识别模型上的大规模RGB-D数据集，在实际应用条件下捕获的身份超过10万。通过与其他方法进行比较，我们证明了深度通道和属性感知损失大大提高了人脸识别的准确性和鲁棒性。
2019-05-17 cs.CV
CoupleFace: Relation Matters for Face Recognition Distillation
Beihang University（北京航空航天大学）；SenseTime Group Limited（商汤集团有限公司）
知识蒸馏是提高轻量级神经网络（即，学生模型）通过传递性能良好的神经网络的知识（即，教师模型），该模型已被广泛应用于包括人脸识别在内的许多计算机视觉任务中。然而，当前的人脸识别提取方法通常利用特征一致性提取（FCD）（例如，L2距离）对教师和学生模型为每个样本提取的学习嵌入进行估计，这无法将知识从教师完全转移到学生以进行人脸识别。在这项工作中，我们观察到，样本之间的相互关系知识也是重要的，以提高学生模型的学习表示的判别能力，并提出了一种有效的人脸识别蒸馏方法，称为CoupleFace，另外引入相互关系蒸馏（MRD）到现有的蒸馏框架。具体来说，在MRD中，我们首先提出挖掘信息的相互关系，然后引入的知识感知蒸馏（RAD）损失，教师模型的相互关系知识转移到学生模型。在多个基准数据集上的大量实验结果证明了我们提出的CoupleFace人脸识别的有效性。此外，基于我们提出的CoupleFace，我们在ICCV21蒙面人脸识别挑战赛（MS1M赛道）中获得了第一名。
2022-11-17 cs.CV
Learning Gabor Texture Features for Fine-Grained Recognition
Zhejiang University（浙江大学）；NVIDIA AI Tech Centre（英伟达人工智能技术中心）
本文提出在CNN语义分支之外引入基于Gabor滤波器的纹理分支，通过参数约束与学习、统计特征提取和门控选择机制增强细粒度特征提取，在多个细粒度数据集上取得最先进性能。
2023-08-10 cs.CV
Dynamic Perceiver for Efficient Visual Recognition
Tsinghua University（清华大学）；China Mobile Research Institute（中国移动研究院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出动态 Perceiver（Dyn-Perceiver），通过双分支架构解耦特征提取与早期分类，将早期出口仅置于分类分支，从而在图像分类、动作识别和目标检测中显著提升不同骨干网络的推理效率。
2023-08-13 cs.CV
DBN-Mix: Training Dual Branch Network Using Bilateral Mixup Augmentation for Long-Tailed Visual Recognition
Hanyang University（汉阳大学）
本文提出双边 mixup 增强与逐类温度缩放方法，并应用于双分支网络框架构建 DBN-Mix 模型，有效缓解长尾视觉识别中的类别不平衡与少数类表示困难，显著提升基线性能并在部分基准中达到 SOTA。
2022-08-20 cs.CV cs.LG
Learning to Attract and Repel: Dual Quality Margin Learning for Face Recognition (DQM-Face)
University of Sciences and Technology Houari Boumediene (USTHB)（侯阿里·布迈丁科技大学）；Johannes Gutenberg University Mainz（美因茨约翰内斯·古腾堡大学）
针对非受控人脸识别受噪声干扰导致判别性不足的问题，提出DQM-Face框架，结合幅值与语义质量建模，通过双吸引-排斥间隔优化提升性能，在多个基准上优于现有方法，且学习到的质量可用于人脸图像质量评估。
2026-09-03 cs.CV
Optimized Learned Image Compression for Facial Expression Recognition
Friedrich-Alexander-Universität（弗里德里希-亚历山大大学）；Machine Learning and Data Analytics Lab（机器学习与数据分析实验室）；Translational Digital Health Group（转化数字健康组）；Institute of AI for Health（健康人工智能研究所）；Helmholtz Zentrum München - German Research Center for Environmental Health（亥姆霍兹慕尼黑研究中心 - 德国环境健康研究中心）
本文提出一种面向面部表情识别的端到端学习图像压缩模型，通过自定义损失函数联合优化压缩与识别性能，实验显示准确率和压缩效率分别提升4.04%和89.12%。
2025-09-21 cs.CV cs.MM
Ada-DF: An Adaptive Label Distribution Fusion Network For Facial Expression Recognition
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）
针对面部表情识别中数据集标注模糊的问题，提出双分支自适应分布融合框架Ada-DF，通过辅助分支获取标签分布并计算类别分布，利用注意力权重自适应融合分布以训练目标分支，在三个真实数据集上表现优于现有方法。
2024-04-24 cs.AI cs.CV
BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition
Megvii Technology（旷视科技）；Waseda University（早稻田大学）；Nanjing University（南京大学）
我们的工作重点是解决具有挑战性但自然的长尾数据分布视觉识别任务（即，少数类占据了大部分数据，而大多数类很少有样本）。在文献中，阶级再平衡策略（例如，重加权和重采样）是为解决长尾问题而提出的显著而有效的方法。在本文中，我们首先发现这些重新平衡方法能够达到令人满意的识别精度，这是因为它们可以显著促进深度网络的分类器学习。然而，与此同时，它们会在某种程度上意外地损害学习到的深层特征的代表能力。因此，我们提出了一个统一的双边分支网络（BBN），以同时兼顾表示学习和分类器学习，其中每个分支确实单独执行自己的职责。特别是，我们的BBN模型进一步配备了一种新的累积学习策略，该策略旨在首先学习通用模式，然后逐渐关注尾部数据。在四个基准数据集上进行的广泛实验，包括大规模的iNaturalist数据集，证明了所提出的BBN可以显着优于最先进的方法。此外，验证实验可以证明我们的初步发现和BBN的长尾问题的定制设计的有效性。我们的方法在iNaturalist 2019大型物种分类竞赛中获得了第一名，我们的代码是开源的，可在https://github.com/Megvii-Nanjing/BBN上获得。
2020-03-10 cs.CV cs.LG
Cross-Task Multi-Branch Vision Transformer for Facial Expression and Mask Wearing Classification
Carnegie Mellon University（卡内基梅隆大学）；AMA University（AMA大学）；University of Washington（华盛顿大学）；Microsoft（微软）；Northern Arizona University（北亚利桑那大学）
本文提出统一的多分支视觉Transformer，通过双分支多尺度特征提取和跨任务交叉注意力融合，同时处理面部表情识别与口罩佩戴分类，在降低整体复杂度的同时取得与最先进方法相当或更优的性能。
2024-04-30 cs.AI cs.CV
Quality Aware Network for Set to Set Recognition
SenseTime Group Limited（商汤集团有限公司）；University of Sydney（悉尼大学）
本文研究的是集对集识别问题，即学习两个图像集之间的度量。每个集合中的图像属于同一身份。由于集合中的图像可以是互补的，因此它们在实际应用中有望导致更高的精度。然而，每个样本的质量无法保证，质量差的样本会损害度量。在本文中，质量感知网络（QAN）提出了面对这个问题，每个样本的质量可以自动学习，虽然这些信息是没有明确提供的训练阶段。该网络有两个分支，其中第一个分支提取每个样本的外观特征嵌入，另一个分支预测每个样本的质量分数。然后，集合中所有样本的特征和质量分数被聚合以生成最终的特征嵌入。我们证明了这两个分支可以以端到端的方式进行训练，只需要设置级别的身份注释。对该机制的梯度扩散分析表明，网络学习的质量有利于集对集的识别，简化了网络需要拟合的分布。人脸验证和人的重新识别实验表明，所提出的QAN的优势。源代码和网络结构可以在https://github.com/sciencefans/Quality-Aware-Network下载。
2017-04-11 cs.AI cs.CV
When Face Recognition Meets with Deep Learning: an Evaluation of Convolutional Neural Networks for Face Recognition
University of Surrey（萨里大学）；Queen Mary University of London（伦敦玛丽女王大学）；Chinese Academy of Sciences（中国科学院）
深度学习，特别是卷积神经网络（CNN），最近在人脸识别方面取得了可喜的成果。然而，这仍然是一个悬而未决的问题：为什么CNN工作得很好，以及如何设计一个“好”的架构。现有的工作往往集中在报告CNN架构，工作良好的人脸识别，而不是调查的原因。在这项工作中，我们在一个共同的基础上对基于CNN的人脸识别系统（CNN-FRS）进行了广泛的评估，以使我们的工作易于重现。具体来说，我们使用公共数据库LFW（Labeled Faces in the Wild）来训练CNN，这与大多数现有的CNN在私有数据库上训练不同。我们提出了三个CNN架构，这是第一次报告的架构使用LFW数据训练。本文定量地比较了CNN的体系结构，并评估了不同实现选择的效果。我们确定了CNN-FRS的几个有用的属性。例如，学习的特征的维数可以显着降低，而不会对人脸识别精度产生不利影响。此外，传统的度量学习方法，利用CNN学习的功能进行评估。实验表明，CNN-FRS性能良好的两个关键因素是多个CNN的融合和度量学习。为了使我们的工作可复制，源代码和模型将公开提供。
2015-04-09 cs.CV cs.LG cs.NE
Open-World Visual Recognition Using Knowledge Graphs
IBM Research – Ireland（IBM研究院爱尔兰）
在现实世界中，视觉识别系统可以对属于先前未知类别标签的图像进行预测。为了使语义有意义的预测，这样的输入，我们提出了一个两步的方法，利用信息从知识图谱。首先，学习知识图表示以将大量实体嵌入语义空间。其次，学习图像表示以将图像嵌入到同一空间中。在这种设置下，我们能够预测任何开放世界图像的关系三元组形式的结构化属性。即使在从知识图谱和图像嵌入的训练协议中省略了一组标签时也是如此。此外，我们附加适当的平滑约束的学习框架，并显示如何先验知识可以纳入模型。与我们的基线相比，这两项改进将视觉识别的性能提高了六倍。最后，我们提出了一个新的，扩展的数据集，我们使用的实验。
2017-08-28 cs.CV cs.LG stat.ML
Low-Resolution Face Recognition via Adaptable Instance-Relation Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文提出自适应实例-关系蒸馏方法，将知识迁移拆分为蒸馏与自适应两步，在实例和关系层面从高分辨率教师模型迁移知识，并结合推理时自适应批归一化提升低分辨率人脸识别的适应性与性能。
2024-09-03 cs.AI cs.CV cs.LG
Employing Fusion of Learned and Handcrafted Features for Unconstrained Ear Recognition
University of South Florida（南佛罗里达大学）；Federal University of Bahia（巴伊亚联邦大学）
我们提出了一个不受约束的人耳识别框架，在不同的公开可用的图像数据库中的性能优于最先进的系统。为此，我们开发了基于CNN的耳标准化和描述解决方案，我们使用了众所周知的手工描述符，并融合了学习和手工特征以提高识别率。我们设计了一个两阶段的地标检测器，成功地在未经训练的情况下工作。我们使用生成的结果来执行几何图像归一化，从而提高了所有评估描述符的性能。我们的CNN描述符优于文献中其他基于CNN的作品，特别是在更困难的情况下。学习和手工制作的匹配器的融合似乎是互补的，因为它在所有实验中取得了最佳性能。所获得的结果优于UERC挑战的所有其他报告结果，其中包含当今最困难的数据库。
2017-10-20 cs.CV
License Plate Detection and Recognition Using Deeply Learned Convolutional Neural Networks
Sighthound Inc.（Sighthound公司）
这项工作详细介绍了Sighthounds全自动车牌检测和识别系统。该系统的核心技术是使用一系列深度卷积神经网络（CNN）与准确高效的算法交织而成。CNN经过训练和微调，使其在不同条件下（例如姿势、照明、遮挡等变化）具有鲁棒性。并且可以在各种牌照模板（例如，大小、背景、字体等）上工作。对于定量分析，我们表明，我们的系统优于领先的车牌检测和识别技术，即ALPR在几个基准。我们的系统可通过Sighthound Cloud API提供给开发人员，网址为https://www.sighthound.com/products/cloud
2017-03-28 cs.CV
Symbiotic Attention with Privileged Information for Egocentric Action Recognition
University of Technology Sydney（悉尼科技大学）；Baidu Research（百度研究院）
以自我为中心的视频识别是多种交互推理的自然测试平台。由于以自我为中心的视频数据集中存在大量的动作词汇，目前的研究通常采用两分支结构进行动作识别，即一个分支用于动词分类，另一个分支用于名词分类。然而，动词和名词分支之间的相关性研究在很大程度上被忽视了。此外，由于缺乏位置感知的注意力机制，这两个分支未能利用局部特征。在本文中，我们提出了一种新的共生注意力框架，利用标记信息（SAP）的自我中心的视频识别。更精细的位置感知目标检测特征可以促进对动作者与对象的交互的理解。我们在动作识别中引入这些特征，并将它们视为特权信息。我们的框架使动词分支，名词分支和特权信息之间的相互通信。这种通信过程不仅将局部细节注入到全局特征中，而且还利用了关于正在进行的动作的时空位置的隐式指导。我们引入新的共生注意力（SA），使有效的沟通。它首先对一个分支上的检测引导特征进行标准化，以强调来自另一个分支的动作相关信息。SA自适应地增强了三个源之间的相互作用。为了进一步促进这种沟通，空间关系被揭露的选择最相关的行动信息。它识别最有价值和最有区别的分类特征。我们从数量和质量上验证SAP的有效性。值得注意的是，它在两个大规模以自我为中心的视频数据集上达到了最先进的水平。
2020-02-08 cs.CV
CMFN: Cross-Modal Fusion Network for Irregular Scene Text Recognition
Intelligent Software Research Center, Institute of Software Chinese Academy of Sciences（中国科学院软件研究所智能软件研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；The Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能实验室）；State Key Laboratory of Computer Science, Institute of Software Chinese Academy of Sciences（中国科学院软件研究所计算机科学国家重点实验室）
针对不规则场景文本识别中语义挖掘忽视视觉线索的问题，本文提出CMFN，通过位置自增强编码器、视觉识别分支及带跨模态融合门的迭代语义分支融合视觉与语义信息，达到与SOTA相当的性能。
2024-01-18 cs.CV
Multi-Branch with Attention Network for Hand-Based Person Recognition
De Montfort University（德蒙福特大学）；Lancaster University（兰卡斯特大学）
在本文中，我们提出了一种新的基于手的人识别方法的目的，刑事调查，因为手的图像往往是唯一可用的信息，在严重的犯罪案件，如性虐待。我们提出的方法，多分支与注意力网络（MBA-Net），结合了通道和空间注意力模块的分支，除了一个全球（没有注意力）的分支，以捕获全局结构信息的判别特征学习。注意力模块集中在手部图像的相关特征上，同时抑制不相关的背景。为了克服注意力机制的弱点，等同于像素洗牌，我们集成了相对位置编码到空间注意力模块来捕获像素的空间位置。对两个大型多种族和公开可用的手数据集的广泛评估表明，我们提出的方法实现了最先进的性能，超过了现有的基于手的识别方法。
2022-06-30 cs.CV
Collaboratively Self-supervised Video Representation Learning for Action Recognition
Microsoft Research Asia（微软亚洲研究院）；Beijing Huawei Digital Technologies Co., Ltd.（北京华为数字技术有限公司）
提出协同自监督视频表示学习框架CSVR，通过生成式姿态预测、判别式上下文匹配和视频生成三个分支协同提取动静特征，在多个视频数据集上实现最先进的动作识别性能。
2025-01-31 cs.CV
IFR: Iterative Fusion Based Recognizer For Low Quality Scene Text Recognition
Shanghai Institute for Advanced Communication and Data Science, Shanghai University（上海大学上海先进通信与数据科学研究院）
尽管最近基于深度学习的工作在提高场景文本识别的识别精度方面取得了进展，但如何在端到端深度网络中处理低质量的文本图像仍然是一个研究挑战。在本文中，我们提出了一个基于迭代融合的识别器（IFR）低质量的场景文本识别，利用精细的文本图像输入和强大的特征表示。IFR包含两个分支，分别专注于场景文本识别和低质量场景文本图像恢复。我们利用两个分支之间的迭代协作，可以有效地减轻低质量输入的影响。提出了一个特征融合模块，将识别器的特征与图像复原分支进行融合，增强了两个分支的特征表达能力。在不改变识别网络结构的情况下，大量的定量和定性实验结果表明，该方法在提高基准数据集和TextZoom数据集中低分辨率图像的识别准确率方面明显优于基线方法。
2021-08-13 cs.CV
Joint Layout Analysis, Character Detection and Recognition for Historical Document Digitization
South China University of Technology（华南理工大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们提出了一个端到端的可训练框架，用于恢复遵循正确阅读顺序的历史文档内容。该框架在特征提取网络的后面增加了两个分支：字符分支和布局分支。字符分支定位文档图像中的各个字符并同时识别它们。然后采用后处理的方法将其分组为文本行。基于全卷积网络的布局分支输出二进制掩码。然后，我们使用Hough变换的二进制掩码上的行检测和字符的结果与布局信息相结合，以恢复文档内容。这两个分支可以并行训练，并且易于训练。此外，我们提出了一个重新评分机制，以尽量减少识别错误。在扩展的中文历史文档MTHv2数据集上的实验结果验证了该框架的有效性。
2020-07-14 cs.CV
A dual-branch model with inter- and intra-branch contrastive loss for long-tailed recognition
South China University of Technology（华南理工大学）
针对长尾分布中尾部类别样本少、决策边界模糊的问题，本文提出 DB-LTR 双分支模型，通过不平衡学习分支与 CoLB 的原型、对比及度量损失增强尾部适应能力，并在三个基准上取得优于对比方法的结果。
2023-09-28 cs.CV
Recognition-Aware Learned Image Compression
已知的图像压缩方法通常优化速率失真损失，以增加的比特率来权衡视觉失真的改善。然而，越来越多的压缩图像被用作深度学习网络的输入，用于各种任务，如分类，对象检测和超分辨率。我们提出了一种具有识别意识的学习压缩方法，该方法优化了率失真损失以及特定于任务的损失，联合学习压缩和识别网络。我们使用EfficientNet识别模型增强了基于分层自动编码器的压缩网络，并使用两个超参数在失真、比特率和识别性能之间进行权衡。我们的特征的分类准确性，我们提出的方法作为比特率的函数，并发现，对于低比特率，我们的方法实现高达26%的识别准确率在同等比特率相比，传统的方法，如更好的便携式图形（BPG）。
2022-02-01 cs.CV eess.IV
SAU: A Dual-Branch Network to Enhance Long-Tailed Recognition via Generative Models
The University of Sydney（悉尼大学）；School of Computer Science（计算机学院）
提出双分支网络SAU，利用生成模型产生的合成数据补充长尾数据集，通过合成不感知分支分类与合成感知分支提升鲁棒性，显著提升长尾图像识别准确率。
2024-08-29 cs.CV
Gait Recognition via Deep Residual Networks and Multi-Branch Feature Fusion
School of Mechanical and Electrical Engineering, Osh State University（机械与电子工程学院，奥什州大学）
本文提出一种高精度步态识别框架，通过多分支架构结合深度残差学习，融合步态动态与身体形状特征，提升在视角变化、着装变化等干扰下的识别性能。
2026-04-30 cs.CV
WSRNet: Joint Spotting and Recognition of Handwritten Words
National Technical University of Athens（雅典国立技术大学）；University of Ioannina（约阿尼纳大学）
在这项工作中，我们提出了一个统一的模型，可以处理关键字定位和单词识别相同的网络架构。该网络由一个非循环CTC分支和一个Seq2Seq分支组成，该分支进一步增强了自动编码模块。相关的联合损失导致识别性能的提升，而Seq2Seq分支用于创建有效的单词表示。我们展示了如何进一步处理这些表示与二进制化和再培训计划，以提供紧凑和高效的描述符，适合关键字定位。数值结果验证了所提出的架构的有用性，因为我们的方法优于以前的国家的最先进的关键字定位，并提供了结果的领先方法的单词识别的球场。
2020-08-17 cs.CV
Combining the Silhouette and Skeleton Data for Gait Recognition
Tianjin University（天津大学）
步态识别作为一种远距离生物特征识别技术，近年来引起了人们的极大兴趣。目前，两种主要的步态识别工作是基于外观和基于模型，分别从轮廓和骨架提取特征。然而，基于外观的方法受衣服变化和携带条件的影响很大，而基于模型的方法受到姿态估计精度的限制。为了解决这一问题，本文提出了一种简单而有效的两分支网络，其中包含一个基于CNN的分支以轮廓作为输入，一个基于GCN的分支以骨架作为输入。此外，为了在基于GCN的分支中更好地表示步态，我们提出了一个全连接图卷积算子来集成多尺度图卷积，并减轻对自然关节连接的依赖。此外，我们部署了一个多维的注意力模块名为STC-Att同时学习空间，时间和通道的注意力。在CASIA-B和OUMVLP上的实验结果表明，该方法在各种条件下都达到了最先进的性能。
2023-03-24 cs.CV
Webly Supervised Multi-Label Recognition: Evaluation Benchmark and Dual-Branch Multi-Label Contrastive Learning
Guangdong University of Technology（广东工业大学）；Sun Yat-Sen University（中山大学）
针对网络监督多标签识别缺乏统一基准等问题，构建了WS-MLR基准并重新实现基线，提出双分支多标签对比学习框架DBMLCL，经实验验证其在该基准上相比基线有更优性能。
2026-07-24 cs.CV
Color-related Local Binary Pattern: A Learned Local Descriptor for Color Image Recognition
Chongqing University of Posts and Telecommunications（重庆邮电大学）
局部二值模式（LBP）作为一种局部特征，在图像识别中表现出简单、易实现和较强的识别能力。虽然一些LBP算法被专门用于彩色图像识别，但这些方法没有充分考虑图像的颜色信息，容易导致分类中的维数灾难。提出了一种基于颜色相关局部二值模式（cLBP）的彩色图像识别方法。本文首先提出了一种描述彩色图像通道间颜色相似性的相对相似性空间（RSS）。然后，解码的LBP，可以挖掘LBP特征映射之间的相关性信息对应的RSS传统的RGB空间的每个颜色通道，用于特征提取。最后，采用一种特征学习策略学习颜色相关的主导模式，以降低特征向量的维数，进一步提高特征的区分度。理论分析表明，与传统的RGB空间相比，该方法能提供更多的判别信息，具有更好的噪声鲁棒性和光照鲁棒性。在4组共12个公共彩色图像数据集上的实验结果表明，该方法在无噪声、噪声和光照变化条件下，在特征维数、识别精度等方面均优于大多数LBP算法。
2020-12-11 cs.CV
Gait Recognition with Mask-based Regularization
The University of Hong Kong（香港大学）；Southern University of Science and Technology（南方科技大学）；Beijing Jiaotong University（北京交通大学）；University of Technology Sydney（悉尼科技大学）
大多数步态识别方法利用静态外观和动态行走模式的时空表示。然而，我们观察到许多基于部分的方法忽略了边界处的表示。另外，在步态识别中，对训练数据的过拟合现象是比较普遍的，这可能是由于数据不足和低信息量的步态轮廓。受这些观察的启发，我们提出了一种新的基于掩码的正则化方法，称为ReverseMask。通过在特征图上注入扰动，所提出的正则化方法有助于卷积架构学习区分性表示并增强泛化能力。此外，我们还设计了一个类似Inception的ReverseMask块，它有三个分支，分别是全局分支、特征删除分支和特征缩放分支。准确地说，当部分激活被清零时，删除分支可以提取细粒度的表示。同时，缩放分支随机缩放特征图，保持激活的结构信息并防止过拟合。即插即用的Inception-like ReverseMask块简单有效地泛化网络，它还提高了许多最先进方法的性能。大量的实验表明，ReverseMask正则化帮助基线实现了更高的准确性和更好的泛化能力。此外，在两个最流行的数据集CASIA-B和OUMVLP上，具有Inception-like Block的基线显著优于最先进的方法。源代码将被释放。
2022-03-08 cs.CV
Big-Little Net: An Efficient Multi-Scale Feature Representation for Visual and Speech Recognition
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在本文中，我们提出了一种新的卷积神经网络（CNN）架构，用于学习多尺度特征表示，在速度和准确性之间具有良好的权衡。这是通过使用多分支网络来实现的，该多分支网络在不同分支处具有不同的计算复杂性。通过频繁地合并不同尺度下分支的特征，我们的模型在使用较少计算的同时获得多尺度特征。所提出的方法证明了对象识别和语音识别任务的模型效率和性能的提高，使用流行的架构，包括ResNet和ResNeXt。对于对象识别，我们的方法将对象识别的计算量减少了33%，同时将准确度提高了0.9%。此外，我们的模型在准确性和FLOPs减少方面远远超过了最先进的CNN加速方法。在语音识别的任务中，我们提出的多尺度CNN节省了30%的FLOP，单词出错率略好，表现出良好的跨域泛化能力。代码可在https://github.com/IBM/BigLittleNet上获得
2019-07-31 cs.CV
Emergence of Painting Ability via Recognition-Driven Evolution
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）；Tianjin Academy of Fine Art（天津美术学院）；Sakana AI
本文提出由笔触与调色板双分支构成、以高层视觉识别准确率驱动优化的类人绘画演化模型，能以极少笔触和颜色生成具审美效果的抽象素描，并可用于优于传统方法的位级图像压缩。
2025-01-09 cs.CV
Dual Branch Network Towards Accurate Printed Mathematical Expression Recognition
Peking University（北京大学）
针对卷积神经网络上下文信息不足导致的印刷体数学表达式识别误差问题，提出基于Transformer的双分支网络，结合上下文耦合模块与动态软目标策略，实现了当前最优的识别性能。
2023-12-14 cs.CV
What Affects Learned Equivariance in Deep Image Recognition Models?
Delft University of Technology（代尔夫特理工大学）；Synerise
本文提出改进的等变性度量方法，发现习得平移等变性与ImageNet验证准确率相关，并证实数据增强、降低模型容量和卷积归纳偏置能提升神经网络中的习得等变性。
2023-04-07 cs.AI cs.CV
Traffic Sign Recognition for Autonomous Driving Using Branched YOLOv2 and Geometric Features
K. N. Toosi University of Technology（K. N. Toosi 科技大学）
针对自动驾驶中的交通标志识别，提出基于分支YOLOv2与几何特征的系统，实现检测分类并降低计算量，实验表明几何验证提升mAP至0.713。
2026-09-21 cs.CV
What have we learned from deep representations for action recognition?
TU Graz（格拉茨工业大学）；York University, Toronto（多伦多约克大学）；University of Oxford（牛津大学）
随着深度模型的成功导致其在计算机视觉的所有领域的部署，了解这些表示如何工作以及它们捕获了什么变得越来越重要。在本文中，我们通过可视化双流模型所学习的内容来揭示深度时空表示，以便识别视频中的动作。我们发现，本地检测器的外观和运动对象出现，形成分布式表示识别人类的行动。主要意见如下。首先，跨流融合能够学习真实的时空特征，而不是简单地分离外观和运动特征。其次，网络可以学习高度类特定的本地表示，也可以学习可以服务于一系列类的通用表示。第三，在整个网络的层次结构中，特征变得更加抽象，并且对数据的某些方面表现出越来越大的不变性，这些方面对所需的区别不重要（例如，不同速度下的运动模式）。第四，可视化不仅可以用来阐明学习的表示，而且还可以揭示训练数据的特性，并解释系统的失败案例。
2018-01-04 cs.CV
EXMOVES: Classifier-based Features for Scalable Action Recognition
Dartmouth College（达特茅斯学院）
本文介绍了EXMOVES，学习基于范例的功能，用于有效识别视频中的动作。我们的描述符中的条目是通过评估输入序列的时空体积上的一组运动分类器来产生的。每个运动分类器都是在低级特征上训练的简单示例SVM，即，使用单个注释的正时空体积和大量未注释的视频学习的SVM。我们的代表提供了两个主要优势。首先，由于我们的中级特征是从单个视频样本中学习的，因此它们需要最少的监督。其次，我们表明，我们的全球视频描述符训练的简单线性分类模型产生的动作识别精度接近最先进的，但在数量级较低的成本，因为在测试时没有滑动窗口是必要的，线性模型是有效的训练和测试。这使得能够进行可扩展的动作识别，即，即使在大型视频数据库中，也可以对大量不同动作进行有效分类。我们通过从两个不同的低级特征表示构建我们的中级描述符来展示我们的方法的通用性。该方法的准确性和效率被证明在几个大规模的动作识别基准。
2014-03-28 cs.CV
MetaWriter: Personalized Handwritten Text Recognition Using Meta-Learned Prompt Tuning
Department of Computer Science and Software Engineering, Concordia University（计算机科学与软件工程系，康科迪亚大学）
提出MetaWriter框架，通过元学习优化的提示调优和自监督辅助任务，实现高效个性化手写识别，仅更新<1%参数，在RIMES和IAM基准上超越现有方法且参数减少20倍。
2025-05-26 cs.CV
Trunk-branch Contrastive Network with Multi-view Deformable Aggregation for Multi-view Action Recognition
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Mechanical Engineering and Automation, Harbin Institute of Technology at Shenzhen（哈尔滨工业大学（深圳）机械工程与自动化学院）
提出主干-分支对比网络TBCNet，通过多视角可变形聚合和加权对比学习融合全局与局部特征，在四个数据集上取得最先进性能。
2025-02-23 cs.CV
PatchVAE: Learning Local Latent Codes for Recognition
University of Maryland, College Park（马里兰大学帕克分校）；Google Research（谷歌研究院）
无监督表示学习有望利用大量未标记的数据来学习一般表示。变分自动编码器（VAE）是无监督学习的一种很有前途的技术。然而，VAE学习的无监督表示在识别方面明显优于监督学习学习的表示。我们的假设是，为了学习有用的识别表示，需要鼓励模型学习数据中重复和一致的模式。从中层表示发现工作中得到启发，我们提出了PatchVAE，在补丁级别上对图像进行推理。我们的主要贡献是一个瓶颈制定，鼓励在VAE框架中的中级风格表示。我们的实验表明，表示学习我们的方法执行更好的识别任务相比，那些学习香草VAE。
2020-04-07 cs.CV cs.LG
Collaborative Spatio-temporal Feature Learning for Video Action Recognition
Hikvision Research Institute（海康威视研究院）
时空特征学习对于视频中的动作识别至关重要。现有的深度神经网络模型要么独立地学习空间和时间特征（C2D），要么与无约束参数联合学习（C3D）。在本文中，我们提出了一种新的神经操作，通过对可学习参数施加权重共享约束来协同编码时空特征。特别是，我们沿着体积视频数据的三个正交视图执行2D卷积，分别学习空间外观和时间运动线索。通过共享不同视图的卷积核，空间和时间特征可以协同学习，从而相互受益。随后通过加权求和来融合互补特征，加权求和的系数是端到端学习的。我们的方法在大规模基准测试中实现了最先进的性能，并在2018年的Moments in Time Challenge中获得了第一名。此外，基于不同视图的学习系数，我们能够量化空间和时间特征的贡献。这一分析揭示了模型的可解释性，也可能指导未来的视频识别算法的设计。
2019-03-04 cs.CV
