Pattern Generation Strategies for Improving Recognition of Handwritten Mathematical Expressions
手写数学表达式的识别是一个具有挑战性的问题，因为二维手写体的模糊性和复杂性。此外，缺乏大的训练数据是一个严重的问题，特别是对于学术识别系统。在本文中，我们提出了模式生成策略，生成形状和结构的变化，以提高识别系统的性能的基础上一个小的训练集。对于数据生成，我们使用公共数据库：CROHME 2014和2016在线HME。第一种策略采用局部和全局变形来产生形状变化。第二种策略将在线HME分解为子在线HME以获得更多的结构变化。混合策略结合了这两种策略，以最大限度地提高形状和结构的变化。所生成的在线HME被转换为用于离线HME识别的图像。我们在一个端到端识别系统中测试了我们的策略，该系统是由最近的深度学习模型构建的：卷积神经网络和基于注意力的编码器-解码器。在CROHME 2014和2016数据库上的实验结果证明了我们的策略的优越性和有效性：我们的混合策略在这些数据库上分别实现了48.78%和45.60%的分类率。这些结果是有竞争力的相比，在最近的文献报道。我们生成的数据集可供研究界公开使用，并为未来的HME识别研究提供了有用的资源。
2019-01-21 cs.CV
Developing efficient transfer learning strategies for robust scene recognition in mobile robotics using pre-trained convolutional neural networks
University of Bayreuth（拜罗伊特大学）
我们提出了四种不同的鲁棒迁移学习和数据增强策略，用于鲁棒的移动场景识别。通过在广泛可用的Event 8，Scene 15，Stanford 40和MIT 67数据集上训练三个移动就绪（EfficientNetB 0，MobileNetV 2，MobileNetV 3）和两个大规模基线（VGG 16，ResNet 50）卷积神经网络架构，我们展示了我们的迁移学习策略的泛化能力。此外，我们测试了我们的迁移学习策略的鲁棒性下的观点和照明变化使用KTH-Idol 2数据库。此外，在不同的迁移学习策略下，推理优化技术的一般性能和鲁棒性的影响进行了评估。实验结果表明，当采用迁移学习时，微调结合广泛的数据增强提高了移动场景识别的整体准确性和鲁棒性。我们使用各种基线卷积神经网络实现了最先进的结果，并在具有挑战性的移动机器人位置识别中显示了对照明和视点变化的鲁棒性。
2021-07-23 cs.CV cs.RO
Exploring Emotion Features and Fusion Strategies for Audio-Video Emotion Recognition
University of Science and Technology of China（中国科学技术大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
基于音视频的情感识别的目的是将给定的视频分类为基本情感。在本文中，我们描述了我们在2019年的方法，主要探讨了音频和视觉模态的情感特征和特征融合策略。对于情感特征，我们使用语音谱图和Log Mel谱图来探索音频特征，并使用不同的CNN模型和不同的情感预训练策略来评估几个面部特征。在融合策略方面，我们探索了模态内和跨模态融合的方法，如设计注意力机制突出重要的情感特征，探索了跨模态特征融合的特征拼接和因子化双线性池（FBP）。经过仔细评估，我们在AFEW验证集上获得了65.5%，在测试集上获得了62.48%，在挑战中排名第三。
2020-12-27 cs.CV
Improved Kidney Stone Recognition Through Attention and Multi-View Feature Fusion Strategies
Tecnologico de Monterrey（蒙特雷科技大学）；Université de Lorraine（洛林大学）；CHRU Nancy（南锡大学医院中心）
本文提出融合内窥镜表面与截面视图的注意力深度学习方法，通过多视图深度特征融合提升肾结石分类，准确率较现有方法最高提升11%。
2022-11-05 cs.AI cs.CV
Training Strategies for Isolated Sign Language Recognition
SberDevices
针对孤立手语识别中的低数据质量与手势速度差异问题，提出融合图像/视频增强、回归头及 IoU 平衡分类损失的训练流程，在 WLASL 和 Slovo 上达到 SOTA。
2025-05-12 cs.CV
Reducing Geographic Performance Differential for Face Recognition
Onfido, UK（Onfido公司，英国）
随着人脸识别算法变得越来越准确，并得到更广泛的部署，确保算法对每个人都同样有效变得越来越重要。我们研究了地理性能差异-不同国家的错误接受率和错误拒绝率的差异-当比较自拍照与身份证件照片时。我们展示了如何使用采样策略来减轻地理性能差异，尽管数据集存在很大的不平衡。使用普通领域自适应策略来微调特定于域的文档自拍数据上的人脸识别CNN，提高了模型在此类数据上的性能，但是，在存在不平衡的训练数据的情况下，也显著增加了人口统计偏差。然后，我们展示了如何通过采用采样策略来平衡训练过程来减轻这种影响。
2020-02-27 cs.CV
Improving Facial Emotion Recognition through Dataset Merging and Balanced Training Strategies
MEF University,Department of Electrical and Electronics Engineering（MEF大学电子与电气工程系）
本文提出基于深度卷积网络的面部情绪识别框架，通过合并三个公开数据集缓解数据不平衡问题，提升模型泛化能力与鲁棒性，实验显示在七种基本情绪识别中达到82%准确率。
2026-04-22 cs.CV
Worst Case Matters for Few-Shot Recognition
Nanjing University（南京大学）
Few-Shot识别学习具有非常少（例如，1或5）图像，并且当前的少样本学习方法集中于提高多个片段上的平均准确度。我们认为，在现实世界中的应用程序，我们可能经常只尝试一集，而不是许多，因此最大限度地提高最坏情况下的准确性比最大限度地提高平均准确性更重要。我们的经验表明，高的平均精度不一定意味着高的最坏情况下的准确性。由于这一目标是无法实现的，我们建议同时减少标准差和增加平均精度。反过来，我们从偏差-方差权衡的角度设计了两种策略来隐式地实现这一目标：一种简单而有效的稳定性正则化（SR）损失与模型集成一起减少微调过程中的方差，以及一种适应性校准机制来减少偏差。在基准数据集上的大量实验证明了所提出的策略的有效性，该策略不仅在平均精度方面而且在最坏情况下的精度方面都优于当前最先进的方法。我们的代码可在https://github.com/heekhero/ACSR上获得。
2022-07-25 cs.AI cs.CV
Towards Fairness in Visual Recognition: Effective Strategies for Bias Mitigation
Princeton University（普林斯顿大学）
计算机视觉模型通过从训练数据捕获相关统计数据来学习执行任务。研究表明，当模型被训练用于看似无关的任务（如活动识别或图像描述）时，会学习到虚假的年龄、性别和种族相关性。已经提出了各种缓解技术来防止模型利用或学习这种偏差。然而，这些技术之间很少有系统的比较。我们设计了一个简单但令人惊讶的有效的视觉识别基准研究偏见缓解。使用这个基准测试，我们提供了一个广泛的技术的全面分析。我们强调了流行的对抗性训练方法在偏见缓解方面的缺点，提出了一种简单但同样有效的替代方法来减少赵等人的推理时间偏差放大方法，并设计一种独立于领域的训练技术，它优于所有其他方法。最后，我们验证了我们在CelebA数据集中的属性分类任务上的发现，其中属性存在与图像中的人的性别相关，并证明所提出的技术在减轻现实世界的性别偏见方面是有效的。
2020-04-02 cs.CV
Leveraging Foundation Model Automatic Data Augmentation Strategies and Skeletal Points for Hands Action Recognition in Industrial Assembly Lines
Faculty of Robot Science and Engineering, Northeastern University（东北大学机器人科学与工程学院）；Foshan Graduate School, Northeastern University（东北大学佛山研究生院）；College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）；The State Key Laboratory of Synthetical Automation for Process Industries, Northeastern University（东北大学流程工业综合自动化国家重点实验室）
针对工业装配线手部动作识别中数据集不足和实时性差的问题，提出利用基础模型自动数据增强扩展数据集，并将动作识别转化为骨骼轨迹分类，在插线场景中准确率达98.8%，已部署于美的实际产线。
2024-03-14 cs.CV
Balanced Masked and Standard Face Recognition
Shenzhen Deepcam Information Technologies（深圳深瞳信息技术公司）；LinkSprite Technologies（联芯通科技公司）
我们提出了改进的网络架构，数据增强，并为ICCV 2021蒙面人脸识别挑战赛的Webface跟踪和Insightface/Glint 360 K跟踪的训练策略。其中一个关键目标是具有掩蔽和标准人脸识别的平衡性能。为了防止面具人脸识别中的过拟合现象，我们将面具人脸总数控制在不超过训练数据集总人脸识别数的10%。我们提出了几个关键的变化，包括一个新的干单元，下降块，人脸检测和对齐使用YOLO 5 Face，功能串联，循环余弦学习率，等的人脸识别网络。有了这个策略，我们实现了良好的和平衡的性能为蒙面和标准的人脸识别。
2021-10-04 cs.AI cs.CV
Capturing Temporal Information in a Single Frame: Channel Sampling Strategies for Action Recognition
我们解决了在2D网络中捕获用于视频分类的时间信息的问题，而不增加其计算成本。现有的方法集中于修改2D网络的架构（例如，通过在时间维度中包括滤波器以将它们变成3D网络，或者使用光流等），这增加了计算成本。相反，我们提出了一种新的采样策略，我们重新排序的输入视频的通道，捕捉短期帧到帧的变化。我们观察到，在没有花里胡哨的情况下，所提出的采样策略提高了多个架构（例如TSN，TRN，TSM和MVFNet）和数据集（CATER，Something-Something-V1和V2）的性能，比使用标准视频输入的基线高出24%。此外，我们的采样策略不需要从头开始训练，也不会增加训练和测试的计算成本。鉴于结果的通用性和方法的灵活性，我们希望这对视频理解社区能够广泛有用。代码可以在我们的网站上找到：https://github.com/kiyoon/channel_sampling.
2022-10-10 cs.CV
Cross-Modal Action Recognition in Egocentric Video Using Mamba: Integrating RGB and Hand Skeleton Streams via CLS Token Fusion Strategies
Univ. of Buenos Aires. Faculty of Exact and Natural Sciences. Dept. of Computer Science (DC)（布宜诺斯艾利斯大学。精确与自然科学学院。计算机科学系）；CONICET-Univ. of Buenos Aires. Institute of Computer Sciences (ICC)（布宜诺斯艾利斯大学CONICET联合体。计算机科学研究所）
提出一种基于Mamba的跨模态架构，通过四种CLS令牌融合策略（朴素、平均、加权和基于上下文）整合RGB视频和手部骨架数据，在H2O数据集上平均策略达到最佳性能，Top-1准确率在Tiny配置下提升超10%。
2026-05-26 cs.CV
Curriculum-Based Strategies for Efficient Cross-Domain Action Recognition
Carnegie Mellon University（卡内基梅隆大学）
本文提出基于课程学习的跨领域动作识别方法，通过合成和真实数据结合提升模型泛化能力，显著减少训练迭代次数。
2026-01-20 cs.CV
Revisiting 3D ResNets for Video Recognition
Google Research（谷歌研究院）
Bello最近的一项工作表明，训练和缩放策略可能比视觉识别的模型架构更重要。这篇短文研究了视频识别模型的有效训练和缩放策略。我们提出了一个简单的3D ResNets扩展策略，结合改进的训练策略和较小的架构变化。由此产生的模型，称为3D ResNet-RS，在没有预先训练的情况下，在Kinetics-400和Kinetics-600上分别达到81.0和83.8的竞争性能。当在大型Web视频文本数据集上进行预训练时，我们的最佳模型在Kinetics-400和Kinetics-600上分别达到83.5和84.3。所提出的缩放规则进一步评估在一个自我监督设置使用对比学习，表现出改善的性能。代码可在：https://github.com/tensorflow/models/tree/master/official.
2021-09-03 cs.CV cs.LG eess.IV
PP-ShiTu: A Practical Lightweight Image Recognition System
Baidu Inc.（百度公司）
近年来，图像识别应用发展迅速。在人脸识别、行人和车辆的重新识别、地标检索、产品识别等不同的领域出现了大量的研究和技术。本文提出了一个实用的轻量级图像识别系统PP-ShiTu，该系统由主体检测、特征提取和矢量搜索三个模块组成。我们引入流行的策略，包括度量学习，深度哈希，知识蒸馏和模型量化，以提高准确性和推理速度。通过上述策略，PP-ShiTu在不同的场景中使用一组在混合数据集上训练的模型工作得很好。在不同的数据集和基准测试上的实验表明，该系统在图像识别的不同领域具有广泛的有效性。上述所有模型都是开源的，代码可以在PaddlePaddle上的GitHub存储库PaddleClas中找到。
2022-01-21 cs.CV
Deep Models for Multi-View 3D Object Recognition: A Review
本文综述多视图3D目标识别的深度模型，系统梳理基于深度学习与Transformer的分类、检索方法、数据集、视图配置、融合策略及应用，并指出关键发现与未来方向。
2024-04-23 cs.AI cs.CV cs.LG
Decoupling Representation and Classifier for Long-Tailed Recognition
Facebook AI（脸书人工智能研究院）；National University of Singapore（新加坡国立大学）
视觉世界的长尾分布对基于深度学习的分类模型如何处理类不平衡问题提出了巨大挑战。现有的解决方案通常涉及类平衡策略，例如，通过损失重加权、数据重采样或从头类到尾类的迁移学习，但是它们中的大多数坚持联合学习表示和分类器的方案。在这项工作中，我们将学习过程解耦为表示学习和分类，并系统地探讨了不同的平衡策略如何影响它们的长尾识别。调查结果令人惊讶：（1）数据不平衡可能不是学习高质量表示的问题;（2）使用最简单的实例平衡（自然）采样学习的表示，也可以通过仅调整分类器来实现强大的长尾识别能力。我们进行了广泛的实验，并在ImageNet-LT，Places-LT和iNaturalist等常见长尾基准上设置了新的最先进的性能，表明通过使用简化表示和分类的直接方法，可以超越精心设计的损失，采样策略，甚至是具有内存的复杂模块。我们的代码可在www.example.com上获得。
2020-02-19 cs.CV
A Comprehensive Comparison of End-to-End Approaches for Handwritten Digit String Recognition
Pontifical Catholic University of Parana (PUCPR)（巴拉那天主教大学）；ORAND S.A（奥兰德股份有限公司）；École de Technologie Supérieure (ÉTS)（高等技术学院）；Federal University of Parana (UFPR)（巴拉那联邦大学）
在过去的几十年里，大多数方法提出的手写数字串识别（HDSR）都诉诸数字分割，这是占主导地位的统计，从而施加实质性的限制，最终的性能。其中很少有基于无分割的策略，其中每个像素列都有一个潜在的切割位置。最近，无分割策略为这个问题增加了另一个视角，带来了有希望的结果。然而，这些策略在处理大量触摸数字时仍然显示出一定的局限性。为了弥合由此产生的差距，在本文中，我们假设一串数字可以作为一个序列的对象。因此，我们评估了不同的端到端方法来解决HDSR问题，特别是在两个垂直领域：基于对象检测的方法（例如，Yolo和RetinaNet）和基于序列到序列表示（CRNN）的那些。这项工作的主要贡献在于它提供了一个全面的比较，与上述战略的批判性分析，对五个基准通常用于评估HDSR，包括具有挑战性的触摸对数据集，NIST SD 19，和两个现实世界的数据集（CAR和CVL）提出的ICFHR 2014竞争HDSR。我们的研究结果表明，Yolo模型与无分割模型相比，具有更短的管道，最大限度地减少了基于几何模型的存在的优势。它在NIST-SD 19、CAR和CVL数据集上分别实现了97%、96%和84%的识别率。
2020-10-29 cs.CV
MSConv: Multiplicative and Subtractive Convolution for Face Recognition
School of Intelligent Systems Science and Engineering, Jinan University（暨南大学智能系统科学与工程学院）；University of Macau（澳门大学）；Macau Polytechnic University（澳门理工大学）
本文提出 MSConv 卷积模块，通过多尺度混合卷积结合乘法与减法运算，同时提取显著特征和差分特征，以平衡特征学习并提升人脸识别性能。
2025-03-08 cs.AI cs.CV
Memory Integrity of CNNs for Cross-Dataset Facial Expression Recognition
École de Technologie Supérieure, University of Québec（魁北克大学高等技术学院）；Pontifical Catholic University of Paraná（巴拉那天主教大学）
人脸表情识别是人工智能领域的一个重要课题。解决这个问题的最佳方法之一是使用卷积神经网络（CNN）。然而，需要大量的数据来适当地训练这些网络，但是大多数可用于面部表情识别的数据集相对较小。避免数据缺乏的一种常见方法是使用在不同领域的大型数据集上训练的CNN，并将此类网络的层微调到目标领域。然而，微调过程并不能保持记忆的完整性，因为CNN往往会忘记它们所学习的模式。在本文中，我们评估了微调CNN的不同策略，目的是评估这些策略在跨数据集场景中的内存完整性。使用在源数据集上预训练的CNN作为基线，并评估了四种适应策略：微调其全连接层;微调其最后一个卷积层及其全连接层;在目标数据集上重新训练CNN;以及源和目标数据集的融合和重新训练CNN。四个数据集上的实验结果表明，源和目标数据集的融合提供了准确性和内存完整性之间的最佳权衡。
2019-05-28 cs.CV
Towards Adaptive Fusion of Multimodal Deep Networks for Human Action Recognition
Departemen Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya（计算机科学系，信息学院，布拉格亚大学）
本文提出了一种基于多模态深度网络的自适应融合方法，通过门控机制提升人类动作识别的准确性和鲁棒性。
2025-12-04 cs.CV
Deep Insights of Learning based Micro Expression Recognition: A Perspective on Promises, Challenges and Research Needs
University of Miami（迈阿密大学）；Indian Institute of Technology Ropar（印度理工学院罗巴尔分校）；Malaviya National Institute of Technology（马拉维亚国家理工学院）
微表情识别（MER）是一个非常具有挑战性的研究领域，由于其内在的性质和细粒度的变化。在文献中，MER的问题已经通过手工制作/基于半导体的技术解决。然而，最近，已经采用基于深度学习（DL）的技术来获得MER的更高性能。此外，通过总结数据集，实验设置，传统和深度学习方法，可以获得关于MER的丰富调查文章。相比之下，这些研究缺乏能力来传达网络设计范式和实验设置策略的DL为基础的MER的影响。因此，本文的目的是提供一个深入的了解基于DL的MER框架的前景，在网络模型设计，实验策略，挑战和研究需求。此外，从模型设计和技术特征的各个方面对现有MER框架进行了详细分类。此外，MER方法所采用的实验和验证协议的实证分析。前面提到的挑战和网络设计策略可能有助于情感计算研究社区在MER研究中取得进展。最后，指出了未来的研究方向和需要，并得出了结论。
2022-10-10 cs.CV
Rethinking Prompting Strategies for Multi-Label Recognition with Partial Annotations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对带部分标注的多标签识别，研究发现VLM提示学习中负向提示会降低性能，仅学正向提示结合学习型负向嵌入的PositiveCoOp优于双提示方法，且低缺失标签比例下纯视觉基线性能可比双提示法，计算和参数成本更低。
2024-09-12 cs.AI cs.CL cs.CV
Susceptibility to Image Resolution in Face Recognition and Trainings Strategies
Technical University（工业大学）
人脸识别方法通常依赖于相等的图像分辨率来验证两张图像上的人脸。然而，在实际应用中，由于不同的图像捕获机制或来源，这些图像分辨率通常不在同一范围内。在这项工作中，我们首先分析了图像分辨率对人脸验证性能的影响与国家的最先进的人脸识别模型。对于综合降低到$5\,\times\,5$ px分辨率的图像，验证性能从$99.23\%$逐渐下降到几乎$55\%$。特别是对于交叉分辨率图像对（一个高分辨率图像和一个低分辨率图像），验证精度甚至进一步降低。我们通过查看每个2图像测试对的特征距离来更深入地研究这种行为。为了解决这个问题，我们提出了以下两种方法：1）训练一个国家的最先进的人脸识别模型直接与$50\%$低分辨率图像直接在每一批。2)训练连体网络结构，并在高分辨率和低分辨率特征之间添加余弦距离特征损失。这两种方法都显示出对交叉分辨率场景的改进，并且可以在非常低的分辨率下将精度提高到大约$70\%$。然而，缺点是需要为每个分辨率对训练特定的模型。因此，我们通过一次用多个图像分辨率训练它们来扩展上述方法。特定测试图像分辨率的性能稍差，但优点是该模型可应用于任意分辨率图像，并实现总体更好的性能（$97.72\%$与$96.86\%$相比）。由于缺乏交叉分辨率和等分辨率任务的任意分辨率图像的基准，我们提出了一个针对五个知名数据集的评估协议，重点是高，中，低分辨率图像。
2022-11-25 cs.CV cs.LG
Benchmarking Robustness of 3D Point Cloud Recognition Against Common Corruptions
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；NVIDIA（英伟达）；ASU（亚利桑那州立大学（ASU））
基于3D点云数据的深度神经网络在现实世界中得到了广泛的应用，尤其是在安全关键型应用中。然而，他们对腐败的鲁棒性研究较少。在本文中，我们提出了ModelNet 40-C，这是第一个全面的3D点云腐败鲁棒性基准测试，包括15个常见和现实的腐败。我们的评估显示，ModelNet 40和ModelNet 40-C的最先进（SOTA）模型的性能之间存在显着差距。为了减少差距，我们提出了一个简单而有效的方法，通过结合PointCutMix-R和TENT评估了广泛的增强和测试时自适应策略。我们确定了一些关键的见解，为未来的研究腐败的鲁棒性点云识别。例如，我们揭示了具有适当训练配方的基于transformer的架构实现了最强的鲁棒性。我们希望我们的深入分析将推动在3D点云领域开发强大的训练策略或架构设计。我们的代码库和数据集包含在https://github.com/jiachens/ModelNet40-C中
2022-01-28 cs.AI cs.CV cs.LG
SMART Frame Selection for Action Recognition
University of Edinburgh（爱丁堡大学）；Facebook AI Research（Facebook人工智能研究院）
动作识别在计算上是昂贵的。在本文中，我们解决的问题，帧的选择，以提高动作识别的准确性。特别是，我们表明，选择良好的帧有助于动作识别性能，即使在修剪视频域。最近的工作已经成功地利用帧选择长，未经修剪的视频，其中大部分内容是不相关的，很容易丢弃。然而，在这项工作中，我们专注于更标准的短，修剪动作识别问题。我们认为，良好的帧选择，不仅可以减少动作识别的计算成本，但也提高了准确性，摆脱帧是难以分类。与之前的工作相反，我们提出了一种方法，该方法不是通过一次考虑一个帧来选择帧，而是联合考虑它们。这导致更有效的选择，其中好的帧更有效地分布在视频上，就像讲述故事的快照一样。我们将所提出的帧选择称为SMART，并结合不同的骨干架构和多个基准测试（Kinetics，Something-something，UCF 101）对其进行测试。我们表明，SMART帧选择一致地提高了准确性相比，其他帧选择策略，同时减少了4至10倍的计算成本。此外，我们还表明，当主要目标是识别性能时，我们的选择策略可以在各种基准测试（UCF 101，HMDB 51，FCVID和ActivityNet）上改进最新的最先进模型和帧选择策略。
2020-12-19 cs.CV
Deep Image: Scaling up Image Recognition
我们提出了一个最先进的图像识别系统，深度图像，使用端到端的深度学习开发。关键组件是一台专门用于深度学习的定制超级计算机，一种高度优化的并行算法，使用新的数据分区和通信策略，更大的深度神经网络模型，新颖的数据增强方法，以及多尺度高分辨率图像的使用。我们的方法在多个具有挑战性的计算机视觉基准测试中取得了优异的结果。
2015-07-06 cs.CV
Effects of model architecture and learning strategies on deep learning-based recognition of activated sludge microscopic images and comparison with quantitative image analysis
The University of Tokyo（东京大学）；Environmental Science Center, The University of Tokyo（东京大学环境科学中心）；Collaborative Research Institute for Innovative Microbiology, The University of Tokyo（东京大学创新微生物学协同研究所）
本研究比较了不同模型架构与学习策略在活性污泥显微图像分类中的表现，发现Transformer与替代预训练有效，保持视野的降采样更优，且深度学习准确率优于定量图像分析。
2026-09-09 cs.CV
CORe50: a New Dataset and Benchmark for Continuous Object Recognition
Alma Mater Studiorum - University of Bologna（博洛尼亚大学）
高维数据流的连续/终身学习是一个具有挑战性的研究问题。事实上，由于计算和存储问题，每次新数据可用时完全重新训练模型是不可行的，而天真的增量策略已被证明会遭受灾难性遗忘。在现实世界对象识别应用的上下文中（例如，机器人视觉），其中持续学习是至关重要的，很少有数据集和基准可用于评估和比较新兴技术。在这项工作中，我们提出了一个新的数据集和基准CORe 50，专门为连续对象识别设计，并为不同的连续学习场景引入了基线方法。
2017-05-09 cs.AI cs.CV cs.LG
Towards Privacy-Preserving Visual Recognition via Adversarial Training: A Pilot Study
Texas A&M University（得克萨斯农工大学）；Adobe Research（奥多比研究院）
本文旨在通过制定一个独特的对抗性训练框架来改善隐私保护视觉识别，这是智能相机应用中越来越需要的功能。所提出的框架显式地学习原始视频输入的降级变换，以优化目标任务性能和降级视频上的相关隐私预算之间的权衡。一个值得注意的挑战是，通常在任务驱动的上下文中定义和测量的隐私预算无法使用任何单一模型性能可靠地表示，因为对隐私的强有力保护必须针对任何试图破解隐私信息的可能模型。这种不寻常的情况促使我们提出两种策略，即，预算模型重新启动和集成，以增强学习到的关于保护隐私免受看不见的黑客模型攻击的退化的泛化。新的培训策略，评估协议，并相应地设计了结果可视化方法。两个实验的隐私保护行动识别，以各种方式定义的隐私预算，体现了令人信服的有效性，同时保持高目标任务（行动识别）的性能，同时抑制隐私泄露的风险。
2020-10-22 cs.CV
Revisiting Human Action Recognition: Personalization vs. Generalization
Istituto Italiano di Tecnologia（意大利技术研究院）；Università degli Studi di Genova（热那亚大学）；Università di Verona（维罗纳大学）
通过对经典的人类行为识别范式的深入研究，本文旨在为有效的行为分类系统的设计提出一种新的方法。以公开可用的三维（MoCap）动作/活动数据集作为测试平台，我们分析和验证了不同的训练/测试策略。特别是，考虑到数据集中的每个人类动作都是由不同的主体执行多次的，我们能够精确地量化主体间和主体内变异性的影响，从而找出几种学习方法对分类性能的影响。最终的结果是，标准测试策略包括使用典型的数据分割（holdout，k倍，或一个主题）交叉验证算法总是优于“个性化”策略，该策略学习主题如何执行动作。换句话说，定制（即，个性化）的方法来学习每个主体执行的动作，而不是试图概括跨主体的动作执行。因此，我们最后提出了一个行动识别框架，包括一个两阶段的分类方法，给定一个测试行动，首先确定的主题之前，实际识别的行动发生。尽管采用了基本的现成描述符和标准分类器，但我们注意到相对于标准的最先进算法，性能有了相关的提高，因此激发了使用个性化方法来设计有效的动作识别系统。
2016-05-02 cs.CV
A Simple Long-Tailed Recognition Baseline via Vision-Language Model
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
视觉世界自然地呈现出开放类的长尾分布，这对现代视觉系统提出了巨大的挑战。现有的方法要么执行类重新平衡策略，或直接改善网络模块来解决这个问题。然而，他们仍然训练模型与一组有限的预定义的标签，限制他们的监督信息和限制他们的可移植性，以新的实例。大规模对比视觉语言预训练的最新进展为视觉识别提供了一条新的途径。通过开放词汇监督，预训练的对比视觉语言模型学习强大的多模态表示，有望处理数据不足和不可见的概念。通过计算视觉和文本输入之间的语义相似度，视觉识别转换为视觉语言匹配问题。受此启发，我们建议BALLAD利用对比视觉语言模型进行长尾识别。我们首先通过特定长尾目标数据集上的对比学习继续预训练视觉语言主干。之后，我们冻结主干，并进一步采用额外的适配器层，以增强尾类在使用重采样策略构建的平衡训练样本上的表示。广泛的实验已经进行了三个流行的长尾识别基准。因此，我们简单而有效的方法设置了新的最先进的性能，并以较大的利润率超过竞争对手的基线。代码发布于https://github.com/gaopengcuhk/BALLAD。
2021-11-29 cs.CV
Joint Low-level and High-level Textual Representation Learning with Multiple Masking Strategies
Wenzhou University Artificial Intelligence and Advanced Manufacturing Institute (AIAMI)（温州大学人工智能与先进制造研究院）；Graduate School of Engineering, Tohoku University（东京东京大学工学研究科）
针对合成与真实文本图像的域差距，本文提出融合随机块、分块和跨度掩码的 MMS 框架，联合学习低层纹理与高层上下文表示，并在多项文本任务上超越现有自监督方法。
2025-05-11 cs.CV
Are Adaptive Face Recognition Systems still Necessary? Experiments on the APE Dataset
University of Cagliari（卡利亚里大学）；Universidad Autonoma de Madrid（马德里自治大学）
在过去的五年里，深度学习方法，特别是CNN，在人脸识别领域引起了相当大的关注，取得了令人印象深刻的成果。尽管取得了这一进展，但目前还不清楚深层特征能够在多大程度上跟踪人脸随时间推移所呈现的所有类内变化。本文研究了人脸模板自更新策略对人脸识别系统性能的改善。为此，我们评估了一种著名的深度学习人脸表示（即FaceNet）在一个数据集上的性能，该数据集是我们生成的，旨在将用户的类内变化嵌入到大时间跨度的捕获中：APhotoEveryday（APE）数据集。此外，我们将这些深层特征与使用BSIF算法提取的手工特征进行比较。在这两种情况下，我们评估各种模板更新策略，以检测最有用的这种功能。实验结果表明，“优化”的自更新方法的有效性，相对于系统没有更新或随机选择的模板。
2020-10-17 cs.CV
Two-Stream Multi-Task Network for Fashion Recognition
Beihang University（北京航空航天大学）；Inception Institute of Artificial Intelligence（Inception人工智能研究院）；Guangdong University of Petrochemical Technology（广东石油化工学院）
在本文中，我们提出了一个双流多任务网络的时尚识别。这项任务具有挑战性，因为时尚服装总是包含多个属性，需要同时预测实时工业系统。为了应对这些挑战，我们将时尚识别制定为多任务学习问题，包括地标检测，类别和属性分类，并使用建议的深度卷积神经网络解决它。我们设计了两个知识共享策略，使任务之间的信息传递，提高整体性能。与现有方法相比，该模型在大规模服装数据集上取得了最佳效果，证明了其在服装识别中的有效性和优越性。
2019-05-12 cs.CV
Spatiotemporal Fusion in 3D CNNs: A Probabilistic View
Microsoft Research Asia（微软亚洲研究院）；University of Science and Technology of China（中国科学技术大学）
尽管在静态图像识别方面取得了成功，但用于时空信号任务（例如视频中的人类动作识别）的深度神经网络在过去几年中仍然存在低效率和低效率。最近，人类专家投入了更多的精力来分析3D卷积神经网络（3D CNN）中不同组件的重要性，以设计更强大的时空学习骨干。其中，时空融合是其中的一个关键。它控制在推理过程中如何在每一层提取空间和时间信号。以前的尝试通常从ad-hoc设计开始，这些设计经验性地结合某些卷积，然后根据训练相应网络获得的性能得出结论。这些方法只支持对有限数量的融合策略进行网络级分析。在本文中，我们建议将时空融合策略转换成一个概率空间，这使我们能够执行网络级的各种融合策略的评估，而不必单独进行训练。此外，我们还可以获得细粒度的数值信息，如层级偏好的时空融合的概率空间内。我们的方法大大提高了时空融合分析的效率。基于概率空间，我们进一步生成新的融合策略，在四个著名的动作识别数据集上实现了最先进的性能。
2020-04-10 cs.CV
Scaling Human Activity Recognition: A Comparative Evaluation of Synthetic Data Generation and Augmentation Techniques
Georgia Institute of Technology（佐治亚理工学院）
针对人体活动识别标注数据稀缺的问题，对比基于视频、基于语言的虚拟IMU生成方法与传统数据增强技术，验证了虚拟IMU数据的性能优势并给出选型指导。
2025-06-13 cs.CV
Limitations in Employing Natural Language Supervision for Sensor-Based Human Activity Recognition -- And Ways to Overcome Them
Georgia Institute of Technology（佐治亚理工学院）；Optum AI
本文研究了自然语言监督在基于可穿戴传感器的人类活动识别（HAR）中表现不佳的原因，即传感器异构性和文本描述匮乏，并提出有效策略显著提升识别性能，为HAR基础模型的发展奠定基础。
2024-08-21 cs.CL cs.CV cs.LG
Optimizing Key-Selection for Face-based One-Time Biometrics via Morphing
Hochschule Darmstadt（达姆施塔特应用科学大学）；Universidad Autonoma de Madrid（马德里自治大学）
针对人脸识别易受对抗性攻击且隐私增强方案忽视该威胁的问题，提出多种信号层密钥选择策略，增强可取消生物特征方案安全性，并将实用阈值下攻击成功率降至约5.0%。
2023-10-04 cs.CV
Deep Attentional Structured Representation Learning for Visual Recognition
EPFL（洛桑联邦理工学院）
结构化表示，如Bags of Words，VLAD和Fisher Vectors，已被证明在处理复杂的视觉识别任务方面非常有效。因此，它们最近已被纳入深度架构中。然而，虽然有效，但由此产生的深度结构化表示学习策略通常会从整个图像中聚合局部特征，忽略了这样一个事实，即在复杂的识别任务中，某些区域提供比其他区域更多的区分信息。在本文中，我们引入了一个注意结构化的表示学习框架，它在聚合过程中引入了图像特定的注意力机制。我们的框架学习以端到端的方式联合预测图像类标签和注意力地图，并且除了目标标签之外没有任何其他监督。正如我们的实验所证明的那样，这始终优于注意力较少的结构化表示学习，并在标准场景识别和细粒度分类基准上产生最先进的结果。
2018-05-14 cs.CV
Robustness of Humans and Machines on Object Recognition with Extreme Image Transformations
Northeastern University（东北大学）
最近的神经网络架构声称可以解释来自人类视觉皮层的数据。然而，他们的表现仍然是有限的依赖于利用低层次的功能来解决视觉任务。这种策略限制了它们在分布外/对抗性数据的情况下的性能。与此同时，人类学习抽象概念，即使是极端的图像扭曲也不会影响人类。人类和网络使用截然不同的策略来解决视觉任务。为了探索这一点，我们引入了一组新的图像变换，并在对象识别任务中评估人类和网络。我们发现，一些常见网络的性能迅速下降，而人类能够以高精度识别物体。
2022-05-27 cs.AI cs.CV cs.LG
Recognition of Handwritten Chinese Text by Segmentation: A Segment-annotation-free Approach
South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）；Huawei Cloud Computing Technologies Company, Ltd.（华为云计算技术有限公司）
在线和离线手写中文文本识别（HTCR）已经研究了几十年。早期的方法采用基于过分割的策略，但速度慢，准确性不足，字符分割注释成本高。近年来，基于连接主义时间分类（CTC）和注意力机制的无分割方法在HCTR领域占据主导地位。然而，人们实际上是一个字一个字地阅读文本，特别是对于汉字这样的表意文字。这就提出了一个问题：无分割策略真的是HCTR的最佳解决方案吗？为了探索这个问题，我们提出了一种新的基于分割的方法来识别手写中文文本，该方法使用简单而高效的全卷积网络来实现。提出了一种新的弱监督学习方法，使网络仅使用成绩单注释进行训练，从而可以避免以前基于分割的方法所需的昂贵的字符分割注释。由于全卷积网络缺乏上下文建模，我们提出了一种上下文正则化方法，在训练阶段将上下文信息集成到网络中，这可以进一步提高识别性能。在四个广泛使用的基准测试，即CASIA-HWDB，CASIA-OLHWDB，ICDAR 2013和SCUT-HCCDoc上进行的大量实验表明，我们的方法在在线和离线HCTR上都显着优于现有方法，并且比CTC/基于注意力的方法具有更高的推理速度。
2022-07-29 cs.CV
A Developmental Neuro-Robotics Approach for Boosting the Recognition of Handwritten Digits
发展心理学和神经成像研究发现，数字和手指之间存在密切联系，这可以提高儿童最初的数字知识。最近的证据表明，模拟儿童的具身策略也可以提高机器智能。本文探讨了在发育神经机器人的背景下，具体策略在卷积神经网络模型中的应用，其中训练信息可能在操作时逐渐获得，而不是像经典的机器学习场景那样丰富和完全可用。实验分析表明，在训练样本和训练次数较少的情况下，机器人手指的本体感觉信息可以提高手写体阿拉伯数字识别的网络准确率。这一结果与儿童的脑成像和纵向研究相当。总之，这些发现也支持在人工智能体训练的情况下实施例的相关性，并且示出了用于学习过程的人性化的可能方式，其中机器人身体可以表达人工智能的内部过程，使其更容易被人类理解。
2020-03-23 cs.CV cs.LG cs.RO
Rethinking the Role of Feature Engineering and Learning Strategies in Few-Shot Hidden Emotion Recognition
Hefei University of Technology（合肥工业大学）；University College London（伦敦大学学院）；The University of Sydney（悉尼大学）；Beijing QBoson Quantum Technology Co., Ltd.（北京量子芯光科技有限公司）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Beihang University（北京航空航天大学）；The University of New South Wales（新南威尔士大学）；United Arab Emirates University（阿拉伯联合酋长国大学）
提出跨注意力机制与多实例学习框架，利用多源特征（2D/3D骨架、面部Blendshapes、DINOv2/v3、X-CLIP、Gemini）解决长视频中弱稀疏隐式情感识别，在IJCAI挑战赛Track 3中获第一名。
2026-07-01 cs.CV
Segmentation-Free Approaches for Handwritten Numeral String Recognition
Federal University of Parana（巴拉那联邦大学）；Pontifical Catholic University of Parana（巴拉那天主教大学）；Ecole de Technologie Superieure（高等技术学院）
本文提出了一种识别未知长度手写数字串的免分割策略。建立了2位、3位和4位数字串的合成数据集，用于训练基于卷积神经网络的端到端解决方案。一个强大的实验协议被用来表明，所提出的无分割方法可以达到最先进的性能，而不会遭受过分割的方法的沉重负担。此外，他们还确认了在端到端解决方案的设计中引入上下文信息的重要性，例如在识别数字字符串时提出的长度分类器。
2018-04-28 cs.CV
A Comparison of Human and Machine Learning Errors in Face Recognition
Northeastern University（东北大学）；EAI
为理解人机智能互补性以优化高风险场景应用，通过人口统计学平衡的用户研究比较两个自动化人脸识别系统与人类标注员的错误，揭示二者错误差异并提出提升识别准确性的人机协作策略。
2025-02-17 cs.CV cs.CY cs.HC
Dominant Set Clustering and Pooling for Multi-View 3D Object Recognition
McGill University（麦吉尔大学）；Ca’ Foscari University of Venice（威尼斯大学）
基于视图的3D对象识别策略已被证明是非常成功的。最先进的方法现在可以在外观图像上实现超过90%的正确类别级别识别性能。我们通过引入基于主导集的视图聚类和池化层来改进这些方法。其关键思想是从相似的视图中汇集信息，从而属于同一个集群。然后，以循环的方式将池化的特征向量作为输入馈送到同一层。当插入到现成的预训练CNN中时，这种循环聚类和池化模块可以提高多视图3D对象识别的性能，在ModelNet 40数据库上实现93.8%的最新测试集识别准确率。我们还为我们的聚类池CNN探索了一种快速近似学习策略，该策略在牺牲端到端学习的同时，大大提高了其训练效率，识别准确率仅略微降低至93.3%。我们的实现可以在https://github.com/fate3439/dscnn上获得。
2019-06-04 cs.CV
Deep Neural Networks for Pattern Recognition
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
在模式识别研究领域，使用基于改进的计算硬件的深度神经网络的方法最近受到关注，因为与传统方法相比，其具有更高的精度。深度神经网络模拟人类视觉系统，在图像分类、目标检测和分割方面达到与人类相当的精度。本章介绍模拟人类神经网络的深度神经网络的基本结构。然后，我们确定的操作过程和应用的条件生成对抗网络，这是正在积极研究的基础上自下而上和自上而下的机制，人类视觉感知过程中最重要的功能。最后，讨论了复杂深度神经网络有效学习的训练策略的最新发展。
2018-09-25 cs.CV cs.LG
VoxCeleb2: Deep Speaker Recognition
University of Oxford（牛津大学）
本文的目的是在噪声和无约束条件下的说话人识别。我们做出了两个重要贡献。首先，我们介绍了一个非常大规模的视听说话人识别数据集收集的开源媒体。使用全自动管道，我们策划了VoxCeleb2，其中包含来自6，000多名发言者的超过100万条话语。这是任何公开可用的说话人识别数据集的几倍。其次，我们开发和比较卷积神经网络（CNN）模型和训练策略，可以有效地识别身份的声音在各种条件下。在VoxCeleb2数据集上训练的模型大大超过了以前在基准数据集上的工作。
2018-06-27 cs.CV cs.SD eess.AS
Evaluation of Self-taught Learning-based Representations for Facial Emotion Recognition
Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那天主教大学（PUCPR））；State University of Ponta Grossa (UEPG)（蓬塔格罗萨州立大学（UEPG））；École de Technologie Supérieure (ÉTS), Université du Québec（魁北克大学高等技术学院（ÉTS））
这项工作描述了不同的策略，以产生无监督的表示通过自学的概念获得面部情绪识别（FER）。其思想是通过改变自动编码器的初始化、架构和训练数据来创建互补表示，从而促进多样性。SVM，Bagging，随机森林，和动态集成选择方法作为最终的分类方法进行评估。Jaffe和Cohn-Kanade数据集上使用leave-one-subject-out协议的实验结果表明，基于所提出的多样化表示的FER方法与探索无监督特征学习的最先进方法相比毫不逊色。
2022-04-26 cs.CV cs.LG
Spatial-temporal Fusion Convolutional Neural Network for Simulated Driving Behavior Recognition
Southeast University（东南大学）
异常驾驶行为是导致严重交通事故的主要原因之一，危及人类生命。因此，对驾驶行为监控的研究已成为交通安全和公共管理的重要内容。在本文中，我们进行这项有前途的研究，并采用两个流的CNN框架，基于视频的驾驶行为识别，其中空间流CNN捕获的外观信息从静止帧，而时间流CNN捕获运动信息与预先计算的光流位移之间的几个相邻的视频帧。我们研究不同的时空融合策略，结合帧内静态线索和帧间动态线索的最终行为识别。为了验证所设计的基于时空深度学习的模型的有效性，我们创建了一个模拟驾驶行为数据集，包含1237个视频，具有6种不同的驾驶行为进行识别。实验结果表明，我们提出的方法相比现有的方法获得了显着的性能改善。
2018-12-03 cs.CV cs.LG
A cross-modal fusion network based on self-attention and residual structure for multimodal emotion recognition
Beijing University of Posts and Telecommunications（北京邮电大学）；East China Normal University（华东师范大学）；Shanghai University of International Business and Economics（上海对外经贸大学）
基于音视频的多模态情感识别因其鲁棒性而受到广泛关注。现有的方法大多集中在提出不同的跨模态融合策略。然而，这些策略引入冗余的不同模态的功能，没有充分考虑模态信息之间的互补性，这些方法不能保证在内部和模态间的交互过程中的原始语义信息的不丢失。本文提出了一种新的基于自注意和残差结构的跨模态融合网络（CFN-SR）用于多模态情感识别。首先，我们执行表示学习的音频和视频模态，以获得这两个模态的语义特征的高效ResNeXt和一维CNN，分别。其次，通过自注意力机制和残差结构，将两种模态的特征分别输入到跨模态块中，以保证信息的有效互补和完整性。最后，我们得到的融合表示与原始表示拼接的情感输出。为了验证所提出的方法的有效性，我们进行了RAVDESS数据集上的实验。实验结果表明，CFN-SR达到了最先进的水平，获得75.76%的准确率与26.30 M的参数。我们的代码可在https://github.com/skeletonNN/CFN-SR上获得。
2021-11-03 cs.CL cs.CV cs.MM
