Meta-Reinforced Synthetic Data for One-Shot Fine-Grained Visual Recognition
Indiana University(印第安纳大学);Fudan University(复旦大学)
单次细粒度视觉识别经常遇到新的细粒度类的训练数据不足的问题。为了缓解这个问题,可以应用现成的图像生成器来合成额外的训练图像,但是这些合成的图像通常无助于实际提高单次细粒度识别的准确性。本文提出了一个元学习框架,将生成的图像与原始图像相结合,从而得到的“混合”训练图像可以改善一次性学习。具体而言,通用的图像生成器更新的几个新的类的训练实例,并提出了一个Meta图像增强网络(MetaIRNet)进行单次细粒度识别以及图像增强。该模型以端到端的方式进行训练,我们的实验表明,在单次细粒度图像分类基准测试中,与基线相比,该模型具有一致的改进。
2019-11-17 cs.CV
Joint Learning On The Hierarchy Representation for Fine-Grained Human Action Recognition
Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
细粒度人体动作识别是计算机视觉的核心研究课题。受FineGym和SlowFast网络中最近提出的用于动作识别的细粒度动作的层次表示的启发,我们提出了一种新的多任务网络,该网络利用FineGym层次表示来实现有效的联合学习和预测,用于细粒度的人类动作识别。多任务网络由三个路径的SlowOnly网络组成,其中事件、集合和细粒度动作元素的帧速率逐渐增加,然后是我们提出的用于联合学习和预测的集成层。它是一种两阶段的方法,首先在每个层次上学习深度特征表示,然后进行特征编码和融合以进行多任务学习。我们在FineGym数据集上的经验结果实现了最新的性能,元素操作的Top-1准确率为91.80%,平均准确率为88.46%,比之前的最佳结果高出3.40%和7.26%。
2021-10-12 cs.CV
SF-Net: Structured Feature Network for Continuous Sign Language Recognition
Tencent(腾讯);Hong Kong University of Science and Technology(香港科技大学)
连续手语识别(SLR)旨在将手语序列翻译成句子。这是非常具有挑战性的,因为手语词汇丰富,而其中许多包含类似的手势和动作。此外,由于签名注释的对齐不可用,因此它是弱监督的。在本文中,我们提出了结构化特征网络(SF-Net),通过有效地学习数据中的多层次语义信息来解决这些挑战。SF-Net以结构化的方式提取特征,并逐渐将帧级、注释级和句子级的信息编码到特征表示中。所提出的SF-Net可以在没有其他模型或预训练的帮助下进行端到端的训练。我们在两个从不同连续SLR场景收集的大规模公共SLR数据集上测试了所提出的SF-Net。结果表明,所提出的SF-Net在准确性和适应性方面明显优于以前的基于序列级监督的方法。
2019-08-04 cs.CV
An Improved Real-Time Face Recognition System at Low Resolution Based on Local Binary Pattern Histogram Algorithm and CLAHE
The University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Texas State University(德克萨斯州立大学)
本研究提出一个改良的实时的【形】人脸辨识系统,在15像素的低分辨率下,具有姿态和情绪以及分辨率变化。我们设计了名为LRD 200和LRD 100的数据集,用于训练和分类。人脸检测部分使用Viola-Jones算法,人脸识别部分接收来自人脸检测部分的人脸图像,使用局部二值模式直方图(LBPH)算法进行处理,并使用对比度限制自适应直方图均衡化(CLAHE)和人脸对齐进行预处理。该系统中的人脸数据库可以通过我们定制的独立Android应用程序进行更新,并使用更新的数据库自动重新启动训练和识别过程。使用我们提出的算法,一个实时的【形】人脸识别的准确率为78.40%,在15 px和98.05%,在45 px已达到使用LRD 200数据库包含200个图像的人。在数据库(LRD 100)中每人100张图像的情况下,在15 px和45 px下分别达到60.60%和95%的准确率。当被试的面部与正面两侧偏置约30度时,平均人脸识别准确率为72.25% -81.85%。该人脸识别系统可用于执法目的,其中监控摄像机由于人与摄像机的距离而捕获低分辨率图像。它也可以用作机场,公共汽车站等的监控系统,以减少可能的犯罪威胁的风险。
2021-04-15 cs.CV eess.IV
Incremental Boosting Convolutional Neural Network for Facial Action Unit Recognition
University of South Carolina(南卡罗来纳大学)
从自发的面部表情中识别面部动作单元仍然是一个具有挑战性的问题。最近,CNN在面部AU识别方面表现出了希望。然而,由于有限的AU编码训练图像,学习的CNN通常过拟合,并且不能很好地推广到看不见的主题。我们提出了一种新的增量提升CNN(IB-CNN),通过增量提升层将提升集成到CNN中,该增量提升层从较低层中选择有区别的神经元,并在连续的小批次上增量更新。此外,提出了一种新的损失函数,该函数考虑了增量增强分类器和单个弱分类器的错误,以微调IB-CNN。在四个基准AU数据库上的实验结果表明,IB-CNN比传统的CNN和没有增量学习的boosting CNN有显著的改进,并且在AU识别中优于最先进的基于CNN的方法。对于在数据库中频率最低的AU来说,这种改进更为显著。
2017-07-17 cs.CV
Correlated and Individual Multi-Modal Deep Learning for RGB-D Object Recognition
Tsinghua University(清华大学)
在本文中,我们提出了一种新的相关和个体多模态深度学习(CIMDL)方法用于RGB-D对象识别。与大多数传统的RGB-D对象识别方法不同,这些方法分别从RGB和深度通道中提取特征,我们的CIMDL联合使用一对深度神经网络从原始RGB-D数据中学习特征表示,以便可以同时利用可共享和特定于模式的信息。具体来说,我们为RGB和深度数据构建了一对深度卷积神经网络(CNN),并在网络的顶层将它们与损失函数连接起来,该函数学习一个新的特征空间,其中RGB-D信息的相关部分和单个部分都得到了很好的建模。整个网络的参数更新采用反向传播准则。在两个广泛使用的RGB-D对象图像基准数据集上的实验结果清楚地表明,我们的方法优于最先进的方法。
2016-12-09 cs.CV
Reinforcing Generated Images via Meta-learning for One-Shot Fine-Grained Visual Recognition
National University of Singapore(新加坡国立大学);Fudan University(复旦大学);Zhejiang Normal University(浙江师范大学);Indiana University(印第安纳大学)
单次细粒度视觉识别经常遇到新的细粒度类的训练样本很少的问题。为了缓解这个问题,基于生成对抗网络(GANs)的现成图像生成技术可以创建额外的训练图像。然而,这些GAN生成的图像通常无助于实际提高单次细粒度识别的准确性。在本文中,我们提出了一个元学习框架,将生成的图像与原始图像相结合,从而使生成的“混合”训练图像改善了一次性学习。具体而言,通用的图像生成器更新的几个新的类的训练实例,并提出了一个Meta图像增强网络(MetaIRNet)进行单次细粒度识别以及图像增强。我们的实验表明,一致的改善基线上一杆细粒度图像分类基准。此外,我们的分析表明,与原始图像和GAN生成的图像相比,增强图像具有更大的多样性。
2022-04-22 cs.CV
AIM: Adapting Image Models for Efficient Video Action Recognition
University of Central Florida(中佛罗里达大学);Amazon Web Services(亚马逊云科技)
最近的基于视觉Transformer的视频模型大多遵循“图像预训练然后微调”的范式,并在多个视频基准测试中取得了巨大的成功。然而,考虑到预训练的图像Transformer模型已经表现出出色的可移植性,完全微调这样的视频模型在计算上可能是昂贵的并且是不必要的。在这项工作中,我们提出了一种新的方法来适应预训练的图像模型(AIM)有效的视频理解。通过冻结预训练的图像模型并添加一些轻量级的Adapters,我们引入了空间自适应,时间自适应和联合自适应,逐渐使图像模型具有时空推理能力。我们表明,我们提出的AIM可以实现竞争力,甚至比现有技术更好的性能与四个视频动作识别基准少得多的可调参数。由于其简单性,我们的方法通常也适用于不同的图像预训练模型,这有可能在未来利用更强大的图像基础模型。该项目的网页是\url{https://adapt-image-models.github.io/}。
2023-02-06 cs.CV
TNTC: two-stream network with transformer-based complementarity for gait-based emotion recognition
Southeast University(东南大学);Zhejiang University(浙江大学)
从视觉特征中自动识别人类情感在许多智能应用中起着至关重要的作用。近年来,基于步态的情感识别,特别是基于步态特征的情感识别受到了广泛的关注,并逐渐提出了许多有效的方法。流行的流程是首先从关节骨架中提取情感特征,然后将骨架关节特征和情感特征聚合为特征向量用于情感分类。然而,这些方法的聚合过程可能是僵化的,导致没有充分利用骨骼关节和情感特征之间的互补关系。同时,在空间和时间域的步态序列的长程相关性很少考虑。为了解决这些问题,我们提出了一种新型的具有基于转换器的互补性的二流网络,称为TNTC。骨架关节和情感特征被编码成两个单独的图像作为两个流的输入,分别。提出了一种新的基于转换器的互补模块(TCM),通过捕获长范围依赖关系,分层地桥接两个流之间的互补性。实验结果表明,TNTC在准确性方面优于最新数据集上的最先进方法。
2021-10-26 cs.CV
Iterative Object and Part Transfer for Fine-Grained Recognition
Shanghai Key Laboratory of Intelligent Information Processing, School of Computer Science, Fudan University(复旦大学计算机科学技术学院上海市智能信息处理重点实验室)
细粒度识别的目的是识别图像中的从属类别,例如不同种类的鸟类。现有的工作已经证实,为了捕捉类别之间的细微差异,对象和部件的自动定位是至关重要的。大多数对象和零件定位方法都依赖于自下而上的管道,其中生成数千个区域建议,然后通过预先训练的对象/零件模型进行过滤。这在计算上是昂贵的,并且一旦对象/部件的数量变大就不可扩展。在本文中,我们提出了一个非参数数据驱动的方法,对象和零件定位。给定一个未标记的测试图像,我们的方法从训练集中检索到的一些类似图像中转移注释。特别是,我们提出了一个迭代传输策略,逐步完善预测的边界框。基于所定位的对象和部件,提取深度卷积特征用于识别。我们在广泛使用的CUB 200 -2011数据集和一个新的大型数据集Birdsnap上评估了我们的方法。在这两个数据集上,我们获得了比许多最先进的方法更好的结果,包括一些在测试图像中使用oracle(手动注释)边界框的方法。
2017-03-29 cs.CV
Pose Refinement Graph Convolutional Network for Skeleton-based Action Recognition
随着2D或3D骨骼数据捕获技术的发展,基于骨骼的动作识别在过去几年中受到了越来越多的关注。由于骨架数据通常由图表示,因此已经提出了用于该任务的图卷积网络。虽然当前的图卷积网络准确地识别动作,但它们对于计算资源有限的机器人应用来说太昂贵了。因此,在本文中,我们提出了一个高效的图卷积网络,解决了以前的作品的局限性。这是通过逐渐融合运动和空间信息的并行结构以及通过尽可能早地降低时间分辨率来实现的。此外,我们明确地解决了人类姿势可能包含错误的问题。为此,网络首先对姿势进行细化,然后再对其进行进一步处理以识别动作。因此,我们称该网络为姿态精化图卷积网络。与其他图卷积网络相比,该网络在达到相当精度的同时,所需参数减少了86%-93%,浮点运算减少了89%-96%.因此,它在精度、内存占用和处理时间之间提供了更好的权衡,这使得它适用于机器人应用。
2021-01-18 cs.CV
Semantic Contrastive Bootstrapping for Single-positive Multi-label Recognition
Beihang University(北京航空航天大学);Peking University(北京大学)
针对单正标签多标签识别,本文提出 Scob 语义对比自举框架,结合类别激活引导、循环语义掩码 transformer 与期望最大化迭代优化,在四个基准上大幅超过现有方法。
2023-07-15 cs.CV
Recursive Counterfactual Deconfounding for Object Recognition
本文提出递归反事实去混淆模型RCD,通过事实图与反事实图递归构建图像特征、预测和混淆因素间关系,逐步消除反事实特征并施加负相关约束,在闭集与开集物体识别中显著优于11个基线方法。
2023-09-25 cs.CV
Iris Recognition: Inherent Binomial Degrees of Freedom
Eyelock LLC(伊洛克公司)
通过首先从虹膜提取一组特征,编码,然后比较这些编码的特征集以确定它们彼此之间的区别,来测量人类虹膜的独特性。例如,John Daugman在244个自由度上测量了人类虹膜的独特性,也就是说,Daugman的编码将虹膜映射成相当于2^244个不同的可能性[2]。本文通过对高质量虹膜图像的直接逐像素比较表明,在人类虹膜中体现的独立于任何编码的固有自由度数至少为536。当这些图像的分辨率逐渐降低时,对于所测试的最低分辨率图像,自由度的数量平滑地降低到123。
2020-06-29 cs.CV eess.IV
CNN Features off-the-shelf: an Astounding Baseline for Recognition
KTH (Royal Institute of Technology)(瑞典皇家理工学院)
最近的结果表明,从卷积神经网络中提取的通用描述符是非常强大的。这篇论文为越来越多的证据提供了补充,证明情况确实如此。我们报告了一系列的实验进行了不同的识别任务,使用公开的代码和模型的\overfeat网络进行训练ILSVRC 13上进行对象分类。我们使用从\overfeat网络中提取的特征作为通用图像表示来处理应用于不同数据集的对象图像分类、场景识别、细粒度识别、属性检测和图像检索的各种识别任务。我们选择这些任务和数据集,因为它们逐渐远离原始任务和数据,\overfeat网络被训练来解决。令人惊讶的是,我们在各种数据集上的所有视觉分类任务中报告了与高度调整的最先进系统相比一致的优越结果。例如,检索它始终优于低内存足迹的方法,除了雕塑数据集。使用应用于从网络中的层提取的大小为4096的特征表示的线性SVM分类器(或在检索的情况下的$L2$距离)来实现结果。使用简单的增强技术(例如抖动)进一步修改表示。这些结果强烈表明,从使用卷积网络的深度学习中获得的特征应该是大多数视觉识别任务的主要候选者。
2014-05-12 cs.CV
Domain Generalization via Universal Non-volume Preserving Models
University of Arkansas(阿肯色大学);University of Science, Ho Chi Minh city(胡志明市科学大学);Vietnam National University, Ho Chi Minh city(胡志明市越南国家大学);Concordia University(康考迪亚大学)
跨域识别最近已成为研究界的一个活跃话题。然而,在新的未知领域的识别问题中,它在很大程度上被忽视了。在这种情况下,交付的深度网络模型无法更新、调整或微调。因此,不能应用最近的深度学习技术,例如领域自适应、特征转移和微调。本文提出了一种新的方法来解决深度学习背景下的领域泛化问题。在不同的数据集上评估所提出的方法在各种问题,即(i)MNIST,SVHN和MNIST-M上的数字识别,(ii)扩展Yale-B,CMU-PIE和CMU-MPIE上的人脸识别,以及(iii)RGB和热图像数据集上的行人识别。实验结果表明,我们提出的方法一致地提高性能的准确性。它还可以轻松地与端到端深度网络设计中的任何其他CNN框架结合,以解决目标检测和识别问题,从而提高性能。
2020-04-10 cs.CV
Scheduled Differentiable Architecture Search for Visual Recognition
University of Science and Technology of China(中国科学技术大学);JD AI Research(京东人工智能研究院)
卷积神经网络(CNN)已被视为一类有能力的模型,用于视觉识别问题。然而,开发通用和强大的网络架构并不容易,这需要人类专家的大量努力。本文提出了一种新的体系结构自动搜索思想,对具有梯度下降高效搜索能力的可区分体系结构搜索(DAS)进行了改进。具体来说,我们提出了用于图像和视频识别的预定可区分架构搜索(SDAS),它很好地将训练期间的操作选择与时间表集成在一起。从技术上讲,架构或单元表示为有向图。我们的SDAS以渐进和预定的方式逐渐修复图中边缘上的操作,而不是一旦在现有DAS中完成训练就对所有边缘的操作进行一步决策,这可能会使架构变得脆弱。此外,我们扩大了SDAS的搜索空间,特别是视频识别,通过设计几个独特的操作来编码时空动态,并展示了影响SDAS的架构搜索的影响。在CIFAR10、Kinetics10、UCF101和HMDB51数据集上进行了大量的体系结构学习实验,并与DAS方法进行了比较。更值得注意的是,SDAS的搜索速度比DAS快2倍左右。当将CIFAR10和Kinetics10上的学习细胞分别转移到大规模ImageNet和Kinetics400数据集时,构建的网络也优于几种最先进的手工结构。
2019-09-23 cs.CV
ADDP: Learning General Representations for Image Recognition and Generation with Alternating Denoising Diffusion Process
CUHK(香港中文大学);Tsinghua University(清华大学);SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室)
针对识别与生成任务表示难以统一的问题,本文提出交替去噪扩散过程 ADDP,在单一框架中融合像素输入与 VQ token 重建,首次实现同时适用于生成和密集识别任务的通用表示。
2024-04-02 cs.CV
Beyond Domain Adaptation: Unseen Domain Encapsulation via Universal Non-volume Preserving Models
University of Science, Vietnam(越南科学大学);Concordia University(康考迪亚大学);University of Arkansas(阿肯色大学);University of Illinois(伊利诺伊大学)
跨域识别最近已成为研究界的一个活跃话题。然而,在新的未知领域的识别问题中,它在很大程度上被忽视了。在这种情况下,交付的深度网络模型无法更新,调整或微调。因此,不能应用最近的深度学习技术,例如:领域自适应、特征转移和微调。针对深度学习背景下的领域泛化问题,提出了一种新的通用非体积保持方法。所提出的方法可以很容易地与端到端深度网络设计中的任何其他ConvNet框架相结合,以提高性能。在数字识别方面,我们对四个流行的数字识别数据库,即MNIST,USPS,SVHN和MNIST-M进行了基准测试。该方法还进行了实验上的人脸识别扩展Yale-B,CMU-PIE和CMU-MPIE数据库和其他国家的最先进的方法进行比较。在行人检测问题中,我们根据经验观察到,所提出的方法学习模型,提高了先验未知数据分布的性能。
2018-12-09 cs.CV
DropSample: A New Training Method to Enhance Deep Convolutional Neural Networks for Large-Scale Unconstrained Handwritten Chinese Character Recognition
South China University of Technology(华南理工大学);University of Technology, Sydney(悉尼科技大学)
受心理学领域Leitners学习盒理论的启发,提出了一种训练深度卷积神经网络(DCNN)的新方法--DropSample,并将其应用于大规模在线手写体汉字识别(HCCR)。根据DropSample的原理,每个训练样本都与配额函数相关联,该配额函数根据DCNN softmax输出给出的分类置信度进行动态调整。在学习迭代之后,具有低置信度的样本将具有更高的概率被选择为下一次迭代中的训练数据;相反,具有非常高置信度的良好训练和良好识别的样本将具有更低的概率被涉及下一次训练迭代,并且可以被逐渐淘汰。因此,学习过程变得更加有效,因为它的进展。此外,我们研究了使用特定领域的知识,以提高DCNN的性能,在传统的CNN之前添加一个领域知识层。通过采用DropSample结合不同类型的领域特定知识,可以有效地提高HCCR的准确性。在CASIA-OLHDWB 1.0、CASIA-OLHWDB 1.1和ICDAR 2013在线HCCR竞赛数据集上的实验分别获得了97.33%、97.06%和97.51%的出色识别率,所有这些都明显优于文献中报道的先前最佳结果。
2015-05-20 cs.CV
Efficient and Accurate Skeleton-Based Two-Person Interaction Recognition Using Inter- and Intra-body Graphs
Hitachi, Ltd.(日立有限公司)
随着姿态估计和图卷积网络的发展,基于信标的两人交互识别得到了越来越多的关注。虽然准确度已经逐渐提高,但增加的计算复杂性使得其对于真实世界环境更加不切实际。由于传统的方法不能完全代表椎体间关节之间的关系,因此仍有提高精度的空间。在本文中,我们提出了一个用于准确识别两人交互的轻量级模型。除了采用中间融合的架构之外,我们还引入了因子分解卷积技术来降低模型的权重参数。我们还引入了一个网络流,该网络流考虑了身体间关节之间的相对距离变化,以提高准确性。使用两个大规模的数据集,NTU RGB+D 60和120,实验表明,我们的方法同时实现了最高的准确性和相对较低的计算复杂性与传统的方法相比。
2022-07-26 cs.CV cs.LG
Towards SAR Automatic Target Recognition MultiCategory SAR Image Classification Based on Light Weight Vision Transformer
Independent Researcher(独立研究者)
针对当前SAR自动目标识别多采用循环、卷积神经网络的现状,提出基于轻量级视觉Transformer的多类别SAR图像分类方法,经公开数据集验证,其分类鲁棒性与准确率优于传统网络,且无需卷积层。
2024-07-09 cs.CV
Adaptive Recursive Circle Framework for Fine-grained Action Recognition
Beijing Institute of Technology(北京理工大学);University of Rochester(罗切斯特大学)
如何对视频中的细粒度时空动态特性进行建模一直是动作识别的一个挑战性问题。它要求对细微的、抽象的运动学习深刻而丰富的特征,并具有优越的区别性。大多数现有的方法以纯前馈方式生成层的特征,其中信息在一个方向上从输入移动到输出。它们依赖于堆叠更多的层来获得更强大的功能,这带来了额外的不可忽视的开销。在本文中,我们提出了一个自适应递归圆(ARC)框架,一个细粒度的装饰纯前馈层。它继承了原始层的操作符和参数,但在使用这些操作符和参数方面略有不同。具体来说,层的输入被视为一个不断发展的状态,其更新与特征生成交替进行。在每个递归步骤中,输入状态被先前生成的特征丰富,并且特征生成是用新更新的输入状态进行的。我们希望ARC框架可以通过以低成本引入深度细化的特征和多尺度感受野来促进细粒度的动作识别。在几个基准上观察到前馈基线的显著改进。例如,配备ARC的TSM-ResNet 18在Something-Something V1和Diving 48上的表现优于TSM-ResNet 50,FLOP减少48%,模型参数减少52%。
2021-07-25 cs.CV
SepFormer: Coarse-to-fine Separator Regression Network for Table Structure Recognition
Data Services Center, Viettel Group, Lot D26 Cau Giay New Urban Area, Cau Giay District, Hanoi, Vietnam Faculty of Computer Science \& Engineering, Ho Chi Minh City University of Technology (HCMUT), VNU-HCM, Ho Chi Minh City, Vietnam
提出SepFormer,一种从粗到细的表格结构识别网络,通过DETR风格架构将分割与合并范式集成于单步分割线回归中,在多个基准数据集上达到与SOTA方法相当的性能且平均运行速度达25.6 FPS。
2025-06-27 cs.CV
Point Adversarial Self Mining: A Simple Method for Facial Expression Recognition
Institute of High Performance Computing, Agency for Science, Technology, and Research(高性能计算研究所,科技研究局);Centre for Artificial Intelligence, University of Technology Sydney(悉尼科技大学人工智能中心);Pattern Recognition and Intelligent System Laboratory, Beijing University of Posts and Telecommunications(北京邮电大学模式识别与智能系统实验室);Brookhaven National Laboratory(布鲁克海文国家实验室);InnoPeak Technology Inc.;Key Laboratory of Medical Molecular Virology, School of Basic Medical Sciences, Fudan University(复旦大学基础医学院医学分子病毒学重点实验室)
在本文中,我们提出了一个简单而有效的方法,命名为点对抗自我挖掘(PASM),以提高面部表情识别的识别精度。与以前专注于设计特定架构或损失函数来解决这个问题的工作不同,PASM通过模拟人类学习过程来提高网络能力:提供更新的学习材料和更有能力的教师的指导。具体来说,为了生成新的学习材料,PASM利用点对抗攻击方法和经过训练的教师网络来定位与目标任务相关的最具信息性的位置,生成更难的学习样本来完善网络。搜索位置是高度自适应的,因为它考虑了每个样本的统计信息和教师网络的能力。除了提供新的学习材料外,学生网络还接受教师网络的指导。在学生网络完成训练之后,学生网络改变其角色并充当教师,生成新的学习材料并为训练更好的学生网络提供更强的指导。自适应学习材料生成和教师/学生更新可以进行多次,迭代地提高网络能力。大量的实验结果验证了我们的方法在现有的面部表情识别技术的有效性。
2021-05-08 cs.CV
CLIPTER: Looking at the Bigger Picture in Scene Text Recognition
AWS AI Labs(AWS人工智能实验室);Technion(以色列理工学院)
针对现有场景文本识别器仅用裁剪文本图像、缺乏全局上下文的问题,提出模型无关框架CLIPTER,通过门控交叉注意力融合CLIP的全局场景表征与识别器词级特征,实现多基准最优,提升未登录词鲁棒性与小数据泛化性。
2023-07-23 cs.CV cs.LG
Learning Semantic-Aware Threshold for Multi-Label Image Recognition with Partial Labels
School of Information Engineering, Guangdong University of Technology, Guangzhou, China(广东技术大学信息工程学院);Department of Computer Science, University of York, UK(约克大学计算机科学系);Institute of Facility Agriculture, Guangdong Academy of Agricultural Sciences (IFA, GDAAS)(广东农业科学研究院设施农业研究所)
针对部分标签多标签图像识别中传统预设阈值生成伪标签不准确的问题,提出语义感知阈值学习算法,通过类别专属动态阈值和可微排序损失提升性能,在多个大规模数据集上验证了有效性。
2025-07-31 cs.CV
Learning and Refining of Privileged Information-based RNNs for Action Recognition from Depth Sequences
Imperial College London(帝国理工学院)
现有的基于RNN的深度序列动作识别方法需要骨骼关节或手工制作的深度特征作为输入。由于以下事实,从原始深度图映射到动作类的端到端方式对于设计来说是重要的:1)单通道图缺乏纹理,因此削弱了辨别能力; 2)相对小的深度训练数据集合。为了解决这些挑战,我们建议分三步学习由特权信息(PI)驱动的RNN:编码器经过预训练,以学习深度外观和PI(即骨架关节)的联合嵌入。然后在学习步骤中调整学习的嵌入层,旨在通过以多任务损失的形式利用PI来优化网络。然而,利用PI作为次要任务,由于它们之间的差距,对提高主要任务(即分类)的性能几乎没有帮助。最后,一个桥接矩阵被定义为连接两个任务,通过发现潜在的PI在细化步骤。我们基于PI的分类损失保持了潜在PI和预测分布之间的一致性。潜在的PI和网络迭代估计和更新的期望最大化的过程。所提出的学习过程提供了更大的辨别能力来对细微的深度差异进行建模,同时帮助避免过拟合更稀缺的训练数据。我们的实验显示,在三个公共基准数据集和我们新收集的Blanket数据集上,与最先进的方法相比,性能有了显着的提高。
2017-08-08 cs.CV
Efficient visual object representation using a biologically plausible spike-latency code and winner-take-all inhibition
University of California, Santa Barbara(加州大学圣巴巴拉分校);Massachusetts Institute of Technology(麻省理工学院);Université de Toulouse(图卢兹大学)
深度神经网络在物体识别等关键视觉挑战方面已经超越了人类的表现,但需要大量的能量、计算和内存。相比之下,脉冲神经网络(SNN)有潜力提高物体识别系统的效率和生物相容性。在这里,我们提出了一个SNN模型,使用尖峰潜伏期编码和赢家通吃抑制(WTA-I),有效地代表视觉刺激的时尚MNIST数据集。用中心-环绕感受野对刺激进行预处理,然后将其馈送到一层尖峰神经元,其突触权重使用尖峰时间依赖可塑性(STDP)进行更新。我们研究了不同WTA-I方案下所表示对象的质量如何变化,并证明了150个尖峰神经元的网络可以有效地表示对象,只需40个尖峰。研究如何在SNN中使用生物学上合理的学习规则来实现核心对象识别,不仅可以加深我们对大脑的理解,还可以带来新颖有效的人工视觉系统。
2022-06-22 cs.CV
HM4: Hidden Markov Model with Memory Management for Visual Place Recognition
School of Computer Science, The University of Adelaide(阿德莱德大学计算机科学学院)
视觉位置识别需要对由于自然和人为原因引起的外观变化具有鲁棒性。因此,训练数据收集应该是一个持续的过程,以允许记录连续的外观变化。然而,这创建了一个无限增长的数据库,对位置识别方法提出了时间和内存可扩展性的挑战。为了解决自动驾驶中视觉位置识别的可扩展性问题,我们开发了一种具有两层存储管理的隐马尔可夫模型方法。我们的算法,被称为HM $^4$,利用时间的前瞻性转移有前途的候选图像之间的被动存储和主动记忆需要时。推理过程考虑到有希望的图像和整个数据库的粗略表示。我们表明,这允许恒定的时间和空间推断为一个固定的覆盖区域。粗略表示也可以增量地更新以吸收新数据。为了进一步降低内存需求,我们推导出受局部敏感哈希(LSH)启发的紧凑图像表示。通过对真实世界数据的实验,我们证明了该方法在外观变化下具有良好的可扩展性和准确性,并与最先进的技术进行了比较。
2020-11-01 cs.CV cs.RO
SRENet: Spectral Re-Entry Network for Point Cloud Action Recognition
School of Software Engineering, South China University of Technology(南方科技大学软件工程学院);School of Automation Science and Engineering, South China University of Technology(南方科技大学自动化科学与工程学院);School of Computer Science, University of Sydney(悉尼大学计算机科学学院);School of Science, Edith Cowan University(爱丁堡牛津大学科学学院)
提出SRENet,通过频谱分解与重入模块从频率角度学习全局上下文和细粒度时间动态,实现点云序列动作识别。
2026-06-02 cs.CV
What takes the brain so long: Object recognition at the level of minimal images develops for up to seconds of presentation time
The College of Management Academic Studies(管理学术学院);The Weizmann Institute of Science(魏茨曼科学研究所)
丰富的经验证据表明,在大脑中的视觉对象识别是快速和毫不费力的,与相关的大脑信号报告早在80毫秒开始。在这里,我们研究的时间轨迹的识别过程中的最小可识别的图像(称为MIRC)的水平。这些是可以可靠地识别的图像,但是其中图像的微小变化(尺寸或分辨率的减小)对识别具有显著影响。受试者被分配到九个暴露条件之一:200,500,1000,2000 ms,有或没有掩蔽,以及无限的时间。受试者在陈述后没有时间限制。结果表明,在掩蔽条件下,识别率在延长的时间段内逐渐发展,例如,200 ms曝光的平均值为18%,500 ms曝光的平均值为45%,随着曝光时间的延长,甚至超过2秒,识别率显著增加。当呈现不限时间(直到响应)时,MIRC识别率相当于呈现50 ms全对象图像然后掩蔽的比率。为什么大脑需要这么长时间才能识别这些图像?我们讨论了为什么涉及眼动,知觉决策和模式完成的过程是不可能的解释。或者,我们假设MIRC识别需要一个扩展的自上而下的过程来补充前馈阶段。
2020-06-09 cs.AI cs.CV q-bio.NC
Memory-Based Neighbourhood Embedding for Visual Recognition
University of Science and Technology of China(中国科学技术大学);Chinese Academy of Sciences(中国科学院);SenseTime Research(商汤科技研究院)
学习有区别的图像特征嵌入对于视觉识别具有重要意义。为了获得更好的特征嵌入效果,目前的方法大多集中在设计不同的网络结构或损失函数上,并且估计的特征嵌入通常只与输入图像相关。在本文中,我们提出了基于记忆的邻域嵌入(MNE),通过考虑其邻域来增强一般的CNN特征。该方法旨在解决两个关键问题,即,如何在网络训练中获取更多相关的邻域,以及如何聚合邻域信息以实现更具鉴别力的嵌入。我们首先在网络中增加一个情景记忆模块,它可以为训练和测试提供更多相关的邻居。然后,邻居被组织在树图中,目标实例作为根结点。邻域信息以自下而上的方式逐渐聚合到根结点,聚合权重由节点之间的类关系监督。我们将MNE应用于图像搜索和少样本学习任务。广泛的消融研究证明了每个组件的有效性,我们的方法显着优于国家的最先进的方法。
2019-08-14 cs.CV cs.LG
Progressive Ensemble Networks for Zero-Shot Recognition
Temple University(天普大学);Carleton University(卡尔顿大学)
尽管监督图像识别算法的进步,它们对标记数据的可用性和图像类别的快速扩展的依赖提出了零样本学习的重大挑战。零样本学习(Zero-shot learning,缩写为ZRL)旨在将知识从标记的类转移到未标记的类,以减少人类标记的努力。本文提出了一种新的渐进集成网络模型,该模型具有多个投影标签嵌入,以解决zero-shot图像识别问题。集成网络是通过学习多个图像分类功能与共享的特征提取网络,但不同的标签嵌入表示,这增强了分类器的多样性,并促进信息转移到未标记的类。然后,部署渐进训练框架,以逐渐用预测的伪标签标记每个未标记类中最有信心的图像,并用伪标签增强的训练数据更新系综网络。该模型对标记和未标记数据进行训练。它可以自然地桥接视觉外观中的域移位问题,并被扩展到广义零样本学习场景。我们在多个数据集上进行了实验,实验结果证明了该模型的有效性。
2019-04-06 cs.AI cs.CV cs.LG
Streaming Networks: Increase Noise Robustness and Filter Diversity via Hard-wired and Input-induced Sparsity
JapanTaxi
CNN已经在许多应用中实现了最先进的性能。最近的研究表明,如果图像被噪声破坏,CNN的识别准确率会急剧下降。我们专注于噪声污染的图像的鲁棒识别精度的问题。我们介绍了一种新的网络体系结构称为流网络。每个流都以原始图像的某个强度切片作为输入,并且流参数被独立地训练。我们使用网络容量,硬连线和输入引起的稀疏度作为实验的维度。结果表明,只有同时存在硬连线和输入诱导稀疏性,才能实现鲁棒的噪声图像识别。流网络是唯一的架构,同时具有两种类型的稀疏性,并表现出更高的鲁棒性噪声。最后,为了说明滤波器多样性的增加,我们说明了随着硬连线和域引起的稀疏度和容量的增加,第一卷积层的滤波器权重的分布逐渐接近均匀分布。
2020-04-09 cs.CV eess.IV
Concept Whitening for Interpretable Image Recognition
Duke University(杜克大学)
当我们遍历这些层时,神经网络对一个概念编码了什么?机器学习中的可解释性无疑很重要,但神经网络的计算很难理解。试图看到它们隐藏层内部的尝试要么是误导性的,不可用的,要么依赖于潜在空间来拥有它可能没有的属性。在这项工作中,而不是试图分析一个神经网络事后,我们引入了一种机制,称为概念白化(CW),改变网络的给定层,使我们能够更好地理解导致该层的计算。当将概念白化模块添加到CNN时,潜在空间的轴与感兴趣的已知概念对齐。通过实验,我们表明,CW可以让我们更清楚地了解网络如何在各层上逐渐学习概念。CW是批量归一化层的替代方案,因为它对潜在空间进行归一化和去相关(白化)。CW可以用于网络的任何层,而不会损害预测性能。
2020-12-07 cs.AI cs.CV cs.LG
Prefix-Adaptive Block Diffusion for Efficient Document Recognition
Computation and Artificial Intelligence Innovative College, Fudan University, Shanghai, China(复旦大学计算与人工智能创新学院,上海,中国);Shanghai Innovation Institute, Shanghai, China(上海创新研究院,上海,中国);ByteDance, Shanghai, China(字节跳动,上海,中国)
本文提出前缀自适应块扩散模型(PA-BDM),通过改进块内去噪和缓存机制,提升文档识别的效率和准确性。
2026-09-01 cs.AI cs.CV
BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition
Megvii Technology(旷视科技);Waseda University(早稻田大学);Nanjing University(南京大学)
我们的工作重点是解决具有挑战性但自然的长尾数据分布视觉识别任务(即,少数类占据了大部分数据,而大多数类很少有样本)。在文献中,阶级再平衡策略(例如,重加权和重采样)是为解决长尾问题而提出的显著而有效的方法。在本文中,我们首先发现这些重新平衡方法能够达到令人满意的识别精度,这是因为它们可以显著促进深度网络的分类器学习。然而,与此同时,它们会在某种程度上意外地损害学习到的深层特征的代表能力。因此,我们提出了一个统一的双边分支网络(BBN),以同时兼顾表示学习和分类器学习,其中每个分支确实单独执行自己的职责。特别是,我们的BBN模型进一步配备了一种新的累积学习策略,该策略旨在首先学习通用模式,然后逐渐关注尾部数据。在四个基准数据集上进行的广泛实验,包括大规模的iNaturalist数据集,证明了所提出的BBN可以显着优于最先进的方法。此外,验证实验可以证明我们的初步发现和BBN的长尾问题的定制设计的有效性。我们的方法在iNaturalist 2019大型物种分类竞赛中获得了第一名,我们的代码是开源的,可在https://github.com/Megvii-Nanjing/BBN上获得。
2020-03-10 cs.CV cs.LG
Visual Concept Reasoning Networks
Mila, Université de Montréal(蒙特利尔大学Mila研究院);Kakao Brain
分裂-变换-合并策略已被广泛用作用于视觉识别任务的卷积神经网络中的架构约束。它通过显式定义多个分支来近似稀疏连接的网络,以同时学习具有不同视觉概念或属性的表示。这些表示之间的重复或交互通常由密集和局部操作定义,然而,没有任何自适应性或高级推理。在这项工作中,我们建议利用这种策略,并将其与我们的视觉概念推理网络(VCRNet)相结合,使高层次的视觉概念之间的推理。我们将每个分支与视觉概念相关联,并通过注意力模块选择一些局部描述符来获得紧凑的概念状态。这些概念状态,然后更新基于图的交互和用于自适应调制的本地描述符。我们描述了我们提出的模型分裂-变换-出席-交互-模块化-合并阶段,这是通过选择一个高度模块化的架构来实现的。大量的视觉识别任务,如图像分类,语义分割,目标检测,场景识别和动作识别的实验表明,我们提出的模型,VCRNet,不断提高性能的参数增加不到1%。
2020-08-26 cs.AI cs.CV cs.LG
Using Human-like Mechanism to Weaken Effect of Pre-training Weight Bias in Face-Recognition Convolutional Neural Network
Soochow university(苏州大学)
本研究通过迁移学习训练AlexNet、VGG等CNN执行情绪效价分类任务,并基于神经科学数据引入自注意力机制更新出FE-AlexNet,以减弱预训练权重偏差,使其更接近人类感知并提升性能。
2023-10-20 cs.CV cs.LG q-bio.NC
Testing the Efficient Network TRaining (ENTR) Hypothesis: initially reducing training image size makes Convolutional Neural Network training for image recognition tasks more efficient
University of Göttingen(哥廷根大学);University of Siegen(锡根大学)
用于图像识别任务的卷积神经网络(CNN)在可用架构以及如何基于大型计算基础设施和具有数百万图像的标准数据集训练网络方面取得了快速进展。相比之下,例如,小型设备和免费云GPU的性能和时间约束需要有效的网络训练(即,在尽可能短的推理时间内获得最高的准确性),通常在小数据集上。在这里,我们假设在训练过程中最初减小图像大小会使训练过程更有效,因为对小图像进行预成形权重,然后在较大图像中使用这些权重会减少初始网络参数和总推理时间。我们通过使用免费的云GPU在三个小数据集(钢铁微观结构,蜜蜂图像和地理航空图像)上训练预训练的残差网络(ResNet)模型(ResNet 18,34和50)来测试这种有效网络训练(ENTR)假设。基于i)不,ii)逐渐或iii)在训练过程中一步增加图像大小的三种训练方案,我们表明,最初减少图像大小可以在数据集和网络中一致地提高训练效率。我们解释这些结果的正则化理论的框架内机械。对ENTR假设的支持是一个重要的贡献,因为实际应用需要提高图像识别任务的网络效率。在未来,我们将很高兴看到ENTR假设如何适用于ImageNet或CIFAR等大型标准数据集,以更好地理解其潜在机制,以及这些结果如何与结构学习等其他领域进行比较。
2018-07-30 cs.AI cs.CV
GaborNet: Gabor filters with learnable parameters in deep convolutional neural networks
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文描述了一种使用深度卷积神经网络进行图像识别的系统。提出了改进的网络结构,重点是提高收敛性和降低训练复杂度。网络第一层中的滤波器被约束以拟合Gabor函数。Gabor函数的参数是可学习的,并通过标准的反向传播技术进行更新。该系统在Python上实现,在几个数据集上进行了测试,性能优于常见的卷积网络。
2019-04-30 cs.CV cs.LG eess.IV
Transformer with Peak Suppression and Knowledge Guidance for Fine-grained Image Recognition
Beihang University(北京航空航天大学);Shenzhen Research Institute of Big Data(深圳大数据研究院)
细粒度图像识别是具有挑战性的,因为区分性线索通常是碎片化的,无论是来自单个图像还是多个图像。尽管有显着的改进,大多数现有的方法仍然集中在最有区别的部分,从一个单一的图像,忽略了其他地区的信息细节,缺乏考虑的线索,从其他相关的图像。本文从一个新的角度分析了细粒度图像识别的难点,提出了一种包含峰值抑制模块和知识引导模块的Transformer结构,该结构兼顾了单幅图像中鉴别特征的多样性和多幅图像中鉴别线索的聚集性。具体地,峰值抑制模块首先利用线性投影将输入图像转换成顺序令牌。然后,它根据Transformer编码器生成的注意力响应来阻止令牌。该模块会惩罚对特征学习过程中最有区别的部分的关注,从而增强对被忽视区域的信息利用。知识指导模块将从峰值抑制模块生成的基于图像的表示与可学习知识嵌入集合进行比较,以获得知识响应系数。之后,它形式化的知识学习作为一个分类问题,使用响应系数作为分类得分。在训练期间更新知识嵌入和基于图像的表示,使得知识嵌入包括针对不同图像的辨别性线索。最后,我们将获得的知识嵌入到基于图像的表示中作为综合表示,从而显着提高性能。对六个流行数据集的广泛评估证明了所提出方法的优势。
2021-12-10 cs.CV cs.MM eess.IV