Dendritic Convolution for Noise Image Recognition
本文提出树突卷积,通过模仿神经元树突结构提升噪声环境下的图像识别性能,实验显示在多个模型上准确率和mAP均显著提高。
2025-11-24 cs.CV cs.LG
Can masking background and object reduce static bias for zero-shot action recognition?
Nagoya Institute of Technology(名古屋工业大学);National Institute of Advanced Industrial Science and Technology (AIST)(独立行政法人产业技术综合研究所(AIST))
本文研究零样本动作识别中的静态偏差,通过掩蔽背景和物体训练CLIP模型,减少对静态外观的依赖,提升动作关注度与性能。
2025-01-22 cs.CV
Predictively Encoded Graph Convolutional Network for Noise-Robust Skeleton-based Action Recognition
Curtin University(科廷大学);Gwangju Institution of Science and Technology(光州科学技术院)
在基于卷积神经网络的动作识别中,图卷积网络(GCN)使用节点和连接等图形组件对人体骨架进行建模,近年来取得了令人瞩目的性能。然而,目前国家的最先进的方法,基于骨骼的动作识别通常工作的假设,完全观察到的骨架将提供。在真实场景中应用该假设可能会有问题,因为捕获的骨架总是有可能不完整或有噪声。在这项工作中,我们提出了一种基于骨架的动作识别方法,该方法对给定骨架特征的噪声信息具有鲁棒性。我们的方法的关键见解是训练模型,通过最大化之间的互信息正常和噪声骨架使用预测编码的方式。我们使用NTU-RGB+D和Kinetics-Skeleton数据集进行了关于带有缺陷骨架的基于机器人的动作识别的综合实验。实验结果表明,我们的方法取得了优异的性能时,骨架样本噪声与现有的国家的最先进的方法相比。
2020-03-17 cs.CV cs.LG eess.IV
Background Debiased SAR Target Recognition via Causal Interventional Regularizer
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Harbin Institute of Technology(哈尔滨工业大学)
针对SAR图像中背景干扰导致深度学习识别性能下降的问题,提出基于结构因果模型和因果干预正则化的去偏方法,可即插即用集成于现有模型,在MSTAR数据集上验证了有效性。
2023-08-30 cs.CV
Hand Shape and Gesture Recognition using Multiscale Template Matching, Background Subtraction and Binary Image Analysis
Graduate School of Arts & Sciences(文理研究生院);Boston University(波士顿大学)
本文提出一种结合多尺度模板匹配与背景减除的手形分类方法,通过提取二值图像特征实现基础手势识别,在受控环境中验证了其在人机交互场景中的有效性。
2024-02-15 cs.CV
Towards Accurate Open-Set Recognition via Background-Class Regularization
KAIST(韩国科学技术院);Letsur Inc.(Letsur公司)
在开集识别(OSR)中,分类器应该能够拒绝未知类别的样本,同时保持高的闭集分类精度。为了有效地解决OSR问题,以前的研究试图通过离线分析来限制潜在特征空间并拒绝位于有限空间之外的数据,例如,基于距离的特征分析或复杂的网络架构。为了在标准分类器架构中通过简单的推理过程(无需离线分析)进行OSR,我们使用基于距离的分类器而不是传统的Softmax分类器。然后,我们设计了一个背景类正则化策略,在训练阶段使用背景类数据作为未知类数据的代理。具体来说,我们制定了一种新的正则化损失适合于基于距离的分类器,它保留了足够大的类的潜在特征空间为已知的类和部队背景类样本位于远离有限的空间。通过我们广泛的实验,我们表明,该方法提供了强大的OSR结果,同时保持高的闭集分类精度。
2022-07-21 cs.CV
CNTN: Cyclic Noise-tolerant Network for Gait Recognition
Watrix(银河水滴科技)
步态识别的目的是通过识别个人的行走模式来识别他们。然而,观察到大多数以前的步态识别方法退化显着由于两个记忆效应,即外观记忆和标签噪声记忆。为了解决这个问题,第一次噪声步态识别进行了研究,并提出了一个循环的噪声容忍网络(CNTN)的循环训练算法,它配备了两个并行网络具有显着不同的能力,即一个遗忘网络和一个记忆网络。整个模型不会记住模式,除非两个不同的网络都记住了它。此外,一个更精细的协同教学约束,以帮助模型学习内在的模式,这是受记忆的影响较小。此外,为了解决标签噪声记忆,提出了一种自适应噪声检测模块,以排除具有高可能性的样本是噪声更新模型。在三个最流行的基准上进行了实验,CNTN达到了最先进的性能。我们还重建了两个嘈杂的步态识别数据集,CNTN获得了显着的改善(特别是6%的改善CL设置)。CNTN还与任何现成的主干兼容,并不断改进它们。
2022-10-13 cs.CV
Event-based Gesture Recognition with Dynamic Background Suppression using Smartphone Computational Capabilities
Sorbonne Universités(索邦大学);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
本文介绍了一个框架的手势识别操作的输出基于事件的相机使用的计算资源的移动电话。我们将介绍一个新的发展,围绕时间表面的概念修改和适应移动平台的有限的计算资源上运行。我们还介绍了一种新的方法,以消除动态背景,充分利用基于事件的相机的高时间分辨率。我们通过在室内和室外不受控制的照明条件下对几个动态场景进行操作来评估框架的性能。我们还引入了一个新的公开可用的基于事件的数据集,用于通过临床过程选择的手势识别,以允许视障人士和老年人进行人机交互。最后,我们报告与以前的作品,解决基于事件的手势识别报告可比的,如果不是优越的结果,如果考虑到有限的计算和内存的限制所使用的硬件的比较。
2020-04-28 cs.CV
Speech Recognition Front End Without Information Loss
King’s College London(伦敦国王学院)
为了提高自动语音识别对加性噪声的鲁棒性,研究了声学波形或其线性变换的高维空间中的语音表示和建模。这种方法背后的动机是双重的:(i)在提取低维特征的过程中通常被去除的声波波形中的信息可能借助于类似于信道编码的结构化冗余来帮助鲁棒识别,(ii)线性特征域允许精确的噪声自适应,与涉及非线性处理的表示相反,非线性处理使得噪声自适应具有挑战性。因此,我们开发了一个生成框架的音素建模在高维线性特征域,并使用它在音素分类和识别任务。实验结果表明,在低于18 dB的信噪比下,该框架的分类和识别性能优于类似的PLP和MFCC分类器。在所有噪声水平上,在似然水平上的高维和MFCC特征的组合一致地比单独表示中的任一个表现得更好。
2015-03-30 cs.CL cs.CV cs.LG
Seeing Beyond the Scene: Analyzing and Mitigating Background Bias in Action Recognition
Westmont High School(韦斯蒙特高中);Princeton University(普林斯顿大学)
本文分析了动作识别中背景偏见的问题,并提出缓解策略,通过输入分割和提示调优降低背景偏见,提升模型对人类动作的识别能力。
2025-12-17 cs.AI cs.CV
BackMix: Regularizing Open Set Recognition by Removing Underlying Fore-Background Priors
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Haihe Laboratory of Information Technology Application Innovation (Haihe Lab of ITAI)(海河信息技术应用创新实验室)
针对现有开集识别正则化方法依赖精心选择辅助离群点的问题,提出BackMix方法,通过混合前景与不同背景消除前景-背景先验,在无需额外推理操作的前提下显著提升开集识别性能,且易于集成到现有框架。
2025-03-22 cs.CV
On the Impact of Face Segmentation-Based Background Removal on Recognition and Morphing Attack Detection
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形研究研究所IGD);Department of Computer Science, TU Darmstadt(图腾大学计算机科学系)
研究探讨了通过分割进行面部图像背景校正对现实场景中人脸识别和仿射攻击检测性能的影响,分析了预处理步骤对识别准确性和安全机制的影响,评估了多种分割技术、仿射攻击检测方法和人脸识别模型。
2026-04-22 cs.CV
BoundaryFace: A mining framework with noise label self-correction for Face Recognition
Southwest Jiaotong University(西南交通大学)
近年来,由于损失函数的进步和训练集规模的爆炸式增长,人脸识别取得了巨大的进展。一个适当的设计损失被视为关键,以提取判别特征进行分类。已经提出了几种基于边缘的损失作为人脸识别中softmax损失的替代方案。然而,还有两个问题需要考虑:1)他们忽视了硬样本挖掘对判别学习的重要性。2)标签噪声普遍存在于大规模数据集中,严重影响模型的性能。在本文中,从决策边界的角度出发,我们提出了一个新的挖掘框架,侧重于一个样本的地面真值类中心和最近的负类中心之间的关系。具体而言,提出了一种闭集噪声标签自校正模块,使该框架能够很好地处理包含大量标签噪声的数据集。所提出的方法在各种人脸识别基准测试中始终优于SOTA方法。培训代码已在https://github.com/SWJTU-3DVision/BoundaryFace上发布。
2022-10-10 cs.CV
The Devil of Face Recognition is in the Noise
SenseTime Research(商汤科技研究院);University of California San Diego(加州大学圣迭戈分校);Nanyang Technological University(南洋理工大学)
人脸识别数据集规模的不断增长使我们能够训练强大的卷积网络进行人脸识别。虽然已经设计了各种架构和损失函数,但我们对现有数据集中固有的标签噪声的来源和后果仍然有有限的了解。我们做出了以下贡献:1)我们贡献了流行的人脸数据库的清洁子集,即,MegaFace和MS-Celeb-1 M数据集,并构建一个新的大规模噪声控制的IMDb-Face数据集。2)使用原始数据集和清洁的子集,我们分析和分析MegaFace和MS-Celeb-1 M的标签噪声特性。我们表明,需要几个订单更多的样本,以达到相同的精度产生一个干净的子集。3)我们研究不同类型的噪音之间的联系,即,标签翻转和离群值,具有人脸识别模型的准确性。4)我们研究了提高数据清洁度的方法,包括对数据标签策略对注释准确性的影响进行全面的用户研究。IMDb-Face数据集已在https://github.com/fwang91/IMDb-Face上发布。
2018-07-31 cs.CV
Modified SPLICE and its Extension to Non-Stereo Data for Noise Robust Speech Recognition
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);IBM India Research Labs(IBM印度研究实验室)
本文提出了一种改进的SPLICE算法的训练过程,用于抗噪声的语音识别。该修改是基于特征相关性的,并且使得这种基于立体声的算法能够在所有噪声条件下提高性能,特别是在看不见的情况下。此外,修改后的框架被扩展到非立体声数据集,其中需要干净和嘈杂的训练话语,但不是立体声对应物。最后,在SPLICE框架下提出了一种基于MLLR的计算效率高的运行时噪声自适应方法。修改后的SPLICE在Aurora-2数据库的测试C中显示出8.6%的绝对改善,总体改善2.93%。与Aurora-2和Aurora-4基线模型相比,非立体方法分别显示出10.37%和6.93%的绝对改善。运行时自适应显示,与测试C的SPLICE相比,修改后的框架有9.89%的绝对改进,总体w.r.t.标准MLLR适应HALTH。
2013-07-15 cs.CV cs.LG stat.ML
Temporal Consistency Constrained Transferable Adversarial Attacks with Background Mixup for Action Recognition
School of Computer Science and Technology, Hangzhou Dianzi University(计算机科学与技术学院,杭州电子大学)
针对动作识别模型的可迁移对抗攻击,提出背景混合与时序一致性约束方法,减少替代模型依赖并稳定攻击方向,在UCF101、Kinetics-400和ImageNet上显著提升迁移性。
2025-05-23 cs.CV
From Noise to Feature: Exploiting Intensity Distribution as a Novel Soft Biometric Trait for Finger Vein Recognition
South China University of Technology(华南理工大学)
大多数手指静脉特征提取算法由于其纹理表示能力而获得令人满意的性能,尽管同时忽略了由手指组织形成的强度分布,并且在某些情况下,将其作为背景噪声处理。在本文中,我们利用这种噪声作为一种新的软生物特征,以实现更好的手指静脉识别性能。首先,详细分析了手指静脉成像的原理和图像的特点,指出手指组织在背景中形成的亮度分布可以作为软生物特征进行识别。然后,针对亮度分布特征提取,提出了两种手指静脉背景层提取算法和三种软生物特征提取算法。最后,提出了一种混合匹配策略,以解决得分水平上的主要和软生物特征之间的尺寸差异的问题。在三个开放数据库上进行的一系列对比实验表明,该方法对手指静脉识别是可行和有效的。
2021-12-15 cs.CV
SparseVSR: Lightweight and Noise Robust Visual Speech Recognition
Meta AI;Imperial College London(帝国理工学院)
本文提出SparseVSR,通过基于幅度的剪枝技术构建轻量级视觉语音识别模型,在LRS3数据集上以10%稀疏度取得最优结果,并证明稀疏网络比稠密网络更抗视觉噪声。
2023-07-10 cs.CV
Noise-Tolerant Paradigm for Training Face Recognition CNNs
Beijing University of Chemical Technology(北京化工大学);Yunshitu Corporation(云视途公司)
得益于大规模训练数据集,深度卷积神经网络(CNN)在人脸识别(FR)方面取得了令人印象深刻的结果。然而,巨大规模的数据集不可避免地导致噪声数据,这明显降低了训练的CNN模型的性能。从大规模FR数据集中踢出错误的标签仍然非常昂贵,尽管提出了一些清理方法。通过对基于角间隔损失(angular margin based loss,AM-Loss)函数监督下的CNN模型训练全过程的分析,发现训练样本的$θ$分布隐含地反映了其干净的概率。因此,我们提出了一种新的训练范式,采用基于上述概率的加权样本的想法。在没有任何噪声先验知识的情况下,我们可以用大规模FR数据集训练高性能的CNN模型。实验证明了我们的训练范式的有效性。这些代码可在https://github.com/huangyangyu/NoiseFace上获得。
2019-03-26 cs.CV
Enhancing Robustness to Noise Corruption for Point Cloud Recognition via Spatial Sorting and Set-Mixing Aggregation Module
School of Computer Science, University of Sydney(悉尼大学计算机科学学院)
针对点云识别模型在现实噪声数据上鲁棒性不足的问题,本文通过网络架构设计提出噪声鲁棒的Set-Mixer聚合模块与排序策略,在ModelNet40-C上显著提升了噪声环境下的识别性能。
2024-11-15 cs.CV
Few-shot Open-set Recognition Using Background as Unknowns
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);Tencent(腾讯)
Few-Shot开集识别的目标是在已知类的有限训练数据的情况下对已知图像和新图像进行分类。这个任务的挑战是,模型不仅需要学习一个判别分类器,以用很少的训练数据对预定义的类进行分类,而且还需要拒绝来自从未在训练时出现的看不见的类的输入。在本文中,我们建议从两个新的方面来解决这个问题。首先,而不是学习的决策边界之间看到的类,如在标准的闭集分类,我们保留空间看不见的类,这样,位于这些地区的图像被识别为看不见的类。其次,为了有效地学习这样的决策边界,我们建议利用从看到的类的背景特征。由于这些背景区域对闭集分类的决策没有显着贡献,因此很自然地将它们用作分类器学习的伪不可见类。我们广泛的实验表明,我们提出的方法不仅优于多个基线,而且还在三个流行的基准测试中设置了新的最先进的结果,即tieredImageNet,miniImageNet和Caltech-USCD Birds-200-2011(CUB)。
2022-07-19 cs.CV
Boosting Few-shot Fine-grained Recognition with Background Suppression and Foreground Alignment
Nanjing University of Science and Technology(南京理工大学)
Few-Shot细粒度识别(FS-FGR)的目的是在有限样本的帮助下识别新的细粒度类别。毫无疑问,这项任务继承了来自少样本学习和细粒度识别的主要挑战。首先,缺乏标记样本使得学习模型容易过拟合。其次,它还受到数据集中高类内方差和低类间差异的影响。为了解决这个具有挑战性的任务,我们提出了一个两阶段的背景抑制和前景对齐框架,它是由一个背景激活抑制(BAS)模块,一个前景对象对齐(FOA)模块,和本地到本地(L2 L)的相似性度量。具体来说,引入BAS来生成用于定位的前景掩模,以削弱背景干扰并增强主导前景对象。FOA然后根据其对查询图像的校正来重建每个支持样本的特征图,这解决了支持-查询图像对之间的不对齐问题。为了使所提出的方法有能力捕捉混淆样本中的细微差异,我们提出了一种新的L2 L相似性度量,以进一步测量嵌入空间中一对对齐的空间特征之间的局部相似性。此外,考虑到背景干扰带来的鲁棒性差,我们推断的特征图的两两相似性使用的原始图像和细化图像。在多个流行的细粒度基准上进行的大量实验表明,我们的方法大大优于现有的最先进的方法。源代码可在https://github.com/CSer-Tang-hao/BSFA-FSFG上获得。
2023-01-19 cs.CV
Rawgment: Noise-Accounted RAW Augmentation Enables Recognition in a Wide Variety of Environments
Sony Group Corporation(索尼集团公司)
在具有挑战性的环境中工作的图像识别模型(例如,极暗、模糊或高动态范围条件)必须是有用的。然而,由于数据汇集和注释的困难,为这样的环境创建训练数据集是昂贵且困难的。如果我们能够在不需要难以获得的数据集的情况下获得一个强大的模型,这是可取的。一种简单的方法是将颜色抖动和模糊等数据增强应用于简单场景中的标准RGB(sRGB)图像。不幸的是,由于没有考虑图像信号处理器(ISP)的非线性和图像传感器的噪声特性,这种方法难以在像素强度和噪声分布方面产生逼真的图像。相反,我们提出了一种噪声占RAW图像增强方法。本质上,在应用非线性ISP之前,将颜色抖动和模糊增强应用于RAW图像,从而产生逼真的强度。此外,我们引入了一个噪声量对齐方法,校准的域间隙的噪声属性所造成的增强。我们表明,我们提出的噪声占RAW增强方法在具有挑战性的环境中,只有简单的训练数据的图像识别精度翻了一番。
2023-03-27 cs.CV eess.IV
NR-DFERNet: Noise-Robust Network for Dynamic Facial Expression Recognition
由于视频序列中含有大量的噪声帧,在野外进行动态人脸表情识别是一项极具挑战性的任务。以往的研究主要集中在提取更具鉴别力的特征,而忽略了关键帧与噪声帧的区分。为了解决这个问题,我们提出了一个噪声鲁棒的动态面部表情识别网络(NR-DFERNet),它可以有效地减少噪声帧对DFER任务的干扰。具体来说,在空间阶段,我们设计了一个动态-静态融合模块(DSF),它将动态特征引入静态特征,以学习更具鉴别力的空间特征。为了抑制目标无关帧的影响,我们在时间阶段为Transformer引入了一种新的动态类标记(DCT)。此外,我们在决策阶段设计了一个基于片段的过滤器(SF),以减少过多的中性帧对非中性序列分类的影响。大量的实验结果表明,我们的NR-DFERNet优于国家的最先进的方法在DFEW和AFEW基准。
2022-06-10 cs.CV
Median Pixel Difference Convolutional Network for Robust Face Recognition
人脸识别是计算机视觉中最活跃的任务之一,在现实世界中得到了广泛的应用。随着卷积神经网络(CNN)的发展,许多人脸识别算法在各种人脸数据集上都取得了很高的准确率。然而,现有的基于CNN的人脸识别算法容易受到噪声的影响。噪声破坏的图像模式可能导致错误激活,显着降低在嘈杂的情况下人脸识别的准确性。为了使CNN对不同级别的噪声具有内置的鲁棒性,我们提出了一种中值像素差卷积网络(MeDiNet),用新的中值像素差卷积层(MeDiConv)层取代了一些传统的卷积层。MeDiNet将传统的多尺度中值滤波与深度CNN相结合。MeDiNet在四个人脸数据集(LFW,CA-LFW,CP-LFW和YTF)上进行了测试,并对模糊内核,噪声强度,尺度和JPEG质量因子进行了多功能设置。大量的实验表明,我们的MeDiNet可以有效地去除特征图中的噪声像素,并抑制噪声的负面影响,导致在这些实际噪声下与干净条件下的标准CNN相比,精度损失有限。
2022-05-30 cs.CV eess.IV
Otter: Mitigating Background Distractions of Wide-Angle Few-Shot Action Recognition with Enhanced RWKV
本文提出Otter,通过Compound Segmentation和Temporal Reconstruction模块提升宽角少样本动作识别性能,有效突出主体并重建时间关系,实验表明其在多个数据集上达到最优效果。
2026-03-19 cs.CV
Noise Sensitivity of Local Descriptors vs ConvNets: An application to Facial Recognition
Durban University of Technology(德班理工大学)
局部二值模式(LBP)是Ojala等人提出的一种用于纹理识别的局部描述符。然而,LBP对噪声和光照变化敏感。因此,已经提出了对LBP的若干扩展(诸如中值二进制模式(MBP))和方法(诸如局部方向模式(LDP))来解决其缺点。尽管Zhou等人的研究表明,LDP在随机噪声存在下表现出较差的性能。最近,卷积神经网络(ConvNets)被引入,由于其辨别能力,卷积神经网络对于特征提取越来越流行。这项研究旨在评估ResNet50,ConvNet预训练模型和局部描述符(LBP和LDP)对噪声的敏感性,使用扩展的Yale B人脸数据集,在数据集中添加了5种不同的噪声水平。在我们的研究结果中,观察到尽管向数据集添加了不同程度的噪声,但ResNet50被证明比局部描述符(LBP和LDP)更鲁棒。
2018-10-26 cs.CV
Progressive Multi-task Anti-Noise Learning and Distilling Frameworks for Fine-grained Vehicle Recognition
针对细粒度车辆识别中图像噪声导致的类内变化问题,提出渐进式多任务抗噪学习与蒸馏框架,通过将去噪作为附加任务并迁移知识,在无额外开销下显著提升了识别精度。
2024-01-25 cs.AI cs.CV
Cascade one-vs-rest detection network for fine-grained recognition without part annotations
细粒度识别是一项具有挑战性的任务,由于类内的小方差。大多数性能最好的细粒度识别方法利用对象的部分来获得更好的性能。因此,需要在计算上极其昂贵的部件注释。在本文中,我们提出了一种新的级联深度CNN检测框架,用于细粒度识别,该框架经过训练可以检测整个对象而不考虑部分。然而,目前大多数性能最好的检测网络使用N+1类(N个对象类别加上背景)softmax损失,并且具有更多训练样本的背景类别主导了特征学习过程,因此特征对于具有较少样本的对象类别并不好。为了弥补这一差距,我们引入了级联结构来消除背景,并利用一个与休息损失,以捕捉不同的下属类别之间的更微小的差异。实验表明,我们提出的识别框架在CUB-200-2011 Bird数据集上实现了与最先进的,无部分的,细粒度的识别方法相当的性能。此外,我们的方法甚至优于大多数基于部分的方法,而在训练阶段不需要部分注释,并在测试阶段是免费的任何注释。
2017-08-23 cs.CV
Boosting Semi-Supervised Face Recognition with Noise Robustness
Australian National University(澳大利亚国立大学);JD AI Research(京东人工智能研究院);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
尽管深度人脸识别从大规模训练数据中受益匪浅,但目前的瓶颈是标签成本。一个可行的解决方案是半监督学习,利用一小部分的标记数据和大量的未标记数据。然而,主要的挑战是通过自动标签累积的标签错误,从而影响了训练。提出了一种有效的半监督人脸识别方法,该方法对自动标注所产生的标签噪声具有鲁棒性。具体来说,我们引入了一个多代理方法,名为GroupNet(GN),赋予我们的解决方案的能力,以识别错误标记的样本,并保留干净的样本。我们表明,GN单独实现了领先的准确性,在传统的监督人脸识别,即使在嘈杂的标签超过50%的训练数据。此外,我们开发了一种半监督人脸识别解决方案,命名为噪声鲁棒学习标记(NRoLL),它是基于GN赋予的鲁棒训练能力。它从少量标记数据开始,然后对大量未标记数据进行高置信度标记,以促进进一步的训练。NRoLL标记的数据越多,数据集中标签的置信度就越高。为了评估我们的方法的竞争力,我们在一个粗略的条件下运行NRoLL,即只有五分之一的标记MSCeleb可用,其余的用作未标记的数据。在广泛的基准测试中,我们的方法与最先进的方法相比毫不逊色。
2021-05-10 cs.CV
RepFace: Refining Closed-Set Noise with Progressive Label Correction for Face Recognition
Southwest Jiaotong University(西南交通大学);Queen Mary University of London(伦敦玛丽女王大学)
针对人脸识别中的闭集标签噪声问题,提出RepFace框架,通过早期噪声识别、样本分组、标签融合与平滑,实现渐进式标签修正,在主流数据集上达到最先进性能。
2024-12-16 cs.CV
A Novel Feature Extraction for Robust EMG Pattern Recognition
Prince of Songkla University(宋卡王子大学)
各种噪声是肌电信号识别的主要问题。因此,去除噪声的方法成为肌电信号分析中最重要的问题。本文采用高斯白噪声来表示干扰。通常,WGN难以使用典型的滤波来去除,并且去除WGN的解决方案是有限的。此外,噪声去除是执行特征提取之前的重要步骤,其用于基于EMG的识别。本研究的目的是提出一种新的特点,容忍与WGN。因此,不需要噪声去除算法。提出了两种新的均值和中值频率(MMNF和MMDF)用于鲁棒的特征提取。十六个现有的功能和两个新奇的评价在嘈杂的环境中。将具有各种信噪比(SNR)(即20-0 dB)的WGN添加到原始EMG信号中。实验结果表明,MMNF在肌电信号的识别中有很好的效果,尤其是在弱肌电信号的识别中。在信噪比为0 dB的强噪声背景下,MMNF的误差约为5- 10%,与MMDF和直方图相近,而其他特征的误差都在20%以上。而在强肌电信号中,MMNF的误差优于其他特征的误差。此外,MMNF,肌电信号直方图和Willison幅度的组合被用作分类任务的特征向量。实验结果表明,该方法在噪声环境下的识别效果优于其他候选特征。从以上结果表明,MMNF可以用于新的鲁棒特征提取。
2009-12-26 cs.CV
Learning Noise-Robust Joint Representation for Multimodal Emotion Recognition under Incomplete Data Scenarios
Inner Mongolia University(内蒙古大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对多模态情感识别中数据不完整和噪声问题,提出含噪声调度器和VAE模块的鲁棒模型,在IEMOCAP和CMU-MOSEI上验证有效。
2024-09-19 cs.AI cs.CV cs.LG
A method of limiting performance loss of CNNs in noisy environments
Samsung Electronics Co,Ltd.(三星电子有限公司)
卷积神经网络(CNN)识别率在存在噪声的情况下会下降。我们展示了一种新的方法,通过根据运行时遇到的噪声条件调整卷积层中神经元的偏差来抵消识别率的下降。我们将我们的技术与针对所有可能的噪声水平训练一个网络进行比较,通过使用去噪自动编码器预处理信号进行去雾,并针对每个噪声水平训练一个网络。我们的系统比较有利的鲁棒性,计算复杂性和识别率。
2017-02-03 cs.CV
Human Action Recognition without Human
National Institute of Advanced Industrial Science and Technology (AIST)(日本先进工业科学技术研究院(AIST))
针对背景特征可能主导动作识别的问题,本文提出“无人的人体动作识别”概念,并在 UCF101 等数据集上验证仅凭背景序列理解动作标签的效果。
2024-10-23 cs.CV cs.MM
Minimal Feature Analysis for Isolated Digit Recognition for varying encoding rates in noisy environments
Panjab University(潘贾布大学)
本研究工作是关于语音识别的最新进展。在这项研究工作中,孤立的数字识别在不同的比特率和不同的噪声水平的存在下进行了分析。本文的研究工作是在Audacity和HTK工具包的支持下完成的。隐马尔可夫模型(HMM)是用于执行该实验的识别模型。所使用的特征提取技术有梅尔倒谱系数(MFCC)、线性预测编码(LPC)、感知线性预测(PLP)、梅尔谱(MELSPEC)、滤波器组(FBANK)。有三种类型的不同的噪音水平已被考虑用于测试数据。这些噪声包括随机噪声、风扇噪声和实时的环境中的随机噪声。这样做是为了分析可用于实时的应用程序的最佳环境。此外,考虑了不同采样率下的五种不同类型的常用比特率,以找出最佳比特率。
2022-08-27 cs.CL cs.CV cs.IR
Hearing Lips in Noise: Universal Viseme-Phoneme Mapping and Transfer for Robust Audio-Visual Speech Recognition
Nanyang Technological University(南洋理工大学);University of Aberdeen(阿伯丁大学);University of Science and Technology of China(中国科学技术大学)
针对AVSR噪声鲁棒性依赖含噪训练数据且泛化不足的问题,提出基于人类感知的通用视位-音素映射方法,从视觉信号恢复干净音频,实现无监督噪声自适应,在LRS3和LRS2上取得最先进结果。
2023-06-18 cs.CV cs.MM cs.SD
A hierarchical framework for object recognition
University of California Berkeley(加州大学伯克利分校)
在背景杂乱和干扰物存在下的物体识别是神经科学和机器学习中的核心问题。然而,受皮质机制启发的模型的性能水平,包括深度网络,如卷积神经网络和深度信念网络,在存在噪声和背景对象的情况下显着降低[19,24]。在这里,我们开发了一个分层的计算框架,严重依赖于视觉皮层的关键特性,包括视觉区域V4和下颞叶皮层(IT)中的中级特征选择性[4,9,12,18],IT中的高度选择性和不变性[13,17,18]和内置于皮层电路的先验知识(例如在视觉体验开始之前初级视觉皮层中边缘检测神经元的出现)[1,21],并且解决了在存在背景噪声和干扰物的情况下的对象识别问题。我们的方法是专门设计来解决大变形,允许灵活的表示不同层之间的通信,并学习高度选择性的过滤器从少量的训练样本。
2014-10-28 cs.CV
ÖAGM/AAPR 2013 - The 37th Annual Workshop of the Austrian Association for Pattern Recognition
University of Innsbruck(因斯布鲁克大学);IST Austria(奥地利科学技术研究所);University of Graz(格拉茨大学)
在这篇社论中,组织者总结了事件的事实和背景。
2013-05-25 cs.CV
Max-C and Min-D Projection Autoassociative Fuzzy Morphological Memories: Theory and an Application for Face Recognition
Exact and Technological Science Center, Federal University of Recôncavo da Bahia(巴伊亚州联邦大学精确与技术科学中心);Department of Applied Mathematics, University of Campinas(坎皮纳斯大学应用数学系)
Max-C和min-D投影自联想模糊形态记忆(max-C和min-DPAFNN)是一种两层前馈模糊形态神经网络,能够实现超立方体上有限模糊集或向量的联想记忆。在本文中,我们解决这些自联想记忆的主要特点,其中包括无限的绝对存储容量,存储项目的快速检索,一些虚假的记忆,以及一个很好的容忍无论是膨胀噪声或侵蚀噪声。特别注意的是,所谓的PAFMM的Zadeh,除了不执行浮点运算,表现出最大的噪声容限之间的最大-C和最小-D PAFMM。计算实验表明,Zadeh的最大-C PFAMM,结合噪声掩蔽策略,产生一个快速和强大的分类器,具有强大的潜力,人脸识别。
2019-08-31 cs.CV
LA-Net: Landmark-Aware Learning for Reliable Facial Expression Recognition under Label Noise
Peking University(北京大学)
针对 FER 中噪声标签损害性能的问题,提出 LA-Net,利用面部关键点进行标签分布构建和表情-关键点对比学习,在不增加推理成本的情况下达到最先进性能。
2023-07-20 cs.CV
Object Recognition with and without Objects
Johns Hopkins University(约翰斯·霍普金斯大学)
虽然最近的深度神经网络在对象识别方面取得了很好的性能,但它们隐含地依赖于整个图像的视觉内容。在本文中,我们训练深度神经网络分别对图像的前景(对象)和背景(上下文)区域。考虑到人类在相同情况下的识别,在没有对象的纯背景上训练的网络实现了高度合理的识别性能,如果只给定上下文,则可以大幅击败人类。然而,人类仍然优于纯对象可用的网络,这表明网络和人类在理解图像方面有不同的机制。此外,我们直接将多个经过训练的网络结合起来,以探索不同网络学习到的不同视觉线索。实验结果表明,该框架可以显式地分别学习有用的视觉提示,然后将其组合起来,从而获得更高的性能,验证了该框架的优越性。
2017-05-25 cs.CV
Deep-Learning Recognition of Scanning Transmission Electron Microscopy: Quantifying and Mitigating the Influence of Gaussian Noises
Missouri University of Science and Technology(密苏里科技大学);State University of New York(纽约州立大学)
本研究提出深度学习Mask R-CNN模型识别STEM成像的纳米颗粒,发现高斯噪声决定识别精度,通过应用高斯和非局部均值滤波器有效缓解噪声影响,显著提高识别准确率。
2024-09-25 cs.CV eess.IV
Modal Regression based Atomic Representation for Robust Face Recognition
Chengdu University(成都大学);University of Macau(澳门大学);Hubei University(湖北大学);University of Texas, Arlington(德克萨斯大学阿灵顿分校)
近年来,基于表示的分类(RC)方法,如稀疏RC(SRC)在人脸识别中显示出巨大的潜力。以往的RC方法大多基于传统的回归模型,如Lasso回归、岭回归或组Lasso回归。这些回归模型本质上对查询样本中的噪声变量的分布(诸如高斯或拉普拉斯分布)施加预定义的假设。然而,在实际应用中,复杂的噪声可能会违背这些假设,并阻碍这些RC方法的性能。在本文中,我们提出了一个基于模态回归的原子表示和分类(MRARC)框架,以减轻这种限制。与以前的RC方法不同,MRARC框架不要求噪声变量遵循任何特定的预定义分布。这使得MRARC能够处理现实中的各种复杂噪声。使用MRARC作为一个通用的平台,我们还开发了四个新的RC方法,分别为单峰和多峰人脸识别。此外,我们设计了一个通用的优化算法的基础上的交替方向的乘法器(ADMM)和半二次理论的统一MRARC框架。在真实数据集上的实验验证了MRARC的鲁棒人脸识别效果。
2017-11-05 cs.CV
PointCAT: Contrastive Adversarial Training for Robust Point Cloud Recognition
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Simon Fraser University(西蒙弗雷泽大学);Wormpex AI Research LLC(Wormpex人工智能研究有限责任公司)
尽管点云识别模型在各种应用中取得了突出的性能,但它经常遭受自然破坏和对抗性扰动。在本文中,我们深入研究了点云识别模型的一般鲁棒性,并提出了点云对比对抗训练(PointCAT)。PointCAT的主要直觉是鼓励目标识别模型缩小干净点云和损坏点云之间的决策差距。具体而言,我们利用监督对比损失,以促进识别模型提取的超球体特征的对齐和均匀性,并设计了一对集中损失与动态原型指导,以避免这些特征偏离其所属的类别集群。为了提供更具挑战性的损坏点云,我们从头开始对抗性地训练噪声发生器和识别模型,而不是像以前的对抗性训练方法那样使用基于梯度的攻击作为内环。实验结果表明,该方法在各向同性点噪声、LiDAR模拟噪声、随机点丢失和对抗性扰动等多种干扰下,识别效果优于基线方法,显著提高了不同点云识别模型的鲁棒性。
2022-09-16 cs.CV
VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition
Imperial College London(帝国理工学院伦敦分校);NatWest AI Research(NatWest人工智能研究)
提出VIB-AVSR,通过在LLM骨干中插入变分信息瓶颈层来正则化表示,无需架构修改或额外数据,即可在多种噪声条件下提升AVSR鲁棒性。
2026-06-28 cs.CV cs.SD eess.AS
Noise-Tolerant Learning for Audio-Visual Action Recognition
针对视频数据中的噪声标签与音视频噪声对应问题,提出两阶段噪声容忍学习框架,通过跨模态噪声估计、类别级对比损失和特征距离纠错提升动作识别鲁棒性。
2023-09-11 cs.CV cs.MM
Streaming Networks: Enable A Robust Classification of Noise-Corrupted Images
JapanTaxi(日本出租车公司)
卷积神经网络(conv nets)在图像和视频处理的许多应用中取得了最先进的性能。最近的研究表明,卷积网络是脆弱的识别精度方面的各种图像失真,如噪声,缩放,旋转等,在这项研究中,我们专注于随机噪声失真图像的鲁棒识别精度的问题。这个问题的一个常见解决方案是将大量噪声图像添加到训练数据集中,这可能非常昂贵,或者使用复杂的损失函数和去噪技术。我们介绍了一种新的多流conv网结构。每个流都以原始图像的某个强度切片作为输入,并且流参数被独立地训练。我们称这种新颖的网络为“流网络”。我们的研究结果表明,Streaming Net在噪声污染图像的识别准确性方面优于1-stream conv net(用作单流)和1-stream wide conv net(采用与Streaming Net相同数量的滤波器),而在几乎所有测试中,无噪声图像的识别准确性相同或更高。因此,我们引入了一种新的简单的方法来增加噪声图像识别的鲁棒性,而不使用数据生成或复杂的训练技术。
2019-10-23 cs.CV eess.IV
Noise-Resistant Multimodal Transformer for Emotion Recognition
China University of Geosciences (Wuhan)(中国地质大学(武汉));JD Explore Academy, JD.com(京东集团京东探索研究院);Australian Catholic University(澳大利亚天主教大学);The University of Sydney(悉尼大学)
针对多模态情感识别易受噪声干扰的问题,提出含抗噪声通用特征提取器与Transformer的NORM-TR框架,结合噪声感知学习策略提升鲁棒性,在多个数据集上取得当前最优性能。
2023-05-04 cs.AI cs.CV cs.HC
Autoencoder-based background reconstruction and foreground segmentation with background noise estimation
Mines ParisTech(巴黎高等矿业学院);PSL University(巴黎文理研究大学)
即使经过几十年的研究,动态场景背景重建和前景对象分割仍然被认为是开放的问题,由于各种挑战,如照明变化,相机运动,或由空气湍流或移动树木引起的背景噪声。在本文中,我们建议使用自动编码器将帧序列的背景建模为低维流形,并将该自动编码器提供的重建背景与原始图像进行比较,以计算前景/背景分割掩模。该模型的主要新颖之处在于,自动编码器也被训练来预测背景噪声,这允许为每帧计算一个依赖于像素的阈值来执行前景分割。虽然所提出的模型不使用任何时间或运动信息,但它超过了CDnet 2014和LASIESTA数据集上无监督背景减除的最新技术水平,对摄像机移动的视频有显着改进。它还能够对一些非视频图像数据集进行背景重建。
2022-05-10 cs.CV
V-NAW: Video-based Noise-aware Adaptive Weighting for Facial Expression Recognition
Korea Institute of Science and Technology(韩国科学技术院);AI-Robotics, KIST School, University of Science and Technology(AI机器人,KIST学院,科学技术大学)
针对 ABAW 挑战赛基于视频的 EXPR 识别任务,提出 V-NAW 自适应帧加权方法并结合帧间冗余削减增强策略,以缓解标签模糊、类别不平衡和过拟合,显著提升视频 FER 性能。
2025-05-12 cs.CV
Powerful Physical Adversarial Examples Against Practical Face Recognition Systems
NEC Corporation(日本电气股份有限公司)
众所周知,大多数现有的基于机器学习(ML)的安全关键应用程序都容易受到精心制作的输入实例(称为对抗性示例(AX))的攻击。对手可以方便地从数字和物理世界攻击这些目标系统。本文的目的是针对人脸识别系统的鲁棒物理AX的生成。我们提出了一种新的平滑损失函数和补丁噪声组合攻击实现强大的物理AX。平滑性损失在攻击生成过程中干扰了延迟约束的概念,从而导致更好地处理优化复杂性和物理域的平滑AX。补丁噪声组合攻击结合补丁噪声和来自不同分布的难以察觉的小噪声,以生成强大的基于配准的物理AX。一个广泛的实验分析发现,我们的平滑损失的结果在强大的和更可转移的数字和物理AX比传统的技术。值得注意的是,我们的平滑损失导致物理白盒和黑盒攻击的平均攻击成功率(ASR)分别提高了1.17和1.97倍。我们的补丁噪声组合攻击进一步提高了性能增益,在物理世界的白盒和黑盒攻击中,平均ASR分别比传统技术高2.39和4.74倍。
2022-03-23 cs.AI cs.CR cs.CV
ALBAR: Adversarial Learning approach to mitigate Biases in Action Recognition
Center for Research in Computer Vision, University of Central Florida(中佛罗里达大学计算机视觉研究中心)
针对动作识别中的前景与背景偏见问题,提出无需偏见表征先验的对抗训练方法ALBAR,通过熵最大化与梯度惩罚损失实现去偏,在HMDB51上联合去偏性能提升超12%,并改进了UCF101的偏见评估协议。
2025-03-02 cs.CR cs.CV
ReSup: Reliable Label Noise Suppression for Facial Expression Recognition
Hefei University of Technology(合肥工业大学);University of Sydney(悉尼大学);National Institute of Informatics(国立情报学研究所);University of Electronic Science and Technology of China(电子科技大学)
针对面部表情识别中标签噪声判定不可靠的问题,本文提出ReSup方法,通过同时对噪声与干净标签分布建模,并利用双网络交换判定以提升噪声抑制可靠性,在多个基准上取得显著提升。
2023-05-29 cs.CV cs.HC