MFCC-based Recurrent Neural Network for Automatic Clinical Depression Recognition and Assessment from Speech
Université Paris-Est(巴黎东部大学);INSAT Institut National des Sciences Appliquées et de Technologie(突尼斯应用科学与技术学院);Yobitrust(优比特信托公司);University of Sciences and Arts in Lebanon(黎巴嫩科学与艺术大学);Université de Bourgogne Franche Comté(勃艮第-弗朗什-孔泰大学)
临床抑郁症或重度抑郁症(MDD)是一种常见的严重医学疾病。本文提出了一种基于深度递归神经网络的框架来检测抑郁症并从语音中预测其严重程度。从音频记录中提取低级别和高级别音频特征,以预测患者健康问卷的24个分数和抑郁症诊断的二元分类。为了克服语音抑郁识别(SDR)数据集规模小的问题,考虑扩展训练标签和转移特征。该方法优于DAIC-WOZ数据库上的最新方法,在评估抑郁症时的总体准确率为76.27%,均方根误差为0.4,而在预测抑郁症严重程度时的均方根误差为0.168。该框架具有快速、非侵入性和非入侵性等优点,便于实时应用。在多模态和多特征的实验中,对所提出的方法的性能进行了评估。基于MFCC的高级特征包含与抑郁症相关的信息。然而,添加视觉动作单元和不同的其他声学特征进一步将分类结果提高了20%和10%,分别达到95.6%和86%的准确率。考虑到视觉-面部模态需要仔细研究,因为它会引发患者隐私问题,同时添加更多的声学特征会增加计算时间。
2020-03-12 cs.AI cs.HC cs.LG
Training-Free Synthesized Face Sketch Recognition Using Image Quality Assessment Metrics
人脸素描合成具有广泛的应用范围,从数字娱乐到执法。客观图像质量评价分数和人脸识别准确率是评价合成性能的两个主要工具。本文提出了一种基于全参考图像质量评价指标的合成人脸素描识别框架。四个国家的最先进的方法生成的合成草图被用来测试所提出的识别框架的性能。在图像质量评价指标方面,采用了经典的结构化相似性指标和视觉信息保真度、特征相似性指标和梯度幅值相似性偏差三种常用的图像质量评价指标。大量的实验与基线方法相比,说明了所提出的合成人脸素描识别框架的有效性。本文中的数据和实现代码可以在www.ihitworld.com/WNN/IQA_Sketch.zip上获得。
2016-03-25 cs.CV
Spatio-Temporal Pyramid Graph Convolutions for Human Action Recognition and Postural Assessment
University of Washington(华盛顿大学);Honda Research Institute(本田研究院)
由于人类行为及其与物体和环境的相关交互的识别在各种领域中具有潜在的应用,因此它是计算机视觉中的一个重要问题。最通用的方法可以推广到各种环境,并处理杂乱的背景,遮挡和视点变化。其中,基于从骨架提取特征的图卷积网络的方法已经展示了有前途的性能。在本文中,我们提出了一种新的时空金字塔图卷积网络(ST-PGN)的在线动作识别的人体工程学风险评估,使所有级别的骨架特征层次结构的使用功能。该算法优于在两个通常用于姿势评估的公共基准数据集(TUM和UW-IOM)上测试的最先进的动作识别算法。我们还引入了一个管道,以提高在线动作识别技术的姿势评估方法。最后,将该算法与传统的人体工程学风险指数(REBA)相结合,以证明其在职业安全中对肌肉骨骼疾病评估的潜在价值。
2019-12-07 cs.CV cs.LG
Apples and Oranges? Assessing Image Quality over Content Recognition
Norwegian Researcher Centre(挪威研究中心);Hong Kong University of Science and Technology(香港科技大学)
图像识别和质量评估是两个重要的视觉任务,但可能遵循不同的视觉机制。本文探讨了这两个任务是否可以在一个多任务学习的方式进行。提出了一个顺序空间通道注意力模型来模拟视觉注意力和对比敏感度机制,这对内容识别和质量评估至关重要。空间注意力在内容识别和质量评估之间共享,而通道注意力仅用于质量评估。该注意力模块被集成到Transformer中,为两个观看任务建立统一的模型。实验结果表明,所提出的统一模型可以实现质量评估和内容识别任务有前途的性能。
2023-01-31 cs.CV eess.IV
Recognition Oriented Iris Image Quality Assessment in the Feature Space
UCAS(中国科学院大学);CASIA(中国科学院自动化研究所)
在真实场景中,由于环境的不可控性和主体的非合作性,大部分虹膜图像的质量都很差。为了保证识别算法不受低质量图像的影响,传统的基于手工因子的方法会丢弃大部分图像,这会导致系统超时并破坏用户体验。针对这一问题,本文提出了一种面向虹膜识别的虹膜图像质量度量和评价方法。该方法将虹膜图像嵌入的特征空间距离(DFS)作为质量度量,并基于具有注意力机制的深度神经网络进行预测。本文提出的质量度量可以显着提高识别算法的性能,同时减少识别丢弃的图像的数量,这是优于手工制作的因素为基础的虹膜质量评估方法。提出了图像拒绝率(IRR)和等误率(EER)之间的关系,以评价在相同图像质量分布和相同识别算法下质量评价算法的性能。相对于手工因素的方法,所提出的方法是一种尝试,以弥补图像质量评估和生物特征识别之间的差距。该代码可在https://github.com/Debatrix/DFSNet上获得。
2020-09-27 cs.CV eess.IV
Human Action Recognition and Assessment via Deep Neural Network Self-Organization
Universität Hamburg(汉堡大学)
对人的行为进行鲁棒的识别和评估是人机交互领域的关键。虽然最先进的动作感知模型在大规模动作数据集中显示出显著的效果,但它们大多缺乏在自然HRI场景中操作所需的灵活性、鲁棒性和可扩展性,这些场景需要连续获取感官信息以及实时的分类或评估人体模式。在本章中,我将介绍一组分层模型,用于通过使用神经网络自组织来从深度图和RGB图像中学习和识别动作。这些模型的一个特点是使用不断增长的自组织网络,快速适应非平稳分布,并实现专用的机制,从时间相关的输入持续学习。
2020-02-16 cs.CV cs.LG cs.RO
Face Quality Estimation and Its Correlation to Demographic and Non-Demographic Bias in Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形研究所);TU Darmstadt(达姆施塔特工业大学)
人脸质量评估的目的是估计人脸图像的识别目的的效用。它是实现高性能人脸识别的关键因素。目前,这些人脸识别系统的高性能是以对人口统计和非人口统计子群体的强烈偏见为代价的。最近的工作表明,人脸质量评估算法应该适应部署的人脸识别系统,以实现高度准确和鲁棒的质量估计。然而,这可能导致对面部质量评估的偏见转移,从而导致歧视性影响,例如在注册期间。在这项工作中,我们提出了一个深入的分析人脸识别和人脸质量评估的偏见之间的相关性。实验在两个公开的数据集上进行,这些数据集是在受控和非受控的情况下捕获的,具有两种流行的人脸嵌入。我们评估了四种最先进的面部质量评估解决方案,包括对姿势,种族和年龄的偏见。实验表明,人脸质量评估解决方案分配给受识别偏差影响的子组的质量值显着较低,表明这些方法也有偏差。这就提出了关于公平和歧视的伦理问题,未来的工作必须解决这些问题。
2020-07-10 cs.CV
Applying Incremental Deep Neural Networks-based Posture Recognition Model for Injury Risk Assessment in Construction
The Pennsylvania State University(宾夕法尼亚州立大学)
监测尴尬的姿势是预防建筑中肌肉骨骼疾病(MSD)的一种积极措施。机器学习(ML)模型已经显示出用于可穿戴传感器的姿势识别的有希望的结果。然而,还需要进一步的研究:i)增量学习(IL),其中训练的模型适应学习新的姿势并控制对已学习姿势的遗忘; ii)对已识别姿势的MSD评估。本研究提出了一个增量卷积长短期记忆(CLN)模型,研究了有效的IL策略,并评估MSDs评估使用公认的姿势。对9名工人的测试表明,具有浅卷积层的CLN模型在个性化(0.87)和广义(0.84)建模下实现了高识别性能(F1得分)。在多对一IL方案下的广义浅层CLN模型可以平衡学习对象的适应(0.73)和遗忘(0.74)。使用从增量CLN模型识别的姿势进行的MSD评估与地面实况存在微小差异,这表明在施工中自动化MSD监测的潜力很大。
2020-08-04 cs.CV cs.LG eess.IV
Presentation Attack Detection for Iris Recognition: An Assessment of the State of the Art
Research and Academic Computer Network (NASK)(研究与学术计算机网络(NASK));University of Notre Dame(圣母大学)
虹膜识别越来越多地用于大规模应用。因此,虹膜识别中的呈现攻击检测具有重要意义。本调查涵盖了关于这一主题的各种研究文献。不同类别的演示攻击进行了描述,并放置在一个应用程序相关的框架,并在检测每一类攻击的最新技术进行了总结。由此得出的一个结论是,虹膜识别的呈现攻击检测尚未解决。本书描述了可供研究的数据集,概述了近期和中期的研究方向,并提出了一份推荐阅读材料的简短清单。
2018-06-13 cs.CV
Automated Sperm Assessment Framework and Neural Network Specialized for Sperm Video Recognition
Yokohama National University(横滨国立大学);Yokohama City University Medical Center(横滨市立大学医学中心)
针对现有精子评估忽视运动与多形态且标签单一的问题,构建含头颈尾的视频数据集并用软标签,提出RoSTFine网络提升评估性能并聚焦关键部位。
2023-11-13 cs.CV
Deep Tiny Network for Recognition-Oriented Face Image Quality Assessment
Academy of Military Sciences(军事科学院);National University of Defense Technology(国防科技大学)
针对低质量人脸导致识别不稳定的问题,提出无参考质量度量与微型tinyFQnet,在IJB-B和YTF上以更小模型取得优于现有方法的效果与效率。
2024-01-21 cs.CV
Information-Theoretic Bias Assessment Of Learned Representations Of Pretrained Face Recognition
University of Southern California(南加州大学)
随着人脸识别使用中的平等问题最近引起了很多关注,人们已经做出了更大的努力来消除深度学习模型的偏见,以提高对少数群体的公平性。然而,仍然没有明确的定义,也没有充分的分析偏倚评估指标。我们提出了一个信息理论的,独立的偏见评估指标,以确定对受保护的人口统计属性的偏见程度从预先训练的面部识别系统的学习表示。我们的度量标准不同于其他依赖于分类准确性或检查使用浅层网络预测的受保护属性的地面实况和预测标签之间的差异的方法。此外,我们认为,从理论上和实验上,logits水平的损失是不足以解释偏见,因为基于神经网络的预测总是会发现相关性。此外,我们提出了一个合成数据集,以缓解某些队列中样本不足的问题。最后,我们建立了一个基准度量,与其他度量相比,具有清晰的歧视性和小的变化,并评估不同的去偏模型的性能与建议的度量。
2021-11-09 cs.CV
SATR-DL: Improving Surgical Skill Assessment and Task Recognition in Robot-assisted Surgery with Deep Neural Networks
目的:本文主要研究机器人辅助手术中手术运动轮廓的自动分析,用于客观的技能评估和任务识别。现有的技术严重依赖于传统的统计措施或浅建模的基础上手工设计的功能和手势分割。这样的发展需要大量的专业知识,容易出错,并且在线自适应训练系统的效率较低。研究方法:在这项工作中,我们提出了一个有效的分析框架与并行的深度学习架构,SATR-DL,以评估受训者的专业知识和认识手术培训活动。通过端到端的学习技术,直接从原始运动序列中联合获得空间表示和时间动态的抽象信息。结果如下:通过利用共享的高级表示学习,所得到的模型在识别受训者技能和手术任务、缝合、穿针和打结方面是成功的。与此同时,我们探讨了集成在分类中的使用在审判的水平,其中SATR-DL优于国家的最先进的性能,分别达到0.960和1.000的准确率在技能评估和任务识别。结论:这项研究强调了SATR-DL在智能机器人手术中为有效的数据驱动评估提供改进的潜力。
2018-06-15 cs.CV cs.RO
Fun Selfie Filters in Face Recognition: Impact Assessment and Removal
NTNU(挪威科技大学);Hochschule Darmstadt(达姆施塔特应用技术大学)
这项工作研究了经常用于修改自拍的有趣自拍过滤器对人脸识别系统的影响。基于对免费移动应用程序的定性评估和分类,选择了十个相关的有趣自拍滤镜来创建数据库。为此,所选择的过滤器被自动应用于公共面部图像数据库的面部图像。使用不同的最先进的方法来评估有趣的自拍过滤器对使用dlib,RetinaFace和COTS方法进行人脸检测的性能,FaceQNet和MagFace估计的样本质量以及使用ArcFace和COTS算法的识别准确性的影响。所获得的结果表明,自拍过滤器对面部识别模块产生负面影响,特别是如果有趣的自拍过滤器覆盖了面部的大区域,其中嘴巴,鼻子和眼睛被覆盖。为了减轻这种不必要的影响,提出了一种基于GAN的自拍滤波器去除算法,该算法由分割模块、感知网络和生成模块组成。在跨数据库实验中,所提出的自拍过滤器去除技术的应用已经显示出显着提高了底层人脸识别系统的生物识别性能。
2022-02-12 cs.CV
MagFace: A Universal Representation for Face Recognition and Quality Assessment
Aibee Inc.(爱笔智能有限公司)
人脸识别系统的性能随着人脸的变异性的增加而下降。先前的工作通过监测预处理中的面部质量或预测数据不确定性以及面部特征来解决这个问题。本文提出了MagFace,这是一类损失,它学习了一个通用的特征嵌入,其大小可以衡量给定人脸的质量。在新的损失下,可以证明,如果主体更有可能被识别,则特征嵌入的幅度单调增加。此外,MagFace还引入了一种自适应机制,通过将简单样本拉到类中心,同时将硬样本推开,来学习结构良好的类内特征分布。这可以防止模型在嘈杂的低质量样本上过度拟合,并提高野外人脸识别能力。在人脸识别、质量评估和聚类等方面进行的大量实验表明,该方法优于现有技术。该代码可在https://github.com/IrvingMeng/MagFace上获得。
2021-07-26 cs.CV
Assessing Bias in Face Image Quality Assessment
University of Ljubljana(卢布尔雅那大学)
人脸图像质量评估(FIQA)试图通过提供有关样本质量的额外信息来提高人脸识别(FR)性能。由于FIQA方法试图估计样本对人脸识别的效用,因此可以合理地假设这些方法受到底层人脸识别系统的严重影响。虽然现代人脸识别系统表现良好,但一些研究发现,这种系统经常表现出人口统计学偏见的问题。因此,FIQA技术也可能存在这样的问题。为了研究与FIQA方法相关的人口统计学偏差,本文提出了一项全面的研究,涉及各种质量评估方法(通用图像质量评估,监督人脸质量评估和无监督人脸质量评估方法)和三种不同的最先进的FR模型。我们对野生平衡面孔(BFW)数据集的分析表明,所有考虑的技术都受到种族差异的影响,而不是性别。虽然通用的图像质量评估方法似乎是不太偏置的两个人口统计因素考虑,监督和无监督的人脸图像质量评估方法都表现出强烈的偏见,有利于白人(无论性别)的倾向。此外,我们发现,种族偏见较少的方法整体表现较差。这表明FIQA方法中观察到的偏差在很大程度上与底层人脸识别系统有关。
2022-11-28 cs.CV
ToddlerAct: A Toddler Action Recognition Dataset for Gross Motor Development Assessment
University of Washington(华盛顿大学);National Chiayi University(国立嘉义大学)
本文提出幼儿大肌肉动作识别数据集ToddlerAct,通过视频记录三岁以下幼儿的多种大肌肉活动,并基准测试图像与骨架动作识别方法,为幼儿运动发展评估奠定基础。
2024-08-31 cs.CV
Empirical Assessment of End-to-End Iris Recognition System Capacity
Clarkson University(克拉克森大学);West Virginia University(西弗吉尼亚大学)
Iris是生物识别应用中的一种成熟模式,包括消费电子产品,电子商务,边境安全,取证和全国范围内的身份重复数据删除。鉴于生物识别的使用范围不断扩大,身份冲突(当来自两个不同人的模板匹配时)是系统部署的一个必要考虑因素。本研究探讨了系统容量估计经验估计的约束能力的端到端的虹膜识别系统(近红外系统与道格曼为基础的特征提取)在一个可接受的出错率,即系统可以解决之前遇到错误。我们研究了六个系统参数对虹膜识别系统的约束能力的影响-注册身份的数量,图像质量,模板尺寸,随机特征消除,滤波器分辨率和系统工作点。在我们的评估中,我们分析了24种不同系统配置中每种配置的5158个唯一身份的1320万次比较。这项工作提供了一个框架,以更好地了解虹膜识别系统的能力作为生物识别系统配置的功能超出了操作点,大规模的应用。
2023-03-20 cs.CV eess.IV
Accounting for Affect in Pain Level Recognition
University of South Florida(南佛罗里达大学);National Institutes of Health(美国国立卫生研究院)
在这项工作中,我们解决了影响自动疼痛评估的重要性和现实世界中的影响。为了实现这一目标,我们通过合并公开的bioVid疼痛和情绪数据集来策划一个新的生理数据集。然后,我们研究疼痛水平识别这个数据集模拟参与者的自然情感行为。我们的研究结果表明,承认疼痛评估的影响是必不可少的。当我们模拟情感的存在来验证疼痛评估模型时,我们观察到识别性能的下降;相反,当我们考虑情感时,我们观察到识别性能的提升。
2020-11-15 cs.CV
A Comprehensive Survey of Image-Based Food Recognition and Volume Estimation Methods for Dietary Assessment
University of Malaya(马来亚大学)
饮食研究显示,与饮食有关的问题,如肥胖,与其他慢性疾病有关,如高血压、不规则的血糖水平和心脏病发作的风险增加。这些问题的主要原因是不良的生活方式选择和不健康的饮食习惯,这些都是可以使用交互式mHealth应用程序进行管理的。然而,使用人工食物记录的传统饮食监测系统存在不精确、漏报、耗时和低依从性的问题。最近的饮食监测系统通过机器学习方法自动评估饮食摄入量来应对这些挑战。本调查讨论了迄今为止为自动食物识别和体积估计开发的最有效的方法。首先,我们将介绍基于视觉的食品识别方法的基本原理。本文的核心是介绍,讨论和评价这些方法对流行的食品图像数据库。接下来,我们讨论了实现这些方法的移动应用程序。调查最后讨论了这一领域的研究差距和开放问题。
2021-09-03 cs.CV eess.IV
Infant Fingerprints: Quality Assessment & Recognition
Federal University of Technology - Paraná (UTFPR)(巴拉那联邦技术大学);Michigan State University(密歇根州立大学)
该研究针对婴儿指纹识别受生理与采集挑战阻碍的问题,在多年龄组纵向数据集上评估十种指纹质量评估方法,通过参数调优重新校准框架,提升了婴儿指纹识别的可靠性。
2026-10-14 cs.CV
A Mobile Food Recognition System for Dietary Assessment
Istanbul Technical University(伊斯坦布尔理工大学);Hamad bin Khalifa University(哈马德·本·哈利法大学)
食物识别是各种应用的重要任务,包括管理健康状况和帮助视力受损的人。一些食物识别的研究集中在一般类型的食物或特定的美食,然而,食物识别方面的中东美食仍然是未经探索的。因此,在本文中,我们专注于开发一个移动友好,中东美食为重点的食品识别应用程序辅助生活的目的。为了实现低延迟、高准确度的食品分类系统,我们选择使用Mobilenet-v2深度学习模型。由于一些食物比其他食物更受欢迎,因此所使用的中东食物数据集中每个类别的样本数量相对不平衡。为了弥补这个问题,数据增强方法被应用于代表性不足的类。实验结果表明,使用Mobilenet-v2架构的这项任务是有益的准确性和内存的使用。该模型对23种食物类别的准确率达到94%,开发的移动应用程序有可能通过图像为视障人士提供自动食物识别服务。
2022-04-20 cs.CV
FROQ: Observing Face Recognition Models for Efficient Quality Assessment
University of Ljubljana(卢布尔雅那大学);Dalian University of Technology(大连理工大学)
本文提出FROQ,一种半监督免训练的人脸图像质量评估方法,通过利用FR模型中间表示和基于样本扰动的伪标签校准,在四个FR模型和八个数据集上以高效运行时间取得与最先进方法相当的性能。
2025-09-22 cs.CV
On the Robustness of Face Recognition Algorithms Against Attacks and Bias
IIIT-Delhi(德里印度理工学院);IIT-Jodhpur(焦特布尔印度理工学院)
人脸识别算法已经表现出非常高的识别性能,这表明其适用于现实世界的应用。尽管提高了准确性,这些算法对攻击和偏见的鲁棒性受到了挑战。本文总结了人脸识别算法的鲁棒性受到挑战的不同方式,这可能严重影响其预期的工作。已经讨论了不同类型的攻击,例如物理呈现攻击、伪装/化妆、数字对抗攻击和使用GANs的变形/篡改。我们还讨论了偏见对人脸识别模型的影响,并展示了年龄和性别变化等因素会影响现代算法的性能。本文还提出了这些挑战的潜在原因和一些未来的研究方向,以提高人脸识别模型的鲁棒性。
2020-02-07 cs.CV
FaceQnet: Quality Assessment for Face Recognition based on Deep Learning
UAM(马德里自治大学);European Commission, JRC(欧盟委员会联合研究中心)
在本文中,我们开发了一种基于深度学习的人脸识别质量评估方法。该方法包括一个卷积神经网络,FaceQnet,这是用来预测一个特定的输入图像的人脸识别目的的适用性。FaceQnet的训练使用VGGFace2数据库完成。我们采用BioLab-ICAO框架来标记VGGFace2图像,其中包含与其ICAO合规级别相关的质量信息。地面实况质量标签是使用FaceNet获得的,以生成比较分数。我们使用地面实况数据来微调基于ResNet的CNN,使其能够为每个输入图像返回数值质量度量。最后,我们验证了FaceQnet分数是否适合预测预期的性能时,采用特定的图像与COTS人脸识别系统进行人脸识别。从这项工作中可以得出若干结论,最值得注意的是:1)我们设法采用现有的ICAO合规框架和预训练的CNN来自动标记具有质量信息的数据,2)我们通过微调预训练的人脸识别网络来训练FaceQnet进行质量估计(ResNet-50),以及3)我们已经证明,FaceQnet的预测与开发过程中未使用的最先进商业系统的人脸识别准确性高度相关。FaceQnet在GitHub上公开。
2019-04-04 cs.CV cs.LG eess.IV
Patch-based Probabilistic Image Quality Assessment for Face Selection and Improved Video-based Face Recognition
NICTA(澳大利亚国家信息与通信技术研究院);The University of Queensland(昆士兰大学)
在基于视频的人脸识别中,人脸图像通常在不受控制的条件下在多个帧上捕获,其中头部姿势、照明、阴影、运动模糊和焦点在序列上变化。此外,面部定位的不准确也会引入尺度和对齐变化。使用所有人脸图像,包括质量差的图像,实际上会降低人脸识别性能。虽然一种解决方案是仅使用图像的“最佳”子集,但是当前的面部选择技术不能同时处理所有上述问题。我们提出了一个有效的基于块的人脸图像质量评估算法,量化的相似性的人脸图像的概率人脸模型,代表一个“理想”的脸。影响识别的图像特征被考虑在内,包括几何对齐(移位、旋转和缩放)、锐度、头部姿势和投射阴影的变化。在FERET和PIE数据集上的实验表明,该算法能够同时识别最正面、对齐、清晰和光照良好的图像。在一个新的视频监控数据集(称为ChokePoint)上的进一步实验表明,该方法提供了比现有人脸选择技术更好的人脸子集,从而显着提高了识别精度。
2014-03-14 cs.CV stat.AP
LMC: Large Model Collaboration with Cross-assessment for Training-Free Open-Set Object Recognition
SUTD(新加坡科技设计大学);Meta
针对开放集目标识别中依赖虚假特征的问题,提出免训练的大模型协作框架LMC,利用不同大模型的隐式知识,实验验证其有效性。
2023-12-21 cs.CV
Pose Impact Estimation on Face Recognition using 3D-Aware Synthetic Data with Application to Quality Assessment
Norwegian University of Science and Technology (NTNU)(挪威科技大学);Hochschule Darmstadt (h-da)(达姆施塔特应用技术大学)
本文构建3D感知合成姿态数据集Syn-YawPitch,量化俯仰角对人脸识别的影响,并提出符合ISO标准的轻量可解释姿态质量预测器。
2023-12-06 cs.CV cs.HC
ChatGPT and biometrics: an assessment of face recognition, gender detection, and age estimation capabilities
Norwegian University of Science and Technology (NTNU)(挪威科技大学(NTNU));Mizani Research Institute(米扎尼研究所);Idiap Research Institute(伊迪亚普研究所)
该研究设计提示策略绕过ChatGPT的安全防护,评估其在人脸识别、性别检测和年龄估计三类生物特征任务的能力,验证了大语言模型在该领域的应用潜力。
2024-12-11 cs.AI cs.CV
Robustness of Object Recognition under Extreme Occlusion in Humans and Computational Models
The Johns Hopkins University(约翰斯·霍普金斯大学);Harvard University(哈佛大学);Yonsei University(延世大学)
视觉世界中的大多数物体都被部分遮挡,但人类可以毫不费力地识别它们。然而,像卷积神经网络(CNN)这样的对象识别模型是否可以处理现实世界的遮挡仍然是未知的。这也是一个问题,是否努力使这些模型鲁棒恒定掩模遮挡是有效的现实世界的闭塞。我们测试人类和上述计算模型在一个具有挑战性的任务下的对象识别极端闭塞,其中目标对象被严重遮挡不相关的真实对象在真实的背景。我们的研究结果表明,人类视觉对极端遮挡非常鲁棒,而CNN则不然,即使经过修改以处理恒定的遮罩遮挡。这意味着处理恒定掩模遮挡的能力不需要对真实世界遮挡的鲁棒性。作为比较,我们提出了另一种计算模型,利用对象部分/子部分的组合方式,建立鲁棒性闭塞。在我们的任务中,这比基于CNN的模型表现得更好,错误模式与人类相似。这些发现表明,在极端遮挡下进行测试可以更好地揭示视觉识别的鲁棒性,而构图原则可以鼓励这种鲁棒性。
2019-06-04 cs.AI cs.CV
Deep Face Quality Assessment
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
人脸图像质量是人脸识别系统中的一个重要因素,因为其验证和识别的准确性高度依赖于所呈现的图像的质量。拒绝低质量图像可以显著提高任何面部识别系统的准确性。在该项目中,提出了一种简单的方法来训练深度卷积神经网络,以执行端到端的人脸图像质量评估。工作分两个阶段完成:首先,生成质量分数标签,其次,以监督的方式训练深度卷积神经网络,以预测0到1之间的质量分数。质量标签的生成是通过将面部图像与最佳质量图像的模板进行比较,然后基于相似性评估归一化分数来完成的。
2018-11-11 cs.CV
Pixel-Level Face Image Quality Assessment for Explainable Face Recognition
Norwegian University of Science and Technology(挪威科技大学);Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形研究所);Technical University of Darmstadt(达姆施塔特工业大学)
人脸识别系统实现高性能的一个重要因素是其样本的质量。由于这些系统涉及日常生活,因此迫切需要使人类能够理解人脸识别过程。在这项工作中,我们引入了像素级人脸图像质量的概念,它决定了人脸图像中用于识别的像素的效用。我们提出了一种无需训练的方法来评估给定任意人脸识别网络的人脸图像的像素级质量。为了实现这一点,输入图像的模型特定质量值被估计并用于构建样本特定质量回归模型。基于该模型,基于质量的梯度被反向传播并转换为像素级质量估计。在实验中,我们定性和定量地研究了我们提出的基于真实和人工干扰的像素级质量的意义,并通过比较不符合ICAO标准的人脸解释图。在所有情况下,结果表明,所提出的解决方案产生有意义的像素级质量,提高了完整的人脸图像质量的可解释性。代码是公开的
2021-11-30 cs.CV
Multi-Task Image-Based Dietary Assessment for Food Recognition and Portion Size Estimation
Purdue University(普渡大学);Curtin University(科廷大学);University of Hawaii Cancer Center(夏威夷大学癌症中心)
基于深度学习的方法在许多基于图像的饮食评估应用中取得了令人印象深刻的结果,例如食物分类和食物份量估计。然而,现有的方法一次只关注一个任务,当需要一起处理多个任务时,很难应用于现实生活中。在这项工作中,我们提出了一个端到端的多任务框架,可以同时实现食物分类和食物分量大小估计。我们介绍了从营养研究中收集的食物图像数据集,其中地面实况食物部分由注册营养师提供。多任务学习使用基于L2范数的软参数共享来同时训练分类和回归任务。我们还建议使用跨域特征自适应与归一化,以进一步提高食物部分大小估计的性能。我们的研究结果优于基线方法的分类精度和平均绝对误差的部分估计,这表明了巨大的潜力,推进基于图像的饮食评估领域。
2020-04-27 cs.CV
Sparsity and Robustness in Face Recognition
本报告涉及使用稀疏信号表示和稀疏错误校正的自动人脸识别技术。最近对这些技术的兴趣大部分来自Wright等人(2009)的论文“Robust Face Recognition via Sparse Representation”,其示出了在某些技术条件下,如何可以将面部识别问题转换为在训练图像和各个像素的图像的“字典”方面寻求给定输入面部图像的稀疏表示的问题。在这份报告中,我们试图澄清一些经常遇到的问题,这项工作,特别是使用稀疏表示技术的人脸识别的有效性。
2011-11-03 cs.CV
OODFace: Benchmarking Robustness of Face Recognition under Common Corruptions and Appearance Variations
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);China Academy of Information and Communications Technology(中国信息通信研究院)
本文提出OODFace基准,从常见损坏和外观变化两方面系统评估人脸识别模型在分布外场景下的鲁棒性,发现现有模型脆弱,并提供统一工具包与改进方向。
2025-03-27 cs.AI cs.CR cs.CV
Fourier Analysis on Robustness of Graph Convolutional Neural Networks for Skeleton-based Action Recognition
Chiba University(千叶大学)
本研究利用联合傅里叶变换分析图卷积神经网络在骨架动作识别中的鲁棒性,发现对抗训练能增强鲁棒性且不引入权衡,但傅里叶方法无法解释部位遮挡的脆弱性。
2023-12-30 cs.CV
Assessment of iris recognition reliability for eyes affected by ocular pathologies
Research and Academic Computer Network(研究与学术计算机网络);Warsaw University of Technology(华沙理工大学);Medical University of Warsaw(华沙医科大学)
本文分析了虹膜识别如何受到眼部疾病的影响,并提供了一个适当的数据集,包括230只不同眼睛的2996个虹膜图像(包括184只受疾病影响的眼睛,代表20多种不同的眼部疾病)。在常规眼科实践中,在近红外和可见光下收集图像。实验研究表明了四个有价值的结果。首先,登记过程对使虹膜被遮挡或引入几何失真的那些眼睛状况高度敏感。第二,即使那些不产生虹膜结构的可见变化的条件也可能增加相同眼睛的样本之间的不相似性。第三,眼睛状况影响虹膜的几何形状、其组织结构或产生障碍物显著降低虹膜识别的可靠性。第四,对于患有疾病的眼睛,疾病对虹膜识别的最突出影响是造成分割错误。据我们所知,这是第一个向研究人员公开的受疾病影响的眼睛的虹膜图像数据库,也是我们对非健康眼睛部署虹膜识别时所能预期的最全面的研究。
2018-09-01 cs.CV
Responsible AI: Gender bias assessment in emotion recognition
Microsoft Inc.(微软公司);PwC Advisory(普华永道咨询);iVCV OÜ
人工智能(AI)系统的快速发展放大了社会上的许多问题。这些人工智能算法由于神秘的操作流程而继承了人类的不同偏见,因此它在使用中变得不利。因此,研究人员已经开始通过深入研究负责任和可解释的人工智能来解决这个问题。在人工智能的各种应用中,面部表情识别可能不是最重要的一个,但被认为是人与人工智能交互的一个有价值的部分。面部表情识别从基于特征的方法到深度学习的演变大大提高了此类算法的质量。这项研究工作旨在通过调查六个不同的神经网络来研究面部表情识别深度学习方法中的性别偏见,训练它们,并根据公平性的三个定义进一步分析偏见的存在。主要结果显示哪些模型存在性别偏见,哪些模型不存在性别偏见,以及被试的性别如何影响其情绪识别。偏向性越强的神经网络在男女情感识别中的准确率差距越大。此外,这一趋势也适用于真阳性和假阳性率。此外,由于研究的性质,我们可以观察到哪些类型的情绪更适合男性,哪些更适合女性。由于面部表情识别中的偏见这一主题尚未得到很好的研究,因此这项研究的继续范围确实很广,可能包括对最先进方法的详细分析,以及针对其他偏见的研究。
2021-03-21 cs.CV
Are Vision-Language Models Ready for Dietary Assessment? Exploring the Next Frontier in AI-Powered Food Image Recognition
Biometrics and Data Pattern Analytics Lab, Universidad Autonoma de Madrid(生物度量与数据模式分析实验室,马德里自治大学);IMDEA Food, CEI UAM+CSIC(IMDEA食品,CEI UAM+CSIC)
本文评估了六种先进的视觉-语言模型在不同层次上的食品识别能力,提出了一个新的评估指标,并展示了FoodNExTDB数据库在饮食评估中的应用潜力。
2025-04-09 cs.AI cs.CV
PRoA: A Probabilistic Robustness Assessment against Functional Perturbations
University of Exeter(埃克塞特大学)
在安全关键型深度学习应用程序中,鲁棒性测量是至关重要的部署前阶段。然而,现有的鲁棒性验证方法对于在现实世界中部署机器学习系统来说并不足够实用。一方面,这些方法试图声称没有扰动可以“愚弄”深度神经网络(DNN),这在实践中可能过于严格。另一方面,现有的作品严格考虑像素空间上的$L_p$有界加性扰动,虽然扰动,如颜色偏移和几何变换,更实际和更频繁地发生在现实世界中。因此,从实用的角度出发,提出了一种基于自适应集中度的{ \it概率鲁棒性评估方法}(PRoA),它可以衡量深度学习模型对功能扰动的鲁棒性。PRoA可以提供关于模型的概率鲁棒性的统计保证,\textit{i.e.},即部署后训练模型遇到的故障概率。我们的实验证明了PRoA在评估针对广泛功能扰动的概率鲁棒性方面的有效性和灵活性,与现有最先进的基线相比,PRoA可以很好地扩展到各种大规模深度神经网络。出于可重复性的目的,我们在GitHub上发布了我们的工具:\url{ https://github.com/TrustAI/PRoA}。
2022-07-05 cs.AI cs.CV cs.LG
S-RAF: A Simulation-Based Robustness Assessment Framework for Responsible Autonomous Driving
University of Oxford(牛津大学);University of the West of England(西英格兰大学);University of Leeds(利兹大学);University College London(伦敦大学学院)
针对自动驾驶AI系统鲁棒性评估指标不一致的问题,提出基于CARLA模拟器的S-RAF框架,可在多场景下量化鲁棒性及相关安全因素,助力构建负责任的自动驾驶系统并简化认证。
2024-08-16 cs.AI cs.CV cs.CY
DeepFood: Deep Learning-Based Food Image Recognition for Computer-Aided Dietary Assessment
The University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);The University of Massachusetts Medical School(马萨诸塞大学医学院)
2014年,全球有超过19亿18岁及以上的成年人超重。其中,超过6亿人肥胖。准确记录饮食热量摄入对于管理减肥至关重要,但也带来了挑战,因为目前大多数饮食评估方法必须依赖记忆来回忆所吃的食物。我们研究的最终目标是开发计算机辅助技术解决方案,以提高和改善目前饮食摄入量测量的准确性。我们在本文中提出的系统旨在通过分析移动设备(例如,智能手机)。本文的关键技术创新点在于基于深度学习的食品图像识别算法。大量的研究表明,数字成像可以准确地估计许多环境中的饮食摄入量,并且与其他方法相比具有许多优势。然而,如何获得食物信息(例如,食物类型和份量)仍然是一个具有挑战性和开放性的研究问题。针对这一问题,提出了一种新的基于卷积神经网络(CNN)的食品图像识别算法.我们将我们提出的方法应用于两个真实世界的食物图像数据集(UEC-256和Food-101),并取得了令人印象深刻的结果。据我们所知,这些结果优于所有其他报告的工作,使用这两个数据集。我们的实验表明,该方法是一个很有前途的解决方案,解决食品图像识别问题。我们未来的工作包括进一步提高算法的性能,并将我们的系统集成到现实世界的移动和基于云计算的系统中,以提高当前饮食摄入量测量的准确性。
2016-06-17 cs.CV
Robust Sclera Segmentation for Skin-tone Agnostic Face Image Quality Assessment
针对人脸图像质量评估对人口统计因素敏感的问题,提出基于巩膜分割的鲁棒方法,利用巩膜颜色一致性产生不变特征,使FIQA算法对肤色、年龄和种族无关。
2023-12-22 cs.AI cs.CV
Attacking Face Recognition with T-shirts: Database, Vulnerability Assessment and Detection
Hochschule Darmstadt(达姆施塔特应用技术大学);Idiap Research Institute(Idiap研究所)
针对人脸识别系统易受新型呈现攻击、现有检测方法泛化性不足的问题,构建含1608个样本的T恤攻击数据库,验证其威胁性,并提出三种检测方法,其中融合方法性能优异。
2022-11-14 cs.CV
Beyond Instrument Motion: Recognizing Tissue Tension Toward Surgical Skill Assessment
University of Zagreb(萨格勒布大学);University of Twente(特文特大学);University of Groningen(格罗宁根大学);Radboud University Medical Center(拉德堡德大学医学中心);Canisius-Wilhelmina Hospital(卡尼修斯-威廉明娜医院)
针对现有手术视频理解方法未捕捉组织张力的问题,本文构建SurgTension数据集,提出TensionTRAC框架,实现了腹腔镜及机器人辅助直肠癌手术的组织张力识别,为手术技能评估提供客观基准。
2026-08-20 cs.CV
AI-Assisted Competency Assessment from Egocentric Video in Simulation-Based Nursing Education
Vanderbilt University(范德比大学)
本文提出了一种基于第一人称视频的AI辅助评估框架,通过提取动作时间线、序列特征和识别指标,发现识别准确率与能力之间存在负相关关系,表明识别准确率可以作为自动化评估中的教学信息信号。
2026-05-16 cs.AI cs.CV
Benchmarking Robustness of 3D Point Cloud Recognition Against Common Corruptions
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);NVIDIA(英伟达);ASU(亚利桑那州立大学(ASU))
基于3D点云数据的深度神经网络在现实世界中得到了广泛的应用,尤其是在安全关键型应用中。然而,他们对腐败的鲁棒性研究较少。在本文中,我们提出了ModelNet 40-C,这是第一个全面的3D点云腐败鲁棒性基准测试,包括15个常见和现实的腐败。我们的评估显示,ModelNet 40和ModelNet 40-C的最先进(SOTA)模型的性能之间存在显着差距。为了减少差距,我们提出了一个简单而有效的方法,通过结合PointCutMix-R和TENT评估了广泛的增强和测试时自适应策略。我们确定了一些关键的见解,为未来的研究腐败的鲁棒性点云识别。例如,我们揭示了具有适当训练配方的基于transformer的架构实现了最强的鲁棒性。我们希望我们的深入分析将推动在3D点云领域开发强大的训练策略或架构设计。我们的代码库和数据集包含在https://github.com/jiachens/ModelNet40-C中
2022-01-28 cs.AI cs.CV cs.LG
Image-Scale Robustness and Visual Recognition Performance: A Cross-Architecture Analysis
本研究通过分析20个预训练ImageNet-1K分类器,发现尺度鲁棒性主要由基线识别精度决定,而非模型大小或架构家族,并提出了特征尺度作为量化指标。
2026-09-09 cs.AI cs.CV
Robustness of Humans and Machines on Object Recognition with Extreme Image Transformations
Northeastern University(东北大学)
最近的神经网络架构声称可以解释来自人类视觉皮层的数据。然而,他们的表现仍然是有限的依赖于利用低层次的功能来解决视觉任务。这种策略限制了它们在分布外/对抗性数据的情况下的性能。与此同时,人类学习抽象概念,即使是极端的图像扭曲也不会影响人类。人类和网络使用截然不同的策略来解决视觉任务。为了探索这一点,我们引入了一组新的图像变换,并在对象识别任务中评估人类和网络。我们发现,一些常见网络的性能迅速下降,而人类能够以高精度识别物体。
2022-05-27 cs.AI cs.CV cs.LG
ViewFool: Evaluating the Robustness of Visual Recognition to Adversarial Viewpoints
Tsinghua University(清华大学);RealAI(瑞莱智慧);Beihang University(北京航空航天大学);Peng Cheng Laboratory(鹏城实验室);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔))
最近的研究表明,视觉识别模型缺乏鲁棒性的分布偏移。然而,目前的工作主要考虑模型对2D图像变换的鲁棒性,使得3D世界中的视点变化较少被探索。通常,视点改变在各种现实世界应用中是普遍的(例如,自动驾驶),因此必须评估视点鲁棒性。在本文中,我们提出了一种名为ViewFool的新方法来发现误导视觉识别模型的敌对观点。通过将真实世界的对象编码为神经辐射场(NeRF),ViewFool在熵正则化器下表征了不同对抗性观点的分布,这有助于处理真实相机姿势的波动并减轻真实对象与其神经表示之间的现实差距。实验证明,常见的图像分类器是非常脆弱的生成的对抗性的观点,这也表现出较高的跨模型的可移植性。基于ViewFool,我们引入了ImageNet-V,这是一个新的分布数据集,用于对图像分类器的视点鲁棒性进行基准测试。对40个具有不同架构、目标函数和数据增强的分类器的评估结果显示,在ImageNet-V上进行测试时,模型性能显著下降,这为利用ViewFool作为有效的数据增强策略来提高视点鲁棒性提供了可能性。
2022-10-08 cs.AI cs.CR cs.CV
RobustGait: Robustness Analysis for Appearance Based Gait Recognition
University of Central Florida(中央佛罗里达大学)
RobustGait通过评估基于外观的步态识别系统在不同扰动和场景下的鲁棒性,揭示了噪声影响、轮廓提取偏差及架构设计的重要性,并提出改进策略以提升系统部署能力。
2026-02-25 cs.CV
VSRo-200: A Romanian Visual Speech Recognition Dataset for Studying Supervision and Multimodal Robustness
University of Bucharest(布加勒斯特大学)
本文介绍罗马尼亚语视觉语音识别数据集VSRo-200,通过伪标签和人工转录注释样本,建立低资源视觉语音识别基准。研究监督质量影响,评估域转移鲁棒性及噪声下视听语音识别,证明其表示可转移至其他基准,为相关研究提供新测试平台。
2026-07-10 cs.CV
Database of iris images acquired in the presence of ocular pathologies and assessment of iris recognition reliability for disease-affected eyes
Research and Academic Computer Network (NASK)(研究与学术计算机网络(NASK));Warsaw University of Technology(华沙理工大学);Medical University of Warsaw(华沙医科大学)
本文提出了一个数据库的虹膜图像收集的疾病影响的眼睛和虹膜识别的可靠性的影响,眼部疾病的分析。为此,我们收集了一个数据库的虹膜图像采集91个不同的眼睛在常规眼科访问。该收集收集健康眼睛以及具有各种眼睛病理的眼睛的样本,包括白内障、急性青光眼、后粘连和前粘连、视网膜脱离、虹膜红变、角膜血管化、角膜移植、虹膜损伤和萎缩以及角膜溃疡、混浊或混浊。据我们所知,这是第一个将向公众开放的此类数据库。在分析中,数据被分为五组样本,这些样本对虹膜识别具有类似的预期影响:1)健康(无影响),2)未受影响的清晰虹膜(尽管检测到了疾病),3)几何扭曲的虹膜,4)扭曲的虹膜组织和5)阻塞的虹膜组织。然后使用三种不同的虹膜识别方法(MIRLIN,VeriEye和OSIRIS)来寻找健康眼睛和受疾病影响的眼睛的平均真实和冒名顶替者比较分数的差异。具体而言,当与一组健康眼睛相比时,我们获得了所有虹膜匹配器和所有受疾病影响的眼睛的显著更差的真实比较分数,这具有影响假不匹配率的高潜力。
2018-09-01 cs.CV
Large-scale Robustness Analysis of Video Action Recognition Models
CRCV(计算机视觉研究中心);University of Central Florida(中佛罗里达大学);IIT Kanpur(印度理工学院坎普尔分校);Microsoft Research(微软研究院)
本文对六种视频动作识别模型在90种真实世界分布偏移扰动下的鲁棒性进行了大规模分析,提出了四个扰动基准数据集和一个真实分布偏移数据集,发现基于Transformer的模型比CNN模型更鲁棒,且时间信息的重要性因数据集而异。
2023-04-07 cs.CV eess.IV