What and How Well You Performed? A Multitask Learning Approach to Action Quality Assessment
University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）
行动质量评估（AQA）任务的性能是否可以通过利用行动及其质量的描述来提高？当前的AQA和技能评估方法建议学习仅服务于一项任务的功能-估计最终得分。在本文中，我们建议学习解释三个相关任务的时空特征-细粒度动作识别，评论生成和估计AQA分数。一个新的多任务AQA数据集，迄今为止最大的，包括1412潜水样本收集来评估我们的方法（https：//github.com/ParitoshParmar/MTL-AQA）。我们表明，我们的MTL方法优于STL方法使用两种不同的架构：C3 D-AVG和MSCADC。C3 D-AVG-MTL方法实现了新的最先进的性能，等级相关性为90.44%。详细的实验表明，MTL比STL提供更好的泛化能力，动作识别模型的表示不足以完成AQA任务，而是应该学习。
2019-06-14 cs.CV
Training-Free Synthesized Face Sketch Recognition Using Image Quality Assessment Metrics
人脸素描合成具有广泛的应用范围，从数字娱乐到执法。客观图像质量评价分数和人脸识别准确率是评价合成性能的两个主要工具。本文提出了一种基于全参考图像质量评价指标的合成人脸素描识别框架。四个国家的最先进的方法生成的合成草图被用来测试所提出的识别框架的性能。在图像质量评价指标方面，采用了经典的结构化相似性指标和视觉信息保真度、特征相似性指标和梯度幅值相似性偏差三种常用的图像质量评价指标。大量的实验与基线方法相比，说明了所提出的合成人脸素描识别框架的有效性。本文中的数据和实现代码可以在www.ihitworld.com/WNN/IQA_Sketch.zip上获得。
2016-03-25 cs.CV
SATR-DL: Improving Surgical Skill Assessment and Task Recognition in Robot-assisted Surgery with Deep Neural Networks
目的：本文主要研究机器人辅助手术中手术运动轮廓的自动分析，用于客观的技能评估和任务识别。现有的技术严重依赖于传统的统计措施或浅建模的基础上手工设计的功能和手势分割。这样的发展需要大量的专业知识，容易出错，并且在线自适应训练系统的效率较低。研究方法：在这项工作中，我们提出了一个有效的分析框架与并行的深度学习架构，SATR-DL，以评估受训者的专业知识和认识手术培训活动。通过端到端的学习技术，直接从原始运动序列中联合获得空间表示和时间动态的抽象信息。结果如下：通过利用共享的高级表示学习，所得到的模型在识别受训者技能和手术任务、缝合、穿针和打结方面是成功的。与此同时，我们探讨了集成在分类中的使用在审判的水平，其中SATR-DL优于国家的最先进的性能，分别达到0.960和1.000的准确率在技能评估和任务识别。结论：这项研究强调了SATR-DL在智能机器人手术中为有效的数据驱动评估提供改进的潜力。
2018-06-15 cs.CV cs.RO
Applying Incremental Deep Neural Networks-based Posture Recognition Model for Injury Risk Assessment in Construction
The Pennsylvania State University（宾夕法尼亚州立大学）
监测尴尬的姿势是预防建筑中肌肉骨骼疾病（MSD）的一种积极措施。机器学习（ML）模型已经显示出用于可穿戴传感器的姿势识别的有希望的结果。然而，还需要进一步的研究：i）增量学习（IL），其中训练的模型适应学习新的姿势并控制对已学习姿势的遗忘; ii）对已识别姿势的MSD评估。本研究提出了一个增量卷积长短期记忆（CLN）模型，研究了有效的IL策略，并评估MSDs评估使用公认的姿势。对9名工人的测试表明，具有浅卷积层的CLN模型在个性化（0.87）和广义（0.84）建模下实现了高识别性能（F1得分）。在多对一IL方案下的广义浅层CLN模型可以平衡学习对象的适应（0.73）和遗忘（0.74）。使用从增量CLN模型识别的姿势进行的MSD评估与地面实况存在微小差异，这表明在施工中自动化MSD监测的潜力很大。
2020-08-04 cs.CV cs.LG eess.IV
Apples and Oranges? Assessing Image Quality over Content Recognition
Norwegian Researcher Centre（挪威研究中心）；Hong Kong University of Science and Technology（香港科技大学）
图像识别和质量评估是两个重要的视觉任务，但可能遵循不同的视觉机制。本文探讨了这两个任务是否可以在一个多任务学习的方式进行。提出了一个顺序空间通道注意力模型来模拟视觉注意力和对比敏感度机制，这对内容识别和质量评估至关重要。空间注意力在内容识别和质量评估之间共享，而通道注意力仅用于质量评估。该注意力模块被集成到Transformer中，为两个观看任务建立统一的模型。实验结果表明，所提出的统一模型可以实现质量评估和内容识别任务有前途的性能。
2023-01-31 cs.CV eess.IV
Recognition Oriented Iris Image Quality Assessment in the Feature Space
UCAS（中国科学院大学）；CASIA（中国科学院自动化研究所）
在真实场景中，由于环境的不可控性和主体的非合作性，大部分虹膜图像的质量都很差。为了保证识别算法不受低质量图像的影响，传统的基于手工因子的方法会丢弃大部分图像，这会导致系统超时并破坏用户体验。针对这一问题，本文提出了一种面向虹膜识别的虹膜图像质量度量和评价方法。该方法将虹膜图像嵌入的特征空间距离（DFS）作为质量度量，并基于具有注意力机制的深度神经网络进行预测。本文提出的质量度量可以显着提高识别算法的性能，同时减少识别丢弃的图像的数量，这是优于手工制作的因素为基础的虹膜质量评估方法。提出了图像拒绝率（IRR）和等误率（EER）之间的关系，以评价在相同图像质量分布和相同识别算法下质量评价算法的性能。相对于手工因素的方法，所提出的方法是一种尝试，以弥补图像质量评估和生物特征识别之间的差距。该代码可在https://github.com/Debatrix/DFSNet上获得。
2020-09-27 cs.CV eess.IV
Face Quality Estimation and Its Correlation to Demographic and Non-Demographic Bias in Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；TU Darmstadt（达姆施塔特工业大学）
人脸质量评估的目的是估计人脸图像的识别目的的效用。它是实现高性能人脸识别的关键因素。目前，这些人脸识别系统的高性能是以对人口统计和非人口统计子群体的强烈偏见为代价的。最近的工作表明，人脸质量评估算法应该适应部署的人脸识别系统，以实现高度准确和鲁棒的质量估计。然而，这可能导致对面部质量评估的偏见转移，从而导致歧视性影响，例如在注册期间。在这项工作中，我们提出了一个深入的分析人脸识别和人脸质量评估的偏见之间的相关性。实验在两个公开的数据集上进行，这些数据集是在受控和非受控的情况下捕获的，具有两种流行的人脸嵌入。我们评估了四种最先进的面部质量评估解决方案，包括对姿势，种族和年龄的偏见。实验表明，人脸质量评估解决方案分配给受识别偏差影响的子组的质量值显着较低，表明这些方法也有偏差。这就提出了关于公平和歧视的伦理问题，未来的工作必须解决这些问题。
2020-07-10 cs.CV
FaceQnet: Quality Assessment for Face Recognition based on Deep Learning
UAM（马德里自治大学）；European Commission, JRC（欧盟委员会联合研究中心）
在本文中，我们开发了一种基于深度学习的人脸识别质量评估方法。该方法包括一个卷积神经网络，FaceQnet，这是用来预测一个特定的输入图像的人脸识别目的的适用性。FaceQnet的训练使用VGGFace2数据库完成。我们采用BioLab-ICAO框架来标记VGGFace2图像，其中包含与其ICAO合规级别相关的质量信息。地面实况质量标签是使用FaceNet获得的，以生成比较分数。我们使用地面实况数据来微调基于ResNet的CNN，使其能够为每个输入图像返回数值质量度量。最后，我们验证了FaceQnet分数是否适合预测预期的性能时，采用特定的图像与COTS人脸识别系统进行人脸识别。从这项工作中可以得出若干结论，最值得注意的是：1）我们设法采用现有的ICAO合规框架和预训练的CNN来自动标记具有质量信息的数据，2）我们通过微调预训练的人脸识别网络来训练FaceQnet进行质量估计（ResNet-50），以及3）我们已经证明，FaceQnet的预测与开发过程中未使用的最先进商业系统的人脸识别准确性高度相关。FaceQnet在GitHub上公开。
2019-04-04 cs.CV cs.LG eess.IV
Presentation Attack Detection for Iris Recognition: An Assessment of the State of the Art
Research and Academic Computer Network (NASK)（研究与学术计算机网络（NASK））；University of Notre Dame（圣母大学）
虹膜识别越来越多地用于大规模应用。因此，虹膜识别中的呈现攻击检测具有重要意义。本调查涵盖了关于这一主题的各种研究文献。不同类别的演示攻击进行了描述，并放置在一个应用程序相关的框架，并在检测每一类攻击的最新技术进行了总结。由此得出的一个结论是，虹膜识别的呈现攻击检测尚未解决。本书描述了可供研究的数据集，概述了近期和中期的研究方向，并提出了一份推荐阅读材料的简短清单。
2018-06-13 cs.CV
Automated Sperm Assessment Framework and Neural Network Specialized for Sperm Video Recognition
Yokohama National University（横滨国立大学）；Yokohama City University Medical Center（横滨市立大学医学中心）
针对现有精子评估忽视运动与多形态且标签单一的问题，构建含头颈尾的视频数据集并用软标签，提出RoSTFine网络提升评估性能并聚焦关键部位。
2023-11-13 cs.CV
Deep Tiny Network for Recognition-Oriented Face Image Quality Assessment
Academy of Military Sciences（军事科学院）；National University of Defense Technology（国防科技大学）
针对低质量人脸导致识别不稳定的问题，提出无参考质量度量与微型tinyFQnet，在IJB-B和YTF上以更小模型取得优于现有方法的效果与效率。
2024-01-21 cs.CV
Information-Theoretic Bias Assessment Of Learned Representations Of Pretrained Face Recognition
University of Southern California（南加州大学）
随着人脸识别使用中的平等问题最近引起了很多关注，人们已经做出了更大的努力来消除深度学习模型的偏见，以提高对少数群体的公平性。然而，仍然没有明确的定义，也没有充分的分析偏倚评估指标。我们提出了一个信息理论的，独立的偏见评估指标，以确定对受保护的人口统计属性的偏见程度从预先训练的面部识别系统的学习表示。我们的度量标准不同于其他依赖于分类准确性或检查使用浅层网络预测的受保护属性的地面实况和预测标签之间的差异的方法。此外，我们认为，从理论上和实验上，logits水平的损失是不足以解释偏见，因为基于神经网络的预测总是会发现相关性。此外，我们提出了一个合成数据集，以缓解某些队列中样本不足的问题。最后，我们建立了一个基准度量，与其他度量相比，具有清晰的歧视性和小的变化，并评估不同的去偏模型的性能与建议的度量。
2021-11-09 cs.CV
Fun Selfie Filters in Face Recognition: Impact Assessment and Removal
NTNU（挪威科技大学）；Hochschule Darmstadt（达姆施塔特应用技术大学）
这项工作研究了经常用于修改自拍的有趣自拍过滤器对人脸识别系统的影响。基于对免费移动应用程序的定性评估和分类，选择了十个相关的有趣自拍滤镜来创建数据库。为此，所选择的过滤器被自动应用于公共面部图像数据库的面部图像。使用不同的最先进的方法来评估有趣的自拍过滤器对使用dlib，RetinaFace和COTS方法进行人脸检测的性能，FaceQNet和MagFace估计的样本质量以及使用ArcFace和COTS算法的识别准确性的影响。所获得的结果表明，自拍过滤器对面部识别模块产生负面影响，特别是如果有趣的自拍过滤器覆盖了面部的大区域，其中嘴巴，鼻子和眼睛被覆盖。为了减轻这种不必要的影响，提出了一种基于GAN的自拍滤波器去除算法，该算法由分割模块、感知网络和生成模块组成。在跨数据库实验中，所提出的自拍过滤器去除技术的应用已经显示出显着提高了底层人脸识别系统的生物识别性能。
2022-02-12 cs.CV
MagFace: A Universal Representation for Face Recognition and Quality Assessment
Aibee Inc.（爱笔智能有限公司）
人脸识别系统的性能随着人脸的变异性的增加而下降。先前的工作通过监测预处理中的面部质量或预测数据不确定性以及面部特征来解决这个问题。本文提出了MagFace，这是一类损失，它学习了一个通用的特征嵌入，其大小可以衡量给定人脸的质量。在新的损失下，可以证明，如果主体更有可能被识别，则特征嵌入的幅度单调增加。此外，MagFace还引入了一种自适应机制，通过将简单样本拉到类中心，同时将硬样本推开，来学习结构良好的类内特征分布。这可以防止模型在嘈杂的低质量样本上过度拟合，并提高野外人脸识别能力。在人脸识别、质量评估和聚类等方面进行的大量实验表明，该方法优于现有技术。该代码可在https://github.com/IrvingMeng/MagFace上获得。
2021-07-26 cs.CV
Assessing Bias in Face Image Quality Assessment
University of Ljubljana（卢布尔雅那大学）
人脸图像质量评估（FIQA）试图通过提供有关样本质量的额外信息来提高人脸识别（FR）性能。由于FIQA方法试图估计样本对人脸识别的效用，因此可以合理地假设这些方法受到底层人脸识别系统的严重影响。虽然现代人脸识别系统表现良好，但一些研究发现，这种系统经常表现出人口统计学偏见的问题。因此，FIQA技术也可能存在这样的问题。为了研究与FIQA方法相关的人口统计学偏差，本文提出了一项全面的研究，涉及各种质量评估方法（通用图像质量评估，监督人脸质量评估和无监督人脸质量评估方法）和三种不同的最先进的FR模型。我们对野生平衡面孔（BFW）数据集的分析表明，所有考虑的技术都受到种族差异的影响，而不是性别。虽然通用的图像质量评估方法似乎是不太偏置的两个人口统计因素考虑，监督和无监督的人脸图像质量评估方法都表现出强烈的偏见，有利于白人（无论性别）的倾向。此外，我们发现，种族偏见较少的方法整体表现较差。这表明FIQA方法中观察到的偏差在很大程度上与底层人脸识别系统有关。
2022-11-28 cs.CV
Accounting for Affect in Pain Level Recognition
University of South Florida（南佛罗里达大学）；National Institutes of Health（美国国立卫生研究院）
在这项工作中，我们解决了影响自动疼痛评估的重要性和现实世界中的影响。为了实现这一目标，我们通过合并公开的bioVid疼痛和情绪数据集来策划一个新的生理数据集。然后，我们研究疼痛水平识别这个数据集模拟参与者的自然情感行为。我们的研究结果表明，承认疼痛评估的影响是必不可少的。当我们模拟情感的存在来验证疼痛评估模型时，我们观察到识别性能的下降;相反，当我们考虑情感时，我们观察到识别性能的提升。
2020-11-15 cs.CV
Empirical Assessment of End-to-End Iris Recognition System Capacity
Clarkson University（克拉克森大学）；West Virginia University（西弗吉尼亚大学）
Iris是生物识别应用中的一种成熟模式，包括消费电子产品，电子商务，边境安全，取证和全国范围内的身份重复数据删除。鉴于生物识别的使用范围不断扩大，身份冲突（当来自两个不同人的模板匹配时）是系统部署的一个必要考虑因素。本研究探讨了系统容量估计经验估计的约束能力的端到端的虹膜识别系统（近红外系统与道格曼为基础的特征提取）在一个可接受的出错率，即系统可以解决之前遇到错误。我们研究了六个系统参数对虹膜识别系统的约束能力的影响-注册身份的数量，图像质量，模板尺寸，随机特征消除，滤波器分辨率和系统工作点。在我们的评估中，我们分析了24种不同系统配置中每种配置的5158个唯一身份的1320万次比较。这项工作提供了一个框架，以更好地了解虹膜识别系统的能力作为生物识别系统配置的功能超出了操作点，大规模的应用。
2023-03-20 cs.CV eess.IV
Infant Fingerprints: Quality Assessment & Recognition
Federal University of Technology - Paraná (UTFPR)（巴拉那联邦技术大学）；Michigan State University（密歇根州立大学）
该研究针对婴儿指纹识别受生理与采集挑战阻碍的问题，在多年龄组纵向数据集上评估十种指纹质量评估方法，通过参数调优重新校准框架，提升了婴儿指纹识别的可靠性。
2026-10-14 cs.CV
A Mobile Food Recognition System for Dietary Assessment
Istanbul Technical University（伊斯坦布尔理工大学）；Hamad bin Khalifa University（哈马德·本·哈利法大学）
食物识别是各种应用的重要任务，包括管理健康状况和帮助视力受损的人。一些食物识别的研究集中在一般类型的食物或特定的美食，然而，食物识别方面的中东美食仍然是未经探索的。因此，在本文中，我们专注于开发一个移动友好，中东美食为重点的食品识别应用程序辅助生活的目的。为了实现低延迟、高准确度的食品分类系统，我们选择使用Mobilenet-v2深度学习模型。由于一些食物比其他食物更受欢迎，因此所使用的中东食物数据集中每个类别的样本数量相对不平衡。为了弥补这个问题，数据增强方法被应用于代表性不足的类。实验结果表明，使用Mobilenet-v2架构的这项任务是有益的准确性和内存的使用。该模型对23种食物类别的准确率达到94%，开发的移动应用程序有可能通过图像为视障人士提供自动食物识别服务。
2022-04-20 cs.CV
A Comprehensive Survey of Image-Based Food Recognition and Volume Estimation Methods for Dietary Assessment
University of Malaya（马来亚大学）
饮食研究显示，与饮食有关的问题，如肥胖，与其他慢性疾病有关，如高血压、不规则的血糖水平和心脏病发作的风险增加。这些问题的主要原因是不良的生活方式选择和不健康的饮食习惯，这些都是可以使用交互式mHealth应用程序进行管理的。然而，使用人工食物记录的传统饮食监测系统存在不精确、漏报、耗时和低依从性的问题。最近的饮食监测系统通过机器学习方法自动评估饮食摄入量来应对这些挑战。本调查讨论了迄今为止为自动食物识别和体积估计开发的最有效的方法。首先，我们将介绍基于视觉的食品识别方法的基本原理。本文的核心是介绍，讨论和评价这些方法对流行的食品图像数据库。接下来，我们讨论了实现这些方法的移动应用程序。调查最后讨论了这一领域的研究差距和开放问题。
2021-09-03 cs.CV eess.IV
FROQ: Observing Face Recognition Models for Efficient Quality Assessment
University of Ljubljana（卢布尔雅那大学）；Dalian University of Technology（大连理工大学）
本文提出FROQ，一种半监督免训练的人脸图像质量评估方法，通过利用FR模型中间表示和基于样本扰动的伪标签校准，在四个FR模型和八个数据集上以高效运行时间取得与最先进方法相当的性能。
2025-09-22 cs.CV
A Survey of Neural Network Robustness Assessment in Image Recognition
Beihang University（北京航空航天大学）
该综述针对图像识别领域的神经网络鲁棒性评估，围绕对抗鲁棒性与损坏鲁棒性，从概念、指标、评估方法三方面梳理现有研究，分析方法优劣并提出未来研究方向。
2024-04-15 cs.AI cs.CV cs.SY
LMC: Large Model Collaboration with Cross-assessment for Training-Free Open-Set Object Recognition
SUTD（新加坡科技设计大学）；Meta
针对开放集目标识别中依赖虚假特征的问题，提出免训练的大模型协作框架LMC，利用不同大模型的隐式知识，实验验证其有效性。
2023-12-21 cs.CV
Rapid Damage Assessment Using Social Media Images by Combining Human and Machine Intelligence
Montgomery County, Maryland Community Emergency Response Team（马里兰州蒙哥马利县社区应急响应队）
快速损失评估是灾害发生时响应组织执行的核心任务之一，以了解道路，桥梁和建筑物等基础设施的损坏程度。这项工作分析了社交媒体图像内容的有用性，以在现实世界的灾难中进行快速的损害评估。与志愿者响应组织合作启动的自动图像处理系统处理了约28万张图像，以了解灾难造成的损失程度。该系统达到了76%的准确率，这是根据从领域专家那里收到的反馈计算的，这些专家在灾难期间分析了约29K的系统处理图像。广泛的错误分析揭示了该系统所面临的一些见解和挑战，这对研究界推进这一研究至关重要。
2020-04-14 cs.AI cs.CV cs.SI
Patch-based Probabilistic Image Quality Assessment for Face Selection and Improved Video-based Face Recognition
NICTA（澳大利亚国家信息与通信技术研究院）；The University of Queensland（昆士兰大学）
在基于视频的人脸识别中，人脸图像通常在不受控制的条件下在多个帧上捕获，其中头部姿势、照明、阴影、运动模糊和焦点在序列上变化。此外，面部定位的不准确也会引入尺度和对齐变化。使用所有人脸图像，包括质量差的图像，实际上会降低人脸识别性能。虽然一种解决方案是仅使用图像的“最佳”子集，但是当前的面部选择技术不能同时处理所有上述问题。我们提出了一个有效的基于块的人脸图像质量评估算法，量化的相似性的人脸图像的概率人脸模型，代表一个“理想”的脸。影响识别的图像特征被考虑在内，包括几何对齐（移位、旋转和缩放）、锐度、头部姿势和投射阴影的变化。在FERET和PIE数据集上的实验表明，该算法能够同时识别最正面、对齐、清晰和光照良好的图像。在一个新的视频监控数据集（称为ChokePoint）上的进一步实验表明，该方法提供了比现有人脸选择技术更好的人脸子集，从而显着提高了识别精度。
2014-03-14 cs.CV stat.AP
Collaborative Chinese Text Recognition with Personalized Federated Learning
Fudan University（复旦大学）
针对中文文本识别中数据隐私与本地数据不足问题，提出基于个性化联邦学习的pFedCR算法，通过全局训练与本地微调结合注意力机制，在真实工业数据集上提升本地模型性能约20%，并优于现有方法6%-8%。
2023-08-31 cs.CV
Pose Impact Estimation on Face Recognition using 3D-Aware Synthetic Data with Application to Quality Assessment
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Hochschule Darmstadt (h-da)（达姆施塔特应用技术大学）
本文构建3D感知合成姿态数据集Syn-YawPitch，量化俯仰角对人脸识别的影响，并提出符合ISO标准的轻量可解释姿态质量预测器。
2023-12-06 cs.CV cs.HC
Deep Face Quality Assessment
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
人脸图像质量是人脸识别系统中的一个重要因素，因为其验证和识别的准确性高度依赖于所呈现的图像的质量。拒绝低质量图像可以显著提高任何面部识别系统的准确性。在该项目中，提出了一种简单的方法来训练深度卷积神经网络，以执行端到端的人脸图像质量评估。工作分两个阶段完成：首先，生成质量分数标签，其次，以监督的方式训练深度卷积神经网络，以预测0到1之间的质量分数。质量标签的生成是通过将面部图像与最佳质量图像的模板进行比较，然后基于相似性评估归一化分数来完成的。
2018-11-11 cs.CV
Artificial Ant Colonies in Digital Image Habitats - A Mass Behaviour Effect Study on Pattern Recognition
最近的一些研究指出，神经元自组织成类脑结构和蚂蚁自组织成群体在许多方面是相似的。如果能够实现，这些功能可能会导致模式识别系统的重要发展，其中感知能力可以从许多简单的局部规则的相互作用中出现和发展。该方法的原理受到Chialvo和Millonas的启发，他们开发了第一个数值模拟，其中可以解释群体认知地图的形成。从这一点出发，提出了一个扩展的模型来处理数字图像生境，使人工蚁群能够对环境做出反应并感知环境，信息素场的演化表明人工蚁群能够对任何类型的数字生境做出适当的反应和适应。关键词：群体智能，自组织，Stigmergy，人工蚂蚁系统，模式识别和感知，图像分割，完形感知理论，分布式计算。
2004-12-17 cs.AI cs.CV
Pixel-Level Face Image Quality Assessment for Explainable Face Recognition
Norwegian University of Science and Technology（挪威科技大学）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；Technical University of Darmstadt（达姆施塔特工业大学）
人脸识别系统实现高性能的一个重要因素是其样本的质量。由于这些系统涉及日常生活，因此迫切需要使人类能够理解人脸识别过程。在这项工作中，我们引入了像素级人脸图像质量的概念，它决定了人脸图像中用于识别的像素的效用。我们提出了一种无需训练的方法来评估给定任意人脸识别网络的人脸图像的像素级质量。为了实现这一点，输入图像的模型特定质量值被估计并用于构建样本特定质量回归模型。基于该模型，基于质量的梯度被反向传播并转换为像素级质量估计。在实验中，我们定性和定量地研究了我们提出的基于真实和人工干扰的像素级质量的意义，并通过比较不符合ICAO标准的人脸解释图。在所有情况下，结果表明，所提出的解决方案产生有意义的像素级质量，提高了完整的人脸图像质量的可解释性。代码是公开的
2021-11-30 cs.CV
Multi-Task Image-Based Dietary Assessment for Food Recognition and Portion Size Estimation
Purdue University（普渡大学）；Curtin University（科廷大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）
基于深度学习的方法在许多基于图像的饮食评估应用中取得了令人印象深刻的结果，例如食物分类和食物份量估计。然而，现有的方法一次只关注一个任务，当需要一起处理多个任务时，很难应用于现实生活中。在这项工作中，我们提出了一个端到端的多任务框架，可以同时实现食物分类和食物分量大小估计。我们介绍了从营养研究中收集的食物图像数据集，其中地面实况食物部分由注册营养师提供。多任务学习使用基于L2范数的软参数共享来同时训练分类和回归任务。我们还建议使用跨域特征自适应与归一化，以进一步提高食物部分大小估计的性能。我们的研究结果优于基线方法的分类精度和平均绝对误差的部分估计，这表明了巨大的潜力，推进基于图像的饮食评估领域。
2020-04-27 cs.CV
Deep Aesthetic Quality Assessment with Semantic Information
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
人类经常评估图像的美学质量，并识别图像的语义内容。本文讨论了自动美学质量评估和语义识别之间的相关性问题。我们将评估问题作为多任务深度模型中的主要任务，并认为语义识别任务提供了解决这个问题的关键。基于卷积神经网络，我们采用了一个简单的多任务框架，有效地利用美学和语义标签的监督。这两个任务之间的相关性项目进一步引入到框架中，结合任务间的关系学习。此项目不仅提供了一些有用的洞察力的相关性，但也提高了审美任务的评估准确性。特别是，一个有效的策略，以保持这两个任务之间的平衡，这有利于优化的框架参数。在具有挑战性的AVA数据集和Photo.net数据集上进行的大量实验验证了语义识别在美学质量评估中的重要性，并证明了多任务深度模型可以发现有效的美学表示以实现最先进的结果。
2016-10-21 cs.CV cs.LG cs.NE
Beyond Error-vs-Discard Characteristic: Toward Stable and Reliable Evaluation for Face Image Quality Assessment
Johannes Gutenberg University Mainz（美因茨约翰内斯古腾堡大学）；University of Ljubljana（卢布尔雅那大学）
研究面部图像质量评估，指出常用的EDC协议存在测试集差异和阈值漂移问题，提出基于舍弃的EDC变体及秩一致性评估指标，经多数据集、模型和方法实验，证明所提方法能实现更可靠可比评估，且适用性广。
2026-07-28 cs.CV cs.LG
Assessment of iris recognition reliability for eyes affected by ocular pathologies
Research and Academic Computer Network（研究与学术计算机网络）；Warsaw University of Technology（华沙理工大学）；Medical University of Warsaw（华沙医科大学）
本文分析了虹膜识别如何受到眼部疾病的影响，并提供了一个适当的数据集，包括230只不同眼睛的2996个虹膜图像（包括184只受疾病影响的眼睛，代表20多种不同的眼部疾病）。在常规眼科实践中，在近红外和可见光下收集图像。实验研究表明了四个有价值的结果。首先，登记过程对使虹膜被遮挡或引入几何失真的那些眼睛状况高度敏感。第二，即使那些不产生虹膜结构的可见变化的条件也可能增加相同眼睛的样本之间的不相似性。第三，眼睛状况影响虹膜的几何形状、其组织结构或产生障碍物显著降低虹膜识别的可靠性。第四，对于患有疾病的眼睛，疾病对虹膜识别的最突出影响是造成分割错误。据我们所知，这是第一个向研究人员公开的受疾病影响的眼睛的虹膜图像数据库，也是我们对非健康眼睛部署虹膜识别时所能预期的最全面的研究。
2018-09-01 cs.CV
Responsible AI: Gender bias assessment in emotion recognition
Microsoft Inc.（微软公司）；PwC Advisory（普华永道咨询）；iVCV OÜ
人工智能（AI）系统的快速发展放大了社会上的许多问题。这些人工智能算法由于神秘的操作流程而继承了人类的不同偏见，因此它在使用中变得不利。因此，研究人员已经开始通过深入研究负责任和可解释的人工智能来解决这个问题。在人工智能的各种应用中，面部表情识别可能不是最重要的一个，但被认为是人与人工智能交互的一个有价值的部分。面部表情识别从基于特征的方法到深度学习的演变大大提高了此类算法的质量。这项研究工作旨在通过调查六个不同的神经网络来研究面部表情识别深度学习方法中的性别偏见，训练它们，并根据公平性的三个定义进一步分析偏见的存在。主要结果显示哪些模型存在性别偏见，哪些模型不存在性别偏见，以及被试的性别如何影响其情绪识别。偏向性越强的神经网络在男女情感识别中的准确率差距越大。此外，这一趋势也适用于真阳性和假阳性率。此外，由于研究的性质，我们可以观察到哪些类型的情绪更适合男性，哪些更适合女性。由于面部表情识别中的偏见这一主题尚未得到很好的研究，因此这项研究的继续范围确实很广，可能包括对最先进方法的详细分析，以及针对其他偏见的研究。
2021-03-21 cs.CV
DeepFood: Deep Learning-Based Food Image Recognition for Computer-Aided Dietary Assessment
The University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；The University of Massachusetts Medical School（马萨诸塞大学医学院）
2014年，全球有超过19亿18岁及以上的成年人超重。其中，超过6亿人肥胖。准确记录饮食热量摄入对于管理减肥至关重要，但也带来了挑战，因为目前大多数饮食评估方法必须依赖记忆来回忆所吃的食物。我们研究的最终目标是开发计算机辅助技术解决方案，以提高和改善目前饮食摄入量测量的准确性。我们在本文中提出的系统旨在通过分析移动设备（例如，智能手机）。本文的关键技术创新点在于基于深度学习的食品图像识别算法。大量的研究表明，数字成像可以准确地估计许多环境中的饮食摄入量，并且与其他方法相比具有许多优势。然而，如何获得食物信息（例如，食物类型和份量）仍然是一个具有挑战性和开放性的研究问题。针对这一问题，提出了一种新的基于卷积神经网络（CNN）的食品图像识别算法.我们将我们提出的方法应用于两个真实世界的食物图像数据集（UEC-256和Food-101），并取得了令人印象深刻的结果。据我们所知，这些结果优于所有其他报告的工作，使用这两个数据集。我们的实验表明，该方法是一个很有前途的解决方案，解决食品图像识别问题。我们未来的工作包括进一步提高算法的性能，并将我们的系统集成到现实世界的移动和基于云计算的系统中，以提高当前饮食摄入量测量的准确性。
2016-06-17 cs.CV
Attacking Face Recognition with T-shirts: Database, Vulnerability Assessment and Detection
Hochschule Darmstadt（达姆施塔特应用技术大学）；Idiap Research Institute（Idiap研究所）
针对人脸识别系统易受新型呈现攻击、现有检测方法泛化性不足的问题，构建含1608个样本的T恤攻击数据库，验证其威胁性，并提出三种检测方法，其中融合方法性能优异。
2022-11-14 cs.CV
Database of iris images acquired in the presence of ocular pathologies and assessment of iris recognition reliability for disease-affected eyes
Research and Academic Computer Network (NASK)（研究与学术计算机网络（NASK））；Warsaw University of Technology（华沙理工大学）；Medical University of Warsaw（华沙医科大学）
本文提出了一个数据库的虹膜图像收集的疾病影响的眼睛和虹膜识别的可靠性的影响，眼部疾病的分析。为此，我们收集了一个数据库的虹膜图像采集91个不同的眼睛在常规眼科访问。该收集收集健康眼睛以及具有各种眼睛病理的眼睛的样本，包括白内障、急性青光眼、后粘连和前粘连、视网膜脱离、虹膜红变、角膜血管化、角膜移植、虹膜损伤和萎缩以及角膜溃疡、混浊或混浊。据我们所知，这是第一个将向公众开放的此类数据库。在分析中，数据被分为五组样本，这些样本对虹膜识别具有类似的预期影响：1）健康（无影响），2）未受影响的清晰虹膜（尽管检测到了疾病），3）几何扭曲的虹膜，4）扭曲的虹膜组织和5）阻塞的虹膜组织。然后使用三种不同的虹膜识别方法（MIRLIN，VeriEye和OSIRIS）来寻找健康眼睛和受疾病影响的眼睛的平均真实和冒名顶替者比较分数的差异。具体而言，当与一组健康眼睛相比时，我们获得了所有虹膜匹配器和所有受疾病影响的眼睛的显著更差的真实比较分数，这具有影响假不匹配率的高潜力。
2018-09-01 cs.CV
ChatGPT and biometrics: an assessment of face recognition, gender detection, and age estimation capabilities
Norwegian University of Science and Technology (NTNU)（挪威科技大学（NTNU））；Mizani Research Institute（米扎尼研究所）；Idiap Research Institute（伊迪亚普研究所）
该研究设计提示策略绕过ChatGPT的安全防护，评估其在人脸识别、性别检测和年龄估计三类生物特征任务的能力，验证了大语言模型在该领域的应用潜力。
2024-12-11 cs.AI cs.CV
AFID: A Unified Open Framework for Automated Fingermark Identification, Quality Assessment and Feature Extraction
University of Ljubljana（卢布尔雅那大学）；Joint Research Centre of the European Commission（欧盟委员会联合研究中心）
AFID提出统一开源框架，基于共享编码器实现指纹识别、质量评估与特征提取，仅用公开数据训练，在多个基准上超越商业匹配器，并开源代码与模型。
2026-09-09 cs.CV
Contrastive learning-based video quality assessment-jointed video vision transformer for video recognition
本文提出SSL-V3方法，通过结合对比学习和无参考视频质量评估，提升视频分类的准确性和鲁棒性。
2026-03-11 cs.CV
Generalized Recognition of Basic Surgical Actions Enables Skill Assessment and Vision-Language-Model-based Surgical Planning
本文提出包含10种基本手术动作的大型数据集，开发了新的基础模型以实现基本动作的通用识别，并展示了其在手术技能评估和手术规划中的应用。
2026-03-13 cs.CV
CR-FIQA: Face Image Quality Assessment by Learning Sample Relative Classifiability
Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；TU Darmstadt（达姆施塔特工业大学）
人脸图像的质量对人脸识别算法的性能有很大的影响。人脸图像质量评估（FIQA）估计捕获的图像在实现可靠和准确的识别性能方面的效用。在这项工作中，我们提出了一种新的学习范式，在训练过程中学习内部网络观察。在此基础上，我们提出的CR-FIQA使用这种范式来估计人脸图像质量的样本，通过预测其相对分类。这种可分类性是基于训练样本特征表示在角空间中相对于其类中心和最近的负类中心的分配来测量的。我们通过实验说明了人脸图像质量和样本相对可分类性之间的相关性。由于这种属性仅对训练数据集是可观察的，因此我们建议从训练数据集中学习此属性，并利用它来预测未见过样本的质量度量。这种训练是同时进行的，同时通过用于人脸识别模型训练的基于角度边缘惩罚的softmax损失来优化类中心。通过对8个基准测试和4个人脸识别模型进行广泛的评估实验，我们证明了我们提出的CR-FIQA比最先进的（SOTA）FIQA算法的优越性。
2023-03-13 cs.CV
An Efficient Method for Face Quality Assessment on the Edge
Aselsan Inc.（阿瑟尔桑公司）
人脸识别的实际应用主要包括两个步骤：人脸检测和特征提取。在唯一的基于视觉的解决方案中，第一步通过嵌入相机流来生成针对单个身份的多个检测。边缘设备上的实用方法应该根据其与识别的一致性来优先考虑这些身份检测。从这个角度来看，我们提出了一种人脸质量分数回归方法，只需向人脸地标检测网络添加一层即可。在几乎没有额外成本的情况下，通过训练这个单层来回归识别分数，并使用类似增强的监视来获得人脸质量分数。我们在边缘GPU上实现了所提出的方法，包括所有人脸检测流水线步骤，包括检测，跟踪和对齐。通过与SOTA人脸质量回归模型在不同数据集和真实场景下的对比实验，验证了该方法的有效性。
2022-07-19 cs.CV
Longitudinal Performance of Iris Recognition in Children: Time Intervals up to Six years
Clarkson University（克拉克森大学）；St. Lawrence University（圣劳伦斯大学）
虹膜识别性能的时间稳定性是其作为生物特征识别方式成功的核心。随着儿童应用范围的扩大，儿童虹膜识别性能的时间稳定性知识库中的空白已经影响了全球范围内应用过程中的决策。本报告对儿童的纵向虹膜识别性能进行了最广泛的分析，数据来自相同的230名儿童，年龄在4至17岁之间，年龄在6.5岁以上。匹配分数的评估、影响匹配分数的可变性因素的统计建模以及错误拒绝的根本原因的深入评估得出结论，老化对虹膜识别性能没有影响。
2023-03-10 cs.CV eess.IV
A No-Reference Medical Image Quality Assessment Method Based on Automated Distortion Recognition Technology: Application to Preprocessing in MRI-guided Radiotherapy
Beijing University of Posts and Telecommunications（北京邮电大学）；National Cancer Center/National Clinical Research Center for Cancer/Cancer Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College（中国医学科学院北京协和医学院国家癌症中心/国家癌症临床医学研究中心/肿瘤医院）
提出一种基于自动失真识别的无参考MR图像质量评估模型，通过MSCN、AGGD与K-means计算QI，验证其可显著评价预处理增益并提升MRIgRT肿瘤跟踪精度。
2024-12-10 cs.CV eess.IV physics.med-ph
FaceQAN: Face Image Quality Assessment Through Adversarial Noise Exploration
University of Ljubljana, Faculty of Electrical Engineering（卢布尔雅那大学电气工程学院）；University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院）
最近国家的最先进的人脸识别（FR）的方法已经取得了令人印象深刻的性能，但无约束的人脸识别仍然是一个悬而未决的问题。人脸图像质量评估（FIQA）方法旨在估计输入样本的质量，这可以帮助提供关于识别决策的置信度的信息，并最终在具有挑战性的场景中导致改进的结果。虽然近年来在人脸图像质量评估方面取得了很大进展，但计算不同人脸图像和FR模型的可靠质量分数仍然具有挑战性。在本文中，我们提出了一种新的方法来人脸图像质量评估，称为FaceQAN，这是基于对抗性的例子，并依赖于对抗性噪声的分析，可以计算与任何FR模型学习使用某种形式的梯度下降。因此，该方法是第一个将图像质量与对抗攻击联系起来的方法。全面的（跨模型以及模型特定的）实验是用四个基准数据集进行的，即，LFW、CFP-FP、XQLFW和IJB-C四种FR型号，CosFace，ArcFace，CurricularFace和ElasticFace，并与七种最先进的FIQA方法进行比较，以展示FaceQAN的性能。实验结果表明，FaceQAN取得了有竞争力的结果，同时表现出几个理想的特性。
2022-12-05 cs.CV
DeepFakes: a New Threat to Face Recognition? Assessment and Detection
Idiap Research Institute（Idiap研究所）
通过使用预先训练的生成对抗网络（GAN），将视频中一个人的面部自动替换为另一个人的面部变得越来越容易。最近的公共丑闻，例如，名人的脸被交换到色情视频，要求自动化的方法来检测这些Deepfake视频。为了帮助开发这些方法，本文介绍了第一组公开的Deepfake视频，这些视频是从VidTIMIT数据库的视频中生成的。我们使用基于GANs的开源软件来创建Deepfakes，我们强调训练和混合参数可以显着影响结果视频的质量。为了证明这种影响，我们使用不同的调整参数集生成了低视觉质量和高视觉质量的视频（每个视频320个）。我们发现，基于VGG和Facenet神经网络的最先进的人脸识别系统容易受到Deepfake视频的攻击，错误接受率分别为85.62%和95.00%，这意味着检测Deepfake视频的方法是必要的。通过考虑几种基线方法，我们发现基于唇同步不一致检测的视听方法无法区分Deepfake视频。性能最好的方法基于视觉质量指标，通常用于演示攻击检测领域，在高质量Deepfakes上的平均出错率为8.97%。我们的实验表明，GAN生成的Deepfake视频对人脸识别系统和现有的检测方法都具有挑战性，而人脸交换技术的进一步发展将使其变得更加困难。
2018-12-20 cs.CV
Utility-Oriented Underwater Image Quality Assessment Based on Transfer Learning
Fuzhou University（福州大学）；Peng Cheng Laboratory（鹏城实验室）；Beijing University of Technology（北京工业大学）；Beijing Artificial Intelligence Institute（北京人工智能研究院）；Université de Nantes（南特大学）；Laboratoire des Sciences du Numérique de Nantes（南特数字科学实验室）
图像的广泛应用极大地促进了基于视觉的任务，其中图像质量评价（IQA）技术成为一个日益重要的问题。对于多媒体系统中的用户享受，IQA利用图像保真度和美学来表征用户体验;而对于其他任务，例如流行的对象识别，效用和感知之间存在低相关性。在这种情况下，基于外观和美学的IQA方法不能直接应用。为了解决这个问题，本文提出了一种面向实用性的对象识别IQA。特别是，我们初始化我们的研究在水下鱼类检测的情况下，这是一个关键的任务，尚未得到完美的解决。在此基础上，建立了水下图像效用数据库（UIUD）和基于学习的水下图像效用度量（UIUM）。受基于身份的IQA自顶向下设计的启发，我们利用对象识别的深层模型，并将其特征转移到我们的UIUM。实验验证了所提出的基于迁移学习的UIUM在识别任务中取得了良好的性能。我们希望我们的研究能为IQA和计算机视觉的研究提供一个桥梁。
2022-05-07 cs.CV eess.IV
Content Significance Distribution of Sub-Text Blocks in Articles and Its Application to Article-Organization Assessment
1 Richard Miner School of Computer \& Information Sciences, University of Massachusetts, Lowell, MA 01854, USA
本文提出子文本块的内容显著性分布（CSD-1和CSD-2），利用SentenceTransformer和MoverScore衡量文本相似度，并通过近似算法解决计算复杂度问题，最终训练SVC分类器实现高准确度的文章组织评估。
2024-09-24 cs.CV
Massively Annotated Datasets for Assessment of Synthetic and Real Data in Face Recognition
Faculty of Engineering of the University of Porto（波尔图大学工程学院）；Institute for Systems and Computer Engineering, Technology and Science（系统与计算机工程、技术与科学研究所）
该研究利用大规模属性分类器（MAC）为四个真实和合成人脸数据集创建标注，通过Kullback-Leibler散度分析属性分布差异，发现真实样本能解释合成分布，但反之不成立。
2024-04-23 cs.CV
Are Vision-Language Models Ready for Dietary Assessment? Exploring the Next Frontier in AI-Powered Food Image Recognition
Biometrics and Data Pattern Analytics Lab, Universidad Autonoma de Madrid（生物度量与数据模式分析实验室，马德里自治大学）；IMDEA Food, CEI UAM+CSIC（IMDEA食品，CEI UAM+CSIC）
本文评估了六种先进的视觉-语言模型在不同层次上的食品识别能力，提出了一个新的评估指标，并展示了FoodNExTDB数据库在饮食评估中的应用潜力。
2025-04-09 cs.AI cs.CV
Face Image Quality Assessment: A Literature Survey
Hochschule Darmstadt（达姆施塔特应用技术大学）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形研究所）；European Commission, Joint Research Center（欧盟委员会联合研究中心）；Universidad Autonoma de Madrid（马德里自治大学）
人脸分析和识别系统的性能取决于所获取的人脸数据的质量，而人脸数据的质量又受到许多因素的影响。因此，根据生物计量效用自动评估面部数据的质量可以用于检测低质量数据并相应地做出决策。这项调查提供了一个概述的人脸图像质量评估文献，主要集中在可见光波长的人脸图像输入。观察到基于深度学习的方法的趋势，包括最近的方法之间的显着概念差异，例如将质量评估集成到人脸识别模型中。除了图像选择之外，面部图像质量评估还可以用于本文所讨论的各种其他应用场景中。指出了有待解决的问题和挑战。强调了算法评估可比性的重要性，以及未来工作的挑战，即创建除了提供准确的效用预测之外还可解释的深度学习方法。
2021-10-25 cs.CV
Robust Sclera Segmentation for Skin-tone Agnostic Face Image Quality Assessment
针对人脸图像质量评估对人口统计因素敏感的问题，提出基于巩膜分割的鲁棒方法，利用巩膜颜色一致性产生不变特征，使FIQA算法对肤色、年龄和种族无关。
2023-12-22 cs.AI cs.CV
