Smartphone Multi-modal Biometric Authentication: Database and Evaluation
Norwegian University of Science and Technology (NTNU)(挪威科技大学);Idiap Research Institute(Idiap研究所);IDEMIA(IDEMIA公司)
基于生物特征的验证被广泛用于智能手机的各种应用,包括金融交易。在这项工作中,我们提出了一个新的多模态生物特征数据集(面部,语音和眼周)使用智能手机获得。新的数据集由150个主题组成,这些主题在六个不同的会话中捕获,反映了智能手机辅助身份验证的真实场景。该数据集的一个独特之处在于,它是在代表不同人口和种族的四个不同地理位置收集的。此外,我们还提出了一个多模态演示攻击(PA)或欺骗数据集使用低成本的演示攻击工具(PAI),如打印和电子显示攻击。新的采集协议和从不同地理位置收集的数据主体的多样性将允许开发用于单峰或多峰生物识别的新算法。此外,我们还报告了新收集的数据集上的基线生物特征验证和呈现攻击检测(PAD)的性能评估。
2019-12-05 cs.CV
Seamless Multimodal Biometrics for Continuous Personalised Wellbeing Monitoring
智能感知越来越多地出现在我们每个人的生活中。汽车也不例外,()在不久的将来,模式识别将在车辆中发挥更大的作用,因为自动驾驶汽车将需要自动化的方式来了解周围(和内部)发生的事情并采取相应的行动。(...)这项博士工作的重点是通过研究用于生物识别和健康监测的新型计算机视觉和模式识别方法来推进车载传感。主要重点是心电图(ECG)生物识别技术,这是一种以其无缝驾驶员监控潜力而闻名的特性。主要努力致力于在非本人情况下实现识别和身份验证的改进性能,众所周知,这种情况下噪声和可变性增加。在这里,提出了端到端的深度学习ECG生物识别解决方案,并解决了跨数据库和长期性能、通过可解释性实现波形相关性以及导联间转换等重要主题。人脸生物特征识别,一个自然的补充,心电图在无缝无约束的情况下,也在这项工作中进行了研究。解决了生物特征识别中的蒙面人脸识别和可解释性的公开挑战,以努力朝着更透明,更值得信赖和对重大遮挡更鲁棒的算法发展。在健康监测的主题中,提出了改进的解决方案,用于人群中的多模式情感识别和车载场景中的活动/暴力识别。最后,我们还提出了一种在端到端模型中学习模板安全性的新方法,消除了额外的单独加密过程,以及一种针对序列数据的自监督学习方法,以确保数据安全性和最佳性能。(...)
2023-01-19 cs.CV
Multimodal Biometric Authentication Using Camera-Based PPG and Fingerprint Fusion
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of Toronto(多伦多大学);King Fahad University of Petroleum and Minerals(法赫德国王石油与矿业大学)
本研究提出一种融合基于相机的PPG信号与指纹的多模态生物特征认证系统,采用双SSM编码器、跨模态注意力及分布导向对比损失,在单、双会话场景下均实现更优的用户验证性能。
2024-12-07 cs.CV
Multimodal Adaptive Fusion of Face and Gait Features using Keyless attention based Deep Neural Networks for Human Identification
SRM Institute of Science and Technology(SRM科学技术学院);Instituto Superior Técnico, Univ. of Lisbon(里斯本大学高等技术学院)
生物识别技术在基于视觉的监控应用中发挥着重要作用。步态等软生物特征被广泛用于人脸识别和重新识别等监控任务。然而,在实际情况下,经典的融合技术对个人用户和外部环境的变化响应不佳。为此,我们提出了一种新的自适应多生物特征融合策略,通过利用无键注意深度神经网络动态整合步态和面部生物特征线索。各种外部因素,如视点和距离相机,在这项研究中进行了调查。大量的实验表明,与现有模型相比,该模型具有更好的性能。
2023-03-24 cs.CV
An Efficient Secure Multimodal Biometric Fusion Using Palmprint and Face Image
J.S.S. research foundation(J.S.S.研究基金会);Mysore University(迈索尔大学)
基于生物特征的身份识别被认为是一种有效的自动识别方法,具有高置信度的个人身份。多模态生物特征系统整合了多个生物特征源提供的证据,与基于单一生物特征模态的系统相比,通常具有更好的识别性能。提出了一种利用人脸和掌纹两个特征进行多模态生物系统辨识认证的方法。所提出的系统被设计用于其中训练数据包含面部和掌纹的应用。将掌纹和人脸特征相结合,提高了身份认证的鲁棒性。最后的决定是由融合在匹配分数级架构,其中特征向量独立创建查询措施,然后比较注册模板,这是存储在数据库准备。多模态生物特征识别系统是通过融合人脸识别和掌纹识别来实现的。
2009-09-12 cs.CR cs.CV
A Multi-Biometrics for Twins Identification Based Speech and Ear
Istanbul Technical University(伊斯坦布尔理工大学)
生物识别技术的发展更加变得至关重要。为了定义人类特征,使用生物特征系统,但是由于传统生物特征系统无法识别双胞胎,因此开发了多模态生物特征系统。在这项研究中,提出了一个多模态生物识别系统,通过使用图像和语音数据来识别双胞胎彼此和其他人。语音或图像数据可以足以将人彼此识别,但是双胞胎不能用这些数据中的一个来区分。因此,需要一个鲁棒的语音和人耳图像相结合的识别系统。作为数据库,39双胞胎的照片和语音数据。对于语音识别,使用MFCC和DTW算法。此外,Gabor滤波器和DCVA算法用于人耳识别。通过对多个生物特征进行匹配分数级融合,提高了匹配成功率。尤其是五品,更是达到了百分之百。我们认为语言和听觉是互补的。因此,基于语音和人耳的多生物特征识别是一种有效的身份识别方法。
2018-01-27 cs.CV
Study on Sparse Representation based Classification for Biometric Verification
Xihua University(西华大学);Sichuan University(四川大学)
在本文中,我们提出了一个多模态验证系统集成的人脸和耳朵的基础上稀疏表示为基础的分类(SRC)。首先对人脸和耳朵查询样本分别进行编码,以获得基于稀疏性的匹配分数,然后将其与求和规则融合进行验证。除了验证基于SRC的多模态验证的令人鼓舞的性能,本文还致力于提供一个清晰的理解基于SRC的生物特征验证的特点。为此,两个基于稀疏性的度量,即备用编码错误(SCE)和稀疏贡献率(SCR),涉及,连同脸和耳朵单峰SRC为基础的验证。针对基于SRC的生物特征验证随着受试者数量的增加而带来的计算负担重、验证精度下降的问题,提出了一种基于稀疏度的小随机字典分数计算方法,该方法由有限数量的随机选择受试者的训练样本组成。实验结果表明,与似然比(LLR)、支持向量机(SVM)以及基于余弦相似度的和规则融合方法相比,基于SRC的多模态验证方法具有明显的优越性,同时采用小随机字典的思想在有效性和效率上都是可行的。
2015-02-27 cs.CV
OMuSense-23: A Multimodal Dataset for Contactless Breathing Pattern Recognition and Biometric Analysis
University of Oulu(奥卢大学);IIIT Bangalore(印度信息技术研究所班加罗尔分校)
针对非接触式生物特征与活动识别领域缺乏通用多模态数据集的问题,本文发布包含50人3种姿势、4种呼吸模式的OMuSense-23多模态数据集,给出采集协议与多项任务基准结果,数据集已公开供领域使用。
2024-05-22 cs.CV
Deep Hashing for Secure Multimodal Biometrics
当与单峰系统相比时,多模态生物识别系统具有若干优点,包括较低的出错率、较高的准确性和较大的人口覆盖率。然而,多模式系统对完整性和隐私性的要求越来越高,因为它们必须存储与每个用户相关联的多个生物特征。在本文中,我们提出了一个用于特征级融合的深度学习框架,该框架从每个用户的面部和虹膜生物特征生成安全的多模态模板。我们将深度哈希(二值化)技术集成到融合架构中,以生成一个强大的二进制多模态共享潜在表示。此外,我们采用了一种混合安全架构,将可取消的生物特征与安全草图技术相结合,并将其与深度哈希框架相结合,这使得在计算上禁止伪造通过身份验证的多个生物特征的组合。所提出的方法的有效性示出使用多模态数据库的人脸和虹膜,它是观察到的匹配性能得到改善,由于多个生物特征的融合。此外,所提出的方法还提供了模板的可取消性和不可链接性以及生物特征数据的改进的隐私性。此外,我们还使用基准数据集测试了图像检索应用程序的哈希函数。本文的主要目标是开发一种集成多模态融合、深度哈希和生物特征安全的方法,重点是来自人脸和虹膜等模态的结构数据。所提出的方法绝不是一个通用的生物识别安全框架,可以应用于所有的生物识别方式,需要进一步的研究,以扩展所提出的框架,以其他不受约束的生物识别方式。
2020-12-29 cs.AI cs.CV cs.IT
Secured Cryptographic Key Generation From Multimodal Biometrics: Feature Level Fusion of Fingerprint and Iris
Bannari Amman Institute of Technology(班纳里·阿曼理工学院);K.S.Rangasamy College of Technology(K.S.拉加斯瓦米技术学院)
人类用户很难记住长的加密密钥。因此,长期以来,研究人员一直在研究利用用户的生物特征而不是令人难忘的密码或密码短语的方法,以努力生成强大且可重复的加密密钥。我们的目标是将用户的生物特征的波动性到生成的密钥,从而使关键unguessable缺乏显着的知识,用户的生物特征的攻击者。我们更进一步,试图将多种生物识别方式纳入密钥生成,以提供更好的安全性。在这篇文章中,我们提出了一种有效的方法,基于多模态生物特征(虹膜和指纹)的安全密钥的生成。该方法由三个模块组成,即:1)特征提取,2)多模态生物特征模板生成和3)密钥生成。首先,分别从指纹和虹膜图像中提取特征、细节点和纹理属性。随后,将提取的特征在特征级融合在一起以构建多生物特征模板。最后,从多生物特征模板生成256位安全密钥。为了实验,我们采用了从公开来源获得的指纹图像和来自CASIA虹膜数据库的虹膜图像。实验结果证明了该方法的有效性。
2010-03-07 cs.CR cs.CV
Robust Cross-View Gait Recognition with Evidence: A Discriminant Gait GAN (DiGGAN) Approach
Newcastle University(纽卡斯尔大学);University of Cambridge(剑桥大学);Durham University(杜伦大学);Georgia Institute of Technology(佐治亚理工学院)
步态作为一种生物特征,在过去几十年中,在身份识别和认证等许多安全和隐私应用中引起了人们的广泛关注。由于其作为长距离生物特征的性质,步态可以很容易地收集,并用于通过闭路电视摄像头非侵入性地识别个人。然而,这是非常困难的,以开发强大的自动步态识别系统,因为步态可能会受到许多协变量因素,如服装,步行速度,摄像机视角等,其中,大的视角变化已被视为最具挑战性的因素,因为它可以改变整体步态外观显着。现有的步态识别工作远远不足以提供令人满意的性能,因为这样的视图变化。此外,很少有工作考虑证据-可证明的信息揭示决策的可靠性,这被认为是基于机器学习的识别/认证应用程序中的重要需求。为了解决这些问题,在本文中,我们提出了一个判别式步态生成对抗网络,即DiGGAN,它可以有效地提取视图不变的跨视图步态识别功能,更重要的是,转移步态图像到不同的视图-作为证据,并显示如何作出的决定。在两个最流行的跨视图步态数据集OU-MVLP和CASIA-B上进行了定量实验,其中所提出的DiGGAN优于最先进的方法。定性分析也已提供,并证明了建议的DiGGAN的能力,提供证据。
2020-09-17 cs.CV
Speech Recognition: Increasing Efficiency of Support Vector Machines
City University of Science and Information Technology(科技与信息城市大学)
随着通信和安全技术的发展,嵌入式生物识别系统的鲁棒性变得至关重要。本文介绍了这些技术的实现,这需要可靠的和无差错的生物特征身份验证系统。由于高维特征空间的特征分解和小样本情况下散射矩阵的退化,高维模式是不允许的。通过最小化权向量来控制泛化、降维和最大化边缘。实验结果表明,本文提出的多模态生物特征识别系统具有良好的模式识别效果。本文旨在研究一个生物特征识别系统,使用支持向量机(SVM)和林德尔判别分析(LDA)与MFCC和实现这样的系统在实时使用SignalWAVE。
2012-04-19 cs.CV
Deep Fisher Discriminant Learning for Mobile Hand Gesture Recognition
Beihang University(北京航空航天大学);China University of Mining and Technology(中国矿业大学);University of Central Florida(中佛罗里达大学);Nortumbria Univesity(诺森比亚大学)
手势识别是生物特征识别领域的一个具有挑战性的问题。本文将Fisher准则引入到双向长短期记忆(BLSTM)网络和双向门控递归单元(BGRU)中,得到了两个新的深度模型F-BLSTM和F-BGRU。两种Fisher判别式深度模型都可以基于分析人类手势的加速度和角速度数据来有效地对手势进行分类。此外,我们收集了一个大型的移动手势数据库(MGD)的基础上的加速度和角速度包含5547序列的12个手势。进行了大量的实验,以验证所提出的网络相比,最先进的BLSTM和BGRU的MGD数据库和两个基准数据库(即BUAA移动手势和SmartWatch手势)的优越性能。
2017-07-12 cs.CV
Quality-Aware Multimodal Biometric Recognition
West Virginia University(西弗吉尼亚大学)
我们提出了一个质量感知的多模态识别框架,结合不同的质量和样本数量的多个生物特征的表示,以实现提高识别精度,通过提取互补的识别信息的基础上的样本的质量。我们开发了一个质量感知框架,通过使用弱监督方式估计的质量分数来加权其重要性,以融合输入模态的表示。该框架利用两个融合块,每个融合块由一组质量感知和聚合网络表示。除了架构修改,我们提出了两个特定于任务的损失函数:多模态分离性损失和多模态紧凑性损失。第一个损失确保了一个类的模态表示具有可比的幅度,以提供更好的质量估计,而不同类的多模态表示是分布式的,以实现嵌入空间中的最大区分。第二种损失被认为是正则化网络权重,通过正则化框架来提高泛化性能。我们评估的性能,考虑三个多模态数据集组成的脸,虹膜和指纹模式。通过与最先进的算法进行比较,证明了该框架的有效性。特别是,我们的框架优于等级和评分级别的融合形式的BIOMDATA超过30%的真实接受率在错误的接受率$10^{-4}$。
2021-12-10 cs.CV cs.LG
Benchmarking Quality-Dependent and Cost-Sensitive Score-Level Multimodal Biometric Fusion Algorithms
University of Surrey(萨里大学);West Virginia University(西弗吉尼亚大学);Institut Telecom, Telecom and Management SudParis(法国国立电信学院南巴黎电信与管理学院);CEA LIST(法国原子能与替代能源委员会 LIST 研究所);University of Amsterdam(阿姆斯特丹大学);Brandenburg University of Applied Sciences(勃兰登堡应用技术大学);Otto-von-Guericke-University of Magdeburg(马格德堡奥托·冯·格里克大学)
通过生物识别技术自动验证个人身份是日常活动中的重要应用,例如访问银行服务和机场安全控制。为了提高系统的可靠性,通常使用几种生物识别设备。这样的组合系统被称为多模态生物计量系统。本文报告了一个基准研究的框架内进行的生物安全DS2(访问控制)的评估活动组织的萨里大学,涉及人脸,指纹和虹膜生物识别技术的人的身份验证,针对物理访问控制的应用在一个中等规模的建立与约500人。虽然多模态生物识别是一个很好的研究课题,有没有融合算法比较基准。为了实现这一目标,我们设计了两组实验:质量依赖和成本敏感的评价。质量相关评估的目的是评估融合算法在原始图像质量变化(主要是由于设备的变化)下的性能。另一方面,成本敏感的评估,调查如何以及一个融合算法可以执行给定的限制计算,并在软件和硬件故障的存在下,导致错误,如失败获取和失败匹配。由于有多个捕获设备可用,融合算法应该能够处理这种非理想但现实的场景。在这两种评估中,每个融合算法被提供有来自每个生物特征比较子系统的分数以及模板和查询数据两者的质量度量。对该运动号召的响应非常令人鼓舞,提交了22个聚变系统。据我们所知,这是第一次尝试基准质量为基础的多模态融合算法。
2021-11-17 cs.CR cs.CV
IdentiFace : A VGG Based Multimodal Facial Biometric System
Cairo University(开罗大学)
本文提出基于VGG-16架构的多模态面部生物特征识别系统IdentiFace,结合面部识别与性别、脸型、表情等软生物特征,在多个数据集上取得优异的测试准确率。
2024-01-10 cs.AI cs.CV
BiosecurID: a multimodal biometric database
Universidad Autonoma de Madrid(马德里自治大学);Escuela Universitaria Politecnica de Mataro(马塔罗大学理工学院);Universidad de Valladolid(巴利亚多利德大学);Universidad del Pais Vasco(巴斯克大学);Universidad de Zaragoza(萨拉戈萨大学)
一个新的多模态生物特征数据库,获得的BiosecuID项目的框架内,提出了与描述的收购设置和协议。该数据库包括八个单峰生物特征,即:语音、虹膜、面部(静止图像、说话面部视频)、手写签名和手写文本(在线动态信号、离线扫描图像)、指纹(用两种不同的传感器采集)、手(掌纹、轮廓几何)和指纹识别。该数据库包括400个主题,并提出了功能,如:现实的收购方案,平衡的性别和人口分布,有关特定人口统计群体(年龄,性别,用手习惯)的信息的可用性,收购的重放攻击的语音和语音识别,熟练的forecast签名,并与其他现有的数据库的兼容性。所有这些特性使得它在研究和开发单峰和多峰生物识别系统中非常有用。
2021-11-02 cs.CR cs.CV eess.IV
Evaluating Multimodal Large Language Models for Heterogeneous Face Recognition
Idiap Research Institute(日内瓦研究所)
本文评估了多模态大语言模型在异构人脸识别中的性能,发现其在跨模态条件下表现欠佳,凸显了当前模型的局限性及生物识别评估的重要性。
2026-01-21 cs.CV
UL-DD: A Multimodal Drowsiness Dataset Using Video, Biometric Signals, and Behavioral Data
University of Louisiana at Lafayette(路易斯安那州立大学拉法叶分校);Tietoevry(蒂奥维瑞);Tampere University(塔尔库大学)
本文提出UL-DD多模态驾驶员嗜睡数据集,融合3D面部视频、红外视频、生物信号、握力及驾驶遥测数据,采集19名受试者共1400分钟连续数据,记录嗜睡状态的渐进变化,为嗜睡检测提供更全面的研究资源。
2025-07-16 cs.CV cs.LG
in-Car Biometrics (iCarB) Datasets for Driver Recognition: Face, Fingerprint, and Voice
Idiap Research Institute(伊迪亚普研究所)
该研究提出包含人脸、指纹、语音三种模态的车内生物特征iCarB数据集,解决现有车载数据集模态单一问题,可用于识别系统评估、多模态算法训练等,助力生物特征研究。
2024-11-26 cs.CV
Generalist Multimodal LLMs Gain Biometric Expertise via Human Salience
本文研究通用多模态大语言模型在隐私约束下通过人类显著性信息实现虹膜攻击检测的可行性,实验表明其在虹膜攻击检测中优于传统CNN模型和人工评估。
2026-03-17 cs.AI cs.CV
Analyze and Development System with Multiple Biometric Identification
Suleyman Demirel University(苏莱曼·德米雷尔大学)
由于技术发展的迅速增加,身份盗窃、消费欺诈日益增多,对个人数据的威胁也与日俱增。早期开发的确保个人信息被盗的方法既不有效也不安全。生物识别技术是在需要更有效地保护个人信息的技术时引入的。老式的传统方法,如个人识别码(PIN),密码,密钥,登录ID可能会被遗忘,被盗或丢失。在生物认证系统中,用户可能不记得任何密码或携带任何密钥。作为人,他们通过物理外观和行为特征来识别对方,生物识别系统使用物理特征,如指纹,面部识别,话音识别,以区分实际用户和骗子。为了提高安全性,在2005年,生物识别方法被开发的政府和商业部门,但今天它已经达到了几乎所有的私营部门,如银行,金融,家庭安全和保护,医疗保健,商业安全和安全等,因为生物样本和模板的生物识别系统具有一个生物特征检测和用户可以被替换和复制,已经引入了合并多种生物测定识别技术的新思想,所谓的多模态生物测定识别系统使用了可以被识别为真实用户或不是真实用户的个体的两个或更多个生物测定数据特征。
2020-04-10 cs.CV
From Data to Insights: A Covariate Analysis of the IARPA BRIAR Dataset for Multimodal Biometric Recognition Algorithms at Altitude and Range
Oak Ridge National Laboratory(橡树岭国家实验室)
本文通过线性模型分析 IARPA BRIAR 数据集中协变量对无人机高空远距离全身生物特征识别性能的影响,发现分辨率和相机距离最能预测准确率,为相关系统研发提供指导。
2024-09-03 cs.AI cs.CV cs.LG
AI-based Multimodal Biometrics for Detecting Smartphone Distractions: Application to Online Learning
Universidad Autónoma de Madrid(马德里自治大学);University College London(伦敦大学学院)
本研究提出基于AI的多模态生物特征方法,利用生理信号和头部姿态检测在线学习中的智能手机分心,多模态融合达到91%准确率,优于单一信号。
2025-06-24 cs.AI cs.CV cs.CY
A Novel Scheme for Generating Secure Face Templates Using BDA
MCERC
在身份管理系统中,常用的生物特征识别系统需要对生物特征模板的保护问题有所认识,以寻求更可靠的解决方案。鉴于这种生物特征模板保护算法应满足基本要求,即安全性,可辨别性和可取消性。由于没有一种模板保护方法能够满足这些要求,提出了一种新的人脸模板生成和保护方案。新方案的提出,以提供新用户注册和认证过程中的安全性和准确性。这种新的方案利用了混合方法和二进制鉴别分析算法。该算法是基于随机投影、二元判别分析和模糊承诺方案设计的。公开可用的基准人脸数据库(FERET,FRGC,CMU-PIE)和其他数据集用于评估。所提出的新方案提高了区分度和识别精度方面的匹配分数的人脸图像的每个阶段,并提供了高的安全性,对潜在的攻击,即暴力和智能攻击。在本文中,我们讨论的结果,即平均匹配得分,计算时间和安全的混合方法和新的方法。
2013-12-29 cs.CR cs.CV
GaitFace: A Multimodal Dataset for Long-Range Person Identification
Idiap Research Institute(伊迪阿普研究所)
介绍用于远距离人员识别的多模态数据集GaitFace,利用预注册和“野外”捕获数据反映真实边境场景,通过基准测试揭示当前面部和步态模型在低分辨率和高视角下的关键漏洞,为无约束生物识别研究提供公共基准。
2026-07-28 cs.CV
Finger Multimodal Feature Fusion and Recognition Based on Channel Spatial Attention
Nanjing University of Posts and Telecommunications(南京邮电大学)
由于单模态生物识别系统的不稳定性和局限性,多模态系统越来越受到研究者的关注。然而,如何利用不同模态之间的独立和互补信息仍然是一个关键和具有挑战性的问题。本文提出了一种基于指纹和手指静脉的多模态生物特征融合识别算法(Fingerprint Finger Veins-Channel Spatial Attention Fusion Module,FPV-CSAFM)。具体来说,对于每一对指纹和手指静脉图像,我们首先提出了一个简单而有效的卷积神经网络(CNN)来提取特征。然后,我们建立了一个多模态特征融合模块(通道空间注意力融合模块,CSAFM),充分融合指纹和手指静脉之间的互补信息。与现有的融合策略不同,该融合方法可以根据不同模态在信道和空间维度上的重要性动态调整融合权重,从而更好地融合不同模态之间的信息,提高整体识别性能。为了评估我们的方法的性能,我们在多个公共数据集上进行了一系列实验。实验结果表明,该算法在基于指纹和手指静脉的三种多模态数据集上均取得了良好的识别性能。
2022-09-06 cs.CV
Enhancing the Accuracy of Biometric Feature Extraction Fusion Using Gabor Filter and Mahalanobis Distance Algorithm
NM-AIST(纳尔逊·曼德拉非洲科学技术学院)
生物识别系统在过去的十年中取得了显着进步,在不久的将来,它们在特定应用中的使用将增加。进行有意义的比较和评估的能力对于成功部署和增加生物识别的采用至关重要。作为单峰生物特征识别系统的最佳模态无法完全解决更高识别率的问题。多模态生物识别系统能够减轻在单模态生物识别系统中遇到的一些限制,例如非普遍性、独特性、不可接受性、噪声传感器数据、欺骗攻击和性能。当不同的模态被组合在一起并且使用不同的算法或技术时,可以实现更可靠的识别准确性和性能。本文提出的工作集中在一个双峰生物识别系统,使用人脸和指纹。图像增强技术(直方图均衡化)被用来增强人脸和指纹图像。利用Gabor滤波技术提取人脸和指纹的显著特征。降维技术进行了两个图像提取的特征,使用主成分分析技术。一个特征级融合算法(马氏距离技术)被用来将每个单峰特征结合在一起。所提出的方法的性能进行了验证,是有效的。
2014-07-24 cs.CV
BehavePassDB: Public Database for Mobile Behavioral Biometrics and Benchmark Evaluation
Universidad Autonoma de Madrid(马德里自治大学)
移动行为生物识别技术已经成为一个热门的研究课题,在身份验证方面取得了可喜的成果,利用触摸屏和背景传感器数据的多模式组合。但是,无法知道文献中最先进的分类器是否可以区分用户和器械的概念。在这篇文章中,我们提出了一个新的数据库,BehavePassDB,结构成单独的采集会话和任务,以模仿最常见的方面的移动人机交互(HCI)。BehavePassDB是通过安装在受试者设备上的专用移动应用程序获取的,也包括不同用户在同一设备上进行评估的情况。我们提出了一个标准的实验协议和基准的研究社区执行一个公平的比较新的方法与最先进的。我们提出和评估一个系统的基础上长短期记忆(LSTM)架构与三重丢失和模态融合在分数水平。
2022-10-04 cs.CV
Multimodal Stress Detection Using Facial Landmarks and Biometric Signals
University of Louisiana at Lafayette(路易斯安那大学拉法叶分校)
该研究提出融合面部特征点与生物特征信号的多模态压力检测方法,对比早期、晚期融合策略,经留一受试者测试验证早期融合准确率达98.38%,为多模态压力检测优化提供参考。
2023-11-06 cs.AI cs.CV
FPBench: A Comprehensive Benchmark of Multimodal Large Language Models for Fingerprint Analysis
New York University(纽约大学);University of Wyoming(怀俄明大学)
本文提出FPBench基准测试,评估20种多模态大语言模型在7个真实和合成数据集上的8项生物识别任务,发现微调视觉和语言编码器可提升性能7%-39%。
2026-04-13 cs.CV
ChatGPT Meets Iris Biometrics
Michigan State University(密歇根州立大学)
本文采用零样本设置评估GPT-4多模态大语言模型在多数据集、攻击、遮挡和真实变化下的虹膜识别能力,并与Gemini Advanced比较,验证其专业生物识别应用潜力。
2024-08-09 cs.CV
Mobile Behavioral Biometrics for Passive Authentication
Universidad Autonoma de Madrid(马德里自治大学);Orange Labs(奥兰治实验室)
目前基于PIN码、指纹和人脸识别的移动用户认证系统存在一些缺点。这些限制已经在文献中通过探索通过行为生物识别在移动设备上进行被动认证的可行性来解决。在这一系列的研究中,这项工作进行了单峰和多模态的行为生物特征的比较分析,而受试者在手机上进行不同的活动,如打字,滚动,画一个数字,并在屏幕上点击,考虑到触摸屏和同步的背景传感器数据(加速度计,重力传感器,陀螺仪,线性加速度计,磁力计)。我们的实验是在HuMIdb上进行的,HuMIdb是迄今为止最大和最全面的免费移动用户交互数据库之一。一个单独的递归神经网络(RNN)与三重损失的实现为每个单一的模态。然后,在分数级上进行不同模态的加权融合。在我们的实验中,最具辨别力的背景传感器是磁力计,而在触摸任务中,最好的结果是在固定文本的情况下使用触摸屏。在所有情况下,模态的融合是非常有益的,导致相等的出错率(EER)范围从4%到9%取决于模态组合在3秒的间隔。
2022-03-14 cs.CV
FaceSpoof Buster: a Presentation Attack Detector Based on Intrinsic Image Properties and Deep Learning
Federal Institute of São Paulo (IFSP)(圣保罗联邦理工学院);University of Campinas (UNICAMP)(坎皮纳斯大学)
如今,生物特征认证系统通常采用面部识别,主要是因为这是最容易获得的生物特征模式之一。依赖于通过使用伪造的生物特征样本(例如打印的纸张或真实访问的记录视频)侵入这些类型的系统的技术被称为呈现攻击,但在文献中也可以被称为面部欺骗。呈现攻击检测是防止这种对受限区域和/或设备的未授权访问的关键步骤。在本文中,我们提出了一种新的方法,该方法依赖于内在图像属性和深度神经网络之间的组合来检测演示攻击尝试。我们的方法探索深度,显着性和照明地图,与预先训练的卷积神经网络,以产生强大的和判别功能。这些属性中的每一个都被单独分类,在过程的最后,它们被Meta学习分类器组合在一起,这在PAD最流行的数据集上取得了出色的结果。结果表明,所提出的方法是能够超越国家的最先进的结果,在一个数据集间的协议,这被定义为最具挑战性的文献。
2019-02-07 cs.CV
DeepFace-Attention: Multimodal Face Biometrics for Attention Estimation with Application to e-Learning
Universidad Autonoma de Madrid(马德里自治大学)
本研究提出DeepFace-Attention多模态注意力估计方法,融合多种人脸相关特征,在mEBAL2数据集上准确率超越现有SOTA,可应用于电子学习场景。
2024-08-14 cs.CV cs.HC
A Quality-Guided Mixture of Score-Fusion Experts Framework for Human Recognition
Department of Computer Science and Engineering, Michigan State University(计算机科学与工程系,密歇根州立大学)
针对传统全身生物特征识别分数融合方法忽略模态分数分布差异的问题,提出质量引导的分数融合专家混合框架QME,结合伪质量损失与分数三元组损失,在多数据集上取得当前最优结果。
2025-07-31 cs.CV
Fingervein Verification using Convolutional Multi-Head Attention Network
Norwegian University of Science and Technology (NTNU)(挪威科技大学);AiBA AS(AiBA公司)
提出轻量化卷积多头注意力网络VeinAtnNet用于手指静脉验证,从正常和增强图像中提取判别信息,并在FV-300等数据集上验证了其优于五种先进系统的有效性。
2023-10-25 cs.CV
Families In Wild Multimedia: A Multimodal Database for Recognizing Kinship
Northeastern University(东北大学);University of Massachusetts, Dartmouth(马萨诸塞大学达特茅斯分校)
亲属关系是一种在媒体中可检测到的软生物特征,是无数用例的基础。尽管检测亲属关系很困难,但使用静态图像的年度数据挑战一直在提高性能,并吸引了新的研究人员。现在,系统达到了十年前不可预见的性能水平,接近实际部署可接受的性能。像其他生物识别任务一样,我们希望系统可以从其他模式获得帮助。我们假设,增加方式FIW,只有静态图像,将提高性能。因此,为了缩小研究与现实之间的差距并增强亲属关系识别系统的能力,我们用多媒体(MM)数据(即,视频、音频和文本字幕)。具体来说,我们介绍了第一个公开的多任务MM亲属数据集。为了构建FIW MM,我们开发了自动收集、注释和准备数据的机器,只需要最少的人力投入,没有财务成本。建议MM语料库允许的问题语句是更现实的基于模板的协议。我们在所有基准测试中显示出了显著的改进。结果突出了边缘案例,以激励未来的研究与不同的改进领域。FIW MM提供了增加自动化系统检测MM亲属关系的潜力所需的数据,它还允许来自不同领域的专家以新颖的方式进行合作。
2021-10-01 cs.CV
edBB-Demo: Biometrics and Behavior Analysis for Online Educational Platforms
Autonomous University of Madrid(马德里自治大学)
我们介绍了edBB-Demo,这是一个用于远程教育学生监控的人工智能研究平台的演示器。edBB平台旨在研究数字平台中与用户识别和行为理解相关的挑战。该平台专为数据汇集而开发,可从各种传感器(包括键盘、鼠标、网络摄像头、麦克风、智能手表和脑电图带)获取信号。在多模态学习框架中对学生会话期间从传感器捕获的信息进行建模。演示器包括:i)无监督环境中的生物特征用户认证; ii)基于远程视频分析的人类动作识别; iii)根据网络摄像头视频的心率估计;以及iv)根据面部表情分析的注意力水平估计。
2022-12-05 cs.CV cs.HC
FusionAgent: A Multimodal Agent with Dynamic Model Selection for Human Recognition
Michigan State University(密歇根州立大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
FusionAgent通过动态模型选择提升人体识别鲁棒性,利用多模态大语言模型进行样本特定的模型选择,结合ACT分数融合方法,实验表明其在效率和性能上优于现有方法。
2026-03-27 cs.CV
Through the Eyes of the Beholder: Biometric and Demographic Conditioning for Multimodal Sexism Detection
National University of Science and Technology POLITEHNICA Bucharest(布加勒斯特理工大学);Academy of Romanian Scientists(罗马尼亚科学家学院)
针对互联网性别歧视检测的主观性,提出融合标注者心理与人口统计特征的多模态框架,通过交叉注意力和条件化提升检测性能,在EXIST 2026任务中排名第29。
2026-09-15 cs.AI cs.CL cs.CV
Multimodal Inverse Attention Network with Intrinsic Discriminant Feature Exploitation for Fake News Detection
School of Information Science and Engineering, Shandong Normal University(山东师范大学信息科学与工程学院);Faculty of Engineering & Information Technology, University of Technology Sydney(悉尼科技大学工程与信息技术学院)
针对多模态假新闻检测中未能充分利用模态特定表示和显式差异特征的问题,提出多模态逆向注意力网络(MIAN),通过分层学习、跨模态交互和逆向注意力机制提取内在判别与不一致特征,显著优于现有方法。
2025-05-29 cs.CL cs.CV cs.IR
Deep User Identification Model with Multiple Biometrics
NOTA Incorporated(NOTA公司);Khalifa University(哈利法大学);Korea Advanced Institute of Science and Technology(韩国高等科学技术院)
利用生物特征进行身份识别是一项重要而又具有挑战性的任务。关于使用给定信号识别个人身份或性别已经进行了大量的研究。各种类型的生物测定,如心电图(ECG),脑电图(EEG),面部,指纹和语音已被用于这些任务。大多数的研究只集中在单一的通道或单一的任务,而输入通道或任务的组合还有待研究。在本文中,我们提出了使用多模态生物识别技术进行深度识别和性别分类。我们的模型使用ECG,指纹和面部数据。然后,它执行两项任务:性别识别和分类。通过使用多模态,单个模型可以处理各种输入域,而无需独立地训练每个模态,并且域之间的相关性可以提高其在任务上的泛化性能。
2019-09-03 cs.CV cs.LG eess.SP
Multimodal Personal Ear Authentication Using Smartphones
Graduate School of Science and Engineering of Kansai University(关西大学理工学部);Osaka Research Institute of Industrial Science and Technology(大阪工业科学技术研究所);Faculty of Engineering Science of Kansai University(关西大学工程科学部)
近年来,用于智能手机的生物识别认证技术已经变得普遍,主流方法是指纹认证和面部识别。但是,手湿了就不能用指纹认证,人戴着口罩就不能用人脸识别。因此,我们研究了一个个人认证系统,使用耳廓作为一种新的方法,在智能手机上的生物认证。已经研究了基于耳廓的声学传递函数(PRTF:耳廓相关传递函数)的认证系统。然而,由于每次测量的位置波动,认证精度降低。在本文中,我们提出了多模式的个人身份验证的智能手机上使用PRTF。耳廓图像和位置传感器信息与PRTF一起使用,并检查认证方法的有效性。我们证明,所提出的认证系统可以补偿在每个测量的位置变化,提高鲁棒性。
2021-03-23 cs.CR cs.CV eess.IV
Multibiometrics Belief Fusion
Dr. B. C. Roy Engineering College(B.C.罗伊工程学院);Jadavpur University(jadavpur大学);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文提出了一种多模态生物特征识别系统,通过高斯混合模型(GMM)的人脸和耳朵的生物特征与信念融合的估计分数特征的Gabor响应和建议的融合是由Dempster-Shafer(DS)决策理论完成。将人脸和人耳图像与Gabor小波滤波器进行卷积,提取空间增强的Gabor人脸特征和Gabor人耳特征。此外,GMM应用于高维的Gabor人脸和Gabor耳响应分别进行定量测量。利用期望最大化算法估计GMM中的密度参数。这产生了两组特征向量,然后使用Dempster-Shafer理论进行融合。实验进行了多模态数据库包含400个人的脸和耳朵的图像。研究发现,将Gabor小波滤波器与GMM和DS理论相结合,可以提供鲁棒、高效的多模态融合策略。
2010-02-14 cs.AI cs.CV
Twins Recognition Using Hierarchical Score Level Fusion
Istanbul Technical University(伊斯坦布尔理工大学)
随着技术的发展,生物识别系统的使用领域和重要性开始增加。由于每个人的特征彼此不同,单一模型的生物识别系统可以产生成功的结果。但是,由于双胞胎的特征非常接近,因此包括个人多个特征的多个生物识别系统将更加合适,并将提高识别率。在这项研究中,开发了一个由多种算法和多种模型组合组成的多生物特征识别系统,以区分人与其他人及其双胞胎。耳朵和声音的生物特征数据被用于多模态模型和38对双耳图像和录音中使用的数据集。使用经典(手工制作)和深度学习算法获得声音和耳朵识别率。将所得结果与分级评分水平融合方法相结合,在等级1中实现了94.74%的成功率,在等级2中实现了100%的成功率。
2019-10-27 cs.CV cs.LG eess.SP
A Vision System for Multi-View Face Recognition
Mansoura University(曼苏拉大学)
多模态生物特征识别技术在安全领域受到了广泛的关注。在现实世界中,存在能够以可靠和快速的识别率检测、识别和分类人类身份的现代系统设备。不幸的是,这些系统中的大多数依赖于一种模态,并且两种或更多种模态的可靠性进一步降低。人脸图像在不同姿态下的变化是人脸识别系统面临的重要挑战之一。在本文中,我们提出了一个多模态生物识别系统,能够检测人脸图像,不仅是一个视图的人脸图像,但也多视图的人脸图像。进入系统的每个被试在三个摄像机前调整自己的面部,然后基于加速鲁棒特征(SURF)算法提取面部图像的特征。我们利用多层感知器(MLP)和基于学习矢量量化(LVQ)和径向基函数(RBF)的组合分类器进行分类。该系统已使用SDUMLA-HMT和CASIA数据集进行了测试。此外,我们收集了一个数据库的多视角人脸图像,我们考虑到加性高斯白噪声。结果表明,该系统的可靠性,鲁棒性与不同的姿态和变化,包括噪声图像。
2017-06-01 cs.CV
MultiLock: Mobile Active Authentication based on Multiple Biometric and Behavioral Patterns
Universidad Autonoma de Madrid(马德里自治大学)
在本文中,我们评估移动主动认证的基础上,生物识别和基于行为的分析信号的合奏。我们考虑七种不同的数据通道及其组合。触摸动态(触摸手势和手势),加速度计,陀螺仪,WiFi,GPS位置和应用程序的使用都是在人机交互过程中收集的,以验证用户。我们评估两种方法:一次性身份验证和主动身份验证。在一次性认证中,我们使用一个会话期间所有可用通道的信息。对于主动身份验证,我们通过更新身份验证分数的置信度值来利用跨多个会话的移动用户行为。我们的实验是在半不受控制的UMDAA-02数据库上进行的。该数据库包括在自然人机交互期间获取的智能手机传感器信号。我们的结果表明,不同的特征可以互补,多模式系统明显提高了性能,准确率范围从82.2%到97.1%,具体取决于身份验证场景。
2019-01-29 cs.CR cs.CV cs.CY
How Good is ChatGPT at Face Biometrics? A First Look into Recognition, Soft Biometrics, and Explainability
Universidad Autonoma de Madrid(马德里自治大学)
本文首次系统评估了基于GPT-4的ChatGPT在人脸验证、软生物特征估计和可解释性方面的能力,实验表明其在增强人脸生物识别可解释性上具有较大潜力。
2024-02-27 cs.AI cs.CV cs.CY
A multimodal dataset for understanding the impact of mobile phones on remote online virtual education
Biometrics and Data Pattern Analytics Laboratory(生物信息与数据模式分析实验室);School of Engineering(工程学院)
本文构建IMPROVE多模态数据集,通过16类同步传感器采集120名学习者在在线学习中的行为、生理与学业数据,以分析手机使用及无手机恐惧症的影响。
2025-08-28 cs.CV cs.HC
Deep Learning Techniques for Hand Vein Biometrics: A Comprehensive Review
University of Sciences and Technology Houari Boumediene (USTHB)(侯阿里·布迈丁科技大学);University of Medea(梅代亚大学);Taif University(泰夫大学);Gomal University(戈马尔大学)
本文是手部静脉生物识别深度学习技术的全面综述,涵盖基础、公开数据集、评估指标、各类方法及挑战与未来方向,为相关研究提供参考。
2024-09-11 cs.AI cs.CR cs.CV
A Multi-Stage Adaptive Feature Fusion Neural Network for Multimodal Gait Recognition
Central South University(中南大学);Southern University of Science and Technology(南方科技大学);Research Institute of Trustworthy Autonomous System, Southern University of Science and Technology(南方科技大学可信自主系统研究院)
针对多模态步态识别中融合不充分的问题,提出多阶段自适应特征融合网络(MSAFF),通过多阶段融合策略、自适应融合模块和多尺度时空特征提取器,在三个数据集上取得最先进性能,并利用特征维度池化降低表示维度。
2023-12-22 cs.CV
Iris Recognition Based on SIFT Features
Biometric Recognition Group - ATVS, Escuela Politecnica Superior, Universidad Autonoma de Madrid(马德里自治大学高等理工学院生物特征识别组)
基于虹膜图像的生物识别方法被认为具有很高的准确性,近年来虹膜生物识别技术受到了广泛的关注。在本文中,我们使用的尺度不变特征变换(SIFT)识别虹膜图像。与传统的虹膜识别系统不同,SIFT方法不依赖于虹膜图案到极坐标的变换或高度精确的分割,允许较少约束的图像采集条件。在尺度空间中提取具有特征的SIFT特征点,并利用SIFT算子根据特征点周围的纹理信息进行匹配。实验是使用BioSec多模式数据库,其中包括3,200虹膜图像从200个人在两个不同的会话中获得。我们的贡献与不同的SIFT参数对识别性能的影响的分析。我们还展示了SIFT方法和基于极坐标变换和Log-Gabor小波的流行匹配方法之间的互补性。这两种方法的组合实现了显着更好的性能比任何一个单独的计划,在相等的出错率的性能提高了24%。
2021-10-30 cs.CV
M2LADS: A System for Generating MultiModal Learning Analytics Dashboards in Open Education
Universidad Autonoma de Madrid(马德里自治大学);University College London(伦敦大学学院)
本文提出M2LADS系统,通过Web仪表盘集成并可视化MOOC中的多模态生物特征与行为数据,捕捉学习者整体体验以改善学习成果、增强分析模型并优化开放内容。
2023-05-21 cs.CV cs.HC