KartalOl: Transfer learning using deep neural network for iris segmentation and localization: New dataset for iris segmentation
Institute of Control and Computation Engineering, Warsaw University of Technology(华沙理工大学控制与计算工程研究所);School of Engineering, Lorestan University(洛雷斯坦大学工程学院);Faculty of Engineering, Arak University(阿拉克大学工程学院);Department of Physics, Shahid Beheshti University(沙希德·贝赫什提大学物理系);School of Computing, Informatics and Decision Systems Engineering, Arizona State University(亚利桑那州立大学计算、信息与决策系统工程学院);Faculty of Electrical and Computer Engineering, University of Kharazmi(哈拉兹米大学电气与计算机工程学院);Stanford University(斯坦福大学)
由于长距离、光照变化、有限的用户合作和移动主体,在无约束环境中的虹膜分割和定位是具有挑战性的。为了解决这个问题,我们提出了一个U-Net与预训练的MobileNetV 2深度神经网络方法。我们使用MobileNetV 2为ImageNet数据集提供的预训练权重,并在虹膜识别和定位领域对其进行微调。此外,我们还引入了一个名为KartalOl的新数据集,以更好地评估虹膜识别场景中的检测器。为了提供领域自适应,我们根据CASIA-Iris-Asia、CASIA-Iris-M1和CASIA-Iris-Africa以及我们的数据集提供的NIR-ISL 2021数据微调MobileNetV 2模型。我们还通过执行左右翻转、旋转、缩放和亮度来增强数据。我们通过迭代提供的数据集中的图像来选择二值掩码的二值化阈值。该方法在CASIA-Iris-Asia,CASIA-Iris-M1,CASIA-Iris-Africa以及KartalOl数据集上进行了测试和训练。实验结果表明,我们的方法超越了最先进的方法基于移动基准。代码和评估结果可在https://github.com/Jalilnkh/KartalOl-NIR-ISL2021031301上公开获取。
2021-12-09 cs.CV
A Benchmark for Iris Location and a Deep Learning Detector Evaluation
Federal University of Paraná (UFPR)(巴拉那联邦大学(UFPR));Federal University of Ouro Preto (UFOP)(欧鲁普雷图联邦大学(UFOP))
虹膜被认为是唯一概率最高的生物特征。虹膜定位是生物识别系统的一项重要任务,直接影响到虹膜识别、欺骗和隐形眼镜检测等特定应用中的结果。这项工作将虹膜定位问题定义为包围虹膜区域的最小平方窗口的划界。为了建立虹膜定位的基准,我们注释(虹膜平方边界框)四个数据库从不同的生物识别应用程序,并使他们公开提供给社会。除了这4个注释的数据库,我们还包括来自文献的另外2个数据库。我们在这六个数据库上进行实验,五个是用近红外传感器获得的,一个是用可见光传感器获得的。我们比较了经典和优秀的Daugman虹膜定位方法与两种基于窗口的检测器:1)基于方向直方图(HOG)和线性支持向量机(SVM)分类器的滑动窗口检测器; 2)基于深度学习的检测器,从YOLO对象检测器进行微调。实验结果表明,基于深度学习的检测器在准确性和运行时间(GPU版本)方面优于其他检测器,应尽可能选择。
2018-04-30 cs.CV
Post-mortem Iris Recognition with Deep-Learning-based Image Segmentation
Research and Academic Computer Network(研究与学术计算机网络);University of Notre Dame(圣母大学);Medical University of Warsaw(华沙医科大学)
本文提出了第一个已知的虹膜识别方法,专门为死后样本设计。我们建议使用基于深度学习的虹膜分割模型来提取死后虹膜图像中高度不规则的虹膜纹理区域。我们展示了如何使用分割掩模预测的神经网络在传统的,基于Gabor的虹膜识别方法,采用圆形近似的瞳孔和边缘虹膜边界。作为一个整体,这种方法允许在死后虹膜识别的准确性显着提高的方法,仅为生前虹膜设计,包括学术OSIRIS和商业IriCore实现。对于死亡后10小时内收集的样本,所提出的方法达到的EER小于1%,而OSIRIS和IriCore分别观察到的EER为16.89%和5.37%。对于死后369小时收集的样本,所提出的方法实现了EER 21.45%,而OSIRIS和IriCore分别观察到33.59%和25.38%。此外,该方法进行了测试,从眼科诊所的患者,它也提供了一个优势,其他两个算法收集的虹膜图像的数据库。这项工作是迈向死后特定虹膜识别的第一步,这增加了法医调查中识别死者身份的机会。从42名受试者获得的死后虹膜图像的新数据库以及基于深度学习的分割模型与论文一起提供,以确保本文中提供的所有结果都是可重复的。
2019-10-08 cs.CV
Synthetic Iris Presentation Attack using iDCGAN
West Virginia University(西弗吉尼亚大学);IIIT Delhi(印度德里信息技术研究所)
虹膜生物识别模式的可靠性和准确性促使其在边境控制和国家ID项目等关键应用中的大规模部署。虹膜识别系统的广泛发展已经引起了对这些系统对各种攻击的敏感性的担忧。在过去,研究人员已经研究了各种虹膜呈现攻击的影响,如纹理隐形眼镜和打印攻击。在这项研究中,我们提出了一种新的呈现攻击使用基于深度学习的合成虹膜生成。利用深度卷积生成对抗网络的生成能力和虹膜质量指标,我们提出了一个新的框架,命名为iDCGAN(虹膜深度卷积生成对抗网络),用于生成逼真的合成虹膜图像。我们证明了这些综合生成的虹膜图像作为演示攻击虹膜识别的效果,通过使用商业系统。最先进的演示攻击检测框架,MANUST被用来分析它是否可以区分这些合成生成的虹膜图像从真实图像。实验结果表明,减轻所提出的合成演示攻击是至关重要的。
2017-10-29 cs.CV
The Impact of Preprocessing on Deep Representations for Iris Recognition on Unconstrained Environments
Federal University of Paraná (UFPR)(巴拉那联邦大学);Federal University of Ouro Preto (UFOP)(欧鲁普雷图联邦大学);Pontifical Catholic University of Paraná (PUCPR)(巴拉那天主教大学)
虹膜作为一种生物特征被广泛使用,因为它具有高度的区分性和唯一性。目前,主要的研究挑战之一是在无约束环境下对可见光范围内的虹膜图像进行识别。在这种情况下,所获取的虹膜受到捕获距离、旋转、模糊、运动模糊、低对比度和镜面反射的影响,从而产生干扰虹膜识别系统的噪声。为了解决这些问题,除了提取虹膜区域外,通常还需要对虹膜图像进行归一化和分割等预处理。但这些技术不可避免地会出现一些错误。在这种情况下,我们建议使用深度表示,更具体地说,基于VGG和ResNet-50网络的架构,用于处理使用(而不是)虹膜分割和归一化的图像。我们使用从人脸域的迁移学习,并提出了一个具体的数据增强技术虹膜图像。我们的研究结果表明,使用非规范化的,只有圆圈界定的虹膜图像的方法达到了一个新的国家的艺术在官方协议的NICE。II竞争,一个子集的UBIRIS数据库,一个最具挑战性的数据库在无约束的环境,报告平均相等的出错率(EER)为13.98%,这代表了约5%的绝对减少。
2018-08-29 cs.CV
Deep GAN-Based Cross-Spectral Cross-Resolution Iris Recognition
近年来,交叉光谱虹膜识别已经成为一种很有前途的生物识别方法,以建立个人的身份。然而,匹配在不同光谱带(即,将可见光(VIS)虹膜探针与近红外(NIR)虹膜图像的图库相匹配,或反之亦然)与带内NIR匹配相比,显示出显著的性能下降。因此,在本文中,我们研究了一系列深度卷积生成对抗网络(DCGAN)架构,以进一步提高跨光谱虹膜识别方法的准确性。此外,与文献中现有的作品,我们引入了一个分辨率差异到经典的交叉光谱匹配问题域。我们已经开发了两种不同的技术,使用条件生成对抗网络(cGAN)作为骨干架构的跨光谱虹膜匹配。在第一种方法中,我们通过训练cGAN同时解决交叉分辨率和交叉光谱匹配问题,该cGAN将交叉分辨率和交叉光谱任务联合转换为相同的分辨率和相同的光谱。在第二种方法中,我们设计了一个耦合的生成对抗网络(cpGAN)架构,该架构由一对cGAN模块组成,该cGAN模块将VIS和NIR虹膜图像投影到低维嵌入域中,以确保来自同一受试者的两种虹膜模态的特征向量之间的最大成对相似性。
2021-08-03 cs.CV
Deep Learning-Based Feature Extraction in Iris Recognition: Use Existing Models, Fine-tune or Train From Scratch?
University of Notre Dame(圣母大学)
可以采用现代深度学习技术来生成用于虹膜识别任务的有效特征提取器。问题是:我们是应该在相对大的虹膜图像数据集上从头开始训练这样的结构,还是更好地微调现有模型以使它们适应新的领域?在这项工作中,我们探索了流行的ResNet-50架构的五组不同的权重,以确定虹膜特定的特征提取器是否比为非虹膜任务训练的模型表现更好。从每个卷积层中提取特征,并在与ResNet-50模型训练中使用的样本不相交的数据集上测量支持向量机实现的分类精度。我们表明,最佳的训练策略是微调一组现成的权重虹膜识别域。这种方法比现成的权重和从头开始训练的模型都更准确。获胜的,微调的方法也显示了性能的增加相比,以前的工作,其中只有现成的(未微调)模型用于虹膜特征提取。我们制作了性能最好的ResNet-50模型,用超过360,000张虹膜图像进行了微调,并与本文一起公开。
2020-02-20 cs.CV
Deep convolutional neural networks for face and iris presentation attack detection: Survey and case study
Ain Shams University(艾因夏姆斯大学);The American University in Cairo(开罗美国大学)
生物特征呈现攻击检测越来越受到关注。移动设备的用户发现使用手指、面部或虹膜识别而不是密码来解锁他们的智能应用程序更方便。在本文中,我们调查的方法在最近的文献中提出的检测人脸和虹膜呈现攻击。具体来说,我们研究了微调非常深的卷积神经网络的人脸和虹膜反欺骗任务的有效性。我们在六个公开的基准数据集上比较了两种不同的微调方法。结果表明,这些深度模型在学习区分特征方面是有效的,这些特征可以以非常低的出错率区分真实和伪造的生物特征图像。对人脸PAD的跨数据集评估显示出比现有技术更好的泛化能力。我们还对虹膜PAD数据集进行了跨数据集测试,其出错率相等,这在以前的文献中没有报道。此外,我们建议使用一个经过训练的深度网络来检测人脸和虹膜攻击。与仅单独训练一种生物特征的网络相比,我们没有注意到准确性下降。最后,我们分析了网络学习的特征,与图像频率分量相关,以证明其预测决策的合理性。
2020-04-29 cs.CV
Iris Presentation Attack Detection by Attention-based and Deep Pixel-wise Binary Supervision Network
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形学研究所);TU Darmstadt(达姆施塔特工业大学)
虹膜呈现攻击检测在虹膜识别系统中起着至关重要的作用。大多数现有的基于CNN的iris PAD解决方案1)在CNN的训练过程中只执行二进制标签监督,服务于全局信息学习,但削弱了对局部判别特征的捕获,2)更喜欢堆叠的更深卷积或专家设计的网络,增加了过拟合的风险,3)融合多个PAD系统或各种类型的特征,增加了在移动设备上部署的难度。因此,我们提出了一种新的基于注意力的深度像素二元监督(A-PBS)方法。逐像素监督首先能够捕获细粒度的像素/块级线索。然后,注意力机制引导网络自动找到对准确的PAD决策贡献最大的区域。在LivDet-Iris 2017和其他三个公开可用的数据库上进行了广泛的实验,以显示所提出的A-PBS方法的有效性和鲁棒性。例如,A-PBS模型在IIITD-WVU数据库上实现了6.50%的HTER,优于最先进的方法。
2021-06-28 cs.CV
Gender and Ethnicity Classification of Iris Images using Deep Class-Encoder
IIIT-Delhi(印度德里信息技术学院);West Virginia University(西弗吉尼亚大学)
软生物特征模态已经在不同的应用中显示出它们的效用,包括显著减小搜索空间。这导致改进的识别性能、减少的计算时间和测试样本的更快处理。一些常见的软生物特征模态是种族、性别、年龄、头发颜色、虹膜颜色、面部毛发或痣的存在以及标记。本研究针对虹膜影像进行种族与性别分类。我们提出了一种新的基于监督的自动编码器的方法,深度类编码器,它使用类标签通过将学习到的特征向量映射到其标签来学习给定样本的判别表示。该模型在两个数据集上进行评估,每个数据集用于种族和性别分类。与现有方法和最先进的方法相比,使用所提出的深度类编码器获得的结果证明了其有效性。
2017-10-08 cs.CV
Iris and periocular recognition in arabian race horses using deep convolutional neural networks
Research and Academic Computer Network(研究与学术计算机网络);Warsaw University of Technology(华沙理工大学)
本文提出了一种研究,致力于识别马的虹膜和眼周特征,使用深度卷积神经网络(DCNN)。赛马的识别对于比赛前的动物身份确认至关重要。由于这通常是在比赛前不久进行的,所以快速可靠的方法是很重要的,这些方法对动物友好,不会造成伤害。虹膜识别已经被证明可以与马虹膜一起工作,前提是为这种任务部署的算法针对马虹膜进行了微调,并且输入数据具有非常高的质量。在我们的工作中,我们研究了利用深度卷积神经网络融合虹膜和眼周区域特征的可能性。通过这种方法,马的眼部生物测定可以在不采用复杂算法的情况下表现良好,这些算法需要大量的微调和输入图像的先验知识,同时是旋转、平移的,并且在某种程度上也是图像质量不变的。我们能够实现有希望的结果,EER=9.5%,使用两个网络架构与分数级融合。
2018-09-01 cs.CV
DeepIrisNet2: Learning Deep-IrisCodes from Scratch for Segmentation-Robust Visible Wavelength and Near Infrared Iris Recognition
Centre for Development of Advanced Computing(高级计算发展中心)
首先,我们介绍了一个基于深度学习的框架DeepIrisNet 2,用于可见光谱和NIR虹膜表示。该框架可以在没有经典的虹膜归一化步骤或非常精确的虹膜分割的情况下工作,允许在非理想情况下工作。该框架包含空间Transformer层以处理变形,并在某些中间层之后监督分支以减轻过拟合。此外,我们提出了一个双CNN虹膜分割管道,包括虹膜/瞳孔边界框检测网络和语义像素分割网络。此外,为了获得紧凑的模板,我们提出了一种使用DeepIrisNet 2生成二进制虹膜代码的策略。由于没有地面实况数据集可用于CNN训练虹膜分割,我们构建大规模手动标记数据集并将其公开; i)虹膜,瞳孔边界框,ii)标记的虹膜纹理。在具有挑战性的ND-IRIS-0405、UBIRIS.v2、MICHE-I和CASIA v4 Interval数据集上评估网络。所提出的方法显着提高了国家的最先进的,并取得了优异的性能超过所有以前的方法。
2019-02-06 cs.CV cs.LG stat.ML
Deep Learning for Iris Recognition: A Survey
Queensland University of Technology(昆士兰科技大学);University of Beira Interior(贝拉内格罗大学);Instituto de Telecomunicações(电信研究所);Halmstad University(哈尔姆斯塔德大学)
在本次调查中,我们对过去10年中发表的200多篇关于虹膜识别深度学习技术最新发展的论文、技术报告和GitHub存储库进行了全面回顾,涵盖了算法设计、开源工具、开放挑战和新兴研究等广泛主题。首先,我们对虹膜生物识别中的两个主要子任务(分割和识别)开发的深度学习技术进行了全面分析。其次,我们专注于深度学习技术,用于虹膜识别系统对呈现攻击和通过人机配对的鲁棒性。第三,我们深入研究了用于法医应用的深度学习技术,特别是在死后虹膜识别中。第四,我们回顾了用于虹膜识别的深度学习技术中的开源资源和工具。最后,我们强调了技术挑战,新兴的研究趋势,并展望了虹膜识别中的深度学习的未来。
2022-10-12 cs.AI cs.CV
Investigating Weight-Perturbed Deep Neural Networks With Application in Iris Presentation Attack Detection
Michigan State University(密歇根州立大学)
本研究评估了DNN对权重和偏置参数扰动的敏感性,涉及VGG、ResNet和DenseNet三种架构及高斯噪声、权重置零和缩放三种扰动,在虹膜呈现攻击检测任务中提出无需训练的扰动模型集成方法,在两个数据集上显著提升性能。
2023-11-22 cs.CV
DeepIris: Iris Recognition Using A Deep Learning Approach
New York University(纽约大学);University of California, Riverside(加州大学河滨分校)
虹膜识别在过去的几十年里一直是一个活跃的研究领域,因为它在安全方面有着广泛的应用,从机场到国土安全边境控制。过去已经提出了不同的特征和算法用于虹膜识别。在本文中,我们提出了一个基于残差卷积神经网络(CNN)的端到端虹膜识别深度学习框架,它可以联合学习特征表示并执行识别。我们训练我们的模型在一个著名的虹膜识别数据集上,只使用几个训练图像,从每个类,并显示出有前途的结果和改进,比以前的方法。我们还提出了一种可视化技术,它能够检测虹膜图像中的重要区域,这可能是最影响识别结果。我们相信这个框架可以广泛应用于其他生物识别任务,有助于拥有更可扩展和更准确的系统。
2019-07-22 cs.CV cs.LG
Super-Resolution and Image Re-projection for Iris Recognition
Federal University of Tocantins(托坎廷斯联邦大学);Halmstad University(哈尔姆斯塔德大学)
最近的几项工作已经解决了深度学习的能力,以揭示丰富的,分层的和歧视性的模型,用于最多样化的目的。具体而言,在超分辨率领域,使用不同深度学习方法的卷积神经网络(CNN)尝试从低分辨率图像恢复真实纹理和细粒度细节。在这项工作中,我们探讨了这些方法的可行性虹膜超分辨率(SR)在虹膜识别环境。为此,我们测试了具有和不具有所谓的图像重投影的不同架构,以减少将其应用于不同虹膜数据库的伪影,以验证不同CNN用于虹膜超分辨率的可行性。结果表明,CNN和图像重投影可以提高结果,特别是对于使用完全不同的训练数据库成功执行迁移学习的识别系统的准确性。
2022-10-20 cs.CV
Iris Liveness Detection using a Cascade of Dedicated Deep Learning Networks
Hochschule Darmstadt(达姆施塔特应用技术大学);TOC Biometrics Company(TOC生物识别公司)
虹膜模式识别以其高度的稳定性和唯一性,极大地改善了生物特征认证领域。这些物理特征在安全和其他相关领域发挥了重要作用。然而,演示攻击,也被称为欺骗技术,可以绕过生物认证系统使用的文物,如印刷图像,人工眼睛,纹理隐形眼镜等,许多活性检测方法,提高这些系统的安全性已经提出。第一届国际虹膜活性检测竞赛于2013年首次启动,评估活性检测方法的有效性,其最新版本于2020年举行。本文提出了一种基于MobileNetV 2修改的串行架构,从头开始训练,以分类真正的虹膜图像与演示攻击图像。真正的类由实时虹膜图像组成,而攻击呈现工具类由尸体、印刷品和隐形眼镜图像组成,总共有四种情况。所有图像都经过预处理,并按类别加权,以提供公平的评价。该提案使用两类场景赢得了LivDet-Iris 2020竞赛。此外,我们提出了新的三级和四级场景,进一步提高了比赛结果。这种方法主要集中在检测善意的类,而不是提高对演示攻击工具的检测。对于两类、三类和四类情况,获得的等出错率(EER)分别为4.04%、0.33%和4.53%。总体而言,最好的串行模型,使用三种情况下,达到了0.33%的错误率与攻击呈现分类出错率(APCER)的0.0100和善意分类出错率(BPCER)的0.000。这项工作优于LivDet-Iris 2020竞赛结果。
2021-05-28 cs.CV
Iris R-CNN: Accurate Iris Segmentation in Non-cooperative Environment
Duke Kunshan University(昆山杜克大学)
尽管虹膜分割技术取得了显著的进步,但在非合作环境下实现虹膜的精确分割仍然是一个巨大的挑战。在本文中,我们提出了一个深度学习框架,称为Iris R-CNN,为虹膜分割提供更高的准确性。该框架源自Mask R-CNN,并提出了几种新技术来仔细探索虹膜的独特特征。首先,我们提出了两个新的网络:(i)双圈区域建议网络(DC-RPN),和(ii)双圈分类和回归网络(DC-CRN),以考虑虹膜和瞳孔圈,以最大限度地提高虹膜分割的准确性。其次,我们提出了一种新的标准化方案的区域感兴趣(ROI),以促进一个全新的池操作的双圆区域。在两个具有挑战性的虹膜数据库UBIRIS.v2和MICHE上的实验结果表明,所提出的方法比其他最先进的方法具有更高的准确性。
2019-03-25 cs.CV
Adaptive Deep Iris Feature Extractor at Arbitrary Resolutions
NEC Corporation(日本电气公司)
针对多分辨率虹膜识别中性能难以兼顾的问题,提出带分辨率专家模块、可自动切换网络的自适应特征提取框架,结合知识蒸馏训练,在低分辨率下提升传统模型识别性能且保留高分辨率性能。
2024-07-12 cs.CV
An Experimental Study of Deep Convolutional Features For Iris Recognition
New York University(纽约大学);University of California at Riverside(加州大学河滨分校)
虹膜是一种流行的生物特征识别技术,被广泛用于身份认证。在过去,不同的特征已经被用于执行虹膜识别。其中大多数是基于生物识别专家设计的手工制作的功能。由于深度学习在计算机视觉问题中取得了巨大的成功,人们对将卷积神经网络在一般图像识别中学习的特征应用于其他任务(如分割、人脸识别和目标检测)产生了很大的兴趣。在本文中,我们已经研究了从VGG-Net中提取的深度特征用于虹膜识别的应用。该算法在两个著名的虹膜数据库上进行了测试,取得了令人满意的结果,最高准确率为99.4%,优于以往的最好结果。
2017-02-04 cs.CV cs.LG
An End to End Deep Neural Network for Iris Segmentation in Unconstraint Scenarios
National University of Ireland Galway(爱尔兰国立高威大学);Xperi Galway(Xperi高威公司)
随着当今移动设备的成像和处理能力的增加,使用虹膜生物识别的用户认证已经变得可行。然而,由于采集条件变得更加不受约束,并且由于图像质量通常低于专用虹膜采集系统,因此虹膜区域的准确分割对于这些设备至关重要。在这项工作中,提出了一种端到端的全卷积深度神经网络(FCDNN)设计,用于对低质量虹膜图像执行虹膜分割任务。详细解释了网络设计过程,并使用几个大型公共虹膜数据集对生成的网络进行了训练和调整。提供了一套从高质量的公共数据库中生成和增强合适的低质量虹膜图像的方法。该网络最初在近红外(NIR)图像上进行训练,然后在来自可见光图像的其他数据集上进行调整。全面的数据库间的比较提供了从一个选择的实验结果,详细说明了不同的调谐网络的影响。最后,该模型与SegNet-basic进行了比较,并将网络的接近最佳调整与其他最先进的虹膜分割算法进行了比较。结果显示,与应用于相同的低质量数据集的最新技术相比,优化的深度神经网络设计具有非常有前途的性能。
2017-12-07 cs.CV eess.IV
Interpretable Deep Learning-Based Forensic Iris Segmentation and Recognition
University of Notre Dame(圣母大学)
活体虹膜识别是一种成熟的生物识别模式,已在全球范围内被采用,从政府身份证计划,过境,选民登记和重复数据删除,到解锁手机。另一方面,最近出现了通过虹膜图案识别已故对象的可能性。在本文中,我们提出了一种端到端的基于深度学习的方法,用于死后虹膜分割和识别,并采用一种特殊的可视化技术,旨在支持法医的努力。所提出的死后虹膜分割方法优于现有技术,并且除了虹膜环之外,如在经典虹膜分割方法的情况下,还检测由眼睛分解过程引起的异常区域,诸如在干燥和干燥的角膜上存在的沟槽或不规则的镜面高光。该方法进行了训练和验证,从171具尸体,保持在太平间的条件下获得的数据,并测试从259名死者的主题不相交的数据。据我们所知,这是迄今为止用于死后虹膜识别研究的最大数据库。文中给出了该方法的源代码。测试数据将通过国家刑事司法数据档案馆(NACJD)档案提供。
2021-12-20 cs.CV eess.IV
Iris Presentation Attack Detection: Where Are We Now?
随着虹膜识别系统的普及,有效的安全措施对演示攻击的重要性变得至关重要。本文综述了近两年来虹膜呈现攻击检测领域的最重要进展。讨论了用于虹膜呈现攻击检测的开发和评估的新发布的公开数据集。最近的文献可以分为三类:传统的“手工”特征提取和分类,基于深度学习的解决方案,以及融合两种方法的混合方法。现代方法的结论强调了这项任务的难度。最后,评论未来研究的可能方向。
2020-07-16 cs.CV
Exploring Deep Learning Image Super-Resolution for Iris Recognition
University of Salzburg(萨尔茨堡大学);Federal University of Tocantins(托坎廷斯联邦大学);Halmstad University(哈尔姆斯塔德大学);University of Malta(马耳他大学)
本文研究利用轻量级堆叠自编码器和卷积神经网络实现虹膜图像超分辨率,在1,872幅近红外虹膜图像上验证了其相比传统算法在质量和识别性能上的优势。
2023-11-02 cs.CV eess.IV
Post-Mortem Human Iris Segmentation Analysis with Deep Learning
Clarkson University(克拉克森大学)
本文针对死后虹膜图像分割难题,提出以 MobileNetv2 为骨干的 DeepLabV3+ 模型并结合混合损失函数,在 Warsaw-BioBase-PostMortem-Iris-v1 数据集上实现 95.54% 的平均交并比,并系统比较了多种深度学习分割模型。
2024-08-06 cs.CV eess.IV
Novel Deep Learning Framework For Bovine Iris Segmentation
University of Tasmania(塔斯马尼亚大学);Kangwon National University(江原大学)
虹膜分割是识别动物生物特征,建立牲畜可追溯系统的第一步。在这项研究中,我们提出了一种新的深度学习框架,用于使用BovineAAEyes 80公共数据集进行像素分割,最大限度地使用注释标签。在实验中,VGG 16主干的U-Net被选为编码器和解码器模型的最佳组合,表现出99.50%的准确率和98.35%的Dice系数得分。值得注意的是,即使没有适当的注释数据,所选模型也能准确地分割损坏的图像。该研究有助于虹膜分割的进步和可靠的DNN训练框架的开发。
2022-12-22 cs.CV cs.LG eess.IV
Learning scale-variant features for robust iris authentication with deep learning based ensemble framework
Putra Malaysia University(马来西亚博特拉大学)
近年来,移动互联网加速了智能移动的扩散发展.移动支付、移动安全和隐私保护成为人们广泛关注的焦点。虹膜识别技术是这些领域中一种安全性较高的身份认证技术,在生物认证领域中有着广泛的应用。卷积神经网络(CNN)是图像识别的主流深度学习方法之一,但其抗噪能力较弱,需要一定的内存来进行图像分类任务的训练。在此基础上,本文提出了一种基于Mask R-CNN和Inception V4神经网络模型的微调神经网络模型,该模型将虹膜检测、提取和识别功能集成在一个整体系统中,构成一个虹膜识别系统。该框架具有可扩展性和高可用性的特点,不仅可以学习虹膜图像的部分-整体关系,而且增强了整个框架的鲁棒性。重要的是,所提出的模型可以使用不同的样本光谱进行训练,例如可见光波长(VW)和近红外(NIR)虹膜生物特征数据库。在Jetson Nano的移动边缘计算设备中执行时,识别平均准确率达到99.10%。
2020-06-13 cs.CV cs.LG
Deep Representations for Iris, Face, and Fingerprint Spoofing Detection
University of Campinas(坎皮纳斯州立大学);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学);Federal University of Ouro Preto(奥鲁普雷托联邦大学)
生物识别系统显著改善了个人身份识别和认证,在个人、国家和全球安全中发挥着重要作用。然而,这些系统可能会被欺骗(或“欺骗”),尽管最近在欺骗检测方面取得了进展,但当前的解决方案通常依赖于领域知识、特定的生物识别读取系统和攻击类型。我们假设在传感器上对生物识别欺骗的了解非常有限,以基于两种深度学习方法获得用于虹膜、面部和指纹模态的出色欺骗检测系统。第一种方法包括为每个域学习合适的卷积网络架构,而第二种方法侧重于通过反向传播学习网络的权重。我们考虑了九个生物识别欺骗基准--每个基准包含给定生物识别模态和攻击类型的真实和虚假样本--并通过组合和对比两种学习方法来学习每个基准的深度表示。这种策略不仅提供了对这些方法如何相互作用的更好理解,而且还创建了在九个基准中的八个中超过最知名结果的系统。结果强烈表明,基于卷积网络的欺骗检测系统可以对已知的攻击具有鲁棒性,并且可以毫不费力地适应尚未到来的基于图像的攻击。
2015-01-29 cs.CV
A Siamese Network to Detect If Two Iris Images Are Monozygotic
Department of Computer Science and Engineering University of Notre Dame(计算机科学与工程系 纽约大学)
本研究提出首个基于 Siamese network 和对比学习的自动化分类器,用于判定一对虹膜图像是否来自同卵双胞胎,在使用完整虹膜图像时其准确率超越了人类分类水平。
2025-06-25 cs.CV
Cross-Spectral Iris Matching Using Conditional Coupled GAN
West Virginia University(西弗吉尼亚大学)
跨光谱虹膜识别是一种很有前途的生物识别方法,用于身份认证的个人。然而,匹配虹膜图像在不同的光谱波段获取时,显示出显着的性能退化相比,单波段近红外(NIR)匹配由于在NIR和可见光(VIS)光谱中获得的虹膜图像之间的光谱间隙。虽然研究人员最近专注于基于深度学习的方法来恢复不变的代表性特征,以获得更准确的识别性能,但现有方法无法达到商业应用所需的预期准确性。因此,在本文中,我们提出了一个条件耦合生成对抗网络(CpGAN)架构的跨光谱虹膜识别的VIS和NIR虹膜图像投影到一个低维嵌入域,探索它们之间的隐藏关系。条件CpGAN框架由一对基于GAN的网络组成,一个负责在可见光域中检索图像,另一个负责在NIR域中检索图像。两个网络都试图将数据映射到一个公共的嵌入子空间,以确保来自同一受试者的两种虹膜模态的特征向量之间的最大成对相似性。为了证明我们所提出的方法的有用性,在PolyU数据集上获得的大量实验结果与现有的最先进的交叉光谱识别方法进行了比较。
2020-10-09 cs.CV
A Study of Gender Classification Techniques Based on Iris Images: A Deep Survey and Analysis
Duhok Polytechnic University(杜胡克理工大学);University of Zakho(扎霍大学);Nawroz University(纳瓦鲁兹大学)
本文综述了基于虹膜图像的性别分类技术,分析了现有方法、挑战与未来方向,为相关研究提供参考。
2025-08-08 cs.AI cs.CV cs.LG
Adversarial Examples to Fool Iris Recognition Systems
West Virginia University(西弗吉尼亚大学)
对抗性示例最近被证明能够通过向输入空间图像添加精心制作的小扰动来欺骗深度学习方法。在本文中,我们研究了基于代码的虹膜识别系统生成对抗性示例的可能性。由于生成对抗性示例需要对抗性损失的反向传播,因此传统的基于滤波器组的虹膜代码生成框架不能用于这样的设置中。因此,为了弥补这个缺点,我们提出训练一个深度自动编码器代理网络来模仿传统的虹膜代码生成过程。然后,使用迭代梯度符号法算法部署此训练好的代理网络来生成对抗性示例。我们通过三种攻击场景来考虑非目标攻击和目标攻击。考虑到这些攻击,我们研究了在白盒和黑盒框架中欺骗虹膜识别系统的可能性。
2019-07-18 cs.CV cs.LG eess.IV
SIP-SegNet: A Deep Convolutional Encoder-Decoder Network for Joint Semantic Segmentation and Extraction of Sclera, Iris and Pupil based on Periocular Region Suppression
School of Automation Science and Electrical Engineering, Beihang University(北京航空航天大学自动化科学与电气工程学院);School of Computer and Communication Engineering, University of Science & Technology Beijing(北京科技大学计算机与通信工程学院)
机器视觉领域的当前发展为在各种现实应用中部署多模态生物识别系统开辟了新的前景。这些系统有能力处理单峰生物特征系统的局限性,这些系统容易受到欺骗、噪声、非普遍性和类内变化的影响。此外,在这些识别系统中优选地使用各种生物特征中的眼睛特征。这种系统具有高的独特性,持久性和性能,而基于其他生物特征(指纹,语音等)的技术。很容易被破坏这项工作提出了一种称为SIP-SegNet的新型深度学习框架,该框架在无约束场景中以更高的精度执行眼睛特征(巩膜,虹膜和瞳孔)的联合语义分割。在这些场景下获取的图像表现出浦肯野反射、镜面反射、眼睛注视、偏角拍摄、低分辨率和各种遮挡,特别是眼睑和睫毛。为了解决这些问题,SIP-SegNet首先使用去噪卷积神经网络(DnCNN)对原始图像进行去噪,然后基于对比度限制自适应直方图均衡(CLAHE)进行反射去除和图像增强。我们提出的框架,然后提取眼周信息,使用自适应阈值,并采用模糊滤波技术来抑制这些信息。最后,使用密集连接的全卷积编码-解码器网络实现巩膜、虹膜和瞳孔的语义分割。我们使用了五个CASIA数据集来评估SIP-SegNet基于各种评估指标的性能。仿真结果验证了所提出的SIP-SegNet的最佳分割,巩膜,虹膜和瞳孔类的平均f1分数分别为93.35,95.11和96.69。
2020-02-15 cs.CV eess.IV
IHashNet: Iris Hashing Network based on efficient multi-index hashing
IIT Mandi(曼迪印度理工学院)
大规模的生物识别部署在当今世界很普遍。但是,尽管生物识别系统的准确性很高,但随着数据库大小的增加,其计算效率急剧下降。因此,必须将它们编入索引。一个理想的索引方案需要生成代码,保持主题内的相似性以及主题间的不相似性。在这里,在本文中,我们提出了一个虹膜索引方案,使用实值深虹膜特征二进制化虹膜条码(IBC)兼容的索引结构。首先,为了提取鲁棒的虹膜特征,我们设计了一个网络,利用有序滤波的领域知识和学习它们的非线性组合。随后,这些实值特征被二值化。最后,对于虹膜数据集的索引,我们提出了一种损失,可以将二进制特征转换为与多索引哈希方案兼容的改进特征。该损失函数确保汉明距离在所有连续的不相交子串之间均匀分布。据我们所知,这是虹膜索引领域的第一项工作,提出了一个端到端的虹膜索引结构。四个数据集上的实验结果来描述所提出的方法的有效性。
2020-12-07 cs.AI cs.CV
Deep Representations for Cross-spectral Ocular Biometrics
University of Beira Interior(贝拉内瓦尔大学)
眼睛生物测定中的主要挑战之一是交叉光谱场景,即,如何匹配不同波长(通常是可见光(VIS)和近红外(NIR))下获取的图像。本文使用基于虹膜和眼周区域的众所周知的深度学习表示,针对封闭和开放世界设置设计并广泛评估了交叉光谱眼部验证方法。使用非标准化虹膜/眼周区域的边界框作为输入,我们微调卷积神经网络(CNN)模型(基于VGG 16或ResNet-50架构),最初用于人脸识别。基于在两个公开可用的交叉光谱眼部数据库中进行的实验,我们报告了光谱内和交叉光谱场景的结果,在融合来自眼周和虹膜区域的ResNet-50深度表示时观察到最佳性能。当与最先进的技术相比时,我们观察到所提出的解决方案在交叉光谱情况下以及在PolyU双光谱和交叉眼交叉光谱数据集中始终将相等出错率(EER)值降低了90% / 93% / 96%和61% / 77% / 83%。最后,我们评估的效果,“深度”因素的特征表示在识别的有效性,和-基于主观分析的最有问题的成对比较-我们指出了进一步的方向,这一领域的研究。
2019-11-21 cs.CV
Generalized Iris Presentation Attack Detection Algorithm under Cross-Database Settings
IIIT-Delhi(德里印度理工学院);Texas A&M University, Kingsville(金斯维尔得克萨斯农工大学);IIT Jodhpur(焦特布尔印度理工学院)
呈现攻击对大多数生物识别方式构成了重大挑战。虹膜识别被认为是用于个人身份识别的最准确的生物特征模式之一,也被证明容易受到高级呈现攻击,例如3D隐形眼镜和纹理镜片。虽然在文献中,提出了几种呈现攻击检测(PAD)算法;一个显着的限制是对看不见的数据库,看不见的传感器,和不同的成像环境的概括性。为了应对这一挑战,我们提出了一种基于广义深度学习的PAD网络MVANet,它利用了多个表示层。它的灵感来自于混合算法或多个检测网络的融合的简单性和成功性。计算复杂性是训练深度神经网络的一个重要因素;因此,为了在学习多个特征表示层时降低计算复杂性,使用了固定基础模型。在跨数据库训练测试环境下,在IIITD-WVU MUIPA和IIITD-CLI数据库等多个数据库上验证了该网络的性能,以评估该算法的泛化能力.
2020-10-25 cs.CR cs.CV
Do Invariances in Deep Neural Networks Align with Human Perception?
University of Maryland(马里兰大学);MPI-SWS(马克斯·普朗克软件系统研究所);The Alan Turing Institute(艾伦·图灵研究所);University College London(伦敦大学学院);University of Cambridge(剑桥大学)
安全和值得信赖的深度学习的一个评估标准是深度神经网络(DNN)表示所捕获的不变性与人类共享的程度。我们确定在衡量这些不变性的挑战。先前的工作使用基于梯度的方法来生成相同表示的输入(IRI),即具有神经网络的相同表示(在给定层上)的输入,从而捕获给定网络的不变性。网络的不变性与人类感知一致的一个必要标准是其IRI看起来与人类“相似”。然而,之前的工作有混合的外卖;一些人认为DNN的后期层不会学习类似人类的不变性(\cite{jenelle2019metamers}),但其他人似乎表明并非如此(\cite{mahendran2014understanding})。我们认为,用于生成IRI的损失函数可以严重影响网络不变性的外卖,是这些相互矛盾的研究结果的主要原因。我们提出了一个对抗正则化的IRI代损失,发现IRI,使任何模型似乎有很少的共享不变性与人类。基于这一证据,我们认为有改进模型的余地,使其具有类似人类的不变性,并且进一步地,为了在模型之间进行有意义的比较,应该使用使用正则化器无损失生成的IRI。然后,我们深入研究了深度学习管道的不同组件(例如架构,训练损失,数据增强)如何有助于与人类保持良好一致的学习模型。我们发现,使用(自监督)对比损失与$\ell_p$球对抗数据增强训练的具有剩余连接的架构倾向于学习与人类最一致的不变性。代码:\url{github.com/nvedant07…
2022-12-02 cs.AI cs.CV cs.LG
Deep Convolutional Neural Networks Meet Variational Shape Compactness Priors for Image Segmentation
Hong Kong Baptist University(香港浸会大学);Hong Kong Center for Cerebro-Cardiovascular Health Engineering(香港脑心健康工程中心);Zhejiang Normal University(浙江师范大学);Norwegian Research Center(挪威研究中心)
本文针对图像分割中形状紧致性先验的优化问题,提出PD-TD和PD-STD两种原始-对偶阈值动力学算法,并可将PD-STD集成到深度神经网络中,在含噪虹膜数据集上显著提升分割精度与紧致性。
2024-05-23 cs.CV
Pose-based Deep Gait Recognition
National Research University Higher School of Economics(国立研究型大学高等经济学院);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
人的步态或行走方式是一种生物特征,当其他生物特征(如面部或虹膜)不可见时,可以识别人。本文提出了一种新的基于姿态的卷积神经网络步态识别模型。与许多考虑运动人的全高轮廓的方法不同,我们考虑人体关节周围区域中的点的运动。为了提取运动信息,我们估计连续帧之间的光流。我们提出了一个深度卷积模型,用于计算基于姿势的步态描述符。我们比较了不同的网络架构和聚合方法,并通过实验评估了不同的身体部位,以确定哪些对步态识别最重要。此外,我们调查的泛化能力的开发算法之间的数据集转移。这些实验的结果表明,我们的方法优于国家的最先进的方法。
2018-02-08 cs.CV
Transformers are Sample-Efficient World Models
University of Geneva(日内瓦大学)
深度强化学习代理是出了名的样本效率低下,这大大限制了它们在现实世界问题中的应用。最近,许多基于模型的方法已经被设计来解决这个问题,在世界模型的想象中学习是最突出的方法之一。然而,虽然与模拟环境的几乎无限的交互听起来很吸引人,但世界模型必须在长时间内保持准确。受Transformers在序列建模任务中的成功的启发,我们引入了IRIS,一种数据高效的代理,它在由离散自编码器和自回归Transformer组成的世界模型中学习。在Atari 100k基准测试中,IRIS仅相当于两个小时的游戏时间,达到了1.046的平均人类标准化分数,并且在26个游戏中的10个游戏中超过了人类,为没有前瞻搜索的方法创造了新的技术水平。为了促进未来对Transformers和世界模型的研究,以实现样本高效的强化学习,我们在https://github.com/eloialonso/iris上发布了我们的代码和模型。
2023-03-01 cs.AI cs.CV cs.LG
Super-resolution Using Constrained Deep Texture Synthesis
Brown University(布朗大学);Georgia Institute of Technology(佐治亚理工学院)
在单幅图像超分辨率中消除高频图像细节是一项具有挑战性的任务。传统的超分辨率方法由于低分辨率和高分辨率块之间的映射的模糊性而倾向于产生过平滑的输出图像。我们基于最近在基于深度学习的纹理合成方面取得的成功,并表明这种丰富的特征空间可以促进高频图像细节的成功转移和合成,以提高各种自然纹理和图像上超分辨率结果的视觉质量。
2017-01-26 cs.CV
Deep Constrained Dominant Sets for Person Re-identification
Ca’ Foscari University of Venice(威尼斯大学);ECLT, European Centre for Living Technology(欧洲生命技术中心(ECLT));University of Central Florida(中佛罗里达大学)
在这项工作中,我们提出了一个端到端的约束聚类方案,以解决人的重新识别(re-id)的问题。深度神经网络(DNN)最近被证明是有效的人重新识别任务。特别地,不是仅仅利用探测图库相似性,而是以端到端的方式在图库图像之间扩散相似性已被证明在产生鲁棒的探测图库亲和性方面是有效的。然而,现有的方法没有将探针图像作为约束条件,并且在相似性扩散过程中容易产生噪声传播。为了克服这一点,我们提出了一个有趣的计划,把人的图像检索问题作为一个{ \em约束聚类优化}的问题,称为深度约束优势集(DCDS)。给定一个探针和图库图像,我们重新制定的人re-id问题找到一个受约束的集群,其中探针图像被视为一个约束(种子),每个集群对应于一组图像对应于同一个人。通过以端到端的方式优化约束聚类,我们自然地利用了与给定人物图像相对应的一组图像的上下文知识。我们进一步提高了性能,通过集成辅助网络与DCDS,它采用了多尺度Resnet。为了验证我们的方法的有效性,我们提出了几个基准数据集上的实验,并表明,该方法可以优于国家的最先进的方法。
2019-06-18 cs.CV
Depth Completion Using a View-constrained Deep Prior
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
最近的研究表明,卷积神经网络(CNN)的结构诱导了有利于自然图像的强先验。这种先验被称为深度图像先验(DIP),是图像去噪和修复等逆问题中的有效正则化器。我们将DIP的概念扩展到深度图像。给定彩色图像和噪声和不完整的目标深度图,我们优化一个随机初始化的CNN模型,以重建深度图恢复凭借使用CNN网络结构作为先验结合视图约束的照片一致性损失。该损失是使用来自附近视点的几何校准相机的图像来计算的。我们应用此深度先验来修复和改进双目和多视图立体视觉管道内的不完整和有噪声的深度图。我们的定量和定性评估表明,我们改进的深度图更准确和完整,融合后,产生更高质量的密集3D模型。
2020-12-01 cs.CV
Two-Bit Networks for Deep Learning on Resource-Constrained Embedded Devices
随着物联网和智能边缘设备的快速发展,越来越需要在内存和计算能力有限的资源受限的移动嵌入式设备上实现机器学习算法,包括深度学习。典型的大型卷积神经网络(CNN)需要大量的存储器和计算能力,并且不能有效地部署在嵌入式设备上。我们提出了用于CNN的模型压缩的两位网络(TBN),其边缘权重被约束为(-2,-1,1,2),可以用两位编码。我们的方法可以减少内存的使用,并显着提高计算效率,同时实现良好的性能分类精度方面,从而代表了一个合理的权衡模型大小和性能。
2017-01-04 cs.CV cs.LG
Training Deep Neural Networks with Constrained Learning Parameters
Rensselaer Polytechnic Institute(伦斯勒理工学院)
今天的深度学习模型主要在CPU和GPU上训练。虽然这些模型往往具有低误差,但由于双精度的浮点学习参数,它们消耗高功率并占用大量存储器。除了摩尔定律之外,很大一部分深度学习任务将在边缘计算系统上运行,这将成为整个计算结构不可或缺的一部分。随后,此类系统的训练深度学习模型必须经过定制和采用,以生成具有以下理想特性的模型:低错误、低内存和低功耗。我们相信,在类脑计算系统上运行的深度神经网络(DNN)(其中学习参数被约束为具有一组有限的离散值)将有助于具有这些理想特性的智能边缘计算系统。为此,我们提出了组合神经网络训练算法(CoNNTrA),该算法利用基于坐标梯度下降的方法来训练具有有限离散学习参数的深度学习模型。接下来,我们详细阐述了理论基础,并评估的计算复杂性的CoNNTrA。作为概念证明,我们使用CoNNTrA在MNIST、Iris和ImageNet数据集上使用三元学习参数训练深度学习模型,并将其性能与使用反向传播训练的相同模型进行比较。我们使用以下性能指标进行比较:(i)训练错误;(ii)验证错误;(iii)内存使用;以及(iv)训练时间。我们的研究结果表明,CoNNTrA模型使用的内存少32倍,误差与反向传播模型相当。
2020-09-01 cs.CV cs.LG stat.ML
Fast Computational Ghost Imaging using Unpaired Deep Learning and a Constrained Generative Adversarial Network
University of Southern California(南加州大学)
不成对训练可能是基于快速深度学习的重影成像的唯一选择,其中获得每个低SNR重影图像的高信噪比(SNR)图像副本实际上可能是耗时且具有挑战性的。本文探讨了深度学习在缺乏成对训练图像时利用计算重影成像的能力。本文提出的深度学习方法通过使用约束Wasserstein生成对抗网络从微弱和匆忙拍摄的鬼像重建高SNR图像来实现快速鬼像成像。在所提出的方法中,目标函数被正则化,以执行生成忠实的和相关的高信噪比图像的幽灵副本。这种正则化测量重建图像和阴影网络生成的低噪声流形中的微弱鬼像之间的距离。约束网络的性能被证明是特别重要的鬼图像与低信噪比。所提出的流水线能够从具有SNR值不一定等于训练集的SNR的鬼像重建高质量的图像。
2021-06-09 cs.CV eess.IV
Deep Learning Captures More Accurate Diffusion Fiber Orientations Distributions than Constrained Spherical Deconvolution
共聚焦组织学提供了建立体素内纤维取向分布的机会,其可用于定量评估扩散加权MRI模型的生物相关性,例如,约束球面反褶积(CSD)。在这里,我们应用深度学习来研究单壳扩散加权MRI解释组织学观察到的纤维取向分布(FOD)的潜力,并将衍生的深度学习模型与领先的CSD方法进行比较。这项研究(1)证明了在扩散信号中存在CSD当前未利用的附加信息,以及(2)提供了利用该信息的说明性数据驱动模型。
2019-11-13 cs.CV eess.IV
Spatial and Colour Opponency in Anatomically Constrained Deep Networks
University of Southampton(南安普顿大学)
长期以来,色觉一直吸引着科学家,他们试图了解色觉机制的生理学和色觉的心理物理学。我们考虑在解剖学约束的卷积深度神经网络中的颜色表示。根据神经科学的想法,我们将早期层中的细胞根据其光谱和空间功能进行分类。我们展示了在我们的网络中出现的单个和双个对手细胞,以及在视网膜瓶颈的约束下这些细胞的分布如何变化。我们的实验不仅开启了对深度网络如何处理空间和颜色信息的新理解,还提供了新的工具来帮助理解深度学习的黑匣子。所有实验的代码可在\url{https://github.com/ecs-vlc/opponency}上获得。
2019-10-14 cs.CV cs.LG stat.ML
NCVX: A General-Purpose Optimization Solver for Constrained Machine and Deep Learning
University of Minnesota(明尼苏达大学);Queens College, City University of New York(纽约城市大学皇后学院)
施加显式约束是相对较新的,但在深度学习中越来越紧迫,例如,值得信赖的人工智能,在复杂的扰动集和需要尊重物理定律和约束的科学应用程序上执行鲁棒优化。然而,如果没有优化专业知识,很难可靠地解决受约束的深度学习问题。现有的深度学习框架不承认约束。通用优化包可以处理约束,但不能执行自动微分,并且在处理非平滑性时有问题。在本文中,我们介绍了一个名为NCVX的新软件包,其初始版本包含求解器PyGRANSO,这是一个支持PyTorch的通用优化包,用于约束机器/深度学习问题,这是同类产品中的第一个。NCVX继承了PyTorch的自动微分,GPU加速和张量变量,并构建在免费提供和广泛使用的开源框架上。NCVX可在https://ncvx.org上获得,其中有详细的文档和来自机器/深度学习和其他领域的大量示例。
2022-11-14 cs.CV cs.LG cs.MS