An Automatic System for Unconstrained Video-Based Face Recognition
University of Maryland, College Park（马里兰大学帕克分校）
虽然深度学习方法已经实现了基于静态图像的人脸识别的性能超过人类，但由于要处理的大量数据以及姿势、照明、遮挡、场景、模糊、视频质量等的视频内/视频间变化，基于无约束视频的人脸识别仍然是一项具有挑战性的任务。我们考虑了具有挑战性的场景，用于从具有低质量帧的多镜头视频和监控视频中进行无约束的基于视频的人脸识别。为了处理这些问题，我们提出了一个强大的和有效的系统，无约束的基于视频的人脸识别，这是由模块的人脸/基准检测，人脸关联，人脸识别。首先，我们使用多尺度单镜头人脸检测器来有效地定位视频中的人脸。然后通过精心设计的人脸关联方法对检测到的人脸进行分组，特别是对于多镜头视频。最后，人脸识别的建议的人脸匹配器的基础上无监督子空间学习方法和子空间到子空间的相似性度量。对具有挑战性的视频数据集进行了广泛的实验，例如多生物识别大挑战（MBGC），面部和眼部挑战系列（FOCS），低质量监控视频的IARPA Janus监控视频基准（IJB-S）和多镜头视频的IARPA JANUS基准B（IJB-B），实验结果表明，该系统可以准确地从无约束视频中检测和关联人脸，并有效地学习鲁棒性和区分性特征为了得到认可
2019-08-09 cs.CV
Uncertainty Modeling of Contextual-Connections between Tracklets for Unconstrained Video-based Face Recognition
University of Maryland, College Park（马里兰大学帕克分校）；Academia Sinica（中央研究院）；Waymo（Waymo公司）
无约束的基于视频的人脸识别是一个具有挑战性的问题，由于显着的视频内的变化所造成的姿态，遮挡和模糊。为了解决这个问题，一个有效的想法是通过上下文连接将身份从高质量的面孔传播到低质量的面孔，上下文连接是基于身体外观等上下文构建的。然而，以前的方法往往传播错误的信息，由于缺乏不确定性建模的嘈杂的上下文连接。在本文中，我们提出了不确定性门控图（UGG），它进行基于图形的身份传播之间的轨迹，这是由图中的节点表示。UGG通过在推理过程中根据节点的身份分布自适应地更新边门的权重来显式地建模上下文连接的不确定性。UGG是一个通用的图形模型，只能在推理时应用，也可以在端到端训练时应用。我们在最近发布的具有挑战性的电影演员搜索和IARPA Janus监控视频基准数据集中展示了UGG的有效性。
2019-08-21 cs.CV
Unconstrained Still/Video-Based Face Verification with Deep Convolutional Neural Networks
University of Maryland（马里兰大学）
在过去的五年中，基于深度卷积神经网络（DCNN）的方法在目标检测和识别问题上表现出令人印象深刻的性能改进。这是由于大型注释数据集的可用性，对输入图像和类别标签之间的非线性映射的更好理解以及GPU的可负担性。在本文中，我们提出了无约束人脸识别的深度学习系统的设计细节，包括人脸检测，关联，对齐和人脸验证模块。使用IARPA Janus基准A（IJB-A）、JANUS挑战集2（JANUS CS2）和LFW数据集进行定量性能评估。IJB-A数据集包括500个受试者的真实无约束人脸，这些受试者具有显著的姿势和光照变化，这比野生标签人脸（LFW）和Youtube人脸（YTF）数据集要困难得多。JANUS CS2是IJB-A的扩展版本，它不仅包含IJB-A的所有图像/帧，还包含用于评估基于视频的人脸验证系统的原始视频。然后讨论了DCNN在人脸验证问题中的一些开放问题。
2017-07-18 cs.CV
CoNAN: Conditional Neural Aggregation Network For Unconstrained Face Feature Fusion
University at Buffalo（布法罗大学）
针对远距离等无约束场景下人脸特征聚合依赖元数据或高维特征、不适用于极低分辨率人脸的问题，提出条件神经聚合网络CoNAN，通过基于特征分布的上下文向量加权聚合，在相关数据集上取得SOTA结果。
2023-07-16 cs.AI cs.CV cs.LG
Unconstrained Face Detection and Open-Set Face Recognition Challenge
University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Surrey（萨里大学）；West Virginia University（西弗吉尼亚大学）；University of Wolverhampton（伍尔弗汉普顿大学）
人脸检测和识别基准已经转向更困难的环境。本文提出的挑战解决了从室外监控摄像机自动检测和识别人的方向的下一步。虽然人脸检测在从网络收集的图像中取得了显着的成功，但监控摄像头包括更多样化的遮挡，姿势，天气条件和图像模糊。虽然人脸验证或闭集人脸识别在某些数据集上已经超过了人类的能力，但开集识别要复杂得多，因为它需要拒绝来自人脸检测器的未知身份和错误接受。我们表明，无约束的人脸检测可以接近高的检测率，虽然有适度的错误接受率。相比之下，开集人脸识别目前还很弱，需要更多的关注。
2018-09-25 cs.CV
Automatic Face Recognition from Video
Trinity College（三一学院）
这项工作的目的是自动识别人脸的视频序列中的一个现实的，无约束的设置，其中照明条件是极端的，大大改变，视点和用户的运动模式有很大的变化，视频输入是低质量的。在焦点的中心是人脸外观流形：这篇论文提出了一个显着的进步，他们的理解和应用领域的人脸识别。两个主要贡献是通用形状照明流形识别算法和各向异性流形空间聚类。通用形状照明流形上获得的真实世界条件下的大型数据语料库进行评估，其性能大大超过了国家的最先进的方法在文献中，最好的商业软件。经验评估的各向异性流形空间聚类的一个流行的情景喜剧也描述了良好的初步结果。
2015-04-21 cs.CV
Cross-Age LFW: A Database for Studying Cross-Age Face Recognition in Unconstrained Environments
Beijing University of Posts and Telecommunications（北京邮电大学）
Labeled Faces in the Wild（LFW）数据库已被广泛用作无约束人脸验证的基准，并且由于大数据驱动的机器学习方法，在数据库上的性能接近100%。然而，我们认为，这种准确性可能过于乐观，因为一些限制因素。除了不同的姿态、光照、遮挡和表情，跨年龄人脸是人脸识别的另一个挑战。同一个人的不同年龄会导致类内差异很大，在真实世界的人脸验证中，老化过程是不可避免的。然而，LFW对此并没有太多关注，因此我们构建了一个跨年龄LFW（CALFW），该算法故意搜索并选择3，000个具有年龄差距的积极面孔对来添加衰老过程的类内方差。该方法还选择了同性别、同种族的阴性对，减少了阳性/阴性对属性差异的影响，实现了人脸验证而非属性分类。我们在新数据库上评估了几种度量学习和深度学习方法。与LFW相比，CALFW的精度下降了10%-17%。
2017-08-28 cs.CV cs.DB
Towards a Deep Learning Framework for Unconstrained Face Detection
Carnegie Mellon University（卡内基梅隆大学）
鲁棒的人脸检测是支持人脸表情分析、人脸地标、人脸识别、姿态估计、三维人脸模型构建等的最重要的预处理步骤之一。虽然这个主题已经被深入研究了几十年，但由于现实世界中人脸图像的众多变体，它仍然具有挑战性。本文提出了一种基于多尺度快速区域的卷积神经网络（MS-FRCNN）从在各种具有挑战性的条件下收集的图像中鲁棒地检测人类面部区域，所述条件例如大遮挡、极低分辨率、面部表情、强照明变化等。所提出的方法在两个具有挑战性的面部检测数据库上进行基准测试，即更宽的人脸数据库和人脸检测数据集和基准（FDDB），并与最近的其他人脸检测方法进行比较，例如两阶段CNN，多尺度级联CNN，Faceness，聚合通道特征，HeadHunter，多视图人脸检测，级联CNN，实验结果表明，我们提出的方法始终取得了高度竞争力的结果与国家的最先进的性能对其他最近的人脸检测方法。
2017-01-02 cs.CV
Cross-Quality LFW: A Database for Analyzing Cross-Resolution Image Face Recognition in Unconstrained Environments
Technical University（技术大学）
现实世界的人脸识别应用程序经常处理次优的图像质量或分辨率，由于不同的捕获条件，如各种主体到相机的距离，差的相机设置，或运动模糊。这一特点对业绩有着不可忽视的影响。最近的交叉分辨率人脸识别方法使用简单，任意和不切实际的缩小和放大技术来衡量图像质量对真实世界边缘情况的鲁棒性。因此，我们提出了一个新的标准化的基准数据集和评估协议，来自著名的标签在野外的脸（LFW）。与以前的衍生工具相比，这些衍生工具专注于姿势，年龄，相似性和对抗攻击，我们的跨质量标签人脸在野外（XQLFW）最大限度地提高了质量差异。它只在必要时包含更真实的合成退化图像。然后，我们提出的数据集用于进一步研究图像质量对几种最先进方法的影响。与XQLFW，我们表明，这些模型在交叉质量的情况下表现不同，因此，泛化能力是不准确的预测LFW的性能。此外，我们报告了最近针对交叉分辨率应用进行明确训练的深度学习模型的基线准确性，并评估了对图像质量的敏感性。为了鼓励跨分辨率人脸识别的进一步研究，并激发图像质量鲁棒性的评估，我们公布了数据库和代码的评估。
2022-11-25 cs.CV
Few-shot Neural Radiance Fields Under Unconstrained Illumination
Korea Institute of Science and Technology（韩国科学技术研究院）；Korea University（高丽大学）；University of Science and Technology（科学技术联合大学院大学）；Yonsei University（延世大学）
针对少输入、光照变化条件下的新视角合成问题，论文提出利用多视图反照率一致性和几何对齐的 ExtremeNeRF，并构建 NeRF Extreme benchmark 进行评估。
2023-12-18 cs.CV
Facial Landmark Machines: A Backbone-Branches Architecture with Progressive Representation Learning
Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）
人脸标志点定位在人脸识别和分析中起着至关重要的作用。在本文中，我们提出了一种新的级联骨干分支完全卷积神经网络~（BB-FCN）的快速，准确地定位在无约束和混乱的设置面部标志。我们提出的BB-FCN直接从原始图像生成面部标志响应图，无需任何预处理。BB-FCN遵循从粗到细的级联管道，该管道由用于粗略检测所有面部地标的位置的骨干网络和用于进一步细化其位置的每种类型的检测到的地标的分支网络组成。此外，为了方便在无约束设置下的面部标志定位，我们提出了一个大规模的基准命名为SYSU 16 K，其中包含16000张面孔的姿态，表情，照明和分辨率的变化很大。广泛的实验评估表明，我们提出的BB-FCN可以显着优于国家的最先进的约束下（即，仅在检测到的面部区域内）和不受约束的设置。我们进一步证实，我们提出的网络定位的高质量面部标志也可以提高面部检测的精度和召回率。
2018-12-10 cs.CV
SSDL: Self-Supervised Domain Learning for Improved Face Recognition
Queen Mary University of London（伦敦玛丽女王大学）
在无约束的环境中的人脸识别是具有挑战性的，由于在照明，传感器的质量，运动模糊等的变化，一个人的脸的外观可以在不同的条件下产生巨大的差距训练（源）和变化的测试（目标）数据。领域差距可能会导致从源到目标的直接知识转移的绩效水平下降。尽管对特定于领域的数据进行微调可能是一种有效的解决方案，但收集和注释所有领域的数据是非常昂贵的。为此，我们提出了一种自监督域学习（SSDL）方案，该方案训练从未标记数据中挖掘的三元组。有效判别学习的一个关键因素是选择信息三元组。在最有信心的预测基础上，我们遵循交替三重挖掘和自我学习的"从易到难"方案。在四个不同的基准测试上的综合实验表明，SSDL在不同的领域都有很好的推广性。
2020-11-26 cs.CV cs.LG
DeepLight: Learning Illumination for Unconstrained Mobile Mixed Reality
Google Inc.（谷歌公司）；USC Institute for Creative Technologies（南加州大学创新技术研究院）
我们提出了一种基于学习的方法来推断合理的高动态范围（HDR），全方位照明给定的无约束，低动态范围（LDR）的图像，从一个有限的视野（FOV）的手机摄像头。对于训练数据，我们收集放置在相机FOV内的各种反射球体的视频，使大部分背景未被遮挡，利用具有不同反射功能的材料在单次曝光中显示不同的照明线索。我们训练深度神经网络，以通过使用基于图像的重新照明将LDR地面实况球面图像与用预测照明渲染的那些图像进行匹配来从LDR背景图像回归到HDR照明，所述基于图像的重新照明是可微分的。我们的推理在移动终端上以交互式帧速率运行，使虚拟对象逼真地渲染成移动混合现实的真实场景。在自动曝光和白平衡视频上进行训练，与室内和室外场景的最先进方法相比，我们提高了渲染对象的真实感。
2019-04-02 cs.CV cs.GR
CMS-RCNN: Contextual Multi-Scale Region-based CNN for Unconstrained Face Detection
Carnegie Mellon University（卡内基梅隆大学）
鲁棒的人脸检测是支持各种人脸相关问题的最终组成部分之一，即无约束人脸识别，面部眼周识别，面部标志和姿态估计，面部表情识别，3D人脸模型构建等。尽管人脸检测问题已经被深入研究了几十年，并有各种商业应用，但是由于许多挑战，例如严重的面部遮挡、极低的分辨率、强照明、异常的姿势变化、图像或视频压缩伪影等，它在一些现实世界场景中仍然遇到问题。在本文中，本文提出了一种基于上下文多尺度区域卷积神经网络（CMS-RCNN）的人脸检测方法来解决上述问题。与基于区域的CNN类似，我们提出的网络由区域建议组件和感兴趣区域（RoI）检测组件组成。然而，与该网络相距甚远，我们提出的网络中有两个主要贡献，它们在实现最先进的人脸检测性能方面发挥了重要作用。首先，在区域建议和ROI检测中对多尺度信息进行分组，以处理微小的人脸区域。其次，我们提出的网络允许显式的身体上下文推理的网络灵感来自人类视觉系统的直觉。所提出的方法是基准上最近两个具有挑战性的人脸检测数据库，即WIDER面部数据集，其中包含高度的变化，以及人脸检测数据集和基准（FDDB）。实验结果表明，我们提出的方法在WIDER FACE数据集上训练的性能大大优于WIDER FACE数据集上的强基线，并且与最近最先进的人脸检测方法相比，在FDDB上始终取得有竞争力的结果。
2016-06-17 cs.CV
DaliID: Distortion-Adaptive Learned Invariance for Identification Models
University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；Universidade Estadual de Campinas（坎皮纳斯州立大学）
在不受约束的场景中，人脸识别和人员重新识别会受到诸如运动模糊、大气湍流或上采样伪影等失真的影响。为了提高在这些情况下的鲁棒性，我们提出了一种称为失真自适应学习不变性识别（DaliID）模型的方法。我们认为，失真增强，降低图像质量，可以成功地利用到更大的程度比文献中所示。借助于自适应加权计划，在训练过程中，在严重的水平上应用一种新的失真增强。这种训练策略增加了特征级对失真的不变性，并减少了向无约束场景的域转移。在推理时，我们使用来自并行模型的特征的幅度加权融合来保持图像范围内的鲁棒性。DaliID模型在包括IJB-S、TinyFace、DeepChange和MSMT 17在内的七个基准数据集上实现了最先进的人脸识别和人员重新识别（SOTA）。此外，我们还提供了在750米以上距离处重新捕获的评估数据，并在真实的长距离人脸图像上进行了进一步验证。
2023-02-11 cs.CV
SAMURAI: Shape And Material from Unconstrained Real-world Arbitrary Image collections
University of Tübingen（图宾根大学）；Google Research（谷歌研究院）
在完全未知的捕获条件下对物体进行逆绘制是计算机视觉和图形学中的一个基本挑战。NeRF等神经方法已经在新颖的视图合成上实现了照片级真实感的结果，但它们需要已知的相机姿态。解决这个问题与未知的相机姿势是非常具有挑战性的，因为它需要联合优化的形状，辐射，和姿态。当输入图像在具有变化的背景和照明的野外捕获时，该问题加剧。标准姿态估计技术在野外的这种图像收集中失败，这是由于跨图像的估计对应性非常少。此外，NeRF不能在任何照明下重新照亮场景，因为它对辐射率（反射率和照明的乘积）进行操作。我们提出了一个联合优化框架来估计形状，BRDF，和每图像相机的姿态和照明。我们的方法适用于对象的在线图像集合，并为AR/VR等几个用例生成可重定向的3D资产。据我们所知，我们的方法是第一个以最少的用户交互来处理这个严重不受约束的任务。项目页面：https://markboss.me/publication/2022-samurai/视频：https://youtu.be/LlYuGDjXp-8
2022-05-31 cs.CV cs.GR cs.LG
A Comprehensive Analysis of Deep Learning Based Representation for Face Recognition
Sabanci University（萨班哲大学）；Istanbul Technical University（伊斯坦布尔理工大学）
基于深度学习的方法一直主导着人脸识别领域，因为它们在具有挑战性的野生数据集上提供了显着的性能改进。这些方法已经在这些无约束的数据集上进行了广泛的测试，在野外的标签脸和YouTube脸上，仅举几例。然而，它们处理由诸如头部姿势、照明、遮挡和未对准等因素引起的个体外观变化的能力至今尚未得到彻底评估。在本文中，我们提出了一个全面的研究，以评估性能的深度学习为基础的人脸表示在几个条件下，包括不同的头部姿势角度，上，下面部遮挡，不同强度的照明变化，以及由于错误的面部特征定位错位。两个成功的和公开可用的深度学习模型，即VGG-Face和Lightened CNN已被用于提取面部表示。所获得的结果表明，尽管深度学习为人脸识别提供了强大的表示，但它仍然可以受益于预处理，例如，姿势和光照归一化，以便在各种条件下实现更好的性能。特别是，如果这些变化不包括在用于训练深度学习模型的数据集中，则预处理的作用变得更加关键。实验结果还表明，基于深度学习的表示对未对准具有鲁棒性，并且可以容忍高达两眼间距离的10%的面部特征定位误差。
2016-06-09 cs.CV
Deep Heterogeneous Feature Fusion for Template-Based Face Recognition
尽管深度学习在人脸识别方面取得了令人印象深刻的性能，但许多研究表明，不同的网络学习不同的特征图：虽然一些网络更容易接受姿势和照明，但其他网络似乎捕捉更多的本地信息。因此，在这项工作中，我们提出了一种深度异构特征融合网络，以利用不同深度卷积神经网络（DCNN）生成的特征中存在的互补信息进行基于模板的人脸识别，其中模板是指来自不同来源的一组静态人脸图像或视频帧，这些图像或视频帧比传统的人脸数据集引入了更多的模糊，姿态，照明和其他变化。所提出的方法通过以下方式有效地融合不同深度特征的判别信息：1）联合学习深度特征的非线性高维投影; 2）生成更具判别力的模板表示，该模板表示保留了特征空间中深度特征的固有几何形状。在IARPA Janus Challenge Set 3（Janus CS3）数据集上的实验结果表明，该方法能有效地提高识别性能.此外，我们还提出了一系列的协变量实验的人脸验证任务，深入的定性评估所提出的方法。
2017-02-15 cs.CV
K-FACE: A Large-Scale KIST Face Database in Consideration with Unconstrained Environments
Korea Institute of Science and Technology (KIST)（韩国科学技术院）；Yonsei University（延世大学）；KIST-School, University of Science and Technology（科学技术大学KIST学院）
K-FACE数据库通过考虑性别、年龄、姿态、光照和配件等多因素，提供了一个系统性且多样化的面部数据集，用于提升人脸识别等视觉任务的性能。
2025-11-24 cs.CV cs.DB
Blind restoration for non-uniform aerial images using non-local Retinex model and shearlet-based higher-order regularization
Peking University（北京大学）
航空图像常因空间变化的运动模糊和同时存在的光照不均匀而出现质量下降。为了恢复高质量的航空图像从其非均匀的版本，我们提出了一种新的块式恢复方法的基础上的一个关键的观察，模糊的程度是不可避免地受到照明条件。一个非本地Retinex模型的开发，以准确地估计从退化的航空图像的反射率分量。此后，不均匀的照明被很好地校正。然后对增强反射率图像中的非均匀耦合模糊进行缓解，使其向均匀分布方向转化，为后续的去模糊提供便利。为了构造多尺度稀疏正则化子，改进了离散剪切波变换，使其在方向敏感性和选择性方面更好地表示各向异性图像特征。此外，提出了一种新的自适应变体的总广义变分的结构保持正则化。这些互补的正则化子被优雅地集成到目标函数中。利用快速交替方向法求解该函数，得到均匀光照下的最终去模糊图像。实验结果表明，该算法不仅能有效地去除航拍图像中的空间变化光照和运动模糊，而且能恢复出丰富的航拍场景细节，具有一流的主客观质量，优于其他现有的复原方法。
2016-12-23 cs.CV
GaRe: Relightable 3D Gaussian Splatting for Outdoor Scenes from Unconstrained Photo Collections
Nanjing University（南京大学）；Brown University（布朗大学）；JSTI Group（JSTI集团）
针对非约束户外照片集，本文提出基于 3D Gaussian splatting 与本征分解的 GaRe 框架，通过太阳可见性提取、区域监督和光线追踪阴影实现高保真、可控重光照。
2025-07-28 cs.CV
Bridge the Vision Gap from Field to Command: A Deep Learning Network Enhancing Illumination and Details
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
微光图像增强以提高图像亮度为目标，在监控、遥感和计算摄影等领域有着广泛的应用。在弱光条件下拍摄的图像通常会出现能见度差和模糊的问题。单纯地对暗区进行增亮，不可避免地会放大模糊，从而可能导致细节丢失。在本文中，我们提出了一个简单而有效的双流框架命名为NEID调整的亮度和增强的细节，同时不引入许多计算成本。该方法由光照增强（Light Enhancement，LE）、细节细化（Detail Refinement，DR）和特征融合（Feature Fusioning，FF）三部分组成，能够基于通道注意机制聚合面向多任务的复合特征。在几个基准数据集上进行的大量实验证明了我们的方法的有效性及其优于最先进的方法。
2021-01-20 cs.CV cs.LG eess.IV
Multi-Directional Multi-Level Dual-Cross Patterns for Robust Face Recognition
University of Technology, Sydney（悉尼科技大学）；University of Maryland, College Park（马里兰大学帕克分校）
为了实现对光照、姿态和表情变化具有鲁棒性的无约束人脸识别，提出了一种从人脸图像中提取“多方向多级双交叉模式”（MDML-DCP）的新方法。具体而言，MDMLDCPs方案利用高斯算子的一阶导数来减少光照差异的影响，然后在整体和组件级别上计算DCP特征。DCP是一种新颖的人脸图像描述符，它的灵感来自于人脸独特的纹理结构。它在计算上是高效的，并且仅使计算局部二进制模式的成本加倍，但对姿势和表情变化非常鲁棒。MDML-DCP全面而有效地将人脸图像的不变特征从多个级别编码成模式，该模式对人与人之间的差异具有高度区分性，但对人与人之间的变化具有鲁棒性。在FERET、CAS-PERL-R1、FRGC 2.0和LFW数据库上的实验结果表明，DCP在人脸识别和人脸验证任务中的性能优于最先进的局部描述符（例如LBP、LTP、LPQ、POEM、tLBP和LGXP）。更令人印象深刻的是，通过在一个简单的识别方案中部署MDML-DCP，在具有挑战性的LFW和FRGC 2.0数据库上实现了最佳性能。
2015-08-06 cs.CV
A Brief Survey on Person Recognition at a Distance
远距离人员识别需要识别出现在远程成像系统（如无人机或监控摄像头）收集的图像或视频中的个人身份。尽管最近在深度卷积神经网络（DCNN）方面取得了进展，但这仍然具有挑战性。由远程相机采集的图像或视频通常遭受大气湍流、模糊、低分辨率、不受约束的姿势和较差的照明。在本文中，我们提供了一个简短的调查，在距离的人识别的最新进展。特别是，我们回顾了最近的工作在多光谱人脸验证，人的重新识别，和步态为基础的分析技术。此外，我们还讨论了现有方法的优点和缺点，并确定了重要的，但在野外部署远程人员识别系统的挑战。
2022-12-17 cs.CV
Learning to Find Eye Region Landmarks for Remote Gaze Estimation in Unconstrained Settings
ETH Zurich（苏黎世联邦理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）
传统的基于特征和基于模型的凝视估计方法已经证明在具有受控照明和专用相机的设置中表现良好。然而，在不受约束的现实世界的设置，这样的方法是超越最近的外观为基础的方法，由于建模因素，如照明变化和其他视觉伪影的困难。我们提出了一种新的基于学习的方法，使传统的方法是最新的外观为基础的方法具有竞争力的眼睛区域的地标定位。尽管专门针对合成数据进行了训练，但我们的方法在真实图像上的虹膜定位和眼睛形状配准方面超过了现有技术。然后，我们使用检测到的地标作为迭代模型拟合和基于轻量级学习的凝视估计方法的输入。我们的方法优于现有的模型拟合和外观为基础的方法在人的独立和个性化的凝视估计的背景下。
2018-05-12 cs.CV
Wildest Faces: Face Detection and Recognition in Violent Settings
Hacettepe University（哈斯特帕大学）；Middle East Technical University（中东技术大学）
随着大规模数据集和能够学习复杂表示的深度学习模型的引入，人脸检测和识别任务取得了令人印象深刻的进展。尽管取得了这些进展，但现有的数据集并没有捕捉到在最疯狂的场景中人脸识别的困难，例如敌对纠纷或打架。此外，现有的数据集并不代表完全不受约束的情况下，低分辨率，高模糊和大姿态/遮挡变化。为此，我们引入了Wildest Faces数据集，该数据集专注于暴力场景的不利影响。该数据集由电影中名人的大量暴力场景组成。我们的实验结果表明，最先进的技术并不适合暴力场景，因此，《狂野面孔》可能会激起人们对人脸检测和识别研究的进一步兴趣。
2018-05-19 cs.CV
Inclusive normalization of face images to passport format
Amadeus SAS（艾玛迪斯公司）
提出StyleFNM模型，通过风格化归一化移除人脸图像中的多种个体内部变化并处理肤色偏差，生成更真实的护照类图像，显著提升人脸识别的准确性与公平性。
2023-12-22 cs.AI cs.CV
Pushing the Limits of Unconstrained Face Detection: a Challenge Dataset and Baseline Results
Fujitsu Laboratories Ltd.（富士通研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）；Rutgers University（罗格斯大学）
人脸检测在过去几年中取得了巨大的进步，每年都有新的里程碑被超越。虽然成功地解决了许多挑战，如规模，姿态，外观的大变化，但仍然存在一些问题，这些问题没有被现有的方法或数据集具体捕获。在这项工作中，我们确定了需要研究界关注的下一组挑战，并收集了一个新的人脸图像数据集，这些数据集涉及这些问题，如基于天气的退化，运动模糊，焦点模糊等。我们证明，有一个相当大的差距，最先进的检测器和现实世界的要求的性能。因此，为了进一步推动无约束人脸检测的研究，我们提出了一个新的带注释的无约束人脸检测数据集（UFDD），其中包含几个挑战和基准最近的方法。此外，我们还对这些方法的结果和失败案例进行了深入分析。数据集和基线结果将在适当时候公布。UFDD数据集以及基线结果可在以下网址获得：www.ufdd.info/
2018-08-08 cs.CV
Real-world Person Re-Identification via Degradation Invariance Learning
University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
真实世界场景中的人员重新识别（Re-ID）通常遭受各种降级因素，例如，低分辨率、弱光照、模糊和恶劣天气。一方面，这些退化导致严重的判别信息丢失，这大大阻碍了身份表示学习;另一方面，低层次的视觉变化引起的特征失配问题，大大降低了检索性能。一个直观的解决方案是利用低层次的图像复原方法来提高图像质量。然而，由于各种限制，现有的恢复方法不能直接用于真实世界的Re-ID，例如，参考样品的要求，合成和现实之间的领域差距，以及低级和高级方法之间的不兼容性。针对上述问题，本文提出了一种真实世界人物Re-ID的退化不变性学习框架，通过引入一种自监督的解纠缠表示学习策略，该方法能够在不需要额外监督的情况下，同时提取身份相关的鲁棒特征并去除真实世界的退化。我们使用低分辨率图像作为主要演示，实验表明，我们的方法能够在几个Re-ID基准上实现最先进的性能。此外，我们的框架可以很容易地扩展到其他现实世界的退化因素，如弱照明，只有一些修改。
2020-04-10 cs.CV
Unconstrained Road Marking Recognition with Generative Adversarial Networks
GIST（光州科学技术院）
近年来，随着深度学习的快速发展，道路标线识别取得了巨大的成功。虽然已经取得了相当大的进展，但它们往往过度依赖于不具代表性的数据集和约束条件。在本文中，为了克服这些缺点，我们提出了一种替代方法，实现更高的精度，并产生高质量的样本作为数据增强。本文的主要贡献有两点：1）提出的去模糊网络采用生成对抗网络（GAN），可以成功地从模糊的道路标记中恢复出清晰的道路标记。2)提出的数据增强方法，基于互信息，可以保持和学习给定的数据集的语义上下文。我们构造并训练了一个类条件GAN，以增加训练集的规模，使其适合于目标识别。实验结果表明，我们提出的框架产生去模糊的干净的样本模糊的，并优于其他方法，即使在无约束的道路标记数据集。
2019-10-10 cs.CV cs.RO
Improving 2D face recognition via fine-level facial depth generation and RGB-D complementary feature learning
Shandong University of Science and Technology（山东科技大学）
本文提出细粒度面部深度生成网络与改进的多模态互补特征学习网络，在Lock3DFace和IIIT-D数据集上提升RGB-D人脸识别准确率，达到最先进性能。
2023-05-08 cs.CV
Impact of facial landmark localization on facial expression recognition
虽然面部标志定位（FLL）的方法越来越准确地表征面部区域，一个问题仍然没有答案：这些方法对后续相关任务的影响是什么？在本文中，重点放在面部表情识别（FER），面部标志用于人脸注册，这是一个常见的用法。由于用于面部标志定位的最常用的数据集不允许根据不同的困难（例如，姿势、表情、照明、遮挡、运动模糊），我们还量化了在存在头部姿势变化和面部表情的情况下最近的方法的性能。最后，这些方法对FER的影响进行了研究。我们表明，迄今为止实现的地标精度优化传统的欧几里德距离并不一定保证FER的性能增益。为了解决这个问题，我们提出了一个新的评价指标FLL适应FER。
2021-07-19 cs.CV
Zero-Reference Joint Low-Light Enhancement and Deblurring via Visual Autoregressive Modeling with VLM-Derived Modulation
本文提出了一种无需参考的联合低光照增强与去模糊化方法，基于视觉自回归建模和VLM衍生调制，通过自适应曲线估计和动态旋转位置编码提升模型对模糊和光照变化的处理能力。
2025-11-23 cs.CV
Unconstrained Face Verification using Deep CNN Features
University of Maryland, College Park（马里兰大学帕克分校）；Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）
在本文中，我们提出了一种基于深度卷积特征的无约束人脸验证算法，并在新发布的IARPA Janus Benchmark A（IJB-A）数据集上对其进行了评估。IJB-A数据集包括来自500个主题的真实世界无约束人脸，具有完整的姿势和照明变化，这比传统的野生标签人脸（LFW）和Youtube人脸（YTF）数据集要难得多。使用CASIA-WebFace数据集训练深度卷积神经网络（DCNN）。在IJB-A数据集上进行了大量的实验。
2016-03-02 cs.CV
A Good Practice Towards Top Performance of Face Recognition: Transferred Deep Feature Fusion
Panasonic R&D Center Singapore（松下新加坡研发中心）；National University of Singapore（新加坡国立大学）
在过去的几年里，无约束人脸识别性能评估传统上集中在用于图像的Labeled Faces in the Wild（LFW）数据集和用于视频的YouTubeFaces（YTF）数据集。这一领域的惊人进展导致这些基准数据集的验证和识别精度饱和。在本文中，我们提出了一个统一的学习框架，称为转移深度特征融合（TDFF），针对NIST人脸挑战发布的新IARPA Janus Benchmark A（IJB-A）人脸识别数据集。IJB-A数据集包括来自500个具有完整姿势和照明变化的受试者的真实世界无约束面部，这比LFW和YTF数据集要难得多。受迁移学习的启发，我们分别在源域中使用两个不同的大数据集来训练两个高级深度卷积神经网络（DCNN）。通过探索两个不同DCNN的互补性，在目标域中的特征提取之后利用深度特征融合。然后，模板特定的线性支持向量机，以提高框架的歧视。最后，将不同模板对应的多个匹配得分合并为最终结果。这个简单的统一框架在IJB-A数据集上表现出出色的性能。基于所提出的方法，我们已经将我们的IJB-A结果提交给美国国家标准与技术研究院（NIST）进行正式评估。此外，通过引入新的数据和先进的神经架构，我们的方法在IJB-A数据集上的表现远远优于最先进的方法。
2018-02-09 cs.CV
RAD: A Comprehensive Dataset for Benchmarking the Robustness of Image Anomaly Detection
Huazhong University of Science and Technology（华中科技大学）；School of Mechanical Science and Engineering（机械科学与工程学院）
本文提出RAD数据集，含视角、光照和模糊噪声，评估11种无监督和零样本异常检测方法，发现记忆库和合成异常辅助方法鲁棒性更强，利用基础模型知识可提升鲁棒性。
2024-07-22 cs.CV
Vehicle Re-Identification in Context
Queen Mary University of London（伦敦玛丽女王大学）；Vision Semantics Limited（视觉语义有限公司）
现有的车辆重新识别（re-id）评估基准通过假设在几乎恒定的图像尺度下高质量图像和细粒度外观的可用性来考虑强烈的人工测试场景，这让人想起自动车牌识别所需的图像，例如VeRi-776。这样的假设在现实的车辆re-id场景中通常是无效的，其中任意改变图像分辨率（尺度）是常态。这使得现有的车辆re-id基准有限的测试re-id方法的真实性能。在这项工作中，我们引入了一个更现实和具有挑战性的车辆重新识别基准，称为车辆重新识别上下文（VRIC）。与现有的数据集相比，VRIC的独特之处在于车辆图像在分辨率（尺度）、运动模糊、照明、遮挡和视角方面具有更真实和不受约束的变化。它包含了60个不同的摄像头在白天和晚上的不同道路交通场景中拍摄的5，622个车辆身份的60，430张图像。
2018-09-26 cs.CV
A Comparative Analysis of the Face Recognition Methods in Video Surveillance Scenarios
Havelsan Inc.（哈维尔桑公司）
面部识别是在实时应用中运行的各种安全系统的基础。在基于视频监控的人脸识别中，人脸图像通常在不受控制的条件下在多个帧上捕获;其中头部姿势、照明、阴影、运动模糊和焦点在序列上变化。我们可以概括为三个基本的操作涉及到人脸识别任务：人脸检测，人脸对齐和人脸识别。本研究通过使用相同的主干架构测试最先进的人脸识别方法，从而提供了比较基准表，以便仅关注人脸识别解决方案而不是网络架构。为此，我们构建了一个具有高年龄方差、类内方差（面部化妆、胡须等）的人脸ID视频监控数据集。与本地监控面部图像数据进行评估。另一方面，这项工作发现了不同条件下的最佳识别方法，如非蒙面脸，蒙面脸和戴眼镜的脸。
2022-11-05 cs.AI cs.CV
The Impact of Preprocessing on Deep Representations for Iris Recognition on Unconstrained Environments
Federal University of Paraná (UFPR)（巴拉那联邦大学）；Federal University of Ouro Preto (UFOP)（欧鲁普雷图联邦大学）；Pontifical Catholic University of Paraná (PUCPR)（巴拉那天主教大学）
虹膜作为一种生物特征被广泛使用，因为它具有高度的区分性和唯一性。目前，主要的研究挑战之一是在无约束环境下对可见光范围内的虹膜图像进行识别。在这种情况下，所获取的虹膜受到捕获距离、旋转、模糊、运动模糊、低对比度和镜面反射的影响，从而产生干扰虹膜识别系统的噪声。为了解决这些问题，除了提取虹膜区域外，通常还需要对虹膜图像进行归一化和分割等预处理。但这些技术不可避免地会出现一些错误。在这种情况下，我们建议使用深度表示，更具体地说，基于VGG和ResNet-50网络的架构，用于处理使用（而不是）虹膜分割和归一化的图像。我们使用从人脸域的迁移学习，并提出了一个具体的数据增强技术虹膜图像。我们的研究结果表明，使用非规范化的，只有圆圈界定的虹膜图像的方法达到了一个新的国家的艺术在官方协议的NICE。II竞争，一个子集的UBIRIS数据库，一个最具挑战性的数据库在无约束的环境，报告平均相等的出错率（EER）为13.98%，这代表了约5%的绝对减少。
2018-08-29 cs.CV
Unconstrained Face Sketch Synthesis via Perception-Adaptive Network and A New Benchmark
South China University of Technology（华南理工大学）；Hong Kong Polytechnic University（香港理工大学）；Sun Yat-Sen University（中山大学）
人脸草图生成是视觉计算领域的一个研究热点。然而，现有的方法要么是有限的约束条件或严重依赖于各种预处理步骤来处理在野生情况下。在本文中，我们认为，准确地感知面部区域和面部组件是无约束草图合成的关键。为此，我们提出了一种新的感知自适应网络（PANet），它可以生成高质量的人脸草图在不受约束的条件下，在一个端到端的计划。具体来说，我们的PANet由i）用于分层特征提取的全卷积编码器，ii）用于提取潜在面部区域和处理面部变化的面部自适应感知解码器，以及iii）用于面部组件感知特征的组件自适应感知模块组成表示学习。为了便于进一步研究无约束的人脸素描合成，我们引入了一个新的基准称为WildSketch，其中包含800对人脸照片素描与姿势，表情，种族，背景和照明的变化很大。大量的实验表明，该方法是能够实现国家的最先进的性能在约束和无约束条件下。我们的源代码和WildSketch基准测试在项目页面http://lingboliu.com/unconstrained_face_sketch.html上重新密封。
2021-12-02 cs.CV cs.LG
Generalizable Sparse-View 3D Reconstruction from Unconstrained Images
University of Maryland, College Park（马里兰大学学院公园分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Johns Hopkins University（约翰霍普金斯大学）
本文提出GenWildSplat框架，通过学习几何先验在无场景优化情况下实现稀疏视角户外3D重建，利用外观适配器和语义分割处理光照和遮挡，实现跨不同光照和遮挡模式的泛化。
2026-04-30 cs.CV
Motion Blur Decomposition with Cross-shutter Guidance
The University of Tokyo（东京大学）
本文针对单张图像运动模糊分解的高度歧义性问题，提出利用全局快门与卷帘快门互补曝光特性，通过跨快门引导和互惠分支深度网络实现鲁棒分解，并构建三轴系统采集真实数据验证了方法有效性。
2024-04-01 cs.CV
Practical Face Reconstruction via Differentiable Ray Tracing
InterDigital R&I（InterDigital研发与创新中心）；AI Foundation（AI基金会）；Technicolor Inc.（特艺集团）
我们提出了一种基于可微光线跟踪的新型人脸重建方法，场景属性- 3D几何形状，反射率（漫反射，镜面反射和粗糙度），姿态，相机参数和场景照明-从无约束的单目图像估计。该方法通过一个新的，参数化的虚拟光舞台，结合可微光线跟踪场景照明建模，介绍了一个由粗到细的优化配方的人脸重建。我们的方法不仅可以处理无约束的照明和自阴影的条件下，但也估计漫反射和镜面反射。为了一致地并且具有实用语义地估计面部属性，两阶段优化策略系统地使用参数属性的子集，其中随后的属性估计因子是先前估计的那些。例如，在第一阶段期间估计的自阴影，稍后防止其在第二阶段中烘焙成个性化漫反射和镜面反射。我们展示了我们的方法在几个现实世界中的情况下，即使在极端的光照条件下，人脸属性可以估计的功效。消融研究，分析和比较，对最近几个国家的最先进的方法显示，我们的方法提高了准确性和多功能性。一致的人脸属性重建，我们的方法导致几种风格-照明，阴影，自我阴影-编辑和转移的应用，如本文所讨论的。
2021-01-13 cs.CV cs.GR
WildSplatter: Feed-forward 3D Gaussian Splatting with Appearance Control from Unconstrained Images
NAIST（名古屋大学信息科学研究所）；Ritsumeikan University（立命馆大学）；Kyoto University（京都大学）
本文提出WildSplatter，一种无需姿态信息的3D高斯散射模型，通过无约束图像学习3D高斯和外观嵌入，实现快速重建和光照变化下的外观控制。
2026-04-23 cs.CV
DP-NeRF: Deblurred Neural Radiance Field with Physical Scene Priors
Korea Institute of Science and Technology (KIST)（韩国科学技术院）；Yonsei University（延世大学）
神经辐射场（NeRF）通过从多视图图像和成对校准的相机参数进行新颖的视图合成而展现出出色的三维（3D）重建质量。然而，以前基于NeRF的系统是在严格控制的设置下进行演示的，很少关注不太理想的场景，包括存在噪声的情况，如曝光，照明变化和模糊。特别是，虽然模糊经常发生在现实情况下，NeRF可以处理模糊图像很少受到关注。研究模糊图像NeRF的少数研究没有考虑3D空间中的几何和外观一致性，这是3D重建中最重要的因素之一。这导致不一致性和所构造场景的感知质量的降级。因此，本文提出了一个DP-NeRF，一个新的清洁NeRF框架模糊图像，这是约束与两个物理先验。这些先验是从相机获取图像期间的实际模糊过程中得出的。DP-NeRF提出了刚性模糊内核，利用物理先验知识和自适应权重建议来提高3D一致性，并考虑到深度和模糊之间的关系来改善颜色合成误差。我们提出了广泛的实验结果与两种类型的模糊：相机运动模糊和散焦模糊的合成和真实场景。结果表明，DP-NeRF成功地提高了所构建的NeRF的感知质量，确保了3D几何和外观的一致性。我们进一步证明了我们的模型与全面的消融分析的有效性。
2023-03-09 cs.CV
UP-NeRF: Unconstrained Pose-Prior-Free Neural Radiance Fields
Korea University（高丽大学）
针对现有无姿态先验NeRF方法难以处理带光照变化和瞬时遮挡的无约束图像的问题，提出UP-NeRF，通过颜色不敏感特征场代理任务、瞬时遮挡处理模块、候选头及瞬态感知深度监督实现鲁棒优化，在Phototourism数据集上性能优于BARF等基线。
2023-11-08 cs.CV cs.LG
The Sky's the Limit: Re-lightable Outdoor Scenes via a Sky-pixel Constrained Illumination Prior and Outside-In Visibility
The University of York（约克大学）
提出基于天空像素约束的光照先验与由外向内天空可见性计算方法，解决室外场景逆向渲染中的光照与反照率模糊及阴影遮挡问题，在NeRF-OSR基准上取得最优结果。
2024-07-30 cs.CV
SAIGFormer: A Spatially-Adaptive Illumination-Guided Network for Low-Light Image Enhancement
Faculty of Data Science, City University of Macau（数据科学学院，澳门城市大学）；College of Oceanography and Space Informatics, China University of Petroleum (East China)（海洋科学与空间信息学院，中国石油大学（华东））；School of Electronics, Electrical Engineering and Computer Science, Queen’s University Belfast（电子、电气与计算机科学学院，女王大学 Belfast）；Department of Automation, Tsinghua University（自动化系，清华大学）；College of Computer Science and Software Engineering, Shenzhen University（计算机科学与软件工程学院，深圳大学）
针对现有Transformer低光照增强方法在非均匀光照场景下效果不佳的问题，提出SAIGFormer框架，通过动态积分图像表示、SAI²E估计器和IG-MSA机制实现精准光照恢复，在多个数据集上性能优于现有方法且泛化性强。
2025-07-21 cs.CV
Soft Biometrics: Gender Recognition from Unconstrained Face Images using Local Feature Descriptor
Universiti Putra Malaysia（马来西亚博特拉大学）
针对无约束人脸图像性别识别中对齐复杂、多样本及先验分布不现实的问题，提出利用局部特征描述符对光度变化的鲁棒性，从单人单张图像提取二维人脸形状描述，并在 LFW 上验证有效性。
2017-02-08 cs.CV
NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections
Google Research（谷歌研究院）
我们提出了一种基于学习的方法，只使用非结构化的收集在野外的照片合成复杂场景的新观点。我们建立在神经辐射场（NeRF），它使用多层感知器的权重来模拟场景的密度和颜色作为3D坐标的函数。虽然NeRF可以很好地处理在受控设置下捕获的静态对象的图像，但它无法对不受控图像中的许多普遍存在的真实世界现象进行建模，例如可变照明或瞬态遮挡。我们引入了一系列的扩展NeRF来解决这些问题，从而实现从互联网上获取的非结构化图像集的准确重建。我们应用我们的系统，称为NeRF-W，著名的地标的互联网照片集，并展示时间上一致的新颖的视图渲染，显着更接近照相现实主义比现有的艺术状态。
2021-01-06 cs.CV cs.GR cs.LG
NeRD: Neural Reflectance Decomposition from Image Collections
University of Tübingen（图宾根大学）；Google Research（谷歌研究院）
在计算机视觉和图形学中，将场景分解成其形状、反射率和光照度是一个具有挑战性但重要的问题。当照明不是实验室条件下的单个光源而是不受约束的环境照明时，这个问题本质上更具挑战性。虽然最近的工作已经表明，隐式表示可以用来模拟一个对象的辐射场，这些技术中的大多数只能使视图合成，而不是重新照明。此外，评估这些辐射场是资源和时间密集型的。我们提出了一种神经反射分解（NeRD）技术，使用基于物理的渲染的场景分解成空间变化的BRDF材料属性。与现有技术相比，我们的输入图像可以在不同的照明条件下捕获。此外，我们还提出了技术，将学习到的反射体积转换成一个relightable纹理网格，使快速实时渲染与新的照明。我们证明了所提出的方法的潜力与实验合成和真实的数据集，在那里我们能够获得高品质的relihtable 3D资产的图像集。数据集和代码可在项目页面上获得：https://markboss.me/publication/2021-nerd/
2021-08-26 cs.CV cs.GR cs.LG
On Motion Blur and Deblurring in Visual Place Recognition
School of Electronics and Computer Science, University of Southampton（苏塞克斯大学电子与计算机科学学院）；MyWay srl（MyWay公司）；QUT Centre for Robotics, School of Electrical Engineering and Robotics（昆士兰大学机器人中心，电气工程与机器人学院）；School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）
研究视觉场所识别中运动模糊及去模糊影响，引入新基准评估，含三个数据集。通过多种方法实验，揭示运动模糊影响与去模糊效果，进而提出VPR自适应去模糊策略，为动态现实场景管理运动模糊提供新途径。
2026-07-13 cs.CV eess.IV
Labeled pupils in the wild: A dataset for studying pupil detection in unconstrained environments
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
我们提出了野生标记瞳孔（LPW），这是一个由66个高质量，高速眼区视频组成的新数据集，用于瞳孔检测算法的开发和评估。我们数据集中的视频是使用最先进的暗瞳孔头戴式眼动仪以约95 FPS的速度从22名参与者的日常位置记录的。它们涵盖了不同种族的人，各种日常室内和室外照明环境，以及自然的注视方向分布。该数据集还包括戴眼镜，隐形眼镜以及化妆的参与者。我们在我们的数据集上基准测试了五种最先进的瞳孔检测算法的鲁棒性和准确性。我们进一步研究了图像分辨率，视觉辅助，以及记录位置（室内，室外）对瞳孔检测性能的影响。我们的评估为一般瞳孔检测问题提供了有价值的见解，并使我们能够确定头戴式眼动仪上稳健瞳孔检测的关键挑战。
2015-11-18 cs.CV
Report on UG^2+ Challenge Track 1: Assessing Algorithms to Improve Video Object Detection and Classification from Unconstrained Mobility Platforms
University of Notre Dame（圣母大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们如何有效地设计一个计算机视觉系统，使其能够解释来自无人机等无约束移动平台的视频？一个有希望的选择是利用来自计算摄影领域的图像复原和增强算法，以改进自动视觉识别的方式来改进底层帧的质量。沿着这些思路，需要探索性的工作来找出哪些图像预处理算法，结合最强的特征和监督机器学习方法，是运动模糊，天气和误聚焦等困难场景的良好候选人-所有这些都是无人机获取图像中常见的伪影。本文总结了与IEEE/CVF CVPR 2019联合举办的UG^2+挑战赛第1轨道的协议和结果。该挑战着眼于两个独立的问题：（1）视频中的目标检测改进，以及（2）视频中的对象分类改进。该挑战利用了UG^2（无人机、滑翔机、地面）数据集，这是评估图像复原与增强和视觉识别之间相互作用的既定基准。学术和企业团队提交了16个算法，并详细分析了它们在每个挑战问题上的表现。
2020-11-20 cs.CV
