Language Independent Single Document Image Super-Resolution using CNN for improved recognition
Indian Institute of Science（印度科学院）
文档图像的识别在修复旧的和经典的文本中有重要的应用。这个问题涉及到在将其传递给经过适当训练的OCR以获得文本的准确识别之前的质量改进。图像增强和质量改进构成重要步骤，因为后续识别取决于输入图像的质量。当高分辨率图像不可用时，我们的实验表明OCR准确度随着文档图像的空间分辨率的降低而显着降低。因此，唯一的选择是提高这种文档图像的分辨率。目标是在给定单个低分辨率二值图像的情况下构造高分辨率图像，这构成了单个图像超分辨率的问题。以往的超分辨率研究主要针对自然图像，因为自然图像的信息量远大于文档图像。在这里，我们使用卷积神经网络来学习低分辨率图像和相应的高分辨率图像之间的映射。我们实验不同的层数，参数设置和非线性函数，以建立一个快速的文档图像超分辨率的端到端的框架。我们提出的模型在75 dpi泰米尔语图像上显示出约4 dB的非常好的PSNR改善，导致OCR的字级准确性提高了3%。它比最近的基于稀疏的自然图像超分辨率技术需要更少的时间，使其适用于实时文档识别应用。
2017-01-30 cs.CV
Super-Resolution and Image Re-projection for Iris Recognition
Federal University of Tocantins（托坎廷斯联邦大学）；Halmstad University（哈尔姆斯塔德大学）
最近的几项工作已经解决了深度学习的能力，以揭示丰富的，分层的和歧视性的模型，用于最多样化的目的。具体而言，在超分辨率领域，使用不同深度学习方法的卷积神经网络（CNN）尝试从低分辨率图像恢复真实纹理和细粒度细节。在这项工作中，我们探讨了这些方法的可行性虹膜超分辨率（SR）在虹膜识别环境。为此，我们测试了具有和不具有所谓的图像重投影的不同架构，以减少将其应用于不同虹膜数据库的伪影，以验证不同CNN用于虹膜超分辨率的可行性。结果表明，CNN和图像重投影可以提高结果，特别是对于使用完全不同的训练数据库成功执行迁移学习的识别系统的准确性。
2022-10-20 cs.CV
Iris super-resolution using CNNs: is photo-realism important to iris recognition?
University of Salzburg（萨尔茨堡大学）；Federal University of Tocantins（托坎廷斯联邦大学）；Halmstad University（哈尔姆斯塔德大学）
目前，在虹膜识别中，使用手机和监控视频等采集条件较宽松的低分辨率图像越来越普遍。同时，各种各样的单图像超分辨率技术正在出现，特别是使用卷积神经网络（CNN）。这些方法的主要目标是尝试恢复更精细的纹理细节，基于基本上取决于CNN架构和训练方法的目标函数的优化来生成更逼真的图像。在这项工作中，作者探索使用CNN进行虹膜识别的单个图像超分辨率。为此，他们测试了不同的CNN架构，并使用不同的训练数据库，在1.872近红外虹膜图像数据库和手机图像数据库上验证了他们的方法。他们还使用质量评估，视觉结果和识别实验来验证CNN提供的照片真实感是否可以反映出虹膜识别的更好识别率。结果表明，使用纹理数据库训练的更深层次的架构，在边缘保留和方法的平滑度之间提供平衡，可以在虹膜识别过程中获得良好的结果。
2022-10-24 cs.CV
Privacy-Preserving Human Activity Recognition from Extreme Low Resolution
Indiana University（印第安纳大学）；EgoVid Inc.（EgoVid公司）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Ulsan National Institute of Science and Technology（蔚山科学技术院）
防止偷拍视频的隐私保护是一项重要的社会挑战。我们期望一种计算机视觉系统（例如，机器人），它可以识别人类活动并协助我们的日常生活，但确保它不会录制可能侵犯我们隐私的视频。本文提出了一种解决这些矛盾目标的基本方法：人类活动识别，同时只使用极低分辨率（例如，16x12）匿名视频。我们引入了逆超分辨率（ISR）的范例，即学习图像变换的最佳集合以从单个视频生成多个低分辨率（LR）训练视频的概念。我们的ISR学习针对活动分类优化的不同类型的子像素变换，允许分类器最好地利用现有的高分辨率视频（例如，YouTube视频），为问题量身定制多个LR培训视频。我们通过实验证实，逆超分辨率的范例能够从极低分辨率的视频中受益于活动识别。
2016-12-26 cs.CV
Super-resolution Guided Pore Detection for Fingerprint Recognition
West Virginia University（西弗吉尼亚大学）
指纹识别算法的性能实质上依赖于从指纹中提取的精细特征。除了细节点和脊图案之外，孔隙特征已被证明可用于指纹识别。虽然细节点和脊图案的特征可以从低分辨率图像中获得，但是只有当指纹图像具有高分辨率时，使用毛孔特征才是实际的，这需要一种模型，该模型增强了传统的500微米传统指纹的图像质量，保留了精细的细节。为了从低分辨率指纹中恢复孔隙信息，我们采用了一种基于联合学习的方法，该方法结合了超分辨率和孔隙检测网络。我们修改后的单图像超分辨率生成对抗网络（SRGAN）框架有助于可靠地从低分辨率指纹样本中重建高分辨率指纹样本，帮助毛孔检测网络以高精度识别毛孔。该网络从真实的低分辨率指纹样本中联合学习一个独特的特征表示，并成功地从中合成一个高分辨率样本。为了为所有受试者添加区分信息和独特性，我们将从深度指纹验证器中提取的特征与SRGAN质量识别器相结合。我们还增加了脊重建损失，利用脊模式，以充分利用提取的特征。我们所提出的方法解决了识别问题，通过提高指纹图像的质量。合成样本的高识别精度接近使用原始高分辨率图像实现的精度，验证了我们提出的模型的有效性。
2020-12-10 cs.CV cs.NE
Training Set Effect on Super Resolution for Automated Target Recognition
PeopleTec, Inc.（PeopleTec公司）
单图像超分辨率（SISR）是将低分辨率图像映射到高分辨率图像的过程。这在遥感中作为提高卫星图像空间分辨率的一种方式具有固有的应用。这表明了对图像分类和目标检测中的自动目标识别的可能改进。我们使用超分辨率生成对抗网络（SRGAN）来探索不同训练集对SISR的影响。我们在不同的土地利用类别（例如农业，城市，港口）上训练训练5个SRGAN，并在相同的未见过的数据集上测试它们。我们试图找到定性和定量的差异SISR，二进制分类，和目标检测性能。我们发现，在测试本体中包含对象的策划训练集在两个计算机视觉任务上都表现得更好，而具有复杂的图像分布允许目标检测模型表现得更好。然而，超分辨率（SR）可能对某些问题没有好处，并且对于更接近解决的数据集，其回报量将逐渐减少。
2020-02-07 cs.CV
Robust Emotion Recognition from Low Quality and Low Bit Rate Video: A Deep Learning Approach
Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）；Texas A&M University（德克萨斯A&M大学）；University of Missouri, Kansas City（密苏里大学堪萨斯城分校）；Snap Inc（Snap公司）；University of Washington（华盛顿大学）
从面部表情进行情感识别非常有用，特别是在与智能设备和无线多媒体应用相结合时。然而，网络带宽不足往往限制了传输视频的空间分辨率，这将严重降低识别的可靠性。我们开发了一个新的框架，以实现鲁棒的情感识别低比特率的视频。虽然视频帧在编码器侧被下采样，但解码器嵌入了深度网络模型，用于联合超分辨率（SR）和识别。值得注意的是，我们提出了一种新的最大混合训练策略，导致一个单一的“一对所有”模型，是非常强大的范围广泛的下采样因素。这使得我们的框架能够很好地适应实际传输场景中的不同带宽，而不会影响可扩展性或效率。在AVEC 2016基准上对所提出的框架进行了评估，并证明了与直接从LR帧识别或分离SR和识别相比，独立识别性能以及率失真（R-D）性能的显着改进。
2017-09-10 cs.AI cs.CV cs.LG
Deep multi-frame face super-resolution
近年来，人脸验证和识别问题取得了快速的进展，然而，从小尺寸图像中识别仍然是一项具有挑战性的任务，该任务与人脸超分辨率的任务内在地交织在一起。使用多帧来解决这个问题是一个有吸引力的想法，但需要解决对齐问题，这对于低分辨率的人脸来说也是一个挑战。在这里，我们提出了一个整体系统的多帧识别，对齐和超分辨率的面孔。我们的神经网络架构恢复每个输入序列的中心帧，另外考虑到相邻帧的数量，并利用亚像素运动。我们使用流行的视频人脸识别数据集（YouTube Faces）来展示我们的结果。与包括基于单图像超分辨率的基线相比，我们显示出识别分数的显著改善。
2017-10-15 cs.CV
One-stage Low-resolution Text Recognition with High-resolution Knowledge Transfer
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Shenzhen University（深圳大学）；Peng Cheng Laboratory（鹏城实验室）；Harbin Institute of Technology（哈尔滨工业大学）
本文提出一种基于高分辨率知识迁移的单阶段低分辨率文本识别框架，通过视觉焦点损失、语义对比损失和软logits损失实现多层级知识蒸馏，在效果、效率和鲁棒性上优于两阶段超分辨率方法。
2023-08-05 cs.CV
Exploring Deep Learning Image Super-Resolution for Iris Recognition
University of Salzburg（萨尔茨堡大学）；Federal University of Tocantins（托坎廷斯联邦大学）；Halmstad University（哈尔姆斯塔德大学）；University of Malta（马耳他大学）
本文研究利用轻量级堆叠自编码器和卷积神经网络实现虹膜图像超分辨率，在1,872幅近红外虹膜图像上验证了其相比传统算法在质量和识别性能上的优势。
2023-11-02 cs.CV eess.IV
Scene Text Image Super-Resolution in the Wild
The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；Nanjing University（南京大学）；The University of Adelaide（阿德莱德大学）；Huazhong University of Science and Technology（华中科技大学）
低分辨率的文本图像经常出现在自然场景中，例如手机拍摄的文档。识别低分辨率的文本图像具有挑战性，因为它们丢失了详细的内容信息，导致识别准确性差。一种直观的解决方案是引入超分辨率（SR）技术作为预处理。然而，以前的单图像超分辨率（SISR）方法是在合成的低分辨率图像（例如双三次下采样）上训练的，这是简单的，不适合真正的低分辨率文本识别。为此，我们提出了一个真实场景的文本SR数据集，称为TextZoom。它包含成对的真实低分辨率和高分辨率图像，这些图像是由野外不同焦距的相机捕获的。它比合成数据更真实，更具挑战性，如图1所示。我们认为提高识别精度是场景文本SR的最终目标。为此，开发了一种新的文本超分辨率网络TSRN，它包括三个新的模块。(1)提出了一种利用序列残差块提取文本图像序列信息的方法。(2)边界感知损失旨在锐化字符边界。(3)提出了一个中心对齐模块来解决TextZoom中的对齐问题。在TextZoom上的大量实验表明，与合成SR数据相比，我们的TSRN大大提高了CRNN的识别准确率超过13%，ASTER和MORAN的识别准确率接近9.0%。此外，我们的TSRN在提高TextZoom中LR图像的识别准确性方面明显优于7种最先进的SR方法。例如，它优于LapSRN的ASTER和CRNN的识别精度分别超过5%和8%。我们的研究结果表明，低分辨率文本识别在野外远未得到解决，因此需要更多的研…
2020-08-02 cs.CV
Beyond Image Super-Resolution for Image Recognition with Task-Driven Perceptual Loss
Dept. of ECE&ASRI（电气与电子工程系及先进科学技术研究院）；IPAI, Seoul National University（首尔大学 IPAI 研究院）
本文提出SR4IR框架，利用任务驱动感知损失、跨质量图像块混合和交替训练，使超分辨率图像更有利于语义分割、目标检测和分类等识别任务。
2024-04-04 cs.CV
An Empirical Study of Super-resolution on Low-resolution Micro-expression Recognition
Macau University of Science and Technology（澳门科技大学）；Southeast University（东南大学）；Nanjing Institute of Technology（南京工程学院）；Jiangsu University（江苏大学）；University of Oulu（奥卢大学）
本文通过基准实验系统评估了13种超分辨率技术与7种微表情识别方法的组合，揭示了低分辨率微表情识别的主要挑战，并为提升超分辨率辅助识别效率提供了实证见解。
2023-10-16 cs.CV
Studying Satellite Image Quality Based on the Fusion Techniques
Yeshwant Mahavidyala College（耶什万特·马哈维迪亚拉学院）
可以使用各种不同的方法从高分辨率全色图像（PAN）和低分辨率多光谱图像（MS）产生高分辨率多光谱图像，主要是在像素级上。然而，与原始图像相比，融合图像的好处仍然没有定论。也缺乏用于评估融合方法的空间分辨率的客观质量的措施。因此，需要对融合图像的空间分辨率进行客观的评价。因此，本研究试图发展一种新的定性评价方法，通过多种空间质量指标来评价泛锐化图像的空间质量。本文还对基于像素和特征融合的各种图像融合技术进行了比较。
2011-10-22 cs.CV
HAT Super-Resolution and a PARSeq+CLIP4STR Voting Ensemble for Extreme In-the-Wild License Plate Recognition
介绍用于极端野外车牌识别的参赛系统，结合HAT超分辨率前端、两个场景文本识别器及投票方案，将XLPSR视为图像清晰度控制的识别任务，运行速度快，在ICIP 2026挑战公开验证排行榜获9.73 wECR。
2026-07-13 cs.CV
FANVIDv2: Evaluating Video Super-Resolution by Face and Licence-Plate Recognition Under Compound Degradation
Indian Institute of Technology Bombay（印度理工学院孟买分校）
FANVIDv2基准通过人脸和车牌识别指标评估视频超分辨率，采用复合退化生成低分辨率视频，实验表明RCDM基线显著提升识别性能。
2026-10-01 cs.CV
Text Prior Guided Scene Text Image Super-resolution
The Hong Kong Polytechnic University（香港理工大学）
场景文本图像超分辨率（STISR）旨在提高低分辨率场景文本图像的分辨率和视觉质量，从而提高文本识别的性能。然而，现有的STISR方法大多将文本图像视为自然场景图像，忽略了文本的类别信息。在本文中，我们做了一个鼓舞人心的尝试，将分类文本先验嵌入STISR模型训练。具体地说，我们采用字符概率序列作为文本先验，它可以方便地从文本识别模型中获得。文本先验提供分类指导以恢复高分辨率（HR）文本图像。另一方面，重建的HR图像可以反过来细化文本先验。最后，我们提出了一个多阶段的文本先验引导超分辨率（TPGSR）框架STISR。在TextZoom基准数据集上的实验表明，TPGSR不仅能有效提高场景文本图像的视觉质量，而且与现有的STISR方法相比，文本识别的准确率也有显著提高。我们在TextZoom上训练的模型也对其他数据集中的LR图像表现出一定的泛化能力。
2021-06-30 cs.CV
Continuous Sign Language Recognition via Temporal Super-Resolution Network
Harbin Engineering University（哈尔滨工程大学）
针对基于深度学习的时空分层连续手语识别模型计算量大，限制了模型实时应用的问题，提出了一种时态超分辨率网络（TSRNet）。数据被重建成一个密集的特征序列，以减少整体模型的计算，同时保持最终的识别精度损失最小。基于TSRNet的连续手语识别模型主要由帧级特征提取、时间序列特征提取和TSRNet三部分组成，其中TSRNet介于帧级特征提取和时间序列特征提取之间，主要包括细节描述子和粗糙描述子两个分支。通过两个设计分支得到的特征融合稀疏帧级特征作为重构的密集帧级特征序列，在时间序列特征提取部分之后，利用连通时间分类（CTC）损失进行训练和优化。为了更好地恢复语义级信息，采用本文提出的自生成对抗训练方法对整个模型进行训练，以降低模型的出错率。该训练方法以TSRNet为生成器，以帧级处理部分和时域处理部分为训练器。此外，为了统一不同基准下的模型精度损失评估标准，本文提出了词出错率偏差（WERD），将重建帧级特征序列和完整原始帧级特征序列得到的估计词出错率（WER）与参考词之间的出错率作为WERD。在两个大规模手语数据集上的实验证明了该模型的有效性。
2022-07-03 cs.CV
C3-STISR: Scene Text Image Super-resolution with Triple Clues
Fudan University（复旦大学）；ByteDance（字节跳动）
场景文本图像超分辨率（STISR）是从低分辨率场景文本图像中进行文本识别的重要预处理任务。最新的方法使用识别器的反馈作为线索来指导超分辨率。然而，直接使用识别线索有两个问题：1）兼容性。它是概率分布的形式，与像素级任务STISR有明显的模态差距; 2）不准确性。它通常包含错误的信息，从而会误导主任务并降低超分辨率性能。在本文中，我们提出了一种新的方法C3-STISR，联合利用识别器的反馈，视觉和语言信息作为线索，指导超分辨率。其中，视觉线索来自识别器预测的文本图像，信息量大，与STISR任务兼容性强;而语言线索由预先训练好的字符级语言模型生成，能够对预测文本进行修正。我们设计了有效的三重交叉模态线索提取和融合机制，为超分辨率提供全面统一的指导。在TextZoom上进行的大量实验表明，C3-STISR方法在保真度和识别性能上优于SOTA方法。代码可在https://github.com/zhaominyiz/C3-STISR上找到。
2022-04-29 cs.CV
Scene Text Image Super-Resolution via Content Perceptual Loss and Criss-Cross Transformer Blocks
文本图像的超分辨率是提高文本图像可读性的一项独特而重要的任务。它被广泛应用于场景文本识别的预处理。然而，由于自然场景的复杂退化，从低分辨率输入中恢复高分辨率文本是模糊和具有挑战性的。现有的方法主要利用深度神经网络，这些神经网络经过针对自然图像重建而设计的像素级损失训练，忽略了文本的独特字符特征。一些作品提出了基于内容的损失。然而，他们只关注文本识别器的准确性，而重建的图像可能仍然是模糊的人类。此外，它们在处理跨语言时通常具有较弱的通用性。为此，我们提出了TATSR，一个文本感知的文本超分辨率框架，它有效地学习独特的文本特征，使用交叉Transformer块（CCTBs）和一种新的内容感知（CP）损失。CCTB通过两个正交Transformers分别从文本图像中提取垂直和水平内容信息。CP Loss通过多尺度文本识别特征来监督文本内容语义重构，有效地将内容感知融入框架。在各种语言数据集上进行的大量实验表明，TATSR在识别精度和人类感知方面都优于最先进的方法。
2022-10-13 cs.CV
Benchmarking Probabilistic Deep Learning Methods for License Plate Recognition
Univ. of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
用于自动车牌识别的基于学习的算法隐含地假设训练数据和测试数据是良好对齐的。然而，在极端环境条件下，或者在无法针对特定采集设备训练系统的法医应用中，情况可能并非如此。对这种分布外图像的预测失败的可能性增加。但是这种故障情况对于人类操作员或自动化系统来说通常很难识别。因此，在这项工作中，我们提出了明确的车牌识别的预测不确定性建模。这种不确定性度量允许检测错误预测，指示分析人员何时不信任自动车牌识别的结果。在本文中，我们比较了两种架构上的三种不确定性量化方法。对合成噪声或模糊低分辨率图像的实验表明，预测不确定性可靠地发现错误的预测。我们还表明，分类和超分辨率的多任务组合将识别性能提高了109%，错误预测的检测提高了29%。
2023-02-02 cs.CV
Face Hallucination using Linear Models of Coupled Sparse Support
University of Malta（马耳他大学）；Institut National de Recherche en Informatique et en Automatique（法国国家信息与自动化研究所）
大多数人脸超分辨率方法假设低分辨率流形和高分辨率流形具有相似的局部几何结构，因此在低分辨率流形上学习局部模型（例如稀疏或局部线性嵌入模型），然后将其应用于高分辨率流形。然而，低分辨率流形被低分辨率和高分辨率补丁之间的一对多关系所扭曲。本文提出了一种基于高分辨率流形而不是低分辨率流形上的局部几何结构学习线性模型的方法。为此，在第一步骤中，使用低分辨率块来导出高分辨率块的全局最优估计。近似的解决方案被证明是接近在欧几里得空间的地面真相，但通常是光滑的，缺乏纹理的细节所需要的国家的最先进的人脸识别器。第一次估计使我们能够使用稀疏编码（SC）找到高分辨率流形的支持，然后使用稀疏编码（SC）作为支持，用于使用多元岭回归（MRR）学习低分辨率和高分辨率流形之间的局部投影（或放大）模型。实验结果表明，该方法在识别率和图像质量方面均优于六种人脸超分辨率方法。这些结果还表明，识别和质量受到用于将所有超分辨率补丁拼接在一起的方法的显著影响，其中发现绗缝可以更好地保留纹理细节，这有助于实现更高的识别率。
2015-12-18 cs.CV
A Text Attention Network for Spatial Deformation Robust Scene Text Image Super-resolution
The Hong Kong Polytechnic University（香港理工大学）；OPPO Research（OPPO研究院）
场景文本图像超分辨率的目的是提高低分辨率图像中文本的分辨率和可读性。虽然深度卷积神经网络（CNN）已经取得了显着的改善，它仍然很难重建高分辨率的图像空间变形的文本，特别是旋转和曲线形状的。这是因为当前基于CNN的方法采用基于局部的操作，这对于处理由变形引起的变化是无效的。在本文中，我们提出了一个基于CNN的文本注意网络（TATT）来解决这个问题。首先通过文本识别模块提取文本的语义作为文本的先验信息。然后，我们设计了一个新的基于transformer的模块，它利用全局注意力机制，发挥文本的语义指导之前的文本重建过程。此外，我们提出了一个文本结构的一致性损失，以改善的视觉外观，通过施加结构的一致性重建的规则和变形的文本。在TextZoom基准数据集上的实验表明，该算法不仅在PSNR/SSIM指标上达到了最佳性能，而且在后续文本识别任务中显著提高了识别精度，尤其是对于多方向和弯曲形状的文本实例。代码可在https://github.com/mjq11302010044/TATT上获得。
2022-03-18 cs.CV
Studying the Effects of Self-Attention on SAR Automatic Target Recognition
University of Southern California（南加州大学）；DEVCOM Army Research Office（DEVCOM陆军研究办公室）
本文研究自注意力机制对SAR自动目标识别的影响，证明注意力模块能聚焦车辆阴影等关键特征，在MSTAR数据集上提升top-1准确率、输入鲁棒性和可解释性。
2024-08-31 cs.CV cs.LG
VSRo-200: A Romanian Visual Speech Recognition Dataset for Studying Supervision and Multimodal Robustness
University of Bucharest（布加勒斯特大学）
本文介绍罗马尼亚语视觉语音识别数据集VSRo-200，通过伪标签和人工转录注释样本，建立低资源视觉语音识别基准。研究监督质量影响，评估域转移鲁棒性及噪声下视听语音识别，证明其表示可转移至其他基准，为相关研究提供新测试平台。
2026-07-10 cs.CV
Low-Resolution Face Recognition via Adaptable Instance-Relation Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文提出自适应实例-关系蒸馏方法，将知识迁移拆分为蒸馏与自适应两步，在实例和关系层面从高分辨率教师模型迁移知识，并结合推理时自适应批归一化提升低分辨率人脸识别的适应性与性能。
2024-09-03 cs.AI cs.CV cs.LG
Low-Resolution Object Recognition with Cross-Resolution Relational Contrastive Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Baidu Inc.（百度公司）；School of Cyber Security at University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Department of Communication Engineering, Shanghai University（上海大学通信工程系）
针对低分辨率图像细节不足及训练测试表示差异问题，提出跨分辨率关系对比蒸馏，利用对比关系损失迁移高分辨率教师知识，提升低分辨率目标分类与人脸识别效果。
2024-09-04 cs.AI cs.CV cs.LG
Synthesis-based Robust Low Resolution Face Recognition
University of Maryland（马里兰大学）
低分辨率人脸图像的识别在许多实际人脸识别系统中是一个具有挑战性的问题。在人脸识别文献中已经提出了用于该问题的方法，该方法假设探针是低分辨率的，但是高分辨率图库可用于识别。这些尝试旨在修改探头图像，使得所得图像提供更好的辨别。我们制定不同的问题，利用高分辨率图库图像中的信息，并提出了一种字典学习方法对低分辨率探测图像进行分类。我们的算法的一个重要特点是，它可以处理分辨率的变化，随着光照的变化。此外，我们还核化的算法来处理数据中的非线性，并提出了一个联合字典学习技术，在低分辨率下的鲁棒识别。使用标准数据集和具有挑战性的室外人脸数据集证明了所提出的方法的有效性。结果表明，我们的方法是有效的，可以执行显着优于许多有竞争力的低分辨率人脸识别算法。
2017-07-10 cs.CV
Homogeneous Low-Resolution Face Recognition Method based Correlation Features
Yanching Institute of Technology（燕京理工学院）
人脸识别技术已被广泛应用于身份识别、门禁控制、移动终端接入等关键任务场景，安防监控是人脸识别技术的典型应用场景。由于监控视频和图像的低分辨率特点，使得高分辨率人脸识别算法难以提取有效的特征信息，应用于高分辨率人脸识别的算法难以直接迁移到低分辨率场合。随着安全监控中的人脸识别在密集城市化时代变得越来越重要，开发能够在处理低分辨率监控摄像机生成的视频帧时提供令人满意的性能的算法至关重要。本文研究了基于相关系数的人脸识别方法（CoFFaR），该方法适用于均匀低分辨率的监控视频，详细阐述了其原理、实验细节和实验结果。实验结果验证了相关特征方法在监控安防场景中提高同质人脸识别准确率的有效性。
2021-11-25 cs.CV
Susceptibility to Image Resolution in Face Recognition and Trainings Strategies
Technical University（工业大学）
人脸识别方法通常依赖于相等的图像分辨率来验证两张图像上的人脸。然而，在实际应用中，由于不同的图像捕获机制或来源，这些图像分辨率通常不在同一范围内。在这项工作中，我们首先分析了图像分辨率对人脸验证性能的影响与国家的最先进的人脸识别模型。对于综合降低到$5\,\times\,5$ px分辨率的图像，验证性能从$99.23\%$逐渐下降到几乎$55\%$。特别是对于交叉分辨率图像对（一个高分辨率图像和一个低分辨率图像），验证精度甚至进一步降低。我们通过查看每个2图像测试对的特征距离来更深入地研究这种行为。为了解决这个问题，我们提出了以下两种方法：1）训练一个国家的最先进的人脸识别模型直接与$50\%$低分辨率图像直接在每一批。2)训练连体网络结构，并在高分辨率和低分辨率特征之间添加余弦距离特征损失。这两种方法都显示出对交叉分辨率场景的改进，并且可以在非常低的分辨率下将精度提高到大约$70\%$。然而，缺点是需要为每个分辨率对训练特定的模型。因此，我们通过一次用多个图像分辨率训练它们来扩展上述方法。特定测试图像分辨率的性能稍差，但优点是该模型可应用于任意分辨率图像，并实现总体更好的性能（$97.72\%$与$96.86\%$相比）。由于缺乏交叉分辨率和等分辨率任务的任意分辨率图像的基准，我们提出了一个针对五个知名数据集的评估协议，重点是高，中，低分辨率图像。
2022-11-25 cs.CV cs.LG
Attribute-Guided Coupled GAN for Cross-Resolution Face Recognition
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一种新的属性引导的交叉分辨率（低分辨率到高分辨率）的人脸识别框架，利用耦合生成对抗网络（GAN）结构与对抗训练，以找到隐藏的低分辨率和高分辨率图像之间的关系在潜在的共同嵌入子空间。耦合GAN框架由两个子网组成，一个专用于低分辨率域，另一个专用于高分辨率域。每个子网络的目标是找到一个投影，最大化两个特征域之间的成对相关性在一个共同的嵌入子空间。除了将图像投影到一个公共的子空间，耦合网络还预测人脸属性，以提高跨分辨率人脸识别。具体来说，我们提出的耦合框架利用面部属性，通过在训练过程中隐式地匹配低分辨率和高分辨率图像的面部属性，进一步最大化成对相关性，这导致更具鉴别力的嵌入子空间，从而提高跨分辨率人脸识别的性能。使用LFWA，Celeb-A，SCFace和UCCS数据集证明了我们的方法与最先进的方法相比的有效性。
2019-08-05 cs.CV cs.LG eess.IV
Analysis and evaluation of Deep Learning based Super-Resolution algorithms to improve performance in Low-Resolution Face Recognition
USP（圣保罗大学）
监控场景很容易出现几个问题，因为它们通常涉及低分辨率的镜头，并且首先无法控制拍摄对象与摄像机的距离。这种情况适合于上采样（超分辨率）算法的应用，因为它们能够恢复所涉及的对象的判别属性。虽然一般的超分辨率方法被提出来增强图像质量以用于人类水平的感知，但是生物识别超分辨率方法寻求图像的最佳“计算机感知”版本，因为它们的重点是提高自动识别性能。一般来说，卷积神经网络和深度学习算法已被应用于计算机视觉任务，并且现在是几个子领域的最新技术，包括图像分类，恢复和超分辨率。然而，没有工作已经评估了最新提出的超分辨率方法可能对低分辨率“野外”数据的准确性和人脸验证性能的影响。该项目旨在评估和调整不同的深度神经网络架构，以执行由真实世界低分辨率图像中的人脸识别性能驱动的人脸超分辨率任务。在真实世界的监控和考勤数据集上的实验结果表明，一般的超分辨率架构可以增强在高分辨率人脸上训练的深度神经网络的人脸验证性能。此外，由于神经网络是函数逼近器，并且可以基于特定的目标函数进行训练，因此使用针对特征提取优化的定制损失函数显示出在低分辨率面部图像中恢复鉴别特征的有希望的结果。
2021-01-19 cs.AI cs.CV
Dynamic Resolution Guidance for Facial Expression Recognition
University of Electronic Science and Technology of China（电子科技大学）
针对低分辨率面部表情识别难题，提出包含分辨率识别网络与多分辨率自适应识别网络的DRGFER框架，可按分辨率适配识别模型，在RAFDB、FERPlus上性能优于现有方法，具实际应用价值。
2024-08-19 cs.CV cs.MM
Distilling Generative-Discriminative Representations for Very Low-Resolution Face Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文提出生成-判别表示蒸馏方法，通过扩散模型编码器和人脸识别器分别蒸馏学生骨干与头部网络，将通用表示转化为判别表示，从而提升极低分辨率人脸识别准确率。
2024-09-10 cs.AI cs.CV cs.MM
Improving Performance of Object Detection using the Mechanisms of Visual Recognition in Humans
The Berkeley Institute for Data Science（伯克利数据科学研究所）
物体识别系统通常在高分辨率图像上进行训练和评估。然而，在现实世界的应用中，图像通常具有低分辨率或具有小尺寸。在这项研究中，我们首先跟踪最先进的深度对象识别网络Faster- RCNN的性能，作为图像分辨率的函数。结果表明，低分辨率图像对识别性能的负面影响。不同的空间频率在识别过程中传达了不同的信息。这意味着多分辨率识别系统可以更好地了解特征的最佳选择，从而更好地识别物体。这类似于人类视觉系统的机制，能够同时实现视觉场景的多尺度表示。然后，我们提出了一个多分辨率的对象识别框架，而不是一个单一的分辨率网络。该框架在PASCAL VOC 2007数据库上进行了评估。实验结果表明，我们的自适应多分辨率Faster-RCNN框架在各种分辨率的输入图像上的性能优于单分辨率Faster-RCNN，所有分辨率的平均精度（mAP）增加了9.14%，全光谱图像增加了1.2%。此外，所提出的模型在很宽的空间频率范围内产生的性能的鲁棒性。
2023-03-14 cs.CV
Low Resolution Face Recognition Using a Two-Branch Deep Convolutional Neural Network Architecture
提出了一种基于深度卷积神经网络（DCNN）的低分辨率人脸识别的耦合映射方法。所提出的架构由两个分支的DCNN映射到一个共同的空间与非线性变换的高，低分辨率的人脸图像。对应于高分辨率图像的变换的分支由14层组成，并且将低分辨率面部图像映射到公共空间的另一分支包括连接到14层网络的5层超分辨率网络。将对应的高分辨率图像和低分辨率图像的特征之间的距离反向传播以训练网络。我们所提出的方法进行评估FERET数据集，并与国家的最先进的竞争方法进行比较。我们广泛的实验结果表明，该方法显着提高识别性能，特别是对非常低的分辨率探头人脸图像（11.4%的识别精度提高）。此外，它可以从其相应的低分辨率探头图像重建高分辨率图像，这是与国家的最先进的超分辨率方法在视觉质量方面。
2017-06-20 cs.CV
Cross-Age LFW: A Database for Studying Cross-Age Face Recognition in Unconstrained Environments
Beijing University of Posts and Telecommunications（北京邮电大学）
Labeled Faces in the Wild（LFW）数据库已被广泛用作无约束人脸验证的基准，并且由于大数据驱动的机器学习方法，在数据库上的性能接近100%。然而，我们认为，这种准确性可能过于乐观，因为一些限制因素。除了不同的姿态、光照、遮挡和表情，跨年龄人脸是人脸识别的另一个挑战。同一个人的不同年龄会导致类内差异很大，在真实世界的人脸验证中，老化过程是不可避免的。然而，LFW对此并没有太多关注，因此我们构建了一个跨年龄LFW（CALFW），该算法故意搜索并选择3，000个具有年龄差距的积极面孔对来添加衰老过程的类内方差。该方法还选择了同性别、同种族的阴性对，减少了阳性/阴性对属性差异的影响，实现了人脸验证而非属性分类。我们在新数据库上评估了几种度量学习和深度学习方法。与LFW相比，CALFW的精度下降了10%-17%。
2017-08-28 cs.CV cs.DB
Semi-Coupled Two-Stream Fusion ConvNets for Action Recognition at Extremely Low Resolutions
Boston University（波士顿大学）
深度卷积神经网络（ConvNets）最近被证明在标准分辨率视频的动作识别方面具有最先进的性能。然而，很少关注极低分辨率（eLR）下的识别性能（例如，16 x 12像素）。使用eLR相机的可靠动作识别将解决各种应用环境中的隐私问题，如私人住宅，医院，护理/康复设施等。在本文中，我们提出了一个半耦合滤波器共享网络，利用高分辨率（HR）视频在训练过程中，以协助eLR ConvNet。我们还研究了融合为eLR视频定制的空间和时间ConvNets的方法，以利用外观和运动信息。我们的方法在IXMAS（93.7%）和HMDB（29.2%）数据集上的极低分辨率下优于最先进的方法。
2018-10-05 cs.CV
Effect of Super Resolution on High Dimensional Features for Unsupervised Face Recognition in the Wild
University of Bridgeport（布里奇波特大学）
大多数人脸识别算法使用从不受控制的野外环境中捕获的查询人脸。通常由相机有限的能力引起，这些捕获的面部图像通常是模糊的或低分辨率的。因此，超分辨率算法在提高这样的图像的分辨率方面是至关重要的，特别是当图像尺寸小而需要放大时。本文旨在展示图像超分辨率领域的一种最先进的算法的效果。为了演示该算法的功能，使用来自野生标记面部（lfw）的图像提供了各种3D面部对齐之前和之后的情况。所得到的图像进行测试的闭集人脸识别协议，使用无监督算法与高维提取的功能。包括超分辨率算法导致显着提高识别率比最近报道的结果从无监督算法。
2017-05-13 cs.CV
Trade-off Between Spatial and Angular Resolution in Facial Recognition
Brandon University（布兰登大学）；University of Quebec at Trois Rivieres（魁北克大学三河分校）；Istanbul Medipol University（伊斯坦布尔梅迪波尔大学）
本文研究了光场人脸识别中空间与角度分辨率的基本权衡，通过在保持图像尺寸的前提下使用不同角度分辨率的宏像素，发现在一定程度上提高角度分辨率可显著提升识别性能。
2024-02-11 cs.CV
AR-Net: Adaptive Frame Resolution for Efficient Action Recognition
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）；Boston University（波士顿大学）
动作识别是计算机视觉中一个开放的、具有挑战性的问题。虽然目前最先进的模型提供了出色的识别结果，但其计算费用限制了其对许多现实应用的影响。在本文中，我们提出了一种新的方法，称为AR-Net（自适应分辨率网络），该方法根据输入为每个帧选择最佳分辨率，以便在长的未修剪视频中进行有效的动作识别。具体而言，给定视频帧，使用策略网络来决定动作识别模型应该使用什么样的输入分辨率进行处理，目标是提高准确性和效率。我们有效地训练的政策网络与识别模型，使用标准的反向传播。在几个具有挑战性的动作识别基准数据集上进行的大量实验很好地证明了我们所提出的方法优于最先进方法的有效性。该项目的页面可以在https://mengyuest.github.io/AR-Net上找到
2020-07-31 cs.CV
Recognition-Guided Diffusion Model for Scene Text Image Super-Resolution
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）
针对严重模糊图像生成能力不足的问题，提出识别引导扩散模型RGDiffSR，通过识别引导去噪网络提供语义指导，在TextZoom数据集上显著提升了文本识别准确率与图像保真度。
2023-11-22 cs.CV
Feature Super-Resolution Based Facial Expression Recognition for Multi-scale Low-Resolution Faces
Xi’an Jiaotong University（西安交通大学）；Coventry University（考文垂大学）
低分辨率图像上的面部表情识别（FER）对于人群场景（车站、教室等）中的群体表情识别等应用是必要的。将小尺寸的面部图像分类到正确的表情类别仍然是一项具有挑战性的任务。这个问题的主要原因是由于分辨率降低而导致的鉴别特征的损失。超分辨率方法常用于低分辨率图像的增强，但对极低分辨率图像的增强效果有限。在这项工作中，受特征超分辨率方法用于目标检测的启发，我们提出了一种新的基于生成对手网络的特征级超分辨率方法用于鲁棒面部表情识别（FSR-FER）。特别地，采用预训练的FER模型作为特征提取器，并且利用从低分辨率和原始高分辨率的图像中提取的特征来训练生成器网络G和递归网络D。生成器网络G试图通过使低分辨率图像的特征更接近对应的高分辨率图像的特征来将低分辨率图像的特征转换为更具鉴别力的特征。为了获得更好的分类性能，我们还提出了一种基于固定FER模型计算的分类概率的有效分类感知损失重加权策略，使我们的模型更专注于容易被错误分类的样本。在真实世界情感人脸数据库上的实验结果表明，该方法在单一模型下对各种下采样因子都能取得满意的效果，并且在低分辨率图像上的识别性能优于分别使用图像超分辨率和表情识别的方法。
2020-04-05 cs.CV
MagnifyMe: Aiding Cross Resolution Face Recognition via Identity Aware Synthesis
IIIT-Delhi（德里印度理工学院）
通过超分辨率或图像合成来增强低分辨率图像以进行跨分辨率人脸识别已经得到了很好的研究。已经探索了若干图像处理和机器学习范例来解决该问题。在这项研究中，我们提出了通过深度稀疏表示合成算法，用于从低分辨率输入图像合成高分辨率人脸图像。该算法学习高分辨率和低分辨率图库图像的多级稀疏表示，以及身份感知字典和两种表示之间的转换函数，用于人脸识别场景。以低分辨率的测试数据作为输入，使用身份感知字典和变换合成高分辨率的测试图像，然后将其用于人脸识别。所提出的SDSR算法的性能进行了评估四个数据库，包括一个真实世界的数据集。实验结果和现有的七种算法的比较表明，该算法的人脸识别和图像质量的措施方面的有效性。
2018-02-22 cs.CV
An Enhanced Low-Resolution Image Recognition Method for Traffic Environments
针对交通场景低分辨率图像识别难题，本文提出融合特征子空间、中间层特征与知识蒸馏的双分支残差网络，提升识别精度并降低计算开销。
2023-09-28 cs.CV cs.RO eess.IV
BCFPL: Binary classification ConvNet based Fast Parking space recognition with Low resolution image
Tianjin University（天津大学）
本文提出了一种轻量化二分类卷积神经网络 BCFPL，通过使用低分辨率图像进行停车位识别，在保护隐私的同时实现了与主流方法相当的准确率，并具备低硬件要求和快速识别速度。
2024-04-22 cs.AI cs.CV
Boosting Optical Character Recognition: A Super-Resolution Approach
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）
文本图像的超分辨率是计算机视觉领域一个具有挑战性的研究课题。特别地，低分辨率图像妨碍典型的光学字符识别（OCR）系统的性能。在这篇文章中，我们总结了ICDAR 2015年文本图像超分辨率竞赛的参赛作品。实验基于所提供的ICDAR 2015 TextSR数据集和已发布的Tesseract-OCR 3.02系统。我们报告说，我们获奖的文本图像超分辨率框架大大提高了低分辨率图像作为输入的OCR性能，达到了77.19%的OCR准确率，与使用原始高分辨率图像的78.80%相当。
2015-06-07 cs.CV
FH-GAN: Face Hallucination and Recognition using Generative Adversarial Network
Shanghai Jiao Tong University（上海交通大学）
影响视觉人脸识别的因素很多，如低分辨率图像、年龄、光照和姿态变化等，其中最重要的问题之一就是低分辨率的人脸图像，这会导致人脸识别的性能下降。大多数通用的人脸识别算法通常假设人脸图像具有足够的分辨率。然而，在实践中，许多应用往往没有足够的图像分辨率。现代人脸超分辨率模型表现出合理的性能，从其相应的低分辨率图像重建高分辨率图像。然而，他们不考虑身份级别的信息，在幻觉，直接影响低分辨率的人脸识别的结果。为了解决这个问题，我们提出了一个人脸幻觉生成对抗网络（FH-GAN），它提高了低分辨率人脸图像的质量，并准确地识别这些低质量的图像。具体来说，我们做了以下贡献：1）我们提出了FH-GAN网络，一个端到端的系统，同时提高了人脸幻觉和人脸识别。该网络的新颖性取决于通过结合用于身份保护的面部识别网络将身份信息并入基于GAN的面部超分辨率算法中。2)我们还提出了一种新的人脸幻觉网络，即密集稀疏网络（DSNet），它改进了最先进的人脸幻觉。3)我们通过报告对人脸幻觉和识别的良好结果，展示了联合训练人脸识别和基于GAN的DSNet的好处。
2019-05-16 cs.CV
Extreme Low Resolution Activity Recognition with Multi-Siamese Embedding Learning
EgoVid Inc.（EgoVid公司）；Indiana University（印第安纳大学）；Ulsan National Institute of Science and Technology（蔚山科学技术院）
本文提出了一种从极低分辨率（例如，16x12）视频。极低分辨率识别不仅是分析远距离动作所必需的，而且对于实现对人类活动的隐私保护识别至关重要。我们设计了一个新的双流多连体卷积神经网络。这个想法是明确地捕捉低分辨率（LR）视频的固有属性，即来自完全相同场景的两个图像通常具有完全不同的像素值，这取决于它们的LR变换。我们的方法学习了共享的嵌入空间，该空间将具有相同内容的LR视频映射到相同的位置，而不管它们的变换如何。我们通过实验证实，我们的方法联合学习这种变换鲁棒LR视频表示和分类器在两个公共标准数据集上的性能优于以前最先进的低分辨率识别方法。
2018-02-04 cs.CV
FAN: Feature Adaptation Network for Surveillance Face Recognition and Normalization
Michigan State University（密歇根州立大学）；Youtu Lab, Tencent（腾讯优图实验室）
本文研究了监控图像中的人脸识别和归一化问题。侦查是一个具有挑战性的问题，在执法中具有重要的价值。尽管最近的进展，在传统的FR，较少的努力一直致力于监督FR。为了弥合这一差距，我们提出了一个功能自适应网络（FAN），共同执行监督FR和规范化。我们的人脸归一化主要作用于图像分辨率方面，与人脸超分辨率密切相关。然而，以前的人脸超分辨率方法需要具有像素到像素对应关系的成对训练数据，这通常在现实世界的低分辨率和高分辨率人脸之间不可用。FAN可以利用配对和未配对的数据，因为我们将特征分解为身份和非身份分量，并适应身份特征的分布，这打破了当前人脸超分辨率方法的限制。我们进一步提出了一种随机尺度增强方案来学习分辨率鲁棒的身份特征，与之前的固定尺度增强相比具有优势。在LFW、WIDER FACE、QUML-SurvFace和SCface数据集上的大量实验表明了该方法在监测FR和归一化方面的有效性。
2020-10-02 cs.CV cs.LG
Exploring Factors for Improving Low Resolution Face Recognition
ITU（伊斯坦布尔技术大学）；EPFL（洛桑联邦理工学院）
最先进的深度人脸识别方法在流行的基准测试中报告了近乎完美的性能，例如，《荒野中的脸》然而，当它们应用于低质量图像时，例如由监控摄像机获取的图像，它们的性能显着恶化。用于监控应用的低分辨率面部识别的另一个挑战是将记录的低分辨率探头面部图像与高分辨率参考图像进行匹配，这可能是监视列表场景中的情况。在本文中，我们已经解决了这些问题，并研究了在不匹配条件下应用于低分辨率人脸识别时，影响最先进的深度人脸识别模型识别性能的因素。我们已经观察到以下因素以积极的方式影响性能：训练数据集的外观变化和分辨率分布，图库和探测图像之间的分辨率匹配，以及探测图像中包含的信息量。通过利用这些信息，我们利用了在MS-Celeb-1 M上训练的深度人脸模型，并在VGGFace 2数据集上进行了微调，并在SCFace和ICB-RW基准测试中实现了最先进的精度，即使没有使用这些基准测试数据集的任何训练数据。
2019-07-25 cs.CV
Octuplet Loss: Make Face Recognition Robust to Image Resolution
Technical University（工业大学）
图像分辨率，或者一般来说，图像质量，在当今的人脸识别系统的性能中起着至关重要的作用。为了解决这个问题，我们提出了一种新的组合流行的三重损失，以提高对图像分辨率的鲁棒性，通过微调现有的人脸识别模型。通过八元组损失，我们利用高分辨率图像与其合成下采样变体及其身份标签之间的关系。使用我们的方法微调几种最先进的方法证明，我们可以显着提高各种数据集上的交叉分辨率（高到低分辨率）人脸验证的性能，而不会有意义地加剧高到高分辨率图像的性能。我们在FaceTransformer网络上应用的方法在具有挑战性的XQLFW数据集上实现了95.12%的人脸验证准确率，而在LFW数据库上达到了99.73%。此外，低到低的人脸验证精度受益于我们的方法。我们发布我们的代码以允许将八元组丢失无缝集成到现有框架中。
2023-03-21 cs.CV
Efficient Low-Resolution Face Recognition via Bridge Distillation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；SenseTime Group Limited（商汤集团）；Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
针对低分辨率人脸识别需求，提出桥接蒸馏两步法，将私有高分辨率预训练的复杂人脸模型转化为轻量化模型，实现低参数内存下的高准确率与多设备快速推理。
2024-09-18 cs.AI cs.CV cs.MM
Look One and More: Distilling Hybrid Order Relational Knowledge for Cross-Resolution Image Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Beijing Electronic Science and Technology Institute（北京电子科技学院）；CloudWalk Technology Co., Ltd（云从科技股份有限公司）
本文提出三流式混合阶关系知识蒸馏框架，借助教师与助手流引导低分辨率学生模型保留多阶结构相似性，提升跨分辨率识别性能。
2024-09-09 cs.AI cs.CV cs.MM
