AI-Enhanced Pediatric Pneumonia Detection: A CNN-Based Approach Using Data Augmentation and Generative Adversarial Networks (GANs)
本文提出一种基于CNN的儿科肺炎分类系统，结合数据增强和GANs生成合成图像以缓解数据不足与类别不平衡，并通过Flask部署实现实时诊断，在资源有限场景下提升诊断准确率与效率。
2025-07-13 cs.AI cs.CV eess.IV
What goes around comes around: Cycle-Consistency-based Short-Term Motion Prediction for Anomaly Detection using Generative Adversarial Networks
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Fraunhofer Institute for Optronics, System Technologies and Image Exploitation IOSB（弗劳恩霍夫光电子、系统技术与图像利用研究所（IOSB））
异常检测在许多研究领域中扮演着重要的角色，伴随着强相关的离群点检测任务，异常检测也扮演着非常重要的角色。特别是在自动分析监控摄像机记录的视频材料的背景下，异常情况可能具有非常不同的性质。为此，这项工作研究了基于生成对抗网络的方法（GAN）的异常检测相关的监控应用。重点是静态相机设置的使用，因为这种相机是最常用的相机之一，属于较低的价格段。为了解决这一任务，多个子任务进行评估，包括现有的光流方法的短期时间信息，不同形式的网络设置和损失的GANs的合并的影响，并使用形态操作进一步提高性能。通过这些扩展，我们实现了高达2.4%的更好的结果。此外，最终的方法将基于GAN的方法的异常检测误差降低了约42.8%。
2019-08-08 cs.CV
Unsupervised Discovery of Interpretable Directions in the GAN Latent Space
Yandex（扬德克斯）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
GAN模型的潜在空间通常具有语义上有意义的方向。在这些方向上移动对应于人类可解释的图像变换，例如缩放或缩放，从而实现更可控的生成过程。然而，这些方向的发现目前是以监督的方式执行的，需要人类标签，预训练模型或某种形式的自我监督。这些要求严重限制了现有方法可以发现的方向范围。在本文中，我们引入了一种无监督的方法来识别预训练的GAN模型的潜在空间中的可解释方向。通过一个简单的模型不可知的程序，我们发现方向对应于明智的语义操作，没有任何形式的（自我）监督。此外，我们揭示了几个非平凡的发现，这将是很难获得现有的方法，例如，对应于背景去除的方向。作为我们工作的直接实际好处，我们展示了如何利用这一发现来实现弱监督显着性检测的竞争性能。
2020-06-24 cs.CV cs.LG stat.ML
GD-GAN: Generative Adversarial Networks for Trajectory Prediction and Group Detection in Crowds
Queensland University of Technology (QUT)（昆士兰科技大学）
本文提出了一种新的深度学习框架，用于人群中的人类轨迹预测和社会群体成员身份检测。我们引入了一个生成对抗管道，它保留了行人社区的时空结构，使我们能够提取描述其社会身份的相关属性。我们制定的组检测任务作为一个无监督学习的问题，避免了需要通过手工标记的数据库组成员的监督学习，使我们能够直接采用所提出的框架在不同的监督设置。我们在多个公共基准上评估了所提出的轨迹预测和组检测框架，对于这两项任务，与现有的最先进的方法相比，所提出的方法证明了其更好地预测人类社会学行为的能力。
2018-12-18 cs.CV
A Deep Learning Approach for Facial Attribute Manipulation and Reconstruction in Surveillance and Reconnaissance
Department of Networks and Digital Media（网络与数字媒体系）；Kingston University（金史密斯大学）；School of Computer Science and Engineering（计算机科学与工程学院）；University of Westminster（威斯敏斯特大学）
本文提出结合自动编码器、GAN与图像增强模块的数据驱动平台，生成多样化合成面部数据以缓解CelebA训练中的偏见并提升低质监视人脸识别公平性与准确率。
2025-06-06 cs.CV
Simultaneous Face Hallucination and Translation for Thermal to Visible Face Verification using Axial-GAN
Johns Hopkins University（约翰斯·霍普金斯大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
现有的热-可见人脸验证方法期望热和可见人脸图像具有相似的分辨率。这在现实世界的远程监控系统中是不可能的，因为人类离摄像头很远。为了解决这个问题，我们介绍了从低分辨率热图像的热可见人脸验证的任务。此外，我们提出了轴向生成对抗网络（Axial-GAN）来合成高分辨率的可见光图像进行匹配。在所提出的方法中，我们增加了GAN框架的轴向注意层，利用Transformers的最新进展，为远程依赖关系建模。我们证明了所提出的方法的有效性，通过评估两个不同的热可见人脸数据集。与相关的最先进的作品相比，我们的结果显示，在图像质量和人脸验证性能显着改善，也更有效。
2021-08-07 cs.CV cs.LG
Let There be Light: Improved Traffic Surveillance via Detail Preserving Night-to-Day Transfer
University of South Carolina（南卡罗来纳大学）；Cleveland State University（克利夫兰州立大学）；Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）
近年来，图像和视频监控在智能交通系统（ITS）中得到了长足的发展，深度卷积神经网络（CNN）的应用也取得了长足的进步。作为一种最先进的感知方法，在每帧视频监控中检测感兴趣的目标是ITS的广泛需求。当前，目标检测在标准场景（例如具有良好光照条件的白天场景）中显示出显著的效率和可靠性。然而，在诸如夜间的不利条件下，目标检测显著地失去其准确性。问题的主要原因之一是缺乏足够的夜间场景的注释检测数据集。在本文中，我们提出了一个框架，以减轻准确率下降时，目标检测采取不利条件下，使用图像平移方法。我们建议利用基于风格转换的StyleMix方法来获取白天图像和夜间图像对作为训练数据，用于随后的夜间到白天的图像转换。为了减轻生成对抗网络（GANs）造成的细节损坏，我们提出利用基于核预测网络（KPN）的方法来改进夜间到白天的图像转换。KPN网络与目标检测任务一起训练，以使训练好的日间模型直接适应夜间车辆检测。车辆检测实验验证了该方法的准确性和有效性。
2021-05-11 cs.CV
MGD-GAN: Text-to-Pedestrian generation through Multi-Grained Discrimination
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Hikvision Research Institute（海康威视研究院）
在本文中，我们研究的问题，文本到行人的合成，这在艺术，设计和视频监控有许多潜在的应用。由于行人自然呈现的复杂结构和异构外观，现有的文本到鸟/花的合成方法仍然远远不能解决这个细粒度图像生成问题。为此，我们提出了多粒度鉴别增强生成对抗网络，它利用了基于人体部位的鉴别器（HPD）和自交叉参与（SCA）全局鉴别器，以捕获复杂身体结构的一致性。在HPD模块中采用了细粒度的词级注意力机制，以实现多样化的外观和生动的细节。此外，两个行人生成的指标，命名为姿态得分和姿态方差，被设计来评估生成质量和多样性，分别。我们进行了广泛的实验和消融研究的标题注释的行人数据集，香港中文大学的人描述数据集。各种指标的大幅改善证明了MGD-GAN在文本到行人合成场景中的有效性。
2020-10-02 cs.CV
FishRecGAN: An End to End GAN Based Network for Fisheye Rectification and Calibration
Carnegie Mellon University（卡内基梅隆大学）
本文提出端到端FishRecGAN，结合W-Pix2PixGAN快速校正鱼眼图像，并用CNN依据校正语义特征联合回归相机内参与畸变参数，在高分辨率合成数据上实现PSNR 22.343。
2023-07-12 cs.AI cs.CV
Cross-Domain Face Synthesis using a Controllable GAN
École de technologie supérieure（高等技术学院）
应用于视频监控的人脸识别（FR）系统的性能已被证明是通过合成人脸生成增强设计数据时，以提高。例如，对于成对匹配器（例如，深连体网络），其通常依赖于每个个体具有一个静止图像的参考图库。然而，在源域中生成合成图像可能由于域移位w.r.t.目标域。此外，尽管出现了用于真实合成生成的生成对抗网络（GANs），但通常难以控制生成合成人脸的条件。在本文中，跨域人脸合成方法，提出了一种新的可控GAN（C-GAN）集成。它采用了现成的三维人脸模型作为模拟器来生成各种姿态下的人脸图像。模拟的图像和噪声被输入到C-GAN进行真实感细化，该C-GAN采用额外的对抗游戏作为第三玩家，以保留细化图像的身份和特定面部属性。这允许在控制GAN输出以在期望的姿态条件下生成面部的同时生成反映目标域中的捕捉条件的真实合成面部图像。实验使用来自Chokepoint和COX-S2 V数据集的视频以及用于FR的深度暹罗网络进行，每个人具有单个参考静止。结果表明，所提出的方法可以提供更高的精度水平相比，目前国家的最先进的方法，合成数据增强。
2019-10-31 cs.CV
Deep Learning Based Traffic Surveillance System For Missing and Suspicious Car Detection
National Institute of Technology, Warangal（瓦朗加尔国家理工学院）
汽车盗窃可以说是印度增长最快的犯罪类型之一。在一些市区，据信每天约有100起汽车盗窃案件。在这种不稳定的情况下，使用传统的方法如人工检查和基于射频识别（RFID）的技术来识别被盗车辆是不可能的。本文提出了一种基于深度学习的自动交通监控系统，用于从闭路电视（CCTV）摄像头镜头中检测被盗/可疑车辆。它主要由四个部分组成：选择探测器、图像质量增强器、图像Transformer和智能识别器。选择检测器用于提取包含车辆的帧，并以最小的时间复杂度有效地检测车牌。然后使用图像质量增强器来增强车牌的质量，该图像质量增强器使用pix 2 pix生成对抗网络（GAN）来增强受时间变化（如低光，阴影，采用图像变换器Transformer来解决非水平车牌识别效率低的问题通过将牌照变换为不同级别的旋转和裁剪，可以实现对车辆牌照（其处于一个角度）的旋转和裁剪。Smart Recognizer使用Tesseract光学字符识别（OCR）识别车牌号码，并使用错误检测器纠正错误识别的字符。该方法的有效性在政府的闭路电视摄像机镜头上进行了测试，结果识别被盗/可疑车辆的准确率为87%。
2020-07-17 cs.CV
TV-GAN: Generative Adversarial Network Based Thermal to Visible Face Recognition
The University of Queensland（昆士兰大学）
这项工作解决了使用热成像相机传感器捕获的图像上的人脸识别任务，该传感器可以在非光照环境下工作。虽然它可以大大增加当前安全监控系统的范围和好处，但与可见光域（VLD）中的人脸识别任务相比，使用热图像执行这样的任务是一个具有挑战性的问题。这部分是由于与VLD数据相比，收集的热成像数据数量少得多。不幸的是，直接应用现有的非常强大的人脸识别模型训练使用VLD数据到热成像数据将不会产生令人满意的性能。这是由于热像和VLD像之间存在畴隙。为此，我们提出了一个热可见生成对抗网络（TV-GAN），它能够将热人脸图像转换为相应的VLD图像，同时保持身份信息，这足以让现有的VLD人脸识别模型进行识别。图1给出了一些例子。与以前的方法不同，我们提出的TV-GAN使用显式闭集人脸识别损失来正则化神经网络训练。然后，该信息将以梯度损失的形式被传送到发电机网络中。在实验中，我们表明，通过对网络使用这种额外的显式正则化，TV-GAN在翻译TV-GAN之前没有看到的人的热图像时能够保留更多的身份信息。
2017-12-07 cs.CV
Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks
Stanford University（斯坦福大学）；Aibee Inc（Aibee公司）；University of Adelaide（阿德莱德大学）
预测场景中多个交互代理的未来轨迹已经成为许多不同应用的一个越来越重要的问题，从自动驾驶汽车和社交机器人的控制到安全和监控。这个问题由于人类之间的社会互动以及他们与场景的物理互动而变得更加复杂。虽然现有的文献已经探索了其中的一些线索，但它们主要忽略了每个人未来轨迹的多模态性质。在本文中，我们提出了Social-BiGAT，这是一个基于图的生成对抗网络，它通过更好地模拟场景中行人的社交互动来生成逼真的多模式轨迹预测。我们的方法是基于一个图形注意力网络（GAT），学习可靠的特征表示，编码场景中的人类之间的社会互动，和一个经常性的编码器-解码器架构，训练对抗预测，根据功能，人类的路径。我们通过在每个场景及其潜在噪声向量之间形成可逆变换来明确解释预测问题的多模态性质，如Bicycle-GAN中所述。我们表明，我们的框架实现了最先进的性能比较它的几个基线对现有的轨迹预测基准。
2019-07-17 cs.CV cs.LG
Zoom In, Reason Out: Efficient Far-field Anomaly Detection in Expressway Surveillance Videos via Focused VLM Reasoning Guided by Bayesian Inference
School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）；Key Laboratory of Big Data & Artificial Intelligence in Transportation, Ministry of Education（教育部交通运输大数据与人工智能重点实验室）；Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence (2018)（北京市交通数据挖掘与具身智能重点实验室）
本文提出VIBES框架，通过贝叶斯推理引导的聚焦VLM推理，解决远场目标异常检测中的注意力稀释和计算成本问题，提升检测准确性和实时效率。
2026-08-14 cs.AI cs.CV
A Tactical Behaviour Recognition Framework Based on Causal Multimodal Reasoning: A Study on Covert Audio-Video Analysis Combining GAN Structure Enhancement and Phonetic Accent Modelling
Dhurakij Pundit University（易三仓大学）；The University of Western Australia（西澳大利亚大学）；Association for Computing Machinery（美国计算机协会）；Royal Anthropological Institute（英国皇家人类学学会）
针对高噪声弱结构战术视频的语义理解与威胁检测问题，提出结合谱图理论与多模态图神经推理的TACTIC-GRAPHS系统，在相关数据集上取得良好识别效果，提升了结构可解释性，可应用于安防国防领域。
2025-07-04 cs.AI cs.CV cs.CY
Protecting Facial Privacy: Generating Adversarial Identity Masks via Style-robust Makeup Transfer
Huazhong University of Science and Technology（华中科技大学）；National Engineering Research Center for Big Data Technology and System（国家大数据技术与系统工程研究中心）；Hubei Engineering Research Center on Big Data Security（湖北省大数据安全工程研究中心）；Deakin University（迪肯大学）
虽然深度人脸识别（FR）系统在识别和验证方面表现出惊人的性能，但它们也因其对用户的过度监视而引起隐私问题，特别是对于社交网络上广泛传播的公共人脸图像。最近，一些研究采用对抗性示例来保护照片不被未经授权的人脸识别系统识别。然而，现有的对抗性人脸图像生成方法存在视觉效果差、白盒设置、可移植性差等缺陷，难以应用于现实中的人脸隐私保护。在本文中，我们提出了对抗化妆转移GAN（AMT-GAN），一种新的人脸保护方法，旨在构建对抗人脸图像，同时保持更强的黑盒可转移性和更好的视觉质量。AMT-GAN利用生成对抗网络（GAN）来合成具有从参考图像转移的化妆的对抗面部图像。特别是，我们引入了一个新的正则化模块以及一个联合训练策略，以调和对抗性噪声和化妆转移中的周期一致性损失之间的冲突，实现攻击强度和视觉变化之间的理想平衡。大量的实验证明，与现有技术相比，AMT-GAN不仅可以保持舒适的视觉质量，而且可以实现比商业FR API更高的攻击成功率，包括Face++，阿里云和微软。
2022-03-28 cs.CR cs.CV
Generating Multi-scale Maps from Remote Sensing Images via Series Generative Adversarial Networks
Wuhan University（武汉大学）；Central South University（中南大学）
考虑到生成对抗网络（GANs）在图像到图像翻译方面的成功，研究人员试图通过GAN将遥感图像（RSIs）转换为地图（rs 2 map）用于制图。然而，这些研究涉及有限的比例尺，这阻碍了多比例尺地图的创建。通过扩展他们的方法，多尺度RSIs可以通过针对特定尺度训练的尺度rs 2 map模型（并行策略）来简单地转换为多尺度地图（多尺度rs 2 map转换）。然而，这一战略有两个理论上的局限性。首先，不同的空间分辨率之间的不一致性的多尺度遥感影像和多尺度地图上的对象概括（RS-m不一致性）越来越复杂的提取地理信息的遥感图像的rs 2 map模型与规模减小。其次，由于rs 2 map转换是跨域的，生成器将RSI像素分布转换为地图上的像素分布会产生很高的计算成本。因此，我们设计了一系列多尺度rs 2 map翻译的生成器策略来解决这些限制。该策略将高分辨率遥感影像输入到rs 2 map模型中，输出大比例尺地图，再通过一系列多比例尺地图转换模型转换为多比例尺地图。串联策略避免了输入为高分辨率大尺度遥感影像时的RS-m不一致性，并通过多尺度地图之间相似的像素分布来减少多尺度地图生成中的分布差距。我们的实验结果表明，更好的质量多尺度地图生成的系列策略，如所示的平均增长11.69%，53.78%，55.42%，和72.34%的结构相似性指数，边缘结构相似性指数，路口工会（道路），和路口工会（水）的数据从…
2021-03-31 cs.CV eess.IV
Heterogeneous Face Frontalization via Domain Agnostic Learning
Johns Hopkins University（约翰霍普金斯大学）；U.S. Army DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
深度卷积神经网络（DCNN）的最新进展在热到可见人脸合成和匹配问题上显示出令人印象深刻的性能改进。然而，目前基于DCNN的合成模型在具有大姿态变化的热面上表现不佳。为了解决这个问题，需要一种异构的人脸正面化方法，其中一个模型需要一个热轮廓人脸图像，并产生一个正面可见的脸。这是一个非常困难的问题，由于大的域以及两个模态之间的大的姿态差异。尽管它在生物识别和监控中的应用，这个问题在文献中相对未被探讨。提出了一种基于领域不可知学习的生成对抗网络（DAL-GAN），该网络可以在可见光域中从具有姿态变化的热人脸中合成正面视图。DAL-GAN由一个生成器和一个辅助分类器和两个鉴别器组成，它们可以捕获局部和全局纹理鉴别，以便更好地合成。通过双路径训练策略，在生成器的特征空间中引入对比约束，提高了特征向量的区分度。最后，一个多用途的损失函数被用来指导网络合成身份保持跨域前端化。大量的实验结果表明，DAL-GAN可以生成更好的质量相比，其他基线方法的正面视图。
2021-12-05 cs.CV
Training Adversarial Discriminators for Cross-channel Abnormal Event Detection in Crowds
University of Genova（热那亚大学）；SAP SE.（思爱普公司）；University of Trento（特伦托大学）
异常人群行为检测在视频监控中具有重要意义，因此受到了广泛的关注.然而，模糊性和缺乏足够的异常地面实况数据使得大型深度网络在该领域的端到端训练变得困难。在本文中，我们建议使用生成对抗网络（GANs），这些网络经过训练仅生成数据的正态分布。在对抗性GAN训练期间，将一个GAN（D）用作生成器网络（G）的监督器，反之亦然。在测试时，我们使用D来解决我们的判别任务（异常检测），其中D已经被训练，而不需要手动注释异常数据。此外，为了防止G学习一个平凡的身份函数，我们使用跨通道的方法，迫使G转换运动信息中的原始像素数据，反之亦然。标准基准测试的定量结果表明，我们的方法优于以前的国家的最先进的方法在帧级和像素级的评价。
2018-11-26 cs.CV
GANeXt: A Fully ConvNeXt-Enhanced Generative Adversarial Network for MRI- and CBCT-to-CT Synthesis
Pattern Recognition Lab, Friedrich-Alexander-University Erlangen-Nuremberg, Erlangen, Germany（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学）；Department of Orthodontics and Orofacial Orthopedics, Friedrich-Alexander-University Erlangen-Nuremberg, Erlangen, Germany（正畸学与口腔正外科系）；Digital Technology and Innovation, Siemens Healthineers, Shanghai, China（西门子医疗创新）
GANeXt通过ConvNeXt增强的生成对抗网络实现MRI和CBCT到CT的跨模态合成，结合多种损失函数提升合成质量。
2026-01-15 cs.CV
A Step towards Automated and Generalizable Tactile Map Generation using Generative Adversarial Networks
School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
本文构建覆盖6500个地点的触觉地图数据集，并训练 GAN 从 Google Maps 街景中识别、清理和修复地图要素，实现跨比例尺与地区的自动化触觉地图生成。
2024-12-10 cs.CV
Discovering Multiple and Diverse Directions for Cognitive Image Properties
Boğaziçi University（海峡大学）；TUM（慕尼黑工业大学）；EPFL（洛桑联邦理工学院）
最近的研究表明，在预先训练的GANs的潜在空间中找到可解释的方向是可能的。这些方向实现了可控的生成，并支持各种语义编辑操作。虽然先前的工作集中于发现执行诸如放大之类的期望编辑操作的单个方向，但是在发现可以实现期望编辑的多个和不同方向方面已经完成了有限的工作。在这项工作中，我们提出了一个新的框架，发现多个和不同的方向为一个给定的属性的兴趣。特别是，我们专注于操纵的认知属性，如可解释性，情感价和美学。我们用大量的实验表明，我们的方法成功地操纵这些属性，同时产生不同的输出。我们的项目页面和源代码可以在http://catlab-team.github.io/latentcognitive上找到。
2022-02-23 cs.CV cs.LG
License Plate Super-Resolution Using Diffusion Models
Prince Sultan University（苏丹王子大学）
本文提出基于扩散模型的车牌超分辨率方法，在沙特车牌数据集上训练，PSNR 和 SSIM 均显著优于 SwinIR 与 ESRGAN，且 92% 人工评估者偏好其重建结果。
2023-09-21 cs.CV
VRAE: Vertical Residual Autoencoder for License Plate Denoising and Deblurring
Ha Noi University of Science and Technology（河内科学技术大学）；Center of Environmental Intelligence（环境智能中心）；VinUniversity（文大学）；University of Southern California（南加州大学）
针对交通监控中车牌图像受噪声和模糊影响的问题，提出垂直残差自编码器（VRAE），通过辅助块注入输入感知特征增强表示学习，在车牌数据集上优于AE、GAN和FB方法，显著提升PSNR并降低NMSE。
2025-09-11 cs.CV
Image-to-image Transformation with Auxiliary Condition
由于真实数据和模拟数据之间的差异，使用模拟图像训练的图像识别（如人体姿势检测）的性能通常会变差。为了使模拟图像的分布接近真实图像的分布，有几项工作应用了基于GAN的图像到图像变换方法，例如，SimGAN和CycleGAN。然而，这些方法对对象的姿势和形状的各种变化不够敏感，特别是当训练数据不平衡时，例如，某些特定的姿态和形状在训练数据中是次要的。为了克服这个问题，我们提出引入受试者的标签信息，例如，在CycleGAN的训练过程中，对物体的姿态和类型进行分类，并引导CycleGAN获得标签化的变换模型。我们评估我们提出的方法称为Label-CycleGAN，通过实验从SVHN到MNIST的数字图像转换和监控摄像机图像从模拟到真实图像的转换。
2021-06-25 cs.CV
Visible to Thermal image Translation for improving visual task in low light conditions
University of Maryland, Baltimore County (UMBC)（马里兰大学巴尔的摩县分校）
针对低光照下RGB图像视觉任务难度高的问题，提出基于GAN的端到端可见光-热红外图像翻译框架，经无人机采集数据训练验证可行，能低成本快速生成热红外数据，可用于安保监控。
2023-11-09 cs.CV cs.LG eess.IV
Integrating Generative Adversarial Networks and Convolutional Neural Networks for Enhanced Traffic Accidents Detection and Analysis
Shanghai University of Engineering Science（上海工程技术大学）
本研究提出结合GANs合成数据与CNN训练的框架，利用CCTV视频检测交通事故，FTCNN和VIT达到94%和95%准确率，为智能交通监控奠定基础。
2025-06-19 cs.CV
Federated Generative Adversarial Learning
Shenzhen Institute of Artificial Intelligence and Robotics for Society (AIRS)（深圳人工智能与机器人学会）；Institute of High Performance Computing (IHPC), A*STAR（高性能计算研究所 (IHPC)，A*STAR）
本文研究了在联邦学习环境下训练生成对抗网络的问题。生成对抗网络（GANs）在各种现实世界的应用中取得了进步，例如图像编辑，风格转移，场景生成等。然而，与其他深度学习模型一样，GANs在实际情况下也会遇到数据限制问题。为了提高GANs在目标任务中的性能，从不同来源收集尽可能多的图像不仅重要，而且至关重要。例如，为了构建鲁棒且准确的生物计量验证系统，可以从监控摄像机收集大量图像，和/或由接受协议的用户从手机上传。在理想情况下，利用从公共和私人设备上传的所有数据进行模型训练是简单的。不幸的是，在真实场景中，由于一些原因，这是很难的。首先，一些数据面临严重的泄漏问题，因此禁止将它们上传到第三方服务器进行模型训练;其次，不同类型的设备收集的图像可能由于各种因素而具有不同的偏差，$\textit{e.g.}$，收集者偏好，地理位置差异，这也被称为“域偏移”。为了解决这些问题，我们提出了一种新的生成式学习方案，利用联邦学习框架。按照联邦学习的配置，我们在一个中心和一组客户端上进行模型训练和聚合。具体来说，我们的方法在客户端学习分布式生成模型，而在每个客户端训练的模型在中心融合成一个统一的通用模型。我们进行了大量的实验，比较不同的联邦战略，并实证研究联邦的有效性，在不同程度的并行性和数据偏斜。
2020-07-19 cs.CV cs.LG
Controlling generative models with continuous factors of variations
CEA, LIST（法国原子能和替代能源委员会列表实验室）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
最近的深度生成模型能够提供照片般逼真的图像以及视觉或文本内容嵌入，可用于解决计算机视觉和自然语言处理的各种任务。然而，由于对生成过程缺乏控制或对习得表征的理解不足，它们的有用性往往受到限制。为了克服这些主要问题，最近的工作已经显示出研究生成模型的潜在空间的语义的兴趣。在本文中，我们建议通过引入一种新的方法来提高生成模型的潜在空间的可解释性，以在任何生成模型的潜在空间中找到有意义的方向，我们可以沿着该方向移动以精确控制生成图像的特定属性，如图像中对象的位置或比例。我们的方法不需要人的注释，特别适合于搜索编码生成的图像的简单变换，如平移，缩放或颜色变化的方向。我们定性和定量地证明了我们的方法对于GANs和变分自动编码器的有效性。
2020-01-28 cs.CV cs.LG eess.IV
Enhancing Hazy Wildlife Imagery: AnimalHaze3k and IncepDehazeGan
Department of Computer Science（计算机科学系）；Manipal Institute of Technology（马普尔理工学院）
本文提出AnimalHaze3k数据集和IncepDehazeGan模型，通过物理模拟生成雾状图像，提升野生动物图像清晰度，改进检测与跟踪性能。
2026-04-17 cs.CV
A Deep Single Image Rectification Approach for Pan-Tilt-Zoom Cameras
School of Computer Science, Hubei University of Technology（湖北工业大学计算机学院）；Hubei Key Laboratory of Green Intelligent Computing Power Network（湖北绿色智能算力网络重点实验室）；School of Surveying and Mapping, Wuhan University（武汉大学测绘学院）；Wuhan Tianjihang Information Technology Co., Ltd.（武汉天起航信息技术有限公司）
本文提出FDBW-Net，通过前向畸变模型、金字塔上下文编码器和多尺度解码器实现广角PTZ相机图像的高精度校正，在多个数据集上达到SOTA性能。
2025-04-09 cs.CV
JDSR-GAN: Constructing An Efficient Joint Learning Network for Masked Face Super-Resolution
Nanjing University of Posts and Telecommunications（南京邮电大学）；Soochow University（苏州大学）；Kyushu Institute of Technology（九州工业大学）；Nanjing University of Science and Technology（南京理工大学）
随着预防COVID-19病毒的重要性日益增加，在大多数视频监控场景中获得的人脸图像是低分辨率的，同时具有掩模。然而，大多数以前的人脸超分辨率解决方案不能在一个模型中处理这两个任务。在这项工作中，我们把掩模遮挡图像噪声，并建立一个联合和协作学习网络，称为JDSR-GAN，面具的脸超分辨率任务。给定一幅带有面具的低质量人脸图像作为输入，由去噪模块和超分辨率模块组成的生成器的作用是获得高质量的高分辨率人脸图像。该算法利用精心设计的损失函数来保证恢复的人脸图像的质量。此外，我们将身份信息和注意力机制融入到我们的网络中，以实现可行的相关特征表达和信息特征学习。通过联合执行去噪和人脸超分辨率，这两个任务可以相互补充，并获得有前途的性能。大量的定性和定量结果表明，我们提出的JDSR-GAN优于一些类似的方法，分别执行前两个任务。
2023-01-30 cs.CV eess.IV
VQ-VAD: Vector-quantized Motion Representation Learning for Human-centric Video Anomaly Detection
针对现有基于姿态的视频异常检测方法的局限，提出VQ-VAD框架，通过向量量化学习离散运动表示，在多评估设置的基准测试中取得优异性能，代码已公开。
2026-08-06 cs.AI cs.CV
Dynamic Network Flow Optimization for Task Scheduling in PTZ Camera Surveillance Systems
Division of Systems Engineering（系统工程系）；Boston University（波士顿大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出动态网络流优化方法，用于提升PTZ摄像头在动态监控环境中的任务调度效率和实时视频捕获能力。
2025-05-07 cs.CV cs.SY eess.SY
Deep Generative Adversarial Network for Occlusion Removal from a Single Image
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）；Advanced Technology Development Center（先进技术发展中心）
本研究提出一种全自动两阶段卷积神经网络，利用生成对抗网络从单张图像中检测并移除遮挡（如栅栏），在自建数据集上验证了零样本泛化能力。
2024-09-20 cs.CV
AVID: Adversarial Visual Irregularity Detection
Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））；AI & ML Center of Part（Part人工智能与机器学习中心）；University of Bonn（波恩大学）；Complexity Science Hub, Vienna（维也纳复杂性科学中心）；Stanford University（斯坦福大学）
实时检测视觉数据中的不规则性在许多潜在的应用中是非常宝贵和有用的，包括监视、病人监护系统等。随着近年来深度学习方法的激增，研究人员已经尝试了各种各样的方法用于不同的应用。然而，对于视频中的不规则或异常检测的情况，训练端到端模型仍然是一个开放的挑战，因为通常不规则性没有明确定义，并且在训练期间没有足够的不规则样本。在本文中，受生成对抗网络（GANs）在无监督或自监督设置中训练深度模型的成功启发，我们提出了一种端到端深度网络，用于检测和精细定位视频（和图像）中的不规则性。我们提出的架构由两个网络组成，它们在相互竞争的同时进行训练，以找到不规则性。一个网络用作像素级不规则性Inpainter，另一个用作补丁级检测器。在对抗性的自我监督训练之后，我试图欺骗D接受其修复后的输出为常规（正常），这两个网络合作检测并细分任何给定测试视频中的不规则性。我们在三个不同的数据集上的结果表明，我们的方法可以优于最先进的和精细的不规则分割。
2018-07-17 cs.CV
LightningDrag: Lightning Fast and Accurate Drag-based Image Editing Emerging from Videos
National University of Singapore（新加坡国立大学）；ByteDance Inc.（字节跳动公司）
针对现有基于拖拽的图像编辑方法速度慢、成功率低的问题，提出LightningDrag，将其重构为条件生成任务，从视频中学习运动信息，实现约1秒的高质量编辑，且泛化性和准确性更优。
2024-09-16 cs.CV
Generating Thermal Human Faces for Physiological Assessment Using Thermal Sensor Auxiliary Labels
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Booz Allen Hamilton（博思艾伦汉密尔顿）
本文提出 favtGAN，利用 pix2pix 和辅助传感器标签预测网络实现可见光到热成像人脸生成，并通过合并人脸与城市景观数据集提升 SSIM 和 PSNR。
2021-06-15 cs.CV
StyleID: Identity Disentanglement for Anonymizing Faces
Linköping University（林雪平大学）
机器学习模型的隐私是阻碍人工智能（AI）广泛采用的剩余挑战之一。本文认为这个问题的背景下，图像数据集包含的面孔。由于这些数据集在自动驾驶汽车训练中的核心作用以及监控系统生成的大量数据，这些数据集的分析变得越来越重要。虽然大多数先前的工作通过修改像素空间中的身份特征来对面部图像进行去识别，但我们将图像投影到生成对抗网络（GAN）模型的潜在空间上，找到提供最大身份解开的特征，然后在潜在空间，像素空间或两者中操纵这些特征。本文的主要贡献是设计了一个特征保持匿名化框架StyleID，它保护了个人的身份，同时尽可能多地保留了图像数据集中原始人脸的特征。作为贡献的一部分，我们提出了一种新的解纠缠度量，三个互补的解纠缠方法，和新的见解身份解纠缠。StyleID提供了可调的隐私，具有低计算复杂性，并显示出优于当前最先进的解决方案。
2022-12-28 cs.AI cs.CR cs.CV
To See in the Dark: N2DGAN for Background Modeling in Nighttime Scene
Beijing Jiaotong University（北京交通大学）；Microsoft Multimedia（微软多媒体）；OPPO Research Institute（OPPO研究院）
由于\mbox{illumination}缺乏光照和光照不均匀等恶劣条件，同一场景的夜间图像对比度较低，噪声较大，严重限制了传统背景建模方法的性能。针对夜间场景下背景建模这一具有挑战性的问题，本文提出了一种新颖合理的解决方案，为夜间场景的背景建模开辟了一条与现有方法完全不同的新途径。为了使夜间场景下的背景建模性能与白天场景下的一样好，提出了一种基于生成的前景监控背景建模框架。以预先指定的白天参考图像作为背景帧，训练基于{ \bfseries GAN}的生成模型（称为{ \bfseries N2 D GAN}），以将{ \bfseries n}个夜间视频{ \bfseries}的每一帧转换为具有与参考图像相同的场景（除了前景区域）的虚拟{ \bfseries d}个白天图像。具体而言，为了在生成虚拟白天图像时平衡背景场景和前景对象的保存，提出了一种双路径生成模型，该模型将全局和局部子网络与时空一致性约束相结合.对于生成的虚拟白天图像序列，进一步提出了多尺度贝叶斯模型，有针对性地表征背景的时间变化。我们对收集到的数据集进行人工标记的地面实况评估，这为相关研究社区提供了宝贵的资源。令人印象深刻的结果表明，在这两个主要文件和补充表明我们所提出的方法的有效性。
2020-04-12 cs.CV
FCSR-GAN: Joint Face Completion and Super-resolution via Multi-task Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
包含低分辨率和遮挡的组合变化通常存在于野外的面部图像中，例如，在视频监控的情况下。虽然大多数现有的人脸图像恢复方法只能处理每个模型的一种类型的变化，但在这项工作中，我们提出了一种深度生成对抗网络（FCSR-GAN），用于通过多任务学习执行联合人脸完成和人脸超分辨率。FCSR-GAN的生成器的目的是恢复一个高分辨率的人脸图像没有遮挡给定的输入低分辨率的人脸图像与遮挡。FCSR-GAN的恢复使用一组精心设计的损失（对抗损失，感知损失，像素损失，平滑损失，风格损失和面部先验损失）来确保恢复的高分辨率面部图像的高质量，而不会遮挡。FCSR-GAN的整个网络可以使用我们的两阶段训练策略进行端到端的训练。在公共领域CelebA和Helen数据库上的实验结果表明，该方法在联合执行人脸超分辨率（最多8个$\times$）和人脸补全方面优于现有方法，并在跨数据库测试中表现出良好的泛化能力。当人脸图像中存在低分辨率和遮挡时，我们的FCSR-GAN也有助于提高人脸识别性能。
2019-11-04 cs.CV
Real-World Super-Resolution of Face-Images from Surveillance Cameras
Aalborg University（奥尔堡大学）；Milestone Systems A/S（Milestone Systems公司）
现有的人脸图像超分辨率（SR）方法大多假设低分辨率（LR）图像是通过双三次插值从高分辨率（HR）图像中人工下采样得到的。该操作改变了自然图像特性并降低了噪声。因此，在这些数据上训练的SR方法在应用于真实LR图像时通常无法产生良好的结果。为了解决这个问题，我们提出了一个新的框架来生成现实的LR/HR训练对。我们的框架估计现实的模糊内核，噪声分布和JPEG压缩伪影生成LR图像与源域中的图像特征相似。这使我们能够使用高质量的人脸图像作为地面实况（GT）来训练SR模型。为了获得更好的感知质量，我们使用基于生成对抗网络（GAN）的SR模型，其中我们将常用的VGG损失[24]与LPIP损失[52]进行了交换。在真实和人为损坏的人脸图像上的实验结果表明，与现有的最新技术（SoTA）方法相比，我们的方法可以以更少的噪声进行更详细的重建。此外，我们还证明了传统的非参考图像质量评估（IQA）方法无法捕捉到这种改进，并证明了最近的NIMA度量[16]通过平均意见排名（MOR）与人类感知更好地相关。
2021-02-05 cs.CV
A Survey on Super Resolution for video Enhancement Using GAN
Army Institute of Technology（陆军技术学院）
本文综述了基于生成对抗网络的图像与视频超分辨率方法，涵盖递归学习、新型损失函数、帧率增强和注意力模型集成等技术，并讨论了其在监控与医学成像等领域的应用及未来挑战。
2023-12-30 cs.CV cs.LG cs.MM
One Image is All You Need: Agentic One-Shot Image Generation via Text-Based World Models for Long-Tail Spatial Perception
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；Sun Yat-Sen University（中山大学）；Technical University of Munich（慕尼黑工业大学）；Heilbronn Data Science Center（海尔布隆数据科学中心）；Munich Data Institute（慕尼黑数据研究所）
提出WMGen-v1框架，利用单张参考图像通过LVLM构建结构化场景表示，LLM进行物理合理的场景扩展，再由扩散模型生成多样化的长尾训练数据，缓解空间感知中的数据稀缺问题。
2026-06-23 cs.AI cs.CV cs.GR
GLYPH-SR: Can We Achieve Both High-Quality Image Super-Resolution and High-Fidelity Text Recovery via VLM-guided Latent Diffusion Model?
Department of Artificial Intelligence（人工智能系）；Kyungpook National University（庆尚国立大学）；Department of Electrical and Computer Engineering（电气电子工程系）；Queen’s University（皇后大学）；Department of Information and Communications Engineering（信息与通信工程系）；Pukyong National University（浦项国立大学）
图像超分辨率（SR）是许多视觉系统的基础-从监控和自动化到文档分析和零售分析-因为恢复高频细节，特别是场景文本，可以实现可靠的下游感知。场景文本，即，嵌入在自然图像中的文本，如标志、产品标签和店面，通常携带最可操作的信息;当字符模糊或幻觉时，即使图像的其余部分看起来清晰，光学字符识别（OCR）和随后的决策也会失败。然而，以前的SR研究往往被调整到失真（PSNR/SSIM）或学习感知指标（LIPIS，MANIQA，CLIP-IQA，MUSIQ），这在很大程度上是不敏感的字符级错误。此外，解决文本SR的研究往往集中在简化的基准与孤立的字符，忽略了复杂的自然场景中的文本的挑战。因此，场景文本被有效地视为通用纹理。为了使SR在实际部署中有效，因此必须明确优化文本易读性和感知质量。我们提出了GLYPH-SR，一个视觉语言引导的扩散框架，旨在共同实现这两个目标。GLYPH-SR利用由OCR数据引导的文本SR融合控制网（TS-ControlNet），以及在文本和场景中心引导之间交替的乒乓调度器。为了实现有针对性的文本恢复，我们在合成语料库上训练这些组件，同时保持主要SR分支冻结。在x4和x8的SVT、SCUT-CTW1500和CUTE80中，GLYPH-SR将OCR F1比扩散/GAN基线（SVT x8，OpenOCR）提高了高达+15.18个百分点，同时保持了竞争性的MANIQA、CLIP-I…
2025-10-30 cs.AI cs.CV
Infrared Image Super-Resolution via Heterogeneous Convolutional WGAN
Guilin University of Electronic Technology（桂林电子科技大学）；City University of Hong Kong（香港城市大学）；ZTE Corporation（中兴通讯股份有限公司）；Baidu Research（百度研究院）
图像超分辨率在监控、遥感等领域具有重要的应用价值。然而，红外（IR）图像通常具有低分辨率，因为光学设备相对昂贵。最近，深度学习方法已经主导了图像超分辨率，并在可见光图像上取得了显着的性能;然而，红外图像受到的关注较少。红外图像的模式较少，因此，深度神经网络（DNN）很难从红外图像中学习不同的特征。在本文中，我们提出了一个框架，采用异构卷积和对抗性训练，即异构内核的超分辨率Wasserstein GAN（HetSRW GAN），红外图像超分辨率。HetSRW GAN算法是一种轻量级的GAN架构，其应用了即插即用的异构的基于内核的残差块。此外，采用了一种新的损失函数，采用图像梯度，它可以适用于任何模型。建议的HetSRWGAN在定性和定量评估方面都取得了更好的性能。根据实验结果，整个训练过程比较稳定。
2021-09-02 cs.CV cs.LG eess.IV
A comprehensive overview of deep learning models for object detection from videos/images
University of Agriculture Faisalabad（费萨拉巴德农业大学）；University of Central Punjab（中旁遮普大学）；Riphah International University（里法国际大学）；Shenzhen University（深圳大学）
本文综述了深度学习在视频和图像中物体检测的最新方法，涵盖CNN、GAN和时间融合技术，分析了动态环境、遮挡和实时需求等挑战，并探讨了低延迟和高效学习方法的未来趋势。
2026-01-21 cs.AI cs.CV
Advanced Machine Learning Approaches for Enhancing Person Re-Identification Performance
本研究提出三种先进方法，通过监督对比学习、GAN增强和视觉Transformer提升人员重识别性能，在多个基准上取得显著成效。
2026-01-04 cs.CV
Unsupervised Domain Adaptation using Generative Adversarial Networks for Semantic Segmentation of Aerial Images
Prince Sultan University（苏丹王子大学）；King Saud University（沙特国王大学）；Gaitech Robotics（盖特机器人公司）；Polytechnic Institute of Porto（波尔图理工学院）；University of Carthage（迦太基大学）；National Engineering School of Carthage（迦太基国家工程学院）
航空影像分割在城市区域的监视和场景理解中具有巨大的应用潜力。它提供了一种自动报告居住区发生的不同事件的方法。这显著促进了公共安全和交通管理应用。在卷积神经网络方法被广泛采用之后，如果提供鲁棒的数据集，则语义分割算法的准确率可以轻松超过80%。尽管取得了这一成功，但部署预先训练的分割模型来调查未包括在训练集中的新城市会显着降低准确性。这是由于训练模型的源数据集与新城市图像的新目标域之间的域偏移。在本文中，我们解决这个问题，并考虑在航空图像的语义分割领域领域自适应的挑战。我们设计了一种算法，使用生成对抗网络（GANs）来减少域偏移的影响。在实验中，我们测试所提出的方法对国际摄影测量与遥感学会（ISPRS）的语义分割数据集，发现我们的方法提高了整体精度从35%到52%时，从波茨坦域（被认为是源域）到Vaihingen域（被认为是目标域）。此外，该方法允许有效地恢复由于传感器变化而导致的倒置类。特别是，由于传感器变化，它将倒置类的平均分割准确度从14%提高到61%。
2019-05-08 cs.CV
