MaLP: Manipulation Localization Using a Proactive Scheme
Michigan State University（密歇根州立大学）；Meta AI
针对现有被动方法泛化性差的问题，提出主动篡改定位方案MaLP，通过双分支架构学习模板加密图像，实现高泛化性的篡改检测与像素定位，并可作为判别器提升生成质量。
2023-04-04 cs.CV
On the Effectiveness of Spectral Discriminators for Perceptual Quality Improvement
University of Science and Technology of China（中国科学技术大学）
本文针对基于 GAN 的感知超分辨率分析频谱判别器，发现其擅长高频而空间判别器擅长低频，提出 Transformer 聚合 patch Fourier 频谱并与空间判别器结合，改善频谱一致性、PD 权衡和无参考质量预测。
2023-08-16 cs.CV eess.IV
Make a Face: Towards Arbitrary High Fidelity Face Manipulation
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；University of Electronic Science and Technology of China（电子科技大学）；SenseTime Research（商汤科技研究院）；NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）
近年来，随着GANs和VAE范式的发展，人脸操作任务取得了显著的成功，但其输出有时局限于低分辨率和缺乏多样性。在这项工作中，我们提出了加性焦点变分自动编码器（AF-VAE），一种新的方法，可以任意操纵高分辨率的人脸图像使用一个简单而有效的模型，只有弱监督重建和KL发散损失。首先，在结构化潜在空间中引入了一种新的加性高斯混合假设和无监督聚类机制，这赋予了更好的解纠缠，并增强了具有外部记忆的多模态表示。其次，为了提高合成结果的感知质量，在架构设计中的两个简单的策略进一步定制和讨论的人类视觉系统（HVS）的行为，允许精细控制模型的复杂性和样本质量。人类的意见研究和新的国家的最先进的初始分数（IS）/ Frechet初始距离（FID）证明了我们的方法优于现有的算法，推进的保真度和极端的脸操纵任务。
2019-08-20 cs.CV
Gaze-Regularized Vision-Language-Action Models for Robotic Manipulation
本文提出一种目光正则化框架，通过将目光热图转换为补丁分布，并利用KL散度正则化Transformer注意力，提升机器人操作任务的性能和可解释性。
2026-04-07 cs.CV
Learning Category-Level Generalizable Object Manipulation Policy via Generative Adversarial Self-Imitation Learning from Demonstrations
Peking University（北京大学）
泛化对象操作技能是智能和多功能机器人在现实世界的复杂场景中工作的关键。尽管最近在强化学习方面取得了进展，但学习可以处理一类几何形状不同的铰接对象的可推广的操纵策略仍然是非常具有挑战性的。在这项工作中，我们通过模仿学习以任务不可知的方式来解决这个类别级对象操作策略学习问题，其中我们假设没有手工制作的密集奖励，而只有终端奖励。鉴于这种新颖的和具有挑战性的推广策略学习问题，我们确定了几个关键问题，可以失败的以前的模仿学习算法，并阻碍了推广到看不见的实例。然后，我们提出了几个一般的，但关键的技术，包括生成对抗性自我模仿学习从示范，渐进增长的学习，和实例平衡专家缓冲区，准确地指出和解决这些问题，可以受益于类别级操作策略学习，无论任务。我们在ManiSkill基准上的实验表明，所有任务都有显着的改进，我们的消融研究进一步验证了每种技术的贡献。
2022-09-13 cs.CV cs.RO
A Survey of Embodied Learning for Object-Centric Robotic Manipulation
The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
该综述系统梳理了面向以物体为中心的机器人操作的具身学习领域最新进展，将现有工作分为具身感知、策略、任务导向学习三大分支，同时讨论了数据集、挑战与未来方向，并上线了相关项目。
2024-08-21 cs.AI cs.CV cs.LG
Journey Towards Tiny Perceptual Super-Resolution
Samsung AI Center（三星人工智能中心）；University of Warwick（华威大学）；University of Cambridge（剑桥大学）
最近在单图像感知超分辨率（SR）方面的工作已经证明了通过深度卷积网络生成逼真纹理的前所未有的性能。然而，这些卷积模型过于庞大和昂贵，阻碍了它们在终端设备上的有效部署。在这项工作中，我们提出了一种神经架构搜索（NAS）方法，该方法将NAS和生成对抗网络（GANs）与感知SR的最新进展相结合，并提高了小型感知SR模型的效率，以促进设备上的执行。具体来说，我们搜索的架构的发电机和连续的，突出的独特的挑战和关键的意见，搜索SR优化的连续的，并将它们与现有的连续的架构在文献中。我们的微型感知SR（TPSR）模型在全参考感知度量（LPIPS）和失真度量（PSNR）方面都优于SRGAN和EnhanceNet，同时分别提高了26.4 $\times$的内存效率和33.6 $\times$的计算效率。
2020-07-08 cs.CV eess.IV
Amortized Object and Scene Perception for Long-term Robot Manipulation
University of Bremen（不来梅大学）
移动机器人在人类环境中进行长期的操作活动，必须感知各种各样的具有非常不同的视觉特性的对象，并需要在整个任务执行过程中可靠地跟踪这些对象。为了提高效率，机器人的感知能力需要超越当前可感知的范围，并且应该能够回答有关当前和过去场景的查询。在本文中，我们研究了一个长期的机器人操作的感知系统，跟踪不断变化的环境，并建立一个代表性的感知世界。具体来说，我们引入了一个摊销组件，在整个执行周期中传播感知任务。由此产生的查询驱动的感知系统异步集成的结果，从记录的图像到一个符号和数字（我们称之为子符号）表示，形成的感知信念状态的机器人。
2019-03-28 cs.AI cs.CV cs.RO
Perceptual Generative Adversarial Networks for Small Object Detection
检测小物体是众所周知的挑战，由于其低分辨率和噪声表示。现有的目标检测流水线通常通过学习所有对象在多个尺度上的表示来检测小对象。然而，这样的ad hoc架构的性能增益通常限于支付计算成本。在这项工作中，我们解决了小目标检测的问题，通过开发一个单一的架构，内部升降机表示的小对象的“超分辨率”的，实现类似的大对象的特性，从而更有鉴别力的检测。为此，我们提出了一种新的感知生成对抗网络（感知GAN）模型，通过缩小小对象与大对象的表示差异来提高小目标检测。具体来说，它的生成器学习将小对象的感知差表示转换为与真正的大对象足够相似的超分辨率表示，以欺骗竞争对手。与此同时，它的搜索引擎与生成器竞争以识别生成的表示，并对生成器施加额外的感知要求-生成的小对象表示必须有利于检测目的。对具有挑战性的清华-腾讯100 K和加州理工学院基准的广泛评估很好地证明了感知GAN在检测小物体（包括交通标志和行人）方面的优越性。
2017-06-20 cs.CV
Progressively Unfreezing Perceptual GAN
Ocean University of China（中国海洋大学）
生成对抗网络（GANs）广泛应用于图像生成任务，但生成的图像通常缺乏纹理细节。在本文中，我们提出了一个通用的框架，称为渐进解冻感知GAN（PUPGAN），它可以生成具有精细纹理细节的图像。特别是，我们提出了一个自适应感知的感知特征提取器，它可以有效地测量生成的图像和真实图像的多层次特征之间的差异。此外，我们提出了一个渐进解冻方案的自适应感知感知，这确保了一个平稳的过渡过程中，从一个大规模的分类任务，以指定的图像生成任务。通过与经典基线算法在单幅图像超分辨率、成对图像间平移和非成对图像间平移三个图像生成任务上的定性和定量对比实验，验证了PUPGAN算法的优越性。
2020-06-18 cs.CV eess.IV
Adversarial Manipulation of Deep Representations
University of Toronto（多伦多大学）；Architech Labs（Architech实验室）
我们表明，可以操纵深度神经网络（DNN）中的图像表示来模仿其他自然图像，对原始图像只有微小的、不可感知的扰动。以前生成对抗图像的方法主要集中在图像扰动上，这些图像扰动旨在产生错误的类标签，而我们则专注于DNN表示的内部层。通过这种方式，我们新的对抗性图像类别与其他类别有质的不同。虽然对手在感知上类似于一个图像，但其内部表示似乎与不同的图像非常相似，一个来自不同的类别，与输入几乎没有任何明显的相似性;它们似乎是通用的，与自然图像的空间一致。这种现象引发了关于DNN表示以及自然图像本身属性的问题。
2016-03-04 cs.CV cs.LG cs.NE
Exploration-assisted Bottleneck Transition Toward Robust and Data-efficient Deformable Object Manipulation
本文提出ExBot框架，通过引入瓶颈状态和双动作原语解决可变形物体 manipulation 中的out-of-distribution问题，提升数据效率和鲁棒性。
2026-03-14 cs.CV cs.RO
Deep Learning-based Image Super-Resolution Considering Quantitative and Perceptual Quality
Yonsei University（延世大学）
最近，已经表明，在超分辨率中，在超分辨率图像的定量和感知质量之间存在折衷关系，其分别对应于与地面实况图像的相似性和自然度。在本文中，我们提出了一种新的超分辨率方法，可以提高感知质量的放大图像，同时保持传统的定量性能。所提出的方法采用深度网络进行多遍升级，同时使用一个神经网络和两个定量分数预测器网络。实验结果表明，该方法实现了定量和感知质量的良好平衡，表现出更令人满意的结果比现有的方法。
2019-04-19 cs.CV
A-ESRGAN: Training Real-World Blind Super-Resolution with Attention U-Net Discriminators
University of Michigan（密歇根大学）；Shanghai Jiao Tong University（上海交通大学）
盲图像超分辨率（SR）是CV中的一个长期任务，旨在恢复遭受未知和复杂失真的低分辨率图像。最近的工作主要集中在采用更复杂的退化模型来模拟现实世界的退化。由此产生的模型在感知损失方面取得了突破，并产生了感知上令人信服的结果。然而，当前生成对抗网络结构带来的局限性仍然很大：平等对待像素会导致忽略图像的结构特征，并导致性能缺陷，如扭曲的线条和背景过度锐化或模糊。在本文中，我们提出了A-ESR GAN，一个GAN模型的盲SR任务具有注意力的U-网为基础的，多尺度的，可以无缝集成与其他发电机。据我们所知，这是第一个工作，引入注意力U-网结构作为GAN解决盲SR问题的模型。并对多尺度注意力U-Net给模型带来性能突破的机制进行了解释。通过与现有工作的比较实验，我们的模型提出了国家的最先进的水平性能的非参考自然图像质量评价指标。我们的消融研究表明，使用我们的RRDB，基于RRDB的生成器可以在多个尺度上利用图像的结构特征，从而产生比以前的作品更逼真的高分辨率图像。
2021-12-19 cs.CV cs.LG eess.IV
Unsupervised Facial Geometry Learning for Sketch to Photo Synthesis
West Virginia University（西弗吉尼亚大学）
人脸素描照片合成是执法和数字娱乐行业中的一个重要应用，其目标是学习人脸素描图像与其对应的照片级真实感图像之间的映射。然而，配对的草图-照片训练数据的有限数量通常阻止当前框架学习草图的几何形状与其匹配的照片真实感图像之间的鲁棒映射。因此，在这项工作中，我们提出了一种方法来学习合成一个真实感的图像，从一个人脸素描在一个无监督的方式。与目前的无监督图像到图像的翻译技术相比，我们的框架利用了一种新的感知机器学习人脸的几何形状。学习面部先验信息使网络能够去除面部草图中的几何伪影。我们证明，同时优化的人脸照片生成器网络，采用所提出的感知的纹理明智的组合，结果在合成照片的质量和识别率的显着提高。我们通过对多个基线草图照片数据集进行广泛的实验来评估所提出的网络。
2018-10-12 cs.CV
Learning Generalizable Manipulation Policies with Object-Centric 3D Representations
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
提出模仿学习方法GROOT，构建对背景和视角变化鲁棒的以对象为中心的3D表征，并结合transformer策略与分割对应模型，使视觉操作策略能泛化至新场景与新对象。
2023-10-22 cs.CV cs.LG cs.RO
Improving Visual Representation Learning through Perceptual Understanding
Tractable AI（Tractable人工智能公司）
我们提出了一个扩展掩码自编码器（MAE），它通过明确鼓励学习更高的场景级别的功能，提高了模型学习的表示。我们通过以下方式做到这一点：（i）在生成的图像和真实图像之间引入感知相似性项（ii）结合对抗训练文献中的几种技术，包括多尺度训练和自适应增强。这些的组合不仅导致更好的像素重建，而且表现出更好的图像内的更高层次的细节。更重要的是，我们展示了我们的方法，感知MAE，导致更好的性能时，用于下游任务优于以前的方法。我们在ImageNet-1 K上实现了78.1%的top-1精度线性探测，微调时高达88.1%，其他下游任务的结果类似，所有这些都不使用额外的预训练模型或数据。
2023-03-28 cs.CV
LampMark: Proactive Deepfake Detection via Training-Free Landmark Perceptual Watermarks
Nanyang Technological University（南洋理工大学）；Qilu University of Technology（齐鲁工业大学）；Shandong University（山东大学）
针对被动深度伪造检测算法泛化性不足的问题，提出主动检测方法LampMark，通过免训练的地标感知水印，从面部地标生成二进制水印并嵌入图像，通过水印一致性检测深度伪造，性能优于现有方法。
2024-11-26 cs.CV
One-Step Diffusion for Perceptual Image Compression
Institute of Artificial Intelligence and Robotics（人工智能与机器人研究所）；School of Information and telecommunication（信息与电信学院）
本文提出一种单步扩散图像压缩方法，通过紧凑特征表示和判别器提升感知质量，实现46倍更快的推理速度。
2026-02-02 cs.CV
Perceptually Optimized Generative Adversarial Network for Single Image Dehazing
West Virginia University（西弗吉尼亚大学）
现有的单图像去雾方法包括基于模型的和基于学习的方法严重依赖于所谓的透射图的估计。尽管其概念简单，但使用传输映射作为中间步骤通常使得更难以优化重建图像的感知质量。为了克服这一弱点，我们提出了一种直接的深度学习方法，用于图像去雾，绕过了传输映射估计的步骤，并促进了端到端的感知优化。我们的技术贡献主要有三方面。首先，基于去雾和去噪之间的类比，我们提出通过递归深度残差学习直接学习从退化图像空间到无雾图像空间的非线性映射;其次，受生成对抗网络（GAN）成功的启发，我们提出通过引入自适应模糊条件的模糊度和损失函数来优化去雾图像的感知质量;第三，我们提出了一种新的应用程序的指导过滤，以消除臭名昭著的光环般的文物在大场景深度不连续性。大量的实验结果表明，所提出的感知优化的GAN（POGAN）去雾图像的主观质量往往比现有的国家的最先进的方法，特别是当有雾的条件变化更有利。
2018-05-03 cs.CV
RAN4IQA: Restorative Adversarial Nets for No-Reference Image Quality Assessment
Cooperative Medianet Innovation Center（协同媒体创新中心）；Key Laboratory of Machine Perception (MoE), School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院机器感知重点实验室（教育部））；Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS)（中国科学院智能信息处理重点实验室）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
受自由能大脑理论的启发，该理论意味着人类视觉系统（HVS）倾向于在看到失真图像时减少不确定性并恢复感知细节，我们提出了恢复性对抗网络（RAN），这是一种基于GAN的无参考模型图像质量评估（NR-IQA）。RAN模拟了HVS的过程，由三个部分组成：一个计算器，一个计算器和一个评估器。复原器恢复和重建输入的失真图像块，而复原器将重建的块与原始的无失真块区分开。恢复后，我们观察到恢复和失真的补丁之间的感知距离是单调的失真水平。基于这种现象，我们进一步定义了恢复增益（GoR）。评估器通过从失真和恢复的补丁中提取特征表示来预测感知分数以测量GoR。最后，输入图像的质量得分估计的补丁得分的加权和。在Waterloo Exploration、LIVE和TID 2013上的实验结果表明，与现有的NR-IQA模型相比，RAN具有更好的泛化能力。
2017-12-14 cs.CV
Unsupervised Deep Features for Remote Sensing Image Matching via Discriminator Network
Lahore University of Management Sciences（拉合尔管理科学大学）
深度感知网络的出现带来了机器视觉和图像感知的范式转变。最近通过潜在空间中的手工特征进行的图像理解已经被从监督网络获得的深层特征所取代，以提高理解。然而，这种深度网络需要严格的监督，需要大量的标记数据来进行真实的训练过程。这些方法在缺乏标记数据的领域表现不佳，特别是在遥感图像检索的情况下。解决这个问题，我们提出了一个无监督的编码器-解码器的遥感图像匹配（RSIM）功能。此外，我们用深度神经网络代替传统的距离度量来识别图像对的相似性。据我们所知，在解决RSIM问题之前，还从未使用过递归网络。两个公开的基准遥感图像数据集的结果进行了验证。该技术也被研究为基于内容的遥感图像检索（CBRSIR），RSIM的广泛使用的应用程序之一。结果表明，我们的技术取代国家的最先进的方法用于无监督图像匹配的平均平均精度（mAP）为81%，和图像检索的mAP分数的整体改善约12%。
2018-10-15 cs.CV
Efficient Unpaired Image Dehazing with Cyclic Perceptual-Depth Supervision
The University of Hong Kong（香港大学）
没有成对无雾图像的图像去雾非常重要，因为获取成对图像通常需要大量成本。然而，我们观察到，以前的不成对图像去雾方法往往会受到深度边界附近的性能下降，其中深度往往会突然变化。因此，我们提出了退火的深度边界退化的非成对图像去雾与循环感知深度监督。再加上双路径特征重用生成器和鉴别器的主干，我们的模型在NYU Depth V2数据集上实现了$\mathbf{20.36}$峰值信噪比（PSNR），显著优于其前任，减少了浮点运算（FLOPs）。
2020-07-10 cs.CV eess.IV
Perceptual Video Super Resolution with Enhanced Temporal Consistency
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Amazon Research（亚马逊研究院）
随着感知损失函数的出现，超分辨率的新可能性已经出现，我们目前已经有模型成功地从低分辨率观测中生成接近照片真实的高分辨率图像。然而，到目前为止，这种方法仅限于单个图像超分辨率。感知损失函数在视频处理上的应用仍然需要若干挑战，主要涉及所生成图像的时间一致性的缺乏，即，闪烁的伪影在这项工作中，我们提出了一种新的对抗性递归网络，用于视频放大，能够以时间一致的方式产生逼真的纹理。所提出的架构自然地利用来自先前帧的信息，这是由于其循环架构，即生成器的输入由低分辨率图像以及前一步网络的扭曲输出组成。连同视频序列，我们还提出了额外的损失函数，以进一步加强所生成的序列的时间一致性。我们的算法的实验验证表明，我们的方法的有效性，获得高感知质量和改善的时间一致性的图像。
2019-05-02 cs.CV
A study on the use of perceptual hashing to detect manipulation of embedded messages in images
Hamburg University of Applied Sciences（汉堡应用科学大学）
通常，图像的元数据存储在图像文件的特定数据段中。然而，为了安全地检测变化，数据也可以嵌入到图像中。这遵循的目标是以不可见和鲁棒的方式嵌入尽可能多的信息，理想情况下，甚至可以在压缩中幸存下来。这项工作的嵌入原则，允许区分无意的变化，有损图像压缩和恶意操纵的嵌入式消息的基础上，其感知或强大的哈希值的变化。比较了不同的嵌入和压缩算法。研究表明，通过整数小波变换嵌入的信息和压缩与Karhunen-Loeve变换产生最好的结果。然而，不可能在所有情况下区分操纵和压迫。
2023-02-28 cs.CR cs.CV eess.IV
The 2018 PIRM Challenge on Perceptual Image Super-resolution
Technion–Israel Institute of Technology（以色列理工学院）；ETH Zurich（苏黎世联邦理工学院）
本文报告了2018年感知超分辨率（SR）的Pestrian挑战，该挑战与ECCV 2018的感知图像复原和操作（Pestrian）研讨会一起举行。与之前的SR挑战相比，我们的评估方法联合量化了准确性和感知质量，因此使感知驱动的方法能够与以PSNR最大化为目标的算法竞争。21个参与团队介绍了算法，这些算法在感知SR中对现有的最先进的方法进行了很好的改进，这一点得到了人类意见研究的证实。我们还分析了流行的图像质量指标，并得出结论，其中最相关的人的意见分数。最后，我们分析了当前的趋势，在感性SR，反映了领先的意见书。
2019-01-31 cs.CV
MoPA: Coordinated Mobile Manipulation via Subsystem-Specific Perception Alignment
THU（清华大学）；Xspark AI；HKUST (GZ)（香港科技大学（广州））；HKU（香港大学）
MoPA通过双感知流和感知到动作适应，对齐移动与操作的感知条件化，在ManiSkill-HAB和真实任务中实现最先进性能。
2026-09-15 cs.CV cs.RO
Generative Adversarial Networks and Perceptual Losses for Video Super-Resolution
Northwestern University（西北大学）；Universidad de Granada（格拉纳达大学）
视频超分辨率（VSR）已成为视频处理中的关键问题之一。在深度学习文献中，最近的工作已经显示出使用基于对抗性和感知损失来提高各种图像复原任务的性能的好处;然而，这些还没有应用于视频超分辨率。在这项工作中，我们提出了一个生成对抗网络（GAN）为基础的制定VSR。我们引入了一个新的生成器网络优化的VSR问题，命名为VSRResNet，以及一个新的神经网络架构，以正确指导VSRResNet在GAN训练。我们进一步增强了我们的VSR GAN制定与两个正则化，在特征空间和像素空间的距离损失，以获得我们最终的VSRResistance GAN模型。我们表明，用均方误差损失预训练我们的生成器仅在数量上超过当前最先进的VSR模型。最后，我们采用PercepDist度量（Zhang et al.，2018）来比较最先进的VSR模型。我们表明，与常用的PSNR/SSIM指标相比，该指标更准确地评估从神经网络获得的SR解决方案的感知质量。最后，我们表明，我们提出的模型，VSRRescultGAN模型，优于目前最先进的SR模型，无论是定量和定性。
2018-12-19 cs.CV
HP-GAN: Harnessing pretrained networks for GAN improvement with FakeTwins and discriminator consistency
School of Electrical and Electronic Engineering, Yonsei University, Seoul, Republic of Korea（电气电子工程学院，延世大学，首尔，大韩民国）；Robotics Institute, Korea Institute of Science and Technology, Seoul, Republic of Korea（机器人研究所，韩国科学技术院，首尔，大韩民国）；Department of Oral and Maxillofacial Radiology, Yonsei University College of Dentistry, Seoul, Republic of Korea（口腔和颌面放射科，延世大学牙科学院，首尔，大韩民国）
HP-GAN通过FakeTwins和判别器一致性技术提升GAN性能，有效增强图像多样性和质量。
2026-02-05 cs.CV
SRPGAN: Perceptual Generative Adversarial Network for Single Image Super Resolution
Peking Univeristy（北京大学）
单幅图像超分辨率（SISR）是指从一幅低分辨率图像重建出一幅高分辨率图像。在过去的二十年里，SISR任务一直是一个非常有吸引力的研究课题。近年来，基于卷积神经网络（CNN）的模型在SISR任务上取得了很好的性能。尽管使用CNN模型取得了突破性进展，但仍有一些问题尚未解决，例如如何恢复高分辨率图像的高频细节。先前的基于CNN的模型总是使用像素损失，例如l2损失。虽然这些模型构造的高分辨率图像具有较高的峰值信噪比（PSNR），但它们往往是模糊的，缺乏高频细节，特别是在一个大的缩放因子。在本文中，我们建立了一个超分辨率感知生成对抗网络（SRPGAN）框架SISR任务。在该框架中，我们提出了一个鲁棒的感知损失的基础上建立SRPGAN模型。我们使用Charbonnier损失函数来构建内容损失，并将其与所提出的感知损失和对抗损失相结合。与其他国家的最先进的方法相比，我们的方法已经证明了强大的能力，构建图像的边缘清晰和丰富的细节。我们还在不同的基准上评估了我们的方法，并将其与以前基于CNN的方法进行了比较。结果表明，我们的方法可以实现更高的结构相似性指数（SSIM）的分数在大多数的基准比以前的国家的最先进的方法。
2017-12-20 cs.CV
Robust Identity Perceptual Watermark Against Deepfake Face Swapping
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Shandong Artificial Intelligence Institute, Qilu University of Technology (Shandong Academy of Sciences)（山东人工智能研究院，齐鲁工业大学（山东科学院））；School of Cyber Security, Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东科学院）网络安全学院）；Key Laboratory of Computing Power Network and Information Security, Ministry of Education, China（教育部计算能力网络与信息安全重点实验室）
针对 Deepfake 换脸引发的隐私问题及现有主动防御方法的不足，提出一种鲁棒的身份感知水印框架，通过结合身份语义、混沌加密与对抗训练，实现了无需真实标签的高效伪造检测与溯源，在跨数据集和跨篡改设置下达到最先进水平。
2025-11-04 cs.CV
DVC-P: Deep Video Compression with Perceptual Optimizations
Xidian University（西安电子科技大学）；BBC Research & Development（英国广播公司研发中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Northwestern Polytechnical University（西北工业大学）
近年来，基于学习的视频压缩方法取得了显著的发展，其目标是优化客观或感知质量和比特率。在本文中，我们介绍了深度视频压缩与感知优化（DVC-P），其目的是提高解码视频的感知质量。我们提出的DVC-P基于深度视频压缩（DVC）网络，但通过感知优化对其进行了改进。具体来说，一个可伸缩网络和一个混合损失，以帮助我们的网络之间的失真，感知和速率权衡。此外，最近邻插值被用来消除棋盘文物，可能会出现在序列编码与DVC框架。由于这两个改进，解码序列的感知质量得到改善。实验结果表明，与基线DVC相比，我们提出的方法可以生成具有更高的感知质量的视频，平均实现12.27%的感知BD率等效降低。
2021-10-08 cs.CV cs.MM eess.IV
Structure-Guided Image Completion with Image-level and Object-level Semantic Discriminators
University of Rochester（罗切斯特大学）；Adobe Research（奥多比研究院）
本文提出一种结合图像级语义判别器和对象级判别器的学习范式，通过引入预训练视觉特征和对齐实例约束，显著提升了复杂场景下结构引导图像补全的生成质量，并在多种编辑任务和标准修复上取得最先进结果。
2024-04-24 cs.CV cs.GR
PerceptionGAN: Real-world Image Construction from Provided Text through Perceptual Understanding
Indian Institute of Technology Delhi（印度理工学院德里分校）；Singapore University of Technology and Design（新加坡科技设计大学）
从所提供的描述性文本生成图像是一项相当具有挑战性的任务，因为难以结合感知信息（对象形状、颜色及其交互）以及提供与所提供的文本相关的高相关性。当前的方法首先生成初始低分辨率图像，其通常具有不规则的对象形状、颜色和对象之间的交互。然后，通过对文本进行调节来改善该初始图像。然而，这些方法主要解决在初始生成图像的细化中有效使用文本表示的问题，而正如DM-GAN论文中指出的那样，这个细化过程的成功在很大程度上取决于初始生成图像的质量。因此，我们提出了一种方法来提供良好的初始化图像，将感性的理解，在模块中。我们在第一阶段本身改善了感知信息，这导致最终生成的图像有了显着的改善。在本文中，我们已经将我们的方法应用于新颖的StackGAN架构。然后，我们表明，包括在初始图像的感知信息得到改善，同时在多个阶段的图像分布建模。最后，我们生成了逼真的彩色图像的文字条件。这些图像具有良好的质量以及包含改进的基本感知信息。更重要的是，所提出的方法可以集成到其他国家的最先进的基于文本的图像生成模型的管道，以生成初始的低分辨率图像。我们还致力于通过增强StackGAN架构中生成器对的第三阶段来改进StackGAN中的细化过程。我们的实验分析和国家的最先进的一个大的，但稀疏的数据集MS COCO进一步验证了我们提出的方法的有用性。
2020-07-02 cs.AI cs.CV cs.GR
Lightweight Generative Adversarial Networks for Text-Guided Image Manipulation
University of Oxford（牛津大学）；University of Hong Kong（香港大学）
我们提出了一种新的轻量级生成对抗网络，使用自然语言描述进行有效的图像操作。为了实现这一点，提出了一种新的词级训练器，它为生成器提供了词级的细粒度训练反馈，以便于训练具有少量参数的轻量级生成器，但仍然可以正确地关注图像的特定视觉属性，然后编辑它们而不会影响文本中未描述的其他内容。此外，由于与每个单词相关的显式训练信号，还可以简化训练器以具有轻量结构。与现有技术相比，我们的方法具有更少的参数，但仍然达到了有竞争力的操作性能。大量的实验结果表明，该方法能够更好地将不同的视觉属性分解，并正确地映射到相应的语义词，从而实现更精确的图像修改，并使用自然语言描述。
2020-10-23 cs.CL cs.CV cs.LG
Unleashing the Power of One-Step Diffusion based Image Super-Resolution via a Large-Scale Diffusion Discriminator
Shanghai Jiao Tong University（上海交通大学）；Harvard University（哈佛大学）；Westlake University（西湖大学）；South China University of Technology（华南理工大学）
本文提出一步扩散超分辨率模型D$^3$SR，通过大规模扩散判别器在潜在空间蒸馏任意时间步特征，突破教师模型限制，并引入EA-DISTS感知损失，以更快推理和更少参数取得与多步扩散方法相当或更优的效果。
2025-03-09 cs.CV
Co-learning Single-Step Diffusion Upsampler and Downsampler with Two Discriminators and Distillation
School of Computing, KAIST（韩国科学技术院计算机学院）
提出协同学习框架，联合训练单步扩散上采样器与可学习下采样器，并引入双判别器和循环蒸馏，在通用与人脸SR上实现最先进保真度和感知质量。
2025-03-16 cs.CV eess.IV
Enhancing Perceptual Loss with Adversarial Feature Matching for Super-Resolution
Carnegie Mellon University（卡内基梅隆大学）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；International Institute of Information Technology Bhubaneswar（布巴内斯瓦尔国际信息技术学院）
单图像超分辨率（SISR）是一个不确定有效解个数的不适定问题。用神经网络解决这个问题需要获得丰富的经验，无论是作为自然图像上的大型训练集，还是来自另一个预训练网络的压缩表示。属于后一类的感知损失函数在SISR和其他几个计算机视觉任务中取得了突破性的成功。虽然感知损失在照片级真实感图像的生成中起着核心作用，但它也会在超分辨率输出中产生不期望的图案伪影。在本文中，我们证明了这些模式伪影的根本原因可以追溯到感知损失的预训练目标和超分辨率目标之间的不匹配。为了解决这个问题，我们建议用一种新的内容损失函数来增强现有的感知损失公式，该函数使用一个神经网络的潜在特征来过滤几个对抗相似度级别上不需要的伪影。此外，我们的修改对对抗训练中的非凸优化具有稳定作用。所提出的方法提供了显着的收益的感知质量的基础上，广泛的人类评价研究和主管重建保真度时，测试的客观评价指标。
2020-05-15 cs.CV eess.IV
Rethinking Sampling in 3D Point Cloud Generative Adversarial Networks
Stanford University（斯坦福大学）；Google Research（谷歌研究院）；University of California, San Diego（加州大学圣地亚哥分校）；Shanghai Jiao Tong Univeristy（上海交通大学）
在本文中，我们研究了点云GANs中点采样模式长期被忽视但重要的影响。通过大量的实验，我们表明，采样不敏感的鉴别器（例如PointNet-Max）产生的形状点云与点聚类工件，而采样过度敏感的鉴别器（例如PointNet++，DGCNN）未能指导有效的形状生成。我们提出了采样谱的概念来描述鉴别器的不同采样灵敏度。我们进一步研究了不同的评价指标如何衡量采样模式对几何形状，并提出了几个感知指标形成一个采样谱的度量。在所提出的采样谱的指导下，我们发现了一个中间点采样感知的基线模型PointNet-Mix，它在采样相关指标上大幅提高了所有现有的点云生成器。我们指出，虽然最近的研究一直集中在生成器的设计，点云GAN的主要瓶颈实际上在于可重构设计。我们的工作为构建未来的判别器提供了建议和工具。我们将发布代码以方便未来的研究。
2020-06-12 cs.CV cs.LG eess.IV
DSRGAN: Detail Prior-Assisted Perceptual Single Image Super-Resolution via Generative Adversarial Networks
Beihang University（北京航空航天大学）；Institute for Infocomm Research（资讯通信研究院）
将生成对抗网络（GAN）成功地应用于感知单图像超分辨率（SISR）研究。然而，GAN经常倾向于生成具有与真实细节不一致的高频细节的图像。传统的细节增强算法的启发，我们提出了一种新的先验知识，细节先验，以协助GAN在减轻这个问题，恢复更真实的细节。所提出的方法，命名为DSRGAN，包括一个精心设计的细节提取算法，捕捉最重要的高频信息的图像。然后，两个鉴别器分别用于监督图像域和细节域的简化。DSRGAN通过细节增强的方式将恢复的细节融合到最终输出中。DSRGAN的特殊设计同时利用了基于模型的传统算法和数据驱动的深度学习网络。实验结果表明，DSRGAN优于国家的最先进的SISR方法的感知指标，并取得可比的结果，同时在保真度指标。在DSRGAN之后，将其他常规图像处理算法并入深度学习网络以形成基于模型的深度SISR是可行的。
2021-12-25 cs.CV eess.IV
Identity-Aware Deep Face Hallucination via Adversarial Face Verification
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一种新的多尺度生成对抗网络（GAN）架构优化的人脸验证，以解决人脸幻觉的问题。首先，我们提出了一个多尺度生成器架构的人脸超分辨率与一个高的放大率因子，它有多个中间输出在不同的分辨率。中间输出的目标是合成从小到大的图像。其次，我们将人脸验证器与原始的GAN人脸识别器相结合，并提出了一种新的人脸识别器，它可以学习区分不同的身份，同时区分虚假的HR人脸图像与真实图像。特别是，学习的生成器不仅关心幻觉面部图像的视觉质量，而且还在幻觉过程中保留有区别的特征。此外，为了捕获感知相关的差异，我们采用感知相似性损失，而不是像素空间中的相似性。我们在LFW和CelebA数据集上对我们的框架进行了定量和定性评估。实验结果表明，我们提出的方法对国家的最先进的方法的优势，在8倍下采样的测试数据集。
2019-09-17 cs.CV cs.LG
Fine-Grained Expression Manipulation via Structured Latent Space
Shanghai Jiao Tong University（上海交通大学）
细粒度的面部表情处理是一个具有挑战性的问题，因为细粒度的表情细节很难被捕获。现有的表达式操作方法大多采用离散的表达式标签，主要是对全局表达式进行编辑，而忽略了对细节的操作。为了解决这个问题，我们提出了一个端到端的表达引导的生成对抗网络（EGGAN），它利用结构化的潜在代码和连续的表达标签作为输入来生成具有预期表达的图像。具体来说，我们采用了一个对抗性的自动编码器映射到一个结构化的潜在空间的源图像。然后，给定源潜码和目标表情标签，我们采用条件GAN来生成具有目标表情的新图像。此外，我们引入了感知损失和多尺度结构相似性损失，以保持身份和全球形状在生成过程中。大量的实验表明，我们的方法可以操作细粒度的表达式，并产生源和目标表达式之间的连续的中间表达式。
2020-05-10 cs.CV
Perception-oriented Single Image Super-Resolution via Dual Relativistic Average Generative Adversarial Networks
Wuhan University of Technology（武汉理工大学）；Hubei Key Laboratory of Broadband Wireless Communication and Sensor Networks（湖北省宽带无线通信与传感器网络重点实验室）；School of Civil Engineering & Architecture（土木工程与建筑学院）；School of Information Engineering（信息工程学院）；State Key Laboratory of Magnetic Resonance and Atomic Molecular Phys（磁共振与原子分子物理国家重点实验室）
残差和稠密神经网络的出现极大地促进了图像超分辨率的发展，并取得了令人瞩目的成果。根据我们的观察，虽然更多的层和连接总是可以提高性能，模型参数的增加不利于启动应用的SR算法。此外，由L1/L2损失监督的算法可以在诸如PSNR和SSIM的传统指标上实现相当大的性能，但导致模糊和过度平滑的输出，而没有足够的高频细节，即低感知指数（PI）。针对这些问题，本文提出了一种基于对偶相对论平均生成对抗网络的面向感知的单图像SR算法。在生成器部分，提出了一种新的残余通道注意块来重新校准特定通道的重要性，进一步增加了特征表达能力。每个块内的卷积层的参数被共享以扩展感受野，同时保持可调参数的量不变。使用子像素卷积对特征图进行子采样以获得重构的高分辨率图像。该算法由两个分别工作在像素域和特征域的相对论平均判别器组成，充分利用了小批量数据中有一半是假数据的先验知识。利用感知损失和对抗损失的不同加权组合来监督生成器平衡感知质量和客观结果。实验结果和消融研究表明，我们提出的算法可以媲美国家的最先进的SR算法，无论是感知（PI最小化）和客观（PSNR最大化）与较少的参数。
2020-02-20 cs.CV eess.IV
Fourier Space Losses for Efficient Perceptual Image Super-Resolution
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
许多超分辨率（SR）模型仅针对高性能进行优化，因此由于模型复杂性大而缺乏效率。由于大型模型在实际应用中往往不实用，我们研究并提出了新的损失函数，以使SR具有更高的感知质量，从更有效的模型。对于一个给定的低复杂度发电机网络的代表性功率只能通过对最佳参数集的强有力指导来充分利用。我们表明，它是可能的，以提高最近推出的高效发电机架构的性能，仅与我们提出的损失函数的应用。特别是，我们使用傅立叶空间监督损失的改进恢复丢失的高频（HF）的内容从地面实况图像和设计一个直接在傅立叶域工作，以更好地匹配目标HF分布的嵌入式架构。我们表明，我们的损失直接强调傅立叶空间中的频率显着提高感知图像质量，同时保持高恢复质量相比，以前提出的损失函数这项任务。通过利用空间和频域损失的组合，性能得到进一步改善，因为两种表示在训练期间提供互补信息。最重要的是，经过训练的生成器实现了与最先进的感知SR方法RankSRGAN和SRFlow相当的结果，并且分别快2.4倍和48倍。
2021-06-01 cs.CV eess.IV
Adversarial Inpainting of Medical Image Modalities
许多因素会导致医学图像的局部劣化。例如，金属植入物将导致MRI扫描中的局部扰动。这将影响进一步的后处理任务，例如PET/MRI或放射治疗计划中的衰减校正。在这项工作中，我们提出了通过生成对抗网络（GANs）修复医学图像。建议的框架采用了两个补丁为基础的修复网络与额外的风格和感知损失的修复丢失的信息，在现实的详细和上下文一致的方式。所提出的框架优于其他自然图像修补技术的定性和定量两种不同的医疗模式。
2018-10-15 cs.CV
Efficient Deep Neural Network for Photo-realistic Image Super-Resolution
NAVER WEBTOON AI（NAVER WEBTOON人工智能）；SUNY Korea（纽约州立大学韩国分校）；Ajou University（亚洲大学）
基于深度学习的模型的最新进展显著改善了照片级真实感（或感知）单图像超分辨率。然而，尽管许多方法具有强大的性能，但由于计算要求很高，因此很难应用于现实世界的应用。为了便于在这种需求下使用深度模型，我们专注于在保持网络效率的同时保持其性能。详细地说，我们设计了一个架构，实现了一个级联机制上的残留网络，以提高性能有限的资源，通过多层次的特征融合。此外，我们提出的模型采用组卷积和递归方案，以达到极高的效率。我们通过采用对抗学习范式和多尺度学习方法进一步提高了输出的感知质量。我们的方法的性能进行了研究，通过广泛的内部实验和基准使用各种数据集。我们的研究结果表明，我们的模型优于最近的方法具有类似的复杂性，对于传统的基于像素和基于感知的任务。
2022-03-15 cs.CV
GeoThreat: Transferable Targeted Adversarial Attacks on Large Vision-Language Models for Remote Sensing Image Interpretation
Department of Mathematics, Hong Kong Baptist University（香港浸会大学数学系）；School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院）
研究针对大型视觉语言模型在遥感图像解释中的对抗攻击问题，提出GeoThreat方法，通过在概念和感知层面调制对抗表示，结合对抗目标相似性梯度等技术，实现可转移目标对抗攻击，实验证明该方法在可转移性和可控性上具有优越性。
2026-07-24 cs.CV
Where the Cost Falls: A Deployment-Aware Adoption Order for Stability Enhancements to Cycle-Consistent Adversarial Networks
University of Ottawa（渥太华大学）
该研究针对循环一致对抗网络的四种稳定性增强方法，提出了部署感知的采用顺序，分析了各增强的成本差异与适配场景，通过马到斑马转换实验验证了效果并明确了后续研究方向。
2026-08-18 cs.CV
High-Fidelity Generative Image Compression
ETH Zürich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
我们广泛研究了如何将生成对抗网络和学习压缩相结合，以获得最先进的生成有损压缩系统。特别是，我们研究了归一化层，生成器和递归架构，训练策略以及感知损失。与以前的工作相比，i）我们获得了视觉上与输入相似的视觉上令人愉悦的重建，ii）我们在广泛的比特率范围内操作，iii）我们的方法可以应用于高分辨率图像。我们弥合率失真感知理论和实践之间的差距，通过评估我们的方法定量与各种感知指标，并与用户研究。研究表明，我们的方法优于以前的方法，即使它们使用超过2倍的比特率。
2020-10-23 cs.CV cs.LG eess.IV
Joint Demosaicing and Super-Resolution (JDSR): Network Design and Perceptual Optimization
West Virginia University（西弗吉尼亚大学）；Case Western Reserve University（凯斯西储大学）
图像去马赛克和超分辨率是彩色图像处理中的两个重要任务。到目前为止，它们大多是在深度学习的开放文献中独立研究的;对于制定联合去马赛克和超分辨率（JDSR）问题的潜在好处知之甚少。在本文中，我们提出了一个端到端的JDSR问题的优化解决方案，并证明其在计算成像的实际意义。我们的技术贡献主要有两方面。在网络设计上，我们开发了一个由预去马赛克网络（PDNet）作为预处理步骤支持的残差密集压缩和激励网络（RDSEN）。我们解决了彩色滤光片阵列（CFA）数据的空间光谱注意力的问题，并讨论了如何实现更好的信息流，通过串联剩余密集的挤压和激发块（RDSEBs）的JDSR。实验结果表明，显着的PSNR/SSIM增益可以实现RDSEN在以前的网络架构，包括国家的最先进的RCAN。在感知优化方面，我们提出利用最新的思想，包括相对论性的优化和预激励感知损失函数，以进一步提高重建图像中纹理区域的视觉质量。我们广泛的实验结果表明，纹理增强相对论平均生成对抗网络（TRa GAN）可以产生主观上更愉快的图像和客观上更低的感知失真分数比标准GAN的JDSR。最后，我们已经验证了JDSR的好处，以高质量的图像重建从现实世界中的拜耳模式数据收集的NASA火星探测器。
2020-08-04 cs.CV eess.IV
The Unreasonable Effectiveness of Texture Transfer for Single Image Super-resolution
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Amazon Research（亚马逊研究院）
虽然隐式生成模型（如GANs）在使用各种损失的组合进行高质量图像重建和操作方面表现出令人印象深刻的结果，但我们考虑了一种更简单的方法，从而获得令人惊讶的强大结果。我们表明，纹理损失单独允许生成感知高质量的图像。我们提供了一个更好的理解纹理约束机制，并开发了一种新的语义引导纹理约束方法进一步改进。使用最近开发的感知度量，采用“深度特征”，并称为LPIPS，该方法获得了最先进的结果。此外，我们表明，这些深层特征的纹理表示比原始的深层特征更好地捕捉图像的感知质量。使用纹理信息，现成的深度分类网络（未经训练）的性能与性能最佳（调整和校准）的LPIPS指标一样好。代码是公开的。
2018-07-31 cs.CV
HyperGAN-CLIP: A Unified Framework for Domain Adaptation, Image Synthesis and Manipulation
Koç University（科克大学）；University of Cambridge（剑桥大学）；Adobe Research（奥多比研究院）；Hacettepe University（哈杰泰佩大学）
本文提出HyperGAN-CLIP框架，通过超网络将CLIP空间集成到预训练StyleGAN中，实现域自适应、参考引导合成和文本引导操纵，无需文本特定训练数据即可完成风格迁移。
2024-11-19 cs.CV
IR-GAN: Image Manipulation with Linguistic Instruction by Increment Reasoning
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）
条件图像生成是一个非常活跃的研究课题，包括文本到图像和图像翻译。近年来，语言指导下的图像处理给多模态条件生成带来了新的挑战。然而，传统的条件图像生成模型主要关注于生成高质量、视觉真实感强的图像，缺乏解决图像与指令之间的局部一致性问题。为了解决这个问题，我们提出了一个增量推理生成对抗网络（IR-GAN），其目的是原因之间的一致性视觉增量图像和语义增量的指令。首先，我们引入单词级和提示级指令编码器，从历史相关指令中学习用户意图作为语义增量。然后将语义增量表示嵌入到源图像的语义增量表示中，生成目标图像，源图像起到参照辅助的作用。最后，我们提出了一个推理机来衡量视觉增量和语义增量之间的一致性，从而净化了用户的意图，并保证了生成的目标图像的良好逻辑。在两个数据集上进行的大量实验和可视化表明了IR-GAN的有效性。
2022-04-02 cs.CV
Perceptual Learned Source-Channel Coding for High-Fidelity Image Semantic Transmission
Beijing University of Posts and Telecommunications（北京邮电大学）；Peng Cheng Laboratory（鹏城实验室）
基于深度学习的联合信源-信道编码（deep JSCC）方法作为一种实现端到端无线图像语义传输的新方法，在深度学习和通信领域都得到了广泛的应用。然而，当前的深度JSCC图像传输系统通常针对诸如峰值信噪比（PSNR）或多尺度结构相似性（MS-SSIM）的传统失真度量进行优化。但是对于低传输速率，由于不完美的无线信道，这些失真度量失去意义，因为它们有利于逐像素保存。为了考虑语义通信中的人类视觉感知，开发超越传统PSNR和MS-SSIM指标的新的深度JSCC系统非常重要。在本文中，我们引入对抗性损失来优化深度JSCC，它倾向于保留全局语义信息和局部纹理。我们新的深度JSCC架构结合了编码器、无线通道、解码器/生成器和鉴别器，它们在感知和对抗损失的情况下联合学习。我们的方法比最先进的工程图像编码传输系统和传统的深度JSCC系统在视觉上产生更令人满意的结果。用户研究表明，在保证端到端图像传输质量的前提下，该方法可以节省约50%的无线信道带宽开销。
2022-05-26 cs.CV cs.IT math.IT
