Color-$S^{4}L$: Self-supervised Semi-supervised Learning with Image Colorization
Harbin Institute of Technology（哈尔滨工业大学）
本工作提出自监督半监督学习框架Color-$S^{4}L$，通过引入图像着色代理任务，在CIFAR-10等数据集上验证了其优于以往监督与半监督方法的图像分类性能。
2024-01-08 cs.CV
Learning Representations for Automatic Colorization
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们开发了一个全自动的图像彩色化系统。我们的方法利用了深度网络的最新进展，利用了低级和语义表示。由于许多场景元素根据多模态颜色分布自然出现，我们训练我们的模型来预测每像素的颜色直方图。该中间输出可用于自动生成彩色图像，或在图像形成之前进一步处理。在完全和部分自动着色任务，我们优于现有的方法。我们还探索将着色作为自监督视觉表示学习的工具。
2017-08-13 cs.CV
Temporal Consistent Automatic Video Colorization via Semantic Correspondence
Beijing University of Posts and Telecommunications（北京邮电大学）
提出一种结合语义对应的自动视频着色框架，通过参考图像和前一帧双重监督，提升长程时序一致性，在NTIRE 2023挑战赛中获第三名。
2023-05-13 cs.CV
ChromaGAN: Adversarial Picture Colorization with Semantic Class Distribution
灰度图像的彩色化是一个病态问题，存在多个正确解。在本文中，我们提出了一种与语义信息相结合的对抗性学习着色方法。一个生成网络被用来推断一个给定的灰度图像的色度条件的语义线索。该网络构建在一个对抗模型中，该模型通过结合对颜色和类别分布的感知和语义理解来学习着色。该模型通过完全自我监督的策略进行训练。定性和定量的结果表明，所提出的方法着色图像的能力，以现实的方式实现国家的最先进的结果。
2020-01-20 cs.CV
Towards Vivid and Diverse Image Colorization with Generative Color Prior
Applied Research Center (ARC), Tencent PCG（腾讯平台与内容事业群应用研究中心）
近年来，彩色化吸引了越来越多的兴趣。经典的基于参考的方法通常依赖于外部彩色图像来获得合理的结果。一个大型的图像数据库或在线搜索引擎是不可避免地需要检索这样的样本。最近基于深度学习的方法可以以低成本自动为图像着色。然而，令人不满意的文物和不相干的颜色总是伴随着。在这项工作中，我们提出了GCP-Colorization，它利用封装在预训练的生成对抗网络（GAN）中的丰富多样的颜色先验进行自动着色。具体来说，我们首先通过GAN编码器“检索”匹配的特征（类似于样本），然后通过特征调制将这些特征纳入彩色化过程中。由于强大的生成色彩先验（GCP）和精致的设计，我们的GCP-Colorization可以通过一次向前传递产生生动的色彩。此外，通过修改GAN潜码可以非常方便地获得不同的结果。GCP-Colorization还继承了GANs的可解释控制的优点，并且可以通过遍历GAN潜在空间来实现可控和平滑的过渡。大量的实验和用户研究表明，GCP-Colorization实现了优于以往的作品。代码可在https://github.com/ToTheBeginning/GCP-Colorization上获得。
2022-08-08 cs.CV
Automatic Controllable Colorization via Imagination
Zhejiang University（浙江大学）；HKUST（香港科技大学）；CAIR, HKISI-CAS（中国科学院香港创新研究院人工智能与机器人中心）
本文提出基于想象模块的自动可控上色框架，借助预训练生成模型生成同内容参考图，并通过参考精炼模块择优，支持迭代与局部编辑，实验证明其在可编辑性和灵活性上优于现有方法。
2024-04-08 cs.CV
Colorful Image Colorization
University of California, Berkeley（加州大学伯克利分校）
给定一个灰度照片作为输入，本文攻击的问题，幻觉一个似是而非的彩色版本的照片。这个问题显然是不受约束的，所以以前的方法要么依赖于大量的用户交互，要么导致不饱和的着色。我们提出了一个全自动的方法，产生充满活力和现实的着色。我们通过将其作为分类任务来接受问题的潜在不确定性，并在训练时使用类重新平衡来增加结果中颜色的多样性。该系统在测试时被实现为CNN中的前馈通道，并在超过一百万张彩色图像上进行训练。我们使用“彩色图灵测试”来评估我们的算法，要求人类参与者在生成的彩色图像和地面真实彩色图像之间进行选择。我们的方法在32%的试验中成功地欺骗了人类，明显高于以前的方法。此外，我们表明，着色可以是一个强大的借口任务，自我监督的特征学习，作为一个跨通道编码器。这种方法在几个特征学习基准测试中获得了最先进的性能。
2016-10-05 cs.CV
The Power of Triply Complementary Priors for Image Compressive Sensing
Nanyang Technological University（南洋理工大学）；Nokia Bell Labs（诺基亚贝尔实验室）；Institute of High Performance Computing, A*STAR（A*STAR高性能计算研究所）；University of Macau（澳门大学）；University of Electronic Science and Technology of China（电子科技大学）
最近的作品，利用深度模型在各种图像恢复应用中取得了优异的成绩。这种方法通常是有监督的，其需要具有与待恢复的图像类似的分布的训练图像的语料库。另一方面，通常是无监督的浅层方法在许多逆问题，\eg，图像压缩感知（CS）仍然有前途的性能，因为它们可以有效地利用自然图像的非局部自相似先验。然而，大多数这样的方法是基于块的，导致恢复的图像具有各种振铃伪影，由于天真的补丁聚合。单独使用任何一种方法通常都会限制图像恢复任务的性能和通用性。本文提出了一种联合低秩深度（LRD）图像模型，该模型包含一对三重互补先验，即\textit{external}和\textit{internal}，\textit{deep}和\textit{shallow}，以及\textit{local}和\textit{non-local}先验.然后，我们提出了一种新的混合即插即用（H-PPEND）框架的基础上的LRD模型的图像CS。为了使优化易于处理，提出了一种简单而有效的算法来解决所提出的基于H-PSNR的图像CS问题。大量的实验结果表明，所提出的H-PSTK算法显着优于国家的最先进的技术，如SCSNet和WNNM的图像CS恢复。
2020-05-16 cs.CV eess.IV
A learning-based approach for automatic image and video colorization
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（信息通信研究院）
在本文中，我们提出了一种颜色转移算法，彩色化的灰度图像范围广，没有任何用户干预。该算法使用基于机器学习的方法来自动着色灰度图像。该算法使用参考彩色图像的超像素表示来学习不同图像特征与其对应的颜色值之间的关系。我们使用这些学习到的信息来预测每个灰度图像超像素的颜色值。与处理单个图像像素相比，我们使用超像素可以帮助我们实现更高程度的空间一致性，并加快着色过程。灰度图像超像素的预测颜色值用于在超像素的质心处提供“微涂鸦”。这些颜色涂鸦是通过使用基于投票的方法来改进的。为了生成最终的着色结果，我们使用基于优化的方法将颜色涂鸦平滑地散布在超像素内的所有像素上。在大量图像上的实验结果以及与现有的最先进的彩色化方法的比较表明了该算法的有效性。
2017-04-15 cs.CV cs.GR
Grayscale Image Colorization with GAN and CycleGAN in Different Image Domain
Carnegie Mellon University（卡内基梅隆大学）
本文针对灰度图像自动着色问题，复现基于 GAN 的着色模型并实验其变体，同时提出基于 CycleGAN 的模型，在多数据集上验证其在人脸和漫画着色上效果良好但多样性不足。
2024-01-21 cs.CV cs.LG
DACoN: DINO for Anime Paint Bucket Colorization with Any Number of Reference Images
Tokyo Denki University（东京电讯大学）
针对动漫线稿上色中遮挡、姿态与视角变化的难题，提出DACoN框架，融合基础模型语义特征与CNN空间特征，支持任意数量参考图像，实现了更优的上色效果。
2025-10-01 cs.CV
MFmamba: A Multi-function Network for Panchromatic Image Resolution Restoration Based on State-Space Model
MFmamba通过三种不同输入实现高空间分辨率彩色图像恢复，结合UNet++、Mamba Upsample Block和Dual Pool Attention，提升超分辨率与光谱恢复性能。
2025-11-24 cs.CV
Transforming Color: A Novel Image Colorization Method
Chosun University（朝鲜大学）
针对传统图像着色方法难捕捉长程依赖、效果不逼真的问题，提出融合Transformer与GAN、结合随机正态分布色彩编码器的着色方法，性能优于现有技术，为相关领域开辟新可能。
2024-10-07 cs.AI cs.CV
DDColor: Towards Photo-Realistic Image Colorization via Dual Decoders
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
针对图像着色中的多模态不确定性和颜色渗色问题，提出DDColor双解码器方法，通过像素解码器和查询颜色解码器协同工作，利用交叉注意力建立颜色与语义关联，并引入色彩丰富度损失，实现优于现有方法的照片级真实着色效果。
2023-09-05 cs.CV
Towards High-resolution and Disentangled Reference-based Sketch Colorization
The University of Tokyo（东京大学）；Project HAT（HAT项目）；Waseda University（早稻田大学）
本文提出了一种双分支框架，通过Gram正则化损失和动漫特定Tagger网络，实现高分辨率和解耦的素描上色，提升质量和可控性。
2026-03-09 cs.CV
Audio-Infused Automatic Image Colorization by Exploiting Audio Scene Semantics
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）；Peng Cheng National Laboratory（鹏城实验室）
本文提出了一种新颖且可插拔的音频注入自动图像着色方法（AIAIC），通过三阶段自监督学习利用音频场景语义辅助灰度图像着色，有效提升了自动着色性能。
2024-12-18 cs.AI cs.CV
Zero-Shot Image Restoration Using Denoising Diffusion Null-Space Model
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）
现有的图像复原模型大多是针对特定任务的，不能推广到不同的退化算子。在这项工作中，我们提出了去噪扩散零空间模型（DDNM），一个新的zero-shot框架的任意线性IR问题，包括但不限于图像超分辨率，彩色化，修复，压缩感知，去模糊。DDNM只需要一个预先训练的现成扩散模型作为生成先验，而不需要任何额外的训练或网络修改。通过在反向扩散过程中仅细化零空间内容，我们可以得到满足数据一致性和真实性的各种结果。我们进一步提出了一个增强和强大的版本，称为DDNM+，以支持噪声恢复和提高恢复质量的硬任务。我们在几个红外任务上的实验表明，DDNM优于其他国家的最先进的zero-shot红外方法。我们还证明了DDNM+可以解决复杂的现实世界的应用，例如，旧照片修复
2022-12-07 cs.CV
TextIR: A Simple Framework for Text-based Editable Image Restoration
Tsinghua University（清华大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai AI Laboratory（上海人工智能实验室）；Peng Cheng Laboratory（鹏城实验室）
现有的大多数图像复原方法使用神经网络从大量数据中学习强图像级先验来估计丢失的信息。然而，这些作品仍然挣扎的情况下，图像有严重的信息赤字。引入外部先验或使用参考图像来提供信息在应用领域中也具有局限性。相比之下，文本输入更容易获得，并且提供具有更高灵活性的信息。在这项工作中，我们设计了一个有效的框架，允许用户控制退化图像的恢复过程与文字描述。我们利用CLIP的文本-图像特征兼容性来减轻文本和图像特征融合的困难。我们的框架可以用于各种图像复原任务，包括图像修补，图像超分辨率，和图像彩色化。大量的实验证明了我们的方法的有效性。
2023-02-28 cs.CV
A Benchmarking Protocol for SAR Colorization: From Regression to Deep Learning Approaches
Beihang University（北京航空航天大学）；Institute of Methodologies for Environmental Analysis, CNR-IMAA（意大利国家研究委员会环境分析方法研究所）；National Biodiversity Future Center（国家生物多样性未来中心）；Polytechnic University of Catalonia（加泰罗尼亚理工大学）；University of the Bundeswehr（联邦国防军大学）
本文提出首个包含协议、基准和评估的SAR彩色化研究路线，基于cGAN实现灰度SAR图像彩色化并保留空间与辐射信息。
2023-10-12 cs.CV eess.IV
GLEAN: Generative Latent Bank for Image Super-Resolution and Beyond
Nanyang Technological University（南洋理工大学）；Tencent PCG（腾讯平台与内容事业群）；Shanghai AI Laboratory（上海人工智能实验室）
我们表明，预训练的生成对抗网络（GANs），如StyleGAN和BigGAN，可以用作潜在银行，以提高图像超分辨率的性能。虽然大多数现有的面向感知的方法试图通过对抗性损失的学习来生成现实的输出，但我们的方法Generative LatEnt bANk（GLEAN）通过直接利用封装在预训练的GAN中的丰富多样的先验知识来超越现有的实践。但与普遍的GAN反演方法不同，这些方法需要在运行时进行昂贵的图像特定优化，我们的方法只需要一个前向恢复过程。GLEAN可以很容易地结合在一个简单的编码器-银行-解码器架构与多分辨率跳跃连接。使用来自不同生成模型的先验知识，可以将GLEAN应用于不同的类别（\eg ~人脸、猫、建筑物和汽车）。我们进一步提出了一个轻量级版本的GLEAN，命名为LightGLEAN，它只保留GLEAN中的关键组件。值得注意的是，LightGLEAN仅包含21%的参数和35%的FLOP，同时实现了相当的图像质量。我们将我们的方法扩展到不同的任务，包括图像彩色化和盲图像复原，大量的实验表明，我们提出的模型相比现有的方法表现良好。代码和模型可在https://github.com/open-mmlab/mmediting上获得。
2022-07-29 cs.CV
Thermal Infrared Image Colorization for Nighttime Driving Scenes with Top-Down Guided Attention
University of Electronic Science and Technology of China（电子科技大学）；Beijing Institute of Basic Medical Sciences（北京基础医学研究所）
红外摄像机具有对光不敏感和雾环境下穿透力强的优点，被广泛应用于夜间交通场景的传感。然而，热红外（TIR）图像的低对比度和缺乏色度阻碍了高级计算机视觉算法的人类解释和可移植性。将夜间TIR图像转换为日间彩色（NTIR2DC）图像的着色可以是促进夜间场景感知的有希望的方式。尽管最近在图像翻译方面取得了令人印象深刻的进展，但NTIR2DC任务中的语义编码纠缠和几何失真仍然没有得到充分解决。因此，我们提出了一个自上而下的attEntion和gRadient aLignment为基础的GAN，称为珍珠GAN。首先设计了一个自上而下的引导注意模块和一个精心设计的注意损失，以减少翻译过程中的语义编码歧义。然后，引入结构化梯度对齐损失，以鼓励翻译和输入图像之间的边缘一致性。此外，像素级标注的FLIR和KAIST数据集的一个子集上进行的多种翻译方法的语义保持性能进行评估。此外，设计了一种新的度量标准来评价翻译过程中的几何一致性。大量的实验证明了所提出的PearlGAN在NTIR2DC任务中优于其他图像翻译方法。源代码和带标签的分割掩码将在\url{https://github.com/FuyaLuo/PearlGAN/}上提供。
2021-04-29 cs.CV
In-Token Learning for High-Fidelity Image Restoration via Diffusion Transformers
Zhejiang University（浙江大学）；Independent Researcher（独立研究者）
提出In-Token Learning框架，通过条件整流流匹配适配扩散Transformer，融合降质令牌与潜在令牌并采用直接低质量引导，在多个数据集上实现高保真图像恢复，含QHD推理与12K演示。
2026-09-29 cs.CV
Principal Uncertainty Quantification with Spatial Correlation for Image Restoration Problems
Verily Life Sciences（Verily生命科学公司）；Technion - Israel Institute of Technology（以色列理工学院）
针对图像逆问题中逐像素不确定性忽略空间相关、区域体积过大的问题，提出PUQ，利用生成模型和后验主成分构建高置信、更紧凑的不确定性区域。
2024-01-20 cs.CV
Generating Images with Sparse Representations
DeepMind
图像的高维性为基于似然性的生成模型提出了架构和采样效率的挑战。以前的方法，如VQ-VAE，使用深度自动编码器来获得紧凑的表示，这对于基于似然模型的输入更实用。我们提出了一种替代方法，灵感来自常见的图像压缩方法，如JPEG，并将图像转换为量化的离散余弦变换（DCT）块，这是稀疏表示为一个序列的DCT通道，空间位置，和DCT系数三元组。我们提出了一种基于transformer的自回归架构，该架构经过训练，可以顺序预测这些序列中下一个元素的条件分布，并且可以有效地扩展到高分辨率图像。在一系列图像数据集上，我们证明了我们的方法可以生成高质量，多样化的图像，样本度量得分与最先进的方法竞争。我们还表明，简单的修改，我们的方法产生有效的图像着色和超分辨率模型。
2021-03-05 cs.CV stat.ML
Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Maryland, College Park（马里兰大学帕克分校）；University of Mannheim（曼海姆大学）
在过去的几年里，深度生成模型的快速发展已经导致了高度逼真的媒体，称为deepfakes，通常与真实的人眼无法区分。这些进步使得评估视觉数据的真实性变得越来越困难，并对一般视觉内容的可信度构成误导威胁。尽管最近的工作已经显示出这种深度伪造的强大检测准确性，但成功在很大程度上依赖于识别生成图像中的频率伪影，这不会产生可持续的检测方法，因为生成模型继续发展并缩小与真实图像的差距。为了克服这个问题，我们提出了一种新的假检测，旨在重新合成测试图像和提取视觉线索进行检测。重新合成过程是灵活的，允许我们纳入一系列的视觉任务-我们采用超分辨率，去噪和着色作为重新合成。我们证明了改进的有效性，跨GAN泛化，以及在涉及CelebA-HQ，FFHQ和LSUN数据集的多个生成器的各种检测场景中对我们方法的扰动的鲁棒性。源代码可在https://github.com/SSAW14/BeyondtheSpectrum上获得。
2021-05-29 cs.CV
Rethinking CNN-Based Pansharpening: Guided Colorization of Panchromatic Images via GANs
Istanbul Technical University (ITU)（伊斯坦布尔理工大学）；ITU-AI: Artificial Intelligence and Data Science Research and Application Center（伊斯坦布尔理工大学人工智能与数据科学研究与应用中心）；ITU - CSCRS (Application and Research Center for Satellite Communications and Remote Sensing)（伊斯坦布尔理工大学卫星通信与遥感应用研究中心）
近年来，基于卷积神经网络（CNN）的方法在卫星图像的全色锐化方面显示出了很好的效果。然而，它们在产生高质量的全色锐化输出方面仍然表现出局限性。为此，我们提出了一个新的自监督学习框架，在这里我们把泛锐化作为一个彩色化问题，这带来了一个全新的视角和解决方案的问题相比，现有的方法，他们的解决方案完全基于产生一个超分辨率版本的多光谱图像。而基于CNN的方法提供了一个降低分辨率的全色图像作为输入到他们的模型以及降低分辨率的多光谱图像，因此学习提高它们的分辨率在一起，我们提供灰度变换的多光谱图像作为输入，并训练我们的模型学习灰度输入的彩色化。我们进一步解决了训练过程中的固定缩减比例假设，这并不能很好地推广到全分辨率场景。我们通过随机改变下采样率将噪声注入到训练中。这两个关键的变化，以及在提出的PanColorization生成对抗网络（PanColorGAN）框架中增加对抗训练，有助于克服在基于CNN的泛锐化中观察到的空间细节丢失和模糊问题。实验证明，该方法的性能优于之前基于CNN的方法和传统方法。
2020-06-30 cs.CV cs.LG eess.IV
Generative Diffusion Prior for Unified Image Restoration and Enhancement
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanyang Technological University（南洋理工大学）
本文提出无监督的生成式扩散先验（GDP），利用预训练DDPM解决线性、非线性和盲图像问题，通过条件引导和退化参数优化实现盲恢复，在多种任务上超越现有方法并支持任意分辨率泛化。
2023-04-03 cs.CV
Denoising Diffusion Restoration Models
Technion（以色列理工学院）；NVIDIA（英伟达）
图像复原中许多有趣的问题都可以归结为线性逆问题。最近的一个家庭的方法来解决这些问题，使用随机算法，样品从后验分布的自然图像的测量。然而，有效的解决方案通常需要特定于问题的监督训练来建模后验，而非特定于问题的无监督方法通常依赖于低效的迭代方法。这项工作通过引入去噪扩散恢复模型（DDRM），一种有效的，无监督的后验采样方法来解决这些问题。受变分推理的启发，DDRM利用预训练的去噪扩散生成模型来解决任何线性逆问题。我们展示了DDRM的多功能性的超分辨率，去模糊，修补和着色下的各种测量噪声量的图像数据集。DDRM在重建质量、感知质量和运行时间方面优于当前领先的无监督方法，比最接近的竞争对手快5倍。DDRM也很好地概括了观察到的ImageNet训练集分布之外的自然图像。
2022-10-12 cs.CV cs.LG eess.IV
Histogram Assisted Quality Aware Generative Model for Resolution Invariant NIR Image Colorization
Indian Institute of Science Education and Research Bhopal（印度科学教育与研究学院博帕尔）
HAQAGen通过结合直方图匹配、SPADE和Mamba网络，实现分辨率不变的近红外图像到RGB的高质量着色，提升纹理和颜色的真实感。
2026-01-03 cs.CV eess.IV
GenN2N: Generative NeRF2NeRF Translation
Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Qi Zhi Institute（上海期智研究院）
本文提出统一框架 GenN2N，利用即插即用图像转换器、VAE-GAN 与对比学习，将二维编辑提升为三维 NeRF 编辑，并在多任务上达到或超过专用方法。
2024-04-03 cs.CV
Astronomical Image Colorization and upscaling with Generative Adversarial Networks
K. K. Wagh Institute of Engineering Education and Research（K. K. Wagh 工程教育与研究学院）
在没有人为干预的情况下，图像的自动彩色化在很短的一段时间内一直是机器学习社区感兴趣的主题。将颜色映射到图像是一个高度不适定的问题，因为它具有非常高的自由度;给定一幅图像，通常没有一个颜色组合是正确的。除了彩色化，图像重建中的另一个问题是单图像超分辨率，其目的是将低分辨率图像转换为更高的分辨率。这项研究旨在通过关注一个非常特定的图像领域，即天文图像，并使用生成对抗网络（GANs）处理它们，为这个问题提供一种自动化方法。我们探讨了在两个不同的颜色空间，RGB和L*a*b的各种模型的使用。由于数据集较小，我们使用转移学习，使用预训练的ResNet-18作为骨干，即U-net的编码器并进一步对其进行微调。该模型产生视觉上吸引人的图像，这些图像在这些结果中产生了原始图像中不存在的高分辨率彩色数据。我们通过在所有通道的每个颜色空间中使用距离度量（如L1距离和L2距离）定量评估GANs来提供我们的结果，以提供比较分析。我们使用Frechet起始距离（FID）来比较生成图像的分布与真实图像的分布，以评估模型的性能。
2021-12-27 astro-ph.IM cs.CV cs.LG
BIGPrior: Towards Decoupling Learned Prior Hallucination and Data Fidelity in Image Restoration
School of Computer and Communication Sciences, EPFL（洛桑联邦理工学院计算机与通信科学学院）
经典的图像恢复算法使用各种先验，无论是隐式或显式。它们的先验是手工设计的，并且它们相应的权重是按顺序分配的。因此，深度学习方法通常会产生卓越的图像复原质量。然而，深度网络能够引发强烈且难以预测的幻觉。网络在学习图像先验的同时，隐式地学习共同忠实于观察到的数据;然后，原始数据和超分辨率数据下游的分离是不可能的。这限制了它们在图像复原中的广泛采用。此外，它往往是幻觉的一部分，是受害者的退化模型过拟合。我们提出了一种方法与解耦网络先验的幻觉和数据保真度的条款。我们将我们的框架称为生成先验的贝叶斯集成（BIGPrior）。我们的方法是植根于贝叶斯框架和紧密连接到经典的恢复方法。事实上，它可以被看作是一个大家庭的经典恢复算法的推广。我们使用网络反演从生成网络中提取图像先验信息。我们表明，在图像着色，修复和去噪，我们的框架一贯提高反演结果。我们的方法虽然部分依赖于生成网络反演的质量，但与最先进的监督和特定任务的恢复方法相比具有竞争力。它还提供了一个额外的度量，阐述了相对于数据保真度的每个像素的先前依赖程度。
2022-01-08 cs.CV cs.LG
Generative Quanta Color Imaging
Elmore Family School of Electrical and Computer Engineering（埃尔莫尔电气与计算机工程学院）；Purdue University（普渡大学）
本文提出基于Neural ODE的曝光合成模型，从单光子相机的单个二值帧生成一致曝光序列，显著提升单图像与连拍彩色化性能。
2024-03-28 cs.AI cs.CV
The color out of space: learning self-supervised representations for Earth Observation imagery
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；Istituto Zooprofilattico Sperimentale dell’Abruzzo e del Molise ‘G.Caporale’（阿布鲁佐与莫利塞实验动物卫生研究所“G.卡波拉莱”）；Progressive Systems Srl（渐进系统有限公司）
最近卫星图像数量的增长促进了有效的遥感深度学习技术的发展。然而，由于缺乏大型注释数据集，它们的全部潜力尚未开发。这样的问题通常通过微调先前在ImageNet数据集上训练的特征提取器来解决。然而，自然图像的域不同于RS域，这阻碍了最终的性能。在这项工作中，我们建议从卫星图像中学习有意义的表示，利用其高维光谱带来重建可见颜色。我们进行土地覆盖分类（BigEarthNet）和西尼罗河病毒检测实验，表明彩色化是训练特征提取器的一个坚实的借口任务。此外，我们定性地观察到，基于自然图像和彩色化的猜测依赖于输入的不同部分。这为最终优于上述两种技术的集成模型铺平了道路。
2020-06-22 cs.CV cs.LG
FlowSteer: Conditioning Flow Field for Consistent Image Restoration
Purdue University（普渡大学）；HKUST（香港科技大学）；Texas A&M University（德克萨斯农工大学）
提出FlowSteer，一种算子感知的条件化方案，通过在采样路径中注入测量先验，将冻结流的隐式引导与显式测量约束耦合，在零样本设置下实现超分辨率、去模糊、去噪和着色等任务的一致图像恢复。
2026-05-24 cs.CV eess.IV
Transformation Consistency Regularization- A Semi-Supervised Paradigm for Image-to-Image Translation
University of Cambridge（剑桥大学）
标记数据的稀缺性促使半监督学习方法的发展，该方法从大部分未标记数据以及少量标记样本中学习。一致性在不同输入扰动下模型预测之间的正则化，特别是已经证明可以在半监督框架中提供最先进的结果。然而，这些方法中的大多数已被限制在分类和分割应用。我们提出了变换一致性正则化，它深入研究了更具挑战性的图像到图像的翻译设置，这仍然是半监督算法尚未探索的。该方法引入了一组不同的几何变换，并强制模型对未标记数据的预测对这些变换保持不变。我们评估了我们的算法在三个不同的应用程序：图像着色，去噪和超分辨率的功效。我们的方法具有显著的数据效率，只需要大约10 - 20%的标记样本就可以实现与完全监督对应的图像重建。此外，我们展示了我们的方法在视频处理应用中的有效性，其中可以利用来自几帧的知识来提高电影其余部分的质量。
2020-07-15 cs.CV
High-Resolution GAN Inversion for Degraded Images in Large Diverse Datasets
Tencent Youtu Lab（腾讯优图实验室）
过去几十年的特点是大量和多样化的图像数据，显示出越来越高的分辨率和质量。然而，我们获得的一些图像可能会被损坏，影响下游任务的感知和应用。需要一种从退化图像生成高质量图像的通用方法。在本文中，我们提出了一种新的GAN反演框架，该框架利用StyleGAN-XL强大的生成能力来解决这个问题。为了缓解StyleGAN-XL的反演挑战，提出了聚类\正则化反演（CRI）。具体来说，首先通过聚类将潜在空间划分为更细粒度的子空间。我们不是用平均潜在向量初始化反演，而是从聚类中近似质心潜在向量，这会生成接近输入图像的图像。然后引入带正则化项的偏移量，使反演的特征向量保持在一定范围内。我们在多个恢复任务（即，修复、彩色化和超分辨率），并显示出较好的定量和定性结果。我们进一步证明了我们的技术在数据和不同的GAN模型方面是鲁棒的。据我们所知，我们是第一家采用StyleGAN-XL从各种退化输入中生成高质量自然图像的公司。代码可在https://github.com/Booooooooooo/CRI上获得。
2023-02-07 cs.CV
Unsupervised Image-to-Image Translation via Pre-trained StyleGAN2 Network
City University of Hong Kong（香港城市大学）
图像到图像（I2I）转换是学术界的一个热门话题，它也已被应用于现实世界的工业任务，如图像合成，超分辨率和彩色化。然而，传统的I2I转换方法在两个或更多个域中一起训练数据。这需要大量的计算资源。此外，结果的质量较低，并且它们包含更多的伪影。当不同领域的数据不平衡时，训练过程可能不稳定，更容易发生模态崩溃。我们提出了一种新的I2I转换方法，该方法通过对源域中预训练的StyleGAN2模型进行一系列模型转换，在目标域中生成新模型。在此基础上，我们提出了一种求逆的方法来实现图像与其特征向量之间的转换。通过将潜在向量馈送到生成的模型中，我们可以在源域和目标域之间执行I2I翻译。定性和定量的评估进行了证明，所提出的方法可以实现出色的性能，在图像质量，多样性和语义相似性的输入和参考图像相比，国家的最先进的作品。
2020-10-27 cs.CV
Patch-Based Stochastic Attention for Image Editing
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院电信学院）；Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）
针对注意力机制计算开销大、难以处理高分辨率图像的问题，提出基于PatchMatch的随机注意力层PSAL，以低内存开销实现高效近似最近邻，支持端到端训练，并在图像修复、着色和超分辨率任务中验证了有效性。
2023-11-01 cs.CV
