Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN
Virginia Tech(弗吉尼亚理工大学);Kuwait University(科威特大学);Adobe Research(Adobe 研究院);University of Maryland College Park(马里兰大学帕克分校)
我们提出了一个算法,重新渲染一个人从一个单一的图像下的任意姿态。现有的方法往往有困难的幻觉闭塞的内容照片逼真,同时保持身份和源图像中的细节。我们首先学习用人体对称性先验来修补人体表面纹理和源图像之间的对应场。修复的对应字段允许我们将从源视图提取的局部特征转移/扭曲到目标视图,即使在大的姿态变化下也是如此。使用简单的CNN解码器将扭曲的局部特征直接映射到RGB图像通常会导致可见的伪影。因此,我们扩展了StyleGAN生成器,使其将姿势作为输入(用于控制姿势),并使用扭曲的局部特征(用于控制外观)为潜在空间引入空间变化调制。我们表明,我们的方法相比,在定量评估和视觉比较的最先进的算法。
2021-09-13 cs.CV
DMCNN: Dual-Domain Multi-Scale Convolutional Neural Network for Compression Artifacts Removal
PKU-NTU Joint Research Institute(北京大学-南洋理工大学联合研究院)
JPEG是有损图像压缩方法中最常用的标准之一。然而,JPEG压缩不可避免地引入了各种各样的伪像,特别是在高压缩率下,这可能会极大地影响体验质量(QoE)。最近,基于卷积神经网络(CNN)的方法已经显示出用于去除JPEG伪影的优异性能。人们已经做了很多努力来深化CNN并提取更深层次的特征,而相对较少的作品关注网络的感受野。在本文中,我们说明了输出图像的质量可以显着提高在许多情况下,通过扩大的感受野。进一步,我们提出了一种双域多尺度CNN(DMCNN),以充分利用像素和DCT域上的冗余。实验表明,DMCNN为JPEG伪影去除任务设置了新的最先进的技术。
2018-06-11 cs.CV
Zero-Shot Artifact2Artifact: Self-incentive artifact removal for photoacoustic imaging without any data
College of Future Technology(未来技术学院);Peking University(北京大学);Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
本文提出零样本自监督方法 ZS-A2A,通过向光声数据引入随机扰动生成子集以学习伪影模式,无需训练数据即可去除 3D PAI 重建伪影,并在实验中显著提升 CNR。
2024-12-27 cs.CV
Restoring STM images via Sparse Coding: noise and artifact removal
在这篇文章中,我们提出了一种去噪算法,以提高扫描隧道显微镜(STM)图像的解释和质量。鉴于STM图像的高水平的自相似性,我们提出了一个去噪算法,通过重新制定的真实估计问题作为一个稀疏回归,通常被称为稀疏编码。我们引入修改的算法,以应付存在的文物,主要是辍学,出现在一个结构化的方式作为连续的线段上的扫描方向。由此产生的算法将伪影视为缺失数据,并且估计值优于通过局部滤波来替换离群值的那些算法。我们提供Matlab和Gwendion的代码实现。
2016-10-11 cs.CV
GRAR: Glass-induced Reflection Artifact Removal in LiDAR Point Clouds
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院);School of Design, Hunan University(湖南大学设计学院);School of Finance and Statistics, Hunan University(湖南大学金融与统计学院)
提出两阶段框架,先利用多模态视觉基础模型和几何线索精确分割玻璃区域,再基于物理驱动的反射感知局部-全局几何相似性描述符去除反射伪影,在多个公开数据集上优于现有方法。
2026-06-09 cs.CV
Beyond Imperfections: A Conditional Inpainting Approach for End-to-End Artifact Removal in VTON and Pose Transfer
Amirkabir University of Technology(阿米尔卡比尔理工大学)
本文提出首个端到端条件修复框架,用于检测并去除虚拟试穿和姿态迁移中的伪影,提升图像视觉质量,并构建了带掩码的专用数据集,实验验证其有效性与优越性。
2025-01-19 cs.CV
Fully Dense UNet for 2D Sparse Photoacoustic Tomography Artifact Removal
George Mason University(乔治梅森大学);The MITRE Corporation(MITRE公司)
光声成像是一种基于光声效应的新兴成像方式。在光声层析成像(PAT)中,由探测器阵列测量所诱发的声压波,并用于重建初始压力分布的图像。PAT中面临的一个常见挑战是所测量的声波只能稀疏采样。使用标准方法重建稀疏采样的数据会导致严重的伪影,使图像中的信息模糊不清。我们提出了一种改进的卷积神经网络(CNN)架构,称为全密集UNet(FD-UNet),用于从稀疏数据重建的2D PAT图像中去除伪影,并将所提出的CNN与标准UNet在重建图像质量方面进行比较。
2019-04-25 cs.CV
A Multi-domain Image Translative Diffusion StyleGAN for Iris Presentation Attack Detection
Michigan State University(密歇根州立大学)
提出MID-StyleGAN框架,结合扩散模型与GAN生成多域合成眼部图像,缓解虹膜PAD数据稀缺,在LivDet2020上将1%误检率下的真实检测率从93.41%提升至98.72%。
2025-10-16 cs.CV
Unsupervised Portrait Shadow Removal via Generative Priors
HKUST(香港科技大学)
肖像图像通常会受到不经意的物体甚至脸部本身投射的不良阴影的影响。虽然现有的人像阴影去除方法需要在大规模的合成数据集上进行训练,但我们提出了第一种无需任何训练数据的人像阴影去除无监督方法。我们的关键思想是利用嵌入在现成的预训练StyleGAN 2中的生成面部先验。为了实现这一点,我们制定的阴影去除任务作为一个层分解问题:阴影的肖像图像构建的阴影图像和阴影的图像的混合。我们提出了一个有效的渐进优化算法来学习分解过程。我们的方法也可以扩展到肖像纹身去除和水印去除。在真实世界人像阴影数据集上的定性和定量实验表明,我们的方法实现了与监督阴影去除方法相当的性能。我们的源代码可在https://github.com/YingqingHe/Shadow-Removal-via-Generative-Priors上获得。
2021-08-07 cs.CV
Artifact Removal and Image Restoration in AFM:A Structured Mask-Guided Directional Inpainting Approach
Department of Mechanical Engineering(机械工程系);Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出了一种基于结构掩膜引导的定向修复方法,用于原子力显微镜图像中瑕疵的自动检测与修复,通过语义分割和方向插值技术提升纳米级图像质量。
2026-02-03 cs.CV
Performance Comparison of Deep Learning Architectures for Artifact Removal in Gastrointestinal Endoscopic Imaging
Doshisha University(同志社大学)
内窥镜图像通常包含若干伪影。伪影严重影响计算机辅助诊断中的图像分析结果。卷积神经网络(CNN)是一种深度学习,可以消除这些伪影。已经为CNN提出了各种架构,并且伪影去除的准确性取决于架构的选择而变化。因此,有必要根据所选架构确定伪影去除精度。在这项研究中,我们专注于内窥镜手术器械作为伪影,并确定和讨论使用七种不同的CNN架构的伪影去除精度。
2022-01-01 cs.CV cs.LG eess.IV
Artifact Removal in Histopathology Images
CentraleSupélec(巴黎中央理工-高等电力学院);Université Paris-Saclay(巴黎萨克雷大学)
在组织病理学的临床环境中,全切片图像(WSI)伪影经常出现,使感兴趣区域失真,并对WSI分析产生有害影响。像CycleGAN这样的图像到图像转换网络原则上能够从未配对的数据中学习伪影去除函数。然而,我们发现了伪影去除的满射问题,并提出了对CycleGAN的弱监督扩展来解决这个问题。我们从TCGA数据库中收集了一个泛癌症数据集,包括伪影和干净的瓷砖。有希望的结果突出了我们的方法的可靠性。
2022-12-16 cs.CV eess.IV
QC-StyleGAN -- Quality Controllable Image Generation and Manipulation
VinAI Research(VinAI研究院);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Posts & Telecommunications Institute of Technology(邮政电信技术学院)
高质量图像生成模型的引入,特别是StyleGAN系列,提供了合成和操作图像的强大工具。然而,现有的模型是建立在高质量(HQ)的数据作为所需的输出,使他们不适合在野外低质量(LQ)的图像,这是常见的输入操作。在这项工作中,我们提出了一种新的GAN结构,允许生成具有可控质量的图像,从而弥合了这一差距。该网络可以合成各种图像退化,并通过质量控制代码恢复清晰的图像。我们提出的QC-StyleGAN可以直接编辑LQ图像,而不改变它们的质量,通过应用GAN反演和操纵技术。它还免费提供了一个图像复原解决方案,可以处理各种退化,包括噪声,模糊,压缩伪影,以及它们的混合。最后,我们展示了许多其他应用程序,如图像退化合成,传输和插值。该代码可在https://github.com/VinAIResearch/QC-StyleGAN上获得。
2022-12-07 cs.AI cs.CV
A Generative Adversarial Approach with Residual Learning for Dust and Scratches Artifacts Removal
Adobe Research Romania(奥多比罗马尼亚研究院)
修饰可以显着提高照片的视觉吸引力,但许多休闲摄影师缺乏专业知识,以专业的方式操作。一个特别具有挑战性的任务,旧照片修仍然是去除灰尘和划痕文物。传统上,这项任务是用特殊的图像增强软件手动完成的,这是一项繁琐的任务,需要照片编辑应用程序的特殊知识。然而,最近的研究利用生成对抗网络(GANs)已被证明在各种自动图像增强任务中获得了良好的效果,与传统方法相比。这促使我们探索GANs在电影照片编辑中的应用。在本文中,我们提出了一种基于GAN的方法,能够从胶片扫描中去除灰尘和划痕错误。具体来说,残差学习用于加快训练过程,并提高去噪性能。在社区提供的数据集上对我们的模型进行了广泛的评估,结果表明,它的泛化能力非常好,不依赖于任何特定类型的图像。最后,我们显著优于最先进的方法和软件应用程序,提供卓越的结果。
2020-09-22 cs.CV
Deep Generative Adversarial Compression Artifact Removal
MICC, University of Florence(佛罗伦萨大学MICC)
每当应用有损压缩算法时,压缩伪影就会出现在图像中。这些伪影消除了原始图像中存在的细节,或增加了噪声和小结构;由于这些影响,它们使图像对人眼来说不那么令人愉快,并且还可能导致计算机视觉算法(例如对象检测器)的性能降低。为了消除这样的伪像,当解压缩图像时,需要从受干扰的版本恢复原始图像。为此,我们提出了一个使用生成对抗框架训练的前馈全卷积残差网络模型。为了提供一个基线,我们证明了我们的模型也可以优化结构相似性(SSIM),这是一个更好的损失相对于更简单的均方误差(MSE)。我们的GAN能够产生比MSE或基于SSIM的网络具有更逼真细节的图像。此外,我们表明,我们的方法可以用作预处理步骤的目标检测的情况下,图像被压缩到一个点,国家的最先进的检测器失败。在这项任务中,我们的GAN方法获得了更好的性能比MSE或SSIM训练的网络。
2017-12-06 cs.CV
Compression-Aware One-Step Diffusion Model for JPEG Artifact Removal
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学);Max Planck Institute for Informatics(马克斯·普朗克信息研究所)
提出CODiff单步扩散模型,通过压缩感知视觉嵌入器和双重学习策略高效去除JPEG伪影,在定量与视觉质量上超越现有方法。
2025-07-13 cs.CV
Self-Supervised Bulk Motion Artifact Removal in Optical Coherence Tomography Angiography
Stony Brook University(石溪大学)
光学相干断层扫描血管造影(OCTA)是一种重要的成像方式,在许多生物工程任务。然而,OCTA的图像质量通常会因体运动伪影(BMA)而降低,体运动伪影(BMA)是由于受试者的微动引起的,通常表现为被模糊区域包围的亮条纹。现有的方法通常将BMA去除视为基于学习的图像修补问题,但需要大量具有非平凡注释的训练样本。此外,这些方法丢弃了BMA条纹区域中携带的丰富的结构和外观信息。为了解决这些问题,在本文中,我们提出了一个自我监督的内容感知BMA删除模型。首先,从BMA区域中提取基于梯度的结构信息和外观特征,并将其注入模型中以捕获更多的连通性。其次,利用容易收集的缺陷掩模,以自监督的方式训练模型,其中仅使用清晰区域进行训练,而BMA区域用于推理。该模型以含噪图像的结构信息和外观特征为参考,可以去除较大的BMA,并产生更好的可视化效果。此外,只涉及有缺陷的掩模的2D图像,从而提高了我们的方法的效率。对小鼠皮质OCTA的实验表明,我们的模型可以去除大多数尺寸极大且强度不一致的BMA,而之前的方法则失败了。
2022-03-27 cs.CV
Dermoscopic Dark Corner Artifacts Removal: Friend or Foe?
Manchester Metropolitan University(曼彻斯特城市大学)
本文研究皮肤镜暗角伪影对深度学习皮肤癌分类的影响,通过标注平衡数据集和实验发现引入合成暗角伪影可提升模型性能,并提出热力图量化新方法。
2023-06-23 cs.CV
Learning a Single Model with a Wide Range of Quality Factors for JPEG Image Artifacts Removal
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所);State Key Laboratory of Digital Publishing Technology, Peking University Founder Group Co., Ltd.(北京大学方正集团有限公司数字出版技术国家重点实验室);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院)
有损压缩会给压缩后的图像带来伪影,降低视觉质量。近年来,基于卷积神经网络(CNN)的压缩伪影去除方法得到了广泛的应用。然而,这些方法通常训练基于一个特定值或小范围的质量因子的模型。显然,如果测试图像的质量因子与假设的值范围不匹配,则会导致性能下降。基于这一动机,并进一步考虑实际应用,本文提出了一种高鲁棒性的压缩伪影去除网络。我们提出的网络是一个单一的模型方法,可以训练处理各种质量因素,同时始终如一地提供卓越或相当的图像伪影去除性能。为了演示,我们专注于JPEG压缩的质量因子,范围从1到60。请注意,我们提出的网络的交钥匙成功在于量化表作为训练数据的一部分的新颖利用。此外,它有两个并行的分支-即,恢复分支和全球分支。前者有效地去除了局部伪影,例如振铃伪影去除。另一方面,后者提取了整个图像的全局特征,提供了高度工具性的图像质量改善,特别是有效地处理全局伪影,如块,颜色偏移。在彩色和灰度图像上进行的大量实验结果清楚地表明了我们提出的单模型方法对从解码图像中去除压缩伪影的有效性和功效。
2020-09-15 cs.CV eess.IV
SODiff: Semantic-Oriented Diffusion Model for JPEG Compression Artifacts Removal
本文提出SODiff,一种面向语义的单步扩散模型,通过引入语义对齐的图像提示提取器和质量因子感知时间预测器,有效指导预训练扩散模型恢复JPEG压缩图像的复杂纹理细节,在视觉质量和定量指标上均优于现有方法。
2025-08-10 cs.CV
2D Discrete Fourier Transform with Simultaneous Edge Artifact Removal for Real-Time Applications
Okinawa Institute of Science & Technology (OIST)(冲绳科学技术大学院大学(OIST))
二维离散傅立叶变换(DFT)是一种基本的计算密集型算法,具有广泛的应用。2D图像通常是非周期性的,但在计算其DFT时被假定为周期性的。由于频谱泄漏,这导致频域中的十字形伪影。如果将DFT用于进一步处理,这些伪影可能会产生严重后果。在本文中,我们提出了一种新的基于FPGA的设计,计算高吞吐量的二维DFT的同时去除边缘伪影。使用变迹函数或镜像来消除这些伪影的标准方法要么涉及消除临界频率,要么涉及通过增加图像大小来增加计算量。我们使用了一个基于平滑分解的伪影去除算法,该算法针对FPGA实现进行了优化,同时对于512 $\times$ 512大小的图像流仍然实现了实时的【形】($\ge$每秒23帧)性能。我们的优化方法导致外部存储器利用率显着降低,从而避免内存冲突,简化了设计。我们已经在基于PXIe的Xilinx Kintex 7 FPGA系统上测试了我们的设计,该系统与主机PC通信,这为我们进一步扩展工业应用的设计提供了优势。
2016-03-16 cs.AR cs.CV
Learning MRI Artifact Removal With Unpaired Data
UNC(北卡罗来纳大学);UMN(明尼苏达大学)
回顾性伪影校正(RAC)改善了采集后的图像质量并增强了图像可用性。最近用于RAC的机器学习驱动技术主要基于监督学习,因此实际效用可能受到限制,因为具有成对的无伪影和伪影损坏图像的数据通常不足或甚至不存在。在这里,我们展示了不需要的图像伪影可以通过使用未配对数据学习的RAC神经网络从图像中分离和移除。这意味着,我们的方法不需要匹配的伪影损坏的数据通过采集或通过模拟生成。实验结果表明,我们的方法是非常有效的去除伪影和保留解剖细节的图像与不同的对比度。
2021-10-09 cs.CV cs.LG eess.IV
Let's See Clearly: Contaminant Artifact Removal for Moving Cameras
The Hong Kong University of Science and Technology(香港科技大学);Microsoft Research Asia(微软亚洲研究院);City University of Hong Kong(香港城市大学)
附着在相机镜头上的灰尘、污垢和水分等污染物会极大地影响所生成图像或视频的质量和清晰度。在本文中,我们提出了一种视频恢复方法,自动删除这些污染物,并产生一个干净的视频。我们的方法首先寻求检测注意力地图,指示需要恢复的区域。为了利用相邻帧中相应的干净像素,我们提出了一个流完成模块来使背景场景的流幻觉到被污染物退化的注意区域。在注意力图和已完成的流的指导下,我们提出了一种递归技术,通过从相邻帧中提取干净的像素来恢复输入帧。最后,使用多帧处理阶段来进一步处理整个视频序列,以增强时间一致性。整个网络是在一个合成数据集上训练的,该数据集近似于污染物伪影的物理照明特性。这个新的数据集和我们的新框架导致我们的方法能够解决不同的污染物,并在定性和定量上优于竞争性恢复方法。
2021-04-18 cs.CV
Counterfactual Explanations for Face Forgery Detection via Adversarial Removal of Artifacts
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Nanjing University of Information Science and Technology(南京信息工程大学)
针对人脸伪造检测模型泛化性与鲁棒性不足的问题,提出基于StyleGAN潜在空间对抗优化的反事实解释方法,兼具高攻击成功率与强迁移性,可揭示通用伪造痕迹。
2024-04-12 cs.CV
Analyzing and Improving the Image Quality of StyleGAN
NVIDIA(英伟达);Aalto University(阿尔托大学)
基于样式的GAN架构(StyleGAN)在数据驱动的无条件生成图像建模中产生最先进的结果。我们揭示和分析了它的几个特征工件,并提出了模型架构和训练方法的变化,以解决这些问题。特别是,我们重新设计了生成器规范化,重新审视渐进式增长,并正则化生成器,以鼓励从潜在代码到图像的映射中的良好调节。除了改善图像质量之外,该路径长度正则化器还产生额外的好处,即生成器变得更容易反转。这使得可以可靠地将生成的图像归属于特定网络。此外,我们可视化如何以及发电机利用其输出分辨率,并确定一个容量问题,激励我们训练更大的模型,以提高质量。总的来说,我们的改进模型重新定义了无条件图像建模的最新技术水平,无论是在现有的分布质量指标,以及感知的图像质量。
2020-03-23 cs.CV cs.LG cs.NE
Water-Filling: An Efficient Algorithm for Digitized Document Shadow Removal
KAIST(韩国科学技术院);University of South Australia(南澳大学)
在本文中,我们提出了一种新的算法来纠正照明的数字化文件,通过消除阴影文物。首先,使用每个像素的亮度值创建输入数字化文档的地形表面。然后,通过模拟沉浸过程来估计文档上的阴影伪影。浸没过程的模拟采用一种新的扩散方程与迭代更新规则。在估计阴影伪影之后,使用朗伯表面模型重建数字化文档。为了评估所提出的算法的性能,我们进行了严格的实验上的一组数字化文件,这是使用智能手机在具有挑战性的照明条件下产生的。实验结果表明,该方法能获得较好的光照校正效果,优于现有的光照校正方法。
2019-05-02 cs.CV
Gibbs-Ringing Artifact Removal Based on Local Subvoxel-shifts
University Medical Center Freiburg(弗莱堡大学医学中心)
吉布斯振铃是公知的伪影,其自身表现为在尖锐图像瞬变附近(例如,在组织边界处)的寄生振荡。在MRI数据采集期间,可以在k空间的截断中看到起源。因此,校正技术,如Gegenbauer重建或外推法的目的是恢复这些丢失的数据。在这里,我们提出了一个简单而强大的方法,利用吉布斯现象的不同观点。k空间中的截断可以被解释为与图像空间中的正弦函数的卷积。因此,伪影的严重性取决于正弦函数的采样方式。我们建议重新插值的图像的基础上,局部,subvoxel移位采样振荡正弦函数的零交叉处的振铃模式。通过这种方式,可以有效地和鲁棒地去除伪影,并使用最小量的平滑。
2015-01-30 cs.CV physics.med-ph
Realistic Restorer: artifact-free flow restorer(AF2R) for MRI motion artifact removal
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Pazhou Lab(琶洲实验室)
针对MRI运动伪影问题,提出显式建模伪影生成机制的端到端模型AF2R,利用条件归一化流逐步去除伪影,在模拟和真实数据上取得更优性能并保留解剖细节。
2023-06-19 cs.CV eess.IV
Towards Flexible Blind JPEG Artifacts Removal
ETH Zurich(苏黎世联邦理工学院)
训练一个单一的深度盲模型来处理不同的质量因子,以去除JPEG图像伪影,由于其便于实际使用,已经引起了相当大的关注。然而,现有的深度盲方法通常直接重建图像而不预测质量因子,因此缺乏非盲方法控制输出的灵活性。为了解决这个问题,在本文中,我们提出了一种灵活的盲卷积神经网络,即FBCNN,它可以预测可调节的质量因子,以控制伪影去除和细节保留之间的权衡。具体来说,FBCNN通过一个量化器模块从JPEG图像中量化出质量因子,然后通过一个质量因子关注块将预测的质量因子嵌入到后续的重建器模块中,以便灵活控制。此外,我们发现现有的方法很容易失败的非对齐双JPEG图像,即使只有一个像素的位移,因此,我们提出了一个双JPEG退化模型来增加训练数据。在单JPEG图像、更一般的双JPEG图像和真实世界的JPEG图像上进行的广泛实验表明,我们提出的FBCNN在定量指标和视觉质量方面都取得了优于最先进方法的性能。
2021-09-29 cs.CV eess.IV
Automatic Flare Spot Artifact Detection and Removal in Photographs
Universitat Pompeu Fabra(庞培法布拉大学)
光斑是由许多条件引起的一种类型的光斑伪影,通常由相机视场内或附近的一个或多个高亮度源引起。当来自高亮度源的光线到达相机的前元件时,它可以在相机元件内产生内反射,该内反射出现在胶片平面处,从而在捕获的图像上形成非图像信息或闪光。即使使用了预防机制,也可能出现伪影。在本文中,我们提出了一个强大的计算方法来自动检测和消除耀斑斑点文物。我们的贡献有三个方面:首先,我们提出了一个表征,这是基于内在属性的耀斑点是可能满足的; 2其次,我们定义了一个新的置信度能够选择耀斑点之间的候选人;和,最后,一种方法,以准确地确定耀斑区域。然后,通过使用基于样本的修复来去除检测到的伪影。我们表明,我们的算法实现顶级的定量和定性性能。
2021-03-07 cs.CV eess.IV
Attribute Artifacts Removal for Geometry-based Point Cloud Compression
University of Science and Technology of China(中国科学技术大学)
基于几何的点云压缩(G-PCC)可以获得显著的点云压缩效率。然而,它仍然导致严重的属性压缩伪像,特别是在低比特率场景下。在本文中,我们提出了一个多尺度图注意力网络(MS-GAT),以消除由G-PCC压缩的点云属性的伪影。首先基于点云几何坐标构造图,然后利用切比雪夫图卷积提取点云属性的特征。考虑到一个点可能与附近和远离它的点相关,我们提出了一个多尺度方案来捕获当前点与其相邻点和远点之间的短期和长期相关性。为了解决不同点可能具有由自适应量化引起的不同程度的伪影的问题,我们引入每个点的量化步长作为所提出的网络的额外输入。我们还在网络中加入了一个加权图关注层,以特别关注具有更多属性工件的点。据我们所知,这是G-PCC的第一个属性伪影去除方法。我们验证了我们的方法在各种点云的有效性。客观的比较结果表明,我们提出的方法实现了平均9.74%的BD率减少相比Predlift和10.13%的BD率减少相比,RAHT。主观比较结果表明,减少了诸如颜色偏移、模糊和量化噪声的视觉伪影。
2022-03-01 cs.CV eess.IV
GeoRemover: Removing Objects and Their Causal Visual Artifacts
University at Buffalo(布法罗大学);Pixocial Technology(Pixocial科技)
提出几何感知两阶段框架,通过几何移除与外观渲染解耦,利用偏好驱动目标,有效移除物体及其因果视觉伪影,在基准上达到最优性能。
2025-10-07 cs.CV
An Unsupervised Framework for Joint MRI Super Resolution and Gibbs Artifact Removal
United Imaging Intelligence(联影智能)
从磁共振成像(MRI)生成的k空间数据只是潜在信号的有限采样。因此,MRI图像经常遭受低空间分辨率和吉布斯振铃伪影。以前的研究分别解决了这两个问题,其中超分辨率方法往往会增强吉布斯伪影,而吉布斯振铃消除方法往往会模糊图像。在临床MRI中难以获得高分辨率的地面真值也是一个挑战。在本文中,我们提出了一个无监督的学习框架,MRI超分辨率和吉布斯伪影去除,而不使用高分辨率地面真理。此外,我们提出了正则化方法,以提高模型的泛化能力在分布的MRI图像。我们评估了我们提出的方法与其他国家的最先进的方法在八个MRI数据集与各种对比度和解剖结构。我们的方法不仅实现了最好的SR性能,但也显着减少吉布斯文物。我们的方法在不同的数据集上也表现出良好的泛化能力,这对于训练数据通常稀缺且有偏差的临床应用是有益的。
2023-02-06 cs.AI cs.CV cs.LG
Wide Range MRI Artifact Removal with Transformers
KTH Royal Institute of Technology(KTH皇家理工学院);Science for Life Laboratory(生命科学实验室)
磁共振扫描的伪影对放射科医生和计算机辅助诊断系统都是一个严峻的挑战。最常见的是,伪影是由患者的运动引起的,但也可能是由设备特定的异常(如噪声模式)引起的。无论来源如何,伪影不仅会使扫描无效,而且如果不注意,可能会导致误诊。例如,伪影可能伪装成肿瘤或其他异常。回顾性伪影校正(RAC)涉及在扫描完成后消除伪影。在这项工作中,我们提出了一种方法,能够回顾性地消除八个常见的伪影中发现的原生分辨率的MR图像。不假定特定工件的存在或位置的知识,并且通过设计,系统能够撤销多个工件的交互。我们的方法是通过设计一种新的体积变压器为基础的神经网络,推广了\emph{window-centered}方法推广的Swin Transformer。与Swin不同,我们的方法是(i)原生体积,(ii)面向密集预测任务而不是分类,以及(iii)使用一种新颖且更具全局性的机制来实现窗口之间的信息交换。我们的实验表明,我们的重建比ResNet,V-Net,MobileNet-v2,DenseNet,CycleGAN和BicycleGAN所获得的要好得多。此外,我们表明,从我们的模型重建的图像提高了FSL BET的准确性,FSL BET是一种通常应用于诊断工作流程的标准颅骨剥离方法。
2022-10-17 cs.CV eess.IV
Pushing the Limit of Unsupervised Learning for Ultrasound Image Artifact Removal
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
超声(US)成像是一种快速和非侵入性的成像方式,广泛用于实时临床成像应用,而无需考虑辐射危害。不幸的是,它往往遭受从各种来源,如斑点噪声,模糊,多线采集(MLA),有限的RF通道,小数目的平面波成像的情况下的视角,等经典的方法来处理这些问题,包括图像域信号处理方法,使用各种自适应滤波和基于模型的方法的视觉质量差。最近,深度学习方法已经成功地用于超声成像领域。然而,这些方法的局限性之一是在许多实际应用中难以获得用于监督训练的成对高质量图像。在本文中,受最近使用最优传输驱动循环GAN(OT-cycleGAN)的无监督学习理论的启发,我们研究了无监督深度学习在没有匹配参考数据的情况下对US伪影去除问题的适用性。各种任务,如反卷积,斑点去除,有限的数据伪影去除等的实验结果证实,我们的无监督学习方法提供了相当的结果,监督学习的许多实际应用。
2020-06-26 cs.CV cs.LG eess.IV
It Takes Two: A Duet of Periodicity and Directionality for Burst Flicker Removal
Nankai International Advanced Research Institute (SHENZHEN·FUTIAN)(南开国际先进研究院(深圳·福田));Peng Cheng Laboratory(鹏城实验室);College of Computer Science, Nankai University(南开大学计算机科学学院);The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院)
本文提出Flickerformer,通过周期性和方向性特性有效去除闪烁噪声,避免鬼影伪影,提升图像质量。
2026-03-24 cs.CV
Rain Removal via Shrinkage-Based Sparse Coding and Learned Rain Dictionary
Ryerson University(瑞尔森大学)
本文提出了一种新的基于稀疏编码收缩的单幅图像去雨模型。最近,字典学习和稀疏编码已被广泛用于图像复原问题。这些方法也可以应用于雨去除,通过学习两种类型的雨和非雨字典,并迫使雨字典的稀疏码为零向量。然而,这种方法会在非雨区域中产生不需要的边缘伪影和细节损失。基于此,本文提出了一种新的压缩稀疏码的方法。为了有效地收缩稀疏码在雨和非雨区域,输入雨图像和重建雨图像之间的误差映射生成通过使用学习的雨字典。在此误差映射的基础上,结合雨字典和非雨字典的稀疏编码来表示目标的图像结构,避免非雨区域的边缘伪影。在雨区域,雨和非雨字典之间的相关矩阵的计算。然后,稀疏码对应的高度相关的信号原子在雨和非雨字典的联合收缩,以提高雨结构的去除。实验结果表明,基于收缩的稀疏编码在非雨区能较好地保留图像结构,避免边缘伪影,在雨区能较好地去除雨结构。视觉质量评价证实,该方法优于传统的纹理和雨水去除方法。
2016-10-03 cs.CV
Missing Cone Artifacts Removal in ODT using Unsupervised Deep Learning in Projection Domain
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
光学衍射层析成像(ODT)通过测量不同角度的散射场,得到折射率(RI)的三维分布。虽然RI指数的分布是高度信息化的,但由于全息图的有限角度采集引起的缺失圆锥问题,与水平成像平面相比,重建沿着轴向方向具有非常差的分辨率。为了解决这个问题,我们提出了一个新的无监督深度学习框架,它通过最优传输驱动的cycleGAN来学习丢失投影视图的概率分布。实验结果表明,该方法可以有效地解决光学检测中的缺失圆锥伪影。
2021-07-18 cs.CV cs.LG eess.IV
A Dual-domain Regularization Method for Ring Artifact Removal of X-ray CT
School of Mathematical Sciences, Capital Normal University(首都师范大学数学科学学院);Beijing Advanced Innovation Center for Imaging Technology, Capital Normal University(首都师范大学北京成像技术高精尖创新中心)
针对CT环状伪影,提出双域正则化模型,结合组稀疏与投影视角方向稀疏约束校正探测器响应,交替最小化求解,在真实数据上优于现有方法并保持图像细节。
2024-03-15 cs.CV eess.IV
Differentiated Backprojection Domain Deep Learning for Conebeam Artifact Removal
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
使用圆形轨迹的锥束CT由于其相对简单的几何结构而经常用于各种应用。对于锥束几何,Feldkamp,Davis和Kress算法被认为是标准的重建方法,但是该算法随着锥角的增加而遭受所谓的锥束伪影。已经开发了各种基于模型的迭代重建方法来减少锥束伪影,但是这些算法通常需要计算昂贵的前向和后向投影的多次应用。在本文中,我们开发了一种新的深度学习方法来精确去除锥束伪影。特别是,我们在微分反投影域上设计的深度网络对与希尔伯特变换相关的不适定反卷积问题进行了数据驱动的反演。沿冠状和矢状方向的重建结果,然后结合使用频谱混合技术,以尽量减少频谱泄漏。实验结果表明,我们的方法优于现有的迭代方法,尽管显着降低了运行时的复杂性。
2020-06-03 cs.CV cs.LG eess.IV
Robust Reflection Removal with Reflection-free Flash-only Cues
The Hong Kong University of Science and Technology(香港科技大学)
我们提出了一个简单而有效的无反射提示强大的反射去除闪光灯和环境(无闪光灯)的图像对。无反射提示利用通过从原始数据空间中的对应闪光图像减去环境图像而获得的仅闪光图像。仅闪光灯的图像相当于在黑暗环境中拍摄的图像,我们观察到这种仅闪光灯的图像在视觉上是无反射的,因此它可以提供鲁棒的线索来推断环境图像中的反射。由于只有闪光灯的图像通常有文物,我们进一步提出了一个专用的模型,不仅利用反射免费的线索,但也避免引入文物,这有助于准确地估计反射和传输。我们对具有各种类型反射的真实世界图像的实验证明了我们的模型与无反射仅闪光提示的有效性:我们的模型在PSNR中超过5.23dB,在SSIM中超过0.04,在LPIPS中超过0.068。我们的源代码和数据集在{github.com/ChenyangLEI/flash-reflection-removal}上公开。
2021-03-30 cs.CV
SoftShadow: Leveraging Soft Masks for Penumbra-Aware Shadow Removal
Nanyang Technological University(南洋理工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Clemson University(克莱姆森大学)
本文提出 SoftShadow 框架,利用预训练 SAM 先验与半影物理约束生成软阴影掩码,联合微调实现端到端阴影去除,在常用数据集上取得最优性能并提升边界修复与泛化能力。
2025-03-12 cs.CV
SSA-3DGS: Unsupervised Removal of Screen-Space Artifacts for 3D Gaussian Splatting
Digital Future Lab, Flanders Make, Hasselt University(数字未来实验室,弗拉芒制造,哈塞尔特大学)
针对3D高斯点渲染中屏幕空间伪影问题,提出SSA-3DGS无监督框架,利用视图几何一致性,联合优化3D场景与2D叠加,在合成及真实数据集上,相比同条件3DGS提高重建保真度9dB PSNR,且保留伪影。
2026-09-17 cs.CV cs.GR
StyleRetoucher: Generalized Portrait Image Retouching with GAN Priors
Monash University(莫纳什大学);City University of Hong Kong(香港城市大学);Nanyang Technological University(南洋理工大学)
本文提出StyleRetoucher,利用StyleGAN先验和瑕疵感知特征选择机制,实现保留面部细节的自动人像修饰,在少量样本和域外数据上均表现出强鲁棒性,性能优于现有方法。
2023-12-22 cs.CV
BurstDeflicker: A Benchmark Dataset for Flicker Removal in Dynamic Scenes
Nankai International Advanced Research Institute (SHENZHEN·FUTIAN)(南开国际先进研究院(深圳·福田));Peng Cheng Laboratory(鹏城实验室);College of Computer Science, Nankai University(南开大学计算机学院);The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院)
针对动态场景去闪烁缺乏大规模真实数据集的问题,提出基准BurstDeflicker,结合基于Retinex的合成流水线、4,000张真实图像及绿幕方法引入运动,有效推进去闪烁研究。
2025-10-11 cs.CV
How to Train Neural Networks for Flare Removal
Rice University(莱斯大学);Google Research(谷歌研究院);Adobe Inc.(奥多比公司)
当相机指向强光源时,所产生的照片可能包含镜头光斑伪影。耀斑出现在各种各样的模式(晕,条纹,颜色出血,阴霾等)。并且这种外观上的多样性使得耀斑去除具有挑战性。现有的解析解对伪影的几何形状或亮度做了很强的假设,因此只能在一小部分耀斑上工作得很好。机器学习技术在去除其他类型的伪影(如反射)方面取得了成功,但由于缺乏训练数据,尚未广泛应用于耀斑去除。为了解决这个问题,我们明确地模拟耀斑的光学原因,无论是经验或使用波动光学,并产生半合成对耀斑损坏和干净的图像。这使我们能够训练神经网络,以消除镜头耀斑的第一次。实验表明,我们的数据合成方法对于准确去除光斑至关重要,并且使用我们的技术训练的模型可以很好地推广到不同场景,照明条件和相机的真实镜头光斑。
2021-10-08 cs.CV eess.IV
OT-driven Multi-Domain Unsupervised Ultrasound Image Artifact Removal using a Single CNN
Korea Advanced Institute of Science and Technology(韩国科学技术院)
超声成像(US)经常遭受来自各种来源的不同图像伪影。解决这些问题的经典方法通常是基于模型的迭代方法,这些方法是专门为每种类型的工件开发的,通常是计算密集型的。最近,深度学习方法已经被提出作为计算效率和高性能的替代方案。不幸的是,在目前的深度学习方法中,应该使用每个特定工件类型的匹配训练数据来训练专用神经网络。这对US深度学习的实际使用造成了根本性的限制,因为需要存储大量模型来处理各种US图像伪影。受最近多域图像传输成功的启发,我们在这里提出了一种新颖的无监督深度学习方法,其中单个神经网络可以通过简单地改变在不同目标域之间切换的掩码向量来处理不同类型的US伪影。我们的算法是严格推导出使用最佳运输(OT)理论级联概率措施。使用体模和在体数据的实验结果表明,该方法可以产生高质量的图像,通过消除明显的伪影,这是由单独训练的多个神经网络获得的。
2020-07-10 cs.CV cs.LG eess.IV
An Approach for Noise Removal on Depth Images
Fakir Mohan University(法基尔·莫汉大学);Indus International University(印度河国际大学)
基于图像的绘制是计算机视觉和图形学中的一个基本问题。现代技术通常依赖于深度图像进行3D构建。然而,对于大多数现有的深度相机,大的和不可预测的噪声可能是有问题的,这可能导致渲染结果中的明显伪影。在本文中,我们提出了一种有效的方法,深度图像噪声去除,可以适用于大多数RGBD系统。该方法对后续的三维重建、新视图绘制、目标识别等视觉问题具有一定的借鉴意义。我们的实验结果证明了有效性和准确性。
2016-02-16 cs.CV
OAPT: Offset-Aware Partition Transformer for Double JPEG Artifacts Removal
Kuaishou Technology(快手科技);University of Electronic Science and Technology of China(电子科技大学)
提出用于双重 JPEG 伪影去除的偏移感知分区 Transformer(OAPT),通过压缩偏移预测和混合分区注意力块聚类相似模式,在恢复任务中超越现有最优方法 0.16dB 以上,且其聚类模块可作为插件增强其他方法。
2024-09-25 cs.CV eess.IV
STARLINC: Satellite Trail Artifact Removal using Inter-Frame Correlation
Seoul National University(首尔大学)
针对低轨卫星污染天文图像的问题,本文提出无需像素级标注的STARLINC框架,结合合成尾迹生成、帧间差分图和热图实现尾迹去除,性能优于基线,可扩展用于下一代天文观测。
2026-09-01 cs.AI cs.CV
A Comprehensive Benchmark for Single Image Compression Artifacts Reduction
我们提出了一个全面的研究和评估现有的单图像压缩伪影去除算法,使用一个新的4K分辨率基准,包括多样化的前景物体和背景场景丰富的结构,称为大规模理想超高清4K(LIU4K)基准。压缩伪影去除作为一种常见的后处理技术,旨在减轻压缩过程中由量化和近似引起的不期望的伪影,诸如块效应、振铃和条带。在这项工作中,基于其基本模型(手工模型和深度网络),系统地列出了已审查的方法。这些方法的主要贡献和新颖性,并总结了主要的发展方向,包括架构,多域源,信号结构,和新的目标单元,。此外,基于统一的深度学习配置(即相同的训练数据,损失函数,优化算法等),我们基于多样化的评估措施来评估最近的基于深度学习的方法。实验结果表明,现有的方法的最先进的性能比较的基础上完全引用,非引用和任务驱动的指标。本文的研究为今后单幅图像压缩伪影去除的研究提供了一个全面的参考来源,并启发了相关领域的新方向。
2019-09-09 cs.CV eess.IV
DeStripe: A Self2Self Spatio-Spectral Graph Neural Network with Unfolded Hessian for Stripe Artifact Removal in Light-sheet Microscopy
Technical University of Munich(慕尼黑工业大学);Georg-August-University Goettingen(哥廷根大学);Johns Hopkins University(约翰斯·霍普金斯大学);Institute of AI for Health, Helmholtz Munich - German Research Center for Environmental Health(亥姆霍兹慕尼黑中心-德国环境健康研究中心健康人工智能研究所);Helmholtz AI, Helmholtz Munich - German Research Center for Environmental Health(亥姆霍兹慕尼黑中心-德国环境健康研究中心亥姆霍兹人工智能)
光片荧光显微镜(LSFM)是一种先进的体积成像技术,允许三维成像的介观样品与解耦照明和检测路径。虽然这样的显微镜的选择性激发方案提供了内在的光学切片,最大限度地减少了焦点外的荧光背景和样品光损伤,它是容易发生光吸收和散射效应,这会导致在不均匀的照明和条纹的图像中的文物不利。为了解决这个问题,在本文中,我们提出了一个盲条纹伪影去除算法在LSFM,称为DeStripe,它结合了一个自监督的空间谱图神经网络与展开的Hessian先验。具体而言,受傅里叶变换在将条带化信息浓缩成频域中的孤立值中的期望属性的启发,DeStripe首先通过利用单向条带伪影和更各向同性的前景图像之间的结构差异来定位潜在损坏的傅里叶系数。然后,受影响的傅立叶系数可以被馈送到图神经网络中进行恢复,并展开Hessian正则化,以进一步确保标准图像空间中的结构得到很好的保留。由于在现实中,标准图像采集协议几乎不存在无条纹LSFM,因此DeStripe配备了Self2Self去噪损失项,可以在不访问无条纹地面真实图像的情况下消除伪影。竞争性的实验结果证明了DeStripe在恢复LSFM中损坏的生物标志物与合成和真实条纹伪影的功效。
2022-06-27 cs.CV cs.LG eess.IV
Motion Artifact Removal in Pixel-Frequency Domain via Alternate Masks and Diffusion Model
Xidian University(西安电子科技大学);Guangdong Provincial People’s Hospital(广东省人民医院);Southern Medical University(南方医科大学);Xiangyang No. 1 People’s Hospital(襄阳市第一人民医院);Hubei University of Medicine(湖北医药学院);Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对现有MRI运动伪影去除方法依赖配对数据、未充分考虑k空间扰动的问题,提出结合像素-频域信息与交替互补掩码的无监督扩散模型方法,在多组织数据集上实现更优的定量指标与临床反馈。
2024-12-11 cs.CV eess.IV
Simultaneous super-resolution and motion artifact removal in diffusion-weighted MRI using unsupervised deep learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Seoul National University College of Medicine(首尔大学医学院)
磁共振弥散加权成像由于其预后能力,现在是常规进行的,但扫描的质量往往是不令人满意的,这可能随后妨碍临床实用性。为了克服这些限制,我们提出了一种完全无监督的质量增强方案,该方案可以同时提高分辨率并消除运动伪影。这个过程是通过首先使用具有随机退化块的最优传输驱动cycleGAN来训练网络来完成的,该网络学习去除混叠伪影并提高分辨率,然后在测试阶段使用训练好的网络,通过利用自举子采样和聚合来抑制运动伪影。我们进一步表明,我们可以通过控制在推理阶段的自举子采样率来控制伪影校正量和分辨率之间的权衡。据我们所知,该方法是第一个使用无监督学习在MRI背景下同时解决超分辨率和运动伪影校正的方法。我们证明了我们的方法的效率,通过将其应用于定量评价模拟研究,并在体内扩散加权MR扫描,这表明我们的方法是优于目前国家的最先进的方法。所提出的方法是灵活的,因为它可以应用于各种质量增强方案在其他类型的MR扫描,也直接表观扩散系数图的质量增强。
2021-05-01 cs.CV cs.LG eess.IV