A-ESRGAN: Training Real-World Blind Super-Resolution with Attention U-Net Discriminators
University of Michigan(密歇根大学);Shanghai Jiao Tong University(上海交通大学)
盲图像超分辨率(SR)是CV中的一个长期任务,旨在恢复遭受未知和复杂失真的低分辨率图像。最近的工作主要集中在采用更复杂的退化模型来模拟现实世界的退化。由此产生的模型在感知损失方面取得了突破,并产生了感知上令人信服的结果。然而,当前生成对抗网络结构带来的局限性仍然很大:平等对待像素会导致忽略图像的结构特征,并导致性能缺陷,如扭曲的线条和背景过度锐化或模糊。在本文中,我们提出了A-ESR GAN,一个GAN模型的盲SR任务具有注意力的U-网为基础的,多尺度的,可以无缝集成与其他发电机。据我们所知,这是第一个工作,引入注意力U-网结构作为GAN解决盲SR问题的模型。并对多尺度注意力U-Net给模型带来性能突破的机制进行了解释。通过与现有工作的比较实验,我们的模型提出了国家的最先进的水平性能的非参考自然图像质量评价指标。我们的消融研究表明,使用我们的RRDB,基于RRDB的生成器可以在多个尺度上利用图像的结构特征,从而产生比以前的作品更逼真的高分辨率图像。
2021-12-19 cs.CV cs.LG eess.IV
SR-Prominence: A Crowdsourced Protocol and Dataset Suite for Perceptually-Weighted Super-Resolution Artifact Evaluation
AI Center, Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学人工智能中心);Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学);Innopolis University(因诺皮里斯大学)
本文提出SR-Prominence数据集套件,通过众包标注协议评估超分辨率伪影的感知影响,发现经典全参考指标在局部 prominence 信号上表现优异,而无参考IQA方法和专用伪影检测器在跨数据集和参考设置时表现不佳。
2026-10-16 cs.CV
Swin2SR: SwinV2 Transformer for Compressed Image Super-Resolution and Restoration
University of Würzburg(维尔茨堡大学);MegaStudyEdu(MegaStudy教育)
压缩对于通过诸如流服务、虚拟现实或视频游戏的带宽受限系统来高效地传输和存储图像和视频起着重要作用。然而,压缩不可避免地导致伪影和原始信息的丢失,这可能严重降低视觉质量。因此,对压缩图像进行质量增强已成为一个热门的研究课题。虽然大多数最先进的图像复原方法都是基于卷积神经网络,但其他基于变换器的方法(如SwinIR)在这些任务上表现出令人印象深刻的性能。在本文中,我们探讨了新的Swin Transformer V2,以改善SwinIR的图像超分辨率,特别是,压缩输入的情况。使用这种方法,我们可以解决训练Transformer视觉模型中的主要问题,例如训练不稳定性,预训练和微调之间的分辨率差距以及数据饥饿。我们对三个有代表性的任务进行实验:JPEG压缩伪影去除,图像超分辨率(经典和轻量级),和压缩图像超分辨率。实验结果表明,Swin2SR算法能够提高SwinIR算法的训练收敛性和性能,在“AIM 2022压缩图像和视频超分辨率挑战赛”中获得前5名。
2022-09-22 cs.CV eess.IV
AIM 2022 Challenge on Super-Resolution of Compressed Image and Video: Dataset, Methods and Results
本文综述了AIM 2022上压缩图像和视频的超分辨率挑战。这一挑战包括两个方面。磁道1针对压缩图像的超分辨率,磁道2针对压缩视频的超分辨率。在Track 1中,我们使用流行的数据集DIV2K作为训练、验证和测试集。在Track 2中,我们提出了LDV 3.0数据集,其中包含365个视频,包括LDV 2.0数据集(335个视频)和30个额外的视频。在本次挑战赛中,分别有12支队伍和2支队伍将最终成绩提交给了第一轨道和第二轨道。所提出的方法和解决方案衡量了压缩图像和视频的超分辨率的最新技术水平。拟议的LDV 3.0数据集可在https://github.com/RenYang-home/LDV_dataset上获得。这个挑战的主页是https://github.com/RenYang-home/AIM22_CompressSR。
2022-08-25 cs.CV eess.IV
Super-resolving Compressed Images via Parallel and Series Integration of Artifact Reduction and Resolution Enhancement
Shenzhen University(深圳大学);Peng Cheng Laboratory(鹏城实验室);Shenzhen Institute for Artificial Intelligence and Robotics for Society(深圳人工智能与机器人社会研究院)
在现实世界的应用中,例如在社交媒体平台上分享照片,图像不仅总是被二次采样,而且还被严重压缩,因此通常包含各种伪影。提高这类图像分辨率的简单方法会加剧伪影,使其在视觉上令人反感。超分辨率压缩图像具有很高的实用价值,但目前文献中对它的研究还不多。在本文中,我们提出了一种新的压缩图像超分辨率(CISR)框架的基础上并行和串行集成的伪影去除和分辨率增强。基于从下采样和压缩的观察中估计干净的低分辨率(LR)图像和干净的高分辨率(HR)图像的数学推理模型,我们设计了一个由两个深度神经网络模块组成的CISR架构:伪影去除模块(ARM)和分辨率增强模块(REM)。ARM和REM并行工作,两者都将压缩的LR图像作为其输入,同时它们还串联工作,REM将ARM的输出作为其输入之一,而ARM将REM的输出作为其另一输入。一种称为展开的技术被引入到递归地抑制压缩伪影和恢复图像分辨率。我们的CISR系统的一个独特的功能是,它利用ARM和REM之间的并联和串联连接,以及递归优化,以减少模型对特定类型的退化的依赖性,从而使训练单个模型能够通过不同的方法压缩到不同的质量的超分辨率图像。代码和数据集可在https://github.com/luohongming/CISR_PSI.git上获得
2022-11-22 cs.CV eess.IV
Compressed Domain Prior-Guided Video Super-Resolution for Cloud Gaming Content
National Engineering Research Center of Visual Technology, School of Computer Science, Peking University(北京大学计算机学院视觉技术国家工程研究中心);Migu Interactive Entertainment Co., Ltd(咪咕互动娱乐有限公司)
本文提出轻量级网络CPGSR,通过压缩域先验引导、重参数化重建和分区焦点频率损失,提升云游戏压缩视频的超分辨率重建质量。
2025-01-03 cs.CV eess.IV
FCVSR: A Frequency-aware Method for Compressed Video Super-Resolution
School of Information and Communication Engineering, University of Electronic Science and Technology of China(信息与通信工程学院,电子科学与技术大学)
本文提出FCVSR方法,通过运动引导自适应对齐网络和多频率特征细化模块,结合频率感知对比损失,提升压缩视频超分辨率性能,实验表明在PSNR和复杂度上优于现有方法。
2025-10-11 cs.CV
RTSR: A Real-Time Super-Resolution Model for AV1 Compressed Content
University of Bristol(布里斯托大学);Netflix Inc.(Netflix公司)
本文提出低复杂度实时超分辨率模型RTSR,基于CNN和双教师知识蒸馏,针对AV1压缩内容实现360p至1080p及540p至4K的高效提升,在AIM 2024挑战中取得复杂度与质量的最佳平衡。
2024-11-20 cs.CV eess.IV
Compressed Depth Map Super-Resolution and Restoration: AIM 2024 Challenge Results
University of Würzburg(维尔茨堡大学);Sony PlayStation(索尼互动娱乐 PlayStation);Meta Reality Labs(元宇宙实境实验室)
本文总结了AIM 2024挑战赛结果,针对压缩深度图尺寸大且易因压缩损失质量的问题,提出开发创新的深度上采样技术以从压缩数据中重建高质量深度图,旨在推进深度处理技术并提升AR/VR用户体验。
2024-09-24 cs.CV eess.IV
Compressed Video Super-Resolution based on Hierarchical Encoding
University of Bristol(布里斯托大学);University of Electronic Science and Technology of China(电子科学与技术大学)
本研究提出基于分层编码transformer的通用压缩视频超分辨率方法VSR-HE,可4倍放大高压缩比视频、消除H.265/HEVC压缩伪影,已提交至ICME 2025相关挑战赛的两个赛道。
2025-06-17 cs.CV eess.IV
Learning Spatiotemporal Frequency-Transformer for Compressed Video Super-Resolution
University of Science and Technology Beijing(北京科技大学);Microsoft Research(微软研究院);Shunde Graduate School of University of Science and Technology Beijing(北京科技大学顺德研究生院)
压缩视频超分辨率(VSR)旨在从压缩的低分辨率对应物恢复高分辨率帧。最新的VSR方法通常通过从相邻视频帧借用相关纹理来增强输入帧。虽然已经取得了一些进展,但要从压缩视频中有效地提取和传输高质量的纹理仍然存在巨大的挑战,因为大多数帧通常都是高度退化的。在本文中,我们提出了一种新的频率变换器压缩视频超分辨率(FTVSR),进行自关注的联合空间-时间-频率域。首先,我们将一个视频帧分成补丁,并将每个补丁转换成DCT频谱图,其中每个通道代表一个频带。这样的设计使得能够在每个频带上实现细粒度级别的自关注,使得可以将真实的视觉纹理与伪影区分开,并且进一步用于视频帧恢复。其次,我们研究了不同的自注意方案,并发现一个分开的注意,进行联合空间频率注意之前,每个频带上应用时间注意,导致最好的视频增强质量。两个广泛使用的视频超分辨率基准测试的实验结果表明,FTVSR优于国家的最先进的方法在未压缩和压缩视频具有清晰的视觉边缘。代码可在https://github.com/researchmm/FTVSR上获得。
2022-08-05 cs.CV
Real-Time 4K Super-Resolution of Compressed AVIF Images. AIS 2024 Challenge Survey
Meta
本文介绍了AIS 2024实时图像超分辨率挑战赛的新基准,旨在将AVIF压缩图像从540p实时放大至4K,综述了25个团队提出的内存高效且运行时间低于10ms的边缘设备解决方案。
2024-04-25 cs.CV eess.IV
FAST: A Framework to Accelerate Super-Resolution Processing on Compressed Videos
Massachusetts Institute of Technology(麻省理工学院)
现有技术的超分辨率(SR)算法需要大量的计算资源来实现实时吞吐量(例如,60 Mpixels/s for HD video)。本文介绍了FAST(通过传输的自由自适应超分辨率),一个框架,以加速任何SR算法应用于压缩视频。FAST利用相邻帧之间的时间相关性,使得SR仅应用于帧的子集; SR像素然后被转移到其他帧。传输过程具有可忽略的计算成本,因为它使用已经嵌入压缩视频中的信息(例如,运动矢量和残差)。自适应处理用于在时间相关性不存在时(例如,闭塞)。FAST将最先进的SR算法加速高达15倍,视觉质量损失为0.2dB。FAST是朝着用于超高清显示器和能量受限设备(例如,手机和平板电脑)。
2017-08-04 cs.CV
Learnt Deep Hyperparameter selection in Adversarial Training for compressed video enhancement with perceptual critic
Trinity College Dublin(都柏林圣三一学院)
基于图像的深度特征质量评价(DFQM)已被证明与传统指标相比更好地与主观感知分数相关。这些DFQM的基本重点是利用大规模分类网络的内部表示作为度量特征空间。在此之前,没有注意到识别哪些层在感知上最相关的问题。在本文中,我们提出了一种新的方法,从这样的网络中选择感知相关的层,基于神经科学的解释层的行为。所选择的层被视为W-GAN中评论家网络的超参数。评论家在初步阶段使用这些层的输出来提取感知信息。一个视频增强网络与这个评论家对抗训练。我们的研究结果表明,将这些选定的功能引入到评论家中,与其他没有利用优化特征选择思想的评论家网络相比,性能提高了10%(FID)和15%(KID)。
2023-02-28 cs.AI eess.IV
CISRDCNN: Super-resolution of compressed images using deep convolutional neural networks
Sichuan University(四川大学)
近年来,人们对图像的超分辨率进行了大量的研究。然而,据我们所知,很少有SR方法与压缩图像有关。压缩图像中存在复杂的压缩伪影,压缩图像的真实感重建是一项具有挑战性的任务,而在实际应用中,许多图像都存在压缩伪影。这个困难任务的直观解决方案是将其解耦为两个顺序但独立的子问题,即,然而,在CAR阶段中可能会去除一些有用的细节,这与SR的目标相反,并且使SR阶段更具挑战性。本文设计了一种端到端可训练的深度卷积神经网络对压缩图像进行SR(CISRDCNN),减少了压缩伪影,同时提高了图像分辨率。在JPEG压缩图像上的实验(本文以JPEG为例)表明,所提出的CISRDCNN在常用的测试图像和图像集上具有最先进的SR性能。CISRDCNN在真实低质量Web图像上的结果也非常令人印象深刻,具有明显的质量增强。此外,我们探讨了所提出的SR方法在低比特率图像编码中的应用,导致比JPEG更好的率失真性能。
2017-09-19 cs.CV
Self-Tuned Deep Super Resolution
Beckman Institute, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼研究所);Adobe Systems Inc(奥多比系统公司);Snapchat Inc(Snapchat公司)
深度学习已成功应用于图像超分辨率(SR)。在本文中,我们提出了一个深度联合超分辨率(DJSR)模型,利用外部和自我的相似性SR。堆叠去噪卷积自动编码器(SDCAE)首先预先训练外部的例子与适当的数据增强。然后,它是微调与多尺度自我的例子,从每个输入,其中自我的例子的可靠性是明确考虑。我们还通过子模型的训练和选择来提高模型的性能。DJSR模型进行了广泛的评估,并与最先进的技术进行了比较,并在大量图像上显示出明显的定量和感知性能改进。
2015-04-22 cs.CV cs.LG
A Codec Information Assisted Framework for Efficient Compressed Video Super-Resolution
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
对压缩视频进行在线处理以提高其分辨率越来越受到人们的广泛关注。基于递归神经网络的视频超分辨率(VSR)由于其对长时间依赖性的有效建模而成为一种很有前途的解决方案。然而,国家的最先进的经常性的VSR模型仍然需要大量的计算,以获得良好的性能,主要是因为复杂的运动估计帧/特征对齐和冗余处理的连续视频帧。本文针对压缩视频的特点,提出了一种编解码器信息辅助框架(CIAF)来增强和加速压缩视频的递归VSR模型。首先,该框架重用运动矢量的编码视频信息来建模相邻帧之间的时间关系。实验表明,基于运动矢量的对齐模型可以显着提高性能,可以忽略不计的额外计算,甚至可以与那些使用更复杂的基于光流的对齐。其次,通过进一步利用Resistance的编码视频信息,可以通知框架跳过对冗余像素的计算。实验结果表明,该框架可以节省高达70%的计算,而性能下降的H.264编码的REDS 4测试视频时,CRF为23。
2022-10-15 cs.CV
NTIRE 2022 Challenge on Super-Resolution and Quality Enhancement of Compressed Video: Dataset, Methods and Results
本文回顾了NTIRE 2022年关于压缩视频的超分辨率和质量增强的挑战。在这个挑战中,我们提出了LDV 2.0数据集,其中包括LDV数据集(240个视频)和95个额外的视频。这一挑战包括三个方面。轨道1旨在以固定QP增强由HEVC压缩的视频。轨道2和轨道3以HEVC压缩视频的超分辨率和质量增强为目标。它们分别需要x2和x4超分辨率。这三条赛道共吸引了600多人报名。在测试阶段,8支队伍、8支队伍和12支队伍分别向赛道1、2和3提交了最终成绩。所提出的方法和解决方案衡量了压缩视频的超分辨率和质量增强的最新技术水平。拟议的LDV 2.0数据集可在https://github.com/RenYang-home/LDV_dataset上获得。这个挑战的主页(包括开源代码)是https://github.com/RenYang-home/NTIRE22_VEnh_SR。
2022-04-25 cs.CV
MambaCSR: Dual-Interleaved Scanning for Compressed Image Super-Resolution With SSMs
University of Science and Technology of China(中国科学技术大学);Bytedance Inc.(字节跳动公司)
针对压缩图像超分辨率任务,提出基于Mamba的MambaCSR框架,通过双交错扫描范式(含分层、水平-垂直交错扫描)及位置对齐跨尺度扫描,在多基准上取得优异性能,代码即将开源。
2024-11-26 cs.CV
Decoupling Fine Detail and Global Geometry for Compressed Depth Map Super-Resolution
SKL-IOTSC, CIS, University of Macau(物联网系统与智能计算研究院,计算机科学与信息工程学院,澳门大学)
本文提出几何解耦网络GDNet,通过细粒度几何细节编码器和全局几何编码器分别处理细节与全局结构,显著提升压缩深度图超分辨率性能,并在ECCV 2024 AIM挑战赛中获得第一名。
2025-05-06 cs.CV
Perceptually Equivalent Resolution in Handheld Devices for Streaming Bandwidth Saving
该研究通过主观实验确定手持设备中的感知等效分辨率为720p,超过该分辨率用户无法感知质量提升,从而可显著节省流媒体带宽。
2024-02-07 eess.IV
Learning Single-Image Super-Resolution in the JPEG Compressed Domain
Advanced Micro Devices, Inc.(先进微器件公司)
本研究提出在JPEG压缩域中直接训练单图像超分辨率模型,通过操作DCT系数提升数据加载和训练效率,同时保持视觉质量。
2025-12-03 cs.AI cs.CV
UCIP: A Universal Framework for Compressed Image Super-Resolution using Dynamic Prompt
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Microsoft Research Asia(微软亚洲研究院)
针对现有压缩图像超分辨率方法仅支持单一编解码器的问题,提出通用框架UCIP,采用动态提示和ATM主干,支持多种编解码器,并在23种退化上表现优异。
2024-07-18 cs.CV
Compressed-Domain-Aware Online Video Super-Resolution
School of Information and Electronics, Beijing Institute of Technology, Beijing, China(信息与电子学院,北京理工大学,北京,中国);Terahertz Science and Application Center, Beijing Institute of Technology, Zhuhai, Guangdong, China(太赫兹科学与应用中心,北京理工大学,珠海,广东,中国)
本文提出CDA-VSR方法,通过利用压缩域信息提升在线视频超分辨率的效率和质量,实现比现有方法更高的PSNR和更快的推理速度。
2026-03-08 cs.AI cs.CV
IEGAN: Multi-purpose Perceptual Quality Image Enhancement Using Generative Adversarial Network
Anyvision(安视维);Queen’s University Belfast(贝尔法斯特女王大学)
尽管在图像增强的质量上取得了突破,但对于低分辨率的退化图像,同时恢复更精细的纹理细节和锐度的端到端解决方案仍然没有解决。一些现有的方法集中于最小化逐像素重建误差,这导致高峰值信噪比。增强的图像不能提供高频细节并且在感知上不令人满意,即,它们不能与照片般逼真的图像中所期望的质量相匹配。在本文中,我们提出了图像增强生成对抗网络(IEGAN),一个通用的框架,能够推断出逼真的自然图像,同时去除伪影和超分辨率。此外,我们提出了一个新的损失函数的组合重建损失,功能损失和边缘损失的副本。特征丢失有助于将输出图像推到自然图像流形,边缘丢失则保留输出图像的清晰度。重建损失向生成器提供关于所生成的图像与原始图像相比的质量的低级语义信息。我们的方法已经被实验证明可以从公共基准测试和我们提出的高分辨率World100数据集上的严重压缩的低分辨率图像中恢复照片般逼真的纹理。
2018-11-22 cs.CV
Self-Supervised Learning of Perceptually Optimized Block Motion Estimates for Video Compression
University of Texas at Austin(德克萨斯大学奥斯汀分校);Netflix Inc.(奈飞公司)
基于块的运动估计对于在混合视频编解码器中执行的帧间预测过程是不可或缺的。用于计算块运动矢量(MV)的基于块匹配的流行方法依赖于计算密集的搜索过程。它们还受到孔径问题的困扰,随着块大小的减小,孔径问题会变得更糟。此外,在典型的编解码器中使用的块匹配标准不考虑在解码时创建的运动补偿画面的感知质量的结果水平。为了实现感知优化的运动估计的难以捉摸的目标,我们提出了一个无搜索的块运动估计框架,使用多级卷积神经网络,它能够进行运动估计多个块的大小,同时使用三帧作为输入。这个复合块翻译网络(CBT-Net)以自我监督的方式在我们从公开的未压缩视频内容创建的大型数据库上进行训练。我们部署多尺度结构相似性(MS-SSIM)损失函数,以优化运动补偿预测帧的感知质量。我们的实验结果突出了我们提出的模型相对于传统的基于块匹配的运动估计算法的计算效率,可比的预测误差。此外,当用于执行AV 1中的帧间预测时,与SVT-AV 1编码器中采用的基于块匹配的运动估计系统相比,感知优化模型的MV预测导致相对于MS-SSIM和视频多方法评估融合(VMAF)质量度量的平均Bjontegaard增量速率(BD速率)分别提高了-1.70%和-1.52%。
2022-12-04 cs.CV eess.IV
CSwin2SR: Circular Swin2SR for Compressed Image Super-Resolution
ISEP(ISEP巴黎高等电子工程师学校);Westlake University(西湖大学);Sorbonne University(索邦大学)
闭环负反馈机制在自动控制系统中得到广泛应用,并能带来非凡的动态和静态性能。为了进一步提高现有压缩图像超分辨率重建方法的重建能力,提出了一种循环Swin2SR(CSwin2SR)方法。CSwin2SR包含用于初始超分辨率重建的串行Swin2SR和用于增强超分辨率重建的循环Swin2SR。仿真实验结果表明,CSwin2SR在超分辨率恢复能力上明显优于Swin2SR。在DIV2K测试和有效数据集上,PSNR的平均增量大于0.18 dB,SSIM的相关平均增量大于0.01。
2023-02-13 cs.LG eess.IV
Wide spectrum denoising (WSD) for superresolution microscopy imaging using compressed sensing and a high-resolution camera
使用压缩感知和高分辨率相机的超分辨率显微成像的宽谱去噪(WSD)
2020-06-08 cs.IT eess.IV math.IT
SCENE: Semantic-aware Codec Enhancement with Neural Embeddings
United Link Co., Ltd.(联合链接有限公司);Dept. Computer Science and Information Engineering, National Tsing Hua University(国立清华大学计算机科学与信息工程系)
SCENE通过整合视觉语言模型的语义嵌入,实现对压缩视频中伪影的语义感知增强,提升感知质量和细节纹理保留。
2026-01-29 cs.CV cs.LG cs.MM
PEA265: Perceptual Assessment of Video Compression Artifacts
Fuzhou University(福州大学);University of Waterloo(滑铁卢大学)
构建了首个包含H.265/HEVC压缩视频的大规模主观标注PEA265数据库,涵盖6种时空可感知编码伪影,并利用CNN(如ResNeXt)实现高精度客观识别与量化,推动视频质量评估与编码器发展。
2019-03-01 cs.CV eess.IV
Gaze-Contingent Retinal Speckle Suppression for Perceptually-Matched Foveated Holographic Displays
计算机全息显示器显示出巨大的潜力,并正在成为增强和虚拟现实以及汽车抬头显示器的下一代显示器。损害这种显示器的广泛采用的关键问题之一是全息术固有的散斑噪声的存在,其通过引入可感知的伪影而损害其质量。虽然斑点噪声抑制一直是一个活跃的研究领域,以前的作品没有考虑到人类视觉系统(HVS),它接收最终显示的图像的感知特性。然而,已经充分研究了HVS的灵敏度在整个视野中是不均匀的,这导致了用于最大化各种计算机生成的图像中的感知质量的视情况而定的渲染方案。受此启发,我们提出的第一种方法,减少了“感知斑点噪声”的HVS的中央凹和周边视觉特性,随着视网膜点扩散函数,到相位全息图计算。具体来说,我们将视网膜受体的解剖学和统计学分布引入到我们的计算全息图优化中,这将更优先地减少感知到的中央凹斑点噪声,同时适应于视网膜上的任何个体的光学像差。我们的方法在我们的仿真全息显示器上展示了优越的感知质量。我们的评估与客观测量和主观研究表明,显着减少人类感知噪声。
2021-08-10 cs.HC cs.MM eess.IV
A Diffusion Model Based Quality Enhancement Method for HEVC Compressed Video
University of Chinese Academy of Sciences(中国科学院大学)
提出一种基于扩散模型的压缩视频后处理方法,通过估计特征向量作为先验信息,自适应增强不同量化参数的HEVC压缩视频质量,在混合数据集上优于现有方法。
2023-11-15 cs.CV eess.IV
Self-supervised Enhanced Radar Imaging Based on Deep-Learning-Assisted Compressed Sensing
传统的雷达成像方法存在分辨率低、噪声抑制能力差等问题。提出了一种基于自监督深度学习辅助压缩感知(SS-DL-CS-Net)的雷达成像方法。将原始雷达图像作为网络的输入。训练网络学习原始雷达图像和高质量雷达图像之间的映射函数。然而,高质量的雷达图像无法获得。我们利用雷达图像的稀疏性来解决这个问题。以原始雷达图像和含零值的雷达图像作为网的参考。我们的网络不需要大量的数据来进行训练。实际雷达数据被用来评估所提出的方法的性能。实验结果证明了该方法的优越性
2022-08-08 eess.IV
Super-Resolving Compressed Video in Coding Chain
Peking University(北京大学);Hefei University of Technology(合肥工业大学);Peng Cheng Laboratory(鹏城实验室)
缩放和有损编码在视频传输和存储中有着广泛的应用。用于增强此类视频的分辨率的先前方法通常忽略分辨率损失与压缩伪影之间的固有干扰,这损害了感知视频质量。为了解决这个问题,我们提出了一个混合分辨率编码框架,它与基于参考的DCNN合作。在这种新颖的编码链中,基于参考的DCNN在解码器侧学习从低分辨率(LR)压缩视频到其高分辨率(HR)干净版本的直接映射。我们进一步提高重建质量,设计了一个有效的可变形对齐模块与感受野块处理各种运动距离,并引入了一个解开的损失,帮助网络区分的伪影模式从纹理。大量的实验证明了所提出的创新的有效性,通过比较与国家的最先进的单一图像,视频和基于参考的恢复方法。
2021-03-26 cs.CV cs.MM eess.IV