Optimized Adaptive Loop Filter in Versatile Video Coding
Institute of Digital Media（数字媒体研究所）；Institute of Computing Technology（计算技术研究所）
研究通用视频编码中自适应环路滤波器的优化，提出包含GALF和CCALF并行设计等的框架，相比VTM-8.0，能大幅减少图像缓冲区访问次数并节省时间，部分方法已被VVC参考软件采用。
2026-09-22 cs.CV
Complexity Reduction of Learned In-Loop Filtering in Video Coding
在视频编码中，在存储用于输出的帧之前，对重构的视频帧应用环路滤波器以增强它们的感知质量。传统的环路滤波器是通过手工制作的方法获得的。最近，基于利用注意力机制的卷积神经网络的学习过滤器已被证明可以改进传统技术。然而，这些解决方案通常在计算上更加昂贵，限制了它们在实际应用中的潜力。该方法使用了一种新的稀疏性和结构化修剪的组合，用于降低学习的环路内滤波器的复杂性。这是通过三步训练过程完成的，即幅度引导的权重修剪、不重要的神经元识别和移除以及微调。通过初步的测试，我们发现，网络参数可以显着减少，对网络性能的影响最小。
2022-03-17 cs.CV eess.IV
In-Loop Filtering Using Learned Look-Up Tables for Video Coding
MOE Key Laboratory of Brain-Inspired Intelligent Perception and Cognition, University of Science and Technology of China（脑启发智能感知与认知国家重点实验室，中国科学技术大学）
本文提出LUT-ILF++，一种基于查找表的通用环内滤波框架，通过缓存DNN输出并采用多LUT协作、跨分量索引和LUT压缩，在VVC中实现低复杂度、低存储的滤波，平均码率减少最高达4.11%。
2025-09-11 cs.CV cs.MM eess.IV
DCT-Conv: Coding filters in convolutional networks with Discrete Cosine Transform
Warsaw University of Technology（华沙理工大学）
卷积神经网络是基于大量的训练权重。因此，它们通常是数据贪婪的，对过度训练敏感，并且学习缓慢。我们遵循的研究路线是，卷积神经层的过滤器是基于较少数量的训练参数确定的。在本文中，训练的参数定义了一个频谱，该频谱通过逆离散余弦变换（IDCT）被变换为卷积滤波器，这同样适用于从JPEG解压缩。我们分析了如何关闭选定的频谱成分，从而减少网络的训练权重的数量，影响其性能。我们的实验表明，编码的滤波器与训练的DCT参数导致改善传统的卷积。此外，以这种方式修改的网络的性能随着关闭这些参数的程度的增加而非常缓慢地下降。在一些实验中，当甚至99.9%的这些参数被关闭时，观察到良好的性能。
2020-04-07 cs.CV cs.NE
Retinal-inspired Filtering for Dynamic Image Coding
Univ. Nice Sophia Antipolis（尼斯索菲亚·安提波利斯大学）；CNRS（法国国家科学研究中心）；I3S（I3S研究所）；G-TECHNOLOGY（4G技术公司）
本文介绍了一种新的非可分离的sPAtioteMporal滤波器（非SPAM），使静止图像的时空分解。该过滤器的构建灵感来自视网膜模型，该模型能够选择性地将信息传输到大脑。非垃圾邮件过滤器模仿视网膜的方式来提取必要的信息，用于动态编码/解码系统。我们应用非垃圾邮件过滤器上的静止图像，这是闪烁了很长一段时间。我们证明了非SPAM滤波器分解的静态图像在一组随时间变化的高斯差分，形成一个框架。在此框架下对分析与综合系统进行了仿真。该系统导致输入图像的渐进重建。理论和数值结果都表明，随着时间的增加，重建的质量得到了提高。
2021-03-22 cs.CV eess.IV eess.SP
In-Loop Filtering via Trained Look-Up Tables
University of Science and Technology of China (USTC)（中国科学技术大学）
针对基于神经网络的环内滤波复杂度高、难落地的问题，提出基于训练查找表的高效环内滤波方案，通过缓存DNN输出、增强索引等机制降低复杂度，在VVC参考软件中实现了可观编码增益与极低的存储、计算开销。
2024-09-11 cs.CV eess.IV
Deformable Wiener Filter for Future Video Coding
National Engineering Research Center of Visual Technology, School of Computer Science, Peking University（视觉技术国家工程研究中心，北京大学计算机科学学院）；Core Media Technology, Disney Streaming（核心媒体技术，迪士尼流媒体）；Wangxuan Institute of Computer Technology, Peking University（王萱计算机技术研究所，北京大学）；Information Technology R&D Innovation Center of Peking University（北京大学信息技术研发创新中心）；Peng Cheng Laboratory, Shenzhen（鹏城实验室，深圳）
提出一种结合局部与非局部特征的可变形维纳滤波器（DWF），通过监督训练和自适应融合实现高效环路滤波，在VVC标准上平均节省1.16%~2.67%的码率。
2026-06-01 cs.CV
WARP-LCA: Efficient Convolutional Sparse Coding with Locally Competitive Algorithm
针对LCA结合硬阈值存在的收敛慢和易陷入次优极小值问题，提出WARP-LCA，利用预测器网络提供初始状态猜测，显著提升收敛速度与解质量，在图像去噪和深度识别中表现出更强的稀疏性与鲁棒性。
2025-04-30 cs.CV cs.LG eess.IV
Deep Learning-based Filtering for Video Coding: A Survey on Architectures, Algorithms, and Complexity Analysis
Sunmoon University（顺天乡大学）；Sookmyung Women’s University（淑明女子大学）；ICT Convergence Research Institute（信息通信融合研究所）
本文针对超高清显示等带来的高效视频编码需求，对基于深度学习的视频编码滤波技术进行综述。提出三维分类法，分析率失真性能与硬件可行性权衡，纳入最新标准化活动，识别相关挑战，为下一代智能视频编码提供指导和路线图。
2026-07-21 cs.CV
JND-Guided Light-Weight Neural Pre-Filter for Perceptual Image Coding
Fudan University（复旦大学）；Xidian University（西安电子科技大学）；East China Normal University（华东师范大学）
针对JND引导预滤波器计算昂贵且缺乏统一基准的问题，本文开源FJNDF-Pytorch并提出轻量级CNN学习框架，在多数据集和编码器上取得SOTA压缩效率且仅需7.15 GFLOPs。
2025-10-18 cs.CV cs.MM eess.IV
Advanced Learning-Based Inter Prediction for Future Video Coding
School of Computer Science, Peking University（北京大学计算机学院）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
本文提出低复杂度基于学习的帧间预测方法 LLIP，用轻量神经网络学习最优滤波参数替代 AVS4 中传统 INTERPF，实现无第三方依赖的高效推理，并在 RA 配置下取得 Y、U、V 分量编码增益。
2024-11-24 cs.CV cs.MM
Distortion-Aware Loop Filtering of Intra 360^o Video Coding with Equirectangular Projection
Shenzhen University（深圳大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；City University of Hong Kong（香港城市大学）
在本文中，我们提出了一个失真感知环路滤波模型，以提高帧内编码的360 $^o$视频投影通过等矩形投影（ERP）格式的性能。为了能够感知失真，我们提出的模块基于编码单元（CU）分区掩码分析内容特征，并通过部分卷积处理它们以激活指定区域。特征重新校准模块利用级联的残差通道注意块（RCAB）自动调整通道间和通道内特征，能够适应不同的质量水平。结合加权均方误差（WMSE）和感知损失的感知几何优化保证了局部视场（FoV）和高质量的全局图像重建。大量的实验结果表明，我们提出的方案实现了显着的比特率节省相比，锚（HM + 360Lib），导致8.9%，9.0%，7.1%和7.4%的平均比特率降低方面的PSNR，WPSNR，和PSNR的两个视口的亮度分量的360^o视频，分别为。
2022-02-20 cs.CV eess.IV
Efficient Adaptation of Neural Network Filter for Video Compression
Nokia Technologies（诺基亚技术）
我们提出了一种有效的微调方法，神经网络滤波器，适用于后处理伪影去除步骤中的视频编码管道。在编码器侧执行微调，以使神经网络适应正在编码的特定内容。为了最大化PSNR增益并最小化比特率开销，我们建议仅微调卷积层的偏差。所提出的方法实现收敛速度比传统的微调方法，使其适合于实际应用。权重更新可以被包括在由现有视频编解码器生成的视频比特流中。我们表明，我们的方法实现了高达9.7%的平均BD速率增益相比，国家的最先进的通用视频编码（VVC）标准编解码器的7个测试序列。
2020-08-13 cs.CV cs.LG cs.MM
Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images
Rochester Institute of Technology（罗切斯特理工学院）；University of South Florida（南佛罗里达大学）
在这项工作中，我们开发了卷积神经生成编码（Conv-NGC），这是预测编码对基于卷积/解卷积计算的情况的推广。具体来说，我们具体实现了一个灵活的神经生物学动机的算法，逐步细化潜在状态特征图，以动态地形成一个更准确的内部表示/重建模型的自然图像。所得到的感官处理系统的性能进行了评估复杂的数据集，如颜色MNIST，CIFAR-10，和街道房屋视图数（SVHN）。我们研究了我们的大脑启发模型在重建和图像去噪任务上的有效性，发现它与通过误差反向传播训练的卷积自动编码系统具有竞争力，并且在分布外重建（包括完整的90 k CINIC-10测试集）方面优于它们。
2023-02-06 cs.CV cs.LG
Exploitation of Image Statistics with Sparse Coding in the Case of Stereo Vision
University of Tübingen（图宾根大学）；Mercedes-Benz AG（梅赛德斯-奔驰股份公司）
稀疏编码算法已被用作哺乳动物视觉早期处理的模型。它已被假设，大脑使用稀疏编码，以利用感官流的统计特性。我们假设稀疏编码从数据集中发现模式，其可用于通过简单读出来估计一组刺激参数。在这项研究中，我们选择了一个立体视觉模型来验证我们的假设。我们使用局部竞争算法（LCA），然后使用朴素贝叶斯分类器来推断立体视差。从结果中，我们报告了三个观察结果。首先，视差推理是成功的，这种自然主义的处理管道。其次，需要一个扩展的，高度冗余的表示来鲁棒地识别输入模式。第三，可以从LCA表示中的有效系数的数量预测推断误差。我们的结论是，稀疏编码可以产生一个合适的一般表示为后续的推理任务。关键词：稀疏编码;局部竞争算法;高效编码;紧凑编码;概率推理;立体视觉
2021-01-26 cs.CV q-bio.NC
Can Coding Agents Build Robust Baselines? A Skill-Based Approach for Automating the Medical Imaging Model-Development Pipeline
Arionkoder LLC（阿里昂科德有限责任公司）；Yatiris（亚蒂里斯）；UNICEN-CONICET（国立中央大学-阿根廷国家科学技术研究委员会）
该研究提出一种结合文献引导推理等的智能体式AI科学家工作流，可自动化医学影像模型开发流水线，在四个公开基准上取得竞争力结果，大幅降低相关工程工作量。
2026-08-25 cs.CV
Competitive Multi-scale Convolution
ARC Centre of Excellence for Robotic Vision（ARC机器人视觉卓越中心）；University of Adelaide（阿德莱德大学）
在本文中，我们介绍了一种新的深度卷积神经网络（ConvNet）模块，该模块可以促进一组多尺度卷积滤波器之间的竞争。这个新模块的灵感来自于初始模块，在该模块中，我们将原始的协作池化阶段（由多尺度滤波器输出的串联组成）替换为由maxout激活单元表示的竞争池化。该扩展具有以下两个目标：1）在多尺度滤波器之间选择最大响应防止滤波器自适应，并允许在同一模型内形成多个子网络，这已被证明有助于复杂学习问题的训练;以及2）maxout单元降低了多尺度滤波器输出的维数。我们表明，在典型的深度ConvNets中使用我们提出的模块，在以下基准数据集上产生的分类结果优于或相当于最先进的水平：MNIST，CIFAR-10，CIFAR-100和SVHN。
2015-11-18 cs.CV cs.LG cs.NE
Joint Reference Frame Synthesis and Post Filter Enhancement for Versatile Video Coding
本文提出面向VVC的联合参考帧合成与后处理滤波增强方法，利用STENet网络在RA配置下通过单次推理同时优化参考帧与重建帧质量，实现显著的BD-rate增益。
2024-04-28 cs.CV eess.IV
Online Convolutional Sparse Coding with Sample-Dependent Dictionary
Hong Kong University of Science and Technology University（香港科技大学）；Paradigm Inc（第四范式有限公司）；University of Macau（澳门大学）
卷积稀疏编码（CSC）已广泛用于图像和信号处理中平移不变字典的学习。然而，现有的方法具有有限的可扩展性。在本文中，而不是卷积与所有样本共享的字典，我们提出了使用一个样本相关的字典，其中过滤器获得的线性组合的一个小的一组基础过滤器从数据中学习。这种增加的灵活性允许捕获大量依赖于样本的模式，同时仍然可以通过在线学习有效地学习所得模型。大量的实验结果表明，该方法优于现有的CSC算法，显着降低了时间和空间的要求。
2018-06-07 cs.CV
Sandboxed Coding Agents are Competitive Omni-modal Task Solvers
University of Maryland（马里兰大学）；MBZUAI
本文提出沙盒化编码智能体，仅通过文本+图像访问和工具使用，即可在全模态任务中匹配甚至超越原生全模态模型，并通过技能注入和训练配方Code-X进一步提升性能。
2026-05-30 cs.CL cs.CV
Multi-Density Attention Network for Loop Filtering in Video Compression
Alibaba Group（阿里巴巴集团）
视频压缩是消费者和专业视频应用的基本要求。诸如H. 264/AVC和H. 265/HEVC之类的视频编码标准在市场上被广泛部署，以使得能够针对许多视频应用高效地使用带宽和存储。为了减少编码伪影和提高压缩效率，文献中已经开发了基于神经网络的重构视频的环路滤波。然而，由于视频内容和采样密度的变化，环路滤波是一项具有挑战性的任务。本文提出了一种基于在线缩放的多密度注意力网络，用于视频压缩中的环路滤波。该方法的核心在于以下几个方面：（a）并行多分辨率卷积流提取多密度特征;（b）单个注意分支学习样本相关性并生成掩码图;（c）通道互注意过程融合多个分支的数据;（d）在线缩放技术根据实际信号进一步优化网络的输出结果。所提出的多密度注意力网络从多个采样密度中学习丰富的特征，并对不同分辨率的视频内容进行鲁棒性。此外，在线缩放过程增强了离线预训练模型的信号适应性。实验结果表明，在相同的视频质量下，与最新的通用视频编码（VVC）标准相比，该算法可以降低10.18%的码率。所提出的算法的客观性能优于国家的最先进的方法和主观质量的改善是明显的细节保留和文物减轻。
2021-04-08 cs.CV cs.MM eess.IV
Learned Video Codec with Enriched Reconstruction for CLIC P-frame Coding
National Chiao Tung University（国立交通大学）
本文提出了一种基于学习的视频编解码器，专门用于学习图像压缩挑战赛（CLIC，CVPRWorkshop）2020 P帧编码。更具体地说，我们设计了一个压缩器网络与细化网络编码残差信号和运动矢量。此外，对于运动估计，我们引入了一个分层的，基于注意力的ME-Net。为了验证我们的设计，我们对模块和不同的输入格式进行了广泛的消融研究。我们的视频编解码器通过在解码器端使用CLIC P帧挑战赛指定的完美参考帧来展示其性能。实验结果表明，我们提出的编解码器是非常有竞争力的挑战顶级表演者的质量指标。
2020-12-14 cs.CV
Extracting Sub-Exposure Images from a Single Capture Through Fourier-based Optical Modulation
Istanbul Medipol University（伊斯坦布尔梅迪波尔大学）；Louisiana State University（路易斯安那州立大学）
通过在曝光时间期间对图像进行逐像素光学编码，可以从单个捕获中提取子曝光图像。这种能力可以用于不同的目的，包括高速成像，高动态范围成像和压缩传感。在本文中，我们展示了一个子曝光图像提取方法，其中曝光编码模式的灵感来自频分复用通信系统的思想。编码掩模调制子曝光图像，使得它们被放置在傅立叶域中的非重叠区域中。子曝光图像提取过程涉及利用适当的带通滤波器对捕获的信号进行数字滤波。原型成像系统结合了基于硅上液晶（LCoS）的空间光调制器，该空间光调制器与用于逐像素曝光编码的相机同步。
2018-02-13 cs.CV
Motion-Compensated Temporal Filtering for Critically-Sampled Wavelet-Encoded Images
University of Central Florida（中佛罗里达大学）
我们提出了一种新的运动估计/补偿（ME/MC）的方法，基于小波（带内）运动补偿时域滤波（MCTF），应用于低比特率视频编码。与传统的带内MCTF算法，这需要冗余来克服临界采样（完整）离散小波变换（DWT）的移位方差问题，我们执行ME/MC步骤直接对DWT系数，避免需要的移位不变性。我们省略了上采样，逆DWT（IDWT），冗余DWT系数的计算，同时实现任意子像素精度，无需插值，即使在非常低的比特率，高视频质量，通过推导输入图像序列的DWT子带之间的确切关系。实验结果表明，该方法的准确性，证实我们的模型ME/MC有效地提高视频编码质量。
2017-05-13 cs.CV
Supervised Convolutional Sparse Coding
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
卷积稀疏编码（CSC）是一种成熟的图像表示模型，特别适用于图像复原任务。在这项工作中，我们通过提出一种有监督的卷积稀疏编码方法来扩展该模型的适用性，该方法旨在学习判别字典而不是纯粹的重建字典。我们将监督正则化项纳入传统的无监督CSC目标，以鼓励最终的字典元素是有区别的。实验结果表明，使用监督卷积学习有两个关键优势。首先，我们在字典中学习更多语义相关的过滤器，其次，我们在看不见的数据上实现了改进的图像重建。
2018-04-08 cs.CV
Competitive Learning Enriches Learning Representation and Accelerates the Fine-tuning of CNNs
National Institute of Information and Communications Technology（信息通信技术国家研究所）
在这项研究中，我们提出将竞争学习集成到卷积神经网络（CNN）中，以提高表示学习和微调的效率。传统的CNN使用反向传播学习，并且它通过辨别任务实现了强大的表示学习。然而，它需要大量的标记数据，并且标记数据的获取比未标记数据的获取困难得多。因此，有效使用未标记数据对于DNN来说变得至关重要。为了解决这个问题，我们将无监督竞争学习引入卷积层，并利用未标记的数据进行有效的表示学习。使用玩具模型的验证实验结果表明，强表示学习使用未标记数据有效地将图像的基提取到卷积滤波器中，并加快了后续监督反向传播学习的微调速度。当滤波器的数量足够大时，杠杆作用更加明显，并且在这种情况下，出错率在微调的初始阶段急剧下降。因此，所提出的方法扩大了CNN中滤波器的数量，并实现了更详细和更通用的表示。它不仅为深度神经网络提供了可能性，而且为广泛的神经网络提供了可能性。
2018-04-26 cs.CV cs.LG cs.NE
Efficient Two-Dimensional Sparse Coding Using Tensor-Linear Combination
Shanghai Jiao Tong University（上海交通大学）；Columbia University（哥伦比亚大学）
稀疏编码（SC）是一种自动特征提取和选择技术，广泛应用于无监督学习。然而，传统的SC矢量化的输入图像，这打破了局部邻近的像素和破坏的基本对象结构的图像。在本文中，我们提出了一种新的二维的【形】稀疏编码（2DSC）计划，表示输入图像的张量线性组合下的一种新的代数框架。2DSC学习更简洁的字典，因为它使用循环卷积算子，因为传统SC学习的原子的移位版本被视为相同的版本。我们应用2DSC自然图像，并证明2DSC返回有意义的字典大补丁。此外，对于多光谱图像去噪，所提出的2DSC降低了计算成本，与最先进的算法相比，具有竞争力的性能。
2017-03-28 cs.CV
Accelerating Merge with Motion Vector Difference via Filter Difference Analysis for VVenC
University of Science and Technology of China（中国科学技术大学）；Hupan Laboratory（湖畔实验室）
提出基于分数运动矢量滤波差分分析的快速MMVD算法，通过2抽头滤波器近似8抽头滤波器推导增益准则，并引入对称偏移推断和十字形降采样点积优化，显著降低搜索比和复杂度。
2026-07-01 cs.CV eess.IV
Restoring STM images via Sparse Coding: noise and artifact removal
在这篇文章中，我们提出了一种去噪算法，以提高扫描隧道显微镜（STM）图像的解释和质量。鉴于STM图像的高水平的自相似性，我们提出了一个去噪算法，通过重新制定的真实估计问题作为一个稀疏回归，通常被称为稀疏编码。我们引入修改的算法，以应付存在的文物，主要是辍学，出现在一个结构化的方式作为连续的线段上的扫描方向。由此产生的算法将伪影视为缺失数据，并且估计值优于通过局部滤波来替换离群值的那些算法。我们提供Matlab和Gwendion的代码实现。
2016-10-11 cs.CV
Lossless White Balance For Improved Lossless CFA Image and Video Compression
Seoul National University of Science and Technology（首尔科学技术大学）；University of Dayton（代顿大学）
彩色滤光片阵列是放置在相机传感器中的像素检测器上的像素大小的滤光片的空间复用。由这种传感器捕获的原始传感器数据的最先进的无损编码技术利用了使用提升方案的空间或交叉颜色相关性。本文提出了一种基于提升的无损白平衡算法。当应用于原始传感器数据时，隐含色度信号的空间带宽减小。我们建议使用这种白平衡作为无损CFA二次采样图像/视频压缩的预处理步骤，提高原始传感器数据的整体编码效率。
2020-09-19 cs.CV eess.IV
Motion Free B-frame Coding for Neural Video Compression
FPT Software, AI Center（FPT软件公司AI中心）
针对传统深度神经视频压缩网络的混合架构缺陷，提出基于核的无运动视频编码方法，消除耗时的运动相关模块以提升编码效率并降低复杂度，缓解模糊伪影，在多数据集上表现优异且模型更小。
2024-11-26 cs.CV eess.IV
The Statistical Inefficiency of Sparse Coding for Images (or, One Gabor to Rule them All)
稀疏编码是学习图像的紧凑表示的一个行之有效的原则。然而，稀疏编码本身往往会导致非常冗余的字典。对于图像，这通常采取类似的边缘检测器的形式，其在不同的位置、尺度和方向上被多次复制。这种观察的直接后果是，字典组件的估计在统计上是不有效的。我们提出了一个因子化模型，其中的变化因素（如位置，规模和方向）从底层的Gabor样过滤器解开。自然图像的稀疏编码中有太多的冗余，以至于我们的模型只需要一个字典元素（类似于Gabor的边缘检测器）就可以优于标准稀疏编码。我们的模型可以自然地扩展到任意大小的图像，同时在学习过程中实现更高的统计效率。我们验证了这一说法与一些实验显示，在一定程度上，优秀的压缩样本外的数据使用稀疏编码字典学习，只有一个单一的图像。
2011-09-30 cs.AI cs.CV
Wavelet-Like Transform-Based Technology in Response to the Call for Proposals on Neural Network-Based Image Coding
University of Science and Technology of China（中国科学技术大学）
为响应IEEE 1857.11基于神经网络的图像编码标准提案征集，本文提出融合多项新特性的端到端框架iWaveV3，其压缩效率达最优，被选为标准制定候选方案。
2024-03-09 cs.CV eess.IV
IT/IST/IPLeiria Response to the Call for Proposals on JPEG Pleno Point Cloud Coding
Instituto Superior Técnico - Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）；ESTG, Politécnico de Leiria（莱里亚理工学院高等技术与管理学院）
本文档描述了基于深度学习的点云几何编解码器和基于深度学习的点云联合几何和颜色编解码器，已提交给2022年1月发布的JPEG Pleno点云编码提案征集。拟议的编解码器基于基于深度学习的PC几何编码的最新发展，并提供了提案征集所针对的一些关键功能。所提出的几何编解码器提供了优于MPEG G-PCC标准的压缩效率，并且优于JPEG Call for Proposals测试集的V-PCC Intra标准或与之竞争;然而，由于需要克服的质量饱和效应，对于联合几何和颜色编解码器不会发生相同的情况。
2022-08-04 cs.CV eess.IV
CAESR: Conditional Autoencoder and Super-Resolution for Learned Spatial Scalability
IRT b；TDF；Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）；IETR（雷恩电子与电信研究所）
在本文中，我们提出了CAESR，一个混合学习为基础的编码方法的空间可伸缩性的基础上，通用的视频编码（VVC）标准。我们的框架认为，低分辨率的信号编码VVC帧内模式作为一个基本层（BL），和一个深度条件自动编码器与超先验（AE-HP）作为增强层（EL）模型。EL编码器将放大的BL重构和原始图像两者作为输入。我们的方法依赖于条件编码，学习源和放大的BL图像的最佳混合，从而实现比残差编码更好的性能。在解码器侧，使用超分辨率（SR）模块来恢复高分辨率细节并反转条件编码过程。实验结果表明，我们的解决方案是具有竞争力的VVC全分辨率帧内编码，同时是可扩展的。
2022-02-01 cs.CV eess.IV eess.SP
Neural information coding for efficient spike-based image denoising
Université Côte d'Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；LEAT（电子学与信息技术实验室）
本文研究脉冲神经网络用于高斯图像去噪，提出对LIF神经元信息转换过程进行形式化分析，表明其能以更低计算成本实现与传统DCNN具竞争力的去噪性能。
2023-05-15 cs.AI cs.CV
