DANICE: Domain adaptation without forgetting in neural image compression
Univ. of Michigan Ann Arbor（密歇根大学安娜堡分校）；Computer Vision Center UAB Barcelona（巴塞罗那自治大学计算机视觉中心）；BBC R&D London（英国广播公司研发部）
神经图像压缩（NIC）是一种新的编码范式，其中编码能力由从数据中学习的深度模型捕获。这种数据驱动的性质使新的潜在功能成为可能。在本文中，我们研究的自定义域的兴趣的编解码器的适应性。我们表明，NIC编解码器是可转让的，他们可以适应相对较少的目标域图像。然而，朴素自适应干扰针对原始源域优化的解决方案，导致忘记该域中的原始编码能力，并且甚至可能破坏与先前编码的比特流的兼容性。为了解决这些问题，我们提出了编解码器自适应无遗忘（CAwF），一个框架，可以避免这些问题，通过添加少量的自定义参数，其中源编解码器保持嵌入式和在适应过程中不变。实验证明了该方法的有效性，并对NIC中灾难性干扰的特性提供了有用的见解。
2021-04-19 cs.CV eess.IV
Neural Compression of 360-Degree Equirectangular Videos using Quality Parameter Adaptation
Science & Technology Research Laboratories, NHK（日本放送协会科学技术研究所）
本文提出利用预训练神经视频压缩模型，通过自适应质量参数优化实现360度等距视频的高效压缩，提升压缩率并降低处理时间。
2025-12-23 cs.MM eess.IV
Neural Network Compression via Effective Filter Analysis and Hierarchical Pruning
University of Maryland（马里兰大学）；Shandong University（山东大学）
网络压缩对于使深度网络更高效，更快，并可推广到低端硬件至关重要。目前的网络压缩方法存在两个问题：第一，缺乏一个理论框架来估计最大压缩率;第二，某些层可能会被过度修剪，导致网络性能显著下降。针对这两个问题，提出了一种基于梯度矩阵奇异性分析的网络最大冗余度估计方法。在此基础上，提出了一种新的高效的分层网络剪枝算法，在不牺牲网络性能的前提下，最大限度地压缩神经元网络结构。大量的实验证明了新方法修剪几个先进的卷积神经网络（CNN）架构的有效性。与现有的剪枝方法相比，本文提出的剪枝算法达到了最先进的性能。在相同或相似的压缩比下，与其他方法相比，新方法提供了最高的网络预测准确度。
2022-06-07 cs.CV cs.LG eess.IV
Learned Video Compression with Residual Prediction and Loop Filter
Waseda Research Institute for Science and Engineering（早稻田大学理工学研究所）；Fudan University（复旦大学）
在本文中，我们提出了一个学习视频编解码器与残差预测网络（RP-网）和特征辅助环路滤波器（LF-网）。对于RP-Net，我们利用先前多帧的残差来进一步消除当前帧残差的冗余。对于LF-Net，使用来自残差解码网络和运动补偿网络的特征来辅助重建质量。为了降低复杂性，使用轻型ResNet结构作为RP-Net和LF-Net的主干。实验结果表明，我们可以节省约10%的BD率相比，以前学习的视频压缩框架。此外，由于ResNet主干，我们可以实现更快的编码速度。该项目可在https://github.com/chaoliu18/RPLVC上查阅。
2021-08-19 cs.CV cs.MM eess.IV
Prediction and Reference Quality Adaptation for Learned Video Compression
University of Science and Technology of China（中国科学技术大学）
针对学习型视频压缩中预测与参考质量自适应不足的问题，提出基于置信度的PQA模块和RQA模块及配套训练策略，有效提升了压缩性能。
2025-03-24 cs.CV eess.IV
Motion estimation and filtered prediction for dynamic point cloud attribute compression
KDDI Research, Inc.（KDDI综合研究所）
在点云压缩中，由于不规则的几何形状，利用时间冗余进行帧间预测编码具有挑战性。提出了一种基于块的帧间编码的彩色属性压缩方法。该方案包括整数精度的运动估计和一个自适应的基于图形的环路滤波方案，以改善属性预测。所提出的基于块的运动估计方案包括利用几何和颜色属性的初始运动搜索，随后是仅最小化颜色预测误差的运动细化。为了进一步提高颜色预测，我们提出了一个顶点域低通图滤波方案，可以自适应地去除噪声的预测计算从运动估计具有不同的精度。我们的实验表明，显着的编码增益超过国家的最先进的编码方法。
2022-10-28 cs.CV eess.IV
Multi-Density Attention Network for Loop Filtering in Video Compression
Alibaba Group（阿里巴巴集团）
视频压缩是消费者和专业视频应用的基本要求。诸如H. 264/AVC和H. 265/HEVC之类的视频编码标准在市场上被广泛部署，以使得能够针对许多视频应用高效地使用带宽和存储。为了减少编码伪影和提高压缩效率，文献中已经开发了基于神经网络的重构视频的环路滤波。然而，由于视频内容和采样密度的变化，环路滤波是一项具有挑战性的任务。本文提出了一种基于在线缩放的多密度注意力网络，用于视频压缩中的环路滤波。该方法的核心在于以下几个方面：（a）并行多分辨率卷积流提取多密度特征;（b）单个注意分支学习样本相关性并生成掩码图;（c）通道互注意过程融合多个分支的数据;（d）在线缩放技术根据实际信号进一步优化网络的输出结果。所提出的多密度注意力网络从多个采样密度中学习丰富的特征，并对不同分辨率的视频内容进行鲁棒性。此外，在线缩放过程增强了离线预训练模型的信号适应性。实验结果表明，在相同的视频质量下，与最新的通用视频编码（VVC）标准相比，该算法可以降低10.18%的码率。所提出的算法的客观性能优于国家的最先进的方法和主观质量的改善是明显的细节保留和文物减轻。
2021-04-08 cs.CV cs.MM eess.IV
Once-for-All: Controllable Generative Image Compression with Dynamic Granularity Adaptation
Beijing Jiaotong University（北京交通大学）；Hefei University of Technology（合肥工业大学）；Shandong University（山东大学）
本文提出Control-GIC框架，基于VQGAN和动态粒度分配实现细粒度可控码率的生成式图像压缩，并通过概率条件解码器提升重建质量，性能优于现有方法。
2025-07-19 cs.CV cs.MM eess.IV
Few-Shot Domain Adaptation for Learned Image Compression
University of Science and Technology of China（中国科学技术大学）
针对学习型图像压缩在域外图像上性能下降的问题，提出一种集成即插即用适配器的少样本域自适应方法，通过通道级重分配，仅用25个样本和少于2%的参数即可媲美H.266/VVC及全模型微调。
2025-01-19 cs.CV eess.IV
Domain Adaptation for Learned Image Compression with Supervised Adapters
University of Turin（都灵大学）
本文提出一种基于监督适配器的学习图像压缩域适应方法，通过向解码器插入适配器模块并利用门控网络融合贡献，在保持源域性能的同时提升多目标域的率失真效率。
2024-04-24 cs.CV eess.IV
Adaptive Encoding for Constrained Video Delivery in HEVC, VP9, AV1 and VVC Compression Standards and Adaptation to Video Content
本论文提出使用多目标最佳化架构来设计及选择视频压缩标准中的增强型GOP配置。所提出的方法在一组通用模式上实现了精细优化，这些模式包括：（i）最大视频质量，（ii）最小比特率，（iii）最大编码率（之前的最小编码时间模式）和（iv）可以证明可以改进YouTube/Netflix默认编码器模式设置在一组相反的约束条件下，以保证令人满意的性能。本论文描述了一种与编解码器无关的方法的实现，该方法使用不同的视频编码标准（x265，VP 9，AV 1）对来自不同视频数据集的各种视频进行编码。结果表明，从帕累托前空间获得的最佳编码参数可以提供显着的带宽节省，而不牺牲视频质量。这是通过使用有效的回归模型来实现的，该回归模型允许选择在编码时间、比特率和视频质量空间中联合最优的视频编码设置。本文将所提出的方法应用于x265，VP 9，AV 1，并在x265中使用新的GOP配置，在两个标准参考视频中提供超过40%的最佳编码。
2021-04-26 cs.MM eess.IV
Residual Learning and Filtering Networks for End-to-End Lossless Video Compression
Bahcesehir University（巴赫切谢希尔大学）；Florida Gulf Coast University（佛罗里达海湾海岸大学）；University of Connecticut（康涅狄格大学）
本文提出一种端到端无损视频压缩方法，通过残差跳跃连接、运动矢量与残差帧滤波网络、PReLU非线性变换和参考帧缓冲区微调，结合精心设计的损失函数，在多个数据集上取得了与现有方法相比具有竞争力的性能。
2025-03-11 cs.CV eess.IV
Network Compression via Central Filter
College of Artificial Intelligence, Southwest University（西南大学人工智能学院）；Brain-inspired Computing & Intelligent Control of Chongqing Key Lab（重庆市脑启发计算与智能控制重点实验室）；College of Electronics and Information Engineering, Southwest University（西南大学电子信息工程学院）；Harbin Institute of Technology（哈尔滨工业大学）
神经网络剪枝对于降低深度网络模型的复杂性具有显著的性能。目前的网络剪枝方法通常集中在去除网络中不重要或冗余的过滤器。在本文中，通过探索特征图之间的相似性，我们提出了一种新的过滤器修剪方法，中央过滤器（CF），这表明过滤器是近似等于一组其他过滤器经过适当的调整。我们的方法是基于这样的发现，即特征图之间的平均相似性变化很小，无论输入图像的数量。基于这一发现，我们在特征图上建立相似图，并计算每个节点的接近中心度来选择中心过滤器。此外，我们设计了一种方法，直接调整权值在下一层对应的中央过滤器，有效地减少修剪造成的误差。通过在各种基准网络和数据集上的实验，CF产生了最先进的性能。例如，使用ResNet-56，CF通过删除47.1%的参数减少了大约39.7%的FLOP，甚至在CIFAR-10上提高了0.33%的精度。使用GoogLeNet，CF通过删除55.6%的参数减少了大约63.2%的FLOP，在CIFAR-10上的top-1准确度只有0.35%的微小损失。使用ResNet-50，CF通过删除36.9%的参数减少了约47.9%的FLOP，而ImageNet上的前1准确度仅略有1.07%的损失。这些代码可以在https://github.com/8ubpshLR23/Central-Filter上获得。
2021-12-13 cs.CV cs.LG eess.IV
Image Compression With Learned Lifting-Based DWT and Learned Tree-Based Entropy Models
本文探讨了学习图像压缩的基础上，传统的和学习离散小波变换（DWT）的架构和学习的熵模型编码DWT子带系数。通过提升方案和学习的非线性预测和更新滤波器获得学习的DWT。提出了几种学习熵模型来利用DWT子带系数间和内的依赖关系，类似于传统的EZW，SPIHT或EBCOT算法。实验结果表明，当提出的学习熵模型与传统的小波滤波器，如CDF 9/7滤波器相结合，压缩性能远远超过JPEG 2000可以实现。当学习的熵模型与学习的DWT相结合时，压缩性能进一步提高。学习的DWT和所有熵模型中的计算（除了一个）可以简单地并行化，并且系统在GPU上提供实际的编码和解码时间。
2022-12-07 cs.MM eess.IV
Online Meta Adaptation for Variable-Rate Learned Image Compression
Tencent America LLC（腾讯美国有限责任公司）
提出用于学习型图像压缩的在线元学习框架，通过元参数控制可变速率并在线适应当前图像，同时缓解训练量化与真实硬量化不匹配问题。
2021-11-16 cs.CV eess.IV
Neural Video Compression with In-Loop Contextual Filtering and Out-of-Loop Reconstruction Enhancement
Hohai University（河海大学）；Bytedance Inc.（字节跳动公司）
本研究首次系统探究基于条件的神经视频压缩中的增强滤波技术，将其分为环内上下文滤波与环外重建增强，提出自适应编码决策策略解决环内滤波的自适应应用难题，最终实现较现有最优神经视频编解码器7.71%的码率降低。
2025-09-04 cs.AI eess.IV
Channel-wise Autoregressive Entropy Models for Learned Image Compression
Google Research（谷歌研究院）
在基于学习的图像压缩方法中，通过优化计算模型以最小化率失真目标来开发编解码器。目前，最有效的学习图像编解码器采用熵约束自动编码器的形式，其熵模型使用前向和后向自适应。前向自适应利用边信息，可以有效地集成到深度神经网络中。相比之下，后向自适应通常基于每个符号的因果上下文进行预测，这需要串行处理，这妨碍了GPU / TPU的有效利用。我们介绍了两个增强功能，通道调节和潜在残差预测，导致网络架构具有更好的率失真性能比现有的上下文自适应模型，同时最大限度地减少串行处理。根据经验，与上下文自适应基线模型相比，Kodak图像集和Tecnick图像集的平均速率节省分别为6.7%和11.4%。在低比特率下，改进最有效，我们的模型比基线节省高达18%，比BPG等手工设计的编解码器性能高出25%。
2020-07-17 cs.CV cs.IT cs.LG
ViSTRA2: Video Coding using Spatial Resolution and Effective Bit Depth Adaptation
University of Bristol（布里斯托大学）
我们提出了一种新的视频压缩框架（ViSTRA2），它利用空间分辨率和有效位深度的自适应，在编码器上根据感知标准对这些参数进行下采样，并在解码器上使用深度卷积神经网络进行上采样。ViSTRA2已与HEVC（HM 16.20）和VVC（VTM 4.01）的参考软件集成，并在联合视频探索团队通用测试条件下使用随机访问配置进行评估。我们的结果显示，基于Bjønegard Delta测量，HM和VVC的压缩增益一致且显著，平均BD速率比HM节省12.6%（PSNR）和19.5%（VMAF），比VTM节省5.5%（PSNR）和8.6%（VMAF）。
2019-11-07 cs.LG eess.IV
DNN-Compressed Domain Visual Recognition with Feature Adaptation
Arizona State University（亚利桑那州立大学）
本文提出一种基于学习的压缩域分类框架，通过特征自适应模块和训练策略，在压缩域潜在表示上实现高效视觉识别，性能优于现有压缩域模型，且计算效率高于像素域模型。
2023-07-26 cs.CV eess.IV
Mosaicked multispectral image compression based on inter- and intra-band correlation
多光谱成像技术已经在许多领域得到了应用，但是获取和存储图像数据的成本仍然很高。具有多光谱滤光片阵列的单传感器相机可以降低捕获图像的成本，但图像质量略低。当使用多光谱滤波器阵列时，可以在内插之后应用传统的多光谱图像压缩方法，但是内插之后的压缩图像数据具有一些冗余，因为内插数据是从捕获的原始数据计算的。在本文中，我们提出了一个有效的图像压缩方法，单传感器多光谱相机。所提出的方法编码捕获的多光谱数据插值之前。我们还提出了一种新的光谱变换方法的压缩镶嵌多光谱图像。该变换是通过考虑滤波器排列和多光谱滤波器阵列的光谱灵敏度来设计的。实验结果表明，与传统的对插值后的多光谱图像进行编码的压缩方法相比，该方法在更高的比特率下实现了更高的峰值信噪比，当编码速率超过0.1 bit/pixel/bands时，比传统压缩有3 dB增益。
2018-01-10 eess.IV
CARNet:Compression Artifact Reduction for Point Cloud Attribute
Hangzhou Normal University（杭州师范大学）；Nanjing University（南京大学）
针对基于几何的点云压缩（G-PCC）标准，提出了一种基于学习的自适应环路滤波器，以减少属性压缩伪影。该方法首先生成多个最大可能采样偏移量（MPSO）作为潜在的压缩失真近似值，然后对它们进行线性加权以减轻伪影。因此，我们驱动滤波重建尽可能接近未压缩的PCA。为此，我们设计了一个压缩冗余缩减网络（CARNet），它由两个连续的处理阶段组成：MPSOs推导和MPSOs组合。MPSO推导使用双流网络来模拟来自直接空间嵌入和频率相关嵌入的局部邻域变化，其中稀疏卷积被用来最好地聚合来自稀疏和不规则分布的点的信息。MPSO组合由最小平方误差度量引导以在运行中导出加权系数，以进一步捕获输入PCA的内容动态。CARNet被实现为GPCC的环内滤波工具，其中那些线性加权系数被封装到比特流中，具有可忽略的比特率开销。实验结果表明，最新的GPCC显着改善主观和客观。
2022-09-17 cs.CV eess.IV
Space-Time Video Regularity and Visual Fidelity: Compression, Resolution and Frame Rate Adaptation
为了能够以感知上最佳的方式通过有限的带宽信道来传送当今大量的视频内容，重要的是考虑压缩和空时下采样协议的感知权衡。在这个方向上，我们研究并开发了自然视频统计（NVS）的新模型，这是有用的，因为高质量的视频包含受失真干扰的统计数据。具体来说，我们对相对位移的相邻帧之间的分割归一化差异的统计数据进行建模。在一项广泛的实证研究中，我们发现，时空位移帧差异的那些路径，提供了最大的规律性对我们的NVS模型通常与运动轨迹最佳对齐。受此启发，我们构建了一个新的视频质量预测引擎，该引擎从位移帧差异中提取NVS特征，并将它们组合在一个可以准确预测感知质量的学习回归器中。作为新模型的严格测试，我们将其应用于预测视频质量的困难问题，不仅要压缩，还要在空间和/或时间上进行下采样。我们表明，新的质量模型实现了最先进的（SOTA）预测性能相比，新的ETRI-LIVE时空子采样视频质量（STSVQ）数据库，这是专门针对这个问题。鉴于帧分辨率和帧速率的快速增加，下采样协议对于流媒体视频行业具有高度兴趣。
2021-03-31 eess.IV
Lossless White Balance For Improved Lossless CFA Image and Video Compression
Seoul National University of Science and Technology（首尔科学技术大学）；University of Dayton（代顿大学）
彩色滤光片阵列是放置在相机传感器中的像素检测器上的像素大小的滤光片的空间复用。由这种传感器捕获的原始传感器数据的最先进的无损编码技术利用了使用提升方案的空间或交叉颜色相关性。本文提出了一种基于提升的无损白平衡算法。当应用于原始传感器数据时，隐含色度信号的空间带宽减小。我们建议使用这种白平衡作为无损CFA二次采样图像/视频压缩的预处理步骤，提高原始传感器数据的整体编码效率。
2020-09-19 cs.CV eess.IV
A Differentiable Framework for End-to-End Learning of Hybrid Structured Compression
Seoul National University（首尔国立大学）；AI Institute at Seoul National University（首尔国立大学人工智能研究所）
本文提出可微分框架 DF，将滤波器选择、秩选择与预算约束统一为单一解析形式，并通过 DML-S 和 DTL-S 实现端到端混合结构化压缩，实验证明其性能超越现有最先进方法。
2023-09-21 cs.AI cs.LG eess.IV
Strategies in JPEG compression using Convolutional Neural Network (CNN)
近几十年来，人们对数字图像处理的兴趣极大地增长。因此，已经提出了不同的数据压缩技术，这些技术主要涉及用于表示图像的信息的最小化。随着深度神经网络的发展，可以实现更高程度的图像压缩。本文概述了JPEG压缩、离散傅里叶变换（DFT）、卷积神经网络（CNN）、衡量图像压缩性能的质量指标，并讨论了深度学习在图像压缩中的进展，主要集中在JPEG上，并建议模型的自适应可以改善压缩。
2021-12-06 eess.IV
Enhancing HDR Video Compression through CNN-based Effective Bit Depth Adaptation
本文提出基于CNN的有效位深自适应方法，通过降低编码前位深并在解码端重建，集成多帧MFRNet于VVC编解码器，在HDR视频上平均节省2.9%-4.8%比特率。
2022-07-18 eess.IV
Reduced-complexity Adaptive Loop Filtering via Input-dependent Graph Filters
University of Southern California（南加州大学）；Tencent Media Lab（腾讯媒体实验室）
研究针对现代视频编解码器中自适应环路滤波冗余及复杂度问题，提出基于图的固定滤波框架，利用图编码像素强度关系，学习多项式图滤波器，减少滤波器数量且性能可比基线。
2026-07-07 eess.IV
Low-Rank Adaptation of Pre-trained Vision Backbones for Energy-Efficient Image Coding for Machine
提出一种基于预训练视觉主干和低秩适配机制的节能ICM框架，通过联合优化任务性能与熵最小化，以极少可训练参数实现多任务高效编码，显著优于传统方法。
2025-05-29 eess.IV
Residual-Guided In-Loop Filter Using Convolution Neural Network
混合视频编码框架中基于块的编码结构不可避免地引入了诸如块效应、振铃效应等压缩伪影。为了补偿这些伪影，在视频编解码器的环路中提出了广泛的滤波技术，这些技术能够提高重构视频的主观和客观质量。最近，基于神经网络的过滤器被提出，具有从大量数据中进行深度学习的能力。虽然在高效视频编码（HEVC）中编码效率已经从传统方法提高，但是由压缩流水线生成的丰富特征和信息尚未在神经网络的设计中被充分利用。因此，在本文中，我们提出了基于残差重建的卷积神经网络（RRNet），以进一步提高编码效率，以其最大程度上，其中的压缩特征诱导比特流的预测残差的形式被送入网络作为一个额外的输入到重建帧。实质上，残差信号可以提供关于块分区的有价值的信息，并且可以帮助图像中的边缘和纹理区域的重构。因此，可以训练更多的自适应参数来处理不同的纹理特征。实验结果表明，与HEVC和最先进的基于CNN的方案相比，我们提出的RRNet方法具有显着的BD速率节省，这表明残差信号在增强视频帧重构方面起着重要作用。
2021-05-03 eess.IV
Gen2-VC: Unlocking Generative Priors for Video Compression
Tsinghua University（清华大学）
Gen2-VC通过冻结编解码器和生成骨干，仅用轻量LoRA适配器精化重建，实现低比特率下优于VTM-23.0的失真-感知权衡，且适配器可跨编解码器泛化。
2026-09-29 eess.IV
