A Low-Complexity View Synthesis Distortion Estimation Method for 3D Video with Large Baseline Considerations
针对3D视频大基线下视图合成失真估计计算复杂、需训练等问题，提出无需训练的低复杂度联合纹理-深度分类、基线距离补偿和区域融合估计方法，实验证明其准确高效。
2025-10-19 eess.IV
Reduced Reference Quality Assessment for Point Cloud Compression
在本文中，我们提出了一个减少的参考（RR）点云质量评估（PCQA）模型命名为R-PCQA量化的失真引入的有损压缩。具体地，我们使用不同压缩方法的属性和几何量化步骤（即，V-PCC、G-PCC和AVS）来推断点云质量，假设点云在压缩之前没有其他失真。首先，分析了点云数据在属性压缩和几何压缩下的压缩失真，避免了它们之间的相互掩盖。为此，我们以5个点云数据为参考，生成了包含独立属性压缩和几何压缩样本的压缩数据集（PCCQA）。然后，我们通过拟合量化步长和感知质量之间的关系来开发建议的R-PCQA。我们评估R-PCQA在已建立的数据集和另一个独立数据集上的性能。实验结果表明，该算法性能可靠，泛化能力强。
2023-01-03 eess.IV
Towards Analysis-friendly Face Representation with Scalable Feature and Texture Compression
City University of Hong Kong（香港城市大学）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
在无数以视觉数据为中心的应用程序中，对视觉信息的复杂表示对最终效用的优化起着基础性的作用。随着提出了许多方法来有效地压缩纹理和视觉特征，分别为人类视觉感知和机器智能服务，很少有人致力于研究它们之间的相互作用。在这里，我们调查的特征和纹理压缩的集成，并表明，一个通用的和协作的视觉信息表示可以实现分层的方式。特别地，我们研究了可伸缩编码框架中的特征和纹理压缩，其中基础层作为深度学习特征和增强层目标以完美地重建纹理。基于深度神经网络强大的生成能力，通过特征级纹理重建进一步填补了基本特征层和增强层之间的空白，旨在进一步从特征构建纹理表示。因此，原始纹理和重构纹理之间的残差可以在增强层中进一步传达。为了提高所提出的框架的效率，基层神经网络的训练，在多任务的方式，使学习的功能享受高质量的重建和高精度的分析。我们进一步展示了人脸图像压缩的框架和优化策略，并在码率保真度和码率精度方面取得了良好的编码性能。
2021-04-19 cs.CV eess.IV
On the Adversarial Robustness of Learning-based Image Compression Against Rate-Distortion Attacks
本文针对基于学习的图像压缩算法在现实率失真攻击下的鲁棒性问题，提出SRDA和ARDA两种攻击范式，评估八种主流LIC算法，并通过熵因果干预和逐层距离放大比揭示超先验与IGDN的脆弱性根源，最后比较对抗训练与在线更新防御策略，为构建更鲁棒的LIC算法提供参考。
2024-07-04 eess.IV
Learned Image Compression with Soft Bit-based Rate-Distortion Optimization
本文引入软比特的概念来解决基于学习的图像压缩的率失真优化问题。用于这种压缩的最新方法训练端到端的自动编码器，其目的是在失真和速率之间取得平衡。他们面临着零梯度的问题，由于量化和准确估计速率的困难。受软量化的启发，我们用可微软比特表示特征映射的量化索引。这使我们能够紧密耦合的上下文自适应二进制算术编码的速率估计。它还提供了一个可微失真目标函数。实验结果表明，我们的方法达到了最先进的压缩性能之间的学习为基础的计划在MS-SSIM和PSNR。
2019-05-01 cs.MM eess.IV
Gated Context Model with Embedded Priors for Deep Image Compression
针对传统的JPEG、JPEG 2000、BPG等基于学习的图像压缩方法，提出了一种深度图像压缩方案，该方案具有最先进的压缩效率。这是通过一种新的嵌入先验的条件概率模型，它可以准确地近似率失真优化的熵率。它利用三个可分离的堆栈来消除接收野中的盲点，以获得更好的概率预测和计算减少。这些嵌入的先验可以进一步用于帮助图像重建时，融合潜在的功能，通过建议的信息补偿网络（ICN）后。在编码器和解码器中使用基于广义分裂归一化（GDN）的残差学习，具有快速收敛速度和高效性能。我们已经评估了我们的模型和其他方法使用率失真标准，其中失真是由多尺度结构相似性（MS-SSIM）。我们还讨论了各种失真度量对重建图像质量的影响。此外，还通过一个专门的主观评价给出了一个现场的研究，比较我们提出的方法和其他传统的图像压缩方法的效率。
2019-02-27 eess.IV
Conceptual Compression via Deep Structure and Texture Synthesis
Peking University（北京大学）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）；City University of Hong Kong（香港城市大学）；Communication University of China（中国传媒大学）
现有的压缩方法通常侧重于去除信号级冗余，而将视觉数据分解为紧凑的概念组件的潜力和通用性仍然缺乏进一步的研究。为此，我们提出了一种新的概念压缩框架，将视觉数据编码为紧凑的结构和纹理表示，然后以深度合成的方式进行解码，旨在实现更好的视觉重建质量，灵活的内容操作以及对各种视觉任务的潜在支持。特别是，我们提出了一个由两个互补的视觉特征组成的双层模型来压缩图像：1）由结构图表示的结构层和2）由低维深度表示表征的纹理层。在编码器侧，结构图和纹理表示被单独地提取和压缩，从而生成紧凑的、可解释的、可互操作的比特流。在解码阶段，提出了一种分层融合GAN（HF-GAN）来学习合成范例，其中纹理被渲染到解码的结构图中，从而导致具有显着的视觉真实感的高质量重建。对不同图像的广泛实验表明，我们的框架具有更低的比特率，更高的重建质量，以及对视觉分析和内容操作任务的多功能性。
2022-03-10 cs.CV eess.IV
Reinforced Rate Control for Neural Video Compression via Inter-Frame Rate-Distortion Awareness
School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）；Samsung Research China-Beijing（三星中国北京研究院）
本文提出基于强化学习的神经视频压缩率控方法，通过联合优化比特率分配和编码参数，实现更高效的压缩性能和更低的开销。
2026-02-01 eess.IV
End-to-End Rate-Distortion Optimization for Bi-Directional Learned Video Compression
Koc University（科奇大学）
传统的视频压缩方法采用线性变换和块运动模型，并且由于端到端优化问题的组合性质，运动估计、模式和量化参数选择以及熵编码的步骤被单独地优化。学习视频压缩允许同时对所有非线性模块、量化参数和熵模型进行端到端的率失真优化训练。虽然先前关于学习视频压缩的工作考虑了基于在成对的连续帧上平均的成本的端到端优化来训练顺序视频编解码器，但是在常规视频压缩中众所周知的是，分层双向编码优于顺序压缩。在本文中，我们提出了第一次端到端优化的分层，双向运动补偿学习的编解码器通过积累代价函数在固定大小的图片组（GOP）。实验结果表明，我们提出的学习双向{ \it GOP编码器}的率失真性能优于最先进的端到端优化学习顺序压缩的预期。
2021-05-26 cs.CV eess.IV
Learning True Rate-Distortion-Optimization for End-To-End Image Compression
Friedrich-Alexander University Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
尽管率失真优化是传统图像和视频压缩的关键部分，但将此概念转移到端到端训练的图像压缩的方法并不多。大多数框架包含静态压缩和解压缩模型，这些模型在训练后是固定的，因此不可能进行有效的率失真优化。在先前的工作中，我们提出了RDONet，其使得RDO方法与HEVC中的自适应块分割相当。在本文中，我们通过将RDO结果的低复杂度估计引入到训练中来增强训练。此外，我们提出了快速和非常快速的RDO推理模式。通过我们的新训练方法，我们在MS-SSIM中实现了比以前的RDONet模型平均节省19.6%的速率，相当于比传统深度图像编码器节省27.3%的速率。
2022-01-05 cs.CV eess.IV
Compression of 3D Gaussian Splatting Data Using GPU-friendly Graphics Texture Coding
研究 3D 高斯点云数据压缩，提出用专为 GPU 并行解码设计的纹理压缩方案压缩 SH 颜色系数，引入比特率控制策略，实验表明该方法能有效压缩数据且不影响渲染视觉质量。
2026-07-17 cs.CV eess.IV
Perceptual Video Quality Prediction Emphasizing Chroma Distortions
测量由人类观察者观看的数字视频的质量已经成为许多多媒体应用（诸如自适应视频流传输、质量监控和其他数字TV应用）中的常见实践。在这里，我们探索一个重要的，但相对未探索的问题：测量视频的感知质量所产生的亮度和色度失真压缩。为了研究这个问题，重要的是要了解出现的色度失真的种类，它们如何与亮度压缩失真相关，以及它们如何影响感知质量。我们设计并进行了一个主观实验，以衡量主观视频质量的亮度和色度失真，介绍了在隔离以及在一起。具体地，新的主观数据集包括受由与不同量的色度量化混合的变化的亮度量化水平引起的失真影响的总共$210$视频。主观评分由$34$受试者在受控环境中进行评价。使用新收集的主观数据，我们能够证明现有视频质量模型的重要缺点，特别是在色度失真方面。此外，我们设计了一个客观的视频质量模型，建立在现有的视频质量算法，通过考虑的保真度的色度通道的原则性的方式。我们还发现，这种质量分析意味着，通过创造性地增加色度通道上的压缩因子，现代视频编解码器中存在降低比特率消耗的空间。我们相信，这项工作将鼓励在这一方向上的进一步研究，以及在现代视频编码器中联合优化亮度和色度压缩的最终目标上取得进展。
2020-09-24 eess.IV
Embedding Compression Distortion in Video Coding for Machines
Beijing Jiaotong University, China（北京交通大学）；University of Science and Technology Beijing, China（北京科技大学）；Nanyang Technological University, Singapore（南洋理工大学）
提出压缩失真表示嵌入（CDRE）框架，通过提取机器感知相关的失真表示并嵌入下游模型，提升压缩视频的任务性能。
2025-03-27 cs.CV eess.IV
Performance analysis of Deep Learning-based Lossy Point Cloud Geometry Compression Coding Solutions
本研究评估三种深度学习点云几何编码方案，发现主观评估中先映射纹理再编码更优，且现有客观指标不适用于机器学习编解码器失真评估。
2024-02-07 eess.IV
Spatio-Temporal Perception-Distortion Trade-off in Learned Video SR
本文提出基于感知直线性假设的时空感知质量度量和PVSR架构，在视频超分辨率中同时优化纹理与运动自然度，实现更合理的感知-失真权衡。
2023-07-04 eess.IV
TLIC: Learned Image Compression with ROI-Weighted Distortion and Bit Allocation
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；Pengcheng Laboratory（鹏城实验室）；Migu Culture Technology Co., Ltd（咪咕文化科技有限公司）
本文提出TLIC图像压缩方法，通过对抗损失生成逼真纹理并利用ROI掩码指导比特分配，从而实现更优的感知质量。
2024-03-23 cs.CV eess.IV
Wasserstein Distortion: Unifying Fidelity and Realism
School of Electrical and Computer Engineering, Cornell University（康奈尔大学电气与计算机工程学院）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本文提出Wasserstein失真度量，统一像素级保真度与感知真实感，并展示其在纹理生成中实现高保真到独立实现的平滑过渡。
2024-03-28 cs.CV cs.IT eess.IV
Controllable Distortion-Perception Tradeoff Through Latent Diffusion for Neural Image Compression
Shanghai Jiao Tong University（上海交通大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
提出一种基于潜在扩散的即插即用解码端模块，在不改变原编解码器的情况下，实现神经图像压缩中失真与感知的灵活权衡，显著提升LPIPS-BDRate而几乎不损失PSNR。
2024-12-16 cs.CV eess.IV
MarsQE: Semantic-Informed Quality Enhancement for Compressed Martian Image
MarsQE通过基于语义的两阶段方法提升火星压缩图像质量，解决地球图像方法在火星场景下的不足。
2025-12-12 eess.IV
Recognition-Aware Learned Image Compression
已知的图像压缩方法通常优化速率失真损失，以增加的比特率来权衡视觉失真的改善。然而，越来越多的压缩图像被用作深度学习网络的输入，用于各种任务，如分类，对象检测和超分辨率。我们提出了一种具有识别意识的学习压缩方法，该方法优化了率失真损失以及特定于任务的损失，联合学习压缩和识别网络。我们使用EfficientNet识别模型增强了基于分层自动编码器的压缩网络，并使用两个超参数在失真、比特率和识别性能之间进行权衡。我们的特征的分类准确性，我们提出的方法作为比特率的函数，并发现，对于低比特率，我们的方法实现高达26%的识别准确率在同等比特率相比，传统的方法，如更好的便携式图形（BPG）。
2022-02-01 cs.CV eess.IV
TACTIC: Joint Rate-Distortion-Accuracy Optimisation for Low Bitrate Compression
University of Surrey（萨里大学）
TACTIC：Task-Aware Compression Through Intelligent Coding。我们的有损压缩模型基于特定任务的速率-失真-精度权衡进行学习。通过考虑哪些信息对于后续问题是重要的，系统在低比特率下权衡视觉保真度以获得良好的任务性能。与相同比特率的JPEG相比，我们的方法能够将ImageNet子集分类的准确性提高4.5%。我们还证明了我们的方法对其他问题的适用性，提供了一个3.4%的准确性和4.9%的平均IoU的性能提高任务无关的压缩语义分割。
2021-09-22 cs.CV cs.IT eess.IV
Exploring Distortion Prior with Latent Diffusion Models for Remote Sensing Image Compression
School of Information and Communications Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院）
针对现有图像压缩算法未充分利用压缩失真先验的问题，提出基于潜扩散模型的遥感图像压缩方法，通过两阶段生成失真先验结合注意力增强网络提升解码质量，性能优于现有方法且可降低传统算法比特消耗。
2024-10-07 cs.CV eess.IV
Lossy Event Compression: From Event Stream Distortion to Task Performance
Instituto Superior Técnico, University of Lisbon（里斯本大学高级技术学院）；Instituto de Telecomunicações（电信研究所）；Instituto Universitário de Lisboa (ISCTE-IUL)（里斯本大学学院）
本文提出两种事件压缩流水线，在任务驱动框架下评估五种新指标，可可靠预测压缩导致的任务性能下降，为事件数据编码优化提供直接指导。
2026-08-31 cs.CV eess.IV
Rate-Distortion-Cognition Controllable Versatile Neural Image Compression
Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工大学宁波数字孪生研究院）；Shanghai Jiao Tong University（上海交通大学）；University of Science and Technology of China（中国科学技术大学）
提出一种单模型可调码率、重建质量与机器任务精度的多功能图像压缩方法，通过认知损失与辅助残差分支及插值策略实现灵活控制。
2024-07-17 cs.CV eess.IV
Rate-Distortion Modeling for Bit Rate Constrained Point Cloud Compression
点云作为三维真实世界的主要表现形式之一，非常适合虚拟现实和增强现实应用，得到了广泛的应用。为了减少庞大的数据量，人们对点云数据压缩进行了大量的研究。然而，给定目标比特率，如何正确选择颜色和几何量化参数来压缩点云仍然是一个悬而未决的问题。提出了一种基于率失真模型的点云压缩量化参数选择方法。首先，为了克服点云畸变测量中的不确定性，提出了一种将几何畸变和颜色畸变相结合的统一模型。在这个模型中，我们考虑到点云的几何和颜色变量之间的相关性，并推导出一个无量纲的量来表示整体质量下降。然后，我们推导出总失真和比特率与量化参数的关系。最后，我们制定的比特率约束的点云压缩作为一个约束最小化问题，使用派生的多项式模型，并推导出通过迭代数值方法的解决方案。实验结果表明，该算法在不同的目标比特率下都能获得最佳的解码点云质量，且性能明显优于基于视频率失真模型的点云压缩方案。
2022-11-19 cs.IT cs.MM eess.IV
SANR: Scene-Aware Neural Representation for Light Field Image Compression with Rate-Distortion Optimization
School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；Advanced Video Group (AVG), Bytedance Inc.（字节跳动高级视频组）
SANR提出场景感知神经表示框架，通过分层场景建模和量化感知训练实现端到端率失真优化，在光场图像压缩中较HEVC节省65.62%的BD率。
2025-10-17 cs.CV cs.MM eess.IV
A Compression Objective and a Cycle Loss for Neural Image Compression
Nokia Technologies（诺基亚科技）
在本文中，我们提出了神经图像压缩的两个客观术语：压缩目标和周期损失。这些项应用于自动编码器的编码器输出，并与重建损失结合使用。压缩目标鼓励激活中的稀疏性和低熵。循环损失项表示从原始图像和从重构图像计算的编码器输出之间的失真（码域失真）。我们通过使用压缩目标结合不同的损耗来训练不同的自编码器：a）MSE，b）MSE和MSSSIM，c）MSE、MS-SSIM和循环损耗。我们观察到，由这些不同训练的自动编码器编码的图像落入感知失真曲线的不同点（同时具有相似的比特率）。特别地，仅MSE训练有利于低图像域失真，而周期丢失训练有利于高感知质量。
2019-05-24 cs.LG eess.IV stat.ML
Adversarial Distortion for Learned Video Compression
Qualcomm AI Research, Qualcomm Technologies, Inc.（高通人工智能研究院，高通技术公司）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通人工智能研究院，高通技术荷兰有限公司）；University of California San Diego（加州大学圣迭戈分校）
在本文中，我们提出了一种新的对抗有损视频压缩模型。在极低的比特率，标准的视频编码方案遭受不愉快的重建文物，如阻塞，振铃等现有的学习神经的方法来视频压缩已经取得了合理的成功，降低比特率的有效传输，并在一定程度上减少文物的影响。然而，它们在极端压缩下仍然倾向于产生模糊的结果。在本文中，我们提出了一种深度对抗学习的视频压缩模型，该模型可以最大限度地减少辅助对抗失真目标。我们发现，相对于传统的质量指标（如MS-SSIM和PSNR），这种对抗性目标与人类感知质量判断的相关性更好。我们的实验使用一个国家的最先进的学习视频压缩系统表现出减少感知文物和重建的细节丢失，特别是在极高的压缩。
2021-06-18 cs.CV cs.LG eess.IV
Video Compression With Rate-Distortion Autoencoders
Qualcomm AI Research（高通人工智能研究院）
在本文中，我们提出了一个深度生成模型的有损视频压缩。我们采用的模型，包括一个3D的自编码器与离散的潜在空间和自回归先验用于熵编码。自动编码器和先验都被联合训练以最小化率失真损失，这与变分自动编码器中使用的ELBO密切相关。尽管它很简单，我们发现我们的方法优于最先进的学习视频压缩网络的基础上运动补偿或插值。我们系统地评估各种设计选择，如使用基于帧的或时空自编码器，以及自回归先验的类型。此外，我们提出了三个扩展的基本方法，证明了传统的方法压缩的好处。首先，我们引入语义压缩，其中模型被训练为将更多的比特分配给感兴趣的对象。其次，我们研究自适应压缩，其中模型适应于具有有限可变性的域，例如，从自动驾驶汽车拍摄的视频，以实现该领域的卓越压缩。最后，我们介绍了多模态压缩，在那里我们证明了我们的模型在联合压缩非标准成像传感器（如四摄像头）捕获的多种模态中的有效性。我们相信，这开辟了新的视频压缩应用，这是不可行的经典编解码器。
2019-11-13 cs.LG eess.IV stat.ML
Enhancing the Rate-Distortion-Perception Flexibility of Learned Image Codecs with Conditional Diffusion Decoders
University of Padova（帕多瓦大学）
针对现有学习型图像压缩编解码器低码率下视觉效果不佳的问题，本文提出用条件扩散模型作解码器，可在解码端基于采样方法灵活调整失真与感知的权衡，提升率-失真-感知灵活性。
2024-03-05 cs.CV eess.IV
Multi-Realism Image Compression with a Conditional Generator
Google Research（谷歌研究院）
通过优化率失真现实主义的权衡，生成压缩方法产生详细的，逼真的图像，即使在低比特率，而不是由率失真优化模型产生的模糊重建。然而，以前的方法没有明确控制合成多少细节，这导致了对这些方法的共同批评：用户可能会担心生成远离输入图像的误导性重建。在这项工作中，我们通过训练一个解码器来缓解这些担忧，该解码器可以桥接这两个机制并导航失真-现实主义权衡。从单个压缩表示，接收器可以决定重建接近输入的低均方误差重建、具有高感知质量的现实重建或介于两者之间的任何重建。通过我们的方法，我们在扭曲现实主义中建立了一个新的艺术状态，推动了可实现的扭曲现实主义对的前沿，即，我们的方法在高真实性下实现了更好的失真，并且在低失真下实现了比以前更好的真实性。
2023-03-30 cs.CV cs.LG eess.IV
Slimmable Compressive Autoencoders for Practical Neural Image Compression
Northwestern Polytechnical University（西北工业大学）；Computer Vision Center（计算机视觉中心）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
神经图像压缩利用深度神经网络在率失真性能方面优于传统图像编解码器。然而，由此产生的模型也很重，计算要求高，通常针对单一速率进行优化，限制了它们的实际使用。针对实际的图像压缩，我们提出了可精简的压缩自编码器（SlimCAE），其中速率（R）和失真（D）针对不同的容量进行了联合优化。一旦经过训练，编码器和解码器就可以以不同的能力执行，从而导致不同的速率和复杂度。我们表明，成功实施SlimCAE需要适当的容量特定的RD权衡。我们的实验表明，SlimCAE是高度灵活的模型，提供了出色的率失真性能，可变速率，动态调整内存，计算成本和延迟，从而解决了实际图像压缩的主要要求。
2022-05-02 cs.CV eess.IV
JPD-SE: High-Level Semantics for Joint Perception-Distortion Enhancement in Image Compression
University of Florida（佛罗里达大学）；SenseBrain Technology（感脑科技）
虽然人类可以通过利用他们对内容的高级理解而毫不费力地将复杂的视觉场景转换成简单的单词，并且反过来，传统的或最近学习的图像压缩编解码器似乎没有充分利用视觉内容的语义含义。此外，它们主要关注率失真，并且往往在感知质量方面表现不佳，特别是在低比特率区域，并且通常忽视下游计算机视觉算法的性能，这是除了人类观众之外的快速增长的压缩图像消费者群体。在本文中，我们（1）提出了一个通用的框架，可以使任何图像编解码器利用高级语义和（2）研究感知质量和失真的联合优化。我们的想法是，给定任何编解码器，我们利用高层次的语义来增强它提取的低层次的视觉特征，并产生一个新的，语义感知的编解码器。我们提出了一个三阶段的训练计划，教导语义感知编解码器利用语义的力量，共同优化率感知失真（R-PD）的性能。作为一个额外的好处，语义感知编解码器还可以提高下游计算机视觉算法的性能。为了验证我们的主张，我们进行了广泛的实证评估，并提供定量和定性的结果。
2022-08-09 cs.CV eess.IV
Advancing The Rate-Distortion-Computation Frontier For Neural Image Compression
Google Research（谷歌研究院）
本文通过率失真计算（RDC）研究提出一种新颖的神经图像压缩架构，在计算需求与RD性能间实现最佳权衡，相比BPG节省23.1%比特率，达到最新水平。
2023-09-26 cs.CV cs.LG eess.IV
Efficient Dynamic-NeRF Based Volumetric Video Coding with Rate Distortion Optimization
Institute of Image Communication and Network Engineering（图像通信与网络工程研究所）；Shanghai Jiao Tong University（上海交通大学）；College of Electronics and Information Engineering（电子信息工程学院）；Sichuan University（四川大学）
本文提出一种基于动态NeRF的体积视频压缩方法，通过分解表示并联合优化建模与压缩，相比ReRF实现了更高压缩效率。
2024-11-08 cs.CV eess.IV
Leveraging Diffusion Knowledge for Generative Image Compression with Fractal Frequency-Aware Band Learning
City University of Hong Kong（香港城市大学）；Hon Hai Research Institute（鸿海研究院）
本文提出融合扩散知识与FFAB-IC分形频率感知频带网络的生成式图像压缩方法，并通过频率、内容正则化改善有限带宽下的纹理恢复与码率—失真—真实感权衡。
2025-03-14 cs.CV eess.IV
Balanced Rate-Distortion Optimization in Learned Image Compression
Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔电气与计算机工程学院）
本文将学习图像压缩的率失真优化重构为多目标优化，提出由粗到细梯度下降与等式约束二次规划两种平衡策略，分别用于从零训练和微调，以约 2% BD-Rate 降低提升 R-D 性能。
2025-03-18 cs.CV eess.IV
The Rate-Distortion-Accuracy Tradeoff: JPEG Case Study
Google Research（谷歌研究院）
处理数字图像几乎总是伴随着有损压缩，以促进有效的传输和存储。这在分配的比特预算（速率）和结果图像对原始图像的忠实性（失真）之间引入了不可避免的紧张关系。另一个复杂的考虑因素是压缩对给定分类器识别性能（准确性）的影响。这项工作的目的是探索这种率失真精度权衡。作为一个案例研究，我们集中在JPEG压缩标准中的量化表的设计。我们提供了一种新的优化调整这些表通过不断优化，利用差分实现的JPEG编码器-解码器和熵估计。这使我们能够提供一个统一的框架，考虑率，失真和分类精度之间的相互作用。在所有这些方面，我们通过对这些表进行简单且易于实现的修改，报告了性能的大幅提升。
2020-08-03 cs.CV eess.IV
Flexible-Rate Learned Hierarchical Bi-Directional Video Compression With Motion Refinement and Frame-Level Bit Allocation
Koç University（科奇大学）；KUIS AI Center（KUIS人工智能中心）
本文介绍了改进和新的补充，我们最近的工作，端到端的优化分层双向视频压缩，以进一步推进国家的最先进的学习视频压缩。作为一种改进，我们结合了运动估计和预测模块，并压缩改进的残差运动矢量，以提高率失真性能。作为新的补充，我们适应了增益单元提出的图像压缩灵活速率的视频压缩在两个方面：第一，增益单元使一个单一的编码器模型在多个率失真操作点操作;第二，我们利用增益单元控制帧内编码与双向编码帧之间的比特分配，通过微调相应的模型，真正灵活的速率学习视频编码。实验结果表明，我们获得了最先进的率失真性能超过所有现有技术的学习视频编码。
2022-06-27 cs.CV eess.IV
Rate Distortion Characteristic Modeling for Neural Image Compression
School of Computer Science, Peking University（北京大学计算机学院）；University of Chinese Academic of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）；Information Technology R&D Innovation Center of Peking University（北京大学信息技术研发创新中心）
端到端优化的神经图像压缩（NIC）最近获得了优异的有损压缩性能。在本文中，我们考虑的率失真（R-D）特性分析和建模的NIC的问题。我们努力制定基本的数学函数来描述使用深度网络的NIC的R-D行为。因此，任意比特率点可以通过经由单个训练的网络利用这样的模型来优雅地实现。我们提出了一个插件模块来学习自动编码器的潜在变量的目标比特率和二进制表示之间的关系。该方案解决了训练不同模型以到达R-D空间中不同点的问题。此外，我们的速率和失真特性的NIC作为一个函数的编码参数$λ$分别建模。实验结果表明，该方法易于实现，并具有最佳的连续码率编码性能，这意味着该方法将有利于NIC的实际部署。
2022-01-13 cs.CV cs.LG eess.IV
Rate-distortion Optimized Point Cloud Preprocessing for Geometry-based Point Cloud Compression
School of Telecommunications Engineering, Xidian University（电子科技大学电信工程学院）；School of Electronics and Information, Northwestern Polytechnical University（西北工业大学电子信息技术学院）；School of Engineering, Royal Melbourne Institute of Technology（皇家墨尔本理工学院工程学院）
本文提出了一种基于率失真优化的点云预处理框架，结合可微替代模型与体素化网络，提升G-PCC效率，实现38.84%的BD-rate减少。
2025-08-03 cs.CV eess.IV
Good, Cheap, and Fast: Overfitted Image Compression with Wasserstein Distortion
New York University（纽约大学）；Google Paradigms Of Intelligence（谷歌智能范式研究院）；Google DeepMind（谷歌DeepMind）
针对现有生成式学习图像压缩计算复杂度过高的问题，研究通过对过拟合编解码器C3优化Wasserstein失真，以不足1%的运算量实现了媲美HiFiC的压缩效果，且WD的感知预测表现优于多种主流指标。
2025-03-24 cs.CV eess.IV
SG-JND: Semantic-Guided Just Noticeable Distortion Predictor For Image Compression
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；Xiaohongshu（小红书）
本文提出语义引导JND网络SG-JND，通过语义级图像块提取、跨尺度注意力特征提取和JND回归预测，在公开数据集上取得最先进性能，证明语义信息对JND评估的重要性。
2024-08-08 cs.CV eess.IV
Autoencoder based image compression: can the learning be quantization independent?
INRIA Rennes Bretagne-Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋分所）
本文探讨了通过自编码器学习图像压缩变换的问题。通常，图像压缩的率失真性能通过改变量化步长来调节。在自动编码器的情况下，这原则上需要在给定的量化步长下学习每个率失真点的一个变换。在这里，我们表明，可比的性能可以获得一个独特的学习变换。然后通过在测试时间改变量化步长来达到不同的率失真点。这种方法节省了大量的训练时间。
2018-02-23 cs.LG eess.IV eess.SP
Toward Scalable Image Feature Compression: A Content-Adaptive and Diffusion-Based Approach
Peng Cheng Laboratory（鹏城实验室）
针对学习型图像特征压缩细节不足且不可伸缩的问题，本文提出内容自适应 Markov palette diffusion 框架，协同纹理与语义特征并通过中间扩散状态灵活调节压缩率，在重建和下游视觉任务上优于现有方法。
2024-10-08 cs.CV cs.MM eess.IV
Model-based Joint Bit Allocation between Geometry and Color for Video-based 3D Point Cloud Compression
率失真优化在图像/视频编码中起着非常重要的作用。但对于三维点云，这个问题还没有被研究。本文详细研究了三维点云的率失真特性，并针对一个典型的、具有挑战性的三维点云率失真优化问题进行了求解。具体来说，由于三维点云的重建质量同时依赖于几何和颜色失真，本文首先提出了基于视频的三维点云压缩平台中几何和颜色信息的码率和失真解析模型，然后基于导出的模型解决了几何和颜色的联合比特分配问题。为了最大限度地提高三维点云的重建质量，将位分配问题转化为一个约束优化问题，并采用内点法求解。实验结果表明，该算法的率失真性能接近穷举搜索，但时间复杂度仅为穷举搜索的0.68%。此外，所提出的率失真模型也可用于其他率失真优化问题（如预测模式决策）和未来三维点云编码的率控制技术。
2020-03-27 cs.MM cs.SY eess.IV
Deep Implicit Volume Compression
Google（谷歌）
我们描述了一种新的方法，用于压缩截断符号距离场（TSDF）存储在三维体素网格，及其相应的纹理。为了压缩TSDF，我们的方法依赖于端到端训练的基于块的神经网络架构，实现了最先进的率失真权衡。为了防止拓扑错误，我们对TSDF的符号进行有损压缩，这也通过体素大小来上限重建误差。为了压缩相应的纹理，我们设计了一个快速的基于块的UV参数化，生成连贯的纹理图，可以有效地使用现有的视频压缩算法压缩。我们在两个4D性能捕获数据集上展示了我们的算法的性能，与最先进的技术相比，对于相同的失真，将比特率降低了66%，或者对于相同的比特率，将失真降低了50%。
2020-05-18 cs.CV cs.LG eess.IV
Rate-Distortion Optimization with Non-Reference Metrics for UGC Compression
针对传统基于全参考指标的率失真优化在低质量UGC压缩中效果欠佳、无参考指标RDO计算成本过高的问题，提出线性化NRM的逐块比特分配方法，加SSE正则化，实现比特率节省超30%且复杂度开销低。
2025-05-21 eess.IV eess.SP
Enhancing Perception Quality in Remote Sensing Image Compression via Invertible Neural Network
Xi’an Jiaotong University（西安交通大学）
针对低比特率下遥感图像解码感知质量差的问题，提出基于可逆神经网络的INN-RSIC方法，通过捕获压缩失真并利用逆映射生成增强图像，显著提升了感知质量。
2024-08-25 cs.CV eess.IV
Variable Rate Deep Image Compression with Modulated Autoencoder
Key Laboratory of Information Fusion Technology, Northwestern Polytechnical University（西北工业大学信息融合技术重点实验室）
可变速率是灵活和适应性强的图像和视频压缩的要求。然而，深度图像压缩方法针对单个固定的速率-失真折衷进行优化。虽然这可以通过针对不同的权衡训练多个模型来解决，但内存需求与模型的数量成比例地增加。缩放共享自动编码器的瓶颈表示可以利用单个共享自动编码器提供可变速率压缩。然而，使用这种简单机制的R-D性能在低比特率下降低，并且还缩小了比特率的有效范围。为了解决这些限制，我们制定了深度图像压缩的可变率失真优化问题，并提出了调制自动编码器（MAE），其中共享自动编码器的表示通过调制网络适应特定的率失真权衡。联合训练这种调制的自动编码器和调制网络提供了一种有效的方法来导航R-D操作曲线。实验结果表明，该方法可以实现几乎相同的R-D性能的独立模型与显着更少的参数。
2020-07-21 cs.CV eess.IV
JND-Based Perceptual Optimization For Learned Image Compression
Shandong Normal University（山东师范大学）；Nanyang Technological University（南洋理工大学）
近来，所学习的图像压缩方案已经在图像保真度（例如，PSNR和MS-SSIM）相比，传统的混合图像编码，由于其高效的非线性变换，端到端的优化框架等，但是，很少有人考虑到人类视觉系统（HVS）的JND（JND）特性，并优化学习图像压缩的感知质量。为了解决这个问题，提出了一种基于JND的感知质量损失。考虑到在不同的量化参数（QP）下，压缩图像在不同的训练时期的失真量是不同的，我们开发了一个失真感知调整器。将它们结合在一起，我们可以更好地分配失真的压缩图像与JND的指导下，以保持高的感知质量。所有这些设计使所提出的方法能够灵活地应用于各种学习的图像压缩方案，具有高可扩展性和即插即用的优点。在Kodak数据集上的实验结果表明，在相同的比特率下，该方法比基线模型具有更好的感知质量。
2023-03-08 cs.CV eess.IV
Controlling Rate, Distortion, and Realism: Towards a Single Comprehensive Neural Image Compression Model
Graduate School of Engineering, Tohoku University（东北大学工程学院）
提出一种可变码率生成式神经图像压缩模型，通过定制判别器、新对抗损失和多真实感技术，实现单模型同时控制码率、失真与真实感，性能媲美甚至超越单码率模型。
2024-05-27 cs.CV eess.IV
End-to-End Rate-Distortion Optimized Learned Hierarchical Bi-Directional Video Compression
Koç University（科奇大学）
传统的视频压缩（VC）方法基于运动补偿变换编码，并且由于端到端优化问题的组合性质，运动估计、模式和量化参数选择以及熵编码的步骤被单独地优化。学习VC允许同时对非线性变换、运动和熵模型进行端到端的率失真（R-D）优化训练。大多数关于学习VC的工作考虑基于在连续帧对上平均的R-D损失的顺序视频编解码器的端到端优化。在常规VC中众所周知，分层双向编码优于顺序压缩，因为其能够使用过去和未来的参考帧。本文提出了一种学习分层双向视频编解码器（LHBDC），结合了分层运动补偿预测和端到端优化的好处。实验结果表明，我们取得了最好的R-D结果，报告学习VC计划的PSNR和MS-SSIM。与传统的视频编解码器相比，我们的端到端优化编解码器的R-D性能在PSNR和MS-SSIM以及MS-SSIM中的HM 16.23参考软件方面优于x265和SVT-HEVC编码器（“非常慢”预设）。我们目前的消融研究表明，由于提出的新工具，如学习掩蔽，流场子采样，和时间流矢量预测的性能增益。复制我们的结果的模型和说明可以在https://github.com/makinyilmaz/LHBDC/中找到
2021-12-17 cs.CV eess.IV
Exploring the Rate-Distortion-Complexity Optimization in Neural Image Compression
University of Science and Technology of China（中国科学技术大学）
本文系统研究神经图像压缩中的率-失真-复杂度（RDC）优化，通过将解码复杂度纳入优化目标，设计可变复杂度编解码器以自适应利用空间依赖性，实现细粒度复杂度调整，兼顾率失真性能与解码效率。
2023-05-12 cs.IT cs.LG eess.IV
