Audio-Visual Driven Compression for Low-Bitrate Talking Head Videos
Hosei University（恒生大学）
针对低码率说话人头部视频压缩的现有问题，提出融合紧凑3D运动特征与音频的音视频驱动编解码器，在CelebV-HQ数据集上实现码率降低与唇形同步、视觉质量的提升。
2025-06-16 cs.CV eess.IV
Towards image compression with perfect realism at ultra-low bitrates
FAIR at Meta（Meta FAIR研究院）；LTCI, Télécom Paris, IP Paris（巴黎理工学院电信学院LTCI实验室）
本文提出PerCo，一种利用迭代扩散模型进行解码的图像压缩方法，在超低比特率下实现高视觉质量，并在FID和KID指标上达到最先进水平。
2024-03-19 cs.CV eess.IV
Single-step Diffusion for Image Compression at Ultra-Low Bitrates
Sungkyunkwan University（成均馆大学）
本文提出单步扩散图像压缩模型，通过VQ-Residual训练和率感知噪声调制，在超低码率下实现高感知质量，并将解码速度较先前扩散方法提升约50倍。
2025-09-22 cs.CV eess.IV
Reinforced Rate Control for Neural Video Compression via Inter-Frame Rate-Distortion Awareness
School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）；Samsung Research China-Beijing（三星中国北京研究院）
本文提出基于强化学习的神经视频压缩率控方法，通过联合优化比特率分配和编码参数，实现更高效的压缩性能和更低的开销。
2026-02-01 eess.IV
Subjective performance evaluation of bitrate allocation strategies for MPEG and JPEG Pleno point cloud compression
本研究针对点云压缩的MPEG与JPEG Pleno标准，结合客观指标分析配置参数影响，设计多套码率分配策略并开展双协议主观评估，对比了两类标准的性能并总结最佳编码实践。
2024-10-31 eess.IV
Leveraging Compression to Construct Transferable Bitrate Ladders
Laboratory for Image and Video Engineering (LIVE), The University of Texas at Austin（图像与视频工程实验室（LIVE），德克萨斯大学奥斯汀分校）；Colorado’s Laboratory for Image and Video Engineering (LIVE), University of Colorado Boulder（科罗拉多州图像与视频工程实验室（LIVE），科罗拉多大学波德分校）；Meta Platforms Inc.（Meta平台公司）
本文提出了一种基于机器学习的比特率阶梯构建方法，通过分析压缩过程和源视频的感知相关测量，准确预测压缩视频的VMAF分数，并评估其在不同编码设置下的性能。
2025-12-15 cs.CV eess.IV
LMM-driven Semantic Image-Text Coding for Ultra Low-bitrate Learned Image Compression
本文提出利用大型多模态模型在单一模型中生成并压缩图像描述，并设计面向语义-感知的微调方法，使LPIPS BD-rate较现有方法提升41.58%，实现超低码率学习型图像压缩。
2024-11-20 cs.CV eess.IV
Generative Latent Coding for Ultra-Low Bitrate Image and Video Compression
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（脑启发式智能感知与认知联合实验室，中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
针对超低比特率下图像视频压缩中像素域与感知错位的问题，提出在VQ-VAE潜在空间进行变换编码的生成式潜在编码（GLC）模型，并引入分类超模块和码预测损失，实现高真实感高保真压缩，显著降低比特率。
2025-05-22 cs.CV eess.IV
MCUCoder: Adaptive Bitrate Learned Video Compression for IoT Devices
Kiel University（基尔大学）
针对物联网设备硬件受限导致视频压缩局限于M-JPEG的问题，提出超轻量级MCUCoder模型，仅10.5K参数、350KB内存占用，比特率比M-JPEG降低超55%，支持自适应比特率，适配资源受限场景。
2024-11-29 cs.CV eess.IV
LPCM: Learning-based Predictive Coding for LiDAR Point Cloud Compression
针对激光雷达点云压缩，提出基于学习的预测编码方法LPCM，利用球坐标和LSTM预测及变分半径压缩，并优化量化参数，在基准上优于现有方法。
2025-05-26 eess.IV
CompressNet: Generative Compression at Extremely Low Bitrates
University of Michigan（密歇根大学）
以极低的比特率（< 0.1 bpp）压缩图像一直是一项具有挑战性的任务，因为由于对压缩数据分配的比特数施加的严格限制，重建质量会显着降低。随着在有限带宽下传输大量图像的需求不断增加，将图像压缩到非常小的尺寸是一项至关重要的任务。然而，现有的方法在极低的比特率下是无效的。为了满足这一需求，我们提出了一种名为CompressNet的新型网络，它通过切换预测网络（SAE-SPN）增强了堆叠式自动编码器。这有助于在这些低比特率（< 0.1 bpp）下重建视觉上令人愉悦的图像。我们在Cityscapes数据集上对我们提出的方法的性能进行了基准测试，在极低的比特率下对不同的指标进行了评估，以表明我们的方法优于其他最先进的方法。特别是，与深度学习SOTA方法相比，在0.07的比特率下，CompressNet实现了22%的感知损失和55%的Frechet Inception Distance（FID）。
2020-06-14 cs.CV cs.LG eess.IV
DiV-INR: Extreme Low-Bitrate Diffusion Video Compression with INR Conditioning
ETH Zürich（苏黎世联邦理工学院）；Disney Entertainment and ESPN Product & Technology（迪士尼娱乐和ESPN产品与技术）；DisneyResearch|Studios（迪士尼研究工作室）
本文提出一种结合隐式神经表示与预训练视频扩散模型的视频压缩框架，旨在解决极低比特率下的压缩问题，通过INR条件引导扩散过程，提升感知质量。
2026-04-09 cs.MM eess.IV
The Effect of Frame Rate on 3D Video Quality and Bitrate
增加3D视频的帧速率通常导致改善的体验质量（QoE）。然而，更高的帧速率涉及捕获、传输、存储和显示的更高程度的复杂性。这里出现的问题是，在现有/所需的3D设备和技术（3D相机、3D电视、压缩、传输带宽和存储容量）下，什么样的帧速率能保证高观看质量的体验。对于2D视频的情况，这个问题已经得到解决，但对于3D还没有。本文的目的是研究在不同的帧速率的3D质量和比特率之间的关系。我们的性能评估表明，将3D视频的帧速率提高到60 fps以上可能在视觉上无法区分。此外，我们的实验表明，当可用带宽减少时，可以通过调整（降低）帧速率而不是增加压缩比来实现最高的3D体验质量。我们的研究结果是特别感兴趣的网络提供商在可变比特率信道的速率自适应。
2018-03-13 eess.IV
DSIC: Deep Stereo Image Compression
Uber ATG（优步先进技术集团）
在本文中，我们解决的问题，立体图像压缩，并利用这一事实，即两个图像有重叠的视野，以进一步压缩的表示。我们的方法利用了最先进的单图像压缩自动编码器，并增强了压缩与新的参数跳过功能，饲料完全可微，在所有级别的第二个图像的编码器/解码器的原始变形功能。此外，我们使用条件熵模型的图像代码之间的概率依赖性建模。我们的实验表明，与深度单图像压缩相比，在低比特率下第二图像比特率降低了30 - 50%，在较高比特率下降低了10 - 20%。
2019-08-09 cs.CV eess.IV
Unifying Generation and Compression: Ultra-low bitrate Image Coding Via Multi-stage Transformer
Communication University of China（中国传媒大学）；Peking University（北京大学）
针对极端压缩场景下码率降低受限的问题，提出融合生成与压缩的UIGC范式，采用VQ图像模型分词和多阶段Transformer建模先验，在超低码率下实现了更优的感知质量。
2024-03-06 cs.CV cs.LG eess.IV
Group-of-Latents: Perceptual Video Compression at Extreme Bitrates via Masked Latent Generative Modeling
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, Beijing, China（多媒体信息处理国家重点实验室，计算机科学学院，北京大学，北京，中国）；State Key Discipline Laboratory of Wide Band-Gap Semiconductor Technology, School of Microelectronics, Xidian University, Xi'an, China（宽带隙半导体技术重点学科实验室，微电子学院，西安电子科技大学，西安，中国）
针对极低比特率视频压缩未充分探索的问题，提出统一生成框架，通过潜在组策略、深度压缩模块和统一潜在去噪模块，在极低比特率下实现高感知质量，有丰富空间细节和强大时间一致性，达到最新水平。
2026-07-23 cs.CV cs.MM eess.IV
Multi-scale and Context-adaptive Entropy Model for Image Compression
我们提出了一个端到端的可训练的图像压缩框架与多尺度和上下文自适应熵模型，特别是低比特率压缩。由于自回归先验在概率生成模型中的成功，自回归先验和分层先验的互补组合可以准确地估计每个潜在表示的分布。基于这种组合，我们首先提出了一个多尺度掩蔽卷积网络作为我们的自回归模型。其次，针对生成式模型的计算代价较大的问题，我们将注意力集中在感受野覆盖的解码表示上，而在算术编码中跳过完全零延迟。最后，根据CLIC-2019中低码率压缩的约束条件，通过为每幅图像分配比特率来最大化MS-SSIM。
2019-10-17 eess.IV
SLIM: Semantic-based Low-bitrate Image compression for Machines
School of Integrated Technology, Yonsei University（延世大学整合技术学院）；Department of Artificial Intelligence, Chung-Ang University（Chung-Ang 大学人工智能系）
SLIM通过利用扩散技术，提出了一种基于语义的低比特率图像压缩方法，专注于机器视觉中的感兴趣区域，实现高效压缩与优化。
2026-10-20 cs.CV eess.IV
HybridFlow: Infusing Continuity into Masked Codebook for Extreme Low-Bitrate Image Compression
提出双流框架HybridFlow，结合连续特征流与码本流，并利用掩码transformer和桥接校正网络，在极低码率下同时实现高感知质量与高保真度的图像压缩。
2024-04-20 cs.CV eess.IV
Subjective and Objective Quality Assessment of High-Motion Sports Videos at Low-Bitrates
在自适应比特率流传输期间，由于网络连接性差，视频通常必须以低比特率传输和存储。因此，设计最佳比特率阶梯，为低比特率视频选择感知优化的分辨率、帧速率和压缩级别，以用于互联网上的自适应流传输是一项非常有趣的任务。为此，我们对两种编解码器（Elemental AVC和HEVC）的直播体育中的中低比特率视频进行了首次大规模研究，并创建了Amazon Prime Video Low-Bitrate Sports（APV LBS）数据集。该研究涉及94名参与者和742个视频，总共收集了超过23，000个人类意见评分。我们分析了获得的数据，我们还进行了广泛的客观视频质量评估（VQA）算法的评估和基准测试其性能，并提出建议的比特率阶梯设计。我们正在https://github.com/JoshuaEbenezer/lbmfr-public上提供元数据和VQA功能。
2022-07-12 eess.IV
Learned Lossless Image Compression with a HyperPrior and Discretized Gaussian Mixture Likelihoods
无损图像压缩是多媒体通信领域的一个重要课题。传统的图像编解码器通常支持无损模式，例如WebP、JPEG2000、FLIF。最近，基于深度学习的方法已经开始显示出这一点的潜力。HyperPrior是一种有效的有损图像压缩技术。本文将有损模型的超先验推广到无损压缩，并在损失函数中引入L2范数项以加快训练过程。此外，本文还研究了不同的隐码参数化模型，并提出使用高斯混合似然来实现自适应和灵活的上下文模型。实验结果验证了该方法的性能优于现有的基于深度学习的无损压缩，并且优于JPG图像的JPEG2000和WebP。
2020-02-05 eess.IV
You Can Mask More For Extremely Low-Bitrate Image Compression
Beijing Jiaotong University（北京交通大学）；Hefei University of Technology（合肥工业大学）；Shandong University（山东大学）；Nanyang Technological University（南洋理工大学）
针对极低码率图像压缩，提出双自适应掩码方法DA-Mask与预训练MAE结合，构建首个端到端统一MIM与LIC的掩码压缩模型MCM，在极低码率下实现更优的率失真性能和视觉质量。
2023-06-27 cs.CV cs.MM eess.IV
Traditional Transformation Theory Guided Model for Learned Image Compression
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
本文针对超低码率图像压缩，提出传统变换理论引导的可逆编码网络，利用块离散余弦变换建模稀疏性并结合 Haar 变换提升重建性能，实验表明其压缩与重建性能优于现有方法。
2024-02-24 cs.CV eess.IV
Efficient Bitrate Ladder Construction for Content-Optimized Adaptive Video Streaming
许多视频提供商面临的挑战之一是网络规范、用户需求和内容压缩性能的异构性。固定比特率阶梯的通用解决方案不足以确保高质量的用户体验，而不会重新缓冲或引入令人讨厌的压缩伪像。然而，基于跨所有分辨率和宽质量范围的广泛编码的内容定制解决方案在计算、财务和能源成本方面是非常昂贵的。受此启发，我们提出了一种利用机器学习来预测内容优化比特率阶梯的方法。该方法从未压缩的内容中提取时空特征，训练机器学习模型来预测Pareto前沿参数，并在此基础上在定义的比特率范围内构建阶梯。该方法具有显著减少每个序列所需的编码数量的益处。基于100个HEVC编码序列的结果表明，与穷举搜索和基于插值的方法相比，所需的编码数量分别减少了89.06%和61.46%，与穷举方法相比，平均Bjøntegaard Delta Rate差异为1.78%。最后，介绍了一种混合方法，该方法根据序列特征选择所提出的方法或基于插值的方法。这导致所需编码的总体减少了83.83%，而平均Bjøntegaard Delta Rate差异为1.26%。
2021-02-08 eess.IV
Learned Image Compression with Discretized Gaussian Mixture Likelihoods and Attention Modules
图像压缩是一个基础性的研究领域，许多著名的压缩标准已经发展了几十年。近年来，学习压缩方法呈现出快速发展的趋势，取得了可喜的成果。然而，学习的压缩算法和统治的压缩标准之间仍然存在性能差距，特别是在广泛使用的PSNR度量方面。在本文中，我们探讨了最近学习的压缩算法的剩余冗余。我们已经发现，准确的熵率估计模型在很大程度上影响网络参数的优化，从而影响率失真性能。因此，在本文中，我们提出了使用离散高斯混合似然参数的潜在代码的分布，这可以实现一个更准确和灵活的熵模型。此外，我们利用最近的注意力模块，并将其纳入网络架构，以提高性能。实验结果表明，我们提出的方法实现了国家的最先进的性能相比，现有的学习压缩方法在柯达和高分辨率数据集。据我们所知，我们的方法是第一个工作，以实现可比的性能与最新的压缩标准通用视频编码（VVC）的PSNR。更重要的是，我们的方法产生更视觉上愉快的结果时，优化MS-SSIM。此项目页面位于此https URL https://github.com/ZhengxueCheng/Learned-Image-Compression-with-GMM-and-Attention
2020-03-30 eess.IV
MISC: Ultra-low Bitrate Image Semantic Compression Driven by Large Multimodal Model
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）；John Hopcroft Center, Shanghai Jiao Tong University（上海交通大学约翰·霍普克罗夫特中心）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
针对超低码率图像压缩中一致性与感知质量难以兼顾的问题，提出基于大多模态模型的MISC方法，可在节省50%码率的同时实现两类图像的最优压缩效果，应用潜力突出。
2024-04-17 cs.AI cs.CV eess.IV
SR+Codec: a Benchmark of Super-Resolution for Video Compression Bitrate Reduction
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）
该研究构建覆盖五种主流编解码器的 SR+Codec 基准，评估19个SR模型在强压缩视频上的细节恢复、伪影与主观质量，证明SR可在质量损失较小的情况下降低码率。
2024-12-04 cs.CV eess.IV
Txt2Vid: Ultra-Low Bitrate Compression of Talking-Head Videos via Text
视频代表了当今互联网流量的大部分，推动了更高质量内容的生成，更大文件大小的传输和网络基础设施的发展之间的持续竞争。此外，最近的COVID-19疫情推动视频会议工具的使用激增。由于视频占用相当大的带宽（约100 Kbps到几Mbps），因此改进的视频压缩可以对实时和预录制内容的网络性能产生重大影响，从而提供对全球多媒体内容的更广泛访问。我们提出了一种新的视频压缩管道，称为Txt 2 Vid，它大大降低了数据传输率通过压缩网络摄像头视频（“说话头视频”）的文本转录。使用基于深度学习的语音克隆和唇同步模型的最新进展，将文本传输并解码为原始视频的真实重建。我们的生成流水线实现了两到三个数量级的比特率降低相比，标准的音频-视频编解码器（编码器-解码器），同时保持相当的体验质量的基础上的主观评价的用户（n = 242）在一项在线研究。Txt 2 Vid框架开辟了创建新应用的潜力，例如在互联网连接不良期间或在带宽有限的偏远地区实现音频-视像通信。这个工作的代码可以在https://github.com/tpulkit/txt2vid.git上找到。
2022-04-03 cs.MM eess.IV
An Interactive Annotation Tool for Perceptual Video Compression
人类感知是有损视频压缩的核心，然而，收集足够密集的数据来驱动压缩是具有挑战性的。在感知质量评估中，人类反馈通常被收集为单个标量质量分数，其指示一个失真视频相对于另一个失真视频的偏好。事实上，有些视频可能在某些部分更好，但在其他部分则不然。我们提出了一种方法来收集更细粒度的反馈，要求用户使用一个交互式的工具，直接优化给定的固定比特率的感知质量。为此，我们构建了一个新颖的网络工具，允许用户在视频上绘制这些时空重要性地图。该工具允许交互式连续细化：我们根据绘制的重要性图迭代地重新编码原始视频，同时保持相同的比特率，从而允许用户在视觉上看到以牺牲其他时空部分为代价向视频的一个时空部分分配更高重要性的权衡。我们使用这个工具来收集野外数据（10个视频，17个用户），并在x264编码的背景下利用获得的重要性图来证明该工具确实可以用来生成视频，在相同的比特率下，通过主观研究看起来更好，并且观众更喜欢的可能性是1.9倍。工具和数据集的代码可在https://github.com/jenyap/video-annotation-tool.git上找到
2022-05-08 eess.IV
StableCodec: Taming One-Step Diffusion for Extreme Image Compression
University of Science and Technology of China（中国科学技术大学）
提出StableCodec，利用单步扩散和双分支编码结构实现高保真、高真实感的极致图像压缩，在超低码率下显著优于现有方法且推理速度快。
2025-06-27 cs.CV eess.IV
Generative Latent Coding for Ultra-Low Bitrate Image Compression
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本研究提出生成性潜在编码方法，通过在潜在空间中进行变换编码，实现超低比特率下的高真实感和高保真度图像压缩，并在多个数据集上验证了其有效性。
2025-12-23 cs.CV eess.IV
Exploiting Inter-Image Similarity Prior for Low-Bitrate Remote Sensing Image Compression
School of Information and Communications Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院）
本文提出Code-RSIC方法，利用VQGAN生成离散码本和Transformer预测模型，在解码端提供图像间相似性先验，并通过层次化先验集成网络提升遥感图像压缩的感知质量。
2024-07-17 cs.CV eess.IV
Multi-Modality Deep Network for Extreme Learned Image Compression
针对极低码率图像压缩中的模糊与语义丢失问题，提出文本引导的多模态压缩框架，通过图文融合模块和语义一致性损失实现优于高码率SOTA的重建效果。
2023-04-26 cs.CV eess.IV
Channel-Level Variable Quantization Network for Deep Image Compression
The University of Tokyo（东京大学）；Hitachi Ltd（日立有限公司）
深度图像压缩系统主要包括四个部分：编码器、量化器、熵模型和解码器。为了优化这四个分量，提出了一个联合率失真框架，许多基于深度神经网络的方法在图像压缩中取得了巨大的成功。然而，几乎所有基于卷积神经网络的方法都平等地对待通道特征映射，降低了处理不同类型信息的灵活性。在本文中，我们提出了一个通道级可变量化网络，动态分配更多的比特率的重要通道和撤回比特率的可忽略的通道。具体来说，我们提出了一个可变量化控制器。它由两个关键组件组成：通道重要性模块，可以在训练过程中动态学习通道的重要性，以及分裂合并模块，可以为不同的通道分配不同的比特率。我们也将量化器公式化为高斯混合模型的方式。定量和定性实验验证了该模型的有效性，并表明我们的方法取得了优越的性能，可以产生更好的视觉重建。
2020-07-15 cs.CV eess.IV
Super Efficient Neural Network for Compression Artifacts Reduction and Super Resolution
Amazon Lab126（亚马逊Lab126）
针对流媒体低码率下压缩伪影及现有方法无法同步消伪影与超分的问题，提出带增强特征层和定制数据集的轻量CNN算法，可同步完成两项任务，VMAF得分较传统方法提升4-6分。
2024-01-26 cs.CV eess.IV
OctSqueeze: Octree-Structured Entropy Model for LiDAR Compression
Uber Advanced Technologies Group（优步先进技术集团）；University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）
我们提出了一种新的深度压缩算法，以减少激光雷达点云的内存占用。我们的方法利用点之间的稀疏性和结构冗余来降低比特率。为了实现这一目标，我们首先将LiDAR点编码为八叉树，这是一种适用于稀疏点云的数据高效结构。然后，我们设计了一个树结构的条件熵模型，模型的八叉树符号的概率编码成一个紧凑的比特流的八叉树。我们验证了我们的方法在两个大规模数据集的有效性。结果表明，我们的方法减少了10-20%的比特率在相同的重建质量，与以前的国家的最先进的。重要的是，我们还表明，对于相同的比特率，我们的方法优于其他压缩算法时，使用压缩表示执行下游3D分割和检测任务。我们的算法可用于减少自动驾驶汽车等应用的LiDAR点的车载和车外存储，其中一辆汽车每天捕获840亿个点
2021-01-08 cs.CV eess.IV
Bridging the Gap between Gaussian Diffusion Models and Universal Quantization for Image Compression
针对基于扩散的图像压缩中量化数据偏离模型已知分布的问题，提出一种基于通用量化且具有理论基础的量化前向扩散过程，有效解决了噪声级别、类型和离散化三大差距，在极低比特率下实现了最佳的率-失真-真实度性能。
2025-04-03 eess.IV
Training-Free Continuous Bitrate Control for Scalable Image Coding for Humans and Machines
University of Tokyo（东京大学）
提出一种无训练的变码率可扩展图像编码框架，通过基于预测尺度值调整量化步长实现连续码率控制，同时保留机器层和增强层的高尺度信息。
2026-07-07 cs.CV eess.IV
Gen2-VC: Unlocking Generative Priors for Video Compression
Tsinghua University（清华大学）
Gen2-VC通过冻结编解码器和生成骨干，仅用轻量LoRA适配器精化重建，实现低比特率下优于VTM-23.0的失真-感知权衡，且适配器可跨编解码器泛化。
2026-09-29 eess.IV
Boosting Neural Image Compression for Machines Using Latent Space Masking
本文面向机器视觉任务提出 LSMnet，通过任务损失端到端优化神经图像压缩，并在隐空间中掩码分析网络不需要的元素，显著降低比特率。
2022-10-07 eess.IV
HPC: Hierarchical Progressive Coding Framework for Volumetric Video
Shanghai Jiao Tong University（上海交通大学）
针对NeRF体积视频难以在单模型内灵活调整码率与质量的问题，提出分层渐进编码框架HPC，通过多分辨率残差辐射场和多率失真损失实现一次训练、多级压缩，并取得优于固定码率模型的RD性能。
2024-08-03 cs.CV cs.LG cs.MM
Preprocessing Enhanced Image Compression for Machine Vision
Beijing Institute of Technology（北京理工大学）；ShanghaiTech University（上海科技大学）
最近，越来越多的图像被压缩并发送到后端设备用于机器分析任务（\textit{e.g.,}对象检测），而不是纯粹由人类观看。然而，大多数传统的或学习的图像编解码器被设计为最小化人类视觉系统的失真，而不考虑机器视觉系统的需求增加。在这项工作中，我们提出了一个预处理增强图像压缩方法的机器视觉任务，以解决这一挑战。我们的框架不是依赖于学习的图像编解码器进行端到端优化，而是基于传统的非差分编解码器，这意味着它是标准兼容的，可以很容易地部署在实际应用中。具体来说，我们提出了一个神经预处理模块之前的编码器，以保持有用的语义信息的下游任务和抑制无关的信息，以节省比特率。此外，我们的神经预处理模块是量化自适应的，可以用于不同的压缩比。更重要的是，为了联合优化预处理模块和下游机器视觉任务，我们在反向传播阶段为传统的非差分编解码器引入了代理网络。我们提供了广泛的实验，通过评估我们的压缩方法为两个具有代表性的下游任务与不同的主干网。实验结果表明，该方法在编码码率和下游机器视觉任务的性能之间取得了较好的折衷，节省了约20%的码率。
2022-06-12 cs.CV eess.IV
Evaluating the Effect of Compression on Video Temporal Consistency Using Objective Quality Metrics
Mid Sweden University（瑞典中部大学）
本文研究了压缩强度对视频时间一致性的影响，通过多种编码器和内容类型系统地分析了帧间一致性误差的变化，发现时间一致性随着压缩增加非线性下降，并识别出'可预测性异常'现象，挑战了传统运动体积决定编码难度的假设，强调了压缩流程中时间感知度量的重要性。
2026-05-18 cs.MM eess.IV
Scalable Neural Video Representation Compression
University of Bristol（布里斯托大学）；Tencent Media Lab（腾讯媒体实验室）
本文提出基于隐式神经表示的可扩展视频编解码器S-NVRC，通过单次编码实现细粒度码率与解码复杂度可扩展性，在UVG数据集上的BD-rate优于SHM 12.4和VTM-20.0，将提供实现代码。
2026-11-05 cs.CV cs.MM eess.IV
Image and Video Compression using Generative Sparse Representation with Fidelity Controls
提出由低码率 LQ 替代输入提取保真控制信号的生成式 SVR 压缩框架，统一图像与视频压缩并提升重建质量。
2024-04-09 eess.IV
Neural Image Compression Using Masked Sparse Visual Representation
Futurewei Technologies Inc.（未来华技术公司）
针对基于SVR的图像压缩难以实现率失真权衡的问题，本文提出M-AdaCode，通过语义类别基码本自适应加权及掩码与恢复机制控制比特率和失真，并在JPEG-AI上验证有效性。
2023-09-20 cs.CV eess.IV
VRVVC: Variable-Rate NeRF-Based Volumetric Video Compression
Shanghai Jiao Tong University（上海交通大学）
提出VRVVC框架，通过三平面隐式残差表示和可变码率压缩方案，实现单模型多码率体积视频压缩，显著提升率失真性能。
2024-12-16 cs.CV eess.IV
Flexible Neural Image Compression via Code Editing
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）
神经图像压缩（NIC）在率失真（R-D）性能方面优于传统的图像编解码器。然而，它通常需要为R-D曲线上的每个点提供专用的编码器-解码器对，这极大地阻碍了它的实际部署。虽然最近的一些工作已经通过条件编码实现了比特率控制，但它们在训练期间强加了强先验，并且提供了有限的灵活性。在本文中，我们提出了代码编辑，一个高度灵活的编码方法NIC的基础上半摊销推理和自适应量化。我们的工作是一个新的范例可变比特率NIC。实验结果表明，该方法优于现有的可变码率方法，在单个解码器上实现了感兴趣区域编码和多失真折衷。
2022-09-19 cs.CV cs.LG eess.IV
Towards Extreme Image Compression with Latent Feature Guidance and Diffusion Prior
China Telecom Group Corporation-Xi’an Jiaotong University Jointly Established Intelligent Cloud Network Science and Education Integration Innovation Research Institute（中国电信集团有限公司-西安交通大学联合成立的智能云网科教融合创新研究院）
本文提出两阶段极限图像压缩框架DiffEIC，先以VAE将图像压缩为扩散空间中的内容变量，再利用固定稳定扩散模型结合控制模块和空间对齐损失进行重建，在低于0.1 bpp的极低比特率下显著提升视觉性能。
2024-09-04 cs.CV eess.IV
Rate-Distortion-Cognition Controllable Versatile Neural Image Compression
Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工大学宁波数字孪生研究院）；Shanghai Jiao Tong University（上海交通大学）；University of Science and Technology of China（中国科学技术大学）
提出一种单模型可调码率、重建质量与机器任务精度的多功能图像压缩方法，通过认知损失与辅助残差分支及插值策略实现灵活控制。
2024-07-17 cs.CV eess.IV
MEGA-PCC: A Mamba-based Efficient Approach for Joint Geometry and Attribute Point Cloud Compression
National Chung Cheng University, Taiwan（国立 Chung Cheng 大学）；National Yang Ming Chiao Tung University, Taiwan（国立 Yang Ming Chiao Tung 大学）
MEGA-PCC是一种基于Mamba的端到端点云压缩方法，通过联合编码几何和属性信息，实现高效压缩与数据驱动的比特率分配。
2025-12-27 cs.CV eess.IV
Extreme Image Compression using Fine-tuned VQGANs
Communication University of China（中国传媒大学）；City University of Hong Kong（香港城市大学）；Peking University（北京大学）
针对极端低码率图像压缩的现有方法局限，提出基于微调VQGAN的编码框架，通过码本聚类实现可变码率，结合transformer抗索引丢失，在≤0.04bpp码率下感知质量优于SOTA编解码器。
2023-12-15 cs.CV eess.IV
Saliency-Driven Hierarchical Learned Image Coding for Machines
我们建议采用显着性驱动的分层神经图像压缩网络的机器到机器的通信场景下的压缩，然后分析范式。由此，取决于显著对象是否位于对应区域中，以不同质量对图像的不同区域进行编码。没有显著性的区域在较低空间分辨率的潜在空间中传输，以降低比特率。显着性信息显式地从对象检测网络的检测中导出。此外，我们建议在训练过程中添加显着性信息，以进一步专门化不同的潜在空间。总而言之，我们的分层模型与所有提出的优化相比，在Cityscapes数据集上的最新视频编码标准VVC以及Mask R-CNN作为解码器侧的分析网络，实现了77.1%的比特率节省。因此，它也优于传统的非分层压缩网络。
2023-02-27 eess.IV
High-Fidelity Generative Image Compression
ETH Zürich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
我们广泛研究了如何将生成对抗网络和学习压缩相结合，以获得最先进的生成有损压缩系统。特别是，我们研究了归一化层，生成器和递归架构，训练策略以及感知损失。与以前的工作相比，i）我们获得了视觉上与输入相似的视觉上令人愉悦的重建，ii）我们在广泛的比特率范围内操作，iii）我们的方法可以应用于高分辨率图像。我们弥合率失真感知理论和实践之间的差距，通过评估我们的方法定量与各种感知指标，并与用户研究。研究表明，我们的方法优于以前的方法，即使它们使用超过2倍的比特率。
2020-10-23 cs.CV cs.LG eess.IV
