A Hybrid Approach for Unified Image Quality Assessment: Permutation Entropy-Based Features Fused with Random Forest for Natural-Scene and Screen-Content Images for Cross-Content Applications
针对现有图像质量评估指标难以在自然场景图像与屏幕内容图像间泛化的问题，提出PEFRF框架，通过提取梯度图排列熵特征并结合随机森林回归预测质量，在13个基准数据集上优于40多种先进方法，为跨内容评估提供有效方案。
2025-08-24 eess.IV
Image Segmentation For Improved Lossless Screen Content Compression
本文提出一种图像分割方法，将屏幕内容图像中的自然区域与合成区域分离，作为预处理步骤补充软上下文形成（SCF）压缩方法，分别建模编码，实现比特率最高降低11.6%（相对HEVC）和1.52%（相对旧版SCF）。
2023-05-10 eess.IV
Adapting Learned Image Codecs to Screen Content via Adjustable Transformations
TU Munich（慕尼黑工业大学）；Huawei Munich Research Center（华为慕尼黑研究中心）；Munich Institute of Robotics and Machine Intelligence（慕尼黑机器人与机器智能研究所）
本文提出在保持基线学习型图像编解码器兼容性的前提下，引入可逆线性变换和预/后滤波网络，实现屏幕内容压缩最高10%码率节省且仅增加1%参数。
2024-02-27 cs.CV cs.LG eess.IV
CASR: Content-Adaptive Neural Super-Resolution Post-Filter for Versatile Video Coding via Low-Rank Overfitting
Nokia（诺基亚）；Aalto University（阿尔托大学）；Tampere University（坦佩雷大学）
本文提出CASR，一种基于编码端低秩过拟合的内容自适应超分辨率后置滤波器，用于VVC，通过冻结预训练网络并微调LoRA矩阵，在较小信令开销下实现显著BD-rate节省。
2026-09-30 eess.IV
Learned Video Compression for YUV 4:2:0 Content Using Flow-based Conditional Inter-frame Coding
National Yang Ming Chiao Tung University（阳明交通大学）
本文提出了一种基于学习的视频压缩框架，用于YUV 4：2：0内容的可变速率编码。现有的基于学习的视频压缩模型大多采用传统的混合编码结构，即先进行时间预测，然后进行残差编码。然而，最近的研究表明，残差编码是次优的信息理论的角度来看。此外，大多数现有模型都针对RGB内容进行了优化。此外，它们需要用于可变速率编码的单独模型。为了解决这些问题，这项工作提出了一种尝试，将条件帧间编码的YUV 4：2：0内容。为了提高帧间编码的效率，本文提出了一种基于条件流的帧间编码器。为了使我们的编解码器适应YUV 4：2：0内容，我们采用了一种简单的策略，即使用空间到深度和深度到空间转换。最后，我们采用速率自适应网络来实现可变速率编码，而无需训练多个模型。实验结果表明，我们的模型在UVG和MCL-JCV数据集上的PSNR-YUV性能优于x265。然而，在ISCAS'22 GC更具挑战性的数据集上，仍有足够的改进空间。这种不足的性能是由于在大的GOP尺寸下缺乏帧间编码能力，并且可以通过增加模型容量和应用错误传播感知训练策略来减轻。
2022-10-15 cs.CV cs.LG eess.IV
Content-Driven Frame-Level Bit Prediction for Rate Control in Versatile Video Coding
Brandenburg University of Technology Cottbus-Senftenberg（勃兰登堡工业大学科特布斯-森夫滕贝格）；Universite Paris-Saclay（巴黎萨克雷大学）；Fraunhofer HHI（弗劳恩霍夫海因里希赫兹研究所）
本文提出基于内容的帧级比特预测方法，利用VCA和量化参数进行随机森林回归，实现高效准确的速率控制，减少编码时间并提高编码效率。
2026-02-05 cs.MM eess.IV
Sub-band coding of hexagonal images
根据圆形填充定理，六边形晶格的填充效率高于等效的正方形镶嵌。因此，在几种情况下，六边形采样的图像相比，他们的笛卡尔对应更好地保存信息内容。在本文中，新的映射技术旁边的小波压缩方案提出了六角形图像。具体来说，我们引入两个基于树的编码方案，称为SBHex（螺旋映射分支编码六边形图像）和BBHex（宽度优先块编码六边形图像）。这两种编码方案都尊重六边形晶格的几何形状，并产生更好的压缩结果。我们的实证结果表明，所提出的算法六边形图像产生更好的重建质量在低比特每像素表示相比，基于树的编码对应的笛卡尔网格。
2021-10-06 eess.IV
Neural Generation of Blocks for Video Coding
SoundHound（声hound公司）
经过良好训练的生成神经网络（GNN）在压缩静态图像的视觉信息方面非常有效，但对于大多数视频内容来说，它不如帧间和帧内预测那么有效。然而，对于进入帧的内容，例如在平移或缩小期间，以及具有曲线、不规则形状或精细细节的内容，通过GNN生成可以提供更好的压缩效率（更低的速率失真）。本文提出了在特定时间对视频比特流中GNN的内容特定的学习参数进行编码，并使用GNN为特定范围的块和帧生成内容。要生成的块仅仅是生成比帧间或帧内预测更有效的压缩的块。这种方法最大化了学习参数中包含的信息的有用性。
2020-10-05 cs.LG cs.MM eess.IV
Scalable Video Coding for Humans and Machines
Simon Fraser University（西蒙弗雷泽大学）
视频内容不仅被人类观看，而且越来越多地被机器观看。例如，机器学习模型分析监控视频的安全和交通监控，通过YouTube视频搜索不合适的内容，等等。在本文中，我们提出了一个可扩展的视频编码框架，通过其基本层比特流支持机器视觉（具体地说，对象检测），通过其增强层比特流支持人类视觉。所提出的框架包括来自传统和基于深度神经网络（DNN）的视频编码的组件。结果表明，在对象检测方面，与最先进的视频编解码器相比，所提出的框架实现了13-19%的比特节省，同时在人类视觉任务的MS-SSIM方面保持竞争力。
2022-08-04 cs.CV eess.IV
BVI-CC: A Dataset for Research on Video Compression and Quality Assessment
视频技术的前景在过去的几年里一直非常生动，新的视频编码技术的推出，承诺提高压缩性能超过国家的最先进的技术。尽管有很多视频数据集是可用的，但需要宽参数空间的代表性内容以及对来自完整端的编码内容的变化的主观评估。针对这一需求，本文介绍了一个数据集，BVI-CC。部署了三种视频编解码器来创建编码序列的变体：高效视频编码（HEVC）测试模型（HM）、AOMedia视频1（AV 1）和通用视频编码（VVC）测试模型（VTM）。九个源视频序列被精心挑选，以提供在时空域的多样性和代表性。序列的不同空间分辨率版本由所有三个编解码器以预定义的目标比特率创建和编码。使用常用的客观质量度量来评估编解码器的压缩效率，并且还通过心理物理实验来评估其重构内容的主观质量。此外，使用客观和主观评估评估自适应比特率（跨空间分辨率的凸包率失真优化）测试情况。最后，测试的编解码器的计算复杂性进行了检查。所有数据都已作为数据集的一部分公开提供，可用于编码性能评估和视频质量指标开发。
2022-02-21 eess.IV
Learned Image Coding for Machines: A Content-Adaptive Approach
Nokia Technologies（诺基亚科技）；Tampere University（坦佩雷大学）
如今，根据思科年度互联网报告（2018-2023），互联网流量增长最快的类别是机器对机器通信。特别是，图像和视频的机器对机器通信代表了一个新的挑战，并在数据压缩的背景下开辟了新的前景。一种可能的解决方案方法包括使当前以人类为目标的图像和视频编码标准适应机器消耗的用例。另一种方法包括为机器对机器通信开发全新的压缩范例和架构。在本文中，我们专注于图像压缩，并提出了一个推理时间的内容自适应微调方案，优化了一个端到端的学习图像编解码器的潜在表示，旨在提高压缩效率的机器消费。进行的实验表明，我们的在线微调带来了平均比特率节省（BD率）的-3.66%相对于我们的预训练的图像编解码器。特别地，在低比特率点，我们提出的方法导致显著的比特率节省-9.85%。总的来说，我们的预训练和微调系统实现了比最先进的图像/视频编解码器多功能视频编码（VVC）约30.54%的BD速率。
2021-10-13 cs.CV cs.LG eess.IV
Coding of volumetric content with MIV using VVC subpictures
用于沉浸式应用的六自由度（6DoF）动态体积视觉内容的存储和传输需要高效压缩。ISO/IEC MPEG最近一直致力于制定一项标准，旨在有效地编码和提供6DoF沉浸式视觉体验。这个标准被称为MIV。MIV使用常规的2D视频编解码器来编码视觉数据。MPEG与ITU-T VCEG联合制定了VVC标准。VVC最近引入了子图像的概念。该工具专门设计用于为全向应用提供子比特流的独立可访问性和可解码性。本文展示了在MIV用例中使用子图片的好处。虽然不同的方式，子图片可用于MIV进行了讨论，一个特定的案例研究。也就是说，子图像用于并行编码并减少解码器实例的数量。实验结果表明，在比特率开销方面使用子图片的成本是可以忽略不计的（0.1%至0.4%），当与整体比特率相比。另一方面，解码器实例的数量减少了两倍。
2022-06-06 cs.MM eess.IV
OMR-NET: a two-stage octave multi-scale residual network for screen content image compression
School of software, Shandong University（山东大学软件学院）；School of information science and engineering, Shandong University（山东大学信息科学与工程学院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）
针对现有学习型图像压缩方法在屏幕内容上的不足，提出含改进两阶段八度卷积残差块、级联多尺度残差块与窗口注意力模块的OMR-NET，构建SDU-SCICD2K数据集，其屏幕内容压缩率失真性能优于现有方法。
2024-07-11 cs.CV eess.IV
Convolutional sparse coding for capturing high speed video content
Universidad de Zaragoza（萨拉戈萨大学）；I3A（阿拉贡工程研究所）；MPI Informatik（马克斯·普朗克信息学研究所）
视频捕获受到空间和时间分辨率之间的权衡的限制：当捕获高时间分辨率的视频时，由于捕获系统中的带宽限制，空间分辨率降低。只有高度专业化和非常昂贵的硬件才有可能实现高空间和时间分辨率，即使这样，仍然存在相同的基本权衡。最近引入的压缩感知和稀疏重建技术允许通过在单个帧中编码时间信息来捕获单次拍摄的高速视频，然后从该单个编码图像和图像块的训练字典重建完整的视频序列。在本文中，我们首先分析了这种方法，并找到了有助于提高重建视频质量的见解。然后，我们介绍了一种基于卷积稀疏编码（CSC）的新技术，并展示了由于其滤波器组的卷积性质，它在灵活性和效率方面如何优于最先进的基于补丁的方法。CSC高速视频采集的关键思想是通过在时间维度上施加额外的约束来扩展基本公式，该约束强制执行一阶导数随时间的稀疏性。
2018-06-13 cs.CV cs.GR eess.IV
Base Layer Efficiency in Scalable Human-Machine Coding
Simon Fraser University（西蒙弗雷泽大学）
本文针对可扩展人机编码中基础层效率问题，分析现有最先进图像编解码器的基础层编码效率，并提出改进方法，在目标检测和实例分割任务上实现 BD-Rate 20-40% 的增益。
2023-07-05 cs.CV eess.IV
Multi-Scale Deformable Alignment and Content-Adaptive Inference for Flexible-Rate Bi-Directional Video Compression
KUIS AI Center（KUIS人工智能中心）
本文提出一种自适应运动补偿模型，通过多尺度可变形对齐与内容自适应推理，实现灵活速率的双向视频压缩，率失真性能超越现有方法。
2023-06-28 cs.CV eess.IV
Compression of user generated content using denoised references
通过互联网共享的视频通常被称为用户生成内容（UGC）。UGC视频可能由于包括先前压缩的各种因素而具有低质量。UGC视频由用户上传，然后重新编码以提供各种质量水平。在传统的视频编码流水线中，编码器参数被优化以最小化速率失真标准，但是当输入信号具有低质量时，这导致次优编码参数被优化以保留不期望的伪像。在本文中，我们制定的UGC压缩问题的压缩噪声/损坏的源。噪声源编码定理揭示了最佳UGC压缩系统包括UGC信号的最佳去噪，然后是去噪信号的压缩。由于无法实现最佳去噪，用户可能会反对修改其内容，因此我们建议对UGC信号进行编码，并仅使用去噪参考来计算失真，因此编码过程可以被引导到感知上更好的解决方案。我们证明了所提出的策略的UGC图像和视频的JPEG压缩的有效性。
2022-07-18 cs.MM eess.IV
FD-LSCIC: Frequency Decomposition-based Learned Screen Content Image Compression
Shandong University（山东大学）；Shandong Inspur Artificial Intelligence Research Institute Co., Ltd.（山东浪潮人工智能研究院有限公司）；Huaqiao University（华侨大学）；Lingnan University（岭南大学）
针对学习型图像压缩方法直接应用于屏幕内容图像效果不佳的问题，提出基于频率分解的新型压缩方法并构建万级规模数据集，在相关指标上优于传统标准与现有学习型方法。
2025-02-21 cs.CV eess.IV
Compressed Domain Prior-Guided Video Super-Resolution for Cloud Gaming Content
National Engineering Research Center of Visual Technology, School of Computer Science, Peking University（北京大学计算机学院视觉技术国家工程研究中心）；Migu Interactive Entertainment Co., Ltd（咪咕互动娱乐有限公司）
本文提出轻量级网络CPGSR，通过压缩域先验引导、重参数化重建和分区焦点频率损失，提升云游戏压缩视频的超分辨率重建质量。
2025-01-03 cs.CV eess.IV
Deep Joint Source-Channel Coding for Wireless Image Transmission with Adaptive Rate Control
University of Michigan（密歇根大学）
我们提出了一种新颖的用于无线图像传输的自适应深度联合源信道编码（JSCC）方案。所提出的方案使用单个深度神经网络（DNN）模型来支持多个速率，并学习基于信道条件和图像内容来动态控制速率。具体而言，一个策略网络的引入，利用速率和信号质量之间的权衡空间。在策略网络的训练中，采用Gumbel-Softmax技巧使策略网络可区分，从而实现整个JSCC方案的端到端训练。据我们所知，这是第一个可以使用单个网络模型自动调整其速率的深度JSCC方案。实验表明，我们的计划成功地学习一个合理的政策，降低信道带宽利用率高信噪比的情况下或简单的图像内容。对于任意目标速率，我们使用单个模型的速率自适应方案与专门针对该固定目标速率训练的优化模型相比，实现了类似的性能。为了重现我们的结果，我们在https://github.com/mingyuyng/Dynamic_JSCC上公开了源代码。
2021-10-09 cs.LG eess.IV eess.SP
