Explicit Residual-Based Scalable Image Coding for Humans and Machines
Graduate School of FSE, Waseda University Tokyo, Japan（FSE研究生院，早稻田大学东京，日本）
针对人机共用的可伸缩图像编码，本文引入显式残差压缩机制，提出 FR-ICMH 与 PR-ICMH，在多任务中兼顾复杂度和性能，BD-rate 最高降低 29.57%。
2025-08-29 cs.CV eess.IV
Learned Scalable Video Coding For Humans and Machines
School of Engineering Science, Simon Fraser University（西蒙菲莎大学工程科学学院）
提出一种端到端可学习的可扩展视频编解码器，基础层支持机器视觉任务，增强层结合基础层支持人类观看的输入重建，基于条件编码实现更优压缩增益，在四个数据集上性能优于现有方案。
2024-11-17 cs.CV eess.IV
Self-Supervised Learning via Maximum Entropy Coding
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
主流类型的当前自监督学习方法追求通用的表示，该表示可以很好地转移到下游任务，通常通过在给定的借口任务（例如实例判别）上进行优化。在这项工作中，我们认为，现有的借口任务不可避免地引入偏见的学习表示，这反过来又导致偏见的传输性能的各种下游任务。为了解决这个问题，我们提出了最大熵编码（MEC），这是一个更有原则的目标，它明确地优化了表示的结构，使得学习到的表示更少偏差，从而更好地推广到看不见的下游任务。受信息论中最大熵原理的启发，我们假设一个可推广的表示应该是在所有可能的表示中允许最大熵的表示。为了使目标端到端的可训练，我们建议利用有损数据编码中的最小编码长度作为熵的计算上易处理的替代品，并进一步推导出允许快速计算的目标的可扩展的重构。大量的实验表明，MEC学习一个更概括的表示比以前的方法基于特定的借口任务。它在各种下游任务上始终实现最先进的性能，不仅包括ImageNet线性探测，还包括半监督分类、目标检测、实例分割和对象跟踪。有趣的是，我们表明，现有的批量和特征自监督目标可以被视为等价于MEC的低阶近似。代码和预训练模型可在https://github.com/xinliu20/MEC上获得。
2022-10-20 cs.AI cs.CV
Scalable Lossless Coding of Dynamic Medical CT Data Using Motion Compensated Wavelet Lifting with Denoised Prediction and Update
像远程医疗这样的专业应用通常需要对敏感数据进行可伸缩的无损编码。3-D子带编码已经证明为动态CT数据提供良好的压缩结果，并且另外提供了在低通和高通子带方面的可缩放表示。为了提高低通子带的视觉质量，可以将运动补偿结合到提升结构中，但同时导致较差的压缩结果。先前的工作已经表明，在更新步骤中的去噪滤波器可以提高压缩比。在本文中，我们提出了一个新的处理顺序的运动补偿和去噪的更新步骤，并在预测步骤中引入了第二个去噪滤波器。这允许将整个文件大小减少高达4.4%，而低通子带的视觉质量几乎保持不变。
2023-02-03 eess.IV
Learning to Predict on Octree for Scalable Point Cloud Geometry Coding
基于八叉树的点云表示和压缩已被MPEG G-PCC标准所采用。然而，它只使用手工方法来预测叶子节点非空的概率，然后将其用于熵编码。我们提出了一种新的方法来预测这种概率的几何编码，它适用于一个“嘈杂”的上下文立方体，包括相邻的解码体素以及未编码的体素的去噪神经网络。我们进一步提出了一个基于卷积的模型，在解码器端以粗略的分辨率对解码点云进行上采样。与原始G-PCC标准和其他用于密集点云的基线方法相比，这两种方法的集成显著提高了几何编码的率失真性能。所提出的基于八叉树的熵编码方法是自然可扩展的，这对于点云流传输系统中的动态速率自适应是期望的。
2022-09-06 cs.MM eess.IV
An optimal mode selection algorithm for scalable video coding
可伸缩视频编码（SVC）是从其前身高级视频编码（AVC）的扩展，因为它的灵活传输到所有类型的小工具。然而，SVC比AVC更灵活和可缩放，但是它在确定计算方面比AVC更复杂。264标准SVC中传统的全搜索方法消耗了更多的编码时间用于计算。需要降低这种计算复杂度，并开发了许多快速模式决策（FMD）算法，但许多算法未能在峰值信噪比（PSNR）、编码时间和比特率等三个指标上取得平衡。本文提出的基于像素方向的最优模式选择算法，具有较好的实时性、峰值信噪比和编码效率。与标准H.264 JSVM参考软件相比，该算法节省了57.44%的时间，PSNR增加了0.43 dB，比特率压缩了0.23%。
2020-09-08 cs.MM eess.IV
Refining Coded Image in Human Vision Layer Using CNN-Based Post-Processing
Waseda University（早稻田大学）
本文针对面向人类与机器的可扩展图像编码，提出将CNN后处理集成到可扩展编码方案中以提升人类解码图像质量，实验证明该方法能改善压缩性能并优于传统方法。
2024-06-17 cs.CV eess.IV
Content Adaptive Wavelet Lifting for Scalable Lossless Video Coding
可伸缩无损视频编码是许多专业应用的重要方面。基于小波的视频编码通过沿时间轴滤波将输入序列分解成低通和高通子带。低通子带可用于预览目的，而高通子带提供用于原始序列的无损重构的残余内容。将小波变换递归应用于前一级的低通子带产生输入序列的较粗的时间分辨率。这允许较低的比特率，但也影响低通子带的视觉质量。到目前为止，对于整个输入序列预先确定总分解级别的数量。然而，如果视频序列中的运动是强的或者如果突然的场景变化发生，则进一步的分解导致低质量的低通子带。因此，我们提出了一个内容自适应的小波变换，局部适应的深度分解的输入序列的内容。因此，与具有相同数量的总分解级别的均匀小波变换相比，低通子带的视觉质量增加了高达10.28 dB，而所需的速率另外降低了1.06%。
2023-02-02 eess.IV
Pleno-Generation: A Scalable Generative Face Video Compression Framework with Bandwidth Intelligence
City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）；Alibaba-NTU Global e-Sustainability CorpLab（阿里巴巴-南洋理工大学全球电子可持续性合作实验室）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
提出Pleno-Generation框架，通过带宽智能和可扩展表示实现全比特率覆盖的生成式人脸视频压缩，兼顾高保真重建与率失真性能。
2025-02-24 cs.CV eess.IV
Conditional and Residual Methods in Scalable Coding for Humans and Machines
School of Engineering Science, Simon Fraser University（西蒙菲莎大学工程科学学院）
本文研究面向人类与机器的可扩展编码，提出条件编码与残差编码方法，利用视觉任务信息优化重建率失真性能，并设计高建模能力的熵模型，在Cityscapes和COCO数据集上验证了两种方法的有效性。
2023-07-04 cs.IT cs.LG eess.IV
VECTORS: Video communication through opportunistic relays and scalable video coding
众包视频分发经常在当地附近引起兴趣。在本文中，我们提出了一种新的设计，通过机会网络传输这样的内容，自适应质量编码，以实现合理的延迟范围。视频片段使用Nearby Connections Android库以延迟容忍的方式在源和目的地之间传输。这种实现可以应用于多个领域，包括农场监测，野生动物，环境跟踪，灾害响应场景等。在这项工作中，我们提出了一个机会接触为基础的系统的设计，我们讨论了我们研究所内的试运行的基本结果。
2018-11-27 cs.MM eess.IV
Graph-Based Compensated Wavelet Lifting for Scalable Lossless Coding of Dynamic Medical Data
动态2D+t和3D+t医学数据的无损压缩是具有挑战性的，因为数据量巨大，固有噪声的特性，以及高比特深度。除此之外，在远程医疗应用中通常需要可扩展的表示。运动补偿时间滤波适用于医学体积数据的无损压缩，并且另外提供时间、空间和质量可伸缩性特征。为了实现高质量的低通子带，这将被用作原始数据的降尺度代表，基于图形的运动补偿最近被引入到这个框架中。然而，编码的运动信息，这是存储在邻接矩阵，是没有得到很好的研究到目前为止。本文的工作重点是对这些邻接矩阵进行编码，以使基于图的运动补偿对数据压缩是可行的。我们提出了一种新的编码方案的基础上构建所谓的运动地图。这使得第一次比较基于图形的运动补偿的性能，传统的块和网格为基础的方法。对于高质量的低通子带，我们的方法是能够优于块和网格为基础的方法，通过增加视觉质量方面的PSNR由0.53 dB和0.28 dB的CT数据，以及1.04 dB和1.90 dB的MR数据，分别，而比特率在同一时间降低。
2023-02-03 eess.IV
A Novel Light Field Coding Scheme Based on Deep Belief Network & Weighted Binary Images for Additive Layered Displays
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Amrita School of Computing（阿姆里塔计算学院）；Amrita Vishwa Vidyapeetham（阿姆里塔大学）
针对加法分层XR显示，本文提出结合DBN、加权二值图像与H.265的可伸缩光场表示编码框架，可自适应调节码率并保持重建质量。
2023-04-21 cs.CV eess.IV
Learned Disentangled Latent Representations for Scalable Image Coding for Humans and Machines
随着越来越多的图像和视频内容将被机器分析，需要一种新的编解码器范例，其能够主要出于计算机视觉推理的目的压缩视觉输入，同时其次支持输入重建。在这项工作中，我们提出了一个学习的压缩架构，可用于建立这样的编解码器。我们引入了一种新的变分公式，明确地将与所需推理任务相关的特征数据作为编码器端的输入。因此，我们学习的可伸缩图像编解码器编码和传输两个解纠缠的潜在表示对象检测和输入重建。我们注意到，与相关基准相比，我们提出的方案产生了一个更紧凑的潜在表示，专门用于推理任务。我们的实验表明，我们提出的系统实现了比特率节省40.6%的主要对象检测任务相比，目前的国家的最先进的，虽然有一些退化的性能为次要的输入重建任务。
2023-01-10 eess.IV
Deep probabilistic model for lossless scalable point cloud attribute compression
近年来，已经提出了几种利用先进的深度学习技术的点云几何压缩方法，但在属性压缩，特别是无损压缩方面的工作有限。在这项工作中，我们建立了一个端到端的多尺度点云属性编码方法（MNeT），逐步投影到多尺度潜在空间的属性。多尺度架构为属性概率建模提供了准确的上下文，从而使用单个网络预测最小化编码比特率。此外，我们的方法允许可伸缩的编码，较低的质量版本可以很容易地从有损压缩的比特流提取。我们验证了我们的方法上的一组点云MVUB和MPEG，并表明我们的方法优于最近提出的方法，并与最新的G-PCC版本14。此外，我们的编码时间大大快于G-PCC。
2023-03-11 cs.LG eess.IV
Scalable Image Coding for Humans and Machines
目前，以及未来越来越多的情况下，大部分捕获的视觉内容将不会被人类看到。相反，它将用于自动化机器视觉分析，可能需要偶尔进行人工观察。此类应用的示例包括交通监控、视觉监控、自主导航和工业机器视觉。为了满足这些要求，我们开发了一个端到端的学习图像编解码器，其潜在空间的设计，以支持从简单到更复杂的任务的可扩展性。最简单的任务被分配给潜在空间的子集（基本层），而更复杂的任务利用潜在空间的附加子集，即，基本层和增强层两者。对于实验，我们建立了一个2层和一个3层模型，每个模型都提供了人类视觉的输入重建，加上机器视觉任务，并将它们与相关的基准进行比较。实验表明，与最佳替代方案相比，我们的可扩展编解码器在机器视觉任务上节省了37%-80%的比特率，同时在输入重建方面与最先进的图像编解码器相当。
2022-01-13 eess.IV
Scalable Neural Video Representation Compression
University of Bristol（布里斯托大学）；Tencent Media Lab（腾讯媒体实验室）
本文提出基于隐式神经表示的可扩展视频编解码器S-NVRC，通过单次编码实现细粒度码率与解码复杂度可扩展性，在UVG数据集上的BD-rate优于SHM 12.4和VTM-20.0，将提供实现代码。
2026-11-05 cs.CV cs.MM eess.IV
Rate-Distortion in Image Coding for Machines
Simon Fraser University（西蒙弗雷泽大学）
近年来，专门用于计算机视觉的图像到远程服务器的传输急剧增加。在许多应用中，例如监控，图像大多被传输用于自动分析，很少被人类看到。针对这种情况使用传统压缩已经被证明在比特率方面是低效的，这可能是由于关注基于人类的失真度量。因此，重要的是创建特定的图像编码方法，供人类和机器联合使用。创建这种编解码器的机器侧的一种方式是在执行机器任务的深度神经网络中执行某个中间层的特征匹配。在这项工作中，我们探索了用于训练人类和机器的可学习编解码器的层选择的影响。我们证明，使用的数据处理不等式，从更深的层的匹配功能是更可取的率失真的意义上。接下来，我们通过重新训练现有的可扩展人机编码模型来实证我们的发现。在我们的实验中，我们展示了这种可扩展模型的人机之间的权衡，并讨论了在这方面使用更深层进行训练的好处。
2022-09-21 cs.CV eess.IV
COMPASS: High-Efficiency Deep Image Compression with Arbitrary-scale Spatial Scalability
KAIST（韩国科学技术院）；ETRI（电子与信息技术研究所）
COMPASS是一种基于深度学习的高效率图像压缩方法，支持任意尺度的空间可扩展性，通过LIFF方法和联合RD损失函数实现高效编码。
2026-01-05 cs.CV eess.IV
BlinQS: Blind Quality Scalable Image Compression Algorithm without using PCRD Optimization
质量可伸缩性是交互式成像的重要特征之一，以在指定的目标比特率下获得更好的感知质量。在JPEG 2000中，它是使用通过Tier-II编码中的率失真（R-D）优化技术获得的质量层来实现的。这里的一些重要问题是：（i）低效的常规压缩后率失真（PCRD）优化算法，（ii）对于较少或单个质量层串缺乏质量可伸缩性。本文考虑到上述问题，并提出了一种盲质量可伸缩（BlinQS）算法，提供可伸缩性与最小的计算复杂度。该方法的新颖之处在于消除了Tier-II编码，并通过正态分布添加了盲字符串选择算法，以实现有效的速率控制。实验结果表明，该方法在单个质量层上取得了优于JPEG-2000的效果，在不使用PCRD优化算法的情况下取得了接近JPEG-2000的效果。
2021-04-03 eess.IV
Towards Analysis-friendly Face Representation with Scalable Feature and Texture Compression
City University of Hong Kong（香港城市大学）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
在无数以视觉数据为中心的应用程序中，对视觉信息的复杂表示对最终效用的优化起着基础性的作用。随着提出了许多方法来有效地压缩纹理和视觉特征，分别为人类视觉感知和机器智能服务，很少有人致力于研究它们之间的相互作用。在这里，我们调查的特征和纹理压缩的集成，并表明，一个通用的和协作的视觉信息表示可以实现分层的方式。特别地，我们研究了可伸缩编码框架中的特征和纹理压缩，其中基础层作为深度学习特征和增强层目标以完美地重建纹理。基于深度神经网络强大的生成能力，通过特征级纹理重建进一步填补了基本特征层和增强层之间的空白，旨在进一步从特征构建纹理表示。因此，原始纹理和重构纹理之间的残差可以在增强层中进一步传达。为了提高所提出的框架的效率，基层神经网络的训练，在多任务的方式，使学习的功能享受高质量的重建和高精度的分析。我们进一步展示了人脸图像压缩的框架和优化策略，并在码率保真度和码率精度方面取得了良好的编码性能。
2021-04-19 cs.CV eess.IV
Guided Diffusion for the Extension of Machine Vision to Human Visual Perception
Waseda University（早稻田大学）
本研究提出一种基于引导扩散的方法，以面向机器的图像编码输出引导扩散模型从噪声生成人类可感知图像，实现机器视觉到人类视觉的无额外比特率开销转换，经实验验证其压缩性能可与同类可扩展编码方法对比。
2025-03-23 cs.CV eess.IV
CAESR: Conditional Autoencoder and Super-Resolution for Learned Spatial Scalability
IRT b；TDF；Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）；IETR（雷恩电子与电信研究所）
在本文中，我们提出了CAESR，一个混合学习为基础的编码方法的空间可伸缩性的基础上，通用的视频编码（VVC）标准。我们的框架认为，低分辨率的信号编码VVC帧内模式作为一个基本层（BL），和一个深度条件自动编码器与超先验（AE-HP）作为增强层（EL）模型。EL编码器将放大的BL重构和原始图像两者作为输入。我们的方法依赖于条件编码，学习源和放大的BL图像的最佳混合，从而实现比残差编码更好的性能。在解码器侧，使用超分辨率（SR）模块来恢复高分辨率细节并反转条件编码过程。实验结果表明，我们的解决方案是具有竞争力的VVC全分辨率帧内编码，同时是可扩展的。
2022-02-01 cs.CV eess.IV eess.SP
SplatStream: Fine Granular Scalable Gaussian Splatting for Adaptive 3D Scene Streaming
University of Missouri–Kansas City（密苏里大学堪萨斯城分校）；BASIS Independent Silicon Valley（BASIS独立硅谷学校）；Qualcomm, Inc.（高通公司）
针对动态3D高斯点云绘制在自适应流方面的挑战，提出SplatStream框架，通过分解场景为质量和分辨率层、引入层间及时间预测编码、基于体不透明度度量分组等方法，实现细粒度自适应低延迟传输。
2026-07-30 eess.IV eess.SP
Enhanced Quality Aware-Scalable Underwater Image Compression
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Southern University of Science and Technology（南方科技大学）；School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Information Engineering, Guangdong University of Technology（广东工业大学信息工程学院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）；School of Data Sciences, Lingnan University（岭南大学数据科学学院）
针对水下图像带宽受限与失真问题，提出含BL和EL的质量感知可伸缩压缩框架，结合稀疏编码、增强字典与双分支滤波，在五个数据集上UIQM优于现有方法。
2025-09-27 cs.MM eess.IV
