Scalable Video Coding for Humans and Machines
Simon Fraser University(西蒙弗雷泽大学)
视频内容不仅被人类观看,而且越来越多地被机器观看。例如,机器学习模型分析监控视频的安全和交通监控,通过YouTube视频搜索不合适的内容,等等。在本文中,我们提出了一个可扩展的视频编码框架,通过其基本层比特流支持机器视觉(具体地说,对象检测),通过其增强层比特流支持人类视觉。所提出的框架包括来自传统和基于深度神经网络(DNN)的视频编码的组件。结果表明,在对象检测方面,与最先进的视频编解码器相比,所提出的框架实现了13-19%的比特节省,同时在人类视觉任务的MS-SSIM方面保持竞争力。
2022-08-04 cs.CV eess.IV
DeepFGS: Fine-Grained Scalable Coding for Learned Image Compression
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Pengcheng Laboratory(鹏城实验室);Huawei Technologies Co., Ltd(华为技术有限公司)
针对可伸缩图像压缩性能下降与伸缩粒度不足的问题,本文提出 DeepFGS 框架,通过特征分离、信息重排、互熵模型和解码器复用实现单次编码的连续可伸缩码流,并在 PSNR 与 MS-SSIM 上超越现有方法。
2024-11-30 cs.CV eess.IV
Learned Disentangled Latent Representations for Scalable Image Coding for Humans and Machines
随着越来越多的图像和视频内容将被机器分析,需要一种新的编解码器范例,其能够主要出于计算机视觉推理的目的压缩视觉输入,同时其次支持输入重建。在这项工作中,我们提出了一个学习的压缩架构,可用于建立这样的编解码器。我们引入了一种新的变分公式,明确地将与所需推理任务相关的特征数据作为编码器端的输入。因此,我们学习的可伸缩图像编解码器编码和传输两个解纠缠的潜在表示对象检测和输入重建。我们注意到,与相关基准相比,我们提出的方案产生了一个更紧凑的潜在表示,专门用于推理任务。我们的实验表明,我们提出的系统实现了比特率节省40.6%的主要对象检测任务相比,目前的国家的最先进的,虽然有一些退化的性能为次要的输入重建任务。
2023-01-10 eess.IV
Base Layer Efficiency in Scalable Human-Machine Coding
Simon Fraser University(西蒙弗雷泽大学)
本文针对可扩展人机编码中基础层效率问题,分析现有最先进图像编解码器的基础层编码效率,并提出改进方法,在目标检测和实例分割任务上实现 BD-Rate 20-40% 的增益。
2023-07-05 cs.CV eess.IV
An optimal mode selection algorithm for scalable video coding
可伸缩视频编码(SVC)是从其前身高级视频编码(AVC)的扩展,因为它的灵活传输到所有类型的小工具。然而,SVC比AVC更灵活和可缩放,但是它在确定计算方面比AVC更复杂。264标准SVC中传统的全搜索方法消耗了更多的编码时间用于计算。需要降低这种计算复杂度,并开发了许多快速模式决策(FMD)算法,但许多算法未能在峰值信噪比(PSNR)、编码时间和比特率等三个指标上取得平衡。本文提出的基于像素方向的最优模式选择算法,具有较好的实时性、峰值信噪比和编码效率。与标准H.264 JSVM参考软件相比,该算法节省了57.44%的时间,PSNR增加了0.43 dB,比特率压缩了0.23%。
2020-09-08 cs.MM eess.IV
An Emerging Coding Paradigm VCM: A Scalable Coding Approach Beyond Feature and Signal
Peking University(北京大学)
在本文中,我们研究了一个新的问题,从新兴的MPEG标准化的努力视频编码的机器(VCM),其目的是弥合视觉特征压缩和经典的视频编码之间的差距。VCM致力于以或多或少可扩展的方式满足机器和人类视觉的紧凑信号表示要求。为此,我们努力利用预测和生成模型的优势,同时支持机器和人类视觉任务的高级压缩技术,其中视觉特征作为桥梁,以可扩展的方式连接信号级和任务级的紧凑表示。具体来说,我们采用条件深度生成网络在学习的运动模式的指导下重建视频帧。通过学习经由预测模型提取稀疏运动模式,网络优雅地利用特征表示经由生成模型生成待编码帧的外观,依赖于编码关键帧的外观。同时,稀疏运动模式是紧凑的,并且对于高级视觉任务(例如动作识别)是高效的。实验结果表明,我们的方法产生更好的重建质量相比,传统的视频编解码器(0.0063增益在SSIM),以及最先进的动作识别性能在高度压缩的视频(9.4%的识别精度增益),这展示了一个有前途的范式编码信号的人类和机器视觉。
2020-01-09 cs.CV eess.IV
VVC+M: Plug and Play Scalable Image Coding for Humans and Machines
Simon Fraser University(西蒙弗雷泽大学)
针对面向人类与机器的可扩展图像编码中机器端率失真性能次优的问题,提出利用 VVC 等视频编解码器的残差编码能力构建即插即用的可扩展编解码器,提升了机器任务性能且不产生质量耦合。
2023-05-17 cs.CV eess.IV
Explicit Residual-Based Scalable Image Coding for Humans and Machines
Graduate School of FSE, Waseda University Tokyo, Japan(FSE研究生院,早稻田大学东京,日本)
针对人机共用的可伸缩图像编码,本文引入显式残差压缩机制,提出 FR-ICMH 与 PR-ICMH,在多任务中兼顾复杂度和性能,BD-rate 最高降低 29.57%。
2025-08-29 cs.CV eess.IV
VECTORS: Video communication through opportunistic relays and scalable video coding
众包视频分发经常在当地附近引起兴趣。在本文中,我们提出了一种新的设计,通过机会网络传输这样的内容,自适应质量编码,以实现合理的延迟范围。视频片段使用Nearby Connections Android库以延迟容忍的方式在源和目的地之间传输。这种实现可以应用于多个领域,包括农场监测,野生动物,环境跟踪,灾害响应场景等。在这项工作中,我们提出了一个机会接触为基础的系统的设计,我们讨论了我们研究所内的试运行的基本结果。
2018-11-27 cs.MM eess.IV
Deep probabilistic model for lossless scalable point cloud attribute compression
近年来,已经提出了几种利用先进的深度学习技术的点云几何压缩方法,但在属性压缩,特别是无损压缩方面的工作有限。在这项工作中,我们建立了一个端到端的多尺度点云属性编码方法(MNeT),逐步投影到多尺度潜在空间的属性。多尺度架构为属性概率建模提供了准确的上下文,从而使用单个网络预测最小化编码比特率。此外,我们的方法允许可伸缩的编码,较低的质量版本可以很容易地从有损压缩的比特流提取。我们验证了我们的方法上的一组点云MVUB和MPEG,并表明我们的方法优于最近提出的方法,并与最新的G-PCC版本14。此外,我们的编码时间大大快于G-PCC。
2023-03-11 cs.LG eess.IV
Conditional and Residual Methods in Scalable Coding for Humans and Machines
School of Engineering Science, Simon Fraser University(西蒙菲莎大学工程科学学院)
本文研究面向人类与机器的可扩展编码,提出条件编码与残差编码方法,利用视觉任务信息优化重建率失真性能,并设计高建模能力的熵模型,在Cityscapes和COCO数据集上验证了两种方法的有效性。
2023-07-04 cs.IT cs.LG eess.IV
BlinQS: Blind Quality Scalable Image Compression Algorithm without using PCRD Optimization
质量可伸缩性是交互式成像的重要特征之一,以在指定的目标比特率下获得更好的感知质量。在JPEG 2000中,它是使用通过Tier-II编码中的率失真(R-D)优化技术获得的质量层来实现的。这里的一些重要问题是:(i)低效的常规压缩后率失真(PCRD)优化算法,(ii)对于较少或单个质量层串缺乏质量可伸缩性。本文考虑到上述问题,并提出了一种盲质量可伸缩(BlinQS)算法,提供可伸缩性与最小的计算复杂度。该方法的新颖之处在于消除了Tier-II编码,并通过正态分布添加了盲字符串选择算法,以实现有效的速率控制。实验结果表明,该方法在单个质量层上取得了优于JPEG-2000的效果,在不使用PCRD优化算法的情况下取得了接近JPEG-2000的效果。
2021-04-03 eess.IV
Learned Scalable Video Coding For Humans and Machines
School of Engineering Science, Simon Fraser University(西蒙菲莎大学工程科学学院)
提出一种端到端可学习的可扩展视频编解码器,基础层支持机器视觉任务,增强层结合基础层支持人类观看的输入重建,基于条件编码实现更优压缩增益,在四个数据集上性能优于现有方案。
2024-11-17 cs.CV eess.IV
Efficient lossless coding of highpass bands from block-based motion compensated wavelet lifting using JPEG 2000
无损图像编码是一项至关重要的任务,特别是在医学领域,例如,用于计算机断层扫描或磁共振断层扫描的体积。除了无损编码,补偿小波提升提供了一个可伸缩的表示,这样巨大的体积。补偿方法在增加低通带细节的同时,也改变了小波系数的特性,因此应考虑系数编码器的自适应性。我们提出了一个简单的可逆扩展JPEG 2000,可以减少文件大小的无损编码的高通带平均为0.8%,峰值速率节省1.1%。
2023-01-11 eess.IV
Versatile Volumetric Medical Image Coding for Human-Machine Vision
针对现有volumetric医学图像神经压缩方法需解码回像素才能供机器分析、效率低的问题,提出面向人机视觉的VVMIC框架,通过VVAE模块和多维上下文模型实现无需像素解码的直接分析,兼顾重建质量与分割精度。
2024-12-12 eess.IV
Learning Frequency-Specific Quantization Scaling in VVC for Standard-Compliant Task-driven Image Coding
今天,视觉数据通常由神经网络分析,没有任何人参与,这需要专门的编解码器。对于针对某些信息宿的符合标准的编解码器适配,HEVC或VVC提供了利用缩放列表的频率特定量化的可能性。这是一种用于人类视觉系统的众所周知的方法,其中缩放列表是从心理视觉模型导出的。在这项工作中,我们采用缩放列表进行VVC帧内编码的神经网络作为信息汇。为此,我们提出了一种新的数据驱动的方法来获得任意神经网络的最佳缩放列表。使用Mask R-CNN作为信息接收器的实验表明,使用所提出的缩放列表对Cityscapes数据集进行编码,与使用恒定量化的VVC相比,峰值比特率节省了8.9%。通过这种方式,我们的方法也优于针对人类视觉系统优化的缩放列表。生成的缩放列表可以在https://github.com/FAU-LMS/VCM_scaling_lists下找到。
2023-01-20 eess.IV
Human-Machine Collaborative Video Coding Through Cuboidal Partitioning
Charles Sturt University(查尔斯特大学);Federation University(联邦大学);University of New South Wales(新南威尔士大学)
视频编码算法对整个视频帧进行编码和解码,而特征编码技术仅保留和传送给定应用所需的最关键信息。这是因为视频编码针对人类感知,而特征编码针对机器视觉任务。最近,正在尝试弥合这两个领域之间的差距。在这项工作中,我们提出了一个视频编码框架,利用人类视觉和机器视觉应用程序使用长方体之间存在的共性。这是因为长方体(视频帧上的估计矩形区域)在计算上是高效的,具有紧凑的表示并且以对象为中心。这些属性已经被示出为给传统视频编码系统增加价值。本文从当前帧中提取立方体特征描述符,然后用于以对象检测的形式完成机器视觉任务。实验结果表明,训练后的分类器产生优越的平均精度时,配备面向立方体特征表示的当前测试帧。另外,如果需要将捕获的帧传送到接收机,则这种表示在比特率上花费较少的$7\%$。
2021-09-03 cs.LG eess.IV
Adaptive and Scalable Compression of Multispectral Images using VVC
VVC编解码器适用于多光谱图像(MSI)压缩的任务,使用自适应和可伸缩的编码结构。在“普通”VVC方法中,采用来自图片到图片时间预测的概念用于沿着MSI的频谱维度的去相关。结合用于空间去相关的VVC帧内编码,进一步评估用于频谱去相关的流行的主成分分析(PCA)。这种方法被称为PCA-VVC。提出了一种新的自适应MSI压缩算法HPCLS,该算法采用PCA和帧间预测进行频谱分析,采用VVC帧内编码进行空域去相关。此外,提出了一种新的自适应可缩放方法,该方法提供了压缩文件中MSI的可单独解码的频谱缩放预览。预览中包含的信息被利用,以减少整体文件大小。所有的计划进行评估的图像从ARAD HS数据集包含具有高的各种亮度和颜色的户外场景。我们发现,PCA-VVC和HPCLS均优于“Plain”VVC。对于高于51 dB PSNR的重建质量,HPCLS与PCA-VVC相比显示出有利的率失真(RD)行为。将可伸缩方法的性能与独立RGB预览和HPCLS或PCA-VVC之一的组合进行比较。可伸缩的方法显示出显着的好处,特别是在较高的预览质量。
2023-01-10 cs.MM eess.IV
Fast and Scalable Human Pose Estimation using mmWave Point Cloud
毫米波(mmWave)雷达能够以低成本和低计算要求实现高分辨率的人体姿态估计。然而,毫米波数据点云,处理算法的主要输入,是高度稀疏的,携带的信息比其他替代品,如视频帧少得多。此外,稀缺的标记毫米波数据阻碍了机器学习(ML)模型的开发,这些模型可以推广到看不见的场景。我们提出了一个快速和可扩展的人体姿态估计(FUSE)框架,结合多帧表示和元学习来解决这些挑战。实验评估表明,FUSE适应看不见的场景4 $\times$比目前的监督学习方法,估计人体关节坐标约7厘米的平均绝对误差。
2022-04-29 eess.IV
Refining Coded Image in Human Vision Layer Using CNN-Based Post-Processing
Waseda University(早稻田大学)
本文针对面向人类与机器的可扩展图像编码,提出将CNN后处理集成到可扩展编码方案中以提升人类解码图像质量,实验证明该方法能改善压缩性能并优于传统方法。
2024-06-17 cs.CV eess.IV
Scalable Neural Video Representation Compression
University of Bristol(布里斯托大学);Tencent Media Lab(腾讯媒体实验室)
本文提出基于隐式神经表示的可扩展视频编解码器S-NVRC,通过单次编码实现细粒度码率与解码复杂度可扩展性,在UVG数据集上的BD-rate优于SHM 12.4和VTM-20.0,将提供实现代码。
2026-11-05 cs.CV cs.MM eess.IV
Pleno-Generation: A Scalable Generative Face Video Compression Framework with Bandwidth Intelligence
City University of Hong Kong(香港城市大学);Nanyang Technological University(南洋理工大学);Alibaba-NTU Global e-Sustainability CorpLab(阿里巴巴-南洋理工大学全球电子可持续性合作实验室);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
提出Pleno-Generation框架,通过带宽智能和可扩展表示实现全比特率覆盖的生成式人脸视频压缩,兼顾高保真重建与率失真性能。
2025-02-24 cs.CV eess.IV
A Novel Light Field Coding Scheme Based on Deep Belief Network & Weighted Binary Images for Additive Layered Displays
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Amrita School of Computing(阿姆里塔计算学院);Amrita Vishwa Vidyapeetham(阿姆里塔大学)
针对加法分层XR显示,本文提出结合DBN、加权二值图像与H.265的可伸缩光场表示编码框架,可自适应调节码率并保持重建质量。
2023-04-21 cs.CV eess.IV
Task Oriented Video Coding: A Survey
视频编码技术一直在不断改进,以获得更高的压缩比和更高的分辨率。然而,诸如H. 265/HEVC和通用视频编码的现有技术的视频编码标准仍然是在假设压缩视频将被人类观看的情况下设计的。随着深度神经网络在解决计算机视觉任务方面的巨大进步和成熟,越来越多的视频直接由深度神经网络分析,而无需人类参与。当压缩视频被计算机视觉应用使用时,这种用于视频编码标准的传统设计不是最佳的。虽然人类视觉系统对高对比度的内容始终敏感,但像素对计算机视觉算法的影响是由特定的计算机视觉任务驱动的。本文对面向计算机视觉任务的视频编码和正在兴起的视频编码标准--机器视频编码的最新进展进行了探讨和总结。
2022-11-20 cs.CV eess.IV
Rate-Distortion in Image Coding for Machines
Simon Fraser University(西蒙弗雷泽大学)
近年来,专门用于计算机视觉的图像到远程服务器的传输急剧增加。在许多应用中,例如监控,图像大多被传输用于自动分析,很少被人类看到。针对这种情况使用传统压缩已经被证明在比特率方面是低效的,这可能是由于关注基于人类的失真度量。因此,重要的是创建特定的图像编码方法,供人类和机器联合使用。创建这种编解码器的机器侧的一种方式是在执行机器任务的深度神经网络中执行某个中间层的特征匹配。在这项工作中,我们探索了用于训练人类和机器的可学习编解码器的层选择的影响。我们证明,使用的数据处理不等式,从更深的层的匹配功能是更可取的率失真的意义上。接下来,我们通过重新训练现有的可扩展人机编码模型来实证我们的发现。在我们的实验中,我们展示了这种可扩展模型的人机之间的权衡,并讨论了在这方面使用更深层进行训练的好处。
2022-09-21 cs.CV eess.IV
Rethinking Generative Human Video Coding with Implicit Motion Transformation
Alibaba DAMO Academy & Hupan Laboratory(阿里巴巴达摩院及虎斑实验室)
针对生成式人体视频编码中显式运动指导易导致重建失真、运动不准的问题,提出基于隐式运动变换的范式,将人体信号转为紧凑视觉特征并转化为隐式运动指导,实现高效压缩与高保真合成。
2025-06-12 cs.CV eess.IV
Compressing Human Body Video with Interactive Semantics: A Generative Approach
City University of Hong Kong(香港城市大学);Alibaba DAMO Academy & Hupan Laboratory(阿里达摩院及胡畔实验室);Shenzhen Research Institute, City University of Hong Kong(香港城市大学深圳研究院)
提出一种生成式方法,利用3D人体模型将人体视频分解为可配置语义嵌入,实现超低码率下高效压缩与交互式重建,优于VVC等现有方案。
2025-05-22 cs.CV eess.IV
All-in-One Image Coding for Joint Human-Machine Vision with Multi-Path Aggregation
School of Electronic Science and Engineering(电子科学与工程学院);Nanjing University(南京大学)
本文提出多路径聚合(MPA)方法,以一体化编码架构统一人机视觉特征表示,通过预测器分配共享与任务特定特征,并结合两阶段优化,以极低参数微调实现与最先进方法相当的人机联合编码性能。
2024-09-29 cs.CV eess.IV
Committee Draft of JPEG XL Image Coding System
JPEG XL是一种实用的方法,专注于可扩展的Web分发和高质量图像的有效压缩。与现有的图像格式相比,它提供了各种好处:在同等主观质量下减少60%的大小;快速,可并行的解码和编码配置;具有渐进,无损,动画和现有JPEG的可逆转码等功能,减少22%的大小;支持高质量应用,包括宽色域,更高的分辨率/位深度/动态范围,以及视觉无损编码。JPEG XL架构是传统的块变换编码,对每个组件都进行了升级。
2019-08-13 cs.GR eess.IV
VNVC: A Versatile Neural Video Coding Framework for Efficient Human-Machine Vision
University of Science and Technology of China(中国科学技术大学)
本文提出 VNVC 神经视频编码框架,利用可直接用于重建、增强与分析的中间特征压缩视频,在降低复杂度的同时保持高压缩效率和良好任务性能。
2023-11-01 cs.CV eess.IV
COMPASS: High-Efficiency Deep Image Compression with Arbitrary-scale Spatial Scalability
KAIST(韩国科学技术院);ETRI(电子与信息技术研究所)
COMPASS是一种基于深度学习的高效率图像压缩方法,支持任意尺度的空间可扩展性,通过LIFF方法和联合RD损失函数实现高效编码。
2026-01-05 cs.CV eess.IV
Guided Diffusion for the Extension of Machine Vision to Human Visual Perception
Waseda University(早稻田大学)
本研究提出一种基于引导扩散的方法,以面向机器的图像编码输出引导扩散模型从噪声生成人类可感知图像,实现机器视觉到人类视觉的无额外比特率开销转换,经实验验证其压缩性能可与同类可扩展编码方法对比。
2025-03-23 cs.CV eess.IV
Bridging the gap between image coding for machines and humans
Nokia Technologies(诺基亚技术公司);Tampere University(坦佩雷大学)
针对神经网络 ICM 编解码器低比特率下的棋盘伪影,提出基于对抗训练的解码器微调方法,在不增加推理比特与参数的情况下消除伪影并保持机器分析性能。
2024-01-19 cs.CV eess.IV
On Task Scope and Information Retention in Source Coding
NeverBlink;Rijksuniversiteit Groningen(格罗宁根大学)
本文指出按接收者类型划分编解码设计具有误导性,码率取决于任务范围,并扩展源编码至有限任务族,证明任务扩大时源与分裂特征编码码率不再相等。
2026-09-30 cs.IT cs.LG eess.IV