A Fast Fractal Image Compression Algorithm Using Predefined Values for Contrast Scaling
University Of Mazandran(马赞德兰大学)
本文提出了一种新的分形图像压缩算法,大大缩短了编码时间。该算法利用域池减少方法,以及使用对比度缩放因子S的创新预定义值,而不是扫描参数空间[0,1]。在该方法中,仅考虑熵大于阈值的域块。作为一个新颖的点,它是假设在编码过程的每一步中,具有足够小的距离的域块应被发现,只有范围块具有低活动性(相当于低熵)。该新颖点用于找到S的合理估计,并在编码过程中将它们用作上述预定义值。该算法已被检查为一些著名的图像。这一结果表明,我们提出的算法大大减少了编码时间,产生的图像是近似相同的质量。
2015-01-17 cs.CV
Enhanced Invertible Encoding for Learned Image Compression
HKUST(香港科技大学)
虽然基于深度学习的图像压缩方法近年来取得了可喜的进展,但这些方法的性能仍然无法与最新的压缩标准通用视频编码(VVC)相匹配。最近的发展主要集中在设计一个更准确和灵活的熵模型,可以更好地参数化的潜在特征的分布。然而,很少有人致力于构造一个更好的图像空间和潜在的特征空间之间的转换。在本文中,我们没有使用以前的自动编码器风格网络来构建这种转换,而是提出了一种具有可逆神经网络(INN)的增强型可逆编码网络,以在很大程度上减轻信息丢失问题,从而实现更好的压缩。在Kodak、CLIC和Tecnick数据集上的实验结果表明,该方法优于现有的图像压缩方法和压缩标准,包括VVC(VTM 12.1),特别是对于高分辨率图像。我们的源代码可在https://github.com/xyq7/InvCompress上获得。
2021-08-08 cs.CV eess.IV
Modified Fast Fractal Image Compression Algorithm in spatial domain
University Of Alame Mohades Noori(阿拉梅·莫哈德斯·努里大学)
本文提出了一种新的分形图像压缩算法,大大缩短了编码时间。该算法利用域池减少方法,以及使用创新的预定义值的对比度缩放因子,S,而不是搜索它在[0,1]。只有熵大于阈值的域块才被认为是域池。作为一个新颖的点,它是假设在编码过程的每一步中,具有足够小的距离的域块应被发现,只有范围块具有低活动性(相当于低熵)。这个新的点被用来找到S的合理估计,并在编码过程中使用它们作为预定义的值,如上所述,剩余的范围块被分成四个新的更小的范围块,并且算法必须为它们迭代,被认为是编码过程的另一个步骤。该算法已被检查的一些著名的图像和结果进行了比较,与国家的最先进的算法。实验表明,我们提出的算法有相当少的编码时间比其他的编码图像的质量大致相同。
2015-02-01 cs.CV
An Integrated Representation & Compression Scheme Based on Convolutional Autoencoders with 4D DCT Perceptual Encoding for High Dynamic Range Light Fields
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
新兴的和现有的光场显示器高度能够在自动立体裸眼平台上逼真地呈现3D场景。光场尺寸是利用3D显示器和流传输目的时的主要缺点。当光场具有高动态范围时,大小急剧增加。在本文中,我们提出了一种新的压缩算法的高动态范围的光场,产生一个感知上的无损压缩。该算法通过将HDR光场解释为四维体积来利用HDR光场的视图间和视图内相关性。HDR光场压缩是基于一种新的4DDCT-UCS(4D-DCT均匀颜色空间)算法。通过HEVC对4DDCT-UCS采集的图像的附加编码消除了HDR光场数据中的帧内、帧间和固有冗余。与JPEG-XL和HDR视频编码算法等最先进的编码器相比,该方案对真实世界光场的压缩性能优越。
2022-06-21 cs.CV eess.IV
MTC-VAE: Multi-Level Temporal Compression with Content Awareness
ReLER, CCAI, Zhejiang University(ReLER、CCAI、浙江大学)
MTC-VAE通过多级时间压缩技术提升视频压缩效率,结合内容意识方法实现高效压缩与性能优化。
2026-02-01 cs.CV
EAST: Encoding-Aware Sparse Training for Deep Memory Compression of ConvNets
Politecnico di Torino(都灵理工大学)
在具有有限非易失性存储器空间的微小端节点上实现深度卷积神经网络(ConvNets)需要能够缩小占用空间但保持预测准确性的智能压缩策略。存在用于此目的的许多策略,从那些利用模型的拓扑或算术精度的策略(例如,修剪和量化)到那些操作模型不可知压缩的策略(例如,权重编码)。内存约束越严格,这些技术单独无法满足要求的可能性就越高,因此必须在不同优化之间进行更多的感知和合作。这项工作通过引入EAST(编码感知稀疏训练)来解决这个问题,EAST是一种新型的内存约束训练过程,可以引导量化的ConvNets进行深度内存压缩。EAST实现了一种自适应组修剪,旨在最大限度地提高权重编码方案(本工作中的LZ 4算法)的压缩率。如果与现有的方法相比,EAST满足较低的稀疏性的内存约束,从而确保更高的精度。在部署在低功耗微控制器(ARM Cortex-M4)上的最先进的ConvNet(ResNet-9)上进行的结果验证了该提议。
2019-12-20 cs.CV cs.LG stat.ML
Lossy Event Compression based on Image-derived Quad Trees and Poisson Disk Sampling
Northwestern University(西北大学)
与传统的RGB相机相比,事件相机具有几个优点,为在具有快速运动、高动态范围和/或功率约束的挑战性场景下处理视觉任务提供了新的机会。然而,与图像/视频压缩不同,事件压缩算法的性能远不能令人满意和实用。压缩事件的主要挑战是唯一的事件数据形式,即,异步触发的事件元组的流,每个事件元组编码2D空间位置、时间戳和极性(表示亮度的增加或减少)。由于事件仅编码时间变化,因此它们缺乏对压缩至关重要的空间结构。为了解决这个问题,我们提出了一种新的事件压缩算法的基础上四叉树(QT)分割图来自相邻的强度图像。QT通知3D时空体积内的2D空间优先级。在事件编码步骤中,首先随时间聚集事件以形成基于极性的事件直方图。然后通过基于QT的分割图优先化的泊松盘采样对直方图进行重复采样。接着,分别采用差分编码和行程长度编码来对采样事件的空间和极性信息进行编码,随后进行霍夫曼编码以产生最终的编码事件。我们的泊松磁盘采样的有损事件压缩(PDS-LEC)算法进行率失真为基础的最佳分配。平均而言,我们的算法实现了超过6倍的压缩相比,最先进的。
2020-12-01 cs.CV cs.MM
RIDDLE: Lidar Data Compression with Range Image Deep Delta Encoding
Waymo LLC(Waymo有限责任公司)
激光雷达是广泛用于自动驾驶和增强现实的深度测量传感器。然而,激光雷达产生的大量数据可能导致数据存储和传输的高成本。虽然激光雷达数据可以表示为两种可互换的表示:3D点云和范围图像,但大多数以前的工作都集中在压缩通用3D点云上。在这项工作中,我们表明,直接压缩范围图像可以利用激光雷达扫描模式,压缩未投影的点云相比。提出了一种新的数据驱动距离图像压缩算法RIDDLE(Range Image Deep DeLta Encoding)。其核心是一个深度模型,该模型基于当前和过去扫描的上下文激光拍摄(表示为球坐标和时间的4D点云),以光栅扫描顺序预测下一个像素值。然后,可以通过熵编码来压缩预测值和原始值之间的增量。在Waymo Open Dataset和KITTI上进行了评估,与广泛使用的点云和范围图像压缩算法以及最近的深度方法相比,我们的方法在压缩率(相同失真下)方面有显着提高。
2022-06-02 cs.CV eess.IV
Learned JPEG Compression for DNN Vision
University of Waterloo(滑铁卢大学)
提出J4D框架,通过可微分JPEG编解码器和信息论速率估计,优化JPEG编码参数以在低压缩率下提升DNN推理性能,实验显示在相同精度下压缩率降低高达80.05%。
2026-06-16 cs.CV
Dynamic Domain Classification for Fractal Image Compression
University of Kerala(喀拉拉邦大学)
分形图像压缩是一种很有吸引力的压缩方法,但其编码时间要求较高。图像被编码为一组压缩仿射变换。将图像分割成不重叠的范围块,并且识别大于范围块的最佳匹配域块。有许多尝试通过减少范围域匹配的搜索池的大小来改善编码时间。但是这些方法试图准备一个在整个编码过程中保持不变的静态域池。本文提出了为每个范围块动态准备单独的域池。这将导致编码时间的显著减少。可以基于参数值来选择特定范围块的域池。在这里,我们使用基于局部分形维数的分类。
2012-05-20 cs.CV cs.GR
Signs in time: Encoding human motion as a temporal image
University of Oxford(牛津大学)
这项工作的目标是识别和定位图像时间序列中的短时信号,其中强有力的监督是不可用的训练。为此,我们提出了一种图像编码,它以适合使用ConvNet学习的形式简洁地表示视频序列中的人体运动。编码将图像中的姿态信息减少到一列,大大减少了网络的输入要求,但保留了识别的基本信息。该编码应用于识别和本地化英国手语(BSL)视频中的手势。我们证明,使用建议的编码,信号短至10帧的持续时间可以从剪辑持续数百帧,只使用弱(剪辑级)监督和相当大的标签噪声。
2016-08-06 cs.CV
Task-driven Compression for Collision Encoding based on Depth Images
Norwegian University of Science and Technology (NTNU)(挪威科技大学(NTNU))
本文提出一种基于变分自编码器的任务驱动深度图像压缩方法,通过考虑机器人尺寸膨胀障碍物以预测碰撞,在高达4050:1的压缩比下优于经典方法。
2023-09-11 cs.CV cs.RO
Neural Image Compression with Text-guided Encoding for both Pixel-level and Perceptual Fidelity
POSTECH(浦项科技大学);Samsung Advanced Institute of Technology(三星先进技术研究院)
针对文本引导图像压缩中像素保真度下降的问题,提出文本自适应编码与联合图像-文本损失训练的框架,在保持高感知质量的同时实现高像素级保真度,并在LPIPS指标上优于所有基线。
2024-05-22 cs.CV cs.LG
Learned Compression of Encoding Distributions
School of Engineering Science, Simon Fraser University(西蒙菲莎大学工程科学学院)
针对学习式压缩中熵瓶颈静态分布导致的摊销间隙问题,提出动态适配编码分布的方法,通过传输边信息码流实现更优压缩,在Kodak数据集上取得-7.10%的BD率增益且计算复杂度更低。
2024-06-18 cs.CV eess.IV
Ultra High Fidelity Image Compression with $\ell_\infty$-constrained Encoding and Deep Decoding
Shanghai Jiao Tong University(上海交通大学);McMaster University(麦克马斯特大学)
在医学、遥感和科学等许多专业领域,用户往往要求图像压缩方法在数学上是无损的。但是无损图像编码具有相当低的压缩比(对于自然图像约为2:1)。在满足严格的保真度要求的同时实现显著压缩的唯一已知技术是九十年代开发和标准化的$\ell_\infty$约束编码的方法。经过二十年的研究,我们在$\ell_\infty$约束图像编码方面取得了重大进展,提出了一种新的基于CNN的软$\ell_\infty$约束解码方法。新方法通过使用称为$\ell_\infty\mbox{-SDNet}$的恢复CNN来将常规解码图像映射到潜像来修复压缩缺陷。$\ell_\infty\mbox{-SDNet}$的一个独特优势是它能够在每个像素的基础上实施严格的误差界限。因此,原始图像的任何小的独特结构都不会被丢弃或扭曲,即使它们是主流CNN恢复方法以其他方式牺牲的统计离群值。更重要的是,本研究提出了一种新的$\ell_\infty$约束编码和深度软解码($\ell_\infty\mbox{-ED}^2$)的图像压缩系统. $\ell_\infty \mbox{-ED}^2$方法胜过现有的有损图像压缩方法中的最佳方法(例如,BPG、WebP等)不仅在$\ell_\infty$中,而且在$\ell_2$误差度量和感知质量中,对于接近感知透明重构的阈值的比特率。在操作上,新的压缩系统是实用的,具有低复杂度的实时编码器和级…
2020-02-10 cs.CV eess.IV
A Foreground-background Parallel Compression with Residual Encoding for Surveillance Video
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学)
数据存储一直是监控系统的瓶颈之一。传统的视频压缩算法如H. 264和H. 265没有充分利用监控视频的低信息密度特性。本文提出了一种视频压缩方法,该方法对视频的前景和背景分别进行提取和压缩。通过自适应背景更新和插值模块,在多个相邻帧之间共享背景信息,大大提高了压缩比。此外,我们提出了两种不同的方案来压缩前景和比较他们的性能在烧蚀研究显示的重要性,时间信息的视频压缩。在解码端,采用由粗到精的两级模块,实现了前景和背景的合成以及帧质量的提高。此外,提出了一种自适应采样方法的监控摄像机,我们已经通过软件仿真显示其效果。实验结果表明,我们提出的方法需要69.5%的bpp(每像素的比特数)比传统的算法H. 265实现相同的PSNR(36 dB)的HECV数据集。
2020-09-28 cs.CV eess.IV
Lossless Compression of Point Cloud Sequences Using Sequence Optimized CNN Models
我们提出了一个新的范例编码的几何点云序列,其中的卷积神经网络(CNN),估计编码分布的优化序列的几个帧进行压缩。我们采用轻量级的CNN结构,我们将训练作为编码过程的一部分进行,并且CNN参数作为比特流的一部分进行传输。新提出的编码方案对每个点云的八叉树表示进行操作,连续编码每个八叉树分辨率层。在每个八叉树分辨率层,体素网格被逐段遍历(每个部分垂直于选定的坐标轴),并且在每个部分中,二乘二体素组的占用率在单个算术编码操作中被立即编码。基于关于八叉树的当前和较低分辨率层中的相邻体素的占用的可用信息,为每个二乘二组体素定义条件编码分布的上下文。CNN在四个阶段中估计来自一个部分的所有体素组的占用模式的概率分布。在每个新的阶段中,上下文与在前一阶段中编码的occupancy一起更新,并且每个阶段并行地估计概率,从而在处理的并行性和上下文的信息量之间提供合理的权衡。CNN的训练时间与其余编码步骤所花费的时间相当,从而导致具有竞争力的整体编码时间。比特率和编码-解码时间与最近发布的压缩方案相比毫不逊色。
2022-06-02 cs.CV eess.IV
A Self-Supervised Learning Framework for Video Encoding Complexity Clustering
提出压缩回波对比学习(CECL),一种自监督框架,利用视频对压缩的响应作为监督信号,聚类编码复杂度,提升下游聚类任务性能并节省码率。
2026-06-28 cs.CV eess.IV
HiNeRV: Video Compression with Hierarchical Encoding-based Neural Representation
University of Bristol(布里斯托尔大学)
HiNeRV 提出一种结合分层位置编码与轻量层的高容量隐式神经表示,统一以帧和块编码视频,并通过精化训练、剪枝和量化流程构建视频编解码器,在 UVG 和 MCL-JCV 数据集上显著超越现有 INR 基线并取得与学习型编解码器相当的压缩性能。
2024-01-26 cs.CV eess.IV
GPU Accelerated Fractal Image Compression for Medical Imaging in Parallel Computing Platform
King Fahd University of Petroleum & Minerals(法赫德国王石油与矿业大学);Tilburg University(蒂尔堡大学);Banglalink Digital Communications Limited(Banglalink数字通信有限公司)
在本文中,我们使用CUDA(计算统一设备架构)编程模型实现了分形图像压缩算法的顺序和并行版本,用于并行化医学图像图形处理单元中的程序,因为它们在图像本身中高度相似。在算法的实现上也做了一些改进。分形图像压缩是基于图像的自相似性,这意味着图像在大多数区域中具有相似性。我们借此机会实现压缩算法,并使用并行和顺序实现监控它的效果。分形压缩具有压缩率高、无量纲等特点。分形图像的压缩方法有编码和解码两种。编码是非常昂贵的计算。另一方面,解码的计算量较小。将分形压缩应用于医学图像,可以获得更高的压缩比。而分形放大率作为分形压缩不可分割的特征,对于以高可读性的形式呈现重构图像是非常有用的。然而,与所有不可逆压缩方法一样,分形压缩也存在信息丢失问题,这在医学图像处理中尤为棘手。一个非常耗时的编码过程,甚至可以持续几个小时,是分形压缩的另一个令人烦恼的缺点。
2014-04-03 cs.CV cs.DC
LLaVA-UHD v3: Progressive Visual Compression for Efficient Native-Resolution Encoding in MLLMs
Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院航天信息研究所);School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学先进交叉学科学院)
LLaVA-UHD v3通过渐进式视觉压缩方法,实现高效原分辨率编码,减少TTFT并提升多模态大语言模型性能。
2025-11-26 cs.AI cs.CV
Efficient Neural Representation of Volumetric Data using Coordinate-Based Networks
University of Central Florida(中佛罗里达大学)
本文提出利用坐标网络与多分辨率哈希编码压缩体数据,并结合 Reptile 元学习加速收敛,在图像质量和压缩比上优于现有方法。
2024-01-16 cs.CV cs.GR
LINR-PCGC: Lossless Implicit Neural Representations for Point Cloud Geometry Compression
Shanghai Jiao Tong University(上海交通大学);University of Missouri-Kansas City(密苏里大学-凯斯城分校)
本文提出首个基于隐式神经表示的无损点云几何压缩方法LINR-PCGC,通过组级编码框架、初始化策略和轻量级多尺度SparseConv网络加速编码并缩小解码器,在MVUB上比特流较G-PCC和SparsePCGC分别降低约21.21%和21.95%。
2025-07-21 cs.AI cs.CV
Device Interoperability for Learned Image Compression with Weights and Activations Quantization
Huawei Technologies(华为技术有限公司)
基于学习的图像压缩已改进到在译码性能方面可优于例如HEVC及VVC等传统图像编解码器的水平。除了良好的压缩性能之外,设备互操作性对于要部署的压缩编解码器是必不可少的,即,在不同CPU或GPU上的编码和解码应该是无错误的,并且性能降低可以忽略不计。在本文中,我们提出了一种方法来解决一个国家的最先进的图像压缩网络的设备互操作性问题。我们对输出熵参数的熵网络进行量化。我们提出了一种简单的方法,可以确保跨平台的编码和解码,并可以实现快速与微小的性能偏差,0.3%BD率,从浮点模型的结果。
2022-12-02 cs.CV eess.IV
Revisiting Direct Encoding: Learnable Temporal Dynamics for Static Image Spiking Neural Networks
School of Computer and Information Engineering, Henan University(河南大学计算机与信息工程学院);Henan Key Laboratory of Big Data Analysis and Processing, Henan University(河南大学大数据分析与处理重点实验室)
本文提出了一种可学习的时间编码方法,通过自适应相位移从静态图像中诱导时间动态,解决直接编码与速率编码之间的性能差距问题。
2025-12-01 cs.CV cs.NE
A Modified No Search Algorithm for Fractal Image Compression
University Of Mazandaran(马赞达兰大学)
分形图像压缩具有高压缩比、高质量、快速解码和分辨率无关等优点。因此,它可以用于许多应用,如纹理映射和模式识别和图像水印。但由于需要找到子块之间的最佳匹配,因此它的编码时间很长。这个时间与所使用的方法有关。本文提出了一种基于无搜索的快速编码算法。我们的目标是在四叉树算法的初始步骤中覆盖更多的块。实验结果表明,在其他参数不变的情况下,该方法在相同的编码条件下具有更好的码率性能。
2015-01-15 cs.CV cs.MM
Neural Video Compression Based on Deformable Temporal Alignment and Difference-aware Fusion
Google(谷歌);Nanjing University(南京大学)
针对神经视频压缩中时间上下文易受误差干扰的问题,提出结合可变形时间对齐与差异感知融合的方法,提升了率失真性能。
2026-09-04 cs.AI cs.CV
Entroformer: A Transformer-based Entropy Model for Learned Image Compression
Alibaba Group(阿里巴巴集团)
有损深度图像压缩中的一个关键组件是熵模型,其预测编码和解码模块中的量化潜在表示的概率分布。以前的工作在卷积神经网络上构建熵模型,这在捕获全局依赖性方面效率低下。在这项工作中,我们提出了一种新的基于变换的熵模型,称为Entroformer,有效地捕获长距离的依赖关系的概率分布估计。与图像分类中的Vision Transformers不同,Entroformer针对图像压缩进行了高度优化,包括top-k自注意和菱形相对位置编码。同时,我们进一步扩展了这种架构,并行双向上下文模型,以加快解码过程。实验表明,Entroformer在时间效率高的同时,实现了图像压缩的最先进的性能。
2022-03-14 cs.CV eess.IV
BINet: a binary inpainting network for deep patch-based image compression
Stellenbosch University(斯泰伦博斯大学)
最近的深度学习模型优于标准有损图像压缩编解码器。然而,在逐块的基础上应用这些模型需要独立地对每个图像块进行编码和解码。因此,来自相邻块的影响丢失,导致低比特率下的块伪影。我们提出了二进制修复网络(BINet),一个自动编码器框架,它采用二进制修复恢复相邻补丁之间的相互依赖关系,改进基于补丁的压缩静止图像。在解码补丁时,BINet还使用周围补丁的二进制编码来指导其重建。与其中基于先前重建对补丁进行解码的顺序修补方法相比,BINet直接对周围补丁的二进制码进行操作,而无需访问原始或重建的图像数据。因此,编码和解码可以并行执行。我们证明了BINet在一系列压缩级别上提高了具有竞争力的深度图像编解码器的压缩质量。
2021-01-13 cs.CV eess.IV
Compressed Video Super-Resolution based on Hierarchical Encoding
University of Bristol(布里斯托大学);University of Electronic Science and Technology of China(电子科学与技术大学)
本研究提出基于分层编码transformer的通用压缩视频超分辨率方法VSR-HE,可4倍放大高压缩比视频、消除H.265/HEVC压缩伪影,已提交至ICME 2025相关挑战赛的两个赛道。
2025-06-17 cs.CV eess.IV
Progressive Growing of Video Tokenizers for Temporally Compact Latent Spaces
Adobe Research(Adobe研究院);Northeastern University(东北大学)
提出渐进式增长的视频分词器训练方法,利用低压缩模型引导高压缩模块,在提升时间压缩比的同时改善重建质量,并减少视频扩散模型的令牌预算。
2025-08-02 cs.AI cs.CV eess.IV
Ultron: Enabling Temporal Geometry Compression of 3D Mesh Sequences using Temporal Correspondence and Mesh Deformation
针对任意拓扑三维网格序列,本文提出Ultron,通过帧间时间对应、网格变形、质量评估及熵与角表编码实现高效时间几何压缩,并达到最先进性能。
2024-09-08 cs.CV cs.GR
FPO++: Efficient Encoding and Rendering of Dynamic Neural Radiance Fields by Analyzing and Enhancing Fourier PlenOctrees
University of Bonn(波恩大学)
本文针对 Fourier PlenOctrees 结合静态 NeRF 训练时产生的压缩伪影,提出改进的密度编码与训练数据增强方法,显著减少了动态模型伪影并提升了渲染效果。
2024-08-27 cs.CV cs.GR
Exploring Long- and Short-Range Temporal Information for Learned Video Compression
Wuhan University(武汉大学)
针对现有学习型视频压缩方法多仅利用短程时序信息的局限,提出结合可在GOP内持续更新的长程时序先验与渐进引导运动补偿的方法,实现了优于当前最先进方法的率失真性能。
2024-01-02 cs.CV eess.IV
TENET: Transformer Encoding Network for Effective Temporal Flow on Motion Prediction
Megvii Inc.(旷视科技有限公司);The Hong Kong University of Science and Technology(香港科技大学);Beihang University(北京航空航天大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
本技术报告提出了一种有效的自动驾驶运动预测方法。我们开发了一种基于变换器的输入编码和轨迹预测方法。此外,我们提出了时间流头,以加强轨迹编码。最后,使用一种有效的K-means集成方法。使用我们的Transformer网络和集成方法,我们赢得了Argoverse 2运动预测挑战赛的第一名,最先进的brier-minFDE得分为1.90。
2022-06-30 cs.AI cs.CV
Low-complexity Deep Video Compression with A Distributed Coding Architecture
The Hong Kong University of Science and Technology(香港科技大学)
针对预测编码视频压缩编码器复杂度高的问题,提出首个端到端分布式深度视频压缩框架,利用解码端边信息生成模块有效挖掘帧间相关性,在保持可比压缩性能的同时实现6-7倍编码加速。
2023-04-02 cs.AI cs.CV cs.MM
Accelerating Learned Video Compression via Low-Resolution Representation Learning
本文提出一种基于低分辨率表示学习的效率优化视频压缩框架,通过降低帧间传播特征分辨率、联合训练I/P帧模型、利用多帧先验及优化OEU策略,在保持压缩率的同时大幅提升编解码速度。
2024-07-23 cs.CV eess.IV
Leveraging Compression to Construct Transferable Bitrate Ladders
Laboratory for Image and Video Engineering (LIVE), The University of Texas at Austin(图像与视频工程实验室(LIVE),德克萨斯大学奥斯汀分校);Colorado’s Laboratory for Image and Video Engineering (LIVE), University of Colorado Boulder(科罗拉多州图像与视频工程实验室(LIVE),科罗拉多大学波德分校);Meta Platforms Inc.(Meta平台公司)
本文提出了一种基于机器学习的比特率阶梯构建方法,通过分析压缩过程和源视频的感知相关测量,准确预测压缩视频的VMAF分数,并评估其在不同编码设置下的性能。
2025-12-15 cs.CV eess.IV
Spatial Decomposition and Temporal Fusion based Inter Prediction for Learned Video Compression
University of Science and Technology of China(中国科学技术大学)
针对学习型视频压缩中局部区域运动不一致与遮挡导致帧间预测不准的问题,提出基于空间分解与时间融合的帧间预测方法,性能优于H.266/VVC参考软件。
2024-01-29 cs.CV eess.IV
Cyclical Temporal Encoding and Hybrid Deep Ensembles for Multistep Energy Forecasting
Talan Research Center(塔兰研究中心)
本文提出了一种结合循环时间编码与混合深度集成的统一框架,用于提升多步能量预测的准确性。
2025-12-03 cs.CV cs.LG
Learned Video Compression via Joint Spatial-Temporal Correlation Exploration
Nanjing University(南京大学);Horizon Robotics(地平线机器人)
传统的视频压缩技术已经发展了几十年,以追求更高的编码效率。有效的时间信息表示在视频编码中起着关键作用。因此,在本文中,我们建议利用时间相关性使用一阶光流和二阶流预测。我们提出了一个一阶段的学习方法来封装流的量化功能,从连续的帧,然后熵编码的联合时空先验条件下的自适应上下文,以利用二阶相关性。使用ConvLSTM递归地将联合先验嵌入到自回归空间邻居、同位超元素和时间邻居中。我们评估我们的方法,低延迟的情况下,高效率视频编码(H.265/HEVC),H.264/AVC和另一个学习的视频压缩方法,以下常见的测试设置。我们的工作提供了最先进的性能,在所有流行的测试序列中具有一致的增益。
2019-12-13 cs.CV cs.MM eess.IV
Fast-Vid2Vid: Spatial-Temporal Compression for Video-to-Video Synthesis
Shanghai AI Laboratory(上海人工智能实验室);Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
视频到视频合成(Vid 2 Vid)已经取得了显着的效果,从一系列的语义地图生成照片般逼真的视频。然而,这种流水线具有高计算成本和长推理延迟,这在很大程度上取决于两个基本因素:1)网络结构参数,2)顺序数据流。最近,基于图像的生成模型的参数已经通过更高效的网络架构被显著压缩。然而,现有的方法主要集中在瘦身网络架构,忽略了顺序数据流的大小。此外,由于缺乏时间相干性,基于图像的压缩不足以用于视频任务的压缩。在本文中,我们提出了一个时空压缩框架,\textbf{Fast-Vid2Vid},它侧重于生成模型的数据方面。它首次尝试在时间维度上减少计算资源并加速推理。具体来说,我们在空间上压缩输入数据流,并减少时间冗余。在提出时空知识蒸馏后,我们的模型可以使用低分辨率的数据流合成关键帧。最后,Fast-Vid 2 Vid通过具有轻微延迟的运动补偿对中间帧进行插值。在标准基准测试中,Fast-Vid 2 Vid实现了约20 FPS的实时性能,并在单个V100 GPU上节省了约8倍的计算成本。
2022-07-11 cs.CV eess.IV
FCNR: Fast Compressive Neural Representation of Visualization Images
University of Notre Dame(圣母大学)
FCNR是一种快速压缩神经表示,通过融合立体上下文模块和联合上下文转移模块压缩图像对,在保持高重建质量和压缩比的同时显著提升了不同视点和时间步下数万张可视化图像的编解码速度。
2024-07-24 cs.CV eess.IV
NeuralLVC: Neural Lossless Video Compression via Masked Diffusion with Temporal Conditioning
Università di Pisa(比萨大学);Università degli Studi di Firenze(佛罗伦萨大学)
NeuralLVC通过结合掩码扩散与I/P帧架构,实现损失视频压缩,利用时间冗余性,实验表明其在Xiph CIF序列中优于H.264和H.265无损压缩。
2026-09-09 cs.CV eess.IV
Implicit Neural Representations for Image Compression
ETH Zurich(苏黎世联邦理工学院);Technical University of Munich(慕尼黑工业大学);Google(谷歌)
近年来,隐式神经表征(INRs)作为一种新颖有效的数据表征方法受到了广泛关注。到目前为止,以前的工作主要集中在优化其重建性能。这项工作从一个新的角度研究INR,即,作为图像压缩的工具。为此,我们提出了第一个全面的压缩管道的基础上,包括量化,量化意识的再训练和熵编码的INR。用INR编码,即过拟合到数据样本,通常慢几个数量级。为了缓解这一缺点,我们利用基于MAML的元学习初始化,以更少的梯度更新实现编码,这通常也会提高INR的率失真性能。我们发现,我们使用INR进行源压缩的方法大大优于类似的先前工作,与专门为图像设计的常见压缩算法相比具有竞争力,并缩小了与基于率失真自动编码器的最先进学习方法的差距。此外,我们提供了一个广泛的消融研究的重要性,我们的方法,我们希望有利于这种新的方法,图像压缩未来的研究。
2022-08-03 cs.CV cs.LG eess.IV
Video Compression with Arbitrary Rescaling Network
Bytedance Inc.(字节跳动公司)
本文提出码率引导的任意缩放网络 RARN,并结合迭代优化的 transformer 虚拟编解码器 TVC,在编码前自适应调整视频分辨率,实现兼容标准编码器的实时高效视频压缩。
2023-06-07 cs.CV cs.MM eess.IV
Temporal Context Mining for Learned Video Compression
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
我们解决了端到端的学习视频压缩,特别关注更好的学习和利用时间上下文。对于时间上下文挖掘,我们建议不仅存储先前重建的帧,而且将传播的特征存储到广义解码图片缓冲区中。从存储的传播功能,我们建议学习多尺度的时间上下文,并重新填充学习到我们的压缩方案的模块,包括上下文编码器-解码器,帧生成器,和时间上下文编码器的时间上下文。我们的方案放弃了并行化不友好的自回归熵模型,以追求更实际的解码时间。我们将我们的方案与x264和x265(分别代表H.264和H.265的工业软件)以及H.264,H.265和H.266的官方参考软件(分别为JM,HM和VTM)进行了比较。当帧内周期为32时,面向PSNR,我们的方案比H. 265-HM节省了14. 4%的比特率;当面向MS-SSIM时,我们的方案比H. 266-VTM节省了21. 1%的比特率。
2023-01-30 cs.CV cs.LG eess.IV
Diffusion-based Perceptual Neural Video Compression with Temporal Diffusion Information Reuse
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院)
本文提出DiffVC,一种基于扩散模型的感知神经视频压缩框架,通过时域扩散信息复用和量化参数提示机制,实现高效且鲁棒的变码率压缩,并在感知指标和视觉质量上表现优异。
2025-01-23 cs.CV cs.LG eess.IV
Ultra-low Latency Spiking Neural Networks with Spatio-Temporal Compression and Synaptic Convolutional Block
Xidian University(西安电子科技大学);Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院)
脉冲神经网络(Spiking neural networks,SNNs)作为一种脑启发模型,具有时空信息处理能力、低功耗和高生物相容性等特点。有效的时空特征使其适用于事件流分类。然而,神经形态数据集,如N-MNIST,CIFAR 10-DVS,DVS 128-gesture,需要将单个事件聚合到具有新的更高时间分辨率的帧中以用于事件流分类,这导致高训练和推理延迟。在这项工作中,我们提出了一种时空压缩的方法来聚合单个事件到几个时间步长的突触电流,以减少训练和推理延迟。为了在高压缩比下保持SNN的准确性,我们还提出了一种突触卷积块来平衡相邻时间步长之间的剧烈变化。并引入了具有可学习膜时间常数的多阈值漏积分触发(Leaky Integrate-and-Fire,LIF)算法,以提高其信息处理能力。我们评估所提出的方法的神经形态N-MNIST,CIFAR 10-DVS,DVS 128手势数据集的事件流分类任务。实验结果表明,我们提出的方法优于国家的最先进的精度几乎所有的数据集,使用更少的时间步长。
2022-03-18 cs.CV cs.LG cs.NE
Learned Compression for Images and Point Clouds
Simon Fraser University(西蒙菲莎大学);Faculty of Applied Sciences(应用科学学院);School of Engineering Science(工程科学学院)
该研究将深度学习应用于数据压缩以构建下一代多媒体编解码器,提出动态适配的低复杂度熵模型、面向分类的轻量点云编解码器,并探究视频帧运动在卷积潜在空间的表征,为学习式压缩领域提供三项核心贡献。
2024-09-12 cs.CV cs.LG eess.IV
Enhancing Learned Image Compression via Cross Window-based Attention
Portland State University(波特兰州立大学)
针对学习型图像压缩模型捕捉局部冗余性能差的问题,提出集成特征编码模块和跨尺度窗口注意力的CNN解决方案,在Kodak和CLIC数据集上验证其有效性,性能与最先进方法相当。
2025-02-12 cs.CV cs.MM eess.IV
A Deep 2-Dimensional Dynamical Spiking Neuronal Network for Temporal Encoding trained with STDP
University of Maryland(马里兰大学)
众所周知,大脑是一个高度复杂的异步动力学系统,高度定制以编码时间信息。然而,最近的深度学习方法没有利用这种时间编码。脉冲神经网络(SNN)可以使用生物学上真实的学习机制来训练,并且可以具有生物学上相关的神经元激活规则。这种类型的网络也基本上是围绕通过时间衰减的电压更新来接受时间信息而构建的,这是当前速率编码网络难以处理的一种输入。在这里,我们表明,一个大的,深层的SNN与动态的,混沌的活动模仿哺乳动物皮层与生物启发的学习规则,如STDP,是能够编码信息的时间数据。我们认为,网络权重中固有的随机性允许神经元形成对STDP自组织后输入的时间数据进行编码的组。我们的目标是表明,输入刺激的精确定时是在分层网络中形成同步神经组的关键。我们用网络熵作为信息传递的度量来分析网络。我们希望同时解决两个问题:为人工智能创建人工时间神经系统,以及解决大脑中的编码机制。
2020-09-01 cs.AI cs.CV cs.NE
Enhancing octree-based context models for point cloud geometry compression with attention-based child node number prediction
针对点云几何压缩中八叉树上下文模型交叉熵损失无法准确衡量分布差异的问题,提出基于注意力的子节点数预测模块,通过预测占用子节点数并映射为8维向量辅助概率预测,提升了编码效率。
2024-07-11 cs.CV cs.MM eess.IV
PEPS: Positional Encoding Projected Sampling -- Extended
本文提出PEPS方法,通过将位置编码分解为有意义的点,用于改进隐式神经表示,提升图像表示、纹理压缩和签名距离函数等任务的性能,且参数更少。
2026-04-27 cs.CV cs.GR cs.LG