Impact of Video Compression on the Performance of Object Detection Systems for Surveillance Applications
Kinesense Ltd.(Kinesense有限公司);Trinity College Dublin(都柏林圣三一学院)
本研究探讨了H.264视频压缩和目标检测网络(YOLOv 5)的性能之间的关系。我们策划了一组50个监控视频,并对感兴趣的目标(人、自行车和车辆)进行了注释。使用集合{22,32,37,42,47}中的恒定速率因子(CRF)值以5个质量水平对视频进行编码。将YOLOv 5应用于压缩视频,并在每个CRF级别上分析检测性能。测试结果表明,检测性能通常对中等压缩水平具有鲁棒性;使用37而不是22的CRF值可以显著降低比特率/文件大小,而不会对检测性能产生不利影响。然而,检测性能下降明显在较高的压缩水平,特别是在复杂的场景,光线不足和快速移动的目标。最后,在压缩图像上重新训练YOLOv 5,当应用于高度压缩的镜头时,F1分数提高了1%。
2022-11-10 cs.CV
Can We Remove the Ground? Obstacle-aware Point Cloud Compression for Remote Object Detection
Case Western Reserve University(凯斯西储大学);University of California Riverside(加利福尼亚大学河滨分校);University of Turin(都灵大学)
本文提出轻量级障碍物感知的柱体地面移除算法PGR,通过滤除对目标识别无上下文贡献的地面点,在不牺牲3D检测性能的前提下显著提升点云压缩率。
2024-10-01 cs.CV cs.RO
Latent Replay Detection: Memory-Efficient Continual Object Detection on Microcontrollers via Task-Adaptive Compression
Independent Researcher(独立研究者)
LRD通过任务自适应压缩和空间多样的示例选择,在MCU内存限制下实现高效的持续目标检测。
2026-02-24 cs.CV
YOLObile: Real-Time Object Detection on Mobile Devices via Compression-Compilation Co-Design
Northeastern University(东北大学);William & Mary(威廉玛丽学院);University of Pittsburgh(匹兹堡大学)
随着目标检测技术的迅速发展和广泛应用,目标检测器的精度和速度受到了人们的关注。然而,当前最先进的目标检测工作或者是使用大模型但导致高延迟的面向精度的,或者是使用轻量级模型但牺牲精度的面向速度的。在这项工作中,我们提出了YOLObile框架,通过压缩编译协同设计的移动设备上的实时的【形】目标检测。提出了一种新的块穿孔剪枝方案,适用于任何核大小。为了提高移动设备上的计算效率,采用了GPU-CPU协作方案以及高级编译器辅助优化。实验结果表明,我们的修剪方案实现了14 $\times$的压缩率YOLOv 4与49.0 mAP。在我们的YOLObile框架下,我们在三星Galaxy S20上使用GPU实现了17 FPS的推理速度。通过结合我们提出的GPU-CPU协作方案,推理速度提高到19.1 FPS,并优于原来的YOLOv 4的5 $\times$加速比。源代码位于:\url{https://github.com/nightsnack/YOLObile}。
2020-12-30 cs.AI cs.CV cs.LG
C$^{4}$Net: Contextual Compression and Complementary Combination Network for Salient Object Detection
Picsart AI Research (PAIR)(Picsart人工智能研究院)
近年来,显著目标检测问题的深度学习解决方案取得了很大的成果。这些模型中的大多数基于编码器和解码器,具有不同的多功能组合。在本文中,我们表明,功能串联比其他组合方法,如乘法或加法更好。此外,联合特征学习给出了更好的结果,因为在它们的处理过程中的信息共享。我们设计了一个补充提取模块(CEM)提取必要的功能与边缘保护。我们提出的过度损失(EL)函数有助于减少假阳性预测和净化边缘与其他加权损失函数。我们设计的金字塔语义模块(PSM)与全球指导流(G),使预测更准确地提供高层次的补充信息,以较浅的层。实验结果表明,该模型优于国家的最先进的方法在所有基准数据集下的三个评价指标。
2021-10-22 cs.CV
Small Object Detection Based on Modified FSSD and Model Compression
Nanchang University(南昌大学)
小目标分辨率相对较低,视觉特征不明显,难以提取,因此现有的目标检测方法不能有效检测小目标,检测速度和稳定性较差。为此,本文提出了一种基于FSSD的小目标检测算法,同时为了减少计算量和存储空间,进行剪枝以实现模型压缩。首先利用不同层特征所包含的语义信息检测不同尺度的目标,并改进特征融合方法,获得更多有利于小目标的信息;其次引入批量归一化层,加速神经网络的训练,使模型稀疏化;最后通过尺度因子对模型进行剪枝,得到相应的压缩模型。实验结果表明,该算法在PASCAL VOC上的平均准确率(mAP)可达80.4%,在GTX 1080 ti上的平均速度为59.5 FPS。经过剪枝后,压缩后的模型的mAP可达79.9%,检测速度可达79.5FPS。在MS COCO上,最佳检测准确率(AP)为12.1%,当IoU为0.5时,总体检测准确率为49.8% AP。该算法不仅可以提高小目标的检测精度,而且大大提高了检测速度,达到了速度和精度的平衡。
2021-08-24 cs.CV cs.MM
Evaluation Metrics for DNNs Compression
University of Bristol(布里斯托大学);Thales(泰雷兹);University of Antwerp(安特卫普大学)
针对DNN压缩缺乏统一评估标准的问题,本文构建NetZIP框架并提出CHATS与OCS两项指标,在PC和Raspberry Pi 4上以分类、检测任务验证其评估能力。
2023-10-03 cs.CV cs.LG
TinyLIC-High efficiency lossy image compression method
本文提出TinyLIC方法,利用深度学习技术提升图像压缩的编码效率,实验表明其性能显著优于JPEG等传统编解码方案。
2024-02-17 eess.IV
COMPASS: High-Efficiency Deep Image Compression with Arbitrary-scale Spatial Scalability
KAIST(韩国科学技术院);ETRI(电子与信息技术研究所)
COMPASS是一种基于深度学习的高效率图像压缩方法,支持任意尺度的空间可扩展性,通过LIFF方法和联合RD损失函数实现高效编码。
2026-01-05 cs.CV eess.IV
HybridGS: High-Efficiency Gaussian Splatting Data Compression using Dual-Channel Sparse Representation and Point Cloud Encoder
Qualcomm(高通公司)
HybridGS提出结合紧凑生成与标准化点云编码的3DGS压缩框架,通过双通道稀疏表示和码率控制,在保持重建质量的同时显著提升编解码速度。
2025-05-03 cs.CV eess.IV
Variable-Rate Learned Image Compression with Multi-Objective Optimization and Quantization-Reconstruction Offsets
InterDigital(英特尔数字公司)
本文面向单模型可变比特率学习型图像压缩,通过多目标优化、量化-重建偏移及超潜变量可变速率量化三项后训练改进,在三个模型上达到接近多模型训练的性能。
2024-02-29 cs.CV eess.IV
Efficient Dynamic-NeRF Based Volumetric Video Coding with Rate Distortion Optimization
Institute of Image Communication and Network Engineering(图像通信与网络工程研究所);Shanghai Jiao Tong University(上海交通大学);College of Electronics and Information Engineering(电子信息工程学院);Sichuan University(四川大学)
本文提出一种基于动态NeRF的体积视频压缩方法,通过分解表示并联合优化建模与压缩,相比ReRF实现了更高压缩效率。
2024-11-08 cs.CV eess.IV
MambaIC: State Space Models for High-Performance Learned Image Compression
Institute for AI Industry Research (AIR), Tsinghua University(人工智能产业研究院(AIR),清华大学);School of Computer Science, Peking University(北京大学计算机学院);University of Science and Technology Beijing(北京科技大学);UCAS-Terminus AI Lab, University of Chinese Academy of Sciences(中国科学院大学Terminus AI实验室,中国科学院大学)
MambaIC利用状态空间模型改进学习型图像压缩,通过精细化上下文建模和窗口局部注意力降低计算开销与空间冗余,在高分辨率图像压缩上实现了更好的效率-性能权衡。
2025-08-22 cs.CV eess.IV
Releasing the Parameter Latency of Neural Representation for High-Efficiency Video Compression
University of Chinese Academy of Sciences(中国科学院大学);Bytedance Inc.(字节跳动公司)
本文针对隐式神经表示视频压缩中参数存储潜力未被充分利用的问题,提出通过加深网络实现参数重用的方案,显著提升率失真性能。
2024-10-03 cs.CV cs.MM eess.IV
Stereo Image Coding for Machines with Joint Visual Feature Compression
School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院);Santa Clara University(圣克拉拉大学);School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院)
本文提出面向机器的立体图像编码框架MVSFC-Net,通过SMFC模块联合消除空间、视图间与跨尺度冗余,实现更优压缩效率和三维视觉任务性能。
2025-02-20 cs.CV eess.IV
An End-to-End Joint Learning Scheme of Image Compression and Quality Enhancement with Improved Entropy Minimization
Electronics and Telecommunications Research Institute(电子与电信研究院);Korea Advanced Institute of Science and Technology(韩国科学技术院);Kyungnam University(庆南大学)
近来,已经积极地研究了学习图像压缩方法。其中,基于熵最小化的方法已经取得了优于传统的图像编解码器,如BPG和JPEG 2000的结果。然而,在图像压缩过程中,图像质量的提高和码率的最小化是相互矛盾的。也就是说,保持高图像质量需要较少的压缩,反之亦然。然而,通过结合图像压缩联合训练单独的质量增强,可以提高编码效率。在本文中,我们提出了一种新的联合学习方案的图像压缩和质量增强,称为JointIQ-Net,以及熵模型的改进,从而实现显着提高编码效率对以前的方法。我们提出的JointIQ-Net将一个图像压缩子网络和一个质量增强子网络级联在一起,这两个子网络都是在JointIQ-Net中以组合方式进行端到端训练的。此外,JointIQ-Net受益于改进的熵最小化,新采用了高斯混合模型(GMM),并进一步利用全局上下文来估计潜在表示的概率。为了表明我们提出的JointIQ-Net的有效性,进行了大量的实验,并表明,JointIQ-Net实现了显着的性能改善的编码效率方面的PSNR和MS-SSIM,相比以前学习的图像压缩方法和传统的编解码器,如VVC帧内(VTM 7.1),BPG,和JPEG 2000。据我们所知,这是第一个端到端优化的图像压缩方法,在PSNR和MS-SSIM方面优于VVC标准的最新参考软件VTM 7.1(Intra)。
2020-03-13 cs.CV eess.IV
SADN: Learned Light Field Image Compression with Spatial-Angular Decorrelation
Tsinghua University(清华大学)
光场图像成为沉浸式视频应用中最有前途的媒体类型之一。本文提出了一种新的端到端空间-角度去相关网络(SADN),用于高效的光场图像压缩。与现有的利用光场图像的空间一致性或角度一致性的方法不同,SADN通过空间-角度交互中的伸缩卷积和步幅卷积来叠加角度和空间信息,并进行特征融合来联合压缩空间和角度信息。为了训练一个稳定、鲁棒的算法,提出并建立了一个由7549幅光场图像组成的大规模数据集。所提出的方法相对于H.266/VVC和H.265/HEVC帧间编码分别提供了2.137倍和2.849倍的压缩效率。它还优于端到端图像压缩网络,平均节省79.6%的比特率,具有更高的主观质量和光场一致性。
2022-02-22 cs.CV eess.IV
Region of Interest based Medical Image Compression
New York University(纽约大学);Nagoya University(名古屋大学)
本文提出基于 ROI 的医学图像压缩方法,利用 UNET 在 Brats 2020 上分割肿瘤区域并以 HEVC 差异化压缩,从而兼顾诊断质量、存储与传输效率。
2025-01-06 cs.CV eess.IV
High-Efficiency Neural Video Compression via Hierarchical Predictive Learning
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电气与计算机工程学院);School of Information Science and Technology, Hangzhou Normal University(杭州师范大学信息科学与技术学院)
本文提出DHVC 2.0神经视频编解码器,通过分层预测编码消除运动估计与补偿,实现广泛码率下的高效压缩、实时处理及渐进式解码。
2024-10-03 cs.CV eess.IV
Nickel and Diming Your GAN: A Dual-Method Approach to Enhancing GAN Efficiency via Knowledge Distillation
Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院);Laboratory of Advanced Imaging Technology (LAIT)(先进成像技术实验室)
本文提出DiME和NICKEL两种知识蒸馏方法,通过分布匹配与生成器-判别器交互式压缩,在StyleGAN2上以极高压缩率保持生成质量,显著超越现有最优性能。
2024-09-04 cs.CV eess.IV
Learning Joint Denoising, Demosaicing, and Compression from the Raw Natural Image Noise Dataset
University of Louvain(洛林-拉-努耶大学)
本文提出RawNIND数据集及两种原始域去噪方法,并集成去噪与压缩,在率失真和效率上优于传统方法,推动原始数据工作流范式。
2025-06-20 cs.CV eess.IV
GABIC: Graph-based Attention Block for Image Compression
University of Turin(都灵大学)
本文提出 GABIC 模块,利用 k-最近邻增强注意力机制减少图像压缩中的特征冗余,实验表明其在高比特率下优于同类方法并提升压缩性能。
2024-10-03 cs.CV cs.LG eess.IV
ELiC: Efficient LiDAR Geometry Compression via Cross-Bit-depth Feature Propagation and Bag-of-Encoders
Electronics and Telecommunications Research Institute(电子电信研究院)
ELiC通过跨位深度特征传播和编码器袋方案,提升激光雷达几何压缩效率,实现实时高吞吐量压缩,达到SOTA性能。
2026-04-30 cs.CV eess.IV
Enhanced Standard Compatible Image Compression Framework based on Auxiliary Codec Networks
Yonsei University(延世大学)
为了提高图像压缩性能,最近基于深度神经网络的研究可以分为三类:可学习的编解码器,后处理网络和紧凑表示网络。可学习的编解码器被设计用于超越传统压缩模块的端到端学习。后处理网络使用基于示例的学习来提高解码图像的质量。学习紧凑表示网络以减少输入图像的容量,从而在保持解码图像的质量的同时降低比特率。然而,这些方法与现有的编解码器不兼容,或者对于提高编码效率不是最佳的。具体来说,由于对编解码器的考虑不准确,在以前的研究中使用紧凑表示网络很难实现最佳学习。本文提出了一种基于辅助编解码器网络的标准兼容图像压缩框架。ACN被设计为模仿现有编解码器的图像降级操作,其向紧凑表示网络提供更准确的梯度。因此,紧凑表示和后处理网络可以有效地和最佳地学习。我们证明,我们提出的框架JPEG和高效率视频编码(HEVC)标准的基础上大大优于现有的图像压缩算法在标准兼容的方式。
2021-12-15 cs.CV eess.IV
Does Video Compression Impact Tracking Accuracy?
Simon Fraser University(西蒙弗雷泽大学)
每个人都“知道”压缩视频会降低对象跟踪的准确性。然而,关于这一主题的文献检索显示,几乎没有记录在案的证据证明这一假定的事实。部分原因是,直到最近,还没有针对未压缩视频的对象跟踪数据集,这使得研究压缩对跟踪精度的影响变得困难。在本文中,使用最近发表的数据集,包含跟踪未压缩视频注释,我们研究了跟踪精度的退化,由于视频压缩使用严格的统计方法。具体来说,我们研究了量化参数(QP)和运动搜索范围(MSR)对多目标跟踪精度(MOTA)的影响。结果表明,QP在95%的置信水平上影响MOTA,而没有足够的证据表明MSR影响MOTA。此外,回归分析使我们能够推导出MOTA和QP之间的定量关系,用于实验中使用的特定跟踪器。
2022-02-02 cs.CV eess.IV
A Compression Objective and a Cycle Loss for Neural Image Compression
Nokia Technologies(诺基亚科技)
在本文中,我们提出了神经图像压缩的两个客观术语:压缩目标和周期损失。这些项应用于自动编码器的编码器输出,并与重建损失结合使用。压缩目标鼓励激活中的稀疏性和低熵。循环损失项表示从原始图像和从重构图像计算的编码器输出之间的失真(码域失真)。我们通过使用压缩目标结合不同的损耗来训练不同的自编码器:a)MSE,b)MSE和MSSSIM,c)MSE、MS-SSIM和循环损耗。我们观察到,由这些不同训练的自动编码器编码的图像落入感知失真曲线的不同点(同时具有相似的比特率)。特别地,仅MSE训练有利于低图像域失真,而周期丢失训练有利于高感知质量。
2019-05-24 cs.LG eess.IV stat.ML
ARCHE: Autoregressive Residual Compression with Hyperprior and Excitation
ARCHE是一种端到端学习的图像压缩框架,通过结合超先验和激励机制,实现了高率失真效率,减少BD-Rate并提升压缩性能。
2026-03-10 cs.CV cs.LG eess.IV
Learned Video Compression via Joint Spatial-Temporal Correlation Exploration
Nanjing University(南京大学);Horizon Robotics(地平线机器人)
传统的视频压缩技术已经发展了几十年,以追求更高的编码效率。有效的时间信息表示在视频编码中起着关键作用。因此,在本文中,我们建议利用时间相关性使用一阶光流和二阶流预测。我们提出了一个一阶段的学习方法来封装流的量化功能,从连续的帧,然后熵编码的联合时空先验条件下的自适应上下文,以利用二阶相关性。使用ConvLSTM递归地将联合先验嵌入到自回归空间邻居、同位超元素和时间邻居中。我们评估我们的方法,低延迟的情况下,高效率视频编码(H.265/HEVC),H.264/AVC和另一个学习的视频压缩方法,以下常见的测试设置。我们的工作提供了最先进的性能,在所有流行的测试序列中具有一致的增益。
2019-12-13 cs.CV cs.MM eess.IV
Improved Wavelets for Image Compression from Unitary Circuits
我们基准的几个新的正交,对称,膨胀3小波,来自一个单一的电路为基础的建设,对图像压缩的功效。这些小波的性能进行了比较,在几个照片数据库对CDF-9/7小波的非零小波系数的最小数目,需要获得指定的图像质量,测量的多尺度结构相似性指数(MS-SSIM)。新的小波被发现始终提供更好的压缩效率比CDF-9/7小波在广泛的图像分辨率和质量要求,平均7 - 8%的高分辨率照片图像时,需要高质量(MS-SSIM = 0.99)的压缩效率提高。
2022-03-04 eess.IV quant-ph
Efficient Image Compression Using Advanced State Space Models
本文提出基于状态空间模型的图像压缩架构 SSMIC,在保持优越 BD-rate 的同时显著降低计算复杂度和延迟,兼顾性能与效率,适用于实际应用。
2024-09-05 eess.IV
Channel-wise Feature Decorrelation for Enhanced Learned Image Compression
Tampere University(坦佩雷大学)
本文提出通道级特征去相关损失以充分挖掘现有DNN容量,通过三种优化策略在不增加计算复杂度的情况下提升学习图像压缩性能,BD-Rate最高改善8.06%。
2024-03-16 cs.CV cs.MM eess.IV
Accelerating Fractal Image Compression Using Search Pruning and Fractal Dimension Gating
University of Cincinnati(辛辛那提大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出盒计数法优化分形图像压缩,提升压缩比和效率。
2026-10-26 eess.IV
Neural Video Compression using Spatio-Temporal Priors
对更高压缩效率的追求不断推动着视频编码技术的进步。从根本上说,我们希望找到更好的“预测”或“先验”,这些“预测”或“先验”先前被重构以有效地去除信号依赖性并准确地对用于熵编码的信号分布进行建模。在这项工作中,我们提出了一个神经视频压缩框架,利用空间和时间的先验,独立和联合利用帧内纹理,基于光流的时间运动和残差的相关性。空间先验是使用缩小的低分辨率特征生成的,而时间先验(来自先前的参考帧和残差)是使用基于卷积神经网络的长短期记忆(ConvLSTM)结构以时间递归方式捕获的。所有这些部分都被连接起来,并共同训练,以达到最佳的率失真性能。与高效视频编码(HEVC)主规范(MP)相比,使用标准公共测试序列,我们的方法已经展示了平均38%的Bjontegaard-Delta速率(BD-Rate)改进,其中失真是多尺度结构相似性(MS-SSIM)。
2019-02-21 eess.IV
Perceptual Quality Study on Deep Learning based Image Compression
最近,基于深度学习的图像压缩取得了快速进展,并基于客观质量度量取得了令人鼓舞的结果。然而,这样的压缩方案的严格的主观质量评价很少有报道。本文旨在学习压缩的感知质量研究。首先,我们建立了一个通用的学习压缩方法,并优化模型。本研究共考虑了六种压缩算法。然后,我们使用高分辨率图像在受控环境中进行主观质量测试。结果表明,通过MS-SSIM优化的学习压缩产生了接近最先进压缩效率的有竞争力的结果。所获得的结果可以提供一个有用的基准,在学习图像压缩的未来发展。
2019-05-10 eess.IV
High Efficiency Image Compression for Large Visual-Language Models
City University of Hong Kong(香港城市大学);Alibaba Group(阿里巴巴集团);Alibaba Group U.S.(阿里巴巴集团美国公司)
本文提出一种面向大型视觉语言模型的可变比特率图像压缩框架,包含预编辑模块与端到端编解码器,并采用基于语义token的联合训练策略,显著提升了率-准确率性能与泛化能力。
2024-07-24 cs.AI cs.CL cs.CV
Weyl-Heisenberg Transform Capabilities in JPEG Compression Standard
本文针对JPEG压缩标准的效率瓶颈,提出用二维离散正交Weyl-Heisenberg变换(DWHT)替代原有的离散余弦变换(DCT),改进后的JPEG算法经实验验证压缩效率优于原标准。
2025-11-14 cs.MM eess.IV eess.SP
Gated Context Model with Embedded Priors for Deep Image Compression
针对传统的JPEG、JPEG 2000、BPG等基于学习的图像压缩方法,提出了一种深度图像压缩方案,该方案具有最先进的压缩效率。这是通过一种新的嵌入先验的条件概率模型,它可以准确地近似率失真优化的熵率。它利用三个可分离的堆栈来消除接收野中的盲点,以获得更好的概率预测和计算减少。这些嵌入的先验可以进一步用于帮助图像重建时,融合潜在的功能,通过建议的信息补偿网络(ICN)后。在编码器和解码器中使用基于广义分裂归一化(GDN)的残差学习,具有快速收敛速度和高效性能。我们已经评估了我们的模型和其他方法使用率失真标准,其中失真是由多尺度结构相似性(MS-SSIM)。我们还讨论了各种失真度量对重建图像质量的影响。此外,还通过一个专门的主观评价给出了一个现场的研究,比较我们提出的方法和其他传统的图像压缩方法的效率。
2019-02-27 eess.IV
Adversarial Distortion for Learned Video Compression
Qualcomm AI Research, Qualcomm Technologies, Inc.(高通人工智能研究院,高通技术公司);Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.(高通人工智能研究院,高通技术荷兰有限公司);University of California San Diego(加州大学圣迭戈分校)
在本文中,我们提出了一种新的对抗有损视频压缩模型。在极低的比特率,标准的视频编码方案遭受不愉快的重建文物,如阻塞,振铃等现有的学习神经的方法来视频压缩已经取得了合理的成功,降低比特率的有效传输,并在一定程度上减少文物的影响。然而,它们在极端压缩下仍然倾向于产生模糊的结果。在本文中,我们提出了一种深度对抗学习的视频压缩模型,该模型可以最大限度地减少辅助对抗失真目标。我们发现,相对于传统的质量指标(如MS-SSIM和PSNR),这种对抗性目标与人类感知质量判断的相关性更好。我们的实验使用一个国家的最先进的学习视频压缩系统表现出减少感知文物和重建的细节丢失,特别是在极高的压缩。
2021-06-18 cs.CV cs.LG eess.IV
A Computationally Efficient Neural Video Compression Accelerator Based on a Sparse CNN-Transformer Hybrid Network
针对神经视频压缩模型计算成本高、难实时部署的问题,提出基于稀疏CNN-Transformer混合网络的算法硬件协同设计框架NVCA,可重构计算核心搭配异质层链式数据流,在28nm工艺下实现解码速度与能效的显著提升。
2023-12-19 cs.AR eess.IV
Feature Compression for Cloud-Edge Multimodal 3D Object Detection
针对云边协同多模态3D目标检测的特征传输瓶颈,提出T-FFC与A-FFC两种压缩模式,在KITTI上分别实现6061倍和901倍压缩并保持检测精度。
2024-09-06 eess.IV
Quantum Implicit Neural Compression
Osaka University(大阪大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本文提出量子隐式神经表示(quINR),利用量子神经网络的高表达力提升INR压缩效率,在图像压缩中相比传统编解码器和经典INR方法率失真性能最高提升1.2dB。
2024-12-19 cs.CV cs.LG eess.IV
Performance Comparison of Convolutional AutoEncoders, Generative Adversarial Networks and Super-Resolution for Image Compression
图像压缩已经研究了几十年。近年来,深度学习方法在许多计算机视觉任务中取得了巨大的成功,并逐渐应用于图像压缩中。在本文中,我们开发了三种基于卷积自编码器(CAE)、生成对抗网络(GANs)和超分辨率(SR)的整体压缩架构,并进行了全面的性能比较。实验结果表明,CAE算法提取的压缩特征比JPEG算法有更好的编码效率。GANs在大压缩比和高主观质量重建方面显示出潜在的优势。其中,超分辨率实现了与BPG相当的最佳率失真(RD)性能。
2018-07-01 eess.IV
ResiComp: Loss-Resilient Image Compression via Dual-Functional Masked Visual Token Modeling
ResiComp提出一种结合掩码视觉令牌建模的双功能Transformer框架,在潜在空间统一熵建模与丢包隐藏,显著提升神经图像编解码器抗丢包能力并实现效率与恢复力的灵活权衡。
2025-02-28 cs.IT eess.IV math.IT
Selective compression learning of latent representations for variable-rate image compression
Korea Advanced Institute of Science and Technology(韩国科学技术院);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
最近,许多基于神经网络的图像压缩方法已经显示出优于现有的基于工具的传统编解码器的有前途的结果。然而,它们中的大多数通常被训练为针对不同目标比特率的单独模型,从而增加了模型复杂度。因此,已经针对支持具有单个模型的可变速率的学习压缩进行了几项研究,但是它们需要额外的网络模块、层或输入,这通常导致复杂度开销,或者不提供足够的编码效率。在本文中,我们首先提出了一种选择性压缩方法,该方法以完全广义的方式对潜在表示进行部分编码,用于基于深度学习的可变速率图像压缩。所提出的方法自适应地确定必要的表示元素的压缩不同的目标质量水平。为此,我们首先生成一个3D重要性图作为输入内容的性质,以表示表示元素的潜在重要性。然后使用重要性调整曲线针对不同的目标质量水平调整3D重要性图。调整后的3D重要性图最终被转换为3D二进制掩码,以确定用于压缩的基本表示元素。所提出的方法可以很容易地与现有的压缩模型集成,而开销的增加可以忽略不计。我们的方法还可以通过简单的插值的重要性调整曲线之间的不同质量水平,使连续可变速率压缩。大量的实验结果表明,该方法可以实现与单独训练的参考压缩模型相当的压缩效率,并可以减少解码时间,由于选择性压缩。示例代码可在https://github.com/JooyoungLeeETRI/SCR上公开获取。
2022-11-08 cs.AI cs.LG eess.IV
Learned Image Compression with Soft Bit-based Rate-Distortion Optimization
本文引入软比特的概念来解决基于学习的图像压缩的率失真优化问题。用于这种压缩的最新方法训练端到端的自动编码器,其目的是在失真和速率之间取得平衡。他们面临着零梯度的问题,由于量化和准确估计速率的困难。受软量化的启发,我们用可微软比特表示特征映射的量化索引。这使我们能够紧密耦合的上下文自适应二进制算术编码的速率估计。它还提供了一个可微失真目标函数。实验结果表明,我们的方法达到了最先进的压缩性能之间的学习为基础的计划在MS-SSIM和PSNR。
2019-05-01 cs.MM eess.IV