Deep Selector-JPEG: Adaptive JPEG Image Compression for Computer Vision in Image classification with Human Vision Criteria
University of Waterloo(滑铁卢大学)
由于存储/带宽资源有限,使用深度神经网络(DNN)的计算机视觉(CV)应用的输入图像通常使用针对人类视觉(HV)定制的JPEG进行编码。本文介绍了Deep Selector-JPEG,一种自适应JPEG压缩方法,其目标是图像分类,同时满足HV标准。对于每个图像,深度选择器-JPEG自适应地选择质量因子(QF)来压缩图像,使得可以在各种DNN分类器的一组图像上实现压缩比(CR)和DNN分类器准确度(速率-准确度性能)之间的良好折衷,同时这种压缩图像的MS-SSIM以高概率大于由HV预定的阈值。深度选择器-JPEG是通过轻量级或重量级选择器架构设计的。实验结果表明,与相同CR下的JPEG相比,Deep Selector-JPEG在所有测试的DNN分类器的ImageNet验证集上实现了更好的速率精度性能,在相同CR下的分类精度提高了0.2%到1%,同时满足HV约束。Deep Selector-JPEG也可以在更高的CR下粗略地提供原始分类精度。
2023-02-19 cs.CV cs.LG cs.MM
End-to-End JPEG Decoding and Artifacts Suppression Using Heterogeneous Residual Convolutional Neural Network
Amazon.com, Inc.(亚马逊公司)
现有的深度学习模型将JPEG伪影抑制与解码协议分离为独立的任务。在这项工作中,我们向前迈出了一步,设计了一个真正的端到端异构残差卷积神经网络(HR-CNN),具有频谱分解和异构重建机制。该模型充分利用了CNN结构和GPU加速技术,极大地提高了重建效率。数值实验表明,在解码和伪影抑制同时完成的情况下,整体重建速度达到了标准CPU JPEG解码协议的量级。我们制定的JPEG伪影抑制任务作为一个交互式的解码和图像细节重建的过程。提出了一种异构的、完全卷积的机制,以特别解决不同频谱通道的不相关性质。该网络直接从k空间的JPEG编码开始,首先逐通道提取光谱样本,并以扩展的吞吐量恢复光谱快照。这些中间快照然后被不均匀地解码并合并到像素空间图像中。设计了一个级联的残差学习段来进一步增强图像细节。实验证明,该模型在JPEG伪影抑制方面具有出色的性能,而其完整的卷积运算和优雅的网络结构与该主题的其他深度学习模型相比,为实际在线使用提供了更高的计算效率。
2020-07-01 cs.CV cs.LG eess.IV
Learned Lossless Compression for JPEG via Frequency-Domain Prediction
Shanghai Jiao Tong University(上海交通大学)
JPEG图像可以进一步压缩,以增强大规模图像数据集的存储和传输。由于DCT系数和原始像素的分布不同,现有的RGB图像无损压缩器不能很好地转换到JPEG图像。在本文中,我们提出了一个新的框架,学习无损压缩JPEG图像,实现端到端的优化预测解码DCT系数的分布。为了能够在频域中学习,DCT系数被划分为组以利用隐式局部冗余。设计了一种基于权值共享块的类自编码器结构,实现了DCT系数分组的熵建模和先验信息的独立压缩。我们尝试在频域实现JPEG图像的学习无损压缩。实验结果表明,该框架实现了优越的或相当的性能相比,最新的无损压缩机与手工制作的上下文建模的JPEG图像。
2023-03-05 cs.CV cs.LG eess.IV
Training CNNs in Presence of JPEG Compression: Multimedia Forensics vs Computer Vision
Politecnico di Milano(米兰理工大学)
卷积神经网络(CNN)已经证明在过去需要视觉检查的多个计算机视觉图像分类任务中非常准确(例如,对象识别、面部检测等)。受这些惊人结果的激励,研究人员也开始使用CNN来处理图像取证问题(例如,照相机模型识别、篡改检测等)。然而,在计算机视觉中,图像分类方法通常依赖于人眼容易检测到的视觉线索。相反,法医解决方案依赖于几乎不可见的痕迹,这些痕迹通常非常微妙,存在于分析图像的细节中。出于这个原因,训练CNN来解决取证任务需要一些特殊的注意,因为常见的处理操作(例如,压缩等)会严重阻碍法医的痕迹在这项工作中,我们专注于JPEG对CNN训练的影响,考虑到不同的计算机视觉和法医图像分类问题。具体来说,我们考虑的问题,从JPEG压缩和未对齐的JPEG网格。我们表明,有必要考虑这些影响时,生成一个训练数据集,以正确的训练法医检测器不失去泛化能力,而它几乎可以忽略这些影响的计算机视觉任务。
2020-09-25 cs.CV cs.LG cs.MM
Compression of phase-only holograms with JPEG standard and deep learning
Shenzhen University(深圳大学);Nanjing Normal University(南京师范大学);Tsinghua Berkeley Shenzhen Institute(清华-伯克利深圳学院)
在数字全息图的处理、存储和传输中,如何减少大量的数据是一个关键问题。在照片压缩中,几乎所有系统和设备都支持JPEG标准。JPEG标准具有通用性强的优点,适用于全息图的压缩是十分有利的。然而,从JPEG压缩的全息图的再现图像遭受严重的质量下降,因为一些在全息图中的高频特征将在压缩过程中丢失。在这项工作中,我们采用深度卷积神经网络来减少JPEG压缩全息图中的伪影。仿真和实验结果表明,我们提出的“JPEG +深度学习”全息图压缩方案可以实现令人满意的重建结果的计算机生成的纯相位全息图压缩后。
2018-06-11 cs.CV eess.IV
Towards Flexible Blind JPEG Artifacts Removal
ETH Zurich(苏黎世联邦理工学院)
训练一个单一的深度盲模型来处理不同的质量因子,以去除JPEG图像伪影,由于其便于实际使用,已经引起了相当大的关注。然而,现有的深度盲方法通常直接重建图像而不预测质量因子,因此缺乏非盲方法控制输出的灵活性。为了解决这个问题,在本文中,我们提出了一种灵活的盲卷积神经网络,即FBCNN,它可以预测可调节的质量因子,以控制伪影去除和细节保留之间的权衡。具体来说,FBCNN通过一个量化器模块从JPEG图像中量化出质量因子,然后通过一个质量因子关注块将预测的质量因子嵌入到后续的重建器模块中,以便灵活控制。此外,我们发现现有的方法很容易失败的非对齐双JPEG图像,即使只有一个像素的位移,因此,我们提出了一个双JPEG退化模型来增加训练数据。在单JPEG图像、更一般的双JPEG图像和真实世界的JPEG图像上进行的广泛实验表明,我们提出的FBCNN在定量指标和视觉质量方面都取得了优于最先进方法的性能。
2021-09-29 cs.CV eess.IV
Towards Robust Data Hiding Against (JPEG) Compression: A Pseudo-Differentiable Deep Learning Approach
数据隐藏是用于保护认证和所有权的一种广泛使用的方法。大多数多媒体内容(如图像和视频)都以压缩形式传输或保存。这种有损压缩,如JPEG,可以破坏隐藏的数据,这就提出了鲁棒的数据隐藏的需要。要实现能够抵抗这些压缩的数据隐藏的目标仍然是一个公开的挑战。最近,深度学习在数据隐藏方面取得了巨大成功,而JPEG的不可微性使得训练深度管道以提高对有损压缩的鲁棒性具有挑战性。现有的SOTA方法用执行类似操作的可微模块代替不可微部分。存在多种限制:(a)大量的工程工作;(b)需要压缩攻击的白盒知识;(c)仅适用于像JPEG这样的简单压缩。在这项工作中,我们提出了一个简单而有效的方法来解决所有上述限制一次。除了JPEG,我们的方法已被证明可以提高对各种图像和视频有损压缩算法的鲁棒性。
2020-12-30 cs.CR cs.CV cs.LG
Quantization Guided JPEG Artifact Correction
JPEG图像压缩算法是最流行的图像压缩方法,因为其具有大压缩比的能力。然而,为了实现这种高压缩,信息丢失。对于激进的量化设置,这会导致图像质量明显降低。在深度神经网络的背景下,已经研究了一段时间的模糊校正,但是目前最先进的方法需要为每个质量设置训练不同的模型,这极大地限制了它们的实际应用。我们解决这个问题,通过创建一个新的架构,这是参数化的JPEG文件的量化矩阵。这使得我们的单个模型能够在针对特定质量设置训练的模型上实现最先进的性能。
2020-07-16 cs.CV cs.LG eess.IV
Light Field Compression by Residual CNN Assisted JPEG
Michigan Technological University(密歇根理工大学)
光场(LF)成像由于其最近在三维(3D)显示和渲染以及增强和虚拟现实使用中的成功而获得了显著的关注。尽管如此,由于两个额外的维度,LF比传统图像大得多。我们开发了一种基于JPEG辅助学习的技术,从JPEG比特流中重建LF,平均每像素比特率为0.0047。对于压缩,我们保持LF的中心视图,并使用50%质量的JPEG压缩。我们的重建管道包括一个小的JPEG增强网络(JPEG-Hance),一个深度估计网络(Depth-Net),然后通过扭曲增强的中心视图进行视图合成。我们的流水线在压缩和解压缩方面都比对从LF提取的伪序列使用视频压缩要快得多,同时保持有效的性能。我们表明,与用于压缩LF的最先进的视频压缩技术相比,我们的方法重建的LF具有更好的结构相似性指数度量(SSIM)和可比的峰值信噪比(PSNR),压缩时间成本为1%,加速比为18倍。
2021-03-18 cs.LG eess.IV
Neural JPEG: End-to-End Image Compression Leveraging a Standard JPEG Encoder-Decoder
The Pennsylvania State University(宾夕法尼亚州立大学);Rochester Institute of Technology(罗切斯特理工学院)
深度学习的最新进展已经在各种应用程序中实现了超人的性能。最近,这些方法已成功地用于改善图像压缩任务中的率失真性能。然而,当前的方法要么在解码器端使用附加的后处理块来改善压缩,要么提出基于并行计算的端到端压缩方案。对于其中的大多数,经过训练的深度神经网络(DNN)与标准编码器不兼容,并且很难在个人电脑和手机上使用。有鉴于此,我们提出了一个系统,通过增强编码器和解码器端的内部神经表示来学习提高编码性能,我们称之为神经JPEG。我们提出了频域预编辑和后编辑的方法来优化DCT系数在编码器和解码器端的分布,以改善标准压缩(JPEG)的方法。此外,我们设计并整合了一个计划,共同学习量化表在这个混合神经压缩framework.Experiments表明,我们的方法成功地提高了率失真性能超过JPEG在各种质量指标,如PSNR和MS-SSIM,并产生视觉上有吸引力的图像具有更好的色彩保持质量。
2022-01-31 cs.CV eess.IV
Comparison between CS and JPEG in terms of image compression
对JPEG和压缩感知两种方法进行了比较。从图像压缩的角度对这两种方法进行了比较。通过测量图像质量与用于图像恢复的样本数量进行比较。对图像进行目视比较。此外,数值质量值,峰值信噪比,计算和比较两种方法。结果表明,图像,恢复使用压缩感知的方法,有更高的PSNR值相比,JPEG压缩下的图像。在细节数量较少的灰度图像中差异较大,例如医学图像(X射线)。实验结果证实了理论的正确性。
2018-02-09 cs.MM eess.IV
Strategies in JPEG compression using Convolutional Neural Network (CNN)
近几十年来,人们对数字图像处理的兴趣极大地增长。因此,已经提出了不同的数据压缩技术,这些技术主要涉及用于表示图像的信息的最小化。随着深度神经网络的发展,可以实现更高程度的图像压缩。本文概述了JPEG压缩、离散傅里叶变换(DFT)、卷积神经网络(CNN)、衡量图像压缩性能的质量指标,并讨论了深度学习在图像压缩中的进展,主要集中在JPEG上,并建议模型的自适应可以改善压缩。
2021-12-06 eess.IV
Intensity-based dynamic speckle method using JPEG and JPEG2000 compression
散斑数据的统计处理使得能够观察过程的速度。在基于强度的逐点动态散斑分析中,从在相干光下形成在物体上的散斑图案序列中提取与速度的空间分布相关的映射。对过程时间演化的监控需要存储、传输和处理大量图像。我们已经提出了这些图像的有损压缩使用JPEG和JPEG2000格式。我们比较了从非压缩和解压缩的合成和实验图像计算的地图,我们已经证明,这两种压缩格式可以应用于动态散斑分析。
2023-03-13 eess.IV physics.optics
Practical Learned Lossless JPEG Recompression with Multi-Level Cross-Channel Entropy Model in the DCT Domain
SenseTime Research(商汤科技研究院);National University of Defense Technology(国防科技大学);Tsinghua University(清华大学)
JPEG是一种流行的图像压缩方法,被个人、数据中心、云存储和网络文件系统广泛使用。然而,图像压缩的最新进展主要集中在未压缩的图像,而忽略了数以万亿计的已经存在的JPEG图像。为了充分压缩这些JPEG图像并在需要时将其恢复为JPEG格式,我们提出了一种基于深度学习的JPEG再压缩方法,该方法在DCT域上操作,并提出了一种多级交叉通道熵模型来压缩信息量最大的Y分量。实验结果表明,与传统的JPEG再压缩方法(包括Lepton、JPEG XL和CMIX)相比,该方法具有最佳的压缩性能。据我们所知,这是第一个学习的压缩方法,它可以将JPEG图像无损转码为更节省存储的比特流。
2022-03-30 cs.CV eess.IV
Convolutional Neural Network (CNN) to reduce construction loss in JPEG compression caused by Discrete Fourier Transform (DFT)
Faculty of Computer Science(计算机科学学院);Selinus University of Sciences and Literature(塞利努斯科学与文学大学)
针对JPEG压缩中DFT周期性导致的图像伪影问题,提出一种基于CNN自编码器的有效图像压缩方法,实验表明该方法能实现更好的图像重建与良好的压缩效果。
2023-07-02 cs.CV cs.LG eess.IV
Learning to Improve Image Compression without Changing the Standard Decoder
ETH Zurich(苏黎世联邦理工学院)
近年来,我们已经目睹了应用深度神经网络(DNN)来改善图像压缩中的率失真性能的兴趣越来越大。然而,现有的方法要么在解码器侧训练后处理DNN,要么提出以端到端的方式学习图像压缩。这样,在解码器中需要训练的DNN,导致与标准图像解码器(例如,JPEG)在个人电脑和手机中。因此,我们提出学习,以提高编码性能的标准解码器。本文以JPEG为例进行了研究。提出了一种频域预编辑方法,优化DCT系数的分布,以利于JPEG压缩。此外,我们建议与预编辑网络一起学习JPEG量化表。最重要的是,我们不修改JPEG解码器,因此我们的方法适用于使用广泛使用的标准JPEG解码器查看图像。实验结果表明,该方法在PSNR、MS-SSIM和LPIPS等质量指标上都能有效地提高JPEG的率失真性能。在视觉上,这转化为更好的整体颜色保持,特别是在应用强压缩时。这些代码可在https://github.com/YannickStruempler/LearnedJPEG上获得。
2020-10-23 cs.CV eess.IV
Format-Controlled Multi-Scale JPEG Compression Response Analysis for Image-Level Forgery Screening
研究针对图像伪造检测,提出用CPU计算和梯度提升树的轻量级特征工程管道。通过多尺度ELA等特征构建405维向量,经格式控制评估,在仅JPEG子集上有高AUC和F1值,消融研究明确各特征作用,实现检测压缩历史不一致且具多种优势。
2026-07-23 cs.CV cs.LG eess.IV
OAPT: Offset-Aware Partition Transformer for Double JPEG Artifacts Removal
Kuaishou Technology(快手科技);University of Electronic Science and Technology of China(电子科技大学)
提出用于双重 JPEG 伪影去除的偏移感知分区 Transformer(OAPT),通过压缩偏移预测和混合分区注意力块聚类相似模式,在恢复任务中超越现有最优方法 0.16dB 以上,且其聚类模块可作为插件增强其他方法。
2024-09-25 cs.CV eess.IV
JPEG Meets PDE-based Image Compression
基于修补的图像压缩正在成为基于变换的压缩技术的有前途的竞争者。其核心思想是通过图像修复技术从少量已知区域中重建图像信息。特定的偏微分方程(PDE),如边缘增强扩散(EED),给出了高质量的重建图像结构与低或中等纹理。尽管基于PDE和基于变换的压缩的优势是互补的,但它们很少在混合编解码器中组合。我们建议稀疏块的JPEG压缩图像和重建它们与EED修复。我们的编解码器始终优于JPEG,并为进一步成功开发混合编解码器提供了有用的指示。此外,我们的方法是第一个选择区域,而不是像素作为基于偏微分方程的压缩的已知数据。它还提供了新的见解角落区域的重要性,基于EED的编解码器。
2021-05-04 eess.IV
Weyl-Heisenberg Transform Capabilities in JPEG Compression Standard
本文针对JPEG压缩标准的效率瓶颈,提出用二维离散正交Weyl-Heisenberg变换(DWHT)替代原有的离散余弦变换(DCT),改进后的JPEG算法经实验验证压缩效率优于原标准。
2025-11-14 cs.MM eess.IV eess.SP
Is JPEG AI going to change image forensics?
Politecnico di Milano(米兰理工大学);Università degli Studi di Brescia(布雷西亚大学)
本文评估JPEG AI神经图像压缩对深度伪造检测和图像拼接定位的反取证影响,实验证明其会降低先进取证检测器性能,并呼吁纳入JPEG AI样本以研发更鲁棒方法。
2025-03-18 cs.CV eess.IV
An Image Identification Scheme of Encrypted JPEG Images for Privacy-Preserving Photo Sharing Services
提出了一种双重压缩的JPEG加密图像的图像识别方案,旨在识别从原始JPEG图像生成的加密JPEG图像。为了在照片共享服务上存储没有任何视觉敏感信息的图像,加密的JPEG图像通过使用基于块置乱的加密方法来生成,该方法已经被提出用于具有JPEG压缩的加密然后压缩系统。此外,从加密的JPEG图像中提取对JPEG压缩鲁棒的特征向量。图像加密和特征向量的使用使我们能够识别多次重新压缩的加密图像。此外,该方案的目的是识别图像重新加密与不同的密钥。仿真结果表明,该方案即使在图像重新压缩和重新加密的情况下,仍具有较高的识别性能。
2019-05-19 eess.IV
Optimizing JPEG Quantization for Classification Networks
Cornell University(康奈尔大学)
计算机视觉的深度学习依赖于有损图像压缩:它减少了训练和测试数据所需的存储,并降低了部署中的传输成本。主流数据集和成像管道都依赖于标准JPEG压缩。在JPEG中,频率系数的量化程度控制损失:8 × 8量化表(Q表)决定编码图像的质量和压缩比。虽然长期以来的工作一直在寻求更好的Q表,但现有的工作要么寻求最小化图像失真,要么针对人类视觉系统的模型进行优化。这项工作询问是否存在JPEG Q表,这些表对于特定的视觉网络来说“更好”,并且可以提供比为人类感知或最小失真设计的更好的质量-大小权衡。我们重建了一个具有更高分辨率的ImageNet测试集,以探索JPEG压缩在新Q表下的效果。我们尝试了几种方法来调整一个视觉任务的Q表。我们发现,一个简单的排序随机抽样方法可以超过标准的JPEG Q表的性能。我们还使用超参数调整技术,包括有界随机搜索,贝叶斯优化和复合启发式优化方法。我们得到的新的Q表可以提高10%到200%的压缩率时,精度是固定的,或提高精度高达$2\%$在相同的压缩率。
2020-03-05 cs.CV cs.GR cs.PF
Learning a Single Model with a Wide Range of Quality Factors for JPEG Image Artifacts Removal
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所);State Key Laboratory of Digital Publishing Technology, Peking University Founder Group Co., Ltd.(北京大学方正集团有限公司数字出版技术国家重点实验室);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院)
有损压缩会给压缩后的图像带来伪影,降低视觉质量。近年来,基于卷积神经网络(CNN)的压缩伪影去除方法得到了广泛的应用。然而,这些方法通常训练基于一个特定值或小范围的质量因子的模型。显然,如果测试图像的质量因子与假设的值范围不匹配,则会导致性能下降。基于这一动机,并进一步考虑实际应用,本文提出了一种高鲁棒性的压缩伪影去除网络。我们提出的网络是一个单一的模型方法,可以训练处理各种质量因素,同时始终如一地提供卓越或相当的图像伪影去除性能。为了演示,我们专注于JPEG压缩的质量因子,范围从1到60。请注意,我们提出的网络的交钥匙成功在于量化表作为训练数据的一部分的新颖利用。此外,它有两个并行的分支-即,恢复分支和全球分支。前者有效地去除了局部伪影,例如振铃伪影去除。另一方面,后者提取了整个图像的全局特征,提供了高度工具性的图像质量改善,特别是有效地处理全局伪影,如块,颜色偏移。在彩色和灰度图像上进行的大量实验结果清楚地表明了我们提出的单模型方法对从解码图像中去除压缩伪影的有效性和功效。
2020-09-15 cs.CV eess.IV
Evaluating the Practicality of Learned Image Compression
SenseTime Research(商汤科技研究院);Tsinghua University(清华大学)
与传统方法相比,图像压缩在PSNR和MS-SSIM方面取得了优异的率失真性能。然而,它具有密集的计算,这是现实世界的应用无法忍受的,并导致其有限的工业应用。在本文中,我们引入了神经架构搜索(NAS)来设计具有更低延迟的更高效的网络,并利用量化来加速推理过程。与此同时,在工程上的努力,如多线程和SIMD已被用于提高效率。使用PSNR和MS-SSIM的混合损失进行优化以获得更好的视觉质量,我们在所有比特率上获得比JPEG、JPEG XL和AVIF高得多的MS-SSIM,并且PSNR介于JPEG XL和AVIF之间。我们的LIC软件实现实现与jpeg-turbo相比具有相当甚至更快的推理速度,同时比JPEG XL和AVIF快数倍。此外,我们的LIC实现达到惊人的吞吐量145 fps的编码和208 fps的解码在特斯拉T4 GPU的1080 p图像。在CPU上,我们实现的延迟与JPEG XL相当。
2022-07-29 cs.CV eess.IV
Recompression Based JPEG Tamper Detection and Localization Using Deep Neural Network Eliminating Compression Factor Dependency
National Institute of Technology, Rourkela(鲁尔克拉国立技术学院)
本文提出一种基于卷积神经网络的JPEG重压缩篡改检测与定位方法,解决了现有技术在首次压缩因子大于第二次时失效的问题,并在检测与定位精度上优于现有方法。
2024-07-03 cs.CV eess.IV
Quantum walk inspired JPEG compression of images
Central Research Laboratory, BEL(巴拉特电子有限公司中央研究实验室)
本文提出一种受量子启发的JPEG压缩框架,通过优化Q表提升压缩效率和图像质量,实验显示在PSNR和结构保真度上有显著提升。
2026-02-12 cs.AI cs.CV cs.ET
The Rate-Distortion-Accuracy Tradeoff: JPEG Case Study
Google Research(谷歌研究院)
处理数字图像几乎总是伴随着有损压缩,以促进有效的传输和存储。这在分配的比特预算(速率)和结果图像对原始图像的忠实性(失真)之间引入了不可避免的紧张关系。另一个复杂的考虑因素是压缩对给定分类器识别性能(准确性)的影响。这项工作的目的是探索这种率失真精度权衡。作为一个案例研究,我们集中在JPEG压缩标准中的量化表的设计。我们提供了一种新的优化调整这些表通过不断优化,利用差分实现的JPEG编码器-解码器和熵估计。这使我们能够提供一个统一的框架,考虑率,失真和分类精度之间的相互作用。在所有这些方面,我们通过对这些表进行简单且易于实现的修改,报告了性能的大幅提升。
2020-08-03 cs.CV eess.IV
Subjective performance evaluation of bitrate allocation strategies for MPEG and JPEG Pleno point cloud compression
本研究针对点云压缩的MPEG与JPEG Pleno标准,结合客观指标分析配置参数影响,设计多套码率分配策略并开展双协议主观评估,对比了两类标准的性能并总结最佳编码实践。
2024-10-31 eess.IV
Seeing Delta Parameters as JPEG Images: Data-Free Delta Compression with Discrete Cosine Transform
Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出Delta-DCT,一种受JPEG压缩启发的无数据delta压缩方法,通过分块重要性评估、差异化位宽分配和离散余弦变换量化,在无需训练或数据校准的情况下,于多种语言、视觉及多模态模型上以1比特等效压缩比达到与原始微调模型相当或更优的性能。
2025-03-09 cs.CV cs.LG eess.IV
AdaCompress: Adaptive Compression for Online Computer Vision Services
随着基于计算机视觉的应用和服务的增长,爆炸性数量的图像已经被上传到托管这种计算机视觉算法的云服务器,通常以深度学习模型的形式。由于JPEG具有广泛的适应性,因此在上传图像之前,它已被用作{ \em de facto}压缩和封装方法。然而,标准JPEG配置对于压缩将由深度学习模型(例如,JPEG标准质量级别导致50%的大小开销(与最佳质量水平选择相比)在ImageNet上,在包括InceptionNet、ResNet等在内的流行计算机视觉模型中,在相同的推理准确度下,在相同的推理准确度下,如何在ImageNet上实现更好的JPEG配置?要知道,为在线计算机视觉服务设计更好的JPEG配置仍然极具挑战性:1)基于云的计算机视觉模型对于最终用户来说通常是一个黑盒;因此,在不知道它们的模型结构的情况下,很难设计JPEG配置。2)针对JPEG配置在不同用户使用时会发生变化的问题,提出了一种基于强化学习的JPEG配置框架。特别是,我们设计了一个代理,根据输入图像的特征和后端深度学习模型自适应地选择压缩级别。然后,我们以强化学习的方式训练代理,使其适应不同的深度学习云服务,这些服务充当{ \em交互式训练环境},并在综合考虑准确性和数据大小的情况下提供奖励。在我们对Amazon Rekognition、Face++和Baidu Vision的真实世界评估中,我们的方法可以将图像的大小减少1/2 -…
2019-09-17 cs.MM eess.IV
High-Perceptual Quality JPEG Decoding via Posterior Sampling
Technion - Israel Institute of Technology(以色列理工学院)
本文提出一种基于后验采样的随机JPEG解码方法,通过条件生成器实现高感知质量重建,兼顾细节与输入一致性,在FFHQ和ImageNet上优于现有方法。
2023-08-30 cs.CV eess.IV
Block-level Double JPEG Compression Detection for Image Forgery Localization
由于图像处理工具的易用性,伪造图像在当今世界无处不在。在这封信中,我们提出了一种基于深度学习的新方法,该方法利用DCT系数直方图和相应的量化步长之间的内在关系,基于对单压缩块和双压缩块的检测来区分JPEG图像中的原始区域和伪造区域,而无需完全解压缩JPEG图像。我们考虑在最近的一项研究中收集的1,120个量化矩阵的不同集合,与标准的100个量化矩阵进行训练,测试和创建逼真的模型。特别是,我们仔细设计了DenseNet的输入,其中包含量化步长和JPEG块的相应直方图的特定组合。使用该输入来学习压缩伪像产生用于检测大小为$256 \times 256$的单压缩块和双压缩块的最新结果,并且对于大小为$128 \times 128$和$64 \times 64$的较小块给出更好的结果。因此,改进的伪造定位性能获得逼真的伪造图像。此外,在与训练中使用的矩阵相比使用完全不同的量化矩阵压缩的测试块的情况下,所提出的方法优于当前的现有技术。
2020-03-20 eess.IV
Image Splicing Detection, Localization and Attribution via JPEG Primary Quantization Matrix Estimation and Clustering
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);Beijing Key Laboratory of Advanced Information Science and Network Technology(北京市先进信息科学与网络技术重点实验室);Department of Information Engineering and Mathematics, University of Siena(锡耶纳大学信息工程与数学系)
跨不同图像区域的双JPEG伪影的不一致性的检测通常用于检测局部图像操纵,如图像拼接,并将其定位。在本文中,我们更进一步,提出了一个端到端的系统,除了检测和定位拼接区域,还可以区分来自不同供体图像的区域。我们假设拼接区域和背景图像都经历了双重JPEG压缩,并使用主量化矩阵的局部估计来区分来自不同来源的拼接区域。为此,我们根据估计的初级量化矩阵的图像块进行聚类,并通过形态学重建来细化结果。所提出的方法可以工作在各种各样的设置,包括对齐和非对齐的双JPEG压缩,无论第二次压缩是强还是弱于第一次。我们通过大量的实验验证了所提出的方法,表明其优越的性能相对于在类似条件下工作的基线方法。
2022-01-19 cs.CV eess.IV
Adapting JPEG XS gains and priorities to tasks and contents
图像压缩领域中的大多数当前研究仅仅集中于实现最先进的压缩比,但是由于对计算资源的约束,这在当今的工作流程中并不总是可用的。市场对低复杂度图像编解码器的不断需求导致了最近开发和标准化了一种名为JPEG XS的轻量级图像编解码器。在这项工作中,我们表明,JPEG XS压缩可以适应特定的任务和内容,例如保持桌面内容的视觉质量或保持神经网络分割任务的高精度,通过使用协方差矩阵自适应进化策略优化其增益和优先级参数。
2021-01-06 cs.NE eess.IV
Spatially-Aligned Chroma from Luma Prediction for Lossless JPEG XS Raw Image Compression
University of Tsukuba(筑波大学);SonicAI Inc.(SonicAI公司)
研究针对JPEG XS原始图像压缩,提出CfL-STT方法,将CfL预测集成到STT中,利用空间对齐亮度样本预测色度分量,抑制高频噪声并保留相关性,在无损压缩中提高编码效率且保持可逆性。
2026-07-15 eess.IV
Quality and Complexity Assessment of Learning-Based Image Compression Solutions
Informatics Institute (PGMICRO), Federal University of Rio Grande do Sul(南里奥格兰德联邦大学信息学研究所);Graduate Program in Computer Science, Federal University of Santa Catarina(圣卡塔琳娜联邦大学计算机科学研究生项目)
这项工作提出了一个国家的最先进的学习为基础的图像压缩技术的分析。我们使用柯达数据集,在视觉质量指标和处理时间方面比较了Tensorflow压缩包中的8个模型。并将其结果与更好的可移植图形(BPG)和JPEG2000编解码器进行了比较。结果表明,与最快的基于学习的模型相比,JPEG2000具有最低的执行时间,压缩加速比为1.46倍,解压缩加速比为30倍。然而,基于学习的模型在质量方面比JPEG2000有所改进,特别是对于较低的比特率。我们的研究结果还表明,BPG在PSNR方面更有效,但学习模型在其他质量指标方面更好,有时甚至更快。结果表明,基于学习的技术是未来主流压缩方法的有前途的解决方案。
2021-07-19 cs.CV eess.IV
End-to-End Optimization of JPEG-Based Deep Learning Process for Image Classification
本文提出一种联合JPEG编解码器与深度学习分类器的端到端可训练模型,在带宽约束下优化JPEG设置,并在CIFAR-100和ImageNet上提升图像分类精度。
2023-08-10 eess.IV
Image compression optimized for 3D reconstruction by utilizing deep neural networks
Rafael Advanced Defense Systems LTD.(拉斐尔先进防御系统有限公司);Technion - Israel Institute of Technology(以色列理工学院)
计算机视觉任务通常期望在压缩图像上执行。像JPEG 2000这样的经典图像压缩标准被广泛使用。然而,它们并没有考虑到手头的具体最终任务。受基于递归神经网络(RNN)的图像压缩和三维(3D)重建工作的启发,我们提出了统一的网络架构来共同解决这两个任务。这些关节模型提供针对3D重建的特定任务定制的图像压缩。我们提出的模型压缩的图像,产生三维重建性能优于使用JPEG 2000压缩。我们的模型显着扩展了3D重建可能的压缩率范围。我们还表明,这可以高效地完成,几乎没有额外的成本,以获得压缩的计算已经需要执行的3D重建任务。
2021-07-24 cs.CV cs.LG eess.IV
JPEG Processing Neural Operator for Backward-Compatible Coding
Korea University(韩国大学);DGIST(全州国立科学技术院)
针对学习型有损压缩编解码器标准化难题,提出与现有JPEG格式完全后向兼容的JPNeO算法,通过编解码阶段引入神经算子提升压缩效果,兼具低内存低参数量优势,可在不改协议的前提下实现高性能图像压缩。
2025-07-31 cs.CV eess.IV
Q-matrix Unaware Double JPEG Detection using DCT-Domain Deep BiLSTM Network
Indian Institute of Technology Gandhinagar(印度理工学院甘地讷格尔分校)
双JPEG压缩检测近年来受到了广泛的关注,由于其适用性作为最广泛使用的JPEG文件格式的取证工具。现有的基于CNN的方法要么使用所有频率的直方图,要么依赖于统计学来选择特定低频的直方图来对单压缩和双压缩图像进行分类。然而,即使在双压缩图像/补丁的较低频率中,所有频率的直方图也不具有可区分的特征以将它们与单压缩图像分开。该方法直接从JPEG图像中提取量化后的DCT系数,而不需要在像素域进行解压缩,得到所有AC频率的直方图,使用基于$1\times 1$深度卷积的模块学习每个直方图与相应的q因子之间的内在关系,并利用定制的BiLSTM网络对这些特征向量序列进行选择性编码。该系统优于几个基线方法上的一个相对较大的和不同的公开可用的数据集的单,双压缩补丁。任何单JPEG压缩检测系统与双JPEG压缩检测系统的另一个基本方面是处理测试块使用与训练时使用的量化矩阵(Q矩阵)完全不同的量化矩阵(Q矩阵)进行压缩的场景;不同的相机制造商和图像处理软件通常使用其定制的量化矩阵。一组广泛的实验表明,在单个数据集上训练的所提出的系统在使用完全不可见的量化矩阵压缩的其他数据集上具有很好的泛化能力,并且在可见和不可见的量化矩阵场景中都优于最先进的方法。
2021-04-10 cs.LG cs.MM eess.IV
Deep Perceptual Compression
Czech Technical University(捷克技术大学);Amazon(亚马逊)
在最近的文献中已经提出了几种深度学习的有损压缩技术。其中大多数是通过使用MS-SSIM(多尺度结构相似性)或MSE(均方误差)作为损失函数来优化的。不幸的是,这些都与人类的感知没有很好的相关性,这在压缩后的图像中清晰可见。在某些情况下,深度学习技术的MS-SSIM高于传统的非深度学习编解码器,如JPEG-2000或BPG。然而,这些深度学习技术产生的图像在许多情况下对人眼来说明显比JPEG-2000或BPG产生的图像更差。我们建议使用一种替代的深度感知度量,该度量已被证明与人类感知相似性更好地保持一致。然后,我们提出了深度感知压缩(DPC),它利用基于编码器-解码器的图像压缩模型,以联合优化的深度感知度量和MS-SSIM。通过广泛的人类评价,我们表明,该方法产生的视觉效果比以前的学习为基础的压缩方法和JPEG-2000,是可比的BPG。此外,我们证明,对于目标检测等任务,使用DPC压缩的图像具有更好的准确性。
2019-07-31 cs.CV eess.IV
Uncover Treasures in DCT: Advancing JPEG Quality Enhancement by Exploiting Latent Correlations
Beihang University(北京航空航天大学)
提出AJQE方法,通过挖掘JPEG图像DCT系数中的潜在相关性,将像素域模型适配至DCT域,在提升PSNR 0.35 dB的同时将增强吞吐量平均提高60.5%。
2025-06-26 cs.CV eess.IV
Neural Network Assisted Lifting Steps For Improved Fully Scalable Lossy Image Compression in JPEG 2000
该研究在JPEG 2000的小波变换中加入神经网络辅助提升步骤,经端到端训练后可在保留其可扩展性的同时,实现最高17.4%的平均BD码率节省,提升有损图像压缩性能。
2026-07-30 cs.CV eess.IV
Bit Rate Matching Algorithm Optimization in JPEG-AI Verification Model
Multimedia Communications and Signal Processing, Friedrich-Alexander University Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学多媒体通信与信号处理研究所);Chair of Media Technology, Technical University of Munich(慕尼黑工业大学媒体技术讲席教授组);Huawei Technologies(华为技术有限公司)
本文针对JPEG-AI验证模型在比特率匹配过程中速度慢、性能次优的问题,提出渐进式算法优化方法,在基础操作点实现四倍加速和超过1%的BD-rate提升,高操作点加速达六倍。
2024-02-27 cs.CV cs.LG eess.IV
TinyLIC-High efficiency lossy image compression method
本文提出TinyLIC方法,利用深度学习技术提升图像压缩的编码效率,实验表明其性能显著优于JPEG等传统编解码方案。
2024-02-17 eess.IV
Efficient Learned Lossless JPEG Recompression
本研究提出基于深度学习的ML-PCM架构实现JPEG图像无损再压缩,通过分量独立处理、PPCM与CCCM模型实现低延迟高压缩比,1080P图像在T4 GPU上达57FPS,结合量化后在高比特率有损压缩中也优于SOTA方法。
2023-08-25 eess.IV
Countering Adversarial Examples: Combining Input Transformation and Noisy Training
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
最近的研究表明,基于神经网络(NN)的图像分类器非常容易受到对抗性样本的攻击,这对安全敏感的图像识别任务构成了威胁。先前的工作表明,JPEG压缩可以在一定程度上对抗性样本的分类准确性下降。但是,随着压缩比的增加,传统的JPEG压缩不足以抵御这些攻击,但会导致一个突然的准确性下降的良性图像。本文首先对传统JPEG压缩算法进行了改进,使其更有利于神经网络,以充分滤除干扰。具体来说,基于对频率系数的分析,我们设计了一个NN偏好的量化表用于压缩。将压缩视为一种数据增强策略,然后将模型无关的预处理与噪声训练相结合。我们通过使用以不同压缩级别编码的图像进行训练来微调预训练模型,从而生成多个分类器。最后,由于较低(较高)的压缩比可以稍微(积极地)去除扰动和原始特征,因此我们使用这些训练的多个模型进行模型集成。模型集合的多数票被采用作为最终预测。实验结果表明,该方法在保持原有准确率的前提下,提高了防御效率.
2021-06-25 cs.CV eess.IV
Hyperspectral Image Compression Using Sampling and Implicit Neural Representations
University of Ontario Institute of Technology(安大略理工大学)
本文提出一种基于隐式神经表示的高光谱图像压缩方法,利用正弦激活的多层感知机将像素位置映射为像素强度,并结合窗口大小与采样率的采样策略加速压缩,在多个基准数据集上取得了优于传统和学习型压缩方法的效果。
2023-12-04 cs.CV eess.IV
Primary quantization matrix estimation of double compressed JPEG images via CNN
用于估计双重压缩的JPEG图像中的主量化矩阵的可用的基于模型的技术仅在关于第一和第二压缩质量因子之间的关系以及第一和第二JPEG压缩网格的对准的特定条件下起作用。在本文中,我们提出了一个单一的基于CNN的估计技术,可以在非常一般的设置范围内工作。我们这样做,通过调整一个密集的CNN网络,以解决手头的问题。特别注意损失函数的选择。实验结果突出了新方法的几个优点,包括:i)在非常一般的条件下工作的能力,ii)在MSE和准确性方面的改进的性能,特别是在非对准的情况下,iii)由于在小图像块上也提供良好结果的能力,更好的空间分辨率。
2019-08-09 eess.IV
JPEG Quantized Coefficient Recovery via DCT Domain Spatial-Frequential Transformer
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感信息工程学院)
本文提出DCTransformer,通过双分支空间-频率Transformer、量化矩阵嵌入和亮度-色度对齐头,在DCT域中恢复JPEG量化系数,并实验证明其优于现有JPEG伪影去除方法。
2024-05-03 cs.CV eess.IV
Human Perceptual Evaluations for Image Compression
Center for Machine Perception, Czech Technical University(捷克技术大学机器感知中心);Amazon(亚马逊)
最近,人们对深度学习技术进行图像压缩产生了很大的兴趣,并且有人声称其中几种技术产生的结果比工程压缩方案(如JPEG,JPEG 2000或BPG)更好。当今比较图像压缩方案的标准方式是使用感知相似性度量,诸如PSNR或MS-SSIM(多尺度结构相似性)。这导致了一些深度学习技术,通过选择MS-SSIM作为损失函数来直接优化MS-SSIM。虽然这会导致更高的MS-SSIM等技术,我们使用用户研究表明,由此产生的改进可能是误导。用于具有较高MS-SSIM的图像压缩的深度学习技术实际上可能在感知上比具有较低MS-SSIM的工程压缩方案更差。
2019-08-09 cs.CV eess.IV
Reducing Storage in Large-Scale Photo Sharing Services using Recompression
近年来,照片共享服务的普及程度急剧增加。用户、照片数量和照片质量/分辨率的增加,加上用户对照片可靠存储的期望,给这些服务的存储后端带来了越来越大的负担。我们发现了一个新的机会,节省存储与应用程序特定的压缩照片共享服务:照片再压缩。我们探索新的照片存储管理技术,这些技术速度快,不会对照片下载延迟产生不利影响,是现有分布式擦除编码技术的补充,可以有效地转换为用户设备期望的标准JPEG,并显着提高压缩。我们实现我们的照片再压缩技术在两个新的编解码器,ROMP和L-ROMP。ROMP是一种无损JPEG再压缩编解码器,将典型照片压缩到标准JPEG的15%。L-ROMP是一种有损JPEG再压缩编解码器,以感知上不明显的方式扭曲照片,通常比标准JPEG压缩28%。我们估计了我们的方法在Facebook的照片堆栈上的好处,发现我们的方法可以将照片存储减少0.3- 0.9倍存储照片的逻辑大小,并为照片缓存堆栈提供额外的附带好处,包括对后端存储的请求减少5-11%,广域带宽减少15-31%,外部带宽减少16%。
2019-12-23 cs.MM eess.IV
Restoration of the JPEG Maximum Lossy Compressed Face Images with Hourglass Block based on Early Stopping Discriminator
Kumoh National Institute of Technology(金乌国立工科大学)
本文提出一种基于GAN和沙漏块结构的网络,结合LF与HF双损失函数,用于恢复JPEG最大有损压缩的人脸图像,有效消除块效应并生成可识别身份,性能显著优于以往研究。
2023-06-22 cs.CV eess.IV