Multiple Scale Latents for Learned Image Compression
University of Würzburg（维尔茨堡大学）
本研究提出多尺度隐变量表示方法，为各尺度隐变量配备独立熵模型，在Kodak数据集上较VVC实现17.9%的BD-rate降低，且可与现有学习型图像压缩方法兼容。
2026-08-12 cs.CV
GIC-DLC: Differentiable Logic Circuits for Hardware-Friendly Grayscale Image Compression
ETH Zurich（苏黎世联邦理工学院）
GIC-DLC通过可微逻辑电路实现高效灰度图像压缩，结合神经网络与布尔运算，提升压缩效率并降低能耗与延迟。
2026-01-20 cs.CV
What's in my closet?: Image classification using fuzzy logic
University of Michigan（密歇根大学）
在MATLAB中创建了一个模糊系统，用于从一系列输入图像中识别一件衣服是连衣裙、衬衫还是裤子。系统初始化时，使用每件衣服的高对比度矢量图像作为最接近直接解的状态。其他九个用户输入的图像（每个项目三个）也被用来确定每个项目的特征函数和识别每个模式。Mamdani推理系统用于边缘定位和识别每件衣服的特征感兴趣区域。基于这些无量纲的趋势，第二个Mamdani模糊推理系统被用来表征每个图像包含一件衬衫，一条连衣裙，或一条裤子。一个轮廓的模糊推理系统和图像处理技术用于创建一个图像模式识别系统进行了讨论。
2017-12-05 cs.CV
An Intuitionistic Fuzzy Logic Driven UNet architecture: Application to Brain Image segmentation
Department of Mathematics, Bareilly College, Bareilly (MJP Rohilkhand University), Uttar Pradesh, India（印度乌塔兰普尔邦巴雷利学院数学系）；Division of Newborn Medicine, Fetal Neonatal Neuroimaging and Developmental Science Center, Boston Children’s Hospital, Harvard Medical School, Boston, MA 02115, USA（美国哈佛医学院波士顿儿童医院新生儿医学部）；Department of Pediatrics, Harvard Medical School, Boston, MA, USA（美国哈佛医学院儿科系）；CSIR–Central Electronics Engineering Research Institute, Pilani 333031, Rajasthan, India（印度拉贾斯坦邦比拉尼中央电子工程研究机构）；Academy of Scientific and Innovative Research (AcSIR), Ghaziabad 201002, India（印度德里阿齐亚德瓦学术与创新研究院）；CSIR–National Institute of Science Communication and Policy Research, New Delhi, India（印度新德里国家科学传播与政策研究所）
本文提出基于直觉模糊逻辑的UNet架构，用于提升脑图像分割中对不确定性的处理能力。
2026-02-04 cs.CV
Exact Blur Measure Outperforms Conventional Learned Features for Depth Finding
Passive Defence R&D Dept. Tech. Deputy of Iranian Railways（伊朗铁路技术副主管被动防御研发部）
基于精确模糊值的图像分析方法由于模糊测量误差而面临计算复杂性。这种氛围鼓励学者们寻找手工制作和学习的功能，以便从单个图像中找到深度。本文介绍了一种新的精确实现数字图像上的模糊措施，并实现了一个新的措施，散焦高斯模糊的边缘点的深度从散焦（DFD）的方法，有可能改变这种气氛。真实图像上的实验表明，所提出的措施在错误性能优于传统的学习功能，在国家的最先进的单图像为基础的深度估计方法。
2017-08-31 cs.CV
An Autoencoder-based Learned Image Compressor: Description of Challenge Proposal by NCTU
National Chiao Tung University（国立交通大学）
我们提出了一个使用深度学习自动编码器结构的有损图像压缩系统，以参加2018年学习图像压缩挑战赛（CLIC）。我们的自动编码器使用具有跳过连接的残差块来减少图像像素之间的相关性，并将输入图像压缩成一组特征图，这是原始图像的紧凑表示。利用重要性图和量化器实现了比特分配和比特率控制。重要性图由编码器中的单独神经网络生成。基于最小化均方误差的加权和MS-SSIM和速率估计来联合训练自动编码器和重要性网络。我们的目标是产生具有良好的主观质量的重建图像的0.15位每像素的约束。
2019-02-20 cs.CV
Single Frame Image super Resolution using Learned Directionlets
Cochin University of Science and Technology（科钦理工大学）
本文提出了一种基于多方向小波变换的方向自适应、基于学习的单幅图像超分辨率方法--Directionlets。该方法利用Directionlet有效地捕捉高分辨率图像的方向特征，提取图像的不同方向的边缘信息，并以此作为训练集对低分辨率图像进行超分辨，从训练集中局部学习高分辨率图像的更细尺度的Directionlet系数，通过逆Directionlet变换恢复图像的超分辨特征。高分辨率图像。仿真结果表明，所提出的方法优于标准的插值技术，如三次样条插值以及标准的基于小波的学习，无论是在视觉上还是在均方误差（mse）值方面。该方法对混叠图像也有较好的效果。
2010-11-10 cs.CV
Quality Assessment of Pixel-Level ImageFusion Using Fuzzy Logic
VNRVJIET（瓦利瓦纳蒂·纳加尔朱纳·拉奥·维贾雅·贾瓦哈尔·工程技术学院）；GNITS（吉特工程学院）；JNTU College of Engineering（贾瓦哈拉尔·尼赫鲁科技大学工程学院）
图像融合是为了减少输出中的不确定性和最小化冗余，同时最大化来自场景的两个或多个图像的相关信息到单个合成图像中，所述单个合成图像具有更多信息，并且更适合于视觉感知或处理任务，如医学成像、遥感、隐蔽武器检测、天气预报、图像融合将配准的图像组合以产生具有空间和光谱信息的高质量融合图像。融合后的图像具有更多的信息，将提高图像分析算法在不同应用中的性能。本文提出了一种基于模糊逻辑的多传感器图像融合方法，并与小波变换图像融合和基于加权平均离散小波变换的遗传算法图像融合进行了比较（这里以后缩写为GA）以及质量评估参数图像质量指数（IQI）、互信息测量（MIM）、均方根误差（RMSE），峰值信噪比（PSNR）、融合因子（FF）、融合对称性（FS）、融合指数（FI）和熵。结果表明，与已有的基于小波变换的图像融合方法和基于加权平均离散小波变换的遗传算法图像融合方法相比，基于模糊的图像融合方法提高了融合图像的质量。
2013-11-05 cs.CV
LADBench: A Benchmark for Logical Fault Detection in Images
University of South Florida（南佛罗里达大学）
提出LAD-Bench基准，包含1000多张合成图像的四域逻辑异常，通过分层提示协议评估模型，揭示现有VLM在隐式逻辑故障检测上的不足。
2026-10-21 cs.CV
Learned Perceptual Image Enhancement
Google Research（谷歌研究院）
学习典型的图像增强流水线涉及增强图像和参考图像之间的损失函数的最小化。虽然L1和L2损失可能是为此目的最广泛使用的函数，但它们不一定会导致感知上令人信服的结果。在本文中，我们证明了将学习的无参考图像质量度量添加到损失中可以显着提高增强算子。该指标是使用CNN（卷积神经网络）来实现的，该CNN是在标记有人类评分者的美学偏好的大规模数据集上训练的。这种损失使我们能够方便地在我们的学习框架中执行反向传播，以同时优化与给定的地面真实参考和感知质量的相似性。这种感知损失仅用于图像处理操作者的训练参数，并且在推理时间不施加任何额外的复杂性。我们的实验表明，这种损失可以有效地调整各种运算符，例如本地色调映射和去雾。
2017-12-07 cs.CV
Learned Multi-View Texture Super-Resolution
ETH Zurich（苏黎世联邦理工学院）；IBM Research Zurich（IBM苏黎世研究院）；Microsoft Zurich（微软苏黎世）
我们提出了一种超分辨率的方法，能够创建一个高分辨率的纹理映射的虚拟3D对象从一组较低分辨率的图像，该对象。我们的架构统一了以下概念：（i）基于重叠视图冗余的多视图超分辨率和（ii）基于高分辨率（HR）图像结构的学习先验的单视图超分辨率。多视点超分辨率的原理是反转图像形成过程，从多个较低分辨率的投影中恢复潜在的HR纹理。我们将逆问题映射到一个适当设计的神经网络层块中，并将其与标准的编码器-解码器网络相结合，用于学习单图像超分辨率。将图像形成模型连接到网络中可以避免学习从纹理到图像的透视映射，并优雅地处理不同数量的输入视图。实验表明，多视角观察和学习的先验知识的组合产生改进的纹理图。
2020-01-14 cs.CV
A Discriminative Learned CNN Embedding for Remote Sensing Image Scene Classification
University of Electronic Science and Technology of China（电子科技大学）；Leshan Normal University（乐山师范学院）
在这项工作中，一个歧视性学习CNN嵌入遥感图像场景分类。我们提出的siamese网络同时计算两个输入图像的分类损失函数和度量学习损失函数。具体来说，对于分类损失，我们使用标准的交叉熵损失函数来预测图像的类别。对于度量学习损失，我们的siamese网络学习将类内和类间输入对映射到一个特征空间，在这个特征空间中，类内输入很接近，类间输入被一个间隔隔开。具体来说，对于遥感图像场景分类，我们希望将来自同一场景的图像映射到接近的特征向量，并将来自不同场景的图像映射到相距很远的特征向量。在三个不同的遥感图像数据集上进行实验，以评估我们提出的方法的有效性。实验结果表明，该方法具有良好的分类性能.
2019-12-02 cs.CV
Image-Dependent Local Entropy Models for Learned Image Compression
Google（谷歌）
利用人工神经网络（ANN）进行图像压缩的主要方法是学习针对率失真性能进行优化的非线性变换和固定熵模型。我们表明，这种方法可以显着改善，将空间局部，图像相关的熵模型。关键的见解是，现有的基于人工神经网络的方法学习编码器和解码器之间共享的熵模型，但它们不传输任何辅助信息，使模型能够适应特定图像的结构。我们提出了一种用图像相关的边信息增强基于ANN的图像编码器的方法，该方法在标准评估集上比最先进的基于ANN的基线模型降低了17.8%的速率，并且在固定的全局熵模型捕获不佳的低视觉复杂度图像上降低了70-98%。
2018-05-31 cs.CV
Learned Image Compression for Earth Observation: Implications for Downstream Segmentation Tasks
OroraTech GmbH Munich（奥罗拉技术（德国）公司）；Department of Informatics LMU, Munich（慕尼黑大学信息学院）
本文研究了学得压缩算法在地球观测数据压缩中的应用，发现其在大范围多通道图像重建和分割任务中优于传统JPEG 2000，但在小范围单通道热红外数据上传统编码器仍具竞争力。
2025-12-01 cs.CV
Robust Registration of Calcium Images by Learned Contrast Synthesis
HHMI Janelia Research Campus（HHMI 珍妮亚研究园区）
多模态图像配准是一项具有挑战性的任务，对于融合互补信号以进行后续分析至关重要。尽管对解决这一挑战的成本函数进行了大量研究，但仍存在这些成本函数无效的情况。在这项工作中，我们表明，（1）这是真实的在体内果蝇脑体积可视化遗传编码的钙指标的nc82图谱和（2），机器学习为基础的对比度合成可以产生改善注册。更具体地说，通过使用合成图像，配准完全失败的受试者数量大大减少（从40%减少到15%）。
2015-11-03 cs.CV
An landcover fuzzy logic classification by maximumlikelihood
Sistk（Sistk学院）
目前遥感技术在许多领域都有广泛的应用。这种遥感使用不同的图像，如多光谱，超光谱或超光谱。遥感图像分类是图像分类的重要方法之一。在这种状态下，我们用模糊逻辑进行最大似然分类。在这方面，我们实验模糊逻辑一样，空间，光谱纹理的方法，不同的子方法用于图像分类。
2014-07-17 cs.CV cs.LG
Learned Image Compression with Dictionary-based Entropy Model
University of Electronic Science and Technology of China（电子科学与技术大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对学习型图像压缩中熵模型忽视训练数据先验的问题，提出基于可学习字典的交叉注意力熵模型，在性能与延迟间取得更好平衡并达到最先进水平。
2025-05-15 cs.CV
What Time Tells Us? An Explorative Study of Time Awareness Learned from Static Images
University of Birmingham（伯明翰大学）
本文提出TOC数据集和TICL对比学习方法，从静态图像中学习时间感知，在时间戳估计上达到最先进性能，并有效支持时间检索、视频分类和图像编辑等下游任务。
2025-11-06 cs.CV
LogicOCR: Do Your Large Multimodal Models Excel at Logical Reasoning on Text-Rich Images?
School of Computer Science, National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, and Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University（计算机学院、多媒体软件国家工程研究中心、人工智能研究院、多媒体与网络通信工程湖北省重点实验室、武汉大学）
LogicOCR通过构建包含生成和现实图像问题的基准测试，评估大型多模态模型在文本丰富图像上的逻辑推理能力，并提出TextCue方法提升模型对关键文本区域的感知。
2025-11-26 cs.CL cs.CV
LogiStory: A Logic-Aware Framework for Multi-Image Story Visualization
本文提出LogiStory框架，通过显式建模视觉逻辑提升多图像故事可视化中的叙事逻辑与视觉质量，引入多智能体系统和LogicTale基准测试集进行评估。
2026-03-30 cs.CV cs.MA
LogicRank: Logic Induced Reranking for Generative Text-to-Image Systems
Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；Aleph Alpha
文本到图像模型最近取得了显着的成功，在照片般逼真的质量看似准确的样本。然而，由于最先进的语言模型仍然难以一致地评估精确的语句，因此基于语言模型的图像生成过程也是如此。在这项工作中，我们展示了最先进的文本到图像模型，如DALL-E的问题，从与绘图基准相关的语句中生成准确的样本。此外，我们表明，CLIP是不能够重新排序这些生成的样本一致。为此，我们提出了LogicRank，神经符号推理框架，可以导致在这样的精度要求的设置更准确的排名系统。LogicRank平滑地集成到文本到图像模型的生成过程中，并且可以用于进一步微调到更逻辑精确的模型。
2022-08-29 cs.AI cs.CL cs.CV
Post-Training Quantization for Cross-Platform Learned Image Compression
SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
已经证明，学习的图像压缩已经优于传统的图像编码技术，并且在工业应用中趋于实用。需要考虑的最关键问题之一是非确定性计算，这使得概率预测跨平台不一致，并阻碍成功解码。我们建议通过引入成熟的训练后量化并使模型推理仅为整数算术来解决这个问题，这比目前现有的基于训练和微调的方法简单得多，但仍然保持了学习图像压缩的优越率失真性能。在此基础上，我们进一步改进了熵参数的离散化，并将确定性推理推广到高斯混合模型。利用我们提出的方法，当前最先进的图像压缩模型可以以跨平台一致的方式进行推断，这使得学习图像压缩的进一步发展和实践更具前景。
2022-11-30 cs.CV eess.IV
Sparse Point Clouds Assisted Learned Image Compression
University of Science and Technology of China（中国科学技术大学）；University of Missouri（密苏里大学）
本文提出一种在自动驾驶场景下利用稀疏点云辅助学习型图像压缩的新框架，通过投影生成深度图并预测图像提取多尺度结构特征作为附加信息，兼容多种主流模型，实验证明能持续提升压缩性能。
2024-12-20 cs.CV eess.IV
What Affects Learned Equivariance in Deep Image Recognition Models?
Delft University of Technology（代尔夫特理工大学）；Synerise
本文提出改进的等变性度量方法，发现习得平移等变性与ImageNet验证准确率相关，并证实数据增强、降低模型容量和卷积归纳偏置能提升神经网络中的习得等变性。
2023-04-07 cs.AI cs.CV
ELIC: Efficient Learned Image Compression with Unevenly Grouped Space-Channel Contextual Adaptive Coding
SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
最近，学习的图像压缩技术已经取得了显着的性能，甚至超过了最好的手动设计的有损图像编码器。它们有望被大规模采用。从实用性的角度出发，从压缩性能和运行速度两个方面对学习图像压缩的体系结构设计进行深入的研究是非常必要的。在本文中，我们首先提出了不均匀的信道条件自适应编码，动机是在学习图像压缩的能量压缩的观察。将提出的非均匀分组模型与现有的上下文模型相结合，我们得到了一个空间通道上下文自适应模型，以提高编码性能，而不损害运行速度。然后，我们研究了主变换的结构，并提出了一个有效的模型，ELIC，以实现最先进的速度和压缩能力。该模型不仅性能优越，而且支持极快的预览解码和渐进解码，这使得基于学习的图像压缩应用前景更加广阔。
2022-03-29 cs.CV eess.IV
DeepSim: Semantic similarity metrics for learned image registration
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）
我们提出了一种用于图像配准的语义相似性度量。像欧几里德距离或归一化互相关这样的现有度量集中在对齐强度值上，这给低强度对比度或噪声带来了困难。我们的语义方法学习特定于网络的特征，这些特征驱动基于学习的注册模型的优化。与跨多种图像模态和应用的现有无监督和有监督方法相比，我们实现了一致的高配准精度和比现有技术更快的收敛速度，并且学习到的对噪声的不变性在低质量图像上提供了更平滑的变换。
2020-11-11 cs.CV cs.LG
JND-Based Perceptual Optimization For Learned Image Compression
Shandong Normal University（山东师范大学）；Nanyang Technological University（南洋理工大学）
近来，所学习的图像压缩方案已经在图像保真度（例如，PSNR和MS-SSIM）相比，传统的混合图像编码，由于其高效的非线性变换，端到端的优化框架等，但是，很少有人考虑到人类视觉系统（HVS）的JND（JND）特性，并优化学习图像压缩的感知质量。为了解决这个问题，提出了一种基于JND的感知质量损失。考虑到在不同的量化参数（QP）下，压缩图像在不同的训练时期的失真量是不同的，我们开发了一个失真感知调整器。将它们结合在一起，我们可以更好地分配失真的压缩图像与JND的指导下，以保持高的感知质量。所有这些设计使所提出的方法能够灵活地应用于各种学习的图像压缩方案，具有高可扩展性和即插即用的优点。在Kodak数据集上的实验结果表明，在相同的比特率下，该方法比基线模型具有更好的感知质量。
2023-03-08 cs.CV eess.IV
Checkerboard Context Model for Efficient Learned Image Compression
SenseTime Research（商汤科技研究院）
对于学习图像压缩，自回归上下文模型被证明是有效的改善率失真（RD）性能。因为它有助于消除潜在表征之间的空间冗余。然而，解码过程必须按照严格的扫描顺序进行，这破坏了并行化。我们提出了一个可并行化的棋盘上下文模型（CCM）来解决这个问题。我们的两遍棋盘上下文计算通过重新组织解码顺序消除了空间位置的限制。在我们的实验中，它将解码过程加速了40倍以上，在几乎相同的率失真性能的情况下，实现了显着提高的计算效率。据我们所知，这是第一次探索并行友好的空间上下文模型学习图像压缩。
2021-04-01 cs.CV eess.IV
HLIC: Harmonizing Optimization Metrics in Learned Image Compression by Reinforcement Learning
SenseTime Research（商汤科技研究院）
近年来，图像压缩技术取得了很大的进展。峰值信噪比（PSNR）和多尺度结构相似性（MS-SSIM）是两个最常用的评价指标。由于不同的评价指标只反映了人类感知的某些方面，该领域的工作通常分别使用PSNR和MS-SSIM作为损失函数来优化两个模型，这是次优的，并且难以选择具有最佳视觉质量或整体性能的模型。为了解决这个问题，我们提出了协调学习图像压缩（HLIC）的优化指标，使用在线损失函数自适应强化学习。通过这样做，我们能够利用PSNR和MS-SSIM的优势，实现更好的视觉质量和更高的VMAF分数。据我们所知，我们的工作是第一个探索自动损失函数适应协调优化指标，在低层次的视觉任务，如学习图像压缩。
2021-09-30 cs.CV eess.IV
A Training-Free Defense Framework for Robust Learned Image Compression
Seoul National University（首尔国立大学）
本文针对学习型图像压缩模型易受对抗攻击的问题，提出一种基于随机输入变换和双向压缩的无训练防御框架，在保持干净图像率失真性能的同时提升鲁棒性，且无需修改现有模型。
2024-01-22 cs.CV eess.IV
Streaming-capable High-performance Architecture of Learned Image Compression Codecs
Waseda University（早稻田大学）；Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究院）
学习图像压缩允许实现最先进的精度和压缩比，但它们相对较慢的运行时性能限制了它们的使用。虽然以前对优化学习图像编解码器的尝试更多地集中在神经模型和熵编码上，但我们提出了一种替代方法来提高各种学习图像压缩模型的运行时性能。我们引入了多线程流水线和优化的内存模型，使GPU和CPU工作负载异步执行，充分利用计算资源。我们的架构本身已经产生了出色的性能，而无需对神经模型本身进行任何更改。我们还证明，将我们的架构与之前对神经模型的调整相结合，可以进一步提高运行时性能。我们表明，我们的实现优于吞吐量和延迟相比，基线和演示我们的实现的性能，通过创建一个实时视频流编码器-解码器的示例应用程序，与编码器运行在嵌入式设备上。
2022-08-02 cs.CV eess.IV
LMM-driven Semantic Image-Text Coding for Ultra Low-bitrate Learned Image Compression
本文提出利用大型多模态模型在单一模型中生成并压缩图像描述，并设计面向语义-感知的微调方法，使LPIPS BD-rate较现有方法提升41.58%，实现超低码率学习型图像压缩。
2024-11-20 cs.CV eess.IV
Spatial Logics and Model Checking for Medical Imaging (Extended Version)
Azienda Ospedaliera Universitaria Senese（锡耶纳大学医院）；CNR-ISTI（意大利国家研究委员会信息科学与技术研究所）
空间和时空模型检验的最新研究提供了新的图像分析方法，植根于拓扑空间的逻辑方法。医学成像（MI）是这样一个领域，这种方法显示出突破性创新的潜力。我们的出发点是SLCS，封闭空间的空间逻辑-封闭空间是拓扑空间的概括，也包括离散空间结构-和拓扑检查器，SLCS（及其扩展）的模型检查器。我们引入逻辑语言ImgQL（“图像查询语言“）。ImgQL用描述距离和区域相似性的逻辑运算符扩展了SLCS。时空模型检查器topochecker相应地增强与国家的最先进的算法，借用计算图像处理，有效地实施基于距离的运营商，即距离变换。区域之间的相似性是通过一个统计相似性算子，从统计纹理分析的概念的基础上定义的。我们说明了我们的方法，通过两个例子的磁共振图像分析：胶质母细胞瘤和水肿的分割，直肠癌的分割。
2018-11-14 cs.CV cs.LO
Generative Adversarial Networks for Extreme Learned Image Compression
ETH Zürich（苏黎世联邦理工学院）
我们提出了一个基于GANs的学习图像压缩系统，以极低的比特率运行。我们提出的框架结合了编码器、解码器/生成器和多尺度鉴别器，我们为生成学习压缩目标联合进行训练。该模型合成了它无法存储的细节，在以前的方法失败并显示强烈伪影的比特率下获得视觉上令人愉悦的结果。此外，如果原始图像的语义标签图是可用的，我们的方法可以完全合成解码图像中的不重要的区域，如街道和树木从标签图，按比例减少存储成本。一项用户研究证实，对于低比特率，我们的方法优于最先进的方法，即使它们使用的比特数超过两倍。
2019-08-18 cs.CV cs.LG
Transferable Learned Image Compression-Resistant Adversarial Perturbations
Rutgers University（罗格斯大学）；Vanderbilt University（范德堡大学）；Tencent America（腾讯美国）；Wuhan University（武汉大学）
针对基于学习的图像压缩后处理分类系统，提出基于显著性评分采样的对抗扰动生成方法，增强跨压缩模型的可迁移性。
2024-11-06 cs.CV cs.MM eess.IV
Semantic similarity metrics for learned image registration
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）
我们提出了一种用于图像配准的语义相似性度量。像欧几里德距离或归一化互相关这样的现有度量专注于对齐强度值，这给低强度对比度或噪声带来了困难。我们的方法学习了特定于网络的功能，这些功能可以驱动基于学习的注册模型的优化。我们训练使用自动编码器的无监督方法和使用补充分割数据的半监督方法来提取用于图像配准的语义特征。与现有的方法相比，在多个图像模态和应用程序，我们实现了一致的高配准精度。学习到的对噪声的不变性在低质量图像上提供了更平滑的变换。
2021-04-20 cs.CV cs.LG
Recognition-Aware Learned Image Compression
已知的图像压缩方法通常优化速率失真损失，以增加的比特率来权衡视觉失真的改善。然而，越来越多的压缩图像被用作深度学习网络的输入，用于各种任务，如分类，对象检测和超分辨率。我们提出了一种具有识别意识的学习压缩方法，该方法优化了率失真损失以及特定于任务的损失，联合学习压缩和识别网络。我们使用EfficientNet识别模型增强了基于分层自动编码器的压缩网络，并使用两个超参数在失真、比特率和识别性能之间进行权衡。我们的特征的分类准确性，我们提出的方法作为比特率的函数，并发现，对于低比特率，我们的方法实现高达26%的识别准确率在同等比特率相比，传统的方法，如更好的便携式图形（BPG）。
2022-02-01 cs.CV eess.IV
Joint Global and Local Hierarchical Priors for Learned Image Compression
Yonsei University（延世大学）；NAVER AI Lab（NAVER人工智能实验室）
最近，学习的图像压缩方法已经优于传统的手工制作的，包括BPG。这种成功的关键之一是学习熵模型，它估计量化潜在表示的概率分布。与其他视觉任务一样，最近学习的熵模型基于卷积神经网络（CNN）。然而，CNN由于其局部连通性的性质而在建模远程依赖性方面具有限制，这可能是图像压缩中的一个重要瓶颈，其中减少空间冗余是关键点。为了克服这个问题，我们提出了一种新的熵模型称为信息Transformer（告密者），利用全球和本地信息的内容依赖的方式使用的注意力机制。我们的实验表明，Informer提高率失真性能的国家的最先进的方法在柯达和Tecnick数据集没有二次计算复杂度的问题。我们的源代码可在https://github.com/naver-ai/informer上获得。
2022-07-21 cs.CV eess.IV
DeepFGS: Fine-Grained Scalable Coding for Learned Image Compression
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
可伸缩编码能够适应信道带宽的变化，在当今复杂的网络环境中表现良好。然而，现有的可扩展压缩方法面临两个挑战：压缩性能下降和可扩展性不足。在本文中，我们提出了第一个学习细粒度可伸缩图像压缩模型（DeepFGS），以克服上述两个缺点。具体而言，我们引入了一个特征分离骨干，将图像信息分为基本的和可扩展的功能，然后重新分配的功能，通过信道的信息重排策略。通过这种方式，我们可以通过一次编码生成连续可伸缩的比特流。此外，我们重用解码器以减少DeepFGS的参数和计算复杂度。实验表明，我们的DeepFGS在PSNR和MS-SSIM指标上优于所有基于学习的可伸缩图像压缩模型和传统的可伸缩图像编解码器。据我们所知，我们的DeepFGS是第一次探索学习的细粒度可扩展编码，与基于学习的方法相比，它实现了最好的可扩展性。
2022-01-04 cs.CV eess.IV
ProgDTD: Progressive Learned Image Compression with Double-Tail-Drop Training
Kiel University（基尔大学）；Chalmers University of Technology（查尔姆斯理工大学）
ProgDTD通过双尾丢弃训练使基于CNN的学习图像压缩模型按优先级排序瓶颈信息，无需额外参数即可实现渐进式压缩，并在MS-SSIM和准确率上达到与现有方法相当的性能。
2024-04-30 cs.CV eess.IV
Enhancing the Rate-Distortion-Perception Flexibility of Learned Image Codecs with Conditional Diffusion Decoders
University of Padova（帕多瓦大学）
针对现有学习型图像压缩编解码器低码率下视觉效果不佳的问题，本文提出用条件扩散模型作解码器，可在解码端基于采样方法灵活调整失真与感知的权衡，提升率-失真-感知灵活性。
2024-03-05 cs.CV eess.IV
Content-oriented learned image compression
Huawei Technologies（华为技术有限公司）
近年来，随着深度神经网络的发展，端到端优化的图像压缩取得了重大进展，在率失真性能方面超过了经典方法。然而，大多数基于学习的图像压缩方法是无标签的，并且在优化模型时不考虑图像语义或内容。实际上，人眼对不同内容的敏感度不同，因此图像内容也需要考虑。在本文中，我们提出了一种面向内容的图像压缩方法，该方法对不同类型的图像内容采用不同的压缩策略。大量的实验表明，该方法实现了竞争力的主观结果相比，最先进的端到端学习的图像压缩方法或经典的方法。
2022-08-01 cs.CV cs.MM eess.IV
TLIC: Learned Image Compression with ROI-Weighted Distortion and Bit Allocation
Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；Pengcheng Laboratory（鹏城实验室）；Migu Culture Technology Co., Ltd（咪咕文化科技有限公司）
本文提出TLIC图像压缩方法，通过对抗损失生成逼真纹理并利用ROI掩码指导比特分配，从而实现更优的感知质量。
2024-03-23 cs.CV eess.IV
How to Exploit the Transferability of Learned Image Compression to Conventional Codecs
National Taiwan University（台湾大学）；Taiwan AI Labs（台湾人工智能实验室）
有损图像压缩通常受到所选损失度量的简单性的限制。最近的研究表明，生成对抗网络有能力克服这一限制，并作为多模态损失，特别是对于纹理。与学习过的图像压缩一起，这两种技术可以在放松通常采用的严格的失真测量时产生很大的效果。然而，基于卷积神经网络的算法具有较大的计算占用空间。理想情况下，现有的传统编解码器应该保持不变，这将确保更快的采用并坚持平衡的计算包络。作为实现这一目标的一种可能途径，在这项工作中，我们提出并研究了如何学习图像编码可以作为一个替代来优化图像编码。图像由学习的过滤器改变，以优化不同的性能指标或特定的任务。通过生成对抗网络扩展这一想法，我们展示了整个纹理如何被编码成本较低但保留细节感的纹理所取代。我们的方法可以改造传统的编解码器，以调整MS-SSIM失真超过20%的速率提高，而没有任何解码开销。在任务感知的图像压缩，我们表现良好，对一个类似的，但编解码器特定的方法。
2021-03-07 cs.CV eess.IV
SLIC: Secure Learned Image Codec through Compressed Domain Watermarking to Defend Image Manipulation
National Taiwan University（台湾大学）
本文提出SLIC安全学习图像编解码器，通过在压缩域潜空间嵌入对抗性水印，使被篡改图像在重压缩时产生可见质量退化，从而主动防御图像篡改与再分发。
2024-10-19 cs.AI cs.CV
End-to-End Learned Random Walker for Seeded Image Segmentation
Heidelberg Collaboratory for Image Processing（海德堡图像处理合作实验室）；Heidelberg University（海德堡大学）
我们提出了一个端到端的学习算法种子分割。我们的方法是基于随机沃克算法，其中我们预测的边缘权重的基础图形使用卷积神经网络。这可以被解释为学习线性扩散过程的上下文相关的扩散率。除了计算精确的梯度优化这些扩散率，我们还提出了简化，稀疏采样的梯度，仍然产生竞争力的结果。所提出的方法在CREMI神经元分割挑战的种子版本上实现了目前最好的结果。
2019-05-22 cs.CV cs.LG
Learned Block-based Hybrid Image Compression
University of Science and Technology of China（中国科学技术大学）
关于学习图像压缩的最新工作以全分辨率方式执行编码和解码过程，在部署用于实际应用时导致两个问题。首先，由于串行解码，不能实现自回归熵模型的并行加速。其次，全分辨率推理通常会在GPU资源有限的情况下导致内存不足（OOM）问题，特别是对于高分辨率图像。分块划分是解决上述问题的一种很好的设计选择，但它在减少块间冗余和消除块效应方面带来了新的挑战。为了解决上述问题，本文提出了一种基于学习块的混合图像压缩（LBHIC）框架。具体来说，我们将显式帧内预测引入到学习的图像压缩框架中，以利用相邻块之间的关系。优于传统编解码器中通过线性加权相邻像素的上下文建模，我们提出了一个上下文预测模块（CPM），以更好地捕捉长程相关性，利用条带池提取相邻潜在空间中最相关的信息，从而实现有效的信息预测。此外，为了减轻块效应，我们进一步提出了一个边界感知的后处理模块（BPM）的边缘重要性考虑在内。大量的实验表明，所提出的LBHIC编解码器优于VVC，具有4.1%的比特率保存，并减少了约86.7%的解码时间相比，国家的最先进的学习图像压缩方法。
2021-10-11 cs.CV eess.IV
Domain Adaptation for Learned Image Compression with Supervised Adapters
University of Turin（都灵大学）
本文提出一种基于监督适配器的学习图像压缩域适应方法，通过向解码器插入适配器模块并利用门控网络融合贡献，在保持源域性能的同时提升多目标域的率失真效率。
2024-04-24 cs.CV eess.IV
LoC-LIC: Low Complexity Learned Image Coding Using Hierarchical Feature Transforms
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）；Sohag University（索哈杰大学）
提出一种基于分层特征变换的低复杂度学习图像编码方法LoC-LIC，通过调整通道数与空间维度将前向传播复杂度从1256降至270 kMAC/Pixel，同时保持比特率降低效率。
2025-04-30 cs.CV eess.IV
DULDA: Dual-domain Unsupervised Learned Descent Algorithm for PET image reconstruction
Zhejiang University（浙江大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；University of Florida（佛罗里达大学）；Massachusetts General Brigham（麻省总医院布莱根医疗系统）
基于深度学习的PET图像重建方法最近取得了令人鼓舞的结果。然而，这些方法中的大多数都遵循监督学习范式，这在很大程度上依赖于高质量训练标签的可用性。特别是，所需的长扫描时间和与PET扫描相关的高辐射暴露使得获得这种标签不切实际。本文提出了一种基于学习的decent算法的双域无监督PET图像重建方法，该方法不需要对图像进行标记就能从正弦图重建出高质量的PET图像。具体来说，我们展开的近端梯度方法与可学习的l2，1范数PET图像重建问题。训练是无监督的，使用基于深度图像先验的测量域损失以及基于旋转等方差特性的图像域损失。实验结果表明，与最大似然期望最大化（MLEM）、全变差正则化EM（EM-TV）和基于深度图像先验的方法（DIP）相比，该方法具有更好的性能。
2023-03-10 cs.CV eess.IV
Enhanced Invertible Encoding for Learned Image Compression
HKUST（香港科技大学）
虽然基于深度学习的图像压缩方法近年来取得了可喜的进展，但这些方法的性能仍然无法与最新的压缩标准通用视频编码（VVC）相匹配。最近的发展主要集中在设计一个更准确和灵活的熵模型，可以更好地参数化的潜在特征的分布。然而，很少有人致力于构造一个更好的图像空间和潜在的特征空间之间的转换。在本文中，我们没有使用以前的自动编码器风格网络来构建这种转换，而是提出了一种具有可逆神经网络（INN）的增强型可逆编码网络，以在很大程度上减轻信息丢失问题，从而实现更好的压缩。在Kodak、CLIC和Tecnick数据集上的实验结果表明，该方法优于现有的图像压缩方法和压缩标准，包括VVC（VTM 12.1），特别是对于高分辨率图像。我们的源代码可在https://github.com/xyq7/InvCompress上获得。
2021-08-08 cs.CV eess.IV
Improving Multi-generation Robustness of Learned Image Compression
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
学习图像压缩（LIC）由于其灵活的网络设计和端到端的联合优化方法，近年来表现出了优异的编码性能和实际可行性。然而，现有的压缩模型遭受严重的多代损失，这总是发生在图像编辑和转码。在反复编解码的过程中，图像质量会迅速下降，产生各种失真，极大地限制了LIC的实际应用。本文对连续图像压缩（SIC）中产生损失的原因进行了深入的分析。指出并解决了影响SIC的量化漂移问题，提出了可逆性损失函数和信道松弛方法，进一步降低了产生损失。实验表明，通过使用我们提出的解决方案，LIC可以达到相当的性能，即使在50倍的重新编码后，没有任何改变的网络结构的BPG的第一次压缩。
2022-10-31 cs.CV eess.IV
Image-to-Text Logic Jailbreak: Your Imagination can Help You Do Anything
Faculty of Computer Science, University of Exeter（埃克塞特大学计算机学院）；College of Electronic and Information Engineering, Nanjing University of Aeronautics and Astronautics（南京航空航天大学电子信息工程学院）
本文针对大型视觉语言模型在流程图逻辑理解方面的越狱漏洞，提出了新数据集Flow-JD评估图像到文本逻辑越狱能力，发现GPT-4o等模型越狱率高达92.8%，揭示了VLMs的安全隐患并呼吁开发有效防御。
2024-08-26 cs.CR cs.CV
Learned Lossless Compression for JPEG via Frequency-Domain Prediction
Shanghai Jiao Tong University（上海交通大学）
JPEG图像可以进一步压缩，以增强大规模图像数据集的存储和传输。由于DCT系数和原始像素的分布不同，现有的RGB图像无损压缩器不能很好地转换到JPEG图像。在本文中，我们提出了一个新的框架，学习无损压缩JPEG图像，实现端到端的优化预测解码DCT系数的分布。为了能够在频域中学习，DCT系数被划分为组以利用隐式局部冗余。设计了一种基于权值共享块的类自编码器结构，实现了DCT系数分组的熵建模和先验信息的独立压缩。我们尝试在频域实现JPEG图像的学习无损压缩。实验结果表明，该框架实现了优越的或相当的性能相比，最新的无损压缩机与手工制作的上下文建模的JPEG图像。
2023-03-05 cs.CV cs.LG eess.IV
