Joint Degradation-Aware Arbitrary-Scale Super-Resolution for Variable-Rate Extreme Image Compression
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（上海交通大学信息科学与电子工程学院）；Department of Electronic Engineer and Information Science, University of Science and Technology of China（中国科学技术大学电子工程与信息科学系）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能教育部重点实验室）
本文提出ASSR-EIC框架，利用任意尺度超分辨率支持可变速率极值图像压缩，通过联合退化感知解码器实现率自适应重建，提升低比特率下的图像恢复质量。
2026-03-18 cs.AI cs.CV
End-to-End Semantic Preservation in Text-Aware Image Compression Systems
Department of Information Engineering, University of Brescia（信息工程系，布雷西亚大学）
提出端到端压缩框架，保留OCR所需文本特征，编码器计算成本约为OCR模块一半，低码率下文本提取准确性显著提升，并扩展至通用编码器，证明极端压缩下语义信息仍可保留。
2025-10-15 cs.CV eess.IV
Towards Efficient Low-rate Image Compression with Frequency-aware Diffusion Prior Refinement
本文提出DiffCR框架，通过频率感知跳过估计和频率解耦注意力模块，实现高效低比特率图像压缩，显著提升压缩效率和图像质量。
2026-01-15 cs.AI cs.CV cs.MM
Frequency-Aware Re-Parameterization for Over-Fitting Based Image Compression
Intel Corporation（英特尔公司）
针对基于过拟合的图像压缩，提出一种频率感知重参数化方法，将卷积核表示为DCT核的加权和，结合L1正则化，在频域直接优化，实现低计算成本下显著改善率失真，仅200次迭代即在HEIF基础上获得高达-46.12%的BD-rate提升。
2023-10-12 cs.CV eess.IV
Group-aware Parameter-efficient Updating for Content-Adaptive Neural Video Compression
The University of Newcastle（纽卡斯尔大学）；The University of Sydney（悉尼大学）；Tencent AI Lab（腾讯AI实验室）；The University of Hong Kong（香港大学）
本文提出分组感知参数高效更新（GPU）方法，通过基于块的GoP训练策略和轻量级适配器增量调优，解决神经视频压缩中误差累积和更新成本高的问题，在多个视频及医学图像基准上验证了其高效性和适应性。
2024-09-04 cs.CV eess.IV
Leveraging Diffusion Knowledge for Generative Image Compression with Fractal Frequency-Aware Band Learning
City University of Hong Kong（香港城市大学）；Hon Hai Research Institute（鸿海研究院）
本文提出融合扩散知识与FFAB-IC分形频率感知频带网络的生成式图像压缩方法，并通过频率、内容正则化改善有限带宽下的纹理恢复与码率—失真—真实感权衡。
2025-03-14 cs.CV eess.IV
Bi-Level Spatial and Channel-aware Transformer for Learned Image Compression
Tarbiat Modares University（塔比亚特·莫达雷斯大学）
针对学习型图像压缩忽视频率特性的问题，提出融合 HSCATB、CaSA 与 MLGFFN 的双层空间及通道感知 Transformer，以提升去相关和率失真性能。
2024-08-07 cs.CV cs.IT cs.LG
Self-Asymmetric Invertible Network for Compression-Aware Image Rescaling
Bytedance Inc., Shenzhen, China（字节跳动有限公司（深圳））；Bytedance Inc., San Diego, CA, 92122 USA（字节跳动有限公司（圣迭戈））
高分辨率（HR）图像通常被缩小到低分辨率（LR）图像以获得更好的显示效果，然后再放大到原始大小以恢复细节。最近在图像缩放方面的工作将缩小和放大作为一个统一的任务，并通过可逆网络学习HR和LR之间的双射映射。然而，在现实世界的应用中（例如，社交媒体），大多数图像都被压缩用于传输。有损压缩会导致LR图像上的信息不可逆地丢失，从而破坏逆升尺度过程并降低重建精度。在本文中，我们提出了自非对称可逆网络（SAIN）的压缩感知图像缩放。为了解决分布偏移，我们首先开发了一个端到端的非对称框架，分别针对高质量和压缩的LR图像具有两个单独的双射映射。然后，基于这个框架的实证分析，我们使用各向同性高斯混合模型的分布丢失的信息（包括降尺度和压缩），并提出了增强的可逆块，以获得高质量/压缩LR图像在一个向前通过。此外，我们设计了一组损失来正则化学习的LR图像并增强可逆性。大量的实验证明了SAIN在标准图像压缩格式（即，JPEG和WebP）。
2023-03-11 cs.CV cs.MM eess.IV
CAMSIC: Content-aware Masked Image Modeling Transformer for Stereo Image Compression
SenseTime（商汤科技）
本文提出CAMSIC立体图像压缩框架，通过内容感知掩码图像建模和无解码器Transformer熵模型同时捕捉空间与视差依赖，在Cityscapes和InStereo2K上以快速编解码速度实现最先进的率失真性能。
2025-02-08 cs.AI cs.CV cs.MM
TED-4DGS: Temporally Activated and Embedding-based Deformation for 4DGS Compression
National Yang Ming Chiao Tung University（国家阳明交通大学）；National Chung Cheng University（国家 Chung Cheng 大学）
TED-4DGS提出了一种基于时间激活和嵌入的4DGS压缩变形方案，通过结合传统3DGS和空间-时间4DGS的优势，实现了高效的率-失真压缩性能。
2025-12-05 cs.CV
CompSplat: Compression-aware 3D Gaussian Splatting for Real-world Video
Kyungpook National University（Kyungpook国立大学）；Adobe Research（Adobe研究院）
CompSplat是一种针对真实世界视频压缩感知的3D高斯点散布框架，通过建模帧级压缩特性来减少帧间不一致性和累积几何误差，实现了在高压缩条件下更高质量的视角合成。
2026-02-10 cs.CV
Compression-aware Training of Deep Networks
Toyota Research Institute（丰田研究院）；EPFL（洛桑联邦理工学院）
近年来，由于神经网络的发展越来越深入，在各种应用领域都取得了很大的进展。不幸的是，这些网络的单元数量巨大，使得它们在计算和内存方面都很昂贵。为了克服这一点，利用深度网络过度参数化的事实，已经提出了几种压缩策略。然而，这些方法通常从已经以标准方式训练的网络开始，而不考虑这样的未来压缩。在本文中，我们建议在训练过程中明确考虑压缩。为此，我们引入了一个正则化器，它鼓励每层的参数矩阵在训练过程中具有低秩。我们表明，在训练过程中考虑压缩使我们能够学习比最先进的压缩技术更紧凑，但至少同样有效的模型。
2017-11-13 cs.CV
Compression-Aware One-Step Diffusion Model for JPEG Artifact Removal
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）
提出CODiff单步扩散模型，通过压缩感知视觉嵌入器和双重学习策略高效去除JPEG伪影，在定量与视觉质量上超越现有方法。
2025-07-13 cs.CV
Camera-Aware Multi-Resolution Analysis (CAMRA) for Raw Sensor Data Compression
University of California, San Diego（加州大学圣地亚哥分校）；University of Dayton（代顿大学）
基于彩色滤光片阵列（CFA）采样图像的小波变换，提出了一种新的无损和有损压缩方案。我们的分析表明，HL和LH子带的小波系数高度相关。因此，我们去相关Mallat小波包分解，以进一步稀疏的系数。此外，我们开发了一个相机处理流水线，用于压缩CFA采样图像，旨在最大限度地提高从压缩CFA采样图像构建的彩色图像的质量。我们验证了我们的理论分析和所提出的压缩方案的性能，使用原始格式捕获的自然场景的图像。实验结果表明，该方法相对于标准和现有的CFA采样图像压缩方案，提高了编码效率。
2017-09-25 cs.CV
CC-4DGS: Computational Deformation and Point-Cloud Compression for Storage-Efficient Dynamic Gaussian Splatting
Hanyang University（汉阳大学）
CC-4DGS是一种存储高效的动态高斯溅射框架，通过计算变形场和规范点云属性压缩，在保持实时渲染性能与相当重建精度的同时，大幅降低了场景存储需求。
2026-09-03 cs.CV
Affinity-aware Compression and Expansion Network for Human Parsing
Megvii（旷视科技）
作为一个细粒度的分割任务，人类句法分析仍然面临着两个挑战：部分之间的模糊性和部分内的不一致性，由于模糊的定义和混淆的关系之间的相似的人体部位。针对这两个问题，本文提出了一种新的\textit{Affinity-aware Compression and Expansion}网络（ACENet），它主要由两个模块组成：局部压缩模块（LCM）和全局扩展模块（GEM）。具体地说，LCM压缩部件相关信息，通过结构骨架点，从额外的骨架分支。它可以减少零件间的干涉，加强歧义零件之间的结构关系。此外，GEM通过结合空间相似度和边界引导，将各零件的语义信息扩展为一个完整的块，有效地提高了零件内部的语义一致性。ACENet在具有挑战性的LIP和Pascal-Person-Part数据集上实现了最先进的性能。特别是，在LIP基准上实现了58.1%的平均IoU。
2020-08-24 cs.CV
Content-Aware GAN Compression
Princeton University（普林斯顿大学）；Adobe Research（Adobe研究院）
生成对抗网络（GANs），例如，StyleGAN 2在各种图像生成和合成任务中发挥着至关重要的作用，但其众所周知的高计算成本阻碍了其在边缘设备上的有效部署。直接应用通用压缩方法在GANs上产生的结果很差，这激发了许多最近的GAN压缩工作。虽然现有的工作主要是加速条件GANs，例如，pix 2 pix和CycleGAN，压缩最先进的无条件GANs很少被探索，更具挑战性。在本文中，我们提出了新的无条件GAN压缩方法。我们首先介绍了专门用于无条件GANs的有效通道修剪和知识蒸馏方案。然后，我们提出了一种新的内容感知方法来指导修剪和蒸馏的过程。通过内容感知，我们可以有效地修剪对感兴趣的内容不重要的频道，例如，人脸，并将我们的蒸馏集中在这些区域，这大大提高了蒸馏质量。在StyleGAN 2和SN-GAN上，我们实现了对最先进的压缩方法的实质性改进。值得注意的是，与全尺寸模型相比，我们将StyleGAN 2的FLOPs减少了11倍，视觉上的图像质量损失可以忽略不计。更有趣的是，当应用于各种图像处理任务时，我们的压缩模型形成了一个更平滑，更好地解开的潜在流形，使其更有效地进行图像编辑。
2021-04-06 cs.CV
Semantic-Aware Implicit Template Learning via Part Deformation Consistency
Korea University（高丽大学）
针对现有仅依赖几何信息的隐式模板学习方法在高变异性物体上变形效果次优的问题，提出基于部件变形一致性的语义感知隐式模板学习框架，引入语义先验与多维度变形一致性正则化，在多项形状对应任务中取得优于基线的性能。
2023-08-23 cs.CV
PPCD-GAN: Progressive Pruning and Class-Aware Distillation for Large-Scale Conditional GANs Compression
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
我们通过利用大规模条件生成对抗网络（GANs）压缩这一具有挑战性的新任务来推进神经网络压缩研究。为此，我们提出了一个逐渐缩小的GAN（PPCD-GAN），通过引入渐进修剪残留块（PP-Res）和类感知蒸馏。PP-Res是传统残差块的扩展，其中每个卷积层后面都有一个可学习的掩码层，以随着训练的进行逐步修剪网络参数。另一方面，类意识的蒸馏，提高了培训的稳定性，通过转移大量的知识，从一个训练有素的教师模型，通过指导性的注意力地图。我们以端到端的方式在一个众所周知的GAN架构上同时训练修剪和蒸馏过程。训练后，所有冗余参数和掩码层都将被丢弃，从而在保持性能的同时产生更轻的网络。在ImageNet 128 x128数据集上，PPCD-GAN在保持更好性能的同时，将参数减少了5.2倍（81%）。
2022-03-16 cs.CV
Vitality-Aware Compression for Efficient Image-to-Shape Diffusion Transformers
KRAFTON AI, Republic of Korea（KRAFTON AI, 韩国）；Amazon, Australia（亚马逊, 澳大利亚）
提出首个针对图像到形状扩散Transformer的压缩方法，通过活力引导的结构化剪枝、自适应量化和微调，在保持几何保真度下实现高达66%的模型尺寸缩减。
2026-09-04 cs.CV
Locality-aware Gaussian Compression for Fast and High-quality Rendering
POSTECH（浦项科技大学）；Seoul National University（首尔大学）
LocoGS利用三维高斯空间相干性，通过局部感知神经场表示和自适应编码方案，在保持高质量渲染的同时实现显著压缩与加速。
2025-03-12 cs.CV
DAN: A Deformation-Aware Network for Consecutive Biomedical Image Interpolation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, Chinese Academy of Sciences University（中国科学院大学人工智能学院）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center of Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
连续生物医学图像之间生物组织的连续性使得视频插值算法能够恢复生物医学图像中常见的大面积缺陷和撕裂。然而，生物医学图像之间的噪声和模糊差异，大变形和漂移，使任务具有挑战性。为了解决这个问题，本文引入了一种变形感知网络，根据生物组织的连续性来合成每个像素。首先，我们开发了一个用于连续生物医学图像插值的变形感知层，该层隐式地采用全局感知变形。其次，我们提出了一个自适应的风格平衡损失，考虑到连续的生物医学图像的风格差异，如模糊和噪声。在变形感知模块的指导下，我们从全局域自适应地合成每个像素，进一步提高了像素合成的性能。在基准数据集上的定量和定性实验表明，该方法优于现有的方法。
2020-04-23 cs.CV
ETC: Extreme Token Compression via Task-aware Visual Information Distillation in VLMs
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感与信息工程学院）
提出ETC框架，基于变分信息蒸馏原理，在减少输入令牌数量时最小化任务损失，通过文本-图像交叉注意力加权视觉特征并引入变分信息蒸馏，实现单令牌压缩下仍保持强任务性能。
2026-07-24 cs.CV
Tracking-Aware Deformation Field Estimation for Non-rigid 3D Reconstruction in Robotic Surgeries
UM-SJTU Joint Intuitute, Shanghai Jiao Tong University（上海交通大学UM-SJTU联合学院）
针对机器人手术中器械-组织交互的3D形变感知问题，提出TADF框架，通过基础视觉模型跟踪软组织关键点获取2D形变场，并融入神经隐式重建网络以同时实现3D网格重建与组织形变估计，在两个公开数据集上精度优于现有方法。
2025-03-04 cs.CV
Pop-Out Motion: 3D-Aware Image Deformation via Learning the Shape Laplacian
KAIST（韩国科学技术院）；Imperial College London（帝国理工学院）
我们提出了一个框架，可以变形的对象在2D图像中，因为它存在于3D空间。大多数现有的用于3D感知图像操纵的方法限于（1）仅改变全局场景信息或深度，或者（2）操纵特定类别的对象。在本文中，我们提出了一种三维感知的图像变形方法，形状类别和变形类型的限制最小。虽然我们的框架利用2D到3D重建，我们认为，重建是不够的，由于脆弱性的拓扑错误的现实变形。因此，我们建议采取基于监督学习的方法来预测表示为点云的3D重建的底层体积的形状拉普拉斯算子。给定使用预测形状拉普拉斯算子和用户定义的变形控制柄（例如，关键点），我们获得有界双调和权重来模拟合理的基于图像变形的图像。在实验中，我们提出了我们的变形的2D字符和穿着的人的图像的结果。我们还定量地表明，与替代方法相比，我们的方法可以产生更准确的变形权重（即，网格重建和点云拉普拉斯方法）。
2022-03-29 cs.CV
Ultron: Enabling Temporal Geometry Compression of 3D Mesh Sequences using Temporal Correspondence and Mesh Deformation
针对任意拓扑三维网格序列，本文提出Ultron，通过帧间时间对应、网格变形、质量评估及熵与角表编码实现高效时间几何压缩，并达到最先进性能。
2024-09-08 cs.CV cs.GR
Adaptive-VoCo: Complexity-Aware Visual Token Compression for Vision-Language Models
Sun Yat-sen University（中山大学）
Adaptive-VoCo通过动态压缩视觉标记提升视觉-语言模型的效率与鲁棒性
2025-12-20 cs.CV
Context-aware Deep Feature Compression for High-speed Visual Tracking
Seoul National University（首尔国立大学）；Imperial College London（帝国理工学院）；University of Birmingham（伯明翰大学）；NAVER Corp.（NAVER公司）
我们提出了一个新的上下文感知相关滤波器为基础的跟踪框架，以实现高的计算速度和国家的最先进的实时跟踪器之间的性能。对高计算速度的主要贡献在于所提出的深度特征压缩，该压缩是通过利用多个专家自动编码器的上下文感知方案实现的;在我们的框架中，上下文是指根据外观模式的跟踪目标的粗略类别。在预训练阶段，每个类别训练一个专家自动编码器。在跟踪阶段，为给定目标选择最佳专家自动编码器，并且仅使用该自动编码器。为了实现高跟踪性能的压缩特征图，我们引入了外部去噪过程和一个新的正交性损失项的预训练和微调的专家自动编码器。我们通过大量的实验来验证所提出的上下文感知框架，在这些实验中，我们的方法实现了与无法实时运行的最先进的跟踪器相当的性能，同时以超过100 fps的速度运行。
2018-03-28 cs.CV
Balancing Saliency and Coverage: Semantic Prominence-Aware Budgeting for Visual Token Compression in VLMs
Interdisciplinary Program in AI, Seoul National University（首尔国立大学人工智能跨学科项目）；Department of Electrical and Computer Engineering, Seoul National University（首尔国立大学电子与计算机工程系）；Department of Artificial Intelligence, Chung-Ang University（成均馆大学人工智能系）
本文提出PromPrune框架，通过语义显著性感知预算分配和两阶段选择流程，在视觉令牌压缩中平衡局部显著性保留与全局覆盖，提升性能并减少计算量。
2026-03-16 cs.CV
Head-Aware KV Cache Compression for Efficient Visual Autoregressive Modeling
HACK通过面向头部的KV缓存压缩技术，有效降低VAR模型的注意力复杂度和内存开销，实现70%的缓存压缩率和1.57倍的推理加速。
2025-12-07 cs.CV
Neural Video Compression Based on Deformable Temporal Alignment and Difference-aware Fusion
Google（谷歌）；Nanjing University（南京大学）
针对神经视频压缩中时间上下文易受误差干扰的问题，提出结合可变形时间对齐与差异感知融合的方法，提升了率失真性能。
2026-09-04 cs.AI cs.CV
CAT: Compression-Aware Training for bandwidth reduction
Intel – Artificial Intelligence Products Group (AIPG)（英特尔人工智能产品事业部）；Technion – Israel Institute of Technology（以色列理工学院）
卷积神经网络（CNN）已经成为解决视觉处理任务的主要神经网络架构。阻碍CNN普遍用于推理的主要障碍之一是其相对较高的内存带宽要求，这可能是硬件加速器中的主要能量消耗和吞吐量瓶颈。因此，有效的特征图压缩方法可以导致显著的性能增益。受量化感知训练方法的启发，我们提出了一种压缩感知训练（CAT）方法，该方法涉及以一种允许在推理过程中更好地压缩特征图的方式训练模型。我们的方法训练模型以实现低熵特征映射，从而使用经典的变换编码方法在推理时实现高效压缩。CAT显着提高了国家的最先进的结果报告的量化。例如，在ResNet-34上，我们实现了73.1%的准确率（从基线下降0.2%），每个值的平均表示仅为1.79位。参考实现在https://github.com/CAT-teams/CAT上提供
2019-09-25 cs.CV cs.LG
Uncertainty-Aware Deep Video Compression with Ensembles
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research Asia（微软亚洲研究院）
本文针对深度视频压缩中运动估计和量化的不确定性问题，提出基于深度集成的不确定性感知模型，并引入集成感知损失和对抗训练，在1080p序列上相比DVC Pro节省超过20%码率。
2024-03-28 cs.CV eess.IV
Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations
National Taiwan University（国立台湾大学）
卷积神经网络（CNN）在广泛的领域中取得了卓越的性能。然而，激活的密集存储器访问引入了相当大的能量消耗，阻碍了CNN在资源受限的边缘设备上的部署。激活压缩中的现有工作提出变换特征图以获得更高的可压缩性，从而实现降维。然而，在激进的降维的情况下，这些方法导致严重的精度下降。为了提高分类精度和压缩比之间的权衡，我们提出了一个压缩感知投影系统，它采用了可学习的投影来补偿重建损失。此外，贪婪的选择度量被引入到优化逐层压缩比分配，同时考虑精度和#比特减少。测试结果表明，在MobileNetV 2/ResNet 18/VGG 16上，本文提出的方法有效地减少了2.91倍~ 5.97倍的内存访问，而精度下降可以忽略不计。
2021-10-17 cs.CV cs.LG eess.SP
Content Adaptive and Error Propagation Aware Deep Video Compression
Shanghai Jiao Tong University（上海交通大学）；The University of Sydney（悉尼大学）
近年来，基于学习的视频压缩方法受到越来越多的关注。然而，以前的作品遭受的错误传播，由于在帧间预测编码的重建误差的积累。同时，以前的基于学习的视频编解码器也不能适应不同的视频内容。为了解决这两个问题，我们提出了一个内容自适应和错误传播意识的视频压缩系统。具体来说，我们的方法采用了联合训练策略，考虑多个连续帧的压缩性能，而不是一个单一的帧。基于学习的长期时间信息，我们的方法有效地消除了重建帧中的错误传播。更重要的是，我们在系统中设计了一个在线编码器更新方案，而不是使用传统压缩系统中的手工编码模式。该方法根据率失真准则更新编码器的参数，但在推理阶段保持解码器不变。因此，编码器是适应不同的视频内容，并通过减少训练和测试数据集之间的域间隙，实现更好的压缩性能。我们的方法简单而有效，在基准数据集上优于最先进的基于学习的视频编解码器，而不会增加模型大小或降低解码速度。
2020-03-25 cs.CV eess.IV
EAST: Encoding-Aware Sparse Training for Deep Memory Compression of ConvNets
Politecnico di Torino（都灵理工大学）
在具有有限非易失性存储器空间的微小端节点上实现深度卷积神经网络（ConvNets）需要能够缩小占用空间但保持预测准确性的智能压缩策略。存在用于此目的的许多策略，从那些利用模型的拓扑或算术精度的策略（例如，修剪和量化）到那些操作模型不可知压缩的策略（例如，权重编码）。内存约束越严格，这些技术单独无法满足要求的可能性就越高，因此必须在不同优化之间进行更多的感知和合作。这项工作通过引入EAST（编码感知稀疏训练）来解决这个问题，EAST是一种新型的内存约束训练过程，可以引导量化的ConvNets进行深度内存压缩。EAST实现了一种自适应组修剪，旨在最大限度地提高权重编码方案（本工作中的LZ 4算法）的压缩率。如果与现有的方法相比，EAST满足较低的稀疏性的内存约束，从而确保更高的精度。在部署在低功耗微控制器（ARM Cortex-M4）上的最先进的ConvNet（ResNet-9）上进行的结果验证了该提议。
2019-12-20 cs.CV cs.LG stat.ML
The Need for Medically Aware Video Compression in Gastroenterology
Verily Life Sciences（Verily生命科学公司）；Google Research（谷歌研究院）
压缩对于存储和传输医疗视频至关重要，但压缩对下游医疗任务的影响往往被忽视。此外，系统实际上依赖于标准视频编解码器，其在医学相关帧或帧的部分之间天真地分配比特。在这项工作中，我们提出了一个实证研究的一些经典的编解码器上的胃肠病视频的不足之处，并激励我们正在进行的工作，训练学习压缩模型结肠镜检查视频。我们发现，两个最常见的经典编解码器，H264和HEVC，压缩医学相关的帧统计上显着不如医学无关的，息肉检测器的性能迅速下降，随着压缩的增加。我们解释了一个学习的压缩器如何将比特分配给重要的区域，并允许检测性能更优雅地下降。我们提出的许多技术推广到胃肠病学以外的医学视频领域
2022-11-02 cs.CV cs.LG eess.IV
TVRN: Invertible Neural Networks for Compression-Aware Temporal Video Rescaling
MOE Key Laboratory of Brain-Inspired Intelligent Perception and Cognition（教育部脑科学与智能感知认知重点实验室）；University of Science and Technology of China（中国科学技术大学）；Information Science and Technology Institution（信息科学与技术研究所）；MCC Lab（MCC实验室）
本文提出TVRN框架，通过可逆架构和学习到的排名策略，解决压缩感知下的时间视频重采样问题，提升重建质量。
2026-05-15 cs.CV eess.IV
Can We Remove the Ground? Obstacle-aware Point Cloud Compression for Remote Object Detection
Case Western Reserve University（凯斯西储大学）；University of California Riverside（加利福尼亚大学河滨分校）；University of Turin（都灵大学）
本文提出轻量级障碍物感知的柱体地面移除算法PGR，通过滤除对目标识别无上下文贡献的地面点，在不牺牲3D检测性能的前提下显著提升点云压缩率。
2024-10-01 cs.CV cs.RO
LatentLLM: Attention-Aware Joint Tensor Compression
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
针对LLM/LMM资源消耗大的问题，提出注意力感知的联合张量分解框架，将模型转为降维潜在结构，在降低维度时显著提升压缩模型的准确性，并在多模态推理等基准上验证了优势。
2025-05-23 cs.AI cs.CL cs.CV
4DGC: Rate-Aware 4D Gaussian Compression for Efficient Streamable Free-Viewpoint Video
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作Medianet创新中心）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）
针对动态3DGS存储传输难、现有方法忽略运动信息与率失真权衡的问题，提出码率感知4D高斯压缩框架4DGC，通过运动感知表示与端到端压缩方案联合优化，在多数据集上实现更优率失真性能。
2025-03-24 cs.CV eess.IV
3DZip: Spatial-Aware Feature Diversity-Guided Token Compression for 3D Question Answering
Pusan National University（釜山国立大学）
本文针对3D视觉问答中Token压缩忽略空间特性的问题，提出三阶段框架3DZip，在三个基准上以128个Token保留94.7%性能、提速1.92倍，优于现有方法。
2026-08-04 cs.CV cs.LG
Topology-Aware Network Pruning using Multi-stage Graph Embedding and Reinforcement Learning
Iowa State University（爱荷华州立大学）；Technical University of Darmstadt（达姆施塔特工业大学）
模型压缩是在功率和内存受限的资源上部署深度神经网络（DNN）的基本技术。然而，现有的模型压缩方法往往依赖于人类的专业知识，并专注于参数的局部重要性，忽略了DNN中丰富的拓扑信息。在本文中，我们提出了一种新的多阶段图嵌入技术的基础上图神经网络（GNNs）识别DNN拓扑结构，并使用强化学习（RL）找到一个合适的压缩策略。我们进行了资源受限（即，FLOPs）通道修剪，并将我们的方法与最先进的模型压缩方法进行了比较。我们在从典型到移动友好网络的各种模型上评估了我们的方法，例如ResNet系列，VGG-16，MobileNet-v1/v2和ShuffleNet。结果表明，我们的方法可以实现更高的压缩比与最小的微调成本，但产生出色的和有竞争力的性能。
2022-07-01 cs.CV cs.LG
Compression-aware Continual Learning using Singular Value Decomposition
University of Tübingen（蒂宾根大学）；Yale University（耶鲁大学）
我们提出了一种基于压缩的连续任务学习方法，可以动态地增长一个神经网络。从最近的模型压缩技术的启发，我们采用压缩感知训练和执行低秩权重近似使用奇异值分解（SVD），以实现网络压缩。通过鼓励网络学习低秩权重滤波器，我们的方法以最小的性能下降实现了压缩表示，而不需要昂贵的微调。具体来说，我们使用SVD分解权重过滤器，并以其分解形式在增量任务上训练网络。这样的因式分解允许我们直接在奇异值上施加稀疏诱导正则化器，并允许我们为每个任务使用更少的参数。我们进一步介绍了一种新的共享表征空间为基础的学习任务之间。这促进了传入的任务仅在先前学习的权重过滤器之上学习剩余的任务特定信息，并且极大地有助于在固定容量约束下的学习。我们的方法在三个基准数据集上的性能明显优于之前的持续学习方法，在20分裂CIFAR-100，miniImageNet和5序列数据集上的准确率分别提高了10.3%，12.3%，15.6%。此外，我们的方法产生的压缩模型具有约3.64倍，2.88倍，与基线个体任务模型相比，上述数据集上的参数数量分别少5.91倍。我们的源代码可以在https://github.com/pavanteja295/CACL上找到。
2020-09-14 cs.CV cs.LG
Towards Compact and Robust DNNs via Compression-aware Sharpness Minimization
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出C-SAM框架，通过压缩感知锐度最小化提升模型紧凑性与鲁棒性，实验显示鲁棒性提升达42%
2026-01-28 cs.AI cs.CV
OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs
Tsinghua University（清华大学）；ByteDance（字节跳动）；Department of Engineering, University of Cambridge（剑桥大学工程系）
提出OmniMem，一种针对音视频LLM的流式记忆压缩框架，通过模态感知分配和扰动感知选择压缩KV缓存，在保持长视频理解的同时减少内存，在多个基准上提升2-4%准确率。
2026-05-26 cs.AI cs.CV cs.SD
HALOC: Hardware-Aware Automatic Low-Rank Compression for Compact Neural Networks
Rutgers University（罗格斯大学）；Indiana University（印第安纳大学）；Washington State University（华盛顿州立大学）
本文提出HALOC框架，通过可微分的硬件感知架构搜索自动确定逐层低秩压缩秩值，在显著减少FLOPs的同时提升模型精度，并在多种硬件平台上实现实际加速。
2023-02-02 cs.AI cs.CV cs.LG
NeuralMLS: Geometry-Aware Control Point Deformation
Tel-Aviv University（特拉维夫大学）；University of Chicago（芝加哥大学）
我们介绍NeuralMLS，一种基于空间的变形技术，由一组位移控制点指导。我们利用神经网络的力量，注入到变形参数的基本形状几何。我们的技术的目标是使一个现实和直观的形状变形。我们的方法是建立在移动最小二乘（MLS），因为它最小化给定的控制点位移的加权和。传统上，每个控制点对空间中每个点的影响（即，加权函数）是使用反距离几何学来定义的。在这项工作中，我们选择学习加权函数，通过训练一个神经网络的控制点，从一个单一的输入形状，并利用先天的光滑神经网络。我们的几何感知控制点变形与表面表示和质量无关;它可以应用于点云或网格，包括非流形和断开的表面汤。我们表明，我们的技术有利于直观的分段平滑变形，这是非常适合制造的对象。我们展示了我们的方法相比，现有的表面和基于空间的变形技术，定量和定性的优势。
2022-06-12 cs.CV cs.GR cs.LG
Context-Aware Neural Video Compression on Solar Dynamics Observatory
West Virginia University（西弗吉尼亚大学）；NASA Goddard Space Flight Center（美国国家航空航天局戈达德太空飞行中心）
本文提出一种面向SDO太阳图像的上下文感知神经视频压缩方法，通过FLaWin Transformer模块高效利用时空冗余，在率失真性能上超越H.264和H.265。
2023-09-19 astro-ph.SR cs.CV cs.IT
Differentiable Microscopy for Content and Task Aware Compressive Fluorescence Imaging
Harvard University（哈佛大学）
吞吐量和图像质量之间的权衡是显微镜中的固有挑战。为了提高吞吐量，压缩成像对图像信号进行欠采样;然后通过求解正则化逆问题来计算重建图像。与传统正则化器相比，基于深度学习的方法在压缩和图像质量方面取得了更大的成功。然而，在采集过程中的信息损失设置压缩边界。因此，在不损害重建质量的情况下进一步改进压缩是一个挑战。在这项工作中，我们提出了可微分压缩荧光显微镜（$\partial μ$），其中包括一个现实的可推广的前向模型与学习的物理参数（如照明模式），和一个新的物理启发的逆模型。级联模型是端到端可微的，并且可以通过训练数据学习最优压缩采样方案。利用我们的模型，我们对各种压缩显微镜配置进行了数千次数值实验。我们发现，学习采样编码的重要信息的标本在显微镜的照明领域允许更高的压缩高达$\times 1024$。我们进一步利用我们的任务感知压缩框架。实验结果表明，优越的性能上的细胞分割任务。
2023-03-04 cs.CV eess.IV physics.optics
