Topic-VQ-VAE: Leveraging Latent Codebooks for Flexible Topic-Guided Document Generation
Chung-Ang University（中央大学）
本文提出 Topic-VQ-VAE，将 VQ-VAE 隐码本解释为概念词袋以构建生成式主题模型，可通过 BoW 与自回归生成等方式揭示数据结构并支持灵活的主题引导文档生成。
2024-01-21 cs.AI cs.CL cs.LG
Generative Oversampling for Imbalanced Data via Majority-Guided VAE
University of Electronic Science and Technology of China（电子科技大学）；Huawei Technologies（华为技术有限公司）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Lab（鹏城实验室）
不平衡数据学习是深度学习中的一个挑战性问题。过采样是一种广泛使用的重新平衡训练数据的采样分布的技术。然而，现有的过采样方法大多只利用少数类的类内信息对数据进行扩充，而忽略了与多数类的类间关系，容易产生过拟合，尤其是当不平衡率较大时。为了解决这个问题，我们提出了一种新的过采样模型，称为多数导向VAE~（MGVAE），它产生新的少数样本的指导下，基于多数的先验。通过这种方式，新生成的少数样本可以继承多数样本的多样性和丰富性，从而减轻下游任务中的过拟合。此外，为了防止模型在有限的数据下崩溃，我们首先在足够多的多数样本上预训练MGVAE，然后基于少数样本进行弹性权重合并（EWC）正则化微调。在基准图像数据集和真实世界表格数据上的实验结果表明，MGVAE在下游分类任务中与其他过采样方法相比取得了有竞争力的改进，证明了该方法的有效性。
2023-02-14 cs.LG
Multi Codec Discrete Diffusion Model for Text Guided Speech Inpainting and Editing
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；University of Haifa（海法大学）
该研究提出基于分层编解码器令牌的离散扩散框架SIEDD，其核心架构HiCoDD结合音素级约束等技术，在RealEdit基准中实现最优语音编辑性能，且优于自回归基线，显著提升上下文保留的语音重建与编辑效果。
2026-08-10 cs.CL cs.LG cs.SD
Taming Audio VAEs via Target-KL Regularization
Adobe Research（Adobe研究院）
本文提出通过压缩率调节和目标KL正则化训练音频VAE，以解决在音频生成任务中VAE正则化带来的过正则化与欠正则化之间的平衡问题，并构建了音频VAE的率失真曲线。
2026-05-16 cs.LG cs.SD eess.AS
Enhancing Interpretability in Generative Modeling: Statistically Disentangled Latent Spaces Guided by Generative Factors in Scientific Datasets
本文提出Aux-VAE架构，在标准VAE框架内通过辅助变量引入先验统计知识，以最小损失函数修改实现潜空间解耦，并在天文模拟等多个数据集上验证了其有效性。
2025-06-30 cs.LG stat.ML
Investigating Disentanglement in a Phoneme-level Speech Codec for Prosody Modeling
Innoetics, Samsung Electronics（Innoetics，三星电子）；Mobile eXperience Business, Samsung Electronics（移动体验业务部门，三星电子）
本研究修改RVQ-VAE模型使其在音素级运行，通过语言表征条件约束与全局说话人嵌入分离语音和说话人信息，验证了其离散潜在表征的高解耦度与韵律建模能力。
2024-09-13 cs.CL cs.LG cs.SD
Behavior-Centric Extraction of Scenarios from Highway Traffic Data and their Domain-Knowledge-Guided Clustering using CVQ-VAE
Technische Hochschule Ingolstadt（因斯布鲁克技术大学）；AUDI AG（奥迪公司）；Technische Universität München（慕尼黑技术大学）
本文提出基于场景-规范概念的标准场景提取方法和领域知识引导的聚类方法，通过highd数据集实验验证了其在高速公路数据中可靠提取场景并整合领域知识的能力。
2026-05-11 cs.CV cs.LG
GS-Codec: A Gaussian-Splatting Bottleneck for Neural Audio Coding
School of Electrical and Computer Engineering（电气与计算机工程学院）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
GS-Codec提出用参数化信号分解替代量化器作为神经音频编码瓶颈，通过高斯溅射拟合一维潜在表示，实现训练后比特率控制，性能媲美EnCodec和DAC。
2026-10-06 cs.AI cs.LG cs.SD
A Testable Certificate for Constant Collapse in Teacher-Guided VAEs
Independent Researcher（独立研究者）；school of computing, Southeast University（计算机学院，东南大学）
本文研究了教师引导VAE中输入无关的常数坍缩问题，提出了一种可测量的证书，通过教师互信息界定坍缩边界，并在实验中验证了证书的有效性。
2026-05-07 cs.AI cs.LG
Deep Generative Video Compression
Dartmouth College（达特茅斯学院）；Disney Research LA（迪士尼研究院洛杉矶）；DisneyResearch|Studios（迪士尼研究工作室）；University of California, Irvine（加州大学欧文分校）
深度生成模型在图像压缩中的应用已经使传统编解码器获得了令人印象深刻的性能提升，而神经视频压缩仍处于起步阶段。在这里，我们提出了一种端到端的深度生成建模方法来压缩时间序列，重点是视频。我们的方法建立在变分自编码器（VAE）模型的顺序数据，并结合他们最近的工作神经图像压缩。该方法共同学习将原始序列转换为低维表示，以及根据序列VAE的预测对该表示进行离散化和熵编码。对来自不同复杂性和多样性的公共数据集的小视频进行的率失真评估表明，我们的模型在对通用视频内容进行训练时会产生有竞争力的结果。在专门的内容上训练模型时，可以实现极高的压缩性能。
2019-11-01 cs.CV cs.LG eess.IV
Confidence-Guided Data Augmentation for Improved Semi-Supervised Training
University of Louisville（路易斯维尔大学）
我们提出了一种新的策略，以提高图像分类的准确性和鲁棒性。首先，我们训练基线CNN模型。然后，我们通过识别所有错误分类的样本来识别特征空间中具有挑战性的区域，并以低置信度值正确分类样本。这些样本然后用于训练变分自编码器（VAE）。接下来，VAE用于生成合成图像。最后，生成的合成图像与原始标记图像结合使用，以半监督方式训练新模型。在STL 10和CIFAR-100等基准数据集上的实验结果表明，与仅使用可用数据的完全监督基线方法相比，合成生成的样本可以进一步使训练数据多样化，从而改善图像分类。
2023-02-22 cs.CV cs.LG
GLSO: Grammar-guided Latent Space Optimization for Sample-efficient Robot Design Automation
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）；Department of Mechanical Engineering（机械工程系）
机器人已被用于各种自动化，但机器人的设计仍然主要是一项手工任务。我们寻求提供设计工具来自动化机器人本身的设计。机器人设计自动化的一个重要挑战是设计搜索空间庞大而复杂，随着组件数量呈指数级增长，使得优化困难且样本效率低下。在这项工作中，我们提出了语法引导的潜在空间优化（GLSO），一个框架，通过训练图变分自编码器（VAE）学习图结构化设计空间和连续潜在空间之间的映射，将设计自动化转换为低维连续优化问题。这种转换允许在连续的潜在空间中进行优化，其中样本效率可以通过应用诸如贝叶斯优化的算法来显著提高。GLSO使用图形语法规则和机器人世界空间特征指导VAE的训练，使得学习的潜在空间集中于有效机器人，并且更容易用于优化算法探索。重要的是，经过训练的VAE可以重复使用，以搜索专门用于多个不同任务的设计，而无需重新训练。我们评估GLSO通过设计机器人的一组运动任务的模拟，并证明我们的方法优于相关国家的最先进的机器人设计自动化方法。
2022-09-23 cs.LG cs.RO
Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization
研究压缩短文本生成中质量断点问题，通过阶段式验证协议，在TinyStories案例中分离编解码器与潜在生成器影响，发现编解码器保真度是质量瓶颈，提出可重复使用的阶段式诊断方法，为质量问题研究提供新思路。
2026-07-28 cs.CL cs.LG
Encoding Event-Based Data With a Hybrid SNN Guided Variational Auto-encoder in Neuromorphic Hardware
University of California, Irvine（加州大学欧文分校）；Accenture Labs（埃森哲实验室）；Forschungszentrum Jülich（于利希研究中心）
具有学习能力的神经形态硬件可以适应新的实时数据。虽然脉冲神经网络（SNN）的模型现在可以使用梯度下降进行训练，以达到与等效的传统神经网络相当的准确性，但这种学习通常依赖于外部标签。然而，现实世界的数据是未标记的，这可能使监督方法不适用。为了解决这个问题，我们提出了一种混合制导变分自编码器（VAE），它将动态视觉传感器（DVS）感知到的基于事件的数据编码为使用SNN的潜在空间表示。这些表示可以用作嵌入来测量数据相似性并预测真实数据中的标签。我们表明，混合引导VAE在DVSGesture数据集上实现了87%的分类准确率，并且可以将稀疏的噪声输入编码为可解释的潜在空间表示，通过T-SNE图可视化。我们还实现了神经形态硬件模型的编码器组件，并讨论了我们的算法，使实时学习从现实世界的事件数据的潜力。
2022-03-08 cs.LG cs.NE
GUIDE-VAE: Advancing Data Generation with User Information and Pattern Dictionaries
Department of Electrical Sustainable Energy（电气可持续能源系）
本文提出GUIDE-VAE，一种基于用户嵌入和模式词典的生成模型，通过整合用户信息和复杂特征依赖性，提升多用户数据集下的生成性能和样本真实性。
2026-05-18 cs.LG stat.ML
Latent-Domain Predictive Neural Speech Coding
School of Information and Communication Engineering, Communication University of China（信息与通信工程学院，中国传媒大学）；Microsoft Research Asia（微软亚洲研究院）；State Key Laboratory of Media Convergence and Communication, Communication University of China（媒体融合与传播国家重点实验室，中国传媒大学）
提出TF-Codec，将潜在域预测编码引入VQ-VAE，以低比特率实现高质量低延迟神经语音编码，优于Opus和EVS。
2025-10-15 cs.LG cs.SD eess.AS
Enhancing Generative Molecular Design via Uncertainty-guided Fine-tuning of Variational Autoencoders
Texas A&M University（德克萨斯农工大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出了一种基于主动学习的模型不确定性引导微调方法，通过在变分自编码器参数的低维活跃子空间中量化不确定性并结合黑盒优化，有效提升了生成式分子设计在下游属性优化任务中的表现。
2024-05-31 cs.LG q-bio.BM q-bio.QM
VQalAttent: a Transparent Speech Generation Pipeline based on Transformer-learned VQ-VAE Latent Space
Rowan University（罗文大学）
本文提出轻量级语音生成模型VQalAttent，通过VQ-VAE压缩音频频谱图并结合仅解码器Transformer学习离散潜在表示，在有限计算资源下生成可理解语音，并为更大规模商用生成模型提供可解释的改进指导。
2024-11-22 cs.LG eess.AS
Knowledge-Guided Time-Varying Causal Inference for Arctic Sea Ice Dynamics
University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
本文提出KGCM-VAE模型，通过物理关系生成时变连续处理，结合MMD平衡潜在空间分布，提升SSH对海冰厚度的影响估计，实验证明其在预测海冰厚度响应和物理参数敏感性分析中的优越性。
2026-07-24 cs.AI cs.LG
EGIC: Enhanced Low-Bit-Rate Generative Image Compression Guided by Semantic Segmentation
Technical University of Munich（慕尼黑工业大学）；University of Applied Sciences Landshut（兰茨胡特应用技术大学）；TU Wien（维也纳工业大学）
EGIC通过语义分割引导判别器和输出残差预测，实现单模型高效遍历失真-感知曲线，在低比特率下性能优于扩散和GAN方法，接近VTM-20.0。
2024-07-16 cs.CV cs.LG eess.IV
Enhancing Variational Autoencoders with Smooth Robust Latent Encoding
Korea University（韩国大学）；Microsoft（微软）；KAIST（韩国科学技术院）
提出SRL-VAE对抗训练框架，通过平滑潜在空间并正则化原始表示，在最小计算开销下同时提升预训练VAE的生成质量与鲁棒性，实验证明其在图像重建、编辑及对抗攻击下均有效。
2025-04-24 cs.AI cs.CR cs.LG
Improving black-box optimization in VAE latent space using decoder uncertainty
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
变分自编码器的潜在空间中的优化是一种有希望的方法，用于生成最大化昂贵的黑盒属性（例如，分子生成中的药物相似性，算术表达式的函数近似）。然而，现有的方法缺乏鲁棒性，因为它们可能决定探索在训练期间没有数据可用的潜在空间的区域，并且解码器可能不可靠，导致生成不切实际或无效的对象。我们建议利用解码器的认知不确定性来指导优化过程。但这并不是微不足道的，因为我们认为在高维和结构化设置中对不确定性的天真估计会导致高估计方差。为了解决这个问题，我们引入了一个基于重要性采样的估计，提供了更强大的估计认知不确定性。我们的不确定性引导优化方法不需要修改模型架构，也不需要修改训练过程。它生成的样本在黑盒目标和生成样本的有效性之间具有更好的权衡，有时同时改善两者。我们说明了这些优势，在几个实验设置在数字生成，算术表达式近似和药物设计的分子生成。
2021-06-30 cs.LG stat.ML
Counterfactual Explanations in Medical Imaging: Exploring SPN-Guided Latent Space Manipulation
Johannes Gutenberg University Mainz（法兰克福-主茨大学）
本文提出用 SPN 建模半监督 VAE 潜空间并引导反事实优化，使医学影像反事实同时贴近原数据与目标类别分布，且在 cheXpert 上验证其效果。
2025-07-25 cs.AI cs.LG
Guided Image Generation with Conditional Invertible Neural Networks
Visual Learning Lab Heidelberg（海德堡视觉学习实验室）
在这项工作中，我们解决了自然图像生成的任务由条件输入引导。我们介绍了一种新的架构称为条件可逆神经网络（cINN）。cINN将纯生成式INN模型与无约束前馈网络相结合，有效地将条件输入预处理为有用的特征。cINN的所有参数都通过稳定的、基于最大似然的训练过程进行联合优化。通过构造，与例如cGAN相比，cINN不经历模式坍塌并且生成不同的样本。与此同时，我们的模型产生清晰的图像，因为不需要重建损失，与VAE相比。我们证明了这些属性的任务MNIST数字生成和图像着色。此外，我们利用我们的双向cINN架构来探索和操纵潜在空间的涌现属性，例如以直观的方式改变图像风格。
2019-07-10 cs.CV cs.LG
Semi-supervised and unsupervised learning for health indicator extraction from guided waves in aerospace composite structures
本文提出半监督和无监督学习方法，用于从引导波中提取航空航天复合结构的健康指标，通过多领域信号处理提升检测性能。
2026-01-04 cs.CE cs.LG eess.SP
Learning disentangled representations for explainable chest X-ray classification using Dirichlet VAEs
University of Leeds（利兹大学）
本研究探讨了使用狄利克雷变分自编码器（DirVAE）学习解开的胸部X射线（CXR）图像的潜在表示。我们的工作假设是，分布稀疏性，由狄利克雷先验促进，将鼓励解开CXR图像的多标签分类的复杂任务的特征学习。使用CheXpert数据库中的CXR图像对DirVAE进行训练，并通过实施辅助多标签分类任务来研究DirVAE模型学习的多模态潜在表示的预测能力，以期根据类特定特征强制分离潜在因素。使用DirVAE学习的潜在空间的预测性能和可解释性分别进行了定量和定性评估，并与标准高斯先验VAE（GVAE）进行比较。我们介绍了一种新的方法，可解释的多标签分类，我们进行梯度引导的潜在遍历为每个类的兴趣。研究结果表明，DirVAE是能够解开潜在的因素到类特定的视觉功能，一个属性不提供的GVAE，并实现了边际增长的预测性能相对于GVAE。我们生成的视觉示例表明，我们的可解释性方法在应用于训练的DirVAE时，能够突出显示CXR图像中与感兴趣的类别临床相关的区域，此外，还可以识别分类依赖于虚假特征相关性的情况。
2023-02-06 cs.AI cs.CV cs.LG
AI-guided inverse design and discovery of recyclable vitrimeric polymers
University of Washington（华盛顿大学）；Delft University of Technology（代尔夫特理工大学）；Microsoft Research（微软研究院）
本文结合分子动力学模拟与新型图变分自编码器，构建百万级类玻璃高分子数据集，实现以目标玻璃化转变温度为导向的逆向设计，并成功合成验证了具有自修复和可流动性的新型可持续类玻璃高分子。
2024-09-06 cond-mat.mtrl-sci cs.LG
Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space
FUJITSU LABORATORIES LTD.（富士通实验室有限公司）；Fujitsu R&D Center Co., Ltd.（富士通研发中心有限公司）
为了分析现实世界中的高维和复杂数据，诸如变分自编码器（VAE）的深度生成模型将数据嵌入低维空间（潜在空间）中，并在潜在空间中学习概率模型。然而，他们很难从潜在空间中准确地再现输入空间中的概率分布函数（PDF）。如果嵌入是等距的，这个问题可以解决，因为PDF的关系可以变得易于处理。为了实现等距属性，我们提出了率失真优化指导的自动编码器的启发正交变换编码。我们证明了该方法具有以下性质：（i）输入空间和欧氏隐空间之间的雅可比矩阵形成了一个常尺度的正交系统，可以实现等距数据嵌入;（ii）两个空间中PDF的关系可以成为一个易于处理的关系，如比例关系。此外，我们的方法在四个公共数据集的无监督异常检测中优于最先进的方法。
2020-08-31 cs.LG stat.ML
Pre-training Feature Guided Diffusion Model for Speech Enhancement
University of Oxford（牛津大学）
针对现有语音增强模型的局限，本文提出预训练特征引导的扩散模型，结合VAE频谱特征、预训练引导与DDIM采样，在不同SNR数据集上实现更优效率、鲁棒性和SOTA性能。
2024-06-11 cs.AI cs.LG cs.SD
Sculpting Features from Noise: Reward-Guided Hierarchical Diffusion for Task-Optimal Feature Transformation
Arizona State University（亚利桑那州立大学）；National University of Singapore（新加坡国立大学）
针对现有特征变换方法组合空间大、易陷局部最优的问题，提出DIFFT框架，将特征变换转为奖励引导生成任务，结合VAE、LDM与半自回归解码器，在14个基准上精度、鲁棒性优于SOTA且耗时更低。
2025-05-21 cs.LG
Pretrained-Guided Conditional Diffusion Models for Microbiome Data Analysis
School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院）；College of Nursing Health Sciences, Yunnan Open University（云南开放大学护理与健康科学学院）
针对微生物组数据缺失且现有插补方法未充分利用患者临床信息的问题，提出预训练条件扩散模型mbVDiT，以未掩码数据和患者元数据为条件引导，结合VAE整合公开数据集，在三类癌症微生物组数据上插补去噪性能优于现有方法。
2024-08-10 cs.LG q-bio.GN
Instruction-Guided Autoregressive Neural Network Parameter Generation
KAIST AI（韩国科学技术院人工智能学院）
本文提出IGPG，一个指令引导的自回归神经网络参数生成框架，通过VQ-VAE和自回归模型在token级别生成参数，解决了现有方法可扩展性差和层间不连贯的问题，在大型架构上表现优异。
2025-04-02 cs.LG
Lightweight Hybrid Video Compression Framework Using Reference-Guided Restoration Network
Seoul National University（首尔国立大学）；Gauss Labs Inc.（高斯实验室公司）
最近基于深度学习的视频压缩方法带来了比传统编解码器（如AVC和HEVC）更大的编码增益。然而，基于学习的编解码器通常需要相当长的计算时间和模型复杂度。在本文中，我们提出了一种新的轻量级混合视频编解码器，包括传统的视频编解码器（HEVC / VVC），无损图像编解码器，和我们的新的恢复网络。准确地说，我们的编码器包括传统的视频编码器和无损图像编码器，传输一个有损压缩的视频比特流随着无损压缩的参考帧。解码器由相应的视频/图像解码器和一个新的恢复网络构成，它在两个步骤中增强了压缩视频。在第一步中，使用大型视频数据集训练的网络恢复传统编码器丢失的细节。然后，我们进一步提高视频质量的指导下的参考图像，这是一个有损压缩的视频帧。参考图像提供视频特定信息，其可用于更好地恢复压缩视频的细节。实验结果表明，所提出的方法实现了相当的性能，顶级的方法，即使在HEVC应用。然而，我们的方法具有较低的复杂度，更快的运行时间，并且可以很容易地集成到现有的传统编解码器。
2023-03-21 cs.CV eess.IV
BadGraph: A Backdoor Attack Against Latent Diffusion Model for Text-Guided Graph Generation
School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）
本文提出BadGraph，一种针对文本引导图生成的潜在扩散模型的后门攻击方法，通过文本触发器污染训练数据，在推理时触发指定子图，同时保持对清洁输入的正常性能。
2026-04-11 cs.CL cs.LG q-bio.BM
Path-Guided Flow Matching for Dataset Distillation
Department of Machine Learning, MBZUAI, Abu Dhabi, UAE（机器学习系，MBZUAI，阿布扎赫德，阿联酋）；Department of Computer Vision, MBZUAI, Abu Dhabi, UAE（计算机视觉系，MBZUAI，阿布扎赫德，阿联酋）
PGFM通过流匹配框架实现高效数据集蒸馏，以更少的采样步骤和更高的效率生成高质量的合成数据。
2026-02-05 cs.AI cs.LG
Supervised Vector Quantized Variational Autoencoder for Learning Interpretable Global Representations
Department of Biomedical Informatics, University of Pittsburgh（匹兹堡大学生物医学信息学系）
学习数据的可解释表示仍然是深度学习的核心挑战。在训练深度生成模型时，观察到的数据通常与某些分类标签相关联，并且与学习重新生成数据和模拟新数据并行，学习每类数据的可解释表示也是获取知识的过程。在这里，我们提出了一种新的生成模型，称为监督矢量量化变分自编码器（S-VQ-VAE），它结合了监督和无监督学习的力量，以获得一个独特的，可解释的全局表示为每一类数据。与传统的生成模型相比，该模型具有三个主要优点：第一，它是一个集成模型，可以同时学习单个数据点的特征表示和每类数据的全局表示;第二，嵌入代码的全局表示的学习由监督信息指导，它清楚地定义了每个代码的解释;第三，全局表示捕捉了不同类别的关键特征，这些特征揭示了不同数据组的统计结构的相似性和差异性。我们评估了S-VQ-VAE在机器学习基准数据集MNIST数据集和基于集成网络的细胞特征库（LINCS）的基因表达数据上的效用。我们证明了S-VQ-VAE能够学习受同一类干扰因子（PCL）干扰的样本的全局遗传特征，并进一步揭示了PCL之间的机制相关性。这些知识对于促进癌症等复杂疾病的新药开发至关重要。
2019-09-29 cs.LG stat.ML
Just for FUNS: LLM-Guided Spatio-Temporal Graph Node Generation for Forecasting Unobserved Node States
Fudan University（复旦大学）；Nanyang Technological University（南洋理工大学）；Zhuhai Fudan Innovation Research Institute（珠海复旦创新研究院）；Guangzhou University（广州大学）
针对传感器网络覆盖不足导致的未观测节点状态预测难题，提出GenST框架，利用大语言模型提取语义特征作为桥梁，结合时空VAE和生成式Transformer两阶段生成，在零样本预测中显著优于基线。
2026-10-09 cs.AI cs.CL cs.LG
SCENE: Semantic-aware Codec Enhancement with Neural Embeddings
United Link Co., Ltd.（联合链接有限公司）；Dept. Computer Science and Information Engineering, National Tsing Hua University（国立清华大学计算机科学与信息工程系）
SCENE通过整合视觉语言模型的语义嵌入，实现对压缩视频中伪影的语义感知增强，提升感知质量和细节纹理保留。
2026-01-29 cs.CV cs.LG cs.MM
An Improved Upper Bound on the Rate-Distortion Function of Images
本文通过新VAE架构、可变速率压缩和稳定训练方法，改进了图像率失真函数上界，实现至少30% BD率降低，展示有损压缩潜力。
2023-09-05 eess.IV
Prompt-Guided Patch UNet-VAE with Adversarial Supervision for Adrenal Gland Segmentation in Computed Tomography Medical Images
King Fahd University of Petroleum and Minerals（国王法赫德石油大学）；SDAIA-KFUPM Joint Research Center for Artificial Intelligence（SDAIA-KFUPM人工智能联合研究中心）
针对CT图像肾上腺分割面临的类别不平衡、标注少等问题，提出结合变分重构、监督分割与对抗patch反馈的统一框架，在BTCV数据集上提升了边界敏感区域的分割精度。
2025-09-03 cs.CV eess.IV
Event-guided Neural Video Compression
EPFL（洛桑联邦理工学院）；Yonsei University（延世大学）
提出事件引导的神经视频编解码器（ENVC），利用共享事件流改进RGB压缩，在六个基准上相比DCMVC平均节省39.13%（PSNR-RGB）和67.63%（LPIPS）的BD率。
2026-10-05 cs.CV cs.MM eess.IV
Prompt-Guided Prefiltering for VLM Image Compression
School of Engineering Science, Simon Fraser University（西蒙菲莎大学工程科学学院）
本文提出一种轻量级、即插即用的提示引导预过滤模块，用于识别图像中与文本提示最相关的区域，从而提升VLM图像压缩效率，实验显示在保持任务准确性的同时实现25-50%的平均比特率降低。
2026-03-31 cs.AI eess.IV
PILC: Practical Image Lossless Compression with an End-to-end GPU Oriented Neural Framework
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tsinghua University（清华大学）
基于生成模型的图像无损压缩算法在提高压缩比方面取得了巨大的成功。然而，即使使用最先进的AI加速芯片，它们中的大多数的吞吐量也不到1 MB/s，这使得它们无法用于大多数实际应用，这些应用通常需要100 MB/s。在本文中，我们提出了PILC，一个端到端的图像无损压缩框架，实现200 MB/s的压缩和解压缩与一个NVIDIA Tesla V100 GPU，10倍的速度比以前最有效的。为了获得这个结果，我们首先开发了一个AI编解码器，它结合了自回归模型和VQ-VAE，在轻量级设置中表现良好，然后我们设计了一个低复杂度的熵编码器，与我们的编解码器工作得很好。实验表明，在多个数据集上，我们的框架比PNG压缩效果好30%。我们相信这是将AI压缩推向商业用途的重要一步。
2022-06-10 cs.CV cs.IT eess.IV
Traditional Transformation Theory Guided Model for Learned Image Compression
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
本文针对超低码率图像压缩，提出传统变换理论引导的可逆编码网络，利用块离散余弦变换建模稀疏性并结合 Haar 变换提升重建性能，实验表明其压缩与重建性能优于现有方法。
2024-02-24 cs.CV eess.IV
Asymmetric Gained Deep Image Compression With Continuous Rate Adaptation
Huawei（华为）
随着深度学习技术的发展，深度学习与图像压缩的结合引起了人们的广泛关注。近年来，图像压缩方法在率失真性能方面已经超过了传统的压缩方法。然而，持续的速率适应仍然是一个悬而未决的问题。一些已知的图像压缩方法使用多个网络以获得多个速率，而另一些方法则以计算复杂度增加和性能下降为代价使用单个模型。在本文中，我们提出了一个连续的速率可调的学习图像压缩框架，非对称增益变分自动编码器（AG-VAE）。AG-VAE利用一对增益单元在一个单独的模型中实现离散速率自适应，而额外的计算可以忽略不计。然后，通过使用指数内插，实现连续速率自适应而不损害性能。此外，我们提出了非对称高斯熵模型，以更准确的熵估计。详尽的实验表明，我们的方法实现了与SOTA学习的图像压缩方法相当的定量性能和比经典的图像编解码器更好的定性性能。在烧蚀研究中，我们证实了增益单元和非对称高斯熵模型的有效性和优越性。
2022-08-02 cs.CV eess.IV
SigVIC: Spatial Importance Guided Variable-Rate Image Compression
Beijing Jiaotong University（北京交通大学）；University of Science and Technology Beijing（北京科技大学）
可变速率机制提高了基于学习的图像压缩的灵活性和效率，该机制针对不同的率失真折衷训练多个模型。可变速率的最常见方法之一是按通道或空间均匀地缩放内部特征。然而，空间重要性的多样性对图像压缩的比特分配具有指导意义。在本文中，我们介绍了一个空间重要性导向的可变速率图像压缩（SigVIC），其中的空间门控单元（SGU）的设计用于自适应学习的空间重要性掩模。然后，一个空间缩放网络（SSN）的空间重要性掩模，以指导特征缩放和比特分配的可变速率。此外，为了提高解码图像的质量，Top-K浅层特征被选择通过浅层特征融合模块（SFFM）细化解码特征。实验表明，该方法优于其他基于学习的方法（无论是可变速率还是非可变速率）和传统的编解码器，具有存储节省和高度的灵活性。
2023-03-16 cs.AI cs.LG cs.MM
DiT-IC: Aligned Diffusion Transformer for Efficient Image Compression
本文提出DiT-IC，通过三种对齐机制在紧凑的潜在空间中实现高效图像压缩，显著提升解码速度和降低内存使用，实现状态领先的感知质量。
2026-03-13 cs.CV eess.IV
OSCAR: One-Step Diffusion Codec Across Multiple Bit-rates
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；Joy Future Academy（京东探索研究院）；South China University of Technology（华南理工大学）
本文提出 OSCAR，一种将码率映射为伪扩散时间步的单步扩散图像编解码器，使单一模型支持多码率重建并显著降低推理开销。
2025-10-20 cs.CV eess.IV
Semantics-Guided Generative Image Compression
本文提出一种语义引导的生成式图像压缩方法，通过引入语义分割指导和内容自适应扩散机制，在极低比特率下显著提升了多模态图像语义压缩（MISC）的PSNR与感知质量，同时降低复杂度并优于主流编解码器。
2025-05-29 eess.IV
Frequency Disentangled Features in Neural Image Compression
West Virginia University（西弗吉尼亚大学）
本文提出特征级频率解耦方法引导高熵潜特征承载低频纹理以降低比特率，并结合Hadamard积增强自注意力和逐通道自回归熵建模，在神经图像压缩中超越手工及现有神经编解码器。
2023-08-04 cs.CV cs.IT eess.IV
LDPM: Towards undersampled MRI reconstruction with MR-VAE and Latent Diffusion Prior
Shenzhen Technology University（深圳科技大学）；Shenzhen University（深圳大学）；Huawei（华为）；Nanjing University of Science and Technology（南京理工大学）；Qilu University of Technology（齐鲁工业大学）
本文提出LDPM方法，通过草图引导流程、MRI优化的MR-VAE和双阶段采样器，在潜在扩散先验框架下解决欠采样MRI重建中计算成本高、医学保真度不足和潜在空间数据一致性问题，并在fastMRI上取得最先进性能。
2025-06-06 cs.CV eess.IV
Residual-Guided In-Loop Filter Using Convolution Neural Network
混合视频编码框架中基于块的编码结构不可避免地引入了诸如块效应、振铃效应等压缩伪影。为了补偿这些伪影，在视频编解码器的环路中提出了广泛的滤波技术，这些技术能够提高重构视频的主观和客观质量。最近，基于神经网络的过滤器被提出，具有从大量数据中进行深度学习的能力。虽然在高效视频编码（HEVC）中编码效率已经从传统方法提高，但是由压缩流水线生成的丰富特征和信息尚未在神经网络的设计中被充分利用。因此，在本文中，我们提出了基于残差重建的卷积神经网络（RRNet），以进一步提高编码效率，以其最大程度上，其中的压缩特征诱导比特流的预测残差的形式被送入网络作为一个额外的输入到重建帧。实质上，残差信号可以提供关于块分区的有价值的信息，并且可以帮助图像中的边缘和纹理区域的重构。因此，可以训练更多的自适应参数来处理不同的纹理特征。实验结果表明，与HEVC和最先进的基于CNN的方案相比，我们提出的RRNet方法具有显着的BD速率节省，这表明残差信号在增强视频帧重构方面起着重要作用。
2021-05-03 eess.IV
Codebook Capacity Governs Perceptual Quality Across Resolutions in Hierarchical Discrete Video Compression
Portland State University（波特兰州立大学）
研究分层离散视频压缩中感知质量的影响因素，通过实验表明感知质量主要取决于码本容量而非空间分辨率，拟合对数线性模型量化二者关系，模型在LPIPS上优于H.264和H.265，为多分辨率部署及相关模型设计提供参考。
2026-07-28 cs.CV cs.MM eess.IV
High Frequency Matters: Uncertainty Guided Image Compression with Wavelet Diffusion
Xidian University（西安电子科技大学）
本文提出了一种基于小波扩散的不确定性引导图像压缩方法，通过高频压缩和残差编解码器提升图像压缩的保真度和效率。
2025-12-22 cs.CV eess.IV
