Convolutional variational autoencoders for secure lossy image compression in remote sensing
McMaster（麦克马斯特大学）；Adastra Corporation（阿达斯特拉公司）
针对遥感数据量大、传输受限且有安全需求的问题，本研究提出结合熵瓶颈的卷积变分自编码器图像压缩方法，通过优化复合损失函数平衡压缩率与重建质量，性能优于JPEG2000等传统方法。
2024-04-16 cs.LG eess.IV
Hierarchical Quantized Autoencoders
Speechmatics（Speechmatics公司）
尽管在训练用于有损图像压缩的神经网络方面取得了进展，但当前的方法无法在非常低的比特率下保持感知质量和抽象特征。最近在学习离散表示与矢量量化变分自编码器（VQ-VAE）的成功，我们鼓励使用的VQ-VAE的层次结构，以达到高的压缩因子。我们表明，随机量化和分层潜在结构的组合，艾滋病的可能性为基础的图像压缩。这导致我们引入一个新的目标，训练分层VQ-VAE。我们的方案产生了一系列的马尔可夫潜变量，重建图像的高感知质量，保留语义有意义的功能。我们对CelebA和MNIST数据集进行了定性和定量评估。
2020-10-16 cs.CV cs.LG cs.NE
Adaptive Compression of the Latent Space in Variational Autoencoders
Czech Institute of Informatics, Robotics and Cybernetics（捷克信息学、机器人学与控制论研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
本文提出一种在VAE训练中通过逐步移除神经元自动确定最优潜在空间大小的方法，在四个图像数据集上比网格搜索更快且性能相当。
2023-12-11 cs.AI cs.LG
Variational autoencoder-based neural network model compression
University of Oslo（奥斯陆大学）；Xidian University（西安电子科技大学）；Shenyang Institute of Automation（沈阳自动化研究所）
本文提出一种基于变分自编码器（VAE）的神经网络模型压缩方法，通过将FNN、CNN、RNN和LSTM等模型的参数变体输入VAE进行训练，利用潜在空间表示模型参数，实验证明该方法相比剪枝和量化等传统方法能提高压缩率且不明显影响准确率。
2024-08-25 cs.AI cs.LG
Deep Learning Hyperspectral Image Classification Using Multiple Class-based Denoising Autoencoders, Mixed Pixel Training Augmentation, and Morphological Operations
Mississippi State University（密西西比州立大学）
在这里，我们提出了一个系统的高光谱图像分割，利用多个类-基于去噪自动编码器，有效地训练。此外，我们提出了一种新的高光谱数据增强方法标记HSI数据使用线性混合像素从每个类，这有助于系统的边缘像素几乎总是混合像素。最后，我们利用深度神经网络和形态学孔洞填充来提供鲁棒的图像分类。在Salinas数据集上的运行结果验证了该算法的高性能。
2018-07-11 cs.CV cs.LG stat.ML
Improving Autoencoder Training Performance for Hyperspectral Unmixing with Network Reinitialisation
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用信息学研究所）；Silesian University of Technology（西里西亚工业大学）；Sapientia Hungarian University of Transylvania（特兰西瓦尼亚萨皮恩扎匈牙利大学）
神经网络，特别是自动编码器，是最有前途的解决方案之一，用于解混高光谱数据，即重建观测物质（端元）的光谱及其相对混合分数（丰度），这是有效的高光谱分析和分类所需要的。然而，正如我们在本文中所展示的，用于解混的自编码器的训练高度依赖于权重初始化;某些权重集会导致退化或低性能解决方案，从而在预期性能中引入负偏差。在这项工作中，我们实验研究自动编码器的稳定性以及网络重新初始化方法的基础上系数的神经元的死激活。我们证明，所提出的技术有一个积极的影响，自动编码器的训练方面的重建，丰度和端元错误。
2022-04-12 cs.CV cs.LG eess.IV
Spectral-Spatial Classification of Hyperspectral Image Using Autoencoders
Harbin Institute of Technology（哈尔滨工业大学）；Nanyang Technological University（南洋理工大学）
高光谱图像分类是遥感领域的一个热点问题。本文提出了一种新的HSI分类的频谱-空间特征提取框架，其中首次引入了深度学习的概念。具体来说，我们的框架中利用自动编码器的模型来提取各种特征。首先，我们通过遵循经典的基于光谱信息的分类来验证自编码器的合格性，并使用不同深度的自编码器对高光谱图像进行分类。进一步在所提出的框架中，我们结合PCA的光谱维度和自动编码器的其他两个空间维度提取光谱空间信息进行分类。实验结果表明，该框架实现了最高的分类精度在所有方法中，并优于经典的分类器，如SVM和PCA的SVM。
2015-11-09 cs.AI cs.CV cs.LG
Unsupervised Change Detection in Hyperspectral Images using Feature Fusion Deep Convolutional Autoencoders
双时共配准高光谱图像中的二值变化检测是一项具有挑战性的任务，由于大量的光谱波段中存在的数据。因此，研究人员试图通过减少维度来处理它。所提出的工作旨在建立一个新的特征提取系统，使用特征融合深度卷积自动编码器来检测一对这样的双时间共配准高光谱图像之间的变化。特征融合考虑了连续层次和多个感受野的特征，因此比现有的特征提取方法增加了竞争优势。所描述的变化检测技术是完全无监督的，并且比其他需要一些标签信息的监督或半监督方法更优雅。不同的方法已被应用到提取的特征，以找到在两个图像中的变化，它被发现，所提出的方法显然优于最先进的方法在所有的数据集的无监督变化检测。
2021-09-10 cs.CV cs.LG
Hyperspectral unmixing for Raman spectroscopy via physics-constrained autoencoders
Imperial College London（伦敦帝国理工学院）；University of Southern Denmark（南丹麦大学）；University of Oxford（牛津大学）
针对传统化学计量学方法难以处理复杂拉曼光谱混合物解混的问题，提出基于物理约束自编码器的高光谱解混算法，经合成与实验基准数据集验证，其准确性、鲁棒性和效率优于标准方法，且可用于复杂生物样本的生化表征。
2024-03-07 cs.AI cs.CV cs.LG
TerraMAE: Learning Spatial-Spectral Representations from Hyperspectral Earth Observation Data via Adaptive Masked Autoencoders
Colorado State University（科罗拉多州立大学）
提出TerraMAE框架，通过自适应通道分组和增强重建损失学习高光谱空间-光谱表示，在图像重建及作物识别等下游任务中表现优异。
2025-08-09 cs.CV cs.LG
Model-Based Deep Autoencoder Networks for Nonlinear Hyperspectral Unmixing
Northeastern University（东北大学）；EEL–UFSC（弗洛里亚诺波利斯联邦大学电气工程与计算机科学学院）；Lagrange Laboratory (CNRS, OCA)（拉格朗日实验室（法国国家科学研究中心、蔚蓝海岸天文台））；Université Côte d’Azur（蔚蓝海岸大学）
自动编码器（AEC）网络最近成为一种很有前途的方法来执行无监督高光谱解混（HU）相关联的潜在表示与丰度，解码器与混合模型和编码器与其逆。AEC对于非线性HU特别有吸引力，因为它们导致无监督和无模型算法。然而，现有的方法未能探索编码器应该反转混合过程的事实，这可能会降低它们的鲁棒性。在本文中，我们提出了一个基于模型的AEC的非线性HU考虑的混合模型的非线性波动的线性混合。从以前的作品中，我们发现，这种限制自然施加一个特定的结构，编码器和解码器网络。这在AEC中引入了先验信息，而不会降低混合模型的灵活性。仿真结果表明，该策略改善了非线性HU。
2021-04-17 cs.LG eess.SP
The Effects of Spectral Dimensionality Reduction on Hyperspectral Pixel Classification: A Case Study
University of Ontario Institute of Technology（安大略理工大学）；University of Toronto（多伦多大学）
本文提出了一个系统的研究高光谱像元降维对像元分类任务的影响。我们使用五种降维方法- PCA，KPCA，ICA，AE和DAE -压缩301维高光谱像素。压缩像素随后用于执行像素分类。像素分类精度与压缩方法、压缩率和重建误差一起提供了一个新的镜头来研究压缩方法对像素分类任务的适用性。我们使用三个高分辨率的高光谱图像数据集，代表三种常见的景观类型（即城市，过渡郊区和森林）收集的遥感和空间生态系统建模实验室的多伦多大学。我们发现，PCA，KPCA和ICA后更大的信号重建能力，然而，当压缩率超过90%，这些方法显示较低的分类得分。AE和DAE方法在95%的压缩率下具有较好的分类精度，但当压缩率接近97%时，其性能下降。我们的研究结果表明，在设计高光谱像素分类流水线时，压缩方法和压缩率都是重要的考虑因素。
2022-01-27 cs.CV cs.LG eess.IV
Implicit Neural Representation for Hyperspectral Video Compression
本研究提出一种基于隐式神经表示的高光谱视频压缩扩展方法，相比传统逐帧压缩，显著提升重建质量与下游目标跟踪性能。
2026-09-28 cs.AI cs.CV cs.LG
SRL-SOA: Self-Representation Learning with Sparse 1D-Operational Autoencoder for Hyperspectral Image Band Selection
Faculty of Information Technology and Communication Sciences, Tampere University（坦佩雷大学信息技术与传播科学学院）；Department of Electrical Engineering, Qatar University（卡塔尔大学电气工程学院）；Tietoevry Oy（泰托埃弗里公司）
本文提出SRL-SOA框架，利用带非线性神经元的稀疏一维运算自编码器学习稀疏表示并进行HSI波段选择，在Indian Pines和Salinas-A上取得优于对比方法的分类精度。
2022-02-20 cs.CV cs.LG
A Benchmark Study of Neural Network Compression Methods for Hyperspectral Image Classification
Department of Computer and Information Science, Temple University, Philadelphia, USA（计算机与信息科学系，特拉华大学，费城，美国）
本研究评估了三种神经网络压缩方法在高光谱图像分类中的性能，发现压缩技术能有效降低模型规模和计算成本，同时保持分类性能。
2026-03-05 cs.CV cs.LG
High-throughput Onboard Hyperspectral Image Compression with Ground-based CNN Reconstruction
Politecnico di Torino（都灵理工大学）
航天器机载高光谱图像的压缩是有限的计算资源和不断增长的空间和光谱分辨率的光学仪器之间的权衡。因此，它需要具有良好的率失真性能和高吞吐量的低复杂度算法。近年来，空间数据系统咨询委员会（CCSDS）重点关注基于预测编码的无损和近无损压缩方法，并于最近发布了CCSDS 123.0-B-2推荐标准。虽然量化预测残差的环路内重构为近无损操作模式提供了出色的率失真性能，但由于数据依赖性，它显著限制了可实现的吞吐量。在本文中，我们研究了一种更快的方法的性能的基础上预量化的图像其次是无损预测压缩。虽然众所周知这是次优的，但可以利用强大的信号模型来重建地面段的图像，恢复部分次优。特别是，我们证明了卷积神经网络可以用于此任务，并且它们可以恢复在每像素2位的比特率下产生的整个SNR下降。
2019-07-05 cs.CV cs.LG eess.IV
HyperKD: Distilling Cross-Spectral Knowledge in Masked Autoencoders via Inverse Domain Shift with Spatial-Aware Masking and Specialized Loss
Colorado State University（科罗拉多州立大学）
提出HyperterKD知识蒸馏框架，通过空间感知掩码与专用损失实现逆向域适应，将Prithvi基础模型知识蒸馏至EnMAP高光谱图像学生该方法显著改善了MAEs的表示学习，提高了土地覆盖分类等下游任务的性能。
2025-08-13 cs.CV cs.LG
Reproducing Kernel Hilbert Space Pruning for Sparse Hyperspectral Abundance Prediction
Pacific Northwest National Laboratory（太平洋西北国家实验室）
针对高光谱分析受高分辨率限制且现有方法易受非线性效应影响的问题，提出基于希尔伯特空间变换的稀疏表示剪枝方法与最大似然压缩向量，在光谱重建误差和压缩率上优于传统及深度学习方法。
2023-10-09 cs.LG eess.SP
Deep Learning of Radiative Atmospheric Transfer with an Autoencoder
Virginia Military Institute（弗吉尼亚军事学院）；University of Virginia（弗吉尼亚大学）
当来自太阳的电光能量通过大气传播时，它受到包括吸收、发射和散射的辐射转移效应的影响。模拟这些影响对于地球和大气的科学遥感测量是必不可少的。例如，高光谱图像是一种以像素为单位收集了许多（通常是数百个）光波长的数字图像。在传感器处测量的光量是发射的太阳光、大气辐射转移和地面上的材料的反射的结果，所有这些都因多种物理现象而随波长变化。因此，地面光谱或大气成分的测量需要分离每个波长的这些不同的贡献。在本文中，我们创建了一个自动编码器类似于去噪自动编码器处理大气的影响为“噪声”和地面反射率的真理每光谱。我们通过从实验室测量中随机抽取光谱样本，并通过MODTRAN（http：//modtrans.spectral.com/modtran\_home）使用基于物理的建模通过不同的大气输入添加大气影响，从而生成数十万个训练样本。理想情况下，该过程可以创建一个自动编码器，该自动编码器将在高光谱图像中分离大气效应和地面反射率，该过程称为大气补偿，该过程困难且耗时，需要结合启发式近似、物理量估计和物理建模。虽然我们的方法的准确性不如该领域的其他方法，但这是将物理原理的深度学习应用于高光谱图像和遥感中的大气补偿的重要第一步。
2022-07-21 cs.LG nlin.PS physics.ao-ph
On compression rate of quantum autoencoders: Control design, numerical and experimental realization
University of New South Wales（新南威尔士大学）；University of Science and Technology of China（中国科学技术大学）；CAS Center for Excellence in Quantum Information and Quantum Physics（中国科学院量子信息与量子科技创新研究院）；Nanjing University（南京大学）；Griffith University（格里菲斯大学）；Tsinghua University（清华大学）
量子自编码器是量子信息自动数据压缩的核心，其目标是在低维潜空间中压缩量子信息。在本文中，我们建立了一个上限的压缩率为一个给定的量子自动编码器，并提出了一种学习控制方法来训练自动编码器，以实现最大的压缩率。利用本征分解和矩阵微分理论证明了压缩率的上界，该上界由输入态的密度矩阵表示的本征值决定.给出了2-qubit和3-qubit系统的数值结果，以演示如何训练量子自动编码器以实现理论上的最大压缩，并比较了使用不同机器学习算法的训练性能。利用量子光学系统实现了一个量子自编码器，将两个2量子比特态压缩成两个1量子比特态。
2022-06-27 cs.LG cs.SY eess.SY
Information flows of diverse autoencoders
Seoul National University（首尔国立大学）；Korea Institute for Advanced Study（韩国高等研究院）
深度学习在各个领域的出色表现一直是一个基本的问题，可以使用信息论进行潜在的检查，该理论将学习过程解释为信息的传输和压缩。输入-隐藏-输出层之间的互信息的信息平面分析展示了拟合和压缩两个不同的学习阶段。压缩阶段是否有必要对从训练数据中提取的输入-输出关系进行概括是有争议的。在这项研究中，我们调查了这一点，通过实验与各种自动编码器和评估其信息处理阶段与一个准确的基于核的估计互信息。如果有足够的训练数据，vanilla自动编码器演示了压缩阶段，在对隐藏活动进行稀疏正则化后，压缩阶段被放大。然而，我们发现，压缩阶段并不普遍观察到不同种类的自编码器，包括变分自编码器，有特殊的约束网络权重或流形的隐藏空间。这些类型的自编码器表现出完美的泛化能力的测试数据，而不需要压缩阶段。因此，我们得出结论，压缩阶段是不必要的推广表示学习。
2021-07-16 cs.IT cs.LG math.IT
Efficient Data Compression for 3D Sparse TPC via Bicephalous Convolutional Autoencoder
Brookhaven National Laboratory（布鲁克海文国家实验室）
在大型实验装置中进行实时数据汇集和分析是一个跨多个领域的巨大挑战，包括高能物理、核物理和宇宙学。为了解决这个问题，基于机器学习（ML）的实时数据压缩方法已经引起了极大的关注。然而，与自然图像数据不同，例如CIFAR和ImageNet相对较小且连续，科学数据通常以高速率的三维数据量出现，具有高稀疏性（许多零）和非高斯值分布。这使得直接应用流行的ML压缩方法以及常规的数据压缩方法是次优的。为了解决这些障碍，这项工作引入了一个双头自动编码器，以解决稀疏和回归同时，称为\textit{Bicephalous Convolutional AutoEncoder}（BCAE）。与传统的数据压缩方法如MGARD、SZ和ZFP相比，该方法在压缩保真度和压缩比上都有明显的优势。为了达到类似的保真度，传统方法中性能最好的方法只能达到BCAE压缩比的一半。此外，一个彻底的消融研究的BCAE方法表明，一个专用的分割解码器提高了重建。
2021-11-09 cs.CV cs.LG
Compression of GPS Trajectories using Autoencoders
Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）
能够进行位置跟踪的移动设备无处不在，导致GPS数据收集量大幅增加。已经开发了几种压缩方法，以便在保持重要信息的同时减少所需的存储量。在本文中，我们提出了一种基于lstm自动编码器的方法，以压缩和重建GPS轨迹，这是在游戏和现实世界的数据集上进行评估。我们考虑不同的压缩比和轨迹长度。将该性能与其他轨迹压缩算法进行比较，即，道格拉斯-普克总的来说，结果表明，我们的方法优于道格拉斯Peucker显着离散Fréchet距离和动态时间弯曲。此外，通过重建每个点有损，所提出的方法提供了多个优点，比传统的方法。
2023-01-18 cs.AI cs.LG
Exploring Autoencoder-based Error-bounded Compression for Scientific Data
University of California, Riverside（加州大学河滨分校）；Argonne National Laboratory（阿贡国家实验室）；Washington State University（华盛顿州立大学）；Missouri University of Science and Technology（密苏里科技大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文探索使用卷积自编码器改进科学数据的误差有界有损压缩，提出基于SZ模型的误差有界框架，优化块大小和潜在向量压缩效率，在五个真实数据集上表现出优于SZ2.1和ZFP的竞争力。
2023-10-21 cs.AI cs.DC cs.LG
Autoencoder based image compression: can the learning be quantization independent?
INRIA Rennes Bretagne-Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋分所）
本文探讨了通过自编码器学习图像压缩变换的问题。通常，图像压缩的率失真性能通过改变量化步长来调节。在自动编码器的情况下，这原则上需要在给定的量化步长下学习每个率失真点的一个变换。在这里，我们表明，可比的性能可以获得一个独特的学习变换。然后通过在测试时间改变量化步长来达到不同的率失真点。这种方法节省了大量的训练时间。
2018-02-23 cs.LG eess.IV eess.SP
Feedback Recurrent Autoencoder for Video Compression
Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通人工智能研究院，高通技术荷兰有限公司）；Qualcomm AI Research, Qualcomm Technologies, Inc.（高通人工智能研究院，高通技术公司）；University of Oxford（牛津大学）
深度生成建模的最新进展使得能够对高维数据分布进行有效建模，并为解决数据压缩问题开辟了新的视野。具体而言，基于自动编码器的学习图像或视频压缩解决方案正在成为传统方法的强有力竞争者。在这项工作中，我们提出了一个新的网络架构，共同的和良好的研究组件的基础上，学习视频压缩在低延迟模式下运行。我们的方法在高分辨率UVG数据集上产生最先进的MS-SSIM/速率性能，在流媒体应用的感兴趣的速率范围内，在学习的视频压缩方法和经典的视频压缩方法（H.265和H.264）中。此外，我们提供了一个现有的方法，通过其底层的概率图形模型的镜头进行分析。最后，我们指出了在实证评估中观察到的时间一致性和色偏问题，并提出了缓解这些问题的方向。
2020-04-09 cs.CV cs.LG stat.ML
AutoFlow: An Autoencoder-based Approach for IP Flow Record Compression with Minimal Impact on Traffic Classification
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；HUN-REN-BME Information Systems Research Group（HUN-REN-BME信息系统研究组）；CUJO LLC（CUJO有限责任公司）
本文提出基于自编码器的IP流记录压缩方法AutoFlow，在实现1.313倍数据缩减的同时保持99.27%的多类流量分类准确率，有效提升了网络监控的存储与处理效率。
2025-01-31 cs.LG cs.NI
Lossy Medical Image Compression using Residual Learning-based Dual Autoencoder Model
Indian Institute of Information Technology Allahabad（印度阿拉哈巴德信息技术学院）
在这项工作中，我们提出了一个两阶段的自动编码器为基础的压缩-解压缩框架压缩疟疾红细胞图像补丁。我们知道，用于疾病诊断的医学图像大约是几千兆字节大小，这是相当巨大的。提出的基于残差的双自编码器网络被训练以提取唯一特征，然后通过解压缩模块将其用于重建原始图像。两个潜在空间表示（第一个用于原始图像，第二个用于残差图像）用于重建最终的原始图像。Color-SSIM专门用于检查解压缩后细胞图像的色度部分的质量。实验结果表明，所提出的工作优于其他神经网络相关的医学图像压缩技术的PSNR，彩色SSIM和MS-SSIM分别约35%，10%和5%。与JPEG-LS、JP 2K-LM、CALIC和最近的神经网络方法相比，该算法的比特节省率分别为76%、78%、75%和74%，是一种很好的压缩-解压缩技术。
2021-08-24 cs.AI cs.LG eess.IV
Electroencephalogram Sensor Data Compression Using An Asymmetrical Sparse Autoencoder With A Discrete Cosine Transform Layer
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Northwestern University（西北大学）
本文提出一种结合DCT层与硬阈值稀疏约束的非对称自编码器用于EEG数据压缩，通过可训练DCT系数缩放和稀疏潜在表示，在多种压缩实验中显著提升重建质量。
2023-09-15 cs.AI cs.LG eess.SP
Ensuring Topological Data-Structure Preservation under Autoencoder Compression due to Latent Space Regularization in Gauss--Legendre nodes
Center for Advanced Systems Understanding (CASUS)（高级系统理解中心）；Helmholtz-Zentrum Dresden-Rossendorf e.V. (HZDR)（德累斯顿-罗森多夫亥姆霍兹研究中心）
本文提出一种基于Gauss–Legendre节点采样Jacobian的数据无关潜空间正则化方法，证明其能确保自编码器实现一对一拓扑保持嵌入，并在FashionMNIST和MRI脑扫描数据上验证了其优于收缩自编码等方法的效果。
2023-09-21 cs.LG math.DG
Sparse $L^1$-Autoencoders for Scientific Data Compression
Emory University（埃默里大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；University of California Santa Barbara（加州大学圣巴巴拉分校）
针对科学数据压缩的挑战，提出基于 $L^1$ 正则化高维潜空间的自编码器方法，利用稀疏表示减轻伪影，在 SAS 数据集上实现约两个数量级的压缩比，缓解传输、存储和分析瓶颈。
2024-05-23 cs.AI cs.LG cs.NA
Decoder-Preserving Sparse Autoencoders: Which Readouts Survive Sparse Compression?
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究稀疏自编码器中哪些读出能在稀疏压缩中幸存的问题，核心方法是将最优岭预测算子间的矩阵值失真与重建损失结合训练解码器保留SAEs，主要贡献为得出重建质量不能决定读出幸存情况等结论。
2026-09-15 cs.LG
Hierarchical Autoencoder-based Lossy Compression for Large-scale High-resolution Scientific Data
Texas A&M University（德克萨斯农工大学）；School of Performance, Visualization, and Fine Arts（表演、可视化与美术学院）
本文提出一种基于分层自编码器的神经网络，用于大规模高分辨率科学数据有损压缩，在多个科学基准上达到140倍压缩比，并在CESM 500年2D气候数据上达到200倍且误差可忽略。
2024-05-06 cs.AI cs.LG eess.IV
GraphComp: Extreme Error-bounded Compression of Scientific Data via Temporal Graph Autoencoders
Computer, Electrical and Mathematical Sciences and Engineering Division, KAUST（卡奥斯特大学计算机、电气与数学科学与工程分校）；Department of Informatics and Telecommunications, University of Peloponnese（希腊皮埃尼亚斯大学信息与电信系）；Physical Science and Engineering Division, KAUST（卡奥斯特大学物理科学与工程分校）
针对科学数据误差有界有损压缩未充分利用时空相关性的问题，提出基于不规则分割、图表示与时间图自编码器的 GRAPHCOMP，在多数大规模数据集上压缩比领先现有方法 22%–50%。
2025-05-08 cs.LG
An autoencoder compression approach for accelerating large-scale inverse problems
Oden Institute for Computational Science and Engineering（奥登计算科学与工程研究所）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Utah（犹他大学）
本文提出一种基于自编码器的可扩展压缩方法，用于替代PDE约束反问题中的检查点和大内存存储，在地震反问题上验证了梯度和Hessian-向量积的接近理想加速，并成功扩展DIAS方法至大规模问题。
2023-04-10 cs.LG cs.NA math.NA
Perturbation of Deep Autoencoder Weights for Model Compression and Classification of Tabular Data
Tennessee State University（田纳西州立大学）
完全连接的深度神经网络（DNN）通常包括冗余权重，导致过拟合和高内存需求。此外，DNN的性能经常受到表格数据分类中传统机器学习模型的挑战。在本文中，我们提出了DNN权重的周期性扰动（修剪和再生），特别是在深度自动编码器的自监督预训练阶段。在下游分类任务中，所提出的权重扰动策略在六个表格数据集中的四个中优于辍学学习。与dropout或我们的权重扰动例程相比，在相同的预训练阶段对权重进行L1或L2正则化会导致分类性能较差。与dropout学习不同，所提出的权重扰动例程还在六个表格数据集上实现了15%到40%的稀疏性，用于压缩深度预训练模型。我们的实验表明，当完全连接的DNN失败时，具有权重扰动或丢弃的预训练深度自动编码器可以在表格数据分类中优于传统的机器学习。然而，当表格数据集包含不相关的变量时，传统的机器学习模型似乎优于任何深度模型。因此，深度模型的成功可以归因于现实世界数据集中不可避免地存在相关变量。
2022-05-17 cs.AI cs.LG cs.NE
Music2Latent: Consistency Autoencoders for Latent Audio Compression
Queen Mary University of London（伦敦玛丽女王大学）；Sony Computer Science Laboratories（索尼计算机科学实验室）
针对现有音频自编码器的训练复杂、采样慢、重建质量低问题，提出基于一致性模型的Music2Latent音频自编码器，通过多项创新实现单步高保真重建，性能优于同类模型且首次实现端到端训练。
2024-08-12 cs.LG cs.SD eess.AS
LEt-SNE: A Hybrid Approach To Data Embedding and Visualization of Hyperspectral Imagery
Mercedes-Benz Research and Development India Pvt. Ltd.（梅赛德斯-奔驰印度私人有限公司研发中心）；Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay（印度理工学院孟买分校资源工程研究中心）
从无人机或卫星捕获的高光谱图像（以及一般的遥感）由于其捕获的大空间范围和波长而具有非常大的体积。由于分析这些图像需要大量的计算时间和功率，各种降维技术已被用于特征约简。其中一些流行的技术摇摇欲坠时，应用于高光谱图像由于著名的灾难的维度。在本文中，我们提出了一种新的方法，LEt-SNE，它结合了基于图的算法，如t-SNE和拉普拉斯特征映射到一个模型参数化的浅前馈网络。我们引入了一个新的术语，压缩因子，使我们的方法能够对抗维数灾难。该算法适用于流形可视化和有标记或无标记数据的样本聚类。我们证明了我们的方法是有竞争力的，目前国家的最先进的方法在公共领域的高光谱遥感数据集。
2020-02-08 cs.CV cs.LG eess.IV
A novel asymmetrical autoencoder with a sparsifying discrete cosine Stockwell transform layer for gearbox sensor data compression
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Politecnico di Milano（米兰理工大学）
针对齿轮箱数据无线传输压缩难题，提出含可训练DCST变换与硬阈值稀疏层的非对称自编码器，以更少参数和样本提升重建质量。
2023-10-04 cs.AI cs.LG eess.SP
Improved Image Coding Autoencoder With Deep Learning
在本文中，我们基于Ballé的方法构建了基于自动编码器的管道，用于极端的端到端图像压缩，这是使用深度学习的图像压缩中最先进的开源实现。我们通过在每个步幅卷积层之前添加一个隐藏层来深化网络，其中下采样和上采样的数量完全相同。我们的方法优于Ballé的方法，并且实现了每像素比特数（bpp）减少约4.0%，多尺度结构相似性（MS-SSIM）增加0.03%，峰值信噪比（PSNR）仅降低0.47%，它也优于所有传统的图像压缩方法，包括JPEG 2000和HEIC至少20在类似重建图像质量下的压缩效率方面。在编码和解码时间方面，我们的方法与传统方法相比，在GPU的支持下，所需的时间相似，这意味着它几乎可以用于工业应用。
2020-02-28 cs.LG cs.MM eess.IV
Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth
ISTA（ISTA（奥地利IST科学技术研究所））；University of Pennsylvania（宾夕法尼亚大学）
本研究证明浅层自编码器压缩稀疏高斯数据时忽略稀疏结构，并揭示相变现象；通过添加去噪函数和多层解码器，可证明地提升压缩性能，并在图像数据集上验证。
2024-02-07 cs.IT cs.LG math.IT
Cascade Decoders-Based Autoencoders for Image Reconstruction
Yangzhou University（扬州大学）；Institut Supérieur d'Électronique de Paris（巴黎高等电子学院）；Polytechnique Montreal（蒙特利尔理工学院）；Westlake University（西湖大学）；Sorbonne University（索邦大学）
自编码器由编码单元和解码单元组成，因此具有高性能数据压缩和信号压缩感知的内在潜力。目前自编码器的主要缺点包括以下几个方面：研究目标不是数据重建而是特征表示;忽略了数据恢复的性能评估;纯自编码器难以实现无损数据重建，即使是纯深度学习。本文以自编码器的图像重建为研究对象，采用基于级联解码器的自编码器，完善了图像重建性能，逐步接近图像的无损恢复，为基于自编码器的图像压缩和压缩感知提供了坚实的理论和应用基础。提出的基于串行解码器的自编码器包括多级解码器的结构和相关的优化算法。级联译码器包括一般译码器、残差译码器、对抗译码器及其组合。实验结果表明，本文提出的自编码器在图像重建性能上优于经典的自编码器。
2022-07-27 cs.LG
A Physics-Informed Vector Quantized Autoencoder for Data Compression of Turbulent Flow
Duke University（杜克大学）
分析来自湍流模拟的大规模数据是内存密集型的，需要大量资源。这一重大挑战凸显了对数据压缩技术的需求。在这项研究中，我们应用基于矢量量化的物理深度学习技术，从三维湍流模拟中生成离散的低维数据表示。深度学习框架由卷积层组成，并结合了对流的物理约束，例如保持速度梯度的不可压缩性和全局统计特性。使用统计、基于比较的相似性和基于物理的度量来评估模型的准确性。训练数据集由不可压缩、统计稳定、各向同性湍流的直接数值模拟产生。这种有损数据压缩方案的性能进行评估，不仅与看不见的数据从静止的，各向同性的湍流，但也与衰减的各向同性湍流的数据，和泰勒-格林涡流。将压缩比（CR）定义为原始数据大小与压缩数据大小之比，结果表明，我们的基于矢量量化的模型可以提供均方误差（MSE）为$O(10^{-3})$的CR $=85$，以及忠实地再现流的统计数据的预测，除了在非常小的尺度上有一些损失。与最近基于传统自动编码器的研究相比，在连续空间中进行压缩，我们的模型将CR提高了$30$ %以上，并将MSE降低了一个数量级。我们的压缩模型是一个有吸引力的解决方案的情况下，需要快速，高质量和低开销的编码和解码的大数据。
2022-01-12 cs.LG physics.flu-dyn
Low-cost Robust Night-time Aerial Material Segmentation through Hyperspectral Data and Sparse Spatio-Temporal Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种基于时间序列压缩的Siamese框架，将低分辨率高光谱数据有效融入航拍材质分割，以低成本提升夜间及恶劣环境下的分割性能。
2024-10-19 cs.AI cs.CV cs.LG
Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods
Institute of Science and Technology Austria（奥地利科学技术研究院）；University of Pennsylvania（宾夕法尼亚大学）
自编码器是机器学习和有损数据压缩的许多分支中的流行模型。然而，它们的基本限制，梯度方法的性能和优化过程中学习的功能仍然知之甚少，即使在两层设置。事实上，早期的工作已经考虑了线性自动编码器或特定的训练机制（导致压缩率消失或发散）。我们的论文通过关注在具有挑战性的比例机制中训练的非线性双层自编码器来解决这一差距，在这种机制中，输入维度与表示的大小呈线性关系。我们的研究结果描述了群体风险的最小值，并表明这种最小值是通过梯度方法实现的;它们的结构也被揭示出来，从而导致对通过训练获得的特征的简洁描述。对于符号激活函数的特殊情况，我们的分析建立了高斯源通过（浅）自编码器的有损压缩的基本限制。最后，虽然结果被证明为高斯数据，标准数据集上的数值模拟显示的理论预测的普适性。
2022-12-27 cs.IT cs.LG math.IT
Hyperspectral Image Analysis in Single-Modal and Multimodal setting using Deep Learning Techniques
INDIAN INSTITUTE OF TECHNOLOGY BOMBAY（印度孟买理工学院）
本文提出融合多模态学习、对抗学习、知识蒸馏及自监督学习的深度学习框架，以提升高光谱图像分类性能。
2024-03-03 cs.CV cs.LG
Efficient training for compact compression models via sequential distillation
Univ. Rennes, Inria, CNRS, IRISA, Rennes, France（里昂大学、法国国家科学研究中心、法国国家信息与自动化研究所、IRISA、里昂，法国）
本文提出了一种通过序列知识蒸馏减少自动编码器压缩网络的方法，通过简化早期优化目标和逐步引入复杂性，提高了轻量级模型的重建质量与统计保真度，适用于资源受限环境。
2026-05-19 cs.CV cs.LG
Dynamic Semantic Compression for CNN Inference in Multi-access Edge Computing: A Graph Reinforcement Learning-based Autoencoder
Aarhus University（奥胡斯大学）
针对动态 MEC 中 CNN 部分卸载的通信与计算不确定性，提出结合注意力自编码器和图强化学习的 GRL-AECNN，以长期联合优化推理准确率与吞吐量，并优于多种现有方法。
2024-01-19 cs.AI cs.LG eess.IV
An investigation of the reconstruction capacity of stacked convolutional autoencoders for log-mel-spectrograms
Technological University of Dublin（都柏林理工大学）
在音频处理应用中，基于高级表示的富有表现力的声音的生成表现出很高的需求。这些表征可以用来操纵音色，影响创造性乐器音符的合成。现代算法，如神经网络，激发了基于乐器音色压缩的富有表现力的合成器的发展。无监督深度学习方法可以通过训练网络学习从波形或频谱图到低维表示的映射来实现音频压缩。本研究探讨了使用堆叠卷积自动编码器的压缩的时间-频率的音频表示的各种仪器为一个单一的音高。超参数和正则化技术的进一步探索证明，以提高初始设计的性能。在无监督的方式下，网络能够基于潜在表示重建单声道和谐波声音。此外，我们引入了一个评价指标来衡量原始和重建样本之间的相似性。评估用于声音合成的深度生成模型是一项具有挑战性的任务。我们的方法是基于所生成的频率的准确性，因为它为谐波声音的感知提供了重要的度量。这项工作有望加速未来的实验音频压缩使用神经自动编码器。
2023-01-18 cs.LG cs.SD eess.AS
Pruning-aware Loss Functions for STOI-Optimized Pruned Recurrent Autoencoders for the Compression of the Stimulation Patterns of Cochlear Implants at Zero Delay
Leibniz University Hannover（莱比锡大学汉诺威分校）
本文提出剪枝感知损失函数，在训练深度循环自编码器压缩人工耳蜗刺激模式时兼顾模型压缩与语音可懂度，在剪枝率超过45%时显著优于传统幅值剪枝方法。
2025-02-04 cs.LG cs.SD eess.AS
Superposition as Lossy Compression: Measure with Sparse Autoencoders and Connect to Adversarial Vulnerability
University of Amsterdam（阿姆斯特丹大学）；Toronto Metropolitan University（多伦多 Metropolitan 大学）；Vector Institute for Artificial Intelligence（人工智能向量研究所）
本研究通过信息论框架测量神经网络的叠加程度，揭示其与对抗鲁棒性的关系，表明叠加在不同任务复杂性和网络容量下呈现不同表现。
2025-12-15 cs.AI cs.LG
In-context Autoencoder for Context Compression in a Large Language Model
Microsoft Corporation（微软公司）
本文提出ICAE，将长上下文压缩为LLM可直接使用的紧凑记忆槽，仅增加约1%参数即在Llama上实现4倍压缩并降低推理延迟与显存成本。
2024-05-08 cs.AI cs.CL cs.LG
ROS-Neuro Integration of Deep Convolutional Autoencoders for EEG Signal Compression in Real-time BCIs
Università di Pisa（比萨大学）；CAMLIN Italy s.r.l.（CAMLIN意大利有限公司）
典型的基于EEG的BCI应用需要在有噪声的EEG通道上以有效的方式执行复杂函数的计算。深度学习算法能够直接从数据中学习灵活的非线性函数，其恒定的处理延迟非常适合部署到在线BCI系统中。然而，处理系统的抖动必须尽可能低，以避免可能破坏系统整体可用性的不可预测行为。在本文中，我们提出了一种新的编码方法，基于深度卷积自动编码器，能够执行有效的压缩原始EEG输入。我们将我们的模型部署在一个ROS-Neuro节点中，从而使其适合于在真实世界场景中集成基于ROS的BCI和机器人系统。实验结果表明，我们的系统是能够产生有意义的压缩编码保留原始信息中包含的原始输入。他们还表明，ROS-Neuro节点能够以稳定的速率产生这样的编码，抖动最小。我们相信，我们的系统可以代表一个有效的脑机接口处理管道的发展，完全标准化的ROS神经框架的重要一步。
2020-08-31 cs.LG eess.SP stat.ML
Exact Rate-Distortion in Autoencoders via Echo Noise
Information Sciences Institute（信息科学研究所）；University of Southern California（南加利福尼亚大学）
压缩是有效的表示学习的核心。然而，有损压缩通常通过简单的参数模型（如高斯噪声）来实现，以保持分析的易处理性，并且这对学习的限制在很大程度上未被探索。此外，诸如变分自编码器（VAE）的模型中的高斯先验假设通常仅提供压缩率的上限。我们引入了一个新的噪声信道，\emph{Echo noise}，承认一个简单的，精确的表达式为任意输入分布的互信息。噪声是以数据驱动的方式构建的，不需要限制性的分布假设。由于其复杂的编码机制和精确的速率正则化，Echo导致改进的对数似然边界，并在可实现的速率失真权衡范围内主导$β$ -VAE。此外，我们表明，回声噪声可以优于基于流的方法，而不需要训练额外的分布变换。
2019-11-14 cs.IT cs.LG math.IT
