Compressive MRI quantification using convex spatiotemporal priors and deep auto-encoders
University of Bath（巴斯大学）；Imago7 foundation（Imago7基金会）；University of Edinburgh（爱丁堡大学）；GE Healthcare（GE医疗）；Technical University of Munich（慕尼黑工业大学）
我们提出了一个字典匹配的多参数定量MRI图像计算的自由管道。我们的方法有两个阶段，基于压缩感知重构和深度学习的定量推理。重建阶段是凸的，并在加速迭代收缩算法中包含有效的时空调节。这最大限度地减少了来自极短扫描时间的欠采样（混叠）伪影。学习的定量推理阶段纯粹是在物理模拟（Bloch方程）上训练的，这些模拟可以灵活地产生丰富的训练样本。我们提出了一个深度和紧凑的自动编码器网络与残留块，以嵌入布洛赫流形投影通过多尺度分段仿射近似，并取代不可扩展的字典匹配基线。在一些数据集上进行测试，我们证明了所提出的方案的有效性，用于从新颖的和积极的二次采样的2D/3D定量MRI采集协议中恢复准确和一致的定量信息。
2020-04-21 cs.CV cs.LG physics.med-ph
Playing Atari with Six Neurons
eXascale Infolab（eXascale信息实验室）；University of Fribourg, Switzerland（瑞士弗里堡大学）；Game Innovation Lab（游戏创新实验室）；Tandon School of Engineering（坦登工程学院）；New York University, NY, USA（美国纽约大学）
深度强化学习应用于Atari游戏等基于视觉的问题，将像素直接映射到动作;在内部，深度神经网络承担着提取有用信息和基于信息做出决策的责任。通过将图像处理与决策分离，人们可以更好地理解每个任务的复杂性，以及潜在地找到更小的策略表示，更容易被人类理解并且可以更好地概括。为此，我们提出了一种新的方法，分别学习政策和紧凑的状态表示，但同时在强化学习的政策近似。状态表示由编码器基于两种新算法生成：增加字典矢量量化使编码器能够随着时间的推移增加其字典大小，以解决出现在开放式在线学习上下文中的新观测;直接残差稀疏编码通过忽略重建误差最小化来编码观测，并以最高的信息包含为目标。编码器自动选择在线观测值进行训练，以最大化代码稀疏性。随着字典大小的增加，编码器为神经网络产生越来越大的输入：这是通过指数自然演化策略算法的变体来解决的，该算法沿着运行调整其概率分布维度。我们使用只有6到18个神经元的小型神经网络（取决于游戏的控制）在一系列Atari游戏上测试我们的系统。这些仍然能够达到与使用两个数量级以上神经元的最先进技术相当的结果，有时甚至更好。
2019-03-03 cs.AI cs.LG cs.NE
Deep learning based dictionary learning and tomographic image reconstruction
KTH Royal Institute of Technology（瑞典皇家理工学院）；Philips Research（飞利浦研究院）
本文提出一种结合稀疏信号处理与深度学习的临床低剂量层析图像重建方法，将字典学习解释为分布对齐过程并证明其类似变分自编码器，在CT重建中取得与先进方法相当的竞争力。
2021-08-26 cs.CV cs.LG cs.NE
A Sparsity-promoting Dictionary Model for Variational Autoencoders
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
构建概率深度生成模型中的潜在空间，例如，变分自编码器（VAE）对于产生更有表现力的模型和可解释的表示以及避免过拟合是重要的。实现该目标的一种方式是对潜变量施加稀疏约束，例如，通过拉普拉斯先验然而，这样的方法通常使训练阶段复杂化，并且它们牺牲重建质量来提高稀疏性。在本文中，我们提出了一个简单而有效的方法来构建潜在的空间，通过稀疏促进字典模型，它假设每个潜在的代码可以写为字典的列的稀疏线性组合。特别是，我们利用了一种计算效率高且无需调谐的方法，该方法依赖于具有可学习方差的零均值高斯潜在先验。我们推导出一个变分推理方案来训练模型。语音生成建模的实验表明，所提出的方法比竞争技术的优势，因为它促进了稀疏性，而不会恶化输出语音质量。
2022-06-17 cs.LG cs.SD eess.AS
RandNet: deep learning with compressed measurements of images
Harvard University（哈佛大学）
主成分分析、字典学习和自动编码器都是用于从大量训练数据中学习表示的无监督方法。在所有这些方法中，输入数据的维数越高，学习所需的时间就越长。我们介绍了一类神经网络，称为RandNet，学习表示使用压缩的随机测量数据的兴趣，如图像。RandNet将卷积递归稀疏自动编码器架构扩展到密集网络，更重要的是，扩展到输入数据是原始数据的压缩随机测量的情况。通过压缩输入数据，可以在训练期间在内存中容纳更多的批次。此外，在稀疏测量的情况下，训练在计算上更有效。我们证明，在无监督的设置中，RandNet使用压缩数据进行字典学习。在有监督的设置中，我们表明RandNet可以以最小的准确性损失对MNIST图像进行分类，尽管使用图像的随机投影进行训练，导致大小减少了50%。总的来说，我们的研究结果提供了一个一般的原则框架，使用压缩数据训练神经网络。
2019-08-25 cs.LG stat.ML
Multimodal Sparse Bayesian Dictionary Learning
ARM Machine Learning Research Lab（ARM机器学习研究实验室）；University of California, San Diego（加州大学圣地亚哥分校）
本文讨论了多模态数据集（即从多个数据源收集的数据集）的字典学习问题。我们提出了一种算法称为多模态稀疏贝叶斯字典学习（MSBDL）。MSBDL通过联合稀疏约束利用来自所有可用数据模态的信息。底层框架为从业者提供了相当大的灵活性，并解决了现有多模态词典学习方法的许多缺点。特别是，该过程包括超参数的自动调整，并且是独特的，因为它允许每个数据模态的字典具有不同的基数，这是数据的维度在模态之间不同的情况下的一个重要特征。MSBDL是可扩展的，可用于监督学习环境。MSBDL的收敛性的理论结果和数值结果提供了证据的MSBDL合成和真实数据集上的优越性能相比，现有的方法。
2019-05-29 cs.LG stat.ML
On Optimality Conditions for Auto-Encoder Signal Recovery
SUNY Buffalo（纽约州立大学布法罗分校）；Salesforce Research（Salesforce研究院）；LogicBlox
自动编码器是无监督模型，旨在通过最小化重建成本从观察到的数据中学习模式。学习到的有用表示通常是稀疏和分布的。另一方面，压缩感知和稀疏编码假设一个数据生成过程，其中观测数据是从一些真实的潜在信号源生成的，并试图从测量中恢复相应的信号。从这个\textit{signal recovery perspective}看自动编码器使我们能够对这些技术有一个更一致的看法。在本文中，特别是，我们表明，\textit{true}隐藏表示可以近似恢复，如果权重矩阵是高度不相干的单位$ \ell^{2} $行长度和偏置向量采取的值（近似）等于数据均值的负值。恢复也变得越来越准确，在隐藏信号的稀疏性增加。此外，我们的经验表明，自动编码器能够恢复的数据生成字典时，只有数据样本。
2017-07-13 cs.LG cs.NE stat.ML
On the Latent Space of Wasserstein Auto-Encoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）
我们研究了潜在的空间维度在Wasserstein自动编码器（WAE）中的作用。通过对合成数据集和真实数据集的实验，我们认为随机编码器应该优于确定性编码器。我们强调了WAE的代表性学习的潜力，并在基准解纠缠任务上取得了令人鼓舞的结果。
2018-02-11 cs.LG stat.ML
Sparse Dictionary Learning for Measure-Valued Data via Linearized Optimal Transport: Efficient Algorithms and Sample Complexity
Department of Electrical and Computer Engineering, Tufts University（塔夫茨大学电气与计算机工程系）；Department of Mathematics, Tufts University（塔夫茨大学数学系）
该研究提出基于线性化最优传输的测度值数据稀疏字典学习方法，结合最优传输几何与稀疏表示学习，在多模态数据上验证效用并推导泛化界，为概率测度空间的表示学习提供可扩展模型。
2026-10-12 cs.LG stat.ML
Inference and learning in sparse autoencoders as natural gradient flow
Astera Institute（Astera研究所）；UC Berkeley（加州大学伯克利分校）；UCL（伦敦大学学院）；Goodfire AI（Goodfire AI公司）；CSHL（冷泉港实验室）
本文提出BeFOND，一种无编码器的稀疏编码模型，将推理与字典学习统一为自然梯度流，通过循环解释消除和Fisher预条件减少特征干扰并加速稀有特征学习，在合成数据和语言模型激活上显著提升字典恢复、稀有特征检测及概念干预效果。
2026-10-07 cs.AI cs.LG
What Regularized Auto-Encoders Learn from the Data Generating Distribution
University of Montreal（蒙特利尔大学）
自动编码器了解底层数据生成分布的哪些信息？最近的工作表明，一些自动编码器变体在捕获数据的局部流形结构方面做得很好。本文澄清了一些这些以前的观察，通过显示，最小化一个特定形式的正则化重建误差产生一个重建函数，局部特征的数据生成密度的形状。我们表明，自动编码器捕获的分数（相对于输入的对数密度的衍生物）。这与以前将重建误差解释为能量函数相矛盾。与以前的结果不同，这里提供的定理是完全通用的，并且不依赖于自动编码器的参数化：它们显示了如果给定足够的容量和示例，自动编码器会倾向于什么。这些结果是针对收缩训练标准的，我们表明其类似于具有小腐败噪声的去噪自动编码器训练标准，但是收缩应用于整个重建函数而不仅仅是编码器。与分数匹配类似，可以将所提出的训练标准视为最大似然的方便替代方案，因为它不涉及分区函数。最后，我们展示了如何近似的大都会黑斯廷斯MCMC可以设置从估计的分布中恢复样本，这在采样实验中得到了证实。
2014-08-19 cs.LG stat.ML
Wasserstein Auto-Encoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）
我们提出了Wasserstein自动编码器（WAE）-一种新的算法，用于建立数据分布的生成模型。WAE最小化模型分布和目标分布之间的瓦瑟斯坦距离的惩罚形式，这导致与变分自动编码器（VAE）所使用的正则化器不同的正则化器。这个正则化器鼓励编码的训练分布与先验匹配。我们比较我们的算法与其他几种技术，并表明它是一个泛化的对抗性自动编码器（AAE）。我们的实验表明，WAE共享VAE的许多属性（稳定的训练，编码器-解码器架构，良好的潜在流形结构），同时生成更好质量的样本，如FID分数所衡量的。
2019-12-05 cs.LG stat.ML
Implicit Density Estimation by Local Moment Matching to Sample from Auto-Encoders
University of Montreal（蒙特利尔大学）
最近的工作表明，一些自动编码器变体在捕获未知数据生成密度的局部流形结构方面做得很好。本文有助于从数学上理解这一现象，并有助于基于自动编码器变体为深度学习定义更合理的采样算法。我们考虑MCMC，其中每个步骤从高斯采样，其均值和协方差矩阵取决于先前的状态，通过其渐近分布定义目标密度。首先，我们证明了这些均值和协方差函数的良好选择（在一致性的意义上）是该目标密度下的局部期望值和协方差。然后，我们表明，一个压缩惩罚的自动编码器捕获这些局部矩在其重建函数和雅可比矩阵的估计。因此，这项工作的贡献是一种新的替代最大似然密度估计，我们称之为本地矩匹配。它还证明了最近提出的压缩自动编码器的采样算法，并将其扩展到去噪自动编码器。
2012-06-30 cs.LG stat.ML
Variational Graph Auto-Encoders
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高级研究院）
我们介绍了变分图自动编码器（VGAE），一个基于变分自动编码器（VAE）的图结构数据无监督学习框架。该模型利用潜变量，能够学习无向图的可解释的潜表示。我们使用图卷积网络（GCN）编码器和一个简单的内积解码器来演示这个模型。我们的模型在引用网络中的链接预测任务上取得了有竞争力的结果。与大多数现有的对图结构数据和链接预测进行无监督学习的模型相比，我们的模型可以自然地包含节点特征，这显著提高了许多基准数据集的预测性能。
2016-11-21 cs.LG stat.ML
Multi-Layer Convolutional Sparse Modeling: Pursuit and Dictionary Learning
Technion-Israel Institute of Technology（以色列理工学院）；Stanford University（斯坦福大学）
最近提出的多层卷积稀疏编码（ML-CSC）模型，由级联的卷积稀疏层，提供了一个新的解释卷积神经网络（CNN）。在这个框架下，CNN中的前向传递的计算相当于一个追踪算法，旨在从给定的输入信号中估计嵌套的稀疏表示向量（或特征图）。尽管已经成为CNN和稀疏建模之间的关键联系，但仍然缺乏对ML-CSC的更深入理解：没有追踪算法可以精确地服务于这个模型，也没有条件保证非空模型。虽然可以容易地获得近似满足ML-CSC约束的信号，但仍然不清楚如何简单地从模型中采样，更重要的是，如何从真实数据中训练卷积滤波器。在这项工作中，我们提出了一个健全的追求算法的ML-CSC模型，采用投影方法。我们提供了新的和改进的边界上的稳定性的解决方案，这样的追求，我们分析了不同的实际替代方案，以实现这在实践中。我们证明了滤波器的训练对于模型中的非平凡信号至关重要，并且我们推导出一种在线算法来从真实数据中学习字典，有效地产生级联稀疏卷积层。最后，但并非最不重要的是，我们证明了ML-CSC模型在无监督环境中的几个应用程序的适用性，提供了有竞争力的结果。我们的工作代表了矩阵分解，稀疏字典学习和稀疏自动编码器之间的桥梁，我们详细分析了这些连接。
2018-06-30 cs.CV cs.LG stat.ML
Exploring Task Performance with Interpretable Models via Sparse Auto-Encoders
The University of Sheffield（谢菲尔德大学）；Tianjin University（天津大学）；University of Manchester（曼彻斯特大学）；Kyushu University（九州大学）；City University of Hong Kong（香港城市大学）
本研究利用稀疏自编码器分解大型语言模型，提取单语义特征以识别内部误解，并通过自动重构提示词提升数学推理和隐喻检测等下游任务性能。
2025-07-08 cs.CL cs.LG
The Interpretable Dictionary in Sparse Coding
Drexel University（德雷塞尔大学）；University of Delaware（特拉华大学）
人工神经网络（ANN），特别是深度学习网络，由于数据的内部表示不容易解释，因此经常被标记为黑盒。在我们的工作中，我们说明了在特定稀疏约束下使用稀疏编码训练的ANN，产生了比标准深度学习模型更可解释的模型。通过稀疏编码学习的字典可以更容易理解，并且这些元素的激活创建了选择性特征输出。我们将稀疏编码模型与在相同数据上训练的等效前馈卷积自动编码器进行比较和对比。我们的研究结果表明，定性和定量的好处，在解释学习稀疏编码字典以及内部激活表示。
2020-11-24 cs.AI cs.CV cs.LG
Bilevel optimization for data-driven learning of Koopman embeddings using kernel-based autoencoders
Maxwell Institute for Mathematical Sciences, The University of Edinburgh（爱丁堡大学麦克斯韦数学研究所）；Heriot–Watt University（赫瑞瓦特大学）；Max Planck Institute for Dynamics of Complex Technical Systems（马克斯·普朗克复杂技术系统动力学研究所）；LAAS-CNRS（法国国家科学研究中心自动控制与系统分析实验室）；Université de Toulouse（图卢兹大学）；School of Mathematical & Computer Sciences, Heriot–Watt University（赫瑞瓦特大学数学与计算机科学学院）
该研究提出EDMD-kDL方法，结合配置法与双层优化，通过核字典学习从数据中学习Koopman嵌入，在海温预测、视频学习等实验中性能优于或相当ANN方法，且可扩展至大数据集。
2026-10-09 cs.LG math.DS stat.ML
Contractive De-noising Auto-encoder
College of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院）
自动编码器是一种特殊的基于重构的神经网络。去噪自动编码器（DAE）是一种改进的自动编码器，它通过先破坏原始数据，然后通过最小化重构误差函数来重构原始输入，从而对输入具有鲁棒性。而压缩式自动编码器（CAE）是另一种改进的自动编码器，通过引入学习特征相对于原始输入的矩阵的Frobenius范数来学习鲁棒特征。本文将去噪自编码器和压缩自编码器相结合，提出了一种对原始输入和学习特征都具有鲁棒性的改进自编码器--压缩去噪自编码器（CDAE）。我们堆叠CDAE提取更抽象的特征，并应用SVM进行分类。在基准数据集MNIST上的实验结果表明，该方法的性能优于DAE和CAE，证明了该方法的有效性。
2014-04-23 cs.LG
Graph Attention Auto-Encoders
Arizona State University（亚利桑那州立大学）
自动编码器已经成为无监督学习的成功框架。然而，传统的自动编码器不能利用结构化数据中的显式关系。为了利用图结构数据中的关系，最近提出了几种图自动编码器，但它们忽略了重建图结构或节点属性。在本文中，我们提出了图形注意力自动编码器（GATE），一个神经网络架构的无监督表示学习的图形结构的数据。我们的架构是能够重建图形结构的输入，包括节点属性和图形结构，通过堆叠的编码器/解码器层配备自注意力机制。在编码器中，通过将节点属性视为初始节点表示，每个层通过关注其邻居的表示来生成节点的新表示。在解码器中，我们尝试逆编码过程来重构节点属性。此外，节点表示正则化，以重建图结构。我们提出的架构不需要预先知道图的结构，因此它可以应用于归纳学习。我们的实验表明，在几个节点分类基准数据集上，对于转换和归纳任务，我们的性能具有竞争力，在大多数情况下甚至超过了监督学习基线的性能。
2019-05-26 cs.LG cs.SI stat.ML
Geometry-Adaptive Explainer for Faithful Dictionary-Based Interpretability under Distribution Shift
Yonsei University（延世大学）；Harvard University（哈佛大学）
本文提出了一种几何适应解释器（GAE），用于在分布偏移下提高基于字典的可解释性。通过重新对齐解释器的字典与偏移活跃子空间，同时保持原始特征结构，GAE在无监督的情况下减少了分布偏移下的忠实性差距。
2026-11-05 cs.CL cs.LG
Saturating Auto-Encoders
Courant Institute of Mathematical Science（库朗数学科学研究所）；New York University（纽约大学）
我们介绍了一个简单的新的自动编码器，其隐藏单元激活函数包含至少一个零梯度（饱和）区域的正则化。该正则化子明确地鼓励在对应的激活函数的饱和区域中的激活。我们称之为饱和自动编码器（SATAE）。我们表明，饱和正则化显式限制了SATAE的能力，重建输入附近的数据流形。此外，我们表明，各种各样的功能可以学习时，使用不同的激活函数。最后，与压缩和稀疏自动编码器建立连接。
2013-03-20 cs.LG
Relating graph auto-encoders to linear models
University of Tübingen（图宾根大学）
本文证明图自编码器的解空间是线性映射解空间的子集，指出节点特征而非编码器非线性才是更强的归纳偏置，并通过实验表明使用特征信息时线性编码器可优于非线性编码器。
2023-11-30 cs.LG
Discriminative Robust Deep Dictionary Learning for Hyperspectral Image Classification
Indraprastha Institute of Information Technology, Delhi（因德拉普拉斯信息技术学院（德里））
这项工作提出了一个新的深度学习框架，特别适合高光谱图像分类。我们以一种健壮的方式学习多级字典。最后一层是判别式的，它学习线性分类器。训练过程是渐进式的，每次只学习一级字典，而系数用于训练下一级。最后一级的系数用于分类。鲁棒性通过最小化绝对偏差而不是更流行的欧几里德范数来实现。内置的鲁棒性有助于对抗高光谱图像中存在的混合噪声（高斯和稀疏）。结果表明，我们提出的技术优于所有其他深度学习方法深度信念网络（DBN），堆叠自动编码器（SAE）和卷积神经网络（CNN）。在基准高光谱成像数据集上进行了实验。
2019-12-11 cs.CV cs.LG eess.IV
Rate-Distortion Auto-Encoders
University of Florida（佛罗里达大学）
最近关于深度学习的研究激发了人们对自动编码算法的兴趣。当前的努力已经指向具有大量编码单元的自动编码器架构的有效训练。在这里，我们提出了一种学习算法的自动编码器的基础上的率失真的目标，最大限度地减少互信息之间的输入和输出的自动编码器受到保真度约束。我们的目标是学习一种表示，这种表示对输入数据的贡献最小，但又足够丰富，可以在一定程度的失真下重建输入。最小化互信息充当正则化项，而保真度约束可以被理解为常规统计学习设置中的风险函数。该算法使用了最近推出的熵的无限可分矩阵的基础上，避免了插件估计的密度。使用过完备基的实验表明，率失真自动编码器可以以隐式方式学习正则化的输入输出映射。
2014-04-17 cs.LG
Auto-Encoder based Co-Training Multi-View Representation Learning
China University of Petroleum（中国石油大学）
多视图学习是一种利用对象的各种表示来挖掘有价值的知识和提高学习算法性能的学习问题，而子空间学习是多视图学习的一个重要方向。自动编码器是一种深度学习方法，它通过重构输入数据来学习原始数据的潜在特征，在此基础上，提出了一种基于自动编码器的协同训练多视图学习（Automo-encoder based Co-training Multi-View Learning，ACMVL）算法，该算法利用互补性和一致性，找到多视图的联合潜在特征表示。该算法分为两个阶段，第一阶段是训练每个视图的自动编码器，第二阶段是训练一个监督网络。有趣的是，这两个阶段共享部分权重，并通过共同训练过程相互帮助。实验结果表明，该方法可以学习到性能良好的潜在特征表示，并且每个视图的自动编码器比传统的自动编码器具有更强的重构能力。
2022-01-09 cs.LG
Information Theoretic-Learning Auto-Encoder
University of Florida（佛罗里达大学）
提出了神经网络变分正则化的信息理论学习（ITL）发散测度。我们还探索了ITL正则化自编码器作为变分自编码贝叶斯，对抗性自编码器和生成对抗网络的替代方案，用于随机生成样本数据，而无需显式定义分区函数。本文还形式化，生成矩匹配网络下的ITL框架。
2016-03-22 cs.LG
Differential Informed Auto-Encoder
该研究提出微分信息自编码器，结合编码器提取微分方程结构与解码器重采样，并借助物理信息神经网络生成保持原数据微分结构的新数据。
2024-10-24 cs.LG
Conservativeness of untied auto-encoders
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）；HEC Montreal（蒙特利尔高等商学院）
我们讨论了一个自动编码器定义一个保守的向量场，在这种情况下，它是与一个能量函数类似的数据的非归一化对数概率的必要条件和充分条件。我们证明了保守性的条件比编码器和解码器权重相同（“捆绑权重”）更一般，并且它们还取决于隐藏单元激活函数的形式，但是收缩训练标准（如去噪）将局部执行这些条件。基于这些观察，我们展示了如何使用自动编码器来提取向量场的保守分量。
2015-09-21 cs.LG
Training Auto-encoders Effectively via Eliminating Task-irrelevant Input Variables
Huazhong University of Science & Technology（华中科技大学）；China Three Gorges University（三峡大学）；Wuhan Polytechnic University（武汉轻工大学）；Wuhan University（武汉大学）；University of Edinburgh（爱丁堡大学）
自动编码器通常被用作深度网络分类器的构建块来学习特征提取器，但是输入数据中的任务无关信息可能导致不良提取器并导致网络的泛化性能差。本文提出了一种基于重要性的变量选择方法，该方法首先估计变量的重要性，然后对重要性值小于阈值的变量进行丢弃，以发现并丢弃与任务无关的输入变量，从而显著提高自动编码器的性能。为了获得更好的性能，该方法可以用于堆叠的自动编码器的每一层。实验结果表明，当与我们的方法相结合时，堆叠去噪自动编码器在三个具有挑战性的数据集上实现了显着提高的性能。
2016-05-31 cs.LG
Unbalanced Optimal Transport Dictionary Learning for Unsupervised Hyperspectral Image Clustering
本文提出利用不平衡最优传输字典学习方法，通过低维表示和光谱聚类实现超光谱图像的无监督聚类。
2026-03-10 cs.CV cs.LG math.ST
Local Distance Preserving Auto-encoders using Continuous k-Nearest Neighbours Graphs
Volkswagen Group（大众集团）
在表示学习中，保持数据相似性的自动编码器模型是一种流行的工具。在本文中，我们介绍了几个自动编码器模型，保持本地距离时，从数据空间映射到潜在的空间。我们使用一个本地的距离保持损失，是基于连续的k-最近的邻居图，这是已知的捕捉拓扑特征，在所有尺度上同时。为了提高训练性能，我们将学习制定为约束优化问题，以局部距离保持为主要目标，重建精度为约束。我们将这种方法推广到分层变分自动编码器，从而学习具有几何一致的潜在和数据空间的生成模型。我们的方法在几个标准数据集和评估指标上提供了最先进的性能。
2022-09-30 cs.LG
Auto-encoders: reconstruction versus compression
我们讨论了训练自动编码器以最小化重建误差和训练同一个自动编码器通过生成模型压缩数据之间的相似性和差异。使用自动编码器最小化数据的码长相当于最小化重构误差加上一些校正项，这些校正项具有解码函数的去噪或收缩特性的解释。这些术语与去噪或收缩自动编码器中使用的术语相关但不相同[Vincent et al. 2010，Rifai et al. 2011]。特别地，码长观点完全确定去噪标准的最佳噪声水平。
2015-01-23 cs.IT cs.LG cs.NE
Scoring and Classifying with Gated Auto-encoders
University of Guelph（圭尔夫大学）
自动编码器可能是表示学习最著名的非概率方法。它们在概念上很简单，并且易于训练。最近的理论工作揭示了他们捕捉流形结构的能力，并与密度建模建立了联系。这促使研究人员寻求自动编码器评分的方法，这进一步促进了它们在分类中的应用。门控自动编码器（GAE）是自动编码器的一个有趣而灵活的扩展，它可以学习不同图像之间的变换或图像内的像素协方差。然而，无论是理论上还是实证上，对它们的研究都要少得多。在这项工作中，我们应用动力系统的观点GAE，推导出一个评分函数，并绘制连接到限制玻尔兹曼机。在一组深度学习基准测试中，我们还展示了它们对单标签和多标签分类的有效性。
2015-06-15 cs.LG cs.NE
Clustering and Unsupervised Anomaly Detection with L2 Normalized Deep Auto-Encoder Representations
Nokia Technologies（诺基亚技术）
聚类对于模式识别和计算机视觉中的许多任务都是必不可少的。随着深度学习的出现，人们对学习用于聚类分析的深度无监督表示越来越感兴趣。这个领域的许多作品依赖于自动编码器的变体，并使用编码器输出作为聚类的表示/特征。在本文中，我们证明了在自动编码器训练期间对这些表示的l2归一化约束，使得训练后的表示在欧几里得空间中更加可分离和紧凑。这大大提高了聚类的准确性时，k均值聚类的表示。我们还提出了一种基于聚类的无监督异常检测方法，使用l2归一化深度自动编码器表示。我们显示了l2归一化对异常检测精度的影响。我们进一步表明，所提出的异常检测方法大大提高了准确性相比，以前提出的深层方法，如基于重建误差的异常检测。
2018-02-01 cs.LG
Creation of a Deep Convolutional Auto-Encoder in Caffe
本文介绍了在Caffe深度学习框架中开发深度（堆叠）卷积自动编码器。我们描述了我们用来在Caffe中创建这个模型的简单原则。所提出的卷积自动编码器模型还没有池化/解池化层。我们的实验研究的结果表明，与经典的自动编码器相比，MNIST数据集的例子的降维精度相当。
2016-04-22 cs.CV cs.LG cs.NE
Automatic Pronunciation Generation by Utilizing a Semi-supervised Deep Neural Networks
Sony Corporation（索尼公司）；ETH Zurich（苏黎世联邦理工学院）
音素或语音子词单元是现代自动语音识别系统中最常用的表示语音信号的原子单元。然而，由于以下几个原因，它们不是最佳选择：手工制作发音词典需要大量的努力，发音变化，人为错误以及方言和语言资源不足。本文提出了一种数据驱动的发音估计和声学建模方法，该方法仅利用正字法来联合估计一组子词单元和一个可靠的词典。实验结果表明，该方法基于半监督训练的深度神经网络，在TIMIT数据集上的识别性能大大优于基于音素的连续语音识别。
2016-06-15 cs.CL cs.LG cs.SD
Identifying Functionally Important Features with End-to-End Sparse Dictionary Learning
Apollo Research（阿波罗研究中心）；University of Queensland（昆士兰大学）
本文提出端到端稀疏字典学习方法，通过最小化KL散度确保学习特征的功能重要性，相比标准SAEs实现帕累托改进，更准确简洁地解释网络行为。
2024-05-24 cs.AI cs.LG
Optimal Sparse Linear Auto-Encoders and Sparse PCA
Yahoo Labs（雅虎实验室）
主成分分析（PCA）是数据的最佳线性自动编码器，通常用于构造特征。在主成分上实施稀疏性可以促进更好的泛化，同时提高特征的可解释性。我们研究了构造最优稀疏线性自编码器的问题。在这样的设置中，两个自然的问题是：i）给定稀疏性水平，可以实现的PCA的最佳近似是什么？ii）是否有低阶多项式时间算法，可以渐近实现稀疏性和近似质量之间的最佳权衡？在这项工作中，我们回答了这两个问题，给出了有效的低阶多项式时间算法构造渐近\emph{optimal}线性自动编码器（特别是，稀疏功能与近PCA重建误差），并证明了我们的算法在真实数据上的性能。
2015-02-23 cs.AI cs.IT cs.LG
Radon Sobolev Variational Auto-Encoders
Université Paris Dauphine - PSL Research University（巴黎第九大学-巴黎文理研究大学）；CEREMADE（CEREMADE（巴黎第九大学应用数学研究中心））
生成模型（如生成对抗网络和变分自动编码器）的质量在很大程度上取决于选择良好的概率距离。然而，一些常用的度量如Wasserstein距离、Sliced Wasserstein距离、Jensen-Shannon散度、Kullback-Leibler散度等缺乏方便的性质，如（测地线）凸性、快速求值等，为了解决这些缺点，我们引入了一类具有内建凸性的距离.我们调查的关系与一些已知的范例（切片距离-拉东距离的同义词-，再生核希尔伯特空间，能量距离）。的距离被证明具有快速的实现，并包括在一个适应变分自动编码器称为拉东Sobolev变分自动编码器（RS-VAE），产生高质量的结果标准生成数据集。关键词：变分自动编码器;生成模型; Sobolev空间; Radon Sobolev变分自动编码器;
2021-04-14 cs.AI cs.CV cs.LG
Kernel Transform Learning
Indraprastha Institute of Information Technology（因德拉普拉斯信息技术学院）
这项工作提出了核变换学习。字典学习的思想是众所周知的;它是一种合成公式，其中基础与系数一起学习，以便生成或合成数据。变换学习是其分析等价物;变换对数据进行操作或分析以生成系数。核字典学习的概念是最近才引入的，其中字典被表示为数据的非线性版本的线性组合。它的成功已经在特征提取中得到了展示。在这项工作中，我们提出了类似于核字典学习的在线核化变换学习。核变换学习的一个有效的解决方案已经被提出，特别是对于样本的数量远远大于输入样本的维数使得核矩阵非常高维的问题。核变换学习已经与其他表示学习工具，如自动编码器，限制玻尔兹曼机以及字典学习（及其核化版本）进行了比较。我们提出的核变换学习产生更好的结果比所有上述技术，实验已经进行了基准数据库。
2019-12-11 cs.CV cs.LG
Deep Denoising Auto-encoder for Statistical Speech Synthesis
McGill University（麦吉尔大学）；National Institute of Informatics（国立信息学研究所）
本文提出了一种深度去噪自动编码器技术，以提取更好的声学特征用于语音合成。该技术允许我们以非线性、数据驱动、无监督的方式从高维光谱特征中自动提取低维特征。我们比较了新的随机特征提取器与传统的梅尔倒谱分析在分析合成和文本到语音的实验。我们的研究结果证实，该方法提高了合成语音的质量在两个实验中。
2015-06-17 cs.LG cs.SD
Directed Graph Auto-Encoders
IBM Research（IBM研究院）；T. J. Watson Research Center（T·J·沃森研究中心）
我们引入了一类新的自动编码器的有向图，直接扩展的Weisfeiler-Leman算法对节点标签的动机。该模型学习有向图节点的可解释潜在表示对，并使用参数化的图卷积网络（GCN）层作为其编码器和非对称内积解码器。编码器中的参数控制相邻节点之间交换的表示的加权。我们证明了所提出的模型学习有意义的潜在嵌入的能力，并在几个流行的网络数据集上的有向链接预测任务上取得优异的性能。
2022-02-25 cs.AI cs.LG
An FNet based Auto Encoder for Long Sequence News Story Generation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；California State University Fullerton（加州州立大学富勒顿分校）
在本文中，我们设计了一个基于Google的FNet架构的自动编码器，以便从Google的C4数据集中包含的新闻故事子集中生成文本。我们讨论以前的尝试和方法，从自动编码器和非LLM模型生成文本。FNET在效率方面比基于BERT的编码器具有多个优势，在GPU上的训练速度快80%，在TPU上快70%。然后，我们比较这个autencoder如何在不同的时期perfroms的输出。最后，我们分析了编码器使用不同种子文本产生的输出。
2022-11-17 cs.AI cs.CL cs.LG
Variation Spaces for Encoder--Decoder Neural Operators: Approximation and Generalization
University of Science and Technology of China（中国科学技术大学）
通过引入变分空间作为非线性算子的无穷维结构类，建立了编码器-解码器双层网络在Bochner L^q范数下的逼近界，误差分解为输入编码误差、输出编码误差和N^{-1/2}阶有限宽逼近项，为超越一般Lipschitz或Fréchet可微算子类的高效神经算子学习提供了理论保证。
2026-09-03 cs.LG cs.NA math.FA
Features that Make a Difference: Leveraging Gradients for Improved Dictionary Learning
Brigham Young University（杨百翰大学）
针对传统稀疏自编码器仅考虑激活值而忽略下游影响的问题，提出g-SAEs，通过在TopK激活函数中引入输入激活的梯度来改进架构，使重构更忠实于原始网络性能，并能更有效地引导模型。
2025-03-31 cs.AI cs.CL cs.LG
GANBERT: Generative Adversarial Networks with Bidirectional Encoder Representations from Transformers for MRI to PET synthesis
NVIDIA Corporation（英伟达公司）；Seoul National University（首尔大学）
合成医学图像（如PET）是一项具有挑战性的任务，因为强度范围比照片和数字渲染中的强度范围更宽，更密集，并且通常严重偏向零。最重要的是，PET中的强度值具有绝对意义，并且用于计算在人群中可重现的参数。然而，当合成PET图像时，通常必须在预处理/后处理中进行大量手动调整，因为其强度范围可能变化很大，例如，浮点值在-100到1000之间。为了克服这些挑战，我们采用了双向编码器表示从Transformers（BERT）算法，在自然语言处理（NLP），其中大范围的浮点强度值表示为0至10000之间的整数，类似于自然语言词汇的字典取得了巨大的成功。然后训练BERT来预测一定比例的掩码值图像，其中其“下一句预测（NSP）”充当GAN模型。我们提出的方法，是能够产生PET图像从MRI图像在广泛的强度范围内，没有手动调整，在前/后处理。它是一种可以扩展并随时部署的方法。
2020-08-10 cs.CV cs.LG eess.IV
A Deep Convolutional Auto-Encoder with Pooling - Unpooling Layers in Caffe
本文介绍了Caffe深度学习框架中深度卷积自动编码器的几种模型的开发及其在MNIST数据集示例上的实验评估。我们已经创建了卷积自动编码器的五个模型，它们在架构上的不同之处在于自动编码器的编码器和解码器部分中是否存在池化和非池化层。我们的研究结果表明，开发的模型提供了很好的结果，在降维和无监督聚类任务，和小的分类错误时，我们使用学习的内部代码作为一个有监督的线性分类器和多层感知器的输入。最好的结果是由一个模型提供的，其中编码器部分包含卷积层和池化层，然后是一个类似的解码器部分，具有去卷积层和去池化层，而无需在解码器部分中使用开关变量。本文还讨论了在非常流行的Caffe深度学习框架中创建深度卷积自动编码器的实际细节。我们相信，本文中提出的方法和结果可以帮助其他研究人员在未来构建高效的深度神经网络架构。
2017-01-18 cs.CV cs.LG cs.NE
