Improved Auto-Encoding using Deterministic Projected Belief Networks
Fraunhofer FKIE（弗劳恩霍夫通信、信息处理与人机工程研究所）
本文利用确定性投影信念网络（D-PBN）结合可训练复合激活函数（TCAs），通过反向回溯机制在分析和重建中双向利用TCA，显著提升了自编码器性能，优于包括变分自编码器在内的标准方法。
2023-09-14 cs.LG
Supervised Auto-Encoding Twin-Bottleneck Hashing
University of Geneva（日内瓦大学）
该研究将自编码双瓶颈哈希推广为监督深度哈希网络，融入标签信息并处理类别不平衡，在三个数据集上取得显著改进。
2023-06-19 cs.LG
A Modified Convolutional Network for Auto-encoding based on Pattern Theory Growth Function
Nanyang Technological University（南洋理工大学）
这篇简短的论文报告了卷积神经网络的一个变体的缺点，其组件是基于模式理论框架开发的。
2021-04-04 cs.CV cs.LG eess.IV
O-GAN: Extremely Concise Approach for Auto-Encoding Generative Adversarial Networks
本文提出了正交生成对抗网络（O-GANs）。我们将编码器的网络进行正交分解，并在普通GANs的目标中添加额外的损失，这可以使编码器成为一个有效的编码器。同样的额外损失可以嵌入到任何类型的GANs中，并且几乎没有增加计算量。此外，我们讨论了我们的方法的原则，这是相对于充分利用剩余的自由度的时间。正如我们所知，我们的解决方案是训练一个具有自动编码能力的生成对抗网络的最简单方法。
2019-03-05 cs.CV cs.LG
Saddlepoints in Unsupervised Least Squares
本文揭示了深度自动编码神经网络背景下无监督最小二乘的风险状况。我们正式建立了无监督最小二乘和主流形之间的等价关系。此链接提供了对均方误差下自动编码的风险前景的洞察，特别是所有非平凡的临界点都是鞍点。寻找鞍点本身是困难的，过完全自动编码带来了额外的挑战，鞍点是退化的。在此背景下，我们讨论了自动编码器的正则化，特别是瓶颈，去噪和收缩自动编码，并提出了一种新的优化策略，可以被定义为特定形式的收缩正则化。
2021-04-11 cs.LG stat.ML
A New Distribution on the Simplex with Auto-Encoding Applications
Columbia University（哥伦比亚大学）；New York Genome Center（纽约基因组中心）；Spotify Technology S.A.（Spotify科技公司）
利用Kumaraswamy分布和一个有序的破棒过程，我们构造了一个新的分布。我们探索和发展这个新的分布的理论性质，并证明它具有对称性，在相同的条件下，著名的狄利克雷。与Dirichlet一样，新分布擅长捕捉稀疏性，但与Dirichlet不同的是，它具有精确和封闭的形式重新参数化-使其非常适合深度变分贝叶斯建模。我们证明了分布的效用在各种半监督自动编码任务。在所有情况下，所得到的模型都实现了与其简单性、使用显式概率模型和避免对抗性训练相称的竞争性能。
2019-12-14 cs.LG stat.ML
Context-encoding Variational Autoencoder for Unsupervised Anomaly Detection
German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））
无监督学习可以利用大规模数据源，而无需注释。在这种背景下，基于深度学习的自动编码器在检测医学图像中的异常方面显示出巨大的潜力。然而，国家的最先进的异常分数仍然是基于重建错误，这缺乏在两个重要部分：它忽略了模型内部表示重建，它缺乏正式的断言和样本之间的可比性。我们通过提出上下文编码变分自编码器（ceVAE）来解决这些缺点，该上下文编码器将重建与基于密度的异常评分相结合。这改善了样本以及像素方面的结果。在我们对BraTS-2017和ISLES-2015分割基准的实验中，ceVAE分别实现了0.95和0.89的无监督ROC-AUC，从而大大优于最先进的方法。
2018-12-14 cs.LG stat.ML
SE-GSL: A General and Effective Graph Structure Learning Framework through Structural Entropy Optimization
Beihang University（北京航空航天大学）；Macquarie University（麦考瑞大学）；Didi Chuxing（滴滴出行）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
图神经网络（GNN）是结构化数据学习的实际解决方案。然而，它容易受到低质量和不可靠的结构的影响，这在现实世界的图中是一种常态而不是例外。现有的图结构学习（GSL）框架仍然缺乏鲁棒性和可解释性。本文提出了一个通用的GSL框架，SE-GSL，通过结构熵和图层次抽象的编码树。特别是，我们利用一维结构熵最大化嵌入的信息内容时，辅助邻域属性融合，以提高原始图。提出了一种新的最优编码树的构造方案，以最小化图中的不确定性和噪声，同时确保分层抽象中适当的社区划分。我们提出了一种新的基于样本的机制，通过节点结构熵分布恢复图结构。它增加了较低级别社区中具有较大不确定性的节点之间的连通性。SE-GSL与各种GNN模型兼容，并增强了对噪声和异质结构的鲁棒性。大量的实验表明，在结构学习和节点表示学习的有效性和鲁棒性显着改善。
2023-03-17 cs.AI cs.LG
Transformer-based Automatic Post-Editing with a Context-Aware Encoding Approach for Multi-Source Inputs
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
自动译后编辑（APE）研究的最新方法表明，多源模型可以获得更好的结果，该模型联合编码源（src）和机器翻译输出（mt）以产生译后编辑句子（pe）。沿着这一趋势，我们提出了一个新的多源APE模型的基础上的Transformer。为了构建有效的联合表示，我们的模型内部学习将src上下文纳入mt表示。通过这种方法，我们实现了一个显着的改善基线系统，以及国家的最先进的多源APE模型。此外，为了证明我们的模型将src上下文的能力，我们表明，未知的MT系统的字对齐成功地捕获在我们的编码结果。
2019-08-15 cs.CL cs.LG
Auto-encoding a Knowledge Graph Using a Deep Belief Network: A Random Fields Perspective
我们从一个知识图谱的连接实体和描述这些实体的属性，从其中，层次表示的知识图谱的派生。使用一个图形化的，基于能量的神经网络，我们能够表明，层次结构可以内部捕获的神经网络，这使得有效的输出的基础平衡分布的数据被提取。
2019-12-26 cs.LG cs.NE math.PR
Encoding Motion Primitives for Autonomous Vehicles using Virtual Velocity Constraints and Neural Network Scheduling
在自动驾驶车辆的轨迹规划的背景下，本文提出了基于模型和无梯度强化学习的神经网络中的运动基元的有效编码方法。它分为5个核心方面：系统模型，网络结构，训练算法，训练任务选择和硬件/软件实现。对于系统模型，运动学（3-状态-2-控制）和动态（16-状态-2-控制）车辆模型进行了比较。对于网络结构，比较了3种前馈结构，包括加权跳跃连接。在训练算法中，提出了虚拟速度约束和网络调度。对于训练任务，讨论了不同的特征向量选择。为了实现，讨论了使用1 GPU的无梯度学习的各个方面以及扰动噪声的处理。所提出的方法的效果说明在实验中编码高达14625运动原语。强调了在车辆速度上调度时具有少至10个标量参数的微小神经网络的能力。
2018-10-03 cs.LG cs.RO
Variational Approaches for Auto-Encoding Generative Adversarial Networks
DeepMind
自动编码生成对抗网络（GANs）结合了标准的GAN算法，该算法区分真实和模型生成的数据，并由自动编码器给出重建损失。这些模型旨在通过确保学习生成模型基于所有可用的训练数据来防止学习生成模型中的模式崩溃。在本文中，我们开发了一种原理，通过利用生成模型的分层结构，可以将自动编码器与生成对抗网络相结合。其基本原理表明，变分推断可以用作学习的基本工具，但不可处理的似然被合成似然代替，未知的后验分布被隐式分布代替;合成似然和隐式后验分布都可以使用鉴别器来学习。这使我们能够开发变分自动编码器和生成对抗网络的自然融合，结合这两种方法的优点。我们描述了一个统一的优化目标，讨论了指导学习所需的约束条件，连接到广泛的现有工作，并使用一系列测试来系统地和定量地评估我们的方法的性能。
2017-10-21 cs.LG stat.ML
Matrix Information Theory for Self-Supervised Learning
IIIS, Tsinghua University（清华大学信息科学技术学院（交叉信息研究院））；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Qizhi Institute（上海人工智能研究院）
本研究提出基于矩阵信息论的自监督学习方法Matrix-SSL，通过矩阵均匀性损失与对齐损失增强最大熵编码，在图像任务和语言建模任务上均取得优于现有方法的表现。
2024-09-15 cs.AI cs.CV cs.LG
Topological Constraints on Homeomorphic Auto-Encoding
University of Amsterdam（阿姆斯特丹大学）；UC Berkeley（加州大学伯克利分校）
当对存在于嵌入在高维空间中的已知非平凡流形上的数据进行表示学习时，很自然地希望编码器在限制于流形时是同胚的，使得它是双射的并且是连续的，具有连续逆。使用拓扑参数，我们表明，当流形是非平凡的，编码器必须是全球不连续的，并提出了一个普遍的，虽然不切实际的，建设。此外，我们推导出必要的约束，需要满足时，设计特定的流形实用编码器。这些用于分析用于3D旋转的流形的同胚编码器的候选者$SO(3)$。
2018-12-27 cs.LG stat.ML
The Condition Number as a Scale-Invariant Proxy for Information Encoding in Neural Units
Oswaldo Ludwig（奥沃尔多·路易斯）
本文提出条件数作为神经元信息编码的代理，通过分析线性单元和熵界，展示其在缓解灾难性遗忘中的有效性。
2026-02-08 cs.LG stat.ML
Optimizing Sequential Medical Treatments with Auto-Encoding Heuristic Search in POMDPs
Imperial College London（帝国理工学院）
健康相关数据在暗示患者的真实生理状态方面是噪声和随机的，限制了用于顺序临床决策的单时刻观察中包含的信息。我们将患者与临床医生的相互作用建模为部分可观察的马尔可夫决策过程（POMDPs），并根据从历史序列推断的信念状态优化顺序治疗。为了便于推理，我们建立了一个变分生成模型，并使用递归神经网络（RNN）增强状态表示，并结合了序列自动编码的辅助损失。同时，我们优化了一个连续的药物水平的政策与行动者-评论家的方法，其中策略梯度从一个稳定的政策外估计的优势函数，与并行的最佳优先后缀树支持的信念状态的值。我们利用我们的方法，使用回顾性重症监护数据集优化脓毒症患者的血管加压药和静脉输液剂量，并使用政策外政策评估（OPPE）评估学习的政策。结果表明，建模为POMDP产生更好的性能比MDP，并将启发式搜索提高样本效率。
2019-05-17 cs.AI cs.LG
Auto-Encoding Total Correlation Explanation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加利福尼亚大学）
无监督学习的进步使得能够从复杂的分布中重建和生成样本，但这种成功被所学习的表示的不可理解性所破坏。我们提出了一个信息理论的方法来表征解纠缠和依赖的表示学习使用多变量互信息，也称为总相关。全相关解释（CorEx）的原则已经在各种领域中成功地应用了无监督学习，但有一些限制性的假设。在这里，我们放宽这些限制，通过引入一个灵活的变分下限的CorEx。令人惊讶的是，我们发现，这个下限是等价的变分自编码器（VAE）在一定条件下。VAE的这种信息论观点加深了我们对分层VAE的理解，并激发了一种新的算法AnchorVAE，该算法通过信息最大化使潜在代码更具可解释性，并能够生成更丰富，更真实的样本。
2018-02-16 cs.LG stat.ML
"Dependency Bottleneck" in Auto-encoding Architectures: an Empirical Study
Carnegie Mellon University（卡内基梅隆大学）；RIKEN AIP（理化学研究所先进智能项目中心）；JST PRESTO（日本科学技术振兴机构先驱研究项目）
最近的研究工作通过研究深度神经网络（DNN）中的信息瓶颈来研究其泛化特性。然而，由于密度估计的原因，互信息（MI）的测量往往是不准确的。为了解决这个问题，我们建议在DNN中测量层之间的依赖性而不是MI。具体地说，我们建议使用希尔伯特-施密特独立准则（HSIC）作为依赖性度量，它可以衡量两个随机变量的依赖性，而无需估计概率密度。此外，HSIC是平方损失互信息（SMI）的特殊情况。在实验中，我们经验性地评估的泛化属性使用HSIC在重建和预测自动编码（AE）架构。
2018-02-15 cs.IT cs.LG math.IT
Variational auto-encoding of protein sequences
Harvard University（哈佛大学）；Harvard Medical School（哈佛医学院）
蛋白质负责生物学中最多样化的功能。从蛋白质序列中提取信息并预测突变效应的能力在生物学和医学的许多领域中是极其有价值的。然而，蛋白质序列和功能之间的映射是复杂的并且知之甚少。在这里，我们提出了一个嵌入的天然蛋白质序列使用变异自动编码器，并用它来预测突变如何影响蛋白质功能。我们使用这种无监督的方法来聚类自然变异，并学习蛋白质内位置集之间的相互作用。这种方法通常比考虑序列内没有相互作用的基线方法更好，并且在某些情况下比使用逆Potts模型的最先进方法更好。该生成模型可用于计算指导蛋白质序列空间的探索，并更好地为合理和自动的蛋白质设计提供信息。
2018-01-03 cs.LG q-bio.QM
Information Potential Auto-Encoders
Tohoku University（东北大学）
在本文中，我们提出了一个框架，利用互信息作为正则化标准训练自动编码器（AE）。在建议的框架中，AE正则化的输入和AE的编码变量之间的互信息在训练阶段的最小化。为了估计编码变量的熵和互信息，我们提出了一种非参数的方法。我们还给出了变分AE（VAE）的信息论观点，这表明VAE可以被认为是估计熵的参数方法。实验结果表明，所提出的非参数模型有更多的自由度方面的表示学习的复杂分布，如混合高斯的特征，相比，估计熵使用参数的方法，如变分AE。
2017-08-06 cs.IT cs.LG math.IT
Auto-Encoding Variational Bayes
Universiteit van Amsterdam（阿姆斯特丹大学）
我们如何在有向概率模型中进行有效的推理和学习，在存在具有难以处理的后验分布的连续潜变量和大型数据集的情况下？我们引入了一个随机变分推断和学习算法，可扩展到大数据集，在一些温和的可微条件下，甚至在棘手的情况下。我们的贡献是双重的。首先，我们表明，变分下界的重新参数化产生的下界估计，可以直接优化使用标准的随机梯度方法。其次，我们表明，对于i.i.d.对于每个数据点具有连续潜变量的数据集，通过使用所提出的下限估计量将近似推理模型（也称为识别模型）拟合到难以处理的后验，可以使后验推理特别有效。理论上的优势体现在实验结果中。
2022-12-10 cs.LG stat.ML
Auto-Encoding Molecular Conformations
Bayer AG（拜耳股份公司）；Freie Universität Berlin（柏林自由大学）
在这项工作中，我们介绍了一个自动编码器的分子构象。我们提出的模型将给定分子图（构象）中原子的离散空间排列转换为连续的固定大小的潜在表示。我们表明，在这种潜在的代表性，类似的构象集群在一起，而不同的构象分裂。此外，通过在分子构象的大数据集上训练概率模型，我们展示了我们的模型如何用于为给定分子生成不同的能量有利构象集。最后，我们表明，连续表示使我们能够利用优化方法来找到具有有利的空间性质的构象的分子。
2021-01-05 cs.LG physics.chem-ph q-bio.QM
Set Cross Entropy: Likelihood-based Permutation Invariant Loss Function for Probability Distributions
IBM Research（IBM研究院）
我们提出了一个置换不变的损失函数设计的神经网络重建一组元素，而不考虑其向量表示的顺序。与流行的方法编码和解码的一组，我们的工作不依赖于精心设计的网络拓扑结构，也没有任何额外的顺序算法。所提出的方法，集交叉熵，有一个自然的信息理论的解释，并与集定义的度量。我们评估所提出的方法在两个对象重建任务和规则学习任务。
2018-12-05 cs.LG stat.ML
Fuzzy Encoding-Decoding to Improve Spiking Q-Learning Performance in Autonomous Driving
Electrical and Computer Engineering Department（电气与计算机工程系）；Drexel University（德雷塞尔大学）
本文提出模糊编码-解码架构，通过改进视觉多模态深度脉冲Q网络，解决脉冲强化学习中的信息丢失和表征能力不足问题，提升自动驾驶决策精度。
2026-04-06 cs.LG cs.NE
Learning Shared Encoding Representation for End-to-End Speech Recognition Models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在这项工作中，我们学习了一个多任务神经网络模型的共享编码表示，该模型使用连接主义时间分类（CTC）和传统的逐帧交叉熵训练标准进行了优化。我们的实验表明，多任务训练不仅解决了优化CTC模型（如声学到单词）的复杂性，而且与具有最佳设置的普通任务训练相比，也有了显着的改进。此外，我们建议使用多任务网络学习的编码表示来初始化基于注意力的模型的编码器。因此，我们训练了一个基于深度注意力的端到端模型，该模型具有10个长短期记忆（LSTM）编码器层，在Hub 5 2000评估的Switchboard和CallHome子集上产生12.2%和22.6%的字错误率。
2019-03-31 cs.LG cs.SD eess.AS
Information Constraints on Auto-Encoding Variational Bayes
University of California, Berkeley（加州大学伯克利分校）；Ragon Institute of MGH, MIT and Harvard（麻省总医院、麻省理工学院与哈佛大学拉根研究所）；Chan-Zuckerberg Biohub（陈·扎克伯格生物中心）
用神经网络对生成模型的近似后验进行参数化已成为近年来机器学习研究的一个共同主题。这种方法虽然具有吸引人的灵活性，但却难以施加或评估有条件独立等结构性限制。我们提出了一个框架，学习表示依赖于自动编码变分贝叶斯和其搜索空间是通过基于内核的独立性措施的约束。特别是，我们的方法采用了$d$变量希尔伯特-施密特独立性准则（dHSIC），以强制执行的潜在表示和任意滋扰因素之间的独立性。我们展示了如何将这种方法应用于一系列问题，包括学习不变表示和学习可解释表示的问题。我们还提出了一个完整的应用程序，单细胞RNA测序（scRNA-seq）。在这种情况下，生物信号以复杂的方式与测序误差和采样效应混合。我们表明，我们的方法在这一领域的最先进的表现。
2018-11-29 cs.LG q-bio.GN stat.ML
Denoising Auto-encoding Priors in Undecimated Wavelet Domain for MR Image Reconstruction
Nanchang University（南昌大学）
压缩感知是一种令人印象深刻的快速MRI方法。该方法的目的是利用k空间中少量的欠采样数据重建MR图像，提高数据采集的效率。在这项研究中，我们提出了学习先验知识的基础上非抽样小波变换和迭代图像重建算法。在先验学习阶段，通过非抽样小波变换得到的变换后的特征图像被堆叠作为去噪自动编码器网络（DAE）的输入。高度冗余和多尺度的输入使不同通道的特征图像能够相互关联，从而实现鲁棒的网络驱动先验。在迭代重建时，利用最接近梯度算法将变换后的DAE先验信息引入到经典的迭代过程中。不同采样轨迹和采样率下的实验比较验证了该算法的巨大潜力。
2019-09-04 cs.LG eess.IV stat.ML
Efficient Convolutional Auto-Encoding via Random Convexification and Frequency-Domain Minimization
Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学）；Northwestern Polytechnical University (NPU)（西北工业大学）；Interuniversity Microelectronics Centre (IMEC)（校际微电子中心）
深度卷积神经网络（CNN）等深度学习架构的无处不在是由不断增加的标记数据集和专用硬件的协同组合推动的。尽管取得了无可争议的成功，但在接近新应用时，对大量标记数据和专用硬件的依赖可能是一个限制因素。为了帮助缓解这些限制，我们提出了一种有效的学习策略，用于在可接受的时间内在传统硬件上对深度CNN进行分层无监督训练。我们提出的策略包括随机凸化重构压缩自动编码（RCAE）学习目标，并通过坐标下降（CD）在频域中解决由此产生的大规模凸最小化问题。我们提出的学习策略的主要优点是：（1）单个可调优化参数;（2）快速且有保证的收敛;（3）完全并行化的可能性。数值实验表明，我们提出的学习策略规模（在最坏的情况下）与图像大小，过滤器的数量和过滤器的大小呈线性关系。
2016-11-28 cs.LG cs.NE stat.ML
Auto-Encoding for Shared Cross Domain Feature Representation and Image-to-Image Translation
Amity University（阿米提大学）
图像到图像的转换是计算机视觉和模式识别问题的一个子集，我们的目标是学习域$\mathbf{X}_1$的输入图像和域$\mathbf{X}_2$的输出图像之间的映射。当前方法使用具有编码器-解码器结构的神经网络来学习映射$G:\mathbf{X}_1 \to\mathbf{X}_2$，使得来自$\mathbf{X}_2$和$G(\mathbf{X}_1)$的图像的分布是相同的，其中$G(\mathbf{X}_1) = d_G (f_G (\mathbf{X}_1))$和$f_G (\cdot)$被称为编码器，而$d_G(\cdot)$被称为解码器。目前，也计算逆映射$F:\mathbf{X}_2 \to \mathbf{X}_1$的这种方法使用单独的编码器-解码器对$d_F (f_F (\mathbf{X}_2))$或至少单独的解码器$d_F (\cdot)$来这样做。在这里，我们介绍了一种方法来执行跨域图像到图像的翻译跨多个域使用一个单一的编码器-解码器架构。我们使用自动编码器网络，其给定输入图像$\mathbf{X}_1$，首先计算潜在域编码$Z_d = f_d (\mathbf{X}_1)$和潜在内容编码$Z_c = f_c (\mathbf{X}_1)$，其中域编码$Z_d$和内容编码$Z_c$是独立的。然后，解码器网络$g(Z_d,Z_c)$创建原始图像$\mathbf{\…
2020-06-11 cs.CV cs.LG eess.IV
Property Invariant Embedding for Automated Reasoning
University of Innsbruck（因斯布鲁克大学）；Czech Technical Univ. in Prague（布拉格捷克理工大学）
自动推理和定理证明最近已经成为机器学习的主要挑战。在其他领域，能够抽象不重要的转换的表示，例如视觉中的平移和旋转抽象，变得越来越普遍。然而，嵌入用于学习定理证明的数学公式的标准方法还不能处理许多重要的变换。特别是，嵌入以前看不见的标签，经常出现在定义编码和Skolemization，到目前为止已经非常弱。在已知符号之间传递知识时也会出现类似的问题。我们提出了一种新的编码公式，扩展现有的图神经网络模型。这种编码仅通过图中的节点来表示符号，而不向网络提供原始标签的任何知识。我们在这些节点之间提供了额外的链接，使网络能够恢复意义，从而正确地嵌入这些节点，而不管给定的标签。我们测试所提出的编码在一个自动定理证明的基础上的tableaux连接演算，并表明，它提高了迄今为止使用的最佳表征。编码进一步评估的前提选择任务和新引入的符号猜测任务，并正确预测65%的符号名称。
2019-11-27 cs.AI cs.LG cs.LO
Learning Relational Representations with Auto-encoding Logic Programs
KU Leuven（鲁汶大学）；VUB（布鲁塞尔自由大学（荷语区））
能够处理关系数据的深度学习方法在过去几年中激增。与利用一阶逻辑来表示此类数据的传统关系学习方法相比，这些深度学习方法旨在在欧几里得空间中重新表示符号关系数据。它们提供了更好的可扩展性，但只能在数值上近似关系结构，并且在支持的推理任务方面灵活性较差。本文介绍了一种新的框架，关系表示学习，结合了两个世界的最佳。该框架受自动编码原理的启发，使用一阶逻辑作为数据表示语言，原始表示和潜在表示之间的映射是通过逻辑程序而不是神经网络来完成的。我们展示了如何学习可以铸造作为一个约束优化问题，现有的求解器可以使用。使用逻辑作为表示语言使所提出的框架比深度学习方法更准确（因为表示是精确的，而不是近似的），更灵活，更可解释。我们的实验表明，这些潜在的表征确实是有益的关系学习任务。
2020-03-24 cs.AI cs.LG stat.ML
Comparing Quantum Encoding Techniques
本研究面向混合量子-经典机器学习场景，采用QuClassi架构对MNIST数据集的3、6数字做二分类，从性能、抗噪性、资源消耗等维度对比了基、振幅、旋转三类基础量子编码方法。
2024-10-23 cs.ET cs.IT cs.LG
Learning the Structure of Auto-Encoding Recommenders
The Hong Kong University of Science and Technology（香港科技大学）；The Education University of Hong Kong（香港教育大学）
Autoencoder最近在推荐任务中表现出了最先进的性能，因为它们能够有效地对非线性项关系进行建模。然而，现有的自动编码器解码器使用完全连接的神经网络层，并且不采用结构学习。这可能导致低效的训练，特别是当数据稀疏时，这在协同过滤中很常见。上述结果导致较低的泛化能力和降低的性能。在本文中，我们介绍了结构学习的自动编码器的过滤器利用固有的项目组中存在的协同过滤域。由于一般项目的性质，我们知道某些项目彼此之间的关系比其他项目更密切。基于此，我们提出了一种方法，首先学习相关项组，然后使用这些信息来确定自动编码神经网络的连接结构。这导致网络连接稀疏。这种稀疏结构可以被视为指导网络训练的先验知识。经验上，我们表明，建议的结构学习，使自动编码器收敛到一个更小的频谱范数和泛化误差界比完全连接的网络的局部最优。即使使用相同数量的参数和触发器，所得到的稀疏网络在多个基准数据集上的性能也大大优于\textsc{Mult-vae/Mult-dae}等最先进的方法。它还具有更好的冷启动性能。
2020-08-18 cs.IR cs.LG stat.ML
MIM: Mutual Information Machine
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
我们介绍了互信息机（MIM），一个概率自动编码器，用于学习联合分布的意见和潜在的变量。MIM反映了三个设计原则：1）低发散，以鼓励编码器和解码器学习相同底层分布的一致因子分解; 2）高互信息，以鼓励数据和潜在变量之间的信息关系;以及3）低边际熵或压缩，其倾向于鼓励聚类潜在表示。我们表明，詹森-香农发散和联合熵的编码和解码分布的组合满足这些标准，并承认一个易于处理的交叉熵界，可以直接优化蒙特卡洛和随机梯度下降。我们将MIM学习与最大似然和VAE进行了对比。实验表明，MIM学习表示高互信息，一致的编码和解码分布，有效的潜在聚类，和数据日志似然VAE相媲美，同时避免后崩溃。
2020-02-21 cs.IT cs.LG math.IT
Spatial Variational Auto-Encoding via Matrix-Variate Normal Distributions
Texas A&M University（得克萨斯农工大学）；Washington State University（华盛顿州立大学）
变分自动编码器（VAE）的核心思想类似于传统的自动编码器模型，其中空间信息应该被显式编码在潜在空间中。然而，VAE中的潜变量是向量，可以解释为大小为1x1的多个特征图。这种表示只能在与强大的解码器相结合时隐含地传达空间信息。在这项工作中，我们提出了空间VAE，使用较大尺寸的特征图作为潜在变量，以明确地捕捉空间信息。这是通过允许从矩阵变量正态（MVN）分布（其参数从编码器网络计算）中采样潜变量来实现的。为了增加潜在特征图上位置之间的依赖性并减少参数的数量，我们进一步提出了通过低秩MVN分布的空间VAE。实验结果表明，所提出的空间VAE在捕获丰富的结构和空间信息方面优于原始VAE。
2019-01-22 cs.CV cs.LG cs.NE
