结构化数据的语法导向变分自编码器

离散变分自编码器

Discrete Variational Autoencoders

具有离散潜变量的概率模型自然地捕获由离散类组成的数据集。然而，它们难以有效地训练，因为通过离散变量的反向传播通常是不可能的。我们提出了一种新的方法来训练一类概率模型与离散的潜变量使用变分自动编码器框架，包括反向传播通过离散的潜变量。相关联的概率模型类包括无向离散分量和有向分层连续分量。离散分量捕获由连续分量引起的不连通光滑流形上的分布。因此，这类模型可以有效地从无监督数据中学习图像中的对象类别及其在像素中的具体实现，并且在排列不变的MNIST、Omniglot和Caltech-101 Silhouettes数据集上的性能优于最先进的方法。

正则化最小二乘变分贝叶斯自编码器

Least Square Variational Bayesian Autoencoder with Regularization

近年来，变分自编码器（Variational Autoencoder，VAE）已成为复杂分布的最流行的无监督学习方法之一，与传统的自编码器相比，它具有更好的重构性能。变分自动编码器比MCMC有更好的近似性。VAE定义了一个生成过程，通过隐藏的随机层级联的祖先采样。它们是有向的图形模型。训练变分自动编码器以最大化变分下限。在这里，我们试图最大化可能性，同时我们也试图对数据进行良好的近似。它基本上是交易的数据对数似然和库尔贝克-莱布勒散度从真正的后验。本文描述的情况下，我们希望找到一个点估计的参数$θ$的一些参数模型中，我们产生的每个观察，首先采样的本地潜在变量，然后采样相关的观察。在这里，我们使用正则化的最小二乘损失函数在图像的重建，最小二乘损失函数被发现可以提供更好的重建图像，并具有更快的训练时间。

DVAE ++：具有重叠变换的离散变分自编码器

DVAE++: Discrete Variational Autoencoders with Overlapping Transformations

离散潜变量模型的训练仍然具有挑战性，因为通过离散单元传递梯度信息是困难的。我们提出了一类新的平滑变换的基础上的混合物的两个重叠的分布，并表明，所提出的变换可用于训练二进制潜在模型，无论是有向或无向先验。我们推导出一个新的变分约束，以有效地训练与玻尔兹曼机的先验。使用这个界限，我们开发了DVAE++，这是一个具有全局离散先验和卷积连续变量层次的生成模型。在几个基准上的实验表明，重叠变换优于离散潜变量的其他最近的连续松弛，包括Gumbel-Softmax（Maddison等人，2016; Jang等人，2016）和离散变分自编码器（Rolfe 2016）。

DAGSurv：基于有向无环图的深度神经网络生存分析

DAGSurv: Directed Acyclic Graph Based Survival Analysis Using Deep Neural Networks

观察性生存数据的因果结构提供了关于协变量与至事件发生时间之间关系的关键信息。我们从信息理论的信源编码参数的动机，并表明，将知识的有向无环图（DAG）可以是有益的，如果采用合适的源编码器。作为一个可能的源编码器在这种情况下，我们推导出一个变分推理为基础的条件变分自编码器的因果结构化生存预测，我们称之为DAGSurv。我们说明了DAGSurv在低维和高维合成数据集以及METABRIC和GBSG等真实数据集上的性能。我们证明了所提出的方法优于其他生存分析基线，如Cox比例风险，DeepSurv和Deephit，这些基线忽略了数据实体之间的潜在因果关系。

通过联合不变变分自编码器实现成像数据的鲁棒特征解纠缠：从卡片到原子

Robust Feature Disentanglement in Imaging Data via Joint Invariant Variational Autoencoders: from Cards to Atoms

从天文学中通过光学和射电望远镜可视化的天体到通过电子和探针显微镜解析的原子和分子的成像方面的最新进展正在产生大量的成像数据，其中包含从原子到天文学水平的宇宙结构信息。传统的深度卷积神经网络架构在具有显著方向紊乱的数据集上表现不佳，即在图像平面中具有任意方向的相同或相似对象的多个副本。类似地，虽然聚类方法非常适合分类为离散类，流形学习和变分自编码器方法可以解开数据的表示，但组合问题不适合经典的非监督学习范式。在这里，我们介绍了一个联合旋转（和旋转）不变的变分自动编码器（j-trVAE），非常适合这样一个问题的解决方案。该方法的性能进行了验证几个合成数据集，并扩展到高分辨率的电子和扫描探针显微镜成像数据。我们表明，潜在的空间行为直接对应的铁电材料和量子系统的已知物理。我们进一步注意到，通过强加的拓扑结构或有向图关系的潜在空间结构的工程允许在拓扑发现和因果物理学习中的应用。

变分自编码器学习更好的特征表示用于基于EEG的肥胖分类

Variational Autoencoder Learns Better Feature Representations for EEG-based Obesity Classification

肥胖是当今现代社会的一个常见问题，它会导致各种疾病并显着降低生活质量。目前，已经进行了研究以调查静息状态EEG（脑电图）信号，目的是识别与肥胖相关的可能的神经学特征。在这项研究中，我们提出了一个基于深度学习的框架来提取静息状态EEG特征，用于肥胖和瘦受试者分类。具体而言，一种新的变分自编码器框架被用来从原始EEG信号中提取主体不变的特征，然后由1-D卷积神经网络进行分类。与传统的机器学习和深度学习方法相比，我们证明了使用VAE进行特征提取的优越性，这体现在显著提高的分类准确率，更好的可视化和减少的特征表示中的杂质度量。未来的工作可以针对从神经学角度深入了解所提出的模型已经学习的空间模式，以及通过允许它发现任何时间相关的信息来提高所提出的模型的可解释性。

联合随机逼近自编码器及其在半监督学习中的应用

Joint-stochastic-approximation Autoencoders with Application to Semi-supervised Learning

针对现有深度生成模型处理离散数据及优化准则与似然间接相关的问题，提出联合随机逼近自编码器，直接最大化对数似然并最小化包含式KL散度，在半监督任务中性能媲美最先进连续潜变量模型。

CausalVAE：变分自编码器中的结构化因果解耦

CausalVAE: Structured Causal Disentanglement in Variational Autoencoder

针对真实场景中语义因子多存在因果依赖而非独立的问题，提出含因果层的CausalVAE框架，可学习可解释因果表示、识别DAG因果关系并生成反事实数据，且在一定监督下具备模型可识别性。

重新思考分子设计：整合潜变量与自回归模型以实现目标导向生成

Rethinking Molecular Design: Integrating Latent Variable and Auto-Regressive Models for Goal Directed Generation

本文针对目标导向分子生成，提出融合 VAE 与自回归模型优势的新型正则化混合模型，以提升分子序列有效性、条件生成与风格迁移，并反思经典模型的隐含假设。

CAVACHON：一种用于整合多模态单细胞数据的分层变分自编码器

CAVACHON: a hierarchical variational autoencoder to integrate multi-modal single-cell data

提出基于广义分层变分自编码器的概率学习框架CAVACHON，通过有向无环图显式纳入多模态单细胞数据间的条件独立性关系，有效实现多组学数据整合与分析。

Character Controllers Using Motion VAEs

A fundamental problem in computer animation is that of realizing purposeful and realistic human movement given a sufficiently-rich set of motion capture clips. We learn data-driven generative models of human movement using autoregressive conditional variational autoencoders, or Motion VAEs. The latent variables of the learned autoencoder define the action space for the movement and thereby govern its evolution over time. Planning or control algorithms can then use this action space to generate desired motions. In particular, we use deep reinforcement learning to learn controllers that achieve …

基于抽象语法树（AST）的异构有向超图神经网络用于代码分类

Heterogeneous Directed Hypergraph Neural Network over abstract syntax tree (AST) for Code Classification

针对现有代码分类方法忽略AST中高阶关联及语义结构信息的问题，提出异构有向超图及其神经网络，在Python和Java数据集上超越现有方法。

SEALion：加密数据神经网络推理框架

SEALion: a Framework for Neural Network Inference on Encrypted Data

我们提出了SEALion：一个可扩展的框架，隐私保护机器学习与同态加密。它允许人们学习深度神经网络，可以无缝地用于加密数据的预测。该框架由两层组成：第一层基于TensorFlow和SEAL构建，并公开了标准代数和深度学习原语;第二层实现了类似Keras的语法，用于使用神经网络进行训练和推理。给定所需的安全级别，用户可以从编码和加密方案的细节中抽象出来，从而允许快速原型化。我们提出了两个应用程序，举例说明了我们的建议，这也是独立的利益的可扩展性：i）提高效率的神经网络推理的活动稀疏和ii）通过查询服务器端的变分自编码器，可以处理加密数据的迁移学习。

弹球分配机中的变分推理

Variational Inference In Pachinko Allocation Machines

Pachinko分配机（PAM）是一个深度主题模型，它允许通过主题上的有向无环图来表示主题之间丰富的相关结构。然而，由于模型的灵活性，近似推理非常困难。也许由于这个原因，文献中只探索了少量潜在的PAM架构。在本文中，我们提出了一个有效的和灵活的摊销变分推理方法PAM，使用深度推理网络参数化的近似后验分布的方式类似于变分自编码器。我们的推理方法产生更多的连贯性主题比国家的最先进的推理方法PAM，同时是一个数量级更快，这使得探索更广泛的PAM架构比以前研究。

神经变分文本处理的分段潜变量

Piecewise Latent Variables for Neural Variational Text Processing

神经变分推理的进步促进了具有连续潜变量的强大有向图模型的学习，例如变分自编码器。我们希望这样的模型能够学会表示真实世界数据中丰富的、多模态的潜在因素，比如自然语言文本。然而，目前的模型往往假设简单的潜在变量的先验-如单峰高斯分布-这是无法有效地表示复杂的潜在因素。为了克服这个限制，我们提出了简单，但高度灵活的分段常数分布。该分布具有表示潜在目标分布的指数数量的模式的能力，同时保持数学上易于处理。我们的结果表明，将这种新的潜在分布纳入不同的模型中，可以大大改进自然语言处理任务，例如文档建模和对话的自然语言生成。

用于隐含波动率曲面的生成模型的隐空间无套利几何

Latent-Space No-Arbitrage Geometry of Generative Models for Implied Volatility Surfaces

本研究在隐空间分析生成隐含波动率曲面的模型的无套利约束，建立可接受隐集的边界条件，将分析推广至多种生成模型架构，实验验证了边界的有效性并揭示隐先验的分布特征。

深度定向生成式自动编码器

Deep Directed Generative Autoencoders

对于离散数据，如果$P(X | H)$具有足够的容量，不对任何具有$f(x')\neq f(x)$的$x'$施加概率质量，则似然$P(x)$可以精确地重写并参数化为$P(X = x) = P(X = x | H = f(x)) P(H = f(x))$，其中$f(\cdot)$是确定性离散函数。第一个因子的对数引起了具有$f(\cdot)$作为编码器和$P(X|H)$作为（概率）解码器的自动编码器的对数似然重构误差。第二项的对数可以被视为编码激活$h=f(x)$上的正则化子，例如，如在稀疏自动编码器中。编码器和解码器都可以由深度神经网络表示，并经过训练以最大化最佳对数似然$\log p(x)$的平均值。目标是学习编码器$f(\cdot)$，该编码器将$X$映射到具有比由$P(H)$估计的$X$本身简单得多的分布的$f(X)$。这“将流形”化或将概率质量集中在分布分解的较小数量的（相关）维度中。从模型生成样本是直接使用祖先采样。一个挑战是常规的反向传播不能用于获得编码器参数的梯度，但我们发现使用直通估计器在这里工作得很好。我们还发现，尽管优化这种架构的单个级别可能很困难，但通过预训练和堆叠它们可以获得更好的结果，逐渐将数据分布转换为更容易被简单参数模型捕获的数据分布。

神经因果因子分析

Neuro-Causal Factor Analysis

该研究将因果结构学习与深度生成模型结合，提出神经因果因子分析（NCFA）框架，在合成与真实数据上，NCFA比标准因子分析重构误差更优，比标准变分自编码器潜在分布恢复更优，且具稀疏性、低复杂度与因果可解释性优势。

语言模型是逼真的表格数据生成器

Language Models are Realistic Tabular Data Generators

本文提出 GReaT，利用自回归 LLM 生成逼真表格数据，并支持以任意特征子集为条件、无额外开销采样其余特征，实验表明其在多类数据集上达到最先进性能。

基于结构因果性的可泛化概念发现模型

Structural Causality-based Generalizable Concept Discovery Models

本文提出结合变分自编码器与结构因果模型的方法，从固定生成因子中学习随下游任务变化的概念，实现可泛化且灵活的概念发现。

基于Gumbel传播的潜变量最优路径用于变分贝叶斯动态规划

Latent Optimal Paths by Gumbel Propagation for Variational Bayesian Dynamic Programming

本文提出基于Gumbel传播的贝叶斯动态规划（BDP），将最优路径问题概率软化，在VAE潜空间中捕获结构化稀疏路径，实现端到端生成训练，并应用于语音合成。

ControlTraj：基于拓扑约束扩散模型的可控轨迹生成

ControlTraj: Controllable Trajectory Generation with Topology-Constrained Diffusion Model

提出ControlTraj框架，通过整合道路网络拓扑约束的扩散模型和GeoUNet架构，实现高保真、可控且具备泛化能力的轨迹生成。

具有连续和离散先验的VAE潜在码的变分互信息最大化框架

Variational Mutual Information Maximization Framework for VAE Latent Codes with Continuous and Discrete Priors

学习数据的可解释和解纠缠表示是机器学习研究中的一个关键主题。变分自编码器（Variational Autoencoder，VAE）是一种学习复杂数据的有向隐变量模型的可扩展方法。它采用了一个清晰和可解释的目标，可以很容易地优化。然而，这个目标并没有提供一个明确的措施，潜在的变量表示的质量，这可能会导致他们的质量差。我们提出了变分互信息最大化框架VAE来解决这个问题。与其他方法相比，它提供了一个明确的目标，最大限度地降低潜在代码和观察之间的互信息。该目标作为一个正则化，迫使VAE不忽略潜在变量，并允许一个选择它的特定组件是最翔实的观察。最重要的是，所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。我们已经进行了我们的实验VAE模型与高斯和联合高斯和离散的潜变量。我们的结果表明，所提出的方法加强了潜在代码和观察之间的关系，并改进了学习的表示。

多模态数据的因果解耦

Causal disentanglement of multimodal data

针对探索性因果表示学习缺乏先验信息的问题，提出causalPIMA算法，结合多模态数据与物理约束，通过可微框架同步学习DAG与潜空间，实现无监督下的因果特征发现与可解释结构学习。

TVAE：使用度量学习的基于三元组的变分自动编码器

TVAE: Triplet-Based Variational Autoencoder using Metric Learning

深度度量学习已被证明在学习语义表示和编码信息方面非常有效，这些信息可用于测量数据相似性，这依赖于从度量学习中学习到的嵌入。同时，变分自编码器（VAE）被广泛用于近似推理，并被证明对有向概率模型具有良好的性能。然而，对于传统的VAE，数据标签或特征信息是棘手的。类似地，传统的表示学习方法无法表示数据的许多突出方面。在这个项目中，我们提出了一个新的集成框架，通过结合深度度量学习来学习VAE中的潜在嵌入。通过优化VAE的平均向量上的三重损失以及VAE的标准证据下限（ELBO）来学习这些特征。这种方法，我们称之为基于三元组的变分自动编码器（TVAE），允许我们在潜在嵌入中捕获更多细粒度的信息。我们的模型在MNIST数据集上进行了测试，达到了95.60%的高三重精度，而传统的VAE（Kingma & Welling，2013）达到了75.08%的三重精度。

冷启动类似艺术家排名与重力启发的图形自动编码器

Cold Start Similar Artists Ranking with Gravity-Inspired Graph Autoencoders

在艺术家的个人资料页面上，音乐流媒体服务经常推荐粉丝也喜欢的“类似艺术家”的排名列表。然而，实现这样的特征对于新艺术家来说是具有挑战性的，对于新艺术家，关于服务的使用数据（例如，流或喜欢）尚不可用。在本文中，我们模拟这个冷启动相似的艺术家排名问题作为一个链接预测任务，在有向和属性图，连接艺术家到他们的前k个最相似的邻居，并纳入侧音乐信息。然后，我们利用图自动编码器架构来学习来自该图的节点嵌入表示，并使用重力启发的机制自动对新艺术家的前k个最相似的邻居进行排名。我们经验表明，我们的框架的灵活性和有效性，通过解决现实世界的冷启动类似的艺术家在全球音乐流媒体服务的排名问题。除了本文，我们还公开了我们的源代码以及我们实验中的工业图数据。

大语言模型中产生的有向度量结构

Directed Metric Structures arising in Large Language Models

本文探究大语言模型中文本扩展条件概率分布的数学结构，通过负对数概率构建度量多面体与等距嵌入，证明相关对偶定理与格闭包性质，为语法语义问题提供数学对偶框架参考。