Synthetic but Not Realistic: The Evaluation Challenge in Generative Modelling for Structured Electronic Medical Records
Centre for Big Data Research in Health, the University of New South Wales（新南威尔士大学健康大数据研究中心）
针对合成电子病历评估过度依赖统计相似性而忽视临床有效性的问题，提出基于流行病学的多维度评估框架，发现当前生成模型虽能复现边缘分布，但无法同时保持亚组结构、效应估计和依赖关系，导致评估高估数据质量。
2026-06-08 cs.LG
Limits of Generative Pre-Training in Structured EMR Trajectories with Irregular Sampling
Centre for Big Data Research in Health, Faculty of Medicine, University of New South Wales, Sydney, NSW, Australia（健康大数据研究中心，医学院，新南威尔士大学，悉尼，新南威尔士州，澳大利亚）
本研究通过对比LSTM和Transformer在HIV及急性低血压数据上的生成预训练，发现模型仅能再现特征分布而无法保持跨特征结构，表明生成式预训练缺乏临床连贯性，需领域特定评估并建议以轨迹合成作为部署前探针。
2025-10-27 cs.LG
A Comprehensive Survey on Generative Diffusion Models for Structured Data
University College London（伦敦大学学院）；Carnegie Mellon University（卡内基梅隆大学）
本文系统综述了面向表格和时间序列等结构化数据的生成式扩散模型，梳理其理论基础与代表性工作，分析现有局限并展望未来研究方向。
2023-07-08 cs.AI cs.LG
Graph Domain Adaptation: A Generative View
Guangdong University of Technology（广东工业大学）；National University of Singapore（新加坡国立大学）；Tencent Technology (SZ) Co., Ltd.（腾讯科技（深圳）有限公司）；Carnegie Mellon University（卡内基梅隆大学）
近年来，人们对图结构数据的深度学习产生了极大的兴趣。由于收集标记图结构数据的成本很高，领域自适应对于有限样本的有监督图学习任务很重要。然而，目前的图领域自适应方法通常是从传统的领域自适应任务中获得的，没有很好地利用图结构数据的特性。例如，在不同平台上观察到的社交网络不仅受不同人群或社区的控制，而且还受特定于域的策略和背景噪声的控制。基于图结构数据中的这些属性，我们首先假设图结构数据生成过程由三种独立类型的潜变量控制，即，语义潜变量、领域潜变量和随机潜变量。基于这一假设，我们提出了一种基于去纠缠的无监督领域自适应方法的图结构数据，该方法采用变分图自动编码器恢复这些潜在变量，并通过三个监督学习模块将它们去纠缠。在两个真实数据集上的实验结果表明，该方法不仅显著优于传统的领域自适应方法和基于解纠缠的领域自适应方法，而且优于最先进的图领域自适应算法.
2021-06-14 cs.LG
Deep Structured Generative Models
Tsinghua University（清华大学）
深度生成模型在生成逼真图像方面表现出了良好的效果，但生成具有复杂结构的图像仍然是不平凡的。其主要原因是目前的生成模型大多未能探索图像中的结构，包括空间布局和对象之间的语义关系。为了解决这个问题，我们提出了一种新的深度结构化生成模型，该模型在结构信息的帮助下增强生成对抗网络（GANs）。特别地，场景的布局或结构由随机与或图（sAOG）编码，其中终端节点表示单个对象，边缘表示对象之间的关系。通过适当地利用sAOG，我们的模型可以成功地捕获场景中的内在结构，并相应地生成复杂场景的图像。此外，引入检测网络来从图像中推断场景结构。实验结果表明，我们提出的方法的有效性的建模的内在结构，并产生真实感的图像。
2018-07-10 cs.LG stat.ML
Improving Discrete Diffusion Models via Structured Preferential Generation
Aalto University（阿尔托大学）
本文提出一种结构化前向过程，利用离散类别的信息层级，使离散扩散模型优先生成某些类别，从而在text8数据集上显著提升对数似然分数。
2024-05-28 cs.LG
Structured Output Learning with Conditional Generative Flows
Virginia Tech（弗吉尼亚理工大学）
传统的结构化预测模型试图学习条件似然，即，p（年）|x），以捕获结构化输出y和输入特征x之间的关系。对于许多模型，计算可能性是棘手的。因此，这些模型很难训练，需要使用替代目标或变分推理来近似可能性。在本文中，我们提出了条件Glow（c-Glow），这是一种用于结构化输出学习的条件生成流。C-Glow受益于基于流的模型计算p（y）的能力|（二）准确、高效。使用c-Glow进行学习不需要替代目标或在训练期间执行推理。一旦经过训练，我们就可以直接有效地生成条件样本。我们开发了一种基于样本的预测方法，它可以利用这一优势进行高效和有效的推理。在我们的实验中，我们在五个不同的任务上测试了c-Glow。C-Glow在某些任务中的表现优于最先进的基线，并在其他任务中预测类似的输出。结果表明，c-Glow是通用的，适用于许多不同的结构化预测问题。
2020-02-27 cs.LG stat.ML
What Matters In The Structured Pruning of Generative Language Models?
Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）
自回归大语言模型（如GPT-3）需要使用大量的计算资源。传统上，采用结构化剪枝方法来减少资源使用。然而，他们的应用程序和生成语言模型的有效性是严重不足的探索。在本文中，我们进行了一个全面的评价，常见的结构化修剪方法，包括幅度，随机和运动的GPT型模型的前馈层修剪。出乎意料的是，随机修剪的结果是在多个自然语言生成任务的性能是最好的建立的方法。为了理解这些结果，我们提供了一个框架，用于测量通过不同方法修剪的模型的神经元级冗余，并发现已建立的结构化修剪方法没有考虑到神经元的独特性，留下了多余的冗余。有鉴于此，我们引入全局唯一运动（GUM）来改善修剪模型中神经元的唯一性。然后，我们讨论了我们的技术对不同的冗余度量的影响，以解释改进的性能。
2023-02-07 cs.CL cs.LG
SetVAE: Learning Hierarchical Composition for Generative Modeling of Set-Structured Data
KAIST（韩国科学技术院）
集结构数据（如点云）的生成式建模需要在各种尺度上对局部和全局结构进行推理。然而，采用多尺度框架的普通顺序数据集结构化的数据是不平凡的，因为它应该是不变的，其元素的排列。在本文中，我们提出了SetVAE，一个分层的变分自编码器的集合。出于最近在集合编码的进展，我们建立SetVAE后，注意模块，第一次分区的集合和项目的分区回到原来的基数。利用这个模块，我们的分层VAE在多个尺度上学习潜在变量，捕获集合元素的粗到细依赖性，同时实现排列不变性。我们评估我们的模型上的点云生成任务，并实现具有竞争力的性能与现有技术的模型容量大大减小。我们定性地证明了我们的模型推广到看不见的集合大小，并在没有监督的情况下学习有趣的子集关系。我们的实现可以在https://github.com/jw9730/setvae上获得。
2021-03-29 cs.CV cs.LG
Structured Coupling for Flow Matching
Imperial College London（帝国理工学院伦敦分校）
本文提出结构耦合用于流匹配（SCFM），通过引入结构化潜在变量和外源噪声，联合学习结构化先验和连续传输映射，实现无条件流模型，提升潜在表示学习能力。
2026-05-08 cs.LG
Structured Recognition for Generative Models with Explaining Away
Institute of Cognitive Neuroscience（认知神经科学研究所）；Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究组）；UCL（伦敦大学学院）
无监督学习的一个关键目标是超越密度估计和样本生成，以揭示观察数据中固有的结构。这种结构可以通过概率图形模型捕获的解释性潜在变量之间的交互模式来表达。尽管结构化图形模型的学习有着悠久的历史，但最近在无监督建模方面的许多工作都强调了灵活的基于深度网络的生成，要么将独立的潜在生成器转换为复杂数据的模型，要么假设不同的观测变量来自不同的潜在节点。在这里，我们扩展摊销变分推理，将结构化的因素在多个变量，能够捕捉观察诱导的后验依赖性的结果从“解释”的潜伏期，从而允许复杂的观察依赖于多个节点的结构化图。我们表明，适当的参数化因素可以有效地结合在丰富的图形结构的变化的消息传递。我们在非线性高斯过程因子分析中实例化该框架，使用来自已知生成过程的合成数据评估结构化识别框架。我们拟合的GPFA模型的高维神经尖峰数据从海马体的自由移动的啮齿动物，该模型成功地识别出潜在的信号，与行为协变量。
2022-11-10 cs.LG q-bio.NC
Learning Generative Models of Structured Signals from Their Superposition Using GANs with Application to Denoising and Demixing
Technicolor（特艺集团）
最近，生成对抗网络（GANs）已经成为建模复杂高维分布的流行替代方案。大多数现有的作品隐含地假设，从目标分布的干净的样本是很容易获得的。然而，在许多应用中，这一假设被违反。在本文中，我们考虑的观察设置时，从目标分布的样本是由两个结构化的组件和杠杆GANs的结构学习组件的叠加。我们提出了两个新的框架：去噪GAN和demixing-GAN。去噪GAN假设可以访问来自第二个分量的干净样本，并尝试学习其他分布，而去混合GAN同时学习分量的分布。通过大量的数值实验，我们证明了所提出的框架可以从未知分布中生成干净的样本，并在去噪、分层和压缩感知等任务中提供有竞争力的性能。
2019-02-12 cs.LG stat.ML
Unbiased Learning of Deep Generative Models with Structured Discrete Representations
University of California, Irvine（加州大学尔湾分校）
本文提出新算法优化结构化变分自编码器，首次实现其处理缺失数据多模态不确定性，并实现无偏自然梯度计算，使SVAE在时间序列基准上表现竞争力且学习可解释离散表示。
2023-11-14 cs.LG stat.ML
Learning Structured Latent Factors from Dependent Data:A Generative Model Framework from Information-Theoretic Perspective
Mila（米拉）；Université de Montréal（蒙特利尔大学）；Preferred Networks Inc.（优选网络公司）
学习具有所需结构属性的多变量数据的可控和可推广的表示仍然是机器学习中的基本问题。在本文中，我们提出了一个新的框架，学习生成模型与各种潜在的空间结构。我们以掩码变量的形式表示归纳偏差，以在图模型中对依赖结构进行建模，并扩展了多元信息瓶颈理论来执行它。我们的模型提供了一种原则性的方法来学习一组语义上有意义的潜在因素，这些因素反映了各种类型的期望结构，如捕获相关性或编码不变性，同时还提供了根据数据自动估计依赖性结构的灵活性。我们表明，我们的框架统一了许多现有的生成模型，可以应用于各种任务，包括多模态数据建模，算法公平性，不变的风险最小化。
2020-10-02 cs.LG stat.ML
Fast Compressive Sensing Recovery Using Generative Models with Structured Latent Variables
Georgia Institute of Technology（佐治亚理工学院）
深度学习模型显著提高了压缩感知恢复的视觉质量和准确性。在本文中，我们提出了一种算法，从压缩测量与图像先验捕获的生成模型的信号重建。我们搜索和约束的潜变量空间，使该方法稳定的压缩测量的数量是非常有限的。我们表明，通过利用某些结构的潜变量，所提出的方法产生改进的重建精度，并保留现实和非光滑的图像特征。该算法通过在原始信号空间和隐变量空间之间进行交替投影，实现了较高的计算速度。
2020-03-19 cs.CV cs.LG stat.ML
Structured Generative Models of Natural Source Code
University of Toronto（多伦多大学）；Microsoft Research（微软研究院）
我们研究自然源代码（NSC）的生成模型的构建问题，即由人类编写和理解的源代码。我们的主要贡献是描述一个家庭的生成模型NSC有三个关键属性：第一，他们将顺序和层次结构。其次，我们学习源代码元素的分布式表示。最后，它们与编译器紧密集成，这允许在将结构构建到模型中时利用编译器逻辑和抽象。我们还开发了一个扩展，包括更复杂的结构，细化模型如何根据当前范围内的变量生成标识符令牌。我们的模型可以有效地学习，我们的经验表明，包括适当的结构大大提高了模型，生成测试程序的概率来衡量。
2014-06-20 cs.LG cs.PL stat.ML
Generative structured normalizing flow Gaussian processes applied to spectroscopic data
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
在这项工作中，我们提出了一种新的生成模型，用于使用结构化条件归一化流和高斯过程回归将输入映射到结构化的高维输出。该模型的动机是需要在输入/输出关系的不确定性进行推断时，对新的数据。特别是在物理科学中，有限的训练数据可能无法充分描述未来观测数据的特征;模型充分显示不确定性至关重要，特别是当它们可能被要求外推时。在我们提出的模型中，结构化的条件规范化流通过高斯过程提供与输入相关的简约潜在表示，提供精确的似然计算和自然增加远离训练数据输入的不确定性。我们展示了激光诱导击穿光谱数据的方法，从船上的火星探测器Currency的ChemCam仪器。ChemCam旨在通过测量激光脉冲引起的等离子体原子发射的光谱特性来恢复岩石和土壤样品的化学成分。我们表明，我们的模型可以产生现实的光谱条件下，一个给定的化学成分，我们可以使用该模型进行不确定性量化的化学成分新观察到的光谱。根据我们的研究结果，我们预计，我们提出的建模方法可能是有用的，在其他科学领域的高维，复杂的结构，它是重要的量化预测的不确定性。
2022-12-14 cs.LG physics.data-an
Hidden Tree Markov Networks: Deep and Wide Learning for Structured Data
Università di Pisa（比萨大学）
本文介绍了隐树马尔可夫网络（HTN），神经概率混合融合的生成模型的表示能力与神经网络的增量和判别式学习能力的树木。我们提出了一种模块化架构，在该架构中，训练复杂度有限的多个生成模型来学习结构特征检测器，然后在稍后阶段将其输出组合并由神经层集成。在这方面，由于生成模型在输入结构上的展开，该模型既很深，又很宽，因为可以并行训练的生成模块可能很多。实验结果表明，该方法可以优于最先进的语法内核，以及生成内核建立在相同的概率模型的HTN。
2017-11-21 cs.AI cs.LG cs.NE
Structured Generative Adversarial Networks
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）
研究了基于指定语义或结构的条件生成建模问题。现有的构建条件生成器的模型要么需要大量的标记实例作为监督，要么无法准确控制生成样本的语义。我们提出了半监督条件生成建模的结构化生成对抗网络（SGAN）。SGAN假设数据x是以两个独立的潜在变量为条件生成的：y编码指定的语义，z包含其他变化因素。为了确保y和z的语义分离，SGAN在隐藏空间中构建了两个协作博弈，以分别最小化y和z的重建误差。训练SGAN还涉及解决两个对抗性游戏，这些游戏的均衡集中在真正的联合数据分布p（x，z）和p（x，y），避免了基于MLE的方法可能遭受的概率质量在数据空间上的扩散分布。我们通过评估其训练的网络及其在下游任务上的性能来评估SGAN。我们表明，SGAN提供了一个高度可控的发电机，并解开表示;它还建立了跨多个数据集的最先进的结果时，应用于半监督图像分类（1.27%，5.73%，17.26%出错率MNIST，SVHN和CIFAR-10使用50，1000和4000标签，分别）。得益于y和z的独立建模，SGAN可以生成具有高视觉质量且严格遵循指定语义的图像，并且可以扩展到广泛的应用，例如风格转移。
2017-11-02 cs.CV cs.LG
Koa-decision: Fast and Consistent Structured Decision Making with Generative LLMs
Salesforce AI（赛富时人工智能研究院）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对LLM在延迟关键型分类中的不足，提出Koa-action框架，通过单令牌约束生成和微调实现快速原子决策，在保持高准确率的同时大幅降低延迟。
2026-10-14 cs.LG
TRACE: Retrospective Streaming Generation of Physical Fields under Sparse Structured Sensing
Zhejiang University（浙江大学）
本文提出TRACE框架，针对结构化感知下的物理场重构问题，通过近似贝叶斯推理、卡尔曼滤波与回溯式平滑提升重构质量，在多类物理场实验中表现优于或匹配基线方法。
2026-08-28 cs.LG stat.ML
Generative Grading: Near Human-level Accuracy for Automated Feedback on Richly Structured Problems
Stanford University（斯坦福大学）
大规模获得高质量教育的机会受到限制，因为在计算机编程，图形和简短回答问题等结构化领域的开放式作业中难以提供学生反馈。这个问题已经被证明是非常困难的：对于人类来说，它需要大量的手工工作，而对于计算机来说，直到最近，实现任何接近人类水平的精度都是无法实现的。在本文中，我们提出了生成评分：一种新的计算方法，提供反馈的规模，能够准确地分级学生的工作，并提供细致入微的，可解释的反馈。我们的方法使用生成描述学生的认知，写概率程序，合成数以百万计的标记的例子解决方案的问题，然后我们学习推断反馈，真正的学生解决方案的基础上，这种认知模型。我们将我们的方法应用于三种设置。在基于块的编码中，我们在以前的最佳反馈结果基础上实现了50%的改进，实现了超人的准确性。在另外两个广泛不同的领域-图形任务和简短的文本答案-我们实现了比以前的技术水平分别约4倍和1.5倍的重大改进，接近人类的准确性。在一个真实的教室里，我们进行了一个实验，我们使用我们的系统来增强人类评分员，在将评分时间减半的同时，提高了一倍的评分准确性。
2021-03-23 cs.CY cs.LG stat.ML
Dream2Learn: Structured Generative Dreaming for Continual Learning
PeRCeiVe Lab, University of Catania, Italy（卡塔尼亚大学PeRCeiVe实验室）
Dream2Learn通过生成梦中类别来提升持续学习的适应性，利用内部合成数据自我训练，实现更好的知识迁移和泛化能力。
2026-03-02 cs.AI cs.LG
On Certified Generalization in Structured Prediction
Heidelberg University（海德堡大学）
针对结构化预测中违反独立同分布假设的挑战，提出一种基于Knothe-Rosenblatt重排的PAC-Bayesian风险界，其泛化速率同时依赖样本数量与规模，并利用Wasserstein依赖矩阵显式刻画输出变量间结构。
2023-10-16 cs.LG stat.ML
Graphical Generative Adversarial Networks
Tsinghua University（清华大学）；University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们提出了图形生成对抗网络（Graphical-GAN）来建模结构化数据。Graphical-GAN结合了贝叶斯网络在复杂表示随机变量之间的依赖结构方面的能力和生成对抗网络在学习表达依赖函数方面的能力。我们引入了一个结构化的识别模型来推断潜变量的后验分布的观察。我们推广的期望传播（EP）算法学习的生成模型和识别模型联合。最后，我们提出了两个重要的图形-GAN的实例，即高斯混合GAN（GM GAN）和状态空间GAN（SS GAN），它们可以成功地学习离散和时间结构的视觉数据集，分别。
2018-12-12 cs.CV cs.LG stat.ML
Don't Waste It: Guiding Generative Recommenders with Structured Human Priors via Multi-Head Decoding
Meta AI
通过多头解码引导生成推荐系统，利用结构化人类先验提升推荐准确性与多样性
2026-01-26 cs.IR cs.LG
Spend Search Where It Pays: Value-Guided Structured Sampling and Optimization for Generative Recommendation
Tencent Inc., China（腾讯公司，中国）
V-STAR通过价值引导的结构采样和树状优势强化框架，提升生成推荐系统的探索效率和RL学习效果。
2026-02-12 cs.AI cs.LG
Conditioning Deep Generative Raw Audio Models for Structured Automatic Music
Boston University（波士顿大学）
现有的以深度学习为特征的自动音乐生成方法可以大致分为两种类型：原始音频模型和符号模型。符号模型在音符级别进行训练和生成，目前是更流行的方法;这些模型可以捕获旋律结构的长范围依赖性，但无法掌握原始音频生成的细微差别和丰富性。原始音频模型，如DeepMind的WaveNet，直接在采样的音频波形上进行训练，使它们能够产生听起来真实的，尽管是非结构化的音乐。在本文中，我们提出了一个自动的音乐生成方法结合这两种方法来创建结构化的，逼真的声音组成。我们考虑一个长短期记忆网络来学习不同风格的音乐的旋律结构，然后使用这个模型的独特符号代作为基于WaveNet的原始音频生成器的条件输入，创建一个自动的，新颖的音乐模型。然后，我们通过展示这项工作的结果来评估这种方法。
2018-06-26 cs.LG cs.SD eess.AS
Performing Structured Improvisations with pre-trained Deep Learning Models
Google Brain（谷歌大脑）
在过去的几年里，音乐深度生成模型产生的输出质量有了显著的提高。然而，大多数深度学习模型在“离线”模式下执行，对处理时间的限制很少。将这些类型的模型集成到现场结构化表演中是一个挑战，因为必须尊重节拍和和声。此外，这些深度模型往往对表演者的风格不可知，这通常使它们对于现场表演来说不切实际。在本文中，我们提出了一个系统，它能够利用音乐家的创造力和专业知识的集成开箱即用的生成模型。
2019-04-30 cs.LG cs.SD eess.AS
Tailoring Molecules for Protein Pockets: a Transformer-based Generative Solution for Structured-based Drug Design
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Renmin University of China（中国人民大学）
基于结构的药物设计在计算机辅助药物发现中受到越来越多的关注。与通过计算筛选预定义化合物库的虚拟筛选方法相比，基于靶蛋白结构的从头药物设计可以提供新的候选药物。在本文中，我们提出了一种名为TamGent（具有Transformer的目标感知分子生成器）的生成解决方案，该解决方案可以针对给定的目标直接从头开始生成候选药物，克服了现有化合物库的限制。遵循Transformer框架（深度学习中最先进的框架），我们设计了Transformer编码器的变体来处理目标的3D几何信息，并在PubChem的1000万种化合物上预训练Transformer解码器，以生成候选药物。通过对药物库中靶点候选化合物的系统评价，发现化合物的结合亲和力和药物敏感性都有较大提高。TamGent在有效性和效率方面都优于以前的基准。通过产生SARS-CoV-2主要蛋白酶和致癌突变体KRAS G12C的候选化合物进一步验证了该方法。结果表明，我们的方法不仅重新发现了先前验证的药物分子，而且还产生了具有更好对接分数的新分子，扩大了化合物库，并可能导致发现新药。
2022-08-30 cs.LG q-bio.BM
Information Theoretic Structured Generative Modeling
University of Florida（佛罗里达大学）；UiT - The Arctic University of Norway（特罗姆瑟大学-挪威北极大学）；Xi’an Jiaotong University（西安交通大学）
Rényi的信息提供了一个理论基础，为易处理和数据有效的非参数密度估计，基于成对评估的再生核希尔伯特空间（RKHS）。本文将这一框架扩展到参数概率建模，其动机是雷尼的信息可以估计在封闭形式的高斯混合。基于这种特殊的连接，提出了一种新的生成模型框架，称为结构化生成模型（SGM），使直接优化成为可能，因为成本是尺度不变的，避免了高梯度方差，同时对绝对连续性施加较少的限制，这在参数信息论优化中是一个巨大的优势。该实现采用由附加到单个白噪声源的正交归一化输入驱动的单个神经网络，该单个白噪声源适于学习无限高斯混合模型（IMoG），该IMoG提供低维度的经验上易处理的模型分布。为了训练SGM，我们提供了三个新的变分成本函数，基于Rényi的二阶熵和发散，实现最小化交叉熵，最小化变分表示的$f$ -发散，最大化的证据下限（条件概率）。我们测试的框架估计的互信息和比较的结果与互信息神经估计（MINE），密度估计，条件概率估计马尔可夫模型以及训练对抗网络。我们的初步结果表明，SGM显着提高了MINE估计的数据效率和方差，传统和变分高斯混合模型，以及生成对抗网络的性能。
2022-03-07 cs.IT cs.LG math.IT
DiSK: A Diffusion Model for Structured Knowledge
Massachusetts Institute of Technology（麻省理工学院）；Meta AI；Microsoft Research（微软研究院）
本文提出 DiSK，一种基于扩散模型的新架构，用于高效建模和操作结构化数据，在多个数据集上达到最先进性能。
2024-02-07 cs.AI cs.LG
Unsupervised Learning of Syntactic Structure with Invertible Neural Projections
Language Technologies Institute（语言技术研究所）；School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
句法结构的无监督学习通常使用具有离散潜变量和多项式参数的生成模型来执行。在大多数情况下，这些模型没有利用连续的单词表示。在这项工作中，我们提出了一种新的生成模型，共同学习离散的句法结构和连续的单词表示在无监督的方式级联可逆神经网络与结构化的生成先验。我们表明，可逆性条件允许有效的精确推理和边际似然计算在我们的模型中，只要事先是良好的行为。在实验中，我们实例化我们的方法与马尔可夫和树结构的先验，评估两个任务：部分的语音（POS）的归纳，和无监督的依存句法分析没有黄金POS注释。在Penn Treebank上，我们的马尔可夫结构模型超越了POS归纳的最新结果。同样，我们发现，我们的树结构模型在无监督依存句法分析上实现了最先进的性能，因为在困难的训练条件下，既没有黄金POS注释，也没有基于标点的约束。
2018-08-28 cs.CL cs.LG
Conditional GraphGANFed: Optimizing Graph-Structured Molecule Generation in Federated Generative Adversarial Networks
本文针对GraphGANFed无法按用户定义指标生成分子的问题，提出cGraphGANFed模型，引入评判网络整合评估结果优化生成器，经实验证实其在多指标优化、QED提升及抗非IID数据干扰上表现更优。
2026-08-26 cs.DC cs.LG
A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features
在这篇文章中，我们提出了一个自然图像的生成模型，该模型由深层的潜在随机变量层组成，每个变量都遵循一种新的分布类型，我们称之为整流高斯分布。这些整流高斯单位允许尖峰和板型稀疏，同时保留有效的随机梯度变分推断所需的可微性。为了学习新模型的参数，我们用变分自动编码器近似隐变量的后验。然而，编码器参数化了一种新型的结构化变分近似，而不是进行通常的平均场假设，该结构化变分近似保留了生成模型的先验依赖性。使用这种结构化的后验近似，我们能够对具有多层潜在随机变量的深度模型进行联合训练，而不必求助于堆叠或其他逐层训练过程。
2016-02-28 cs.LG stat.CO stat.ML
MolGAN: An implicit generative model for small molecular graphs
University of Amsterdam（阿姆斯特丹大学）
图结构数据的深度生成模型为化学合成问题提供了一个新的角度：通过优化直接生成分子图的可微模型，可以在离散和巨大的化学结构空间中避开昂贵的搜索程序。我们引入MolGAN，一个隐式的，无可能性的生成模型的小分子图，避免了昂贵的图匹配程序或节点排序算法以前的可能性为基础的方法的需要。我们的方法适应生成对抗网络（GANs）直接对图结构数据进行操作。我们将我们的方法与强化学习目标相结合，以鼓励生成具有特定所需化学性质的分子。在QM9化学数据库上的实验中，我们证明了我们的模型能够生成接近100%的有效化合物。MolGAN与最近提出的使用基于字符串（SMILES）的分子表示和直接生成图形的基于可能性的方法相比都很有利，尽管容易受到模式崩溃的影响。代码https://github.com/nicola-decao/MolGAN
2022-09-27 cs.LG stat.ML
Building LEGO Using Deep Generative Models of Graphs
University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）
生成模型现在用于创建各种高质量的数字工件。然而，它们在设计物理对象中的应用却很少受到关注。在本文中，我们主张建设玩具，乐高，作为一个平台，开发生成模型的顺序组装。我们开发了一个基于图结构神经网络的生成模型，它可以从人类建造的结构中学习，并产生视觉上引人注目的设计。我们的代码发布于：https://github.com/uoguelph-mlrg/GenerativeLEGO。
2020-12-21 cs.AI cs.LG
Structured Generations: Using Hierarchical Clusters to guide Diffusion Models
ETH Zurich（苏黎世联邦理工学院）
本研究提出Diffuse-TreeVAE模型，将层次聚类融入DDPM框架，通过潜在树VAE结构采样与第二阶段DDPM优化，生成高质量且具簇代表性的图像，改进了基于VAE的生成方法。
2024-07-12 cs.CV cs.LG
Assessing Generative Models for Structured Data
Pacific Northwest National Laboratory（西北太平洋国家实验室）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）；University of Washington（华盛顿大学）
本文提出直接评估合成表格数据与真实数据列间依赖性的严格方法，发现GPT-2和CTGAN生成的数据缺乏与原始数据的依赖关系，为提升合成数据质量提供指导。
2025-03-26 cs.AI cs.LG
Open-Set Source Tracing as Compositional Factors via Structured Prototypes
ViVoLab；University of Zaragoza（阿拉瓦大学）
针对现有声源溯源将声源等同于生成架构的问题，提出将声源重定义为多因子组合元组，采用结构化正交原型框架实现组合泛化，提升开集场景下的溯源性能。
2026-07-07 cs.LG eess.AS
Informative GANs via Structured Regularization of Optimal Transport
Technical University of Munich（慕尼黑工业大学）
我们从正则化最优传输（OT）的角度来解决生成对抗网络（GANs）中的解纠缠表示学习的挑战。具体而言，平滑的OT损失引起潜在空间和数据空间之间的隐式传输计划。基于这一理论观察，我们利用一个结构化的正则化的运输计划，鼓励规定的潜在子空间是信息。这产生了一个新的信息OT为基础的GAN的配方。通过凸对偶，我们得到了等价的观点，这导致扰动地面成本有利于稀疏的信息潜在的尺寸。实际上，我们设计了一个稳定的训练算法，建议的信息GAN。我们的实验支持这一假设，即这种正规化有效地产生发现解开和可解释的潜在表示。我们的工作展示了一个正规化的OT框架的生成建模的背景下，通过其访问运输计划的潜在力量。在这方面还处理了进一步的挑战。
2019-12-04 cs.LG stat.ML
Structured Inference Networks for Nonlinear State Space Models
New York University（纽约大学）
高斯状态空间模型作为序列数据的生成模型已经使用了几十年。他们承认一个直观的概率解释，有一个简单的功能形式，并享有广泛的采用。我们引入了一种统一的算法来有效地学习广泛的线性和非线性状态空间模型，包括由深度神经网络建模的发射和跃迁分布的变体。我们的学习算法同时学习编译的推理网络和生成模型，利用递归神经网络参数化的结构化变分近似来模拟后验分布。我们将学习算法应用于合成和真实世界的数据集，展示了其可扩展性和多功能性。我们发现，使用结构化近似的后验结果的模型具有显着更高的保持出来的可能性。
2016-12-05 cs.AI cs.LG stat.ML
BrepGen: A B-rep Generative Diffusion Model with Structured Latent Geometry
Simon Fraser University（西蒙菲莎大学）；Autodesk Research（欧特克研究中心）
针对现有CAD B-rep生成方法仅能生成简单棱柱形状的局限，提出基于分层树结构化潜在几何的扩散模型BrepGen，通过Transformer扩散顺序去噪与重复节点合并恢复拓扑，首次支持自由曲面和双曲曲面生成，性能超越现有方法，还可用于CAD自动补全等场景。
2024-11-03 cs.CV cs.LG
Diet deep generative audio models with structured lottery
Institut de Recherche et Coordination Acoustique / Musique (IRCAM)（声学/音乐研究与协调学院（IRCAM））；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
深度学习模型在大多数音频应用领域提供了非常成功的解决方案。然而，这些模型的高精度是以巨大的计算成本为代价的。在评估所提出的模型的质量时，这方面几乎总是被忽视。然而，在评价模型时不应不考虑其复杂性。这一点在音频应用中尤为重要，因为音频应用严重依赖于具有实时约束的专用嵌入式硬件。在本文中，我们通过研究深度生成音频模型的彩票假设，建立在最近的观察结果基础上，即深度模型是高度过度参数化的。这个假设指出，深度模型中存在非常高效的小型子网络，如果孤立地训练，它将提供比大型模型更高的准确性。然而，彩票是通过依赖非结构化掩蔽来发现的，这意味着所得到的模型在磁盘大小或推理时间方面都没有提供任何增益。相反，我们在这里开发一种方法，旨在执行结构化修剪。我们表明，这需要依赖于全球选择，并引入一个特定的标准的基础上互信息。首先，我们确认了一个令人惊讶的结果，即较小的模型比大型模型提供更高的准确性。我们进一步表明，我们可以删除高达95%的模型权重，而不会显着降低准确性。因此，我们可以通过流行的方法（如Wavenet，SING或DDSP）获得非常轻的生成音频模型，这些方法的精度高达100倍。我们研究了在Raspberry Pi和Arduino上嵌入这些模型的理论界限，并表明我们可以在CPU上获得与大型GPU模型质量相当的生成模型。最后，我们讨论了在嵌入式平台上实现深度生成音频模型的可能性。
2020-07-31 cs.LG cs.MM cs.SD
GraphGANFed: A Federated Generative Framework for Graph-Structured Molecules Towards Efficient Drug Discovery
University of New Mexico（新墨西哥大学）；Texas Tech University（得克萨斯理工大学）；Amazon（亚马逊）
本文提出GraphGANFed框架，将图卷积神经网络、生成对抗网络与联邦学习相结合，在不共享本地分子数据集的前提下生成高新颖性和多样性的新分子，并通过仿真验证其可行性与有效性。
2023-04-11 cs.AI cs.LG
Structure by Architecture: Structured Representations without Regularization
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出一种无需激进正则化的新型自编码器架构，通过结构化解码器学习潜变量层次结构，在生成、解耦和外推等下游任务中提升性能。
2024-02-15 cs.CV cs.LG stat.ML
Structured Imitation Learning of Interactive Policies through Inverse Games
针对共享空间中无显式通信的多智能体交互策略模仿学习难题，提出结合生成式单智能体策略学习与博弈论结构的框架，通过两步学习提升性能，仅50次演示即达真实策略水平。
2025-11-17 cs.LG cs.RO
Structured quantum learning via em algorithm for Boltzmann machines
Department of Mathematical Informatics, Graduate School of Informatics, Nagoya University（数学信息学系，信息科学研究生院，名古屋大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳））；International Quantum Academy（国际量子学院）；Graduate School of Mathematics, Nagoya University（数学研究生院，名古屋大学）
本文提出了一种基于量子EM算法的结构化量子学习方法，用于改进量子玻尔兹曼机的训练效率和稳定性。
2026-03-05 cs.LG quant-ph
Generative Learning of the Solution of Parametric Partial Differential Equations Using Guided Diffusion Models and Virtual Observations
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）
本文提出一种生成学习框架，通过梯度引导和虚拟观测建模高维参数系统，通过两个案例研究展示其在无结构网格和有结构网格上的有效性，减少计算成本，提高流体动力学预测效率。
2024-07-31 cs.LG physics.comp-ph physics.flu-dyn
Learning Randomly Perturbed Structured Predictors for Direct Loss Minimization
Technion（以色列理工学院）
直接损失最小化是在结构化标签空间上学习预测器的一种流行方法。这种方法在计算上很有吸引力，因为它用优化代替了积分，并允许使用损失扰动预测在深度网络中传播梯度。最近，这种技术被扩展到生成模型，同时引入了一个随机预测器，从随机扰动的得分函数中采样结构。在这项工作中，我们学习这些随机结构化预测变量的方差，并表明它在结构化预测中的学习得分函数和随机噪声之间取得了更好的平衡。我们经验证明学习的信号和随机噪声之间的平衡结构化离散空间的有效性。
2021-06-14 cs.LG stat.ML
Exploring Structured Semantic Priors Underlying Diffusion Score for Test-time Adaptation
Beijing Institute of Technology（北京理工大学）；Beihang University（北京航空航天大学）；Kuaishou Technology（快手科技）；Inceptio Technology（嬴彻科技）
本文提出DUSA方法，利用扩散分数中的结构化语义先验，仅从单个去噪时间步提取知识，实现图像分类器与密集预测器的高效测试时自适应。
2025-01-01 cs.CV cs.LG
Generative Code Modeling with Graphs
Microsoft Research（微软研究院）
源代码的生成模型是一个有趣的结构化预测问题，需要对严格的语法和语义约束以及自然的、可能的程序进行推理。我们提出了一个新的模型，这个问题，使用一个图形来表示所生成的输出的中间状态。生成过程将语法驱动的扩展步骤与图形增强和神经消息传递步骤交织在一起。实验评估表明，我们的新模型可以生成语义上有意义的表达式，优于一系列强基线。
2019-04-16 cs.LG cs.PL stat.ML
Efficient Generation of Structured Objects with Constrained Adversarial Networks
University of Trento（特伦托大学）；KU Leuven（鲁汶大学）
生成对抗网络（GANs）很难生成结构化对象，如分子和游戏地图。问题是结构化对象必须满足硬性要求（例如，分子必须是化学上有效的），这些都是很难单独从例子中获得的。作为补救措施，我们提出了约束对抗网络（CAN），这是GANs的扩展，其中约束在训练期间嵌入到模型中。这是通过按比例惩罚生成器来实现的，该生成器分配给无效结构的质量。与其他生成模型相比，CAN支持有效结构的有效推理（具有高概率），并允许在推理时打开和关闭学习的约束。CAN处理任意逻辑约束，并利用知识编译技术来有效地评估模型和约束之间的不一致。我们的设置进一步扩展到混合逻辑神经约束，用于捕获非常复杂的约束，如图的可达性。一个广泛的实证分析表明，CAN有效地生成有效的结构，是高质量和新颖的。
2020-11-29 cs.AI cs.LG stat.ML
Discrete Object Generation with Reversible Inductive Construction
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
连续域生成式建模的成功使得人们对生成分子、源代码和图形等离散数据的兴趣激增。然而，这些离散对象的构造历史通常不是唯一的，因此生成模型必须推理难以处理的大空间才能进行学习。此外，结构化离散域的特征通常是对构成有效对象的严格约束，生成模型必须尊重这些要求，以便生成有用的新样本。在这里，我们提出了一个生成模型，离散对象采用马尔可夫链的过渡被限制到一组本地操作，保持有效性。在去噪自动编码器的生成解释的基础上，马尔可夫链在产生1）有效但不是来自数据分布的损坏对象序列和2）尝试修复损坏同时也保持有效性的学习重建分布之间交替。这种方法限制生成模型只产生有效的对象，要求学习者只发现对对象的局部修改，并避免在未知的和潜在的大空间的构造历史上边缘化。我们评估所提出的方法在两个高度结构化的离散域，分子和拉曼图，并发现它相比有利的替代方法在捕捉分布统计的主机语义相关的指标。
2019-10-31 cs.LG stat.ML
