NUNO: A General Framework for Learning Parametric PDEs with Non-Uniform Data
Tsinghua University（清华大学）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））；Bosch Center for Artificial Intelligence（博世人工智能中心）
NUNO框架利用K-D树域分解将非均匀数据转为均匀网格，在2D弹性、通道流和3D散热器问题上实现误差降低60%、训练提速2至30倍。
2023-05-31 cs.AI cs.LG
Physics-Informed Neural PDE Solvers via Spatio-Temporal MeanFlow
Fudan University（复旦大学）；The University of Hong Kong（香港大学）
本文提出时空均流求解器，通过将生成速度场替换为物理PDE算子，实现高效预测，同时扩展均流约束到时空域，统一处理时变和静态PDE，实验表明其在精度和效率上优于基线方法。
2026-05-09 cs.LG
GenMod: A generative modeling approach for spectral representation of PDEs with random inputs
Aerospace Engineering Sciences Department, University of Colorado, Boulder, CO 80309, USA
我们提出了一种方法来量化高维PDE系统的随机参数，其中的解的评估数量是小的不确定性。参数偏微分方程的解通常使用基于多项式混沌展开的谱分解来近似。对于我们考虑的系统类别（即，具有有限解评估的高维数），系数由回归公式中的欠定线性系统给出。这意味着需要额外的假设，例如系数向量的稀疏性，来近似解。在这里，我们提出了一种方法，其中我们假设系数接近生成模型的范围，该生成模型从系数的低维空间映射到高维空间。我们的方法的灵感来自最近的工作，研究如何生成模型可以用于压缩感知系统中的随机高斯测量矩阵。利用偏微分方程理论的系数衰减率的结果，我们构建了一个显式的生成模型，预测多项式混沌系数的大小。我们开发的算法来找到系数，我们称之为GenMod，由两个主要步骤组成。首先，我们使用正交匹配追踪预测系数符号。然后，我们假设系数在符号调整生成模型的范围的稀疏偏差内。这允许我们通过求解生成模型的输入空间和稀疏向量空间上的非凸优化问题来找到系数。我们得到理论上的恢复结果的Lipschitz连续生成模型和一个更具体的生成模型，基于系数衰减率界。我们研究了三个高维问题，并表明，对于所有三个例子，生成模型的方法优于稀疏促进方法在小样本量。
2022-01-31 cs.LG stat.ML
Model-Parallel Fourier Neural Operators as Learned Surrogates for Large-Scale Parametric PDEs
Microsoft（微软）
针对傅里叶神经算子（FNOs）因高维输入与权重仅能处理中小规模偏微分方程的问题，提出基于输入与权重域分解的模型并行FNO，可在512块A100 GPU上处理26亿变量的时变PDE，还实现了Azure云上多相CO₂地下动力学模拟的分布式训练。
2023-02-01 cs.DC cs.LG cs.NA
Fully probabilistic deep models for forward and inverse problems in parametric PDEs
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出物理驱动的深度隐变量模型PDDLVM，通过概率建模和变分推断同时学习参数化PDE的正问题与反问题映射，训练后无需独立求解即可实时预测，并在多个PDE问题上实现比FEM快三个数量级的加速及不确定性估计。
2023-07-14 cs.LG cs.NA math.NA
Zebra: In-Context Generative Pretraining for Solving Parametric PDEs
Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR研究所）；Naver Labs Europe（Naver欧洲实验室）；Critéo AI Lab（Critéo人工智能实验室）
提出Zebra，一种生成式自回归Transformer，通过上下文学习在无需梯度适应的情况下求解参数化PDEs，展现出优越的适应性、鲁棒性和性能。
2025-06-26 cs.LG
CoCoGen: Physically-Consistent and Conditioned Score-based Generative Models for Forward and Inverse Problems
University of Michigan（密歇根大学）；Michigan Institute for Computational Discovery & Engineering（密歇根计算发现与工程研究所）
本文提出CoCoGen框架，将离散化物理信息融入基于分数的生成模型，实现物理一致的样本生成，并利用条件模型与冻结的无条件模型结合，高效求解PDE正问题和反问题。
2024-10-20 cs.LG
Geometry-aware Latent Autoregressive Generative Model for PDEs in Complex Domains
Stanford University（斯坦福大学）
本文针对复杂几何下PDE求解难题，提出GeoLAMP模型，通过双编码器、流匹配Transformer与灵活解码器实现稳定预测，构建多物理场基准数据集并取得最优性能。
2026-10-01 cs.AI cs.LG
Adversarial Multi-task Learning Enhanced Physics-informed Neural Networks for Solving Partial Differential Equations
Osaka University（大阪大学）；The Institute of Scientific and Industrial Research, Osaka University（大阪大学科学与工业研究所）
最近，研究人员利用神经网络来精确求解偏微分方程（PDE），使无网格方法的科学计算。不幸的是，当遇到高非线性域时，网络性能下降。为了提高泛化能力，我们引入了新的方法，采用多任务学习技术，不确定性加权损失和梯度手术，在学习PDE解决方案的背景下。多任务方案利用了学习共享表示的好处，由十字绣模块控制，多个相关PDE之间，这是通过改变PDE参数化系数，以更好地概括原始PDE。为了鼓励网络更加关注学习更具挑战性的高非线性域区域，我们还提出了对抗性训练来生成补充的高损失样本，这些样本与原始训练分布类似。在实验中，我们提出的方法被发现是有效的，并减少了错误的看不见的数据点相比，以前的方法在各种PDE的例子，包括高维随机PDE。
2021-05-12 cs.LG cs.NA math.NA
PhysFormer: A Physics-Embedded Generative Model for Physically Self-Consistent Spectral Synthesis
School of Mathematics and Statistics, Shandong University（山东大学数学与统计学院）；Weihai Institute for Interdisciplinary Research, Shandong University（威海联合研究 institute, 山东大学）
PhysFormer是一种嵌入物理的生成模型，通过自洽的物理过程和低维潜在空间，实现高维复杂系统的物理一致光谱合成。
2026-03-02 astro-ph.IM cs.LG
Generative Priors Conditioned on Natural Language for Bayesian Inversion in PDEs
本文提出利用自然语言条件生成先验，结合定量与定性数据，对偏微分方程中的感兴趣量进行贝叶斯反演与不确定性量化，通过条件扩散和条件自编码器两种方法实现，并在多个物理系统上验证。
2026-09-29 cs.LG stat.ML
A framework for data-driven solution and parameter estimation of PDEs using conditional generative adversarial networks
Cornell University（康奈尔大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of Hawai’i at Manoa（夏威夷大学马诺阿分校）
这项工作是第一次采用和适应基于条件生成对抗网络（cGAN）的图像到图像的翻译概念，以学习偏微分方程（PDE）的正解和逆解算子。尽管所提出的框架可以作为任何偏微分方程的解决方案的代理模型，在这里，我们专注于非均质多孔介质中耦合流体力学过程的稳态解。强异质材料的属性，这转化为偏微分方程的系数和不连续的功能的解决方案的异质性，需要专门的技术，这些问题的正反解。此外，通过使用标准的降阶建模技术，空间异质系数的参数化是非常困难的。在这项工作中，我们克服了这些挑战，采用图像到图像的翻译概念，学习正向和反向解决方案运营商，并利用U-网发电机和补丁为基础的神经网络。我们的研究结果表明，所提出的数据驱动的降阶模型具有竞争力的预测性能的准确性和计算效率，以及训练时间的要求相比，国家的最先进的数据驱动的方法，正反问题。
2021-05-27 cs.LG cs.NA math.NA
Efficient Generative Transformer Operators For Million-Point PDEs
Sorbonne Université, CNRS, ISIR（索邦大学）；Criteo AI Lab（Criteo人工智能实验室）
ECHO通过分层卷积架构、训练适应策略和生成建模范式，高效生成百万点PDE轨迹，解决传统方法在可扩展性和误差累积上的不足。
2026-10-28 cs.LG
ENMA: Tokenwise Autoregression for Generative Neural PDE Operators
Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR）；Criteo AI Lab（Criteo人工智能实验室）
ENMA通过生成掩码自回归变压器和时空卷积编码器，实现时间依赖参数PDEs的生成式建模与泛化。
2025-12-11 cs.LG
Generative Discovery of Partial Differential Equations by Learning from Math Handbooks
Eastern Institute of Technology（东方理工）；Tsinghua University（清华大学）；Ocean University of China（中国海洋大学）；Imperial College London（伦敦帝国理工学院）；University of Oxford（牛津大学）；University of Manchester（曼彻斯特大学）；Peking University（北京大学）；Lingnan University（岭南大学）
本文提出知识引导的EqGPT生成框架，利用数学手册中的PDE训练并通过生成—评估—优化循环发现方程，在复杂、不规则及高维场景中高效准确恢复PDE，并发现新的强非线性表面重力波方程。
2025-05-09 cs.AI cs.LG physics.comp-ph
MD-GAN: Multi-Discriminator Generative Adversarial Networks for Distributed Datasets
Technicolor（特艺集团）；Inria Rennes（法国国家信息与自动化研究所雷恩中心）
机器学习领域最近的一项技术突破是生成对抗网络（GANs）的发现和多种应用。这些生成模型对计算要求很高，因为GAN由两个深度神经网络组成，而且它是在大型数据集上训练的。GAN通常在单个服务器上训练。在本文中，我们解决了分布GANs的问题，以便它们能够对分布在多个工人身上的数据集进行训练。MD-GAN是这个问题的第一个解决方案：我们为GANs提出了一个新的学习过程，使它们适合这种分布式设置。然后，我们使用MNIST和CIFAR 10数据集将MD-GAN的性能与联邦学习到GANs的适应版本进行比较。MD-GAN在每个工作节点上的学习复杂度降低了两倍，同时在两个数据集上提供了比联邦学习更好的性能。我们最后讨论了分布式GANs的实际意义。
2019-02-06 cs.LG stat.ML
Inverse Estimation of Elastic Modulus Using Physics-Informed Generative Adversarial Networks
NASA Langley Research Center（美国国家航空航天局兰利研究中心）；University of Puerto Rico (Mayagüez)（波多黎各大学（马亚圭斯））
虽然标准的生成对抗网络（GANs）仅依赖于训练数据来学习未知的概率分布，但物理信息GANs（PI-GANs）使用自动微分以随机偏微分方程（PDE）的形式对物理定律进行编码。通过偏微分方程将观测数据与未观测的感兴趣量相关联，PI-GAN允许在没有直接测量的情况下估计潜在的概率分布（即逆问题）。GANs的可扩展性质允许高维的、空间相关的概率分布（即，随机场）来推断，而通过PDE合并先验信息允许训练数据集相对较小。在这项工作中，PI-GAN被证明是弹性模量估计在机械测试中的应用。给定测量的变形数据，学习空间变化的弹性模量（刚度）的潜在概率分布。两个前馈深度神经网络发生器用于跨二维域对变形和材料刚度进行建模。采用具有梯度惩罚的Wasserstein GANs来增强稳定性。在没有明确的训练数据的情况下，证明了PI-GAN通过将PDE与测量的变形相关联来学习生成现实的、物理上可接受的材料刚度实现。结果表明，这些生成的刚度样本的统计（平均值，标准差，逐点分布，相关长度）与真实分布有很好的一致性。
2020-05-20 cs.CE cs.LG eess.IV
Accelerated Solutions of Coupled Phase-Field Problems using Generative Adversarial Networks
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
多物理问题，如多组分扩散，在多相系统中的相变和合金凝固涉及耦合系统的非线性偏微分方程（PDE）的数值解。这些偏微分方程的数值解使用网格为基础的方法需要时空离散这些方程。因此，数值解通常对离散化参数敏感，并且可能具有不准确性（由基于网格的近似引起）。此外，为了更高的精度而选择更细的网格使得这些方法在计算上昂贵。基于神经网络的偏微分方程求解器正在成为传统数值方法的强大替代品，因为这些方法使用与网格无关，快速和准确的机器学习结构。然而，基于神经网络的求解器需要大量的训练数据，从而影响其通用性和可扩展性。这些问题变得更加尖锐的耦合系统的时间依赖偏微分方程。为了解决这些问题，我们开发了一个新的基于神经网络的框架，该框架使用基于编码器-解码器的条件生成对抗网络和ConvLSTM层来求解Cahn-Hilliard方程系统。这些方程支配的三元合金进行失稳分解时，淬火内的三相可熔性差距的微观结构演变。我们证明了训练的模型是网格和尺度无关的，从而证明了作为有效神经算子的应用。
2022-11-23 cond-mat.mtrl-sci cs.LG physics.comp-ph
Adversarial Adaptive Sampling: Unify PINN and Optimal Transport for the Approximation of PDEs
Louisiana State University（路易斯安那州立大学）；Peking University（北京大学）；PKU-Changsha Institute for Computing and Digital Economy（北京大学-长沙计算与数字经济研究院）；ShanghaiTech University（上海科技大学）
提出对抗自适应采样（AAS），通过极小极大公式统一残差最小化与训练集优化，利用深度生成模型调整样本并嵌入Wasserstein距离，以降低蒙特卡洛误差，提升神经网络求解PDE的精度。
2024-03-15 cs.LG cs.NA math.NA
HJ-sampler: A Bayesian sampler for inverse problems of a stochastic process by leveraging Hamilton-Jacobi PDEs and score-based generative models
Brown University（布朗大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
该研究拓展了Cole-Hopf变换的抽象理论框架，提出HJ-sampler算法，通过求解粘性HJ偏微分方程和随机最优控制采样求解带终端观测的随机微分方程贝叶斯逆问题，还给出两种求解器变体并验证了有效性与灵活性。
2024-10-08 cs.LG math.OC stat.CO
Distributed Generative Adversarial Net
近年来，生成对抗网络成为研究的热点。考虑到GAN在多用户环境中的应用，本文提出了分布式GAN。它使多个用户能够在本地使用自己的数据进行训练，并生成更多样化的样本。用户不需要相互分享数据，以避免隐私泄露。近年来，商业公司纷纷推出基于人工智能的云平台，为缺乏计算能力的用户提供模型。我们希望我们的工作能够激励这些公司提供更强大的人工智能服务。
2019-11-19 cs.LG
Brainstorming Generative Adversarial Networks (BGANs): Towards Multi-Agent Generative Models with Distributed Private Datasets
Virginia Tech（弗吉尼亚理工大学）
本文提出头脑风暴生成对抗网络（BGAN），使多个智能体在完全分布式且不共享真实数据的情况下，通过交换生成样本协作学习数据分布，理论证明其纳什均衡，实验显示生成质量优于现有分布式GAN。
2023-09-25 cs.DC cs.LG stat.ML
DiffusionPDE: Generative PDE-Solving Under Partial Observation
University of Michigan（密歇根大学）；Stanford University（斯坦福大学）
针对部分观测下现有偏微分方程求解方法表现不佳的问题，提出DiffusionPDE框架，通过建模解与系数的联合分布，同时补全信息并求解，性能显著优于现有方法。
2024-11-01 cs.AI cs.CV cs.LG
Encoding Invariances in Deep Generative Models
Iowa State University（爱荷华州立大学）
生成对抗网络（GANs）的可靠训练通常需要大量数据集，以便对复杂的分布进行建模。然而，在一些应用中，训练样本服从\textit{a priori}已知的不变性;例如，在复杂的物理模拟中，训练数据服从编码为明确定义的数学方程的普遍规律。在本文中，我们提出了一种新的生成式建模方法，InvNet，可以有效地建模数据空间与已知的不变性。我们设计了一个对抗训练算法来将它们编码到数据分布中。我们验证了我们的框架在三个实验设置：生成图像与固定图案;求解非线性偏微分方程（PDE）;和重建两相微结构所需的统计特性。我们补充我们的实验与几个理论结果。
2019-06-04 cs.LG eess.IV stat.ML
The Kanerva Machine: A Generative Distributed Memory
DeepMind（深度思维）
我们提出了一个端到端训练的记忆系统，可以快速适应新数据并生成类似的样本。受Kanerva的稀疏分布式内存的启发，它具有健壮的分布式读写机制。内存是分析易处理的，这使得最佳的在线压缩通过贝叶斯更新规则。我们制定它作为一个分层的条件生成模型，其中内存提供了丰富的数据依赖的先验分布。因此，自上而下的记忆和自下而上的感知结合起来，产生代表观察结果的代码。从经验上讲，我们证明了自适应记忆显著提高了在Omniglot和CIFAR数据集上训练的生成模型。与微分神经计算机（DNC）及其变体相比，我们的记忆模型具有更大的容量，并且更容易训练。
2018-06-18 cs.AI cs.LG cs.NE
FedGAN: Federated Generative Adversarial Networks for Distributed Data
Stanford University（斯坦福大学）
我们提出了联邦生成对抗网络（Federated Generative Adversarial Network，FedGAN），用于在通信和隐私约束下训练跨非独立和相同分布数据源的分布式源的GAN。我们的算法使用本地生成器和鉴别器，它们通过平均和广播生成器和鉴别器参数的中介定期同步。我们从理论上证明了FedGAN的收敛性，在标准假设下，使用随机近似和通信效率的随机梯度下降，具有相等的和两个时间尺度更新的生成器和生成器。我们在玩具示例（2D系统，混合高斯和瑞士角色），图像数据集（MNIST，CIFAR-10和CelebA）和时间序列数据集（家庭用电量和电动汽车充电会话）上实验FedGAN。我们证明了FedGAN的收敛性，并具有与一般分布式GAN相似的性能，同时降低了通信复杂性。我们还显示了它的鲁棒性，以减少通信。
2020-06-15 cs.CV cs.LG cs.MA
Deep Learning of Dynamic Subsurface Flow via Theory-guided Generative Adversarial Network
Peking University（北京大学）；Southern University of Science and Technology（南方科技大学）；Peng Cheng Laboratory（鹏城实验室）
生成式对抗网络（GAN）由于其强大的学习复杂数据分布的能力，在图像识别、文本处理和科学计算等领域有着广泛的应用。在这项研究中，提出了一种理论指导的生成对抗网络（TgGAN）来求解动态偏微分方程（PDE）。与标准GANs不同，训练项不再是真实数据和生成的数据，而是它们的残差。此外，控制方程、其他物理约束和工程控制等理论被编码到生成器的损失函数中，以确保预测不仅遵守训练数据，而且遵守这些理论。TgGAN被提出用于具有非均匀模型参数的动态地下流，并且每个时间步的数据被处理为二维图像。在这项研究中，几个数值的情况下，介绍了测试的TgGAN的性能。TgGAN模型可以很容易地实现对未来响应的预测、无标签学习和噪声数据学习。文中还讨论了训练数据的个数和配点的影响。为了提高TgGAN的效率，还采用了迁移学习算法。数值结果表明，TgGAN模型对于动态偏微分方程的深度学习是鲁棒和可靠的。
2020-06-02 cs.LG eess.IV physics.geo-ph
VideoPDE: Unified Generative PDE Solving via Video Inpainting Diffusion Models
University of Michigan（密歇根大学）
本研究提出VideoPDE框架，将偏微分方程求解重构为广义视频修复问题，基于Transformer架构与像素空间分层视频扩散模型，实现正/逆、全/部分观测等多类PDE任务的统一求解，性能优于现有最优基线。
2025-06-17 cs.AI cs.CV cs.LG
Consistent Distributed Ranking of Generative Models via Kernel Distances
针对分布式异构数据场景，证明使用各客户端平均核距离分数排序生成模型与集中式排序结果一致，并分析了Fréchet距离等指标的局限性。
2026-06-26 cs.LG
Physics-Constrained Flow Matching: Sampling Generative Models with Hard Constraints
Massachusetts Institute of Technology（麻省理工学院）
物理约束的流匹配通过强制执行任意非线性约束，提高生成模型在物理系统中的约束满足能力。
2025-11-25 cs.AI cs.CE cs.LG
Generative Adversarial Networks for Distributed Intrusion Detection in the Internet of Things
Virginia Tech（弗吉尼亚理工大学）
为了获得物联网（IoT）的好处，必须保护系统免受网络攻击，以实现关键任务和实时应用。为此，入侵检测系统（IDS）已被广泛用于检测由物联网系统中的网络攻击者引起的异常。然而，由于物联网的大规模性质，IDS必须以分布式方式运行，对中央控制器的依赖性最小。此外，在许多情况下，如健康和金融应用程序，数据集是私有的，物联网设备可能不打算共享这些数据。为此，本文提出了一种分布式生成对抗网络（GAN），为物联网提供一个完全分布式的IDS，以便在不依赖任何集中式控制器的情况下检测异常行为。在这种架构中，每个IoTD都可以监控自己的数据以及邻居IoTD，以检测内部和外部攻击。此外，所提出的分布式IDS不需要在IoT之间共享数据集，因此，它可以在保护用户数据隐私的IoT中实现，例如健康监控系统或金融应用。分析表明，所提出的分布式GAN具有更高的检测入侵的准确性相比，一个独立的IDS，只有一个单一的IoTD数据集的访问。仿真结果表明，提出的分布式基于GAN的入侵检测系统具有高达20%的准确率，提高25%的精度，并降低60%的误报率相比，一个独立的基于GAN的IDS。
2019-06-03 cs.CR cs.LG cs.NI
Adaptive importance sampling for Deep Ritz
Louisiana State University（路易斯安那州立大学）；Chinese Academy of Sciences（中国科学院）
本文针对深度里兹法求解偏微分方程提出自适应重要性采样方法，利用有界KRnet深度生成模型逼近变分损失中的未归一化概率密度并生成新配点，从而提升低正则性和高维问题的求解精度。
2023-10-30 cs.LG
TaylorPDENet: Learning PDEs from non-grid Data
University of Würzburg（维尔茨堡大学）
提出TaylorPDENet，利用多维泰勒展开从非网格观测数据中估计空间导数，实现复杂动力系统演化预测与底层微分方程的显式重建。
2023-06-26 cs.LG
A Distributed Training Algorithm of Generative Adversarial Networks with Quantized Gradients
Shenzhen University（深圳大学）；Tencent AI Lab（腾讯人工智能实验室）
以分布式方式训练生成对抗网络（GAN）是一种很有前途的技术，因为它有助于在现实世界的应用中有效地在大量数据上训练GAN。然而，已知GAN难以通过SGD型方法进行训练（可能无法收敛），并且分布式SGD型方法也可能遭受大量的通信成本。在本文中，我们提出了一个{具有量化梯度的分布式GANs训练算法，称为DQGAN}，这是第一个具有量化梯度的GANs分布式训练方法。新方法基于一种称为乐观镜像下降（OMD）算法的特定单机算法来训练GANs，并且适用于满足一般$δ$近似压缩器的任何梯度压缩方法。我们设计的误差反馈操作用来补偿压缩带来的偏差，并保证新方法的收敛性。从理论上证明了{DQGAN}算法非渐近收敛于一阶平稳点，表明在参数服务器模型下，该算法能获得线性加速比.实验结果表明，我们的{DQGAN}算法可以降低通信成本，节省训练时间，并且在合成和真实数据集上的性能略有下降。
2020-10-26 cs.DC cs.LG
FederatedFactory: Generative One-Shot Learning for Extremely Non-IID Distributed Scenarios
Honda Research Institute Europe（本田欧洲研究院）；University of Milan-Bicocca（米兰-比科卡大学）；Bielefeld University（比勒菲尔德大学）；Cold Spring Harbor Laboratory（冷泉港实验室）
FederatedFactory通过生成式先验倒置联邦单位，实现无冲突的分布式学习，提升医疗影像基准测试性能，恢复中央上限表现，且支持模块化反向学习。
2026-03-17 cs.AI cs.LG
Generative Neurosymbolic Machines
Rutgers University（罗格斯大学）
符号化和分布式表示是一个关键的挑战，可以解决当前深度学习的局限性。最近，通过生成对象为中心的表示模型，在这个方向上取得了显着的进展。在学习以无监督方式从原始图像推断以对象为中心的符号表示（如边界框）的识别模型时，没有这样的模型可以提供生成模型的另一个重要能力，即，根据学习世界密度的结构生成（采样）。在本文中，我们提出了生成神经符号机，一个生成模型，结合了分布式和符号表示的好处，以支持符号组件的结构化表示和基于密度的生成。这两个关键属性是通过一个两层的潜在层次结构实现的灵活的密度建模和结构化的符号潜在地图的全球分布的潜在。为了增加这种层次结构中的模型灵活性，我们还提出了StructDRAW先验。在实验中，我们表明，该模型显着优于以前的结构化表示模型，以及国家的最先进的非结构化生成模型的结构精度和图像生成质量。我们的代码、数据集和训练模型可在https://github.com/JindongJiang/GNM上获得
2021-02-06 cs.LG
Game-theoretic distributed learning of generative models for heterogeneous data collections
Faculty of Computer Science, Dresden University of Technology（计算机科学系，德累斯顿技术大学）；Department of Cybernetics, Czech Technical University in Prague（cybernetics系，捷克技术大学布拉格分校）
针对分布式学习中异构模型与数据的挑战，提出通过交换合成数据而非共享参数的博弈论合作学习方法，证明了指数族模型存在唯一纳什均衡且算法收敛，并在视觉基准数据集上验证了优势。
2025-11-03 cs.LG
Unifying and extending Diffusion Models through PDEs for solving Inverse Problems
University of Southern California（南加州大学）；Universidade Federal Fluminense（弗鲁米嫩塞联邦大学）
本文利用线性偏微分方程推导扩散模型，统一了多种公式与采样策略并提出新型保方差模型，同时通过条件版本求解反问题并实现单模型适配多测量算子。
2025-06-03 cs.LG stat.CO stat.ML
Distributed Conditional Generative Adversarial Networks (GANs) for Data-Driven Millimeter Wave Communications in UAV Networks
Virginia Tech（弗吉尼亚理工大学）；University of Oulu（奥卢大学）
针对无人机无线网络中毫米波通信的特点，提出了一种基于数据驱动的空对地信道估计方法。首先，开发了一种有效的信道估计方法来收集毫米波信道信息，允许每个UAV通过条件生成对抗网络（CGAN）沿每个波束形成方向训练独立的信道模型。接下来，为了将训练的信道模型的应用场景扩展到更广泛的时空域，开发了基于分布式CGAN架构的协作框架，允许每个UAV以全分布式方式协作学习mmWave信道分布。为了保证一个有效的学习过程中，最佳的无人机网络拓扑结构，最大化学习率的合作信道建模的必要条件和充分条件，推导出的最佳CGAN学习解决方案，每个无人机的特点，基于分布式网络结构。仿真结果表明，所提出的分布式CGAN方法对每个无人机的局部训练误差具有鲁棒性。同时，更大的机载网络规模需要每个UAV更多的通信资源来保证有效的学习率。结果还表明，与不共享信息的独立CGAN和其他两种分布式CGAN方法（即多通道CGAN和联合CGAN方法）相比，所提出的分布式CGAN方法在学习环境的同时具有更高的建模精度，并且在无人机下行毫米波通信的在线性能中实现了更高的平均数据率。
2021-07-31 cs.IT cs.LG math.IT
Tadpole: Autoencoders as Foundation Models for 3D PDEs with Online Learning
TUM School of Computation, Information and Technology（慕尼黑技术大学计算、信息与技术学院）；Technical University of Munich, Garching, Germany（慕尼黑技术大学，慕尼黑，德国）；MCML, Munich Center for Machine Learning, Munich, Germany（慕尼黑机器学习中心，慕尼黑，德国）
Tadpole通过在线数据生成框架预训练自动编码器，学习跨异构物理系统的丰富可迁移表示，支持高维扩展和多任务应用，包括动态学习和生成建模。
2026-11-04 cs.LG
A New Distributed Method for Training Generative Adversarial Networks
Zhejiang University（浙江大学）；Northwestern University（西北大学）
生成对抗网络（GANs）是新兴的机器学习模型，用于通过联合训练生成器和训练器来生成与真实数据相似的合成数据。在许多应用中，数据和计算资源分布在许多设备上，因此由于隐私和/或通信约束，在一个位置中使用所有数据的集中式计算是不可行的。本文提出了一种以分布式方式训练GANs的新框架：每个设备使用本地数据计算本地数据;单个服务器聚合它们的结果并计算全局GAN。具体而言，在每次迭代中，服务器将全局GAN发送到设备，然后设备更新其本地鉴别器;设备将其结果发送到服务器，然后服务器将其平均值计算为全局鉴别器并相应地更新全局生成器。两种不同的更新计划被设计成在设备和服务器之间具有不同级别的并行性。使用三个流行的数据集获得的数值结果表明，该框架可以优于一个国家的最先进的框架在收敛速度方面。
2021-07-19 cs.DC cs.IT cs.LG
TransNet: Transferable Neural Networks for Partial Differential Equations
Florida State University（佛罗里达州立大学）；University of South Carolina（南卡罗来纳大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
偏微分方程的迁移学习是开发一个预先训练好的神经网络，可以用来求解广泛的偏微分方程。现有的迁移学习方法需要目标偏微分方程的大量信息，例如其公式和/或其解的数据用于预训练。在这项工作中，我们建议从纯函数逼近的角度构建可转移的神经特征空间，而不使用PDE信息。特征空间的构建涉及隐藏神经元的重新参数化，并使用辅助函数来调整所得到的特征空间。理论分析表明，所产生的特征空间，即，均匀分布的神经元大量的数值实验验证了我们的方法的出色性能，包括显着改善的可转移性，例如，对于具有不同域和边界条件的各种偏微分方程使用相同的特征空间，并且具有优异的精度，例如，均方误差比现有技术的方法小几个数量级。
2023-01-27 cs.LG cs.NA math.NA
Brief Announcement: Generative Markov Model for Distributed Computing Systems
Department of Computer and Systems Sciences, Stockholm University, Sweden（斯德哥尔摩大学计算机与系统科学系）
针对分布式计算系统的异构性和复杂性，提出一种基于结构化状态分解的生成马尔可夫模型，实现可处理的模拟、推理和策略学习，并通过协作AI推理案例验证其有效性。
2026-06-02 cs.AI cs.DC cs.LG
Automating the Discovery of Partial Differential Equations in Dynamical Systems
Durham University（杜伦大学）
本文提出 ARGOS-RAL 方法，通过稀疏回归与循环自适应 lasso 自动从有限先验知识中识别偏微分方程，并在噪声和非均匀数据下验证了其优于序列阈值岭回归的鲁棒性和可靠性。
2024-05-02 cs.LG math.DS stat.AP
Modeling documents with Generative Adversarial Networks
Aylien Ltd.（Aylien有限公司）
本文描述了一种使用生成对抗网络来学习自然语言文档的分布式表示的方法。我们提出了一个模型，该模型是基于最近提出的基于能量的GAN，而是使用一个去噪自动编码器作为网络。文档表示提取的隐藏层中的隐藏层和定量和定性的评价。
2016-12-29 cs.LG
Synthetic Datasets for Machine Learning on Spatio-Temporal Graphs using PDEs
Department of Artifical Intelligence, Fraunhofer Heinrich Hertz Institute（人工智能系，弗劳恩霍夫海因里希·赫兹研究所）；Department of Electrical Engineering and Computer Science, Technische Universität Berlin（电气工程与计算机科学系，柏林技术大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
本文提出使用基于偏微分方程的合成数据集解决时空图机器学习中的数据稀缺问题，展示了流行病学、大气颗粒和海啸波的建模，并证明预训练能提升模型在真实数据上的性能。
2025-07-15 cs.AI cs.LG
A Deep Learning Approach for Predicting Spatiotemporal Dynamics From Sparsely Observed Data
Georgia Institute of Technology（佐治亚理工学院）
本文研究由未知偏微分方程驱动的时空物理过程的预测模型学习问题。我们提出了一个深度学习框架，它可以学习底层动态，并使用稀疏分布的数据站点预测其演变。近年来，深度学习在物理动力学建模方面取得了可喜的成果。然而，大多数现有的用于建模物理动力学的深度学习方法要么专注于解决已知的PDE，要么在管理PDE未知时需要密集网格中的数据。相比之下，我们的方法专注于学习预测模型的未知偏微分方程驱动的动态，只有从稀疏观测数据。该方法具有空间维数无关性和几何灵活性。我们展示了我们的方法在预测任务的二维波动方程和Burgers-Fisher方程在多个几何形状与不同的边界条件，和十维热方程。
2021-05-01 cs.LG cs.NA math.AP
Coarse-grained and emergent distributed parameter systems from data
MIT（麻省理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们探讨推导分布参数系统的演化规律（特别是，偏微分算子和相关的偏微分方程，偏微分方程）时空数据。当然，这是一个经典的识别问题;我们在这里的重点是使用流形学习技术（特别是扩散映射的变体）与神经网络学习算法相结合，使我们能够在PDE的因变量甚至自变量都不是先验已知的并且必须从数据中导出时尝试这项任务。在扩散映射中用于相关粗变量检测的相似性度量涉及局部粒子分布观测之间的距离;对于自变量检测，我们使用局部短时动态之间的距离。我们通过一个说明性的PDE例子来演示每种方法。这种无变量的、涌现的空间识别算法与无方程的多尺度计算工具自然相连。
2020-11-17 cs.LG physics.comp-ph physics.data-an
A Distributed Generative AI Approach for Heterogeneous Multi-Domain Environments under Data Sharing constraints
The German University in Cairo（开罗德国大学）
本研究提出了一种在数据共享约束下用于异构多域环境的分布式生成AI方法，结合KLD加权聚类联邦学习和异构U型分割学习，提升多域生成模型的训练效率和性能。
2026-01-16 cs.AI cs.LG
Multi-Dataset Inverse Problem Solving with Distributed Generative AI
Thomas Jefferson National Accelerator Facility（托马斯杰斐逊国家加速器装置）；Virginia Tech（弗吉尼亚理工大学）；Argonne National Laboratory（阿贡国家实验室）；Old Dominion University（老自治领大学）
该研究提出基于SAGIPS框架的分布式生成式AI通用框架，扩展分布式数据并行训练范式至非独立同分布多异构数据集，经多探测器散射实验验证，可鲁棒处理不同数据保真度，适配现实多数据集分析。
2026-08-28 cs.DC cs.LG
Softly Constrained Denoisers for Diffusion Models Applied to Partial Differential Equations
ELLIS Institute Finland（芬兰ELLIS研究所）；Aalto University（阿alto大学）；University of Manchester（曼彻斯特大学）
提出在扩散模型的去噪器中引入基于偏微分方程的软归纳偏置，以在提高约束遵从性的同时保持对模型错误指定的适应性。
2026-05-28 cs.LG
Diffusion models as probabilistic neural operators for recovering unobserved states of dynamical systems
Aalto University（阿尔托大学）
本文提出将扩散模型用作偏微分方程的神经算子，通过条件生成解或恢复未观测状态，并在多个真实动力系统中优于其他神经算子，同时能处理部分可识别系统。
2024-12-15 cs.AI cs.LG
GenUQ: Predictive Uncertainty Estimates via Generative Hyper-Networks
Sandia National Laboratories（桑迪亚国家实验室）
GenUQ通过生成超网络模型，避免构造似然，有效提升不确定性量化在算子学习中的性能。
2025-12-19 cs.LG cs.NA math.NA
Evaluating Uncertainty Quantification approaches for Neural PDEs in scientific applications
University of Illinois（伊利诺伊大学）；Columbia University（哥伦比亚大学）
该研究针对科学应用中的正、反问题，评估了贝叶斯方法与深度集成等不确定性量化方法在神经偏微分方程中的表现，发现贝叶斯方法可能低估真实不确定性。
2023-11-08 cs.AI cs.LG physics.comp-ph
