DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis
CUHK（香港中文大学）；Snap Inc.（Snap公司）；HKUST（香港科技大学）；ZJU（浙江大学）；KAUST（阿卜杜拉国王科技大学）；UCLA（加州大学洛杉矶分校）
现有的3D感知图像合成方法主要集中在生成一个单一的标准对象，并显示有限的能力，组成一个复杂的场景包含各种对象。本文介绍了一种用于高质量和可控场景合成的3Daware生成模型DisCoScene。我们的方法的关键成分是一个非常抽象的对象级表示（即，无语义标注的3D边界框）作为场景布局先验，其获得简单，通用于描述各种场景内容，并且还提供信息以解开对象和背景。此外，它还可以作为场景编辑的直观用户控件。基于这样的先验知识，该模型通过仅在具有全局-局部鉴别的2D图像上进行学习，将整个场景在空间上分解为以对象为中心的生成辐射场。我们的模型获得了单个对象的生成保真度和编辑灵活性，同时能够有效地将对象和背景组合成一个完整的场景。我们在许多场景数据集上展示了最先进的性能，包括具有挑战性的Waymo户外数据集。项目页面：https://snap-research.github.io/discoscene/
2022-12-22 cs.CV
Towards Efficient and Unbiased Implementation of Lipschitz Continuity in GANs
Shanghai Jiao Tong University（上海交通大学）
Lipschitz连续性最近在生成对抗网络（GANs）中变得流行。据观察，Lipschitz正则化的神经网络导致改进的训练稳定性和样本质量。Lipschitz连续性的主流实现包括梯度罚和谱归一化。在本文中，我们证明了梯度惩罚引入了不希望的偏见，而频谱归一化可能是过度限制。因此，我们提出了一种新的方法，这是有效的和无偏的。我们的实验验证了我们的分析，并表明该方法能够实现成功的训练在各种情况下，梯度惩罚和频谱归一化失败。
2019-04-02 cs.LG stat.ML
Training Unbiased Diffusion Models From Biased Dataset
KAIST（韩国科学技术院）
针对扩散模型受有偏训练数据影响的问题，提出时间依赖重要性重加权与分数校正目标，实现向无偏分布收敛，并在多数据集多种偏差设置下优于基线。
2024-03-02 cs.CV cs.LG
Combining deep generative models with extreme value theory for synthetic hazard simulation: a multivariate and spatially coherent approach
University of Oxford（牛津大学）
本文提出用生成对抗网络建模孟加拉湾多变量气候灾害的依赖结构，并结合极值理论进行尾部外推，以高效生成空间一致且物理真实的复合灾害事件，用于气候风险评估。
2023-11-30 cs.LG
Fast and Scalable Earth Texture Synthesis using Spatially Assembled Generative Adversarial Neural Networks
The Seoul Institute（首尔研究院）；Sandia National Laboratories（桑迪亚国家实验室）；University of Hawai’i at Mānoa（夏威夷大学马诺阿分校）
由于表征过程昂贵且耗时，具有复杂形态几何形状和组成（例如页岩和碳酸盐岩）的地球纹理通常用稀疏的现场样品表征。因此，以较低的计算代价生成任意大尺寸的具有相似拓扑结构的地质纹理已成为真实感地质材料重建的关键任务之一。最近，生成对抗神经网络（GANs）已经证明了合成输入纹理图像和创建等概率地质材料图像的潜力。然而，使用GANs框架的纹理合成通常受到计算成本和输出纹理大小的可扩展性的限制。在这项研究中，我们提出了一种空间组装的GANs（SA GANs），它可以生成任意大尺寸的输出图像，而不管训练图像的大小，并且具有计算效率。SAGANs的性能进行了评估与二维和三维（2D和3D）岩石图像样本广泛用于地球纹理的地质统计重建。我们证明了SAGAN可以生成任意大尺寸的统计实现，其连接性和结构特性与训练图像相似，并且即使在单个训练图像上也可以生成各种实现。此外，与标准GANs框架相比，计算时间得到了显着改善。
2020-11-13 cs.CV cs.LG eess.IV
BlobGAN-3D: A Spatially-Disentangled 3D-Aware Generative Model for Indoor Scenes
KAUST（阿卜杜拉国王科技大学）
3D感知图像合成已经吸引了越来越多的兴趣，因为它模拟了我们现实世界的3D性质。然而，在多对象场景中对生成的图像执行逼真的对象级编辑仍然是一个挑战。最近，称为BlobGAN的2D GAN在真实世界室内场景数据集上展示了强大的多对象编辑功能。在这项工作中，我们提出了BlobGAN-3D，这是对原始2D BlobGAN的3D感知改进。我们使明确的相机姿态控制，同时保持在场景中的各个对象的解纠缠扩展到3D斑点的2D斑点。我们保留了BlobGAN的对象级编辑功能，此外还允许灵活控制场景中对象的3D位置。我们在真实世界的室内数据集上测试了我们的方法，结果表明，与2D Blob GAN和其他3D感知GAN基线相比，我们的方法可以实现相当的图像质量，同时能够在具有挑战性的多对象真实世界场景中实现相机姿态控制和对象级编辑。
2023-03-26 cs.CV
Semi-Implicit Generative Model
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了结合显式和隐式生成模型，我们引入了半隐式生成器（SIG）作为一个灵活的分层模型，可以在极大似然框架中进行训练。理论和实验表明，SIG可以生成高质量的样本，特别是在处理多模态时。通过将SIG作为无偏正则化器引入到生成对抗网络（GAN）中，我们证明了极大似然和对抗学习之间的相互作用可以稳定对抗训练，抵抗GANs臭名昭著的模式崩溃问题，并提高生成的随机样本的多样性。
2019-07-29 cs.LG stat.ML
Effectively Unbiased FID and Inception Score and where to find them
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文表明，两个常用的生成模型的评估指标，Fréchet初始距离（FID）和初始分数（IS），是有偏差的-为有限样本集计算的分数的期望值不是分数的真实值。更糟糕的是，该论文表明，偏差项取决于所评估的特定模型，因此模型A可能会比模型B获得更好的分数，因为模型A的偏差项较小。这种效应无法通过在固定数量的样本下进行评估来修复。这意味着所有使用FID或IS的比较都是不可靠的。然后，我们将展示如何外推分数，以获得一个有效的无偏估计的分数计算的无限数量的样本，我们的术语$\overline{\textrm{FID}}_\infty$和$\overline{\textrm{IS}}_\infty$。反过来，这种有效的无偏估计需要对有限数量的样本的分数进行良好的估计。我们表明，使用准蒙特卡罗积分显着提高估计FID和IS有限样本集。我们的外推分数是简单的，对有限样本分数的直接替代。此外，我们表明，在GAN训练中使用低差异序列对生成的生成器有很小的改进。
2020-06-15 cs.CV cs.LG
Finite-Sample Unbiased Variance of MMD under Unbalanced Sampling: Exact Estimation and Quasi-Linear Computation
Taihang Laboratory（太行实验室）
本文提出了一种统一的MMD方差估计方法，通过U统计量和Hoeffding分解，实现对不平衡数据和不同假设下的鲁棒有限样本性能，并在单变量情况下通过拉普拉斯核将计算复杂度降低到O(n log n)。
2026-09-17 cs.LG stat.ML
First Order Generative Adversarial Networks
Zalando Research（扎兰多研究院）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨）
GANs擅长学习高维分布，但它们可以在与目标的最陡下降方向不对应的方向上更新生成器参数。有问题的更新方向的突出示例包括Goodfellow的原始GAN和WGAN-GP中使用的更新方向。为了正式描述一个最佳的更新方向，我们引入了一个理论框架，它允许推导的发散和相应的方法来确定更新方向的要求，这些要求保证无偏的小批量更新的最陡下降的方向。我们提出了一种新的分歧，近似Wasserstein距离，同时规范化的评论家的一阶信息。与伴随的更新方向一起，该发散满足无偏最陡下降更新的要求。我们验证了我们的方法，一阶GAN，在CelebA，LSUN和CIFAR-10上生成图像，并在十亿字语言生成任务上设定了一个新的艺术状态。代码重现实验是可用的。
2018-06-07 cs.LG stat.ML
Towards Unbiased COVID-19 Lesion Localisation and Segmentation via Weakly Supervised Learning
Peng Cheng Laboratory（鹏城实验室）；Sun Yat-sen University（中山大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shenzhen People's Hospital（深圳市人民医院）；Shenzhen Institute of Respiratory Diseases（深圳呼吸疾病研究所）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）
尽管付出了巨大的努力，但要生成一个强大的模型来帮助对胸部CT图像上的COVID-19进行准确的量化评估仍然非常具有挑战性。由于边界模糊的性质，监督分割方法通常遭受注释偏差。为了支持公正的病变定位和标签成本最小化，我们提出了一个数据驱动的框架，仅由图像级标签监督。该框架可以在生成对抗网络和病变特定解码器的帮助下，显式地将潜在病变与原始图像分开。在两个COVID-19数据集上的实验证明了该框架的有效性及其优于现有方法的性能。
2021-03-01 cs.CV eess.IV
Deep generative model super-resolves spatially correlated multiregional climate data
Toyota Central R&D Labs, Inc.（丰田中央研发实验室株式会社）；National Institute for Environmental Studies（国立环境研究所）；Center for Climate Change Adaptation（气候变化适应中心）
本文提出物理信息超分辨率生成对抗网络πSRGAN，可在高达五十倍放大下重建多区域气候数据的空间相关性，并验证了用气压场替代降水场的ψSRGAN变体同样有效。
2023-04-15 cond-mat.soft cs.LG physics.ao-ph
Unbiased Image Synthesis via Manifold Guidance in Diffusion Models
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对扩散模型生成图像存在属性偏差的问题，提出即插即用的无监督流形引导采样方法，无需修改模型或额外训练即可有效缓解偏差，提升生成图像质量与无偏性。
2024-04-15 cs.CV
Leveraging generative adversarial networks with spatially adaptive denormalization for multivariate stochastic seismic data inversion
Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；Institute of Earth Sciences, University of Lausanne（洛桑大学地球科学研究所）
本文提出SPADE-GANInv算法，结合预训练SPADE-GAN与地统计模拟，实现从地震数据中准确预测facies及多变量连续参数。
2025-12-02 cs.LG physics.geo-ph stat.AP
Memorize When Needed: Decoupled Memory Control for Spatially Consistent Long-Horizon Video Generation
The Hong Kong Polytechnic University（香港理工大学）；OPPO Research Institute（OPPO研究院）
本文提出解耦框架，分离记忆条件与生成过程，提升空间一致性并保持生成能力。通过轻量记忆分支和跨帧注意力机制，实现高效且高质量的长时视频生成。
2026-10-28 cs.CV
PFGM++: Unlocking the Potential of Physics-Inspired Generative Models
Massachusetts Institute of Technology（麻省理工学院）
我们介绍了一个新的家庭的物理启发生成模型称为PFGM++，统一扩散模型和泊松流生成模型（PFGM）。这些模型通过在$N{+}D$维空间中嵌入路径来实现$N$维数据的生成轨迹，同时仍然用$D$附加变量的简单标量范数来控制进展。当$D{=}1$和$D{\to}\infty$时，新模型分别简化为PFGM和扩散模型.选择$D$的灵活性使我们能够权衡稳健性和刚性，因为增加$D$会导致数据和附加变量范数之间的耦合更加集中。我们免除了有偏见的大批量场PFGM中使用的目标，而是提供了一个无偏的扰动为基础的目标类似于扩散模型。为了探索不同的选择$D$，我们提供了一个直接对齐的方法，从扩散模型（$D{\to} \infty$），以任何有限的$D$值良好调整的超参数。我们的实验表明，具有有限$D$的模型在CIFAR-10/FFHQ $64{\times}64$数据集上优于先前最先进的扩散模型，当$D{=}2048/128$时，具有$1.91/2.43$的FID分数。在类条件设置中，$D{=}2048$在CIFAR-10上产生当前最先进的FID $1.74$。此外，我们证明了具有较小$D$的模型对建模误差具有更好的鲁棒性。代码可在https://github.com/Newbeeer/pfgmpp上获得
2023-02-10 cs.CV cs.LG
Efficient Spatially Sparse Inference for Conditional GANs and Diffusion Models
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
提出空间稀疏推理（SSI）和稀疏增量生成引擎（SIGE），通过缓存并重用未编辑区域特征，仅对编辑区域计算，在现成硬件上显著加速条件GAN与扩散模型的图像编辑。
2023-09-13 cs.CV cs.GR cs.LG
CityRAG: Stepping Into a City via Spatially-Grounded Video Generation
Google（谷歌）；Cornell University（康奈尔大学）；Stanford University（斯坦福大学）
CityRAG通过利用地理注册数据的大型语料库，生成空间一致且可导航的真实环境视频，其核心方法是结合学习的先验知识和时空不一致训练数据，以实现复杂的运动和外观变化。
2026-06-03 cs.CV
Learning to Bound: A Generative Cramér-Rao Bound
Tel Aviv University（特拉维夫大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Cramér-Rao界（CRB）是一个关于无偏参数估计性能的著名下界，已被用于研究各种各样的问题。然而，为了获得CRB，需要给定参数的测量的可能性的分析表达式，或者等效地，需要数据的精确和明确的统计模型。在许多应用中，这样的模型是不可用的。相反，这项工作引入了一种新的方法来近似CRB使用数据驱动的方法，它消除了分析统计模型的要求。这种方法是基于最近成功的深度生成模型建模复杂的，高维分布。使用学习的归一化流模型，我们对测量的分布进行建模，并获得CRB的近似值，我们称之为生成Cramér-Rao界（GCRB）。简单问题的数值实验验证了这种方法，并在两个图像处理任务的图像去噪和边缘检测与学习相机噪声模型的实验证明了它的权力和好处。
2022-10-09 cs.LG eess.SP
Texture Representation via Analysis and Synthesis with Generative Adversarial Networks
Northwestern University（西北大学）；University of Rochester（罗切斯特大学）
我们研究数据驱动的纹理建模，通过分析和合成与生成对抗网络。对于网络训练和测试，我们已经编译了一组不同的空间均匀纹理，从随机到规则。我们采用StyleGAN 3进行合成，并证明它产生的纹理超出了训练数据中所表示的纹理。对于纹理分析，我们提出了GAN反演使用一种新的潜在域重建一致性标准的合成纹理，和迭代细化与Gramian损失的真实纹理。我们提出了评估网络能力的感知程序，探索潜在空间轨迹的全局和局部行为，并与现有的纹理分析合成技术进行比较。
2022-12-20 cs.CV
BlobGAN: Spatially Disentangled Scene Representations
UC Berkeley（加州大学伯克利分校）；Adobe Research（奥多比研究院）
我们提出了一个无监督的，中级表示的场景生成模型。该表示是中级的，因为它既不是逐像素的，也不是逐图像的;相反，场景被建模为空间的、按深度排序的“斑点”特征的集合。斑点被可区分地放置在特征网格上，该特征网格由生成对抗网络解码成图像。由于斑点的空间均匀性和卷积固有的局部性，我们的网络学会将不同的斑点与场景中的不同实体相关联，并排列这些斑点以捕获场景布局。我们通过展示这种紧急行为来证明，尽管在没有任何监督的情况下进行训练，但我们的方法能够实现诸如轻松操纵场景中的对象（例如，移动、移除和重新设计家具），在给定约束的情况下创建可行的场景（例如，在特定位置具有抽屉的合理房间），以及将真实世界图像解析成组成部分。在具有挑战性的室内场景多类别数据集上，BlobGAN在FID测量的图像质量方面优于StyleGAN 2。请参阅我们的项目页面以获取视频结果和互动演示：https://www.dave.ml/blobgan
2022-07-29 cs.CV
Calibrating Generative Models to Feature Distributions with MMD Finetuning
Stanford University（斯坦福大学）
提出kCGM方法，通过最小化生成与目标特征分布的最大均值差异（MMD）并加入KL正则化，在不牺牲有效性的前提下校准生成模型的特征分布，适用于多种生成模型。
2026-06-19 cs.LG
Implicit Posterior Variational Inference for Deep Gaussian Processes
National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
多层深度高斯过程（DGP）模型是具有更强表达能力的GP模型的分层组合。精确的DGP推理是棘手的，这促使了最近的发展确定性和随机近似方法。不幸的是，确定性的近似方法产生一个有偏的后验信念，而随机的是计算成本高。本文提出了一种隐式后验变分推理（IPVI）框架DGP，可以理想地恢复一个无偏的后验信念，仍然保持时间效率。受生成对抗网络的启发，我们的IPVI框架通过将DGP推理问题转换为两人游戏来实现这一点，有趣的是，其中纳什均衡与无偏后验信念相一致。因此，这启发我们设计一种最佳响应动态算法来搜索纳什均衡（即，无偏的后验信念）。经验评估表明，IPVI优于国家的最先进的DGP的近似方法。
2019-10-26 cs.LG stat.ML
Kolmogorov-Arnold Energy Models: Fast, Interpretable Generative Modeling
Zettascale Computing Corp.（泽塔级计算公司）
本文提出Kolmogorov-Arnold能量模型，通过结合Kolmogorov-Arnold表示定理，提供高效的生成建模方法，实现潜在空间的可解释性，并在多个数据集上取得优异性能。
2026-09-16 cs.LG
A new pathway to generative artificial intelligence by minimizing the maximum entropy
Center for Life Nanoscience, Istituto Italiano di Tecnologia（生命纳米科学中心、意大利技术研究院）；Department of Physics, Sapienza University（物理系、萨皮恩扎大学）
本文提出一种通过对抗训练同时最小化和最大化熵的物理驱动生成模型，以数据高效且灵活的方式实现可控生成，并在基准测试中优于变分自编码器。
2025-06-05 cond-mat.stat-mech cs.IT cs.LG
Unbiasing Enhanced Sampling on a High-dimensional Free Energy Surface with Deep Generative Model
Purdue University（普渡大学）
针对高维自由能面增强采样的去偏差难题，提出基于分数扩散模型的深度生成去偏差方法，在TAMD模拟中验证其性能优于传统方法，可处理更多CV的模拟并生成准确无偏构象系综。
2023-12-18 cond-mat.stat-mech cs.LG physics.chem-ph
Dual Pyramid Generative Adversarial Networks for Semantic Image Synthesis
语义图像合成的目标是从语义标签映射生成照片级真实感图像。它与内容生成和图像编辑等任务高度相关。然而，当前最先进的方法仍然难以在各种尺度的图像中生成逼真的对象。特别是，小的对象往往会逐渐消失，而大的对象通常会生成为补丁的拼贴。为了解决这个问题，我们提出了一个双金字塔生成对抗网络（DP-GAN），它在所有尺度上联合学习空间自适应归一化块的条件，使得尺度信息被双向使用，并且它在不同尺度上统一监督。我们的定性和定量的结果表明，所提出的方法生成的图像中的小和大的对象看起来更真实的国家的最先进的方法生成的图像相比。
2022-10-08 cs.CV
Deep Generative Filter for Motion Deblurring
Veermata Jijabai Technological Institute（维尔马塔·吉贾拜技术学院）；Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）
由于相机抖动引起的图像模糊具有不适定性，因此消除相机抖动引起的图像模糊一直是计算机视觉领域的一个难题。由于相机与3D空间中的对象之间的相对运动而引起的运动模糊在整个图像上引起空间变化的模糊效果。在本文中，我们提出了一种新的深度过滤器的基础上生成对抗网络（GAN）架构集成了全局跳过连接和密集架构，以解决这个问题。我们的模型，同时绕过模糊核估计的过程中，显着减少了测试时间，这是必要的实际应用。在基准数据集上的实验证明了该方法的有效性，其性能在定量和定性上均优于现有的盲去模糊算法。
2017-09-11 cs.CV
Fostering Diversity in Spatial Evolutionary Generative Adversarial Networks
Massachusetts Institute of Technology（麻省理工学院）
生成式对抗网络（GANs）遭受训练病态，如不稳定性和模式坍塌，这主要是由于缺乏多样性，在他们的对抗互动。协同进化GAN（CoE-GAN）训练算法已被证明对这些病理具有弹性。本文介绍了Mustangs，一种空间分布的CoE-GAN，它通过在训练期间使用不同的损失函数来促进多样性。对MNIST和CelebA的实验分析表明，Mustangs在统计上训练更准确的生成器。
2021-06-25 cs.AI cs.DC cs.LG
MatFusion: A Generative Diffusion Model for SVBRDF Capture
College of William & Mary（威廉玛丽学院）
本文提出 MatFusion，先以大规模合成材质训练无条件 SVBRDF 扩散骨干，再微调为光照条件模型，从单张照片生成多个材质估计并达到更优精度。
2024-04-24 cs.CV cs.GR
A Biophysically-Conditioned Generative Framework for 3D Brain Tumor MRI Synthesis
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Imperial College London（伦敦帝国学院）
本文提出了一种基于生物物理条件的生成框架，用于生成高保真的3D脑肿瘤MRI，通过条件生成模型实现肿瘤合成和健康组织修复，实验结果显示在PSNR指标上取得良好效果。
2025-12-08 cs.CV cs.LG eess.IV
TFG-Flow: Training-free Guidance in Multimodal Generative Flow
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；Tsinghua University（清华大学）
针对连续与离散多模态数据及 flow matching 生成模型，本文提出 TFG-Flow 免训练引导方法，在保持离散变量无偏采样的同时缓解维数灾难，并在四个分子设计任务中验证其药物设计潜力。
2025-03-18 cs.AI cs.CE cs.LG
Fine Detailed Texture Learning for 3D Meshes with Generative Models
NVIDIA（英伟达）；Bilkent University（比尔肯特大学）；University of Toronto（多伦多大学）
本文提出了一种从多视图和单视图图像重建高质量纹理三维模型的方法。重建是一个自适应问题，并逐步完成，在第一阶段，我们专注于学习准确的几何形状，而在第二阶段，我们专注于学习纹理与生成对抗网络。在生成学习管道中，我们提出了两个改进。首先，由于学习的纹理应该在空间上对齐，我们提出了一个注意力机制，依赖于像素的可学习位置。其次，由于P2P接收对齐的纹理映射，我们用可学习的嵌入来增强其输入，从而改善对生成器的反馈。我们在Tripod数据集的多视图序列以及单视图图像数据集Pascal 3D+和CUB上实现了显着改进。我们证明，我们的方法实现了优越的3D纹理模型相比，以前的作品。请访问我们的网页获取3D视觉效果。
2022-03-17 cs.CV
Applications of Generative Adversarial Networks in Neuroimaging and Clinical Neuroscience
University of Pennsylvania（宾夕法尼亚大学）；Center for AI and Data Science for Integrated Diagnostics（综合诊断人工智能与数据科学中心）；Center for Biomedical Image Computing and Analytics（生物医学图像计算与分析中心）
生成对抗网络（GANs）是一种强大的深度学习模型，已成功应用于许多领域。它们属于一个更广泛的家族，称为生成方法，它通过从真实示例中学习样本分布来生成具有概率模型的新数据。在临床背景下，与传统的生成方法相比，GANs在捕获空间复杂、非线性和潜在微妙的疾病影响方面表现出了增强的能力。这篇综述评估了现有文献中的应用GANs在各种神经系统疾病的成像研究，包括阿尔茨海默病，脑肿瘤，脑老化，多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经成像中利用GANs的主要挑战，开放性问题和有前途的未来方向。我们的目标是通过强调如何利用GANs来支持临床决策，并有助于更好地理解大脑疾病的结构和功能模式，来弥合先进的深度学习方法和神经学研究之间的差距。
2023-01-29 cs.CV cs.LG eess.IV
SCATGAN for Reconstruction of Ultrasound Scatterers Using Generative Adversarial Networks
ETH Zurich（苏黎世联邦理工学院）
超声（US）回波描记术的计算机模拟是培训超声医师的必要条件。US与微观组织结构的相互作用的真实模拟通常由点散射体形式的组织表示建模，与空间变化的点扩散函数卷积。这产生了一个现实的美国B模式斑点纹理，给定的散射体表示为一个特定的组织类型是现成的。这通常不是这种情况，散射体是不平凡的确定。在这项工作中，我们建议从组织的样本US B模式图像中估计散射体映射，通过将此逆映射问题制定为图像平移，其中我们使用US模拟软件进行训练，使用生成对抗网络学习映射。我们展示了强大的重建结果，不变的US查看和成像设置，如成像方向和中心频率。我们的方法被证明是泛化超出了训练的成像设置，在体内US数据证明。我们的推理比基于优化的技术快了几个数量级，使未来的扩展能够仅以线性计算复杂度重建3D B模式体积。
2019-02-01 cs.CV cs.LG eess.IV
Improving Model Compatibility of Generative Adversarial Networks by Boundary Calibration
National Taiwan University（台湾大学）；Carnegie Mellon University（卡内基梅隆大学）
生成对抗网络（GANs）是一个强大的模型家族，它学习底层分布以生成合成数据。许多现有的GANs研究都集中在提高视觉应用所生成的图像数据的真实性上，很少有人关注提高用于训练其他分类器的生成数据的质量--这一任务被称为模型兼容性问题。因此，现有的GANs通常更喜欢生成远离分类器边界的“更容易”的合成数据，并且避免生成近边界数据，已知近边界数据在训练分类器中起重要作用。为了提高GAN的模型兼容性，我们提出了边界校准GANs（BCGAN），它利用了使用原始数据的一组预训练分类器的边界信息。特别地，我们在GAN的生成器中引入了辅助边界校准损失（BC损失），以匹配原始数据和生成数据的后验分布之间的统计数据，相对于预训练分类器的边界。BC损失是可证明无偏的，并且可以容易地与不同的GAN变体耦合以提高它们的模型兼容性。实验结果表明，BCGAN不仅能像原始GANs一样生成逼真的图像，而且比原始GANs具有更好的模型兼容性。
2021-11-03 cs.LG
Three dimensional blind image deconvolution for fluorescence microscopy using generative adversarial networks
Purdue University（普渡大学）
由于图像模糊，图像去卷积经常用于在荧光显微镜中研究生物结构。荧光显微镜图像体积固有地遭受强度不均匀性、模糊，并且被各种类型的噪声破坏，这加剧了更深组织深度处的图像质量。因此，荧光显微镜在更深组织中的定量分析仍然是一个挑战。提出了一种基于3向空间约束循环一致对抗网络的荧光显微镜三维盲图像反卷积方法。所提出的反褶积方法和其他知名的反褶积方法，去噪方法，和非均匀性校正方法的恢复量进行了可视化和数值评估。实验结果表明，该方法可以直观、定量地恢复和改善模糊和噪声的深度显微图像质量。
2019-04-19 cs.CV
A One-Shot Texture-Perceiving Generative Adversarial Network for Unsupervised Surface Inspection
Tsinghua University（清华大学）；University of Cincinnati（辛辛那提大学）
由于目标表面和缺陷区域的外观高度多样化，视觉表面检测是一项具有挑战性的任务。以前的尝试严重依赖于大量带有手动注释的训练样本。但是，在一些实际情况下，很难获得大量样品进行检查。为了解决这个问题，我们提出了一个分层的纹理感知生成对抗网络（HTP-GAN），它是从一个无监督的计划中的一次性正常图像中学习的。具体来说，HTP-GAN包含一个卷积GANs金字塔，可以同时捕获图像的全局结构和细粒度表示。这一创新有助于区分缺陷表面区域和正常表面区域。此外，在该算法中，设计了一个纹理感知模块，通过方向卷积捕获正常图像的空间不变表示，使其对缺陷区域更加敏感。在各种数据集上的实验一致地证明了我们的方法的有效性。
2021-06-12 cs.CV
Decoupled Illumination Priors for Spatially Controllable Multi-View Indoor Scene Relighting
Multimedia Laboratory, The Chinese University of Hong Kong（香港中文大学多媒体实验室）；Shanghai AI Laboratory（上海人工智能实验室）；CPII under InnoHK（创新香港研发平台下的CPII）
研究室内场景重光照问题，提出Lume-Palette框架，通过将重光照解耦为光照蒸馏和投射两阶段，并引入不对称多视图条件策略，实现了逼真、空间可控且多视图一致的重光照效果。
2026-07-13 cs.CV
What Is It Like Down There? Generating Dense Ground-Level Views and Image Features From Overhead Imagery Using Conditional Generative Adversarial Networks
University of California, Merced（加州大学默塞德分校）
本文研究了条件生成对抗网络（cGANs），以克服使用地理标记媒体进行地理发现的基本限制，即其稀疏和不均匀的空间分布。我们训练cGAN以生成给定俯视图像的位置的地面视图。我们展示了“假”地面图像是自然的，并且在结构上与真实图像相似。更重要的是，我们显示生成的图像代表了位置，并且cGAN学习的表示是信息丰富的。特别是，我们表明，使用我们的框架生成的密集的特征地图是更有效的土地覆盖分类比空间插值从稀疏的地面图像中提取的特征的方法。据我们所知，我们是第一个使用cGAN生成地面视图的工作，并探索了学习表示的好处。
2018-09-23 cs.CV
Prescribed Generative Adversarial Networks
Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）；DeepMind
生成对抗网络（GANs）是无监督学习的一种强大方法。他们在图像领域取得了最先进的性能。然而，GANs在两个方面受到限制。他们经常学习低支持度的分布-一种被称为模式崩溃的现象-并且他们不保证概率密度的存在，这使得使用预测对数似然来评估泛化是不可能的。在本文中，我们开发了指定的GAN（PresGAN）来解决这些缺点。PresGAN将噪声添加到密度网络的输出中，并优化熵正则化的对抗损失。添加的噪声呈现预测对数似然的易于处理的近似，并稳定训练过程。熵正则化器鼓励PresGAN捕获数据分布的所有模式。拟合PresGAN涉及计算熵正则化项的棘手梯度; PresGAN使用无偏随机估计来回避这种棘手性。我们在几个数据集上评估了PresGAN，发现它们减轻了模式崩溃，并生成了具有高感知质量的样本。我们进一步发现，PresGANs减少了传统GANs和变分自编码器（VAE）之间在预测对数似然方面的性能差距。
2019-10-09 cs.LG stat.ME stat.ML
MoVQ: Modulating Quantized Vectors for High-Fidelity Image Generation
Monash University（莫纳什大学）；VinAI（VinAI研究院）
虽然两阶段矢量量化（VQ）生成模型允许合成高保真度和高分辨率图像，但是它们的量化运算符将图像内的相似块编码到相同索引中，从而导致使用现有解码器架构的相似相邻区域的重复伪影。为了解决这个问题，我们建议将空间条件归一化调制的量化矢量，以便插入空间变化的信息嵌入到索引图，鼓励解码器生成更多的照片逼真的图像。此外，我们使用多通道量化来增加离散码的重组能力，而不增加模型和码书的成本。此外，为了在第二阶段生成离散令牌，我们采用了掩码生成图像Transformer（MaskGIT）来学习压缩潜在空间中的底层先验分布，这比传统的自回归模型快得多。两个基准数据集上的实验表明，我们提出的调制VQGAN能够大大提高重建图像的质量，以及提供高保真图像生成。
2022-09-19 cs.CV
Spatially Constrained GAN for Face and Fashion Synthesis
Northeastern University（东北大学）；Brandeis University（布兰迪斯大学）
图像生成在学术界和工业界都引起了极大的关注，特别是有条件的、有目的的图像生成，如罪犯肖像、服装设计等。虽然目前的研究已经取得了初步的成果沿这一方向，他们总是集中在类标签的条件下，空间内容是随机生成的潜在向量。边缘细节通常是模糊的，因为空间信息很难保持。有鉴于此，我们提出了一种新的空间约束生成对抗网络（SCGAN），它从潜在的向量中提取空间约束，并使这些约束成为额外的可控信号。为了提高空间可控性，专门设计了一个生成器网络，以一个语义分割，一个潜在的向量和属性级别的标签作为输入，一步一步。此外，一个分段器网络的构造施加空间约束的发生器。在实验中，我们在CelebA和DeepFashion数据集上提供了视觉和定量结果，并证明了所提出的SCGAN在控制空间内容和生成高质量图像方面非常有效。
2021-12-06 cs.CV
Inverse Estimation of Elastic Modulus Using Physics-Informed Generative Adversarial Networks
NASA Langley Research Center（美国国家航空航天局兰利研究中心）；University of Puerto Rico (Mayagüez)（波多黎各大学（马亚圭斯））
虽然标准的生成对抗网络（GANs）仅依赖于训练数据来学习未知的概率分布，但物理信息GANs（PI-GANs）使用自动微分以随机偏微分方程（PDE）的形式对物理定律进行编码。通过偏微分方程将观测数据与未观测的感兴趣量相关联，PI-GAN允许在没有直接测量的情况下估计潜在的概率分布（即逆问题）。GANs的可扩展性质允许高维的、空间相关的概率分布（即，随机场）来推断，而通过PDE合并先验信息允许训练数据集相对较小。在这项工作中，PI-GAN被证明是弹性模量估计在机械测试中的应用。给定测量的变形数据，学习空间变化的弹性模量（刚度）的潜在概率分布。两个前馈深度神经网络发生器用于跨二维域对变形和材料刚度进行建模。采用具有梯度惩罚的Wasserstein GANs来增强稳定性。在没有明确的训练数据的情况下，证明了PI-GAN通过将PDE与测量的变形相关联来学习生成现实的、物理上可接受的材料刚度实现。结果表明，这些生成的刚度样本的统计（平均值，标准差，逐点分布，相关长度）与真实分布有很好的一致性。
2020-05-20 cs.CE cs.LG eess.IV
ProEval: Proactive Failure Discovery and Efficient Performance Estimation for Generative AI Evaluation
Google DeepMind（谷歌DeepMind）
提出ProEval框架，利用预训练高斯过程进行贝叶斯积分和超水平集采样，实现高效性能估计和主动故障发现，在推理、安全对齐和分类基准上以8-65倍更少样本达到1%误差内估计。
2026-06-01 cs.AI cs.LG stat.ML
MaterialGAN: Reflectance Capture using a Generative SVBRDF Model
University of California, Irvine（加州大学欧文分校）；Adobe Research（Adobe研究院）
我们解决的问题，重建空间变化的BRDF从一个小的图像测量。这是一个基本的欠约束问题，以前的工作依赖于使用各种正则化先验或捕获许多图像来产生合理的结果。在这项工作中，我们提出了MaterialGAN，这是一种基于StyleGAN2的深度生成卷积网络，经过训练可以合成逼真的SVBRDF参数图。我们证明了MaterialGAN可以在逆向渲染框架中用作强大的材料先验：我们优化了其潜在表示，以生成与渲染时捕获图像的外观相匹配的材料图。我们展示了这个框架上的任务，重建SVBRDFs从使用手持手机的闪光灯照明下捕获的图像。我们的方法成功地产生了合理的材料地图，准确地再现了目标图像，并优于以前的最先进的材料捕获方法在合成和真实数据的评估。此外，我们基于GAN的潜在空间允许高级语义材料编辑操作，例如生成材料变体和材料变形。
2020-09-30 cs.CV
Self-Attention Generative Adversarial Networks
Rutgers University（罗格斯大学）；Google Research（谷歌研究院）
在本文中，我们提出了自注意力生成对抗网络（SAGAN），它允许注意力驱动的图像生成任务的长期依赖建模。传统的卷积GANs仅根据低分辨率特征图中的空间局部点生成高分辨率细节。在SAGAN中，可以使用来自所有特征位置的线索来生成细节。此外，图像处理器还可以检查图像远处部分的高度详细的特征是否彼此一致。此外，最近的工作表明，发电机调节影响GAN性能。利用这一洞察力，我们将频谱归一化应用于GAN生成器，并发现这改善了训练动态。提出的SAGAN实现了最先进的结果，将最好的Inception分数从36.8提高到52.52，并将具有挑战性的ImageNet数据集上的Frechet Inception距离从27.62降低到18.65。注意层的可视化显示，生成器利用对应于对象形状的邻域，而不是固定形状的局部区域。
2019-06-14 cs.LG stat.ML
Progressive-Growing of Generative Adversarial Networks for Metasurface Optimization
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
生成对抗网络可以基于高性能设备布局的训练集生成元表面，有可能显着降低元表面设计过程的计算成本。然而，基本的GAN架构无法完全捕获拓扑复杂的元表面的详细特征，因此生成的设备需要额外的计算昂贵的设计细化。在这封信中，我们证明了GANs可以通过逐步增长其网络架构和训练集，从高分辨率训练数据中更好地学习空间精细特征。我们的研究结果表明，与这种训练方法，最好的生成设备的性能相比，以及基于梯度的拓扑优化产生的最佳设备，从而消除了额外的设计细化的需要。我们设想，这种网络训练方法可以推广到其他物理系统，其中设备性能与精细几何结构密切相关。
2019-12-02 cs.LG eess.IV physics.app-ph
Composite Travel Generative Adversarial Networks for Tabular and Sequential Population Synthesis
Concordia University（康考迪亚大学）；Ryerson University（瑞尔森大学）
基于代理人的交通建模已成为标准，以模拟旅行行为，流动性选择和活动偏好，使用整个人口的分类旅行需求数据，这些数据通常不易获得。为此目的提出了各种方法来综合人口数据。我们提出了一种复合旅行生成对抗网络（CTGAN），这是一种新型的深度生成模型，用于估计人口的潜在联合分布，能够重建具有表格（例如年龄和性别）以及连续移动数据（例如行程轨迹和序列）的复合合成代理。CTGAN模型与其他最近提出的方法，如变分自编码器（VAE）的方法，这表明在高维表格人口合成的成功。我们根据分布相似性、多变量相关性和时空度量来评估合成输出的性能。结果表明，一致和准确的生成合成人口和他们的表格和空间顺序的属性，在不同的空间尺度和尺寸。
2020-04-15 cs.LG cs.MA stat.ML
Asymptotically unbiased estimation of physical observables with neural samplers
Technische Universität Berlin（柏林工业大学）；Berlin Big Data Center（柏林大数据中心）；RIKEN Center for AIP（理化学研究所人工智能中心）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Berliner Zentrum für Maschinelles Lernen（柏林机器学习中心）；Korea University（高丽大学）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）
我们提出了一个通用框架，用于使用生成神经采样器估计可观测量，重点关注提供精确采样概率的现代深度生成神经网络。在这个框架中，我们提出了渐近无偏估计的一般可观，包括那些明确依赖于配分函数，如自由能或熵，并得出相应的方差估计。通过对二维伊辛模型的数值实验，证明了它们的实用性，并突出了其优于现有方法的优越性。我们的方法极大地增强了生成神经采样器对现实世界物理系统的适用性。
2020-02-13 cond-mat.stat-mech cs.LG stat.ML
DINO-FIL: Multi-Layer Transformer Fusion for Generative Inpainting Forgery Localization
AIT Austrian Institute of Technology GmbH（奥地利技术研究所）
提出基于Transformer的DINO-FIL框架，利用DINOv3 ViT-H+/16编码器的多层特征融合，在跨数据集的生成图像伪造定位任务中，泛化能力优于现有基线且保持高真负率。
2026-10-16 cs.AI cs.CV
Integration of Calcium Imaging Traces via Deep Generative Modeling
Dept. of Biomedical Sciences \& Institute of Neurosciences, Universitat de Barcelona, Barcelona, Spain Dept. of Condensed Matter Physics, Universitat de Barcelona, Barcelona, Spain
针对钙成像研究中单神经元表征挖掘不足及批次效应问题，提出无需尖峰推断的有监督变分自编码器架构，性能优于现有模型，可实现单神经元动力学的鲁棒分析。
2025-10-01 cs.LG q-bio.NC
Distributionally Robust Chance Constrained Programming with Generative Adversarial Networks (GANs)
College of Engineering, Cornell University（康奈尔大学工程学院）
提出了一种基于深度学习的数据驱动最优化方法。提出了一种基于数据驱动的分布式鲁棒机会约束规划框架的生成对抗网络（GAN）。GAN是应用于充分提取分布信息的历史数据中的非参数和无监督的方式，没有先验近似或假设。由于GAN利用深度神经网络，可以学习复杂的数据分布和模式，并且可以高效准确地建模不确定性。分布鲁棒机会约束规划考虑了不确定参数的模糊概率分布。为了解决计算上的挑战，采用样本平均近似方法，所需的数据样本由GAN通过可微网络以端到端的方式生成。然后将该框架应用于需求不确定条件下的供应链优化问题。所提出的方法的适用性说明通过一个县一级的空间明确的生物燃料供应链在伊利诺伊州的案例研究。
2020-02-28 cs.LG math.OC stat.ML
Reconstruction of turbulent data with deep generative models for semantic inpainting from TURB-Rot database
Istituto Italiano di Tecnologia（意大利理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们研究了计算机视觉社区开发的用于特征学习和语义图像修复的工具的适用性，以执行流体湍流配置的数据重建。目的有两个。首先，我们在定量的基础上探索了嵌入深度生成对抗模型（Deep-GAN）的卷积神经网络在湍流（一种典型的高维混沌系统）中生成缺失数据的能力。特别是，我们调查他们在重建二维损坏的快照中提取的一个大型数据库中的三维湍流的数值配置中存在的旋转，多尺度随机功能的情况下，大规模的有组织的结构和小规模的高度间歇性和非高斯波动。其次，遵循逆向工程方法，我们的目标是根据其定性和定量重要性对输入流属性（特征）进行排名，以获得更好的重建场集。我们提出了两种基于上下文编码器的方法。第一个通过L2像素重建损失的最小化加上小的对抗性惩罚来推断缺失数据。第二个搜索从先前训练的生成器的损坏的流配置的最接近的编码。最后，我们提出了一个不同的数据同化工具，Nudging，方程知情的无偏协议，众所周知的数值天气预报社区的基础上进行比较。TURB-Rot数据库http://smart-turb.roma2.infn.it发布了大约300 K的2d湍流图像，并提供了如何下载它的详细信息。
2021-06-14 cond-mat.stat-mech cs.CV cs.LG
