Reward-guided Fine-Tuning of One-Step Generative Models via Wasserstein Gradient Flow
Sungkyunkwan University（成均馆大学）；Korea Institute for Advanced Study（韩国高等研究院）
针对单步生成模型奖励引导微调未被充分探索的问题，本文从最优传输视角研究Wasserstein梯度流，提出无需奖励梯度的新型奖励引导微调方法，在多数据集多奖励任务上实现了更优奖励对齐效果。
2026-09-01 cs.LG
Spend Search Where It Pays: Value-Guided Structured Sampling and Optimization for Generative Recommendation
Tencent Inc., China（腾讯公司，中国）
V-STAR通过价值引导的结构采样和树状优势强化框架，提升生成推荐系统的探索效率和RL学习效果。
2026-02-12 cs.AI cs.LG
Generating images from caption and vice versa via CLIP-Guided Generative Latent Space Search
University of Pisa（比萨大学）
在这项研究工作中，我们提出了CLIP-GLaSS，一种新的zero-shot框架，以生成对应于给定的字幕（或图像）的图像（或字幕）。CLIP-GLaSS基于CLIP神经网络，给定图像和描述性标题，CLIP神经网络提供类似的嵌入。CLIP-GLaSS以字幕（或图像）为输入，并生成CLIP嵌入与输入图像最相似的图像（或字幕）。在通过遗传算法进行探索之后，通过生成网络产生该最佳图像（或字幕）。基于图像生成器BigGAN和StyleGAN 2以及文本生成器GPT 2的实验，显示了有希望的结果
2021-10-01 cs.AI cs.LG cs.NE
Enhancing Interpretability in Generative Modeling: Statistically Disentangled Latent Spaces Guided by Generative Factors in Scientific Datasets
本文提出Aux-VAE架构，在标准VAE框架内通过辅助变量引入先验统计知识，以最小损失函数修改实现潜空间解耦，并在天文模拟等多个数据集上验证了其有效性。
2025-06-30 cs.LG stat.ML
Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework
Imperial College London（帝国理工学院）；University of Coimbra（科英布拉大学）
该研究提出谱引导的质量-多样性扩散框架，将质量-多样性优化与扩散模型结合，通过h空间谱变异算子提升输出多样性，在文本到图像生成任务上的FID分数优于12个基线方法，实现了图像质量与多样性的良好平衡。
2026-10-14 cs.AI cs.LG
K-TRAIL: Simulator-Guided Generative Design of EM/RF Circuits
Oregon State University（俄勒冈州立大学）；Yale University（耶鲁大学）
针对射频/电磁电路逆向设计难、仿真昂贵的问题，提出K-TRAIL模拟器引导生成框架，结合扩散模型与集成卡尔曼引导，无需梯度即可优化布局，实验证明能改善目标响应一致性并发现多样可行设计。
2026-09-22 cs.LG
Physics guided deep learning generative models for crystal materials discovery
University of South Carolina（南卡罗来纳大学）
基于深度学习的生成模型，如deepfake，已经能够生成令人惊叹的图像和视频。然而，这些模型在应用于生成晶体材料结构时可能需要显著的变换，其中构建块、物理原子与像素非常不同。自然转移的生成模型倾向于生成大部分物理上不可行的晶体结构，这些晶体结构不稳定或不可合成。在本文中，我们表明，通过利用和添加面向物理的数据增强，损失函数项和后处理，我们基于深度对抗网络（GAN）的生成模型现在可以生成具有更高物理可行性的晶体结构，并扩展我们以前只能创建立方结构的模型。
2021-12-07 cond-mat.mtrl-sci cs.LG
Generative method for aerodynamic optimization based on classifier-free guided denoising diffusion probabilistic model
School of Management, Hefei University of Technology（合肥工业大学管理学院）
本文提出基于无分类器引导去噪扩散概率模型（CDDPM）的翼型逆向设计框架，通过捕捉性能指标相关性并生成压力系数分布，相比Wasserstein生成对抗网络方法精度提升33.6%，并结合全局优化与主动学习策略提供合理的性能指标组合。
2025-03-10 cs.AI cs.LG
Planning with Language and Generative Models: Toward General Reward-Guided Wireless Network Design
University of Sheffield（谢菲尔德大学）；University College London（伦敦大学学院）
本文提出基于统一奖励函数的扩散生成模型，用于高效解决室内无线网络接入点部署问题，通过大规模数据训练提升泛化能力与鲁棒性。
2026-01-30 cs.LG
PAGER: Progressive Attribute-Guided Extendable Robust Image Generation
University of Southern California（南加州大学）
本文提出了一种基于连续子空间学习的生成式建模方法。与文献中的大多数生成模型不同，我们的方法不利用神经网络来分析潜在的源分布和合成图像。由此产生的方法，称为渐进属性引导的可扩展的鲁棒图像生成（PAGER）模型，具有数学透明性，渐进的内容生成，较低的训练时间，更少的训练样本的鲁棒性能，和条件图像生成的可扩展性的优势。PAGER由三个模块组成：核心生成器，分辨率增强器和质量增强器。核心生成器学习低分辨率图像的分布并执行无条件图像生成。分辨率增强器通过条件生成来增加图像分辨率。最后，质量提升器为生成的图像添加更精细的细节。在MNIST、Fashion-MNIST和CelebA数据集上进行了广泛的实验，以证明PAGER的生成性能。
2022-08-23 cs.AI cs.CV cs.LG
Physics-guided generative adversarial network to learn physical models
The University of Tokyo（东京大学）
本文提出物理引导生成对抗网络PG-GAN，利用GAN架构和物理方程判别网络输出是否符合物理，以克服PINN需内嵌方程残差且残差难收敛的问题，并在简单问题上验证其可用性。
2023-04-22 cs.LG physics.comp-ph
Physics-informed Guided Disentanglement in Generative Networks
Inria（法国国家信息与自动化研究所）；Vislab Ambarella（安霸视觉实验室）
针对图像到图像翻译中物理现象导致的特征纠缠问题，提出由可微或不可微物理模型及神经网络引导的通用解耦框架，显著提升多场景翻译质量与可控性。
2023-04-27 cs.AI cs.CV cs.LG
Guided Flows for Generative Modeling and Decision Making
FAIR, Meta（Meta 基础人工智能研究院）；Weizmann Institute of Science（魏茨曼科学研究所）；UCLA（加州大学洛杉矶分校）
本文将无分类器引导引入 Flow Matching 模型形成 Guided Flows，在图像生成、零样本文本转语音及离线强化学习计划生成中实现最先进或可比性能，并较扩散模型获得10倍计算加速。
2023-12-07 cs.AI cs.CV cs.LG
Task-Specific Generative Dataset Distillation with Difficulty-Guided Sampling
The University of Tokyo（东京大学）；University of Toronto（多伦多大学）
本文针对分类任务提出一种难度引导的任务特定采样策略用于生成式数据集蒸馏，通过匹配原始数据集的难度分布并辅以对数变换校正偏差，实验证明其能有效提升下游任务性能。
2025-07-17 cs.AI cs.CV cs.LG
Prompt Evolution for Generative AI: A Classifier-Guided Approach
School of Computer Science and Engineering (SCSE), Nanyang Technological University (NTU), Singapore（计算机科学与工程学院，南洋理工大学）；Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR), Singapore（前沿人工智能研究中心，科技研究局）；Singapore Institute of Manufacturing Technology (SIMTech), Agency for Science, Technology and Research (A*STAR), Singapore（新加坡制造技术研究所，科技研究局）
本文提出基于分类器的提示进化方法，通过在生成过程中引入进化选择压力和变异，生成更符合用户需求的多样化图像。
2026-04-14 cs.AI cs.CV cs.LG
FoleyGAN: Visually Guided Generative Adversarial Network-Based Synchronous Sound Generation in Silent Videos
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
基于深度学习的视觉到声音生成系统本质上需要开发，特别是考虑到视觉和音频特征随时间的同步性方面。在这项研究中，我们引入了一个新的任务，指导类条件生成对抗网络的时间视觉信息的视频输入的视觉到声音生成任务适应视听模态之间的同步性特征。我们提出的FoleyGAN模型能够调节视觉事件的动作序列，从而产生视觉上对齐的逼真音轨。我们扩展了我们之前提出的自动Foley数据集，以使用FoleyGAN进行训练，并通过人类调查评估我们的合成声音，该调查显示出值得注意的（平均81%）视听同步性能。与其他基线模型和视听数据集相比，我们的方法在统计实验中也表现出色。
2021-07-20 cs.AI cs.CV cs.LG
FlowQ: Energy-Guided Flow Policies for Offline Reinforcement Learning
Machine Learning Research Lab, Volkswagen Group（大众集团机器学习研究实验室）；Technical University of Munich（慕尼黑技术大学）；Foundation Robotics Labs, Munich（慕尼黑基础机器人实验室）；Eötvös Loránd University（劳尔·艾尔多迪大学）
针对离线强化学习场景，提出基于能量引导流匹配的FlowQ算法，通过近似高斯路径学习条件速度场，在取得有竞争力性能的同时实现训练时间与流采样步数无关。
2025-05-20 cs.AI cs.LG cs.RO
Physics Guided Deep Learning for Generative Design of Crystal Materials with Symmetry Constraints
University of South Carolina（南卡罗来纳大学）；University of Colombo（科伦坡大学）
发现新材料是材料科学的一项具有挑战性的任务，对人类社会的进步至关重要。传统的基于实验和模拟的方法是劳动密集型的或昂贵的，成功很大程度上取决于专家的启发式知识。在这里，我们提出了一个基于深度学习的物理引导晶体生成模型（PGCGM），用于具有高度结构多样性和对称性的高效晶体材料设计。与最新的结构生成器之一FTCP相比，我们的模型将生成有效性提高了700%以上，与我们以前的CubicGAN模型相比，提高了45%以上。密度泛函理论（DFT）计算用于验证生成的结构，其中2，000种材料中的1，869种材料被成功优化并存入Carolina材料数据库\url{www.carolinamatdb.org}，其中39.6%具有负形成能，5.3%具有低于0.25 eV/atom的壳上能量，表明它们的热力学稳定性和潜在的可合成性。
2022-12-13 cond-mat.mtrl-sci cs.LG
Kernel-Guided Training of Implicit Generative Models with Stability Guarantees
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）
现代隐式生成模型，如生成对抗网络（GANs），通常存在不稳定、不可解释性和难以评估其性能等问题。如果我们将这些隐式模型视为动力系统，那么其中一些问题是由于在训练过程中无法以有意义的方式控制其行为而引起的。在这项工作中，我们提出了一种理论基础的方法来指导GANs的训练轨迹，通过使用基于内核的正则化项来增强GAN损失函数，该正则化项控制模型与真实分布之间的局部和全局差异。这个控制信号允许我们将先验知识注入模型。我们提供的动力系统的稳定性的理论保证，并通过广泛的实验证明它的不同方面。
2019-11-06 cs.LG stat.ML
Beyond Generative Priors: Minority Sampling with JEPA-Guided Diffusion
Department of Artificial Intelligence, Kookmin University, Seoul, South Korea（人工智能系，韩国全州大学，首尔）
提出一种基于世界模型JEPA引导的扩散采样框架，通过近似策略实现高效计算，在无条件、类别条件和文本到图像生成中提升少数样本的保真度和语义有效性。
2026-05-23 cs.AI cs.CV cs.LG
On the Regularity and Generalization of One-Step Wasserstein-guided Generative Models for PDE-Induced Measures
Department of Mathematics, The University of Hong Kong（香港大学数学系）；Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University（南洋理工大学数学科学系）；Department of Mathematics, University of California at Irvine（加州大学 Irvine 分校数学系）
本文研究了一步Wasserstein引导生成模型在处理PDE诱导概率度量时的正则性和泛化性，通过理论框架证明了运输映射的正则性和生成模型的泛化性质，并通过实验验证了理论结果。
2026-05-20 cs.AI cs.LG cs.NA
Logic-Guided Vector Fields for Constrained Generative Modeling
Rochester Institute of Technology（罗切斯特理工学院）
提出逻辑引导向量场（LGVF）框架，通过可微逻辑约束松弛注入流匹配生成模型，结合训练时逻辑损失和推理时梯度调整，在三个约束生成案例中减少59-82%的约束违反。
2026-05-22 cs.LG
Score-Guided Generative Adversarial Networks
College of Engineering（工程学院）；Korea University（高丽大学）；School of Electrical Engineering（电气工程学院）
我们提出了一种生成对抗网络（GAN），它使用预先训练的网络引入了评估器模块。所提出的模型，称为分数引导的GAN（ScoreGAN），是用GANs的评估度量来训练的，即，Inception评分，作为训练生成器的粗略指南。通过使用另一个预先训练的网络而不是Inception网络，ScoreGAN规避了Inception网络的过拟合，以便生成的样本不对应于Inception网络的对抗性示例。此外，为了防止过拟合，评价指标仅作为辅助作用，而主要使用GANs的常规目标。使用CIFAR-10数据集进行评估，ScoreGAN的Inception评分为10.36 $\pm$ 0.15，这相当于最先进的性能。此外，为了概括ScoreGAN的有效性，使用另一个数据集进一步评估了该模型，即，CIFAR-100;因此，ScoreGAN优于其他现有方法，其中Fréchet Inception Distance（FID）为13.98。
2020-05-27 cs.CV cs.LG eess.IV
Particle-Guided Diffusion Models for Partial Differential Equations
Department of Computer and Information Science, Linköping University, Linköping, Sweden（计算机与信息科学系，林雪平大学，林雪平，瑞典）
提出一种粒子引导的随机采样方法，结合扩散模型与基于PDE残差和观测约束的物理引导，通过序贯蒙特卡洛框架实现可扩展的生成式PDE求解器，在多个基准和多物理场系统中数值误差低于现有方法。
2026-05-27 cs.LG
Kernel-Guided Training of Implicit Generative Models with Stability Guarantees
现代隐式生成模型，如生成对抗网络（GANs），通常存在不稳定、不可解释性和难以评估其性能等问题。如果我们将这些隐式模型视为动力系统，那么其中一些问题是由于在训练过程中无法以有意义的方式控制其行为而引起的。在这项工作中，我们提出了一种理论上有基础的方法来指导GANs的训练轨迹，方法是用基于内核的正则化项来增强GAN损失函数，该正则化项控制模型与真实分布之间的局部和全局差异。这个控制信号允许我们将先验知识注入模型。我们提供的动力系统的稳定性的理论保证，并通过广泛的实验证明它的不同方面。
2019-11-03 cs.LG math.DS stat.ML
Recomposer: Event-roll-guided generative audio editing
针对复杂真实声音场景中声源重叠难编辑的问题，提出Recomposer系统，结合文本编辑描述与event roll时序图形，基于SoundStream表示的编码器-解码器Transformer实现声音事件的删除、插入与增强，验证了编辑描述各部分的重要性，证明音频重组的实用价值。
2025-09-05 cs.AI cs.LG cs.SD
Reinforcement-guided generative protein language models enable de novo design of highly diverse AAV capsids
LASIGE, Faculdade de Ciências da Universidade de Lisboa（里斯本大学科学学院LASIGE实验室）；BioISI, Faculdade de Ciências da Universidade de Lisboa（里斯本大学科学学院BioISI实验室）；iBET – Instituto de Biologia Experimental e Tecnológica（生物实验与技术研究所）
本文提出基于蛋白质语言模型和强化学习的生成设计框架，用于从头设计高多样性的AAV衣壳，通过强化学习引导序列生成，提升序列空间探索能力。
2026-03-19 cs.LG q-bio.BM
Guided Sequence-Structure Generative Modeling for Iterative Antibody Optimization
BigHat Biosciences（BigHat生物技术公司）；University of Washington（华盛顿大学）
本文提出一种结合序列-结构扩散生成模型与实验数据引导采样的迭代抗体优化方法，可在多轮优化中高效产生高亲和力抗体。
2025-09-19 cs.LG
AttentionGAN: Unpaired Image-to-Image Translation using Attention-Guided Generative Adversarial Networks
ETH Zurich（苏黎世联邦理工学院）；Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；Hong Kong University of Sciences and Technology (HKUST)（香港科技大学）；University of Oxford（牛津大学）；University of Trento（特伦托大学）
图像到图像转换中的现有技术方法能够利用未配对的图像数据学习从源域到目标域的映射。虽然现有的方法已经取得了可喜的成果，他们仍然产生视觉伪影，能够翻译低层次的信息，但不能输入图像的高层语义。一个可能的原因是生成器没有能力感知源域和目标域之间最有区别的部分，从而使得生成的图像质量低。在本文中，我们提出了一个新的注意引导生成对抗网络（AttentionGAN）的不成对的图像到图像的翻译任务。AttentionGAN可以识别最具区分力的前景对象，并最大限度地减少背景的变化。AttentionGAN中的注意力引导生成器能够生成注意力掩码，然后将生成输出与注意力掩码融合，以获得高质量的目标图像。相应地，我们还设计了一种新的注意力引导算法，它只考虑关注区域。在8个公共数据集上进行了大量的实验，结果表明，与现有的竞争模型相比，该方法可以有效地生成更清晰，更逼真的图像。该代码可在https://github.com/Ha0Tang/AttentionGAN上获得。
2021-08-16 cs.CV cs.LG eess.IV
Uncovering Physical Drivers of Dark Matter Halo Structures with Auxiliary-Variable-Guided Generative Models
Mathematics and Computer Science Division Argonne National Laboratory（阿贡国家实验室数学与计算机科学部）；High Energy Physics Division Argonne National Laboratory（阿贡国家实验室高能物理部）；Computational Science Division Argonne National Laboratory（阿贡国家实验室计算科学部）；Computational Science Center Data, Analysis and Visualization Group National Renewable Energy Laboratory（国家可再生能源实验室计算科学中心数据、分析与可视化组）
本文提出通过辅助变量引导生成模型解缠暗物质晕结构的潜在空间，揭示其物理驱动因素并提升天文数据的可解释性。
2026-02-26 cs.LG stat.ML
Enhancing Generative Molecular Design via Uncertainty-guided Fine-tuning of Variational Autoencoders
Texas A&M University（德克萨斯农工大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出了一种基于主动学习的模型不确定性引导微调方法，通过在变分自编码器参数的低维活跃子空间中量化不确定性并结合黑盒优化，有效提升了生成式分子设计在下游属性优化任务中的表现。
2024-05-31 cs.LG q-bio.BM q-bio.QM
Generative Learning of the Solution of Parametric Partial Differential Equations Using Guided Diffusion Models and Virtual Observations
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）
本文提出一种生成学习框架，通过梯度引导和虚拟观测建模高维参数系统，通过两个案例研究展示其在无结构网格和有结构网格上的有效性，减少计算成本，提高流体动力学预测效率。
2024-07-31 cs.LG physics.comp-ph physics.flu-dyn
GAUDA: Generative Adaptive Uncertainty-guided Diffusion-based Augmentation for Surgical Segmentation
Technical University Darmstadt（德累斯顿技术大学）；University Medical Center Mainz（马因茨大学医学中心）；University of Girona（加泰罗尼亚大学）
针对手术数据积累的伦理与监管限制及配对数据合成探索不足的问题，提出GAUDA方法，利用贝叶斯下游模型的认知不确定性进行在线自适应引导生成，有效提升了手术分割的IoU。
2025-01-18 cs.CV cs.LG
Generative Oversampling for Imbalanced Data via Majority-Guided VAE
University of Electronic Science and Technology of China（电子科技大学）；Huawei Technologies（华为技术有限公司）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Lab（鹏城实验室）
不平衡数据学习是深度学习中的一个挑战性问题。过采样是一种广泛使用的重新平衡训练数据的采样分布的技术。然而，现有的过采样方法大多只利用少数类的类内信息对数据进行扩充，而忽略了与多数类的类间关系，容易产生过拟合，尤其是当不平衡率较大时。为了解决这个问题，我们提出了一种新的过采样模型，称为多数导向VAE~（MGVAE），它产生新的少数样本的指导下，基于多数的先验。通过这种方式，新生成的少数样本可以继承多数样本的多样性和丰富性，从而减轻下游任务中的过拟合。此外，为了防止模型在有限的数据下崩溃，我们首先在足够多的多数样本上预训练MGVAE，然后基于少数样本进行弹性权重合并（EWC）正则化微调。在基准图像数据集和真实世界表格数据上的实验结果表明，MGVAE在下游分类任务中与其他过采样方法相比取得了有竞争力的改进，证明了该方法的有效性。
2023-02-14 cs.LG
OGGN: A Novel Generalized Oracle Guided Generative Architecture for Modelling Inverse Function of Artificial Neural Networks
IIT Madras（印度理工学院马德拉斯分校）
本文提出了一种新的生成式神经网络结构，用于对人工神经网络（ANN）的反函数进行完全或部分建模。对ANN的完整反函数进行建模涉及生成对应于所需输出的所有特征的值。另一方面，对反函数进行部分建模意味着生成特征子集的值并固定其余特征值。特征集生成是人工神经网络的关键步骤，在工程和科学的一些实际应用中非常有用。建议的Oracle引导生成神经网络，被称为OGGN，是灵活的，以处理各种特征生成问题。通常，ANN能够基于给定的特征向量预测目标值。OGGN架构使得能够在给定ANN的预定目标值的情况下生成特征向量。当生成的特征向量被馈送到前向ANN时，ANN预测的目标值将接近预定目标值。因此，OGGN架构能够映射、反函数的函数表示为前向人工神经网络。除此之外，本工作还有另一个重要贡献。本文还介绍了一类新的函数，定义为约束函数。约束函数使得神经网络能够在较长的时间段内研究给定的局部空间。因此，除了能够找到全局最优之外，还能够找到损失函数的局部最优。OGGN也可以适用于求解多变量的多项式方程组。在合成数据集上的实验验证了OGGN在各种用例上的有效性。
2021-04-08 cs.LG
Generator-Guided Inverse Sampling for Lévy-Driven Generative Models
University of Electronic Science and Technology of China（电子科技大学）；Hong Kong University of Science and Technology（香港科技大学）
本文针对Lévy驱动生成模型的非局域反向过程挑战，提出生成器引导的结构化逆采样器，将动力学分解为三类分量，结合神经网络与解析分布实现高效采样，在OFDM-SISO信道估计中表现出稳健性能与良好权衡。
2026-08-12 cs.LG
Energy-Guided Generative Modeling for Low-Energy Molecular Structure Discovery
School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
提出EnFlow，一种结合流生成模型与显式能量景观建模的能量引导框架，用于联合生成构象集合和识别基态结构，在极少采样步数下实现高保真度。
2026-05-22 cs.LG physics.chem-ph
Lightweight Generative Adversarial Networks for Text-Guided Image Manipulation
University of Oxford（牛津大学）；University of Hong Kong（香港大学）
我们提出了一种新的轻量级生成对抗网络，使用自然语言描述进行有效的图像操作。为了实现这一点，提出了一种新的词级训练器，它为生成器提供了词级的细粒度训练反馈，以便于训练具有少量参数的轻量级生成器，但仍然可以正确地关注图像的特定视觉属性，然后编辑它们而不会影响文本中未描述的其他内容。此外，由于与每个单词相关的显式训练信号，还可以简化训练器以具有轻量结构。与现有技术相比，我们的方法具有更少的参数，但仍然达到了有竞争力的操作性能。大量的实验结果表明，该方法能够更好地将不同的视觉属性分解，并正确地映射到相应的语义词，从而实现更精确的图像修改，并使用自然语言描述。
2020-10-23 cs.CL cs.CV cs.LG
LLM-Guided Ansätze Design for Quantum Circuit Born Machines in Financial Generative Modeling
Computer Science University of Tokyo Tokyo, Japan（计算机科学东京大学东京日本）
本研究提出利用大型语言模型生成硬件感知的量子电路玻恩机拟设，通过迭代反馈优化，在IBM量子硬件上实现更浅电路和更优金融生成性能。
2025-09-10 cs.LG quant-ph
Semantic-Guided Generative Image Augmentation Method with Diffusion Models for Image Classification
Harbin Institute of Technology（哈尔滨工业大学）
针对图像增强中多样性与语义一致性难以兼顾的问题，提出 SGID，利用扩散模型并以标签和描述引导生成增强图像，在多种骨干网络上提升分类性能。
2024-01-18 cs.CV cs.LG
Revision Matters: Generative Design Guided by Revision Edits
Google DeepMind（谷歌DeepMind）；Stanford University（斯坦福大学）
本文研究人类设计师修订编辑对多模态生成模型的指导作用，通过专家数据集微调Gemini骨干网络，发现人类修订能显著提升迭代布局优化效果，设计FID分数接近人类水平，而自我修订则导致退化。
2024-05-27 cs.AI cs.CV cs.HC
Gradient-Guided Exploration of Generative Model's Latent Space for Controlled Iris Image Augmentations
Fitzpatrick Hall of Engineering, University of Notre Dame, IN 46556, USA（北达科他大学工程学院384号大楼，印第安纳州，46556，美国）
本文提出通过梯度引导生成模型潜在空间来生成具有特定属性的同身份虹膜图像，以提升虹膜识别和对抗检测的鲁棒性。
2026-04-27 cs.CV cs.LG
SURGIN: SURrogate-guided Generative INversion for subsurface multiphase flow with quantified uncertainty
Department of Geotechnical Engineering, College of Civil Engineering, Tongji University（同济大学土木工程学院地质工程系）；Key Laboratory of Geotechnical and Underground Engineering of Ministry of Education, Tongji University（教育部同济大学地质与地下工程重点实验室）；Physical Science and Engineering Division, King Abdullah University of Science and Technology (KAUST)（卡布斯科学与技术大学（KAUST）物理科学与工程系）；State Key Laboratory of Marine Geology, Tongji University（同济大学海洋地质国家重点实验室）；Tencent SSV（腾讯SSV）；Tencent SD（腾讯SD）
提出代理引导生成反演框架SURGIN，结合U-FNO代理与基于分数的生成模型，实现零样本条件下未见监测数据的实时同化，为地下多相流反演建模与不确定性量化确立新范式。
2025-09-16 cs.LG physics.flu-dyn physics.geo-ph
Cycle In Cycle Generative Adversarial Networks for Keypoint-Guided Image Generation
University of Trento（特伦托大学）；University of Oxford（牛津大学）；Texas State University（得克萨斯州立大学）；EPFL（洛桑联邦理工学院）
在这项工作中，我们提出了一种新的循环中循环生成对抗网络（C $^2$ GAN）的关键点引导图像生成的任务。建议的C $^2$ GAN是一个跨模态的框架，探索联合开发的关键点和图像数据的交互方式。C $^2$ GAN包含两种不同类型的生成器，即，面向关键点生成器和面向图像生成器。它们都以端到端的可学习方式相互连接，并明确形成三个循环子网络，即，一个图像生成周期和两个关键点生成周期。每一个循环不仅旨在重建输入域，而且还产生有用的输出，涉及到另一个循环的生成。通过这样做，周期相互隐含地约束，这提供了来自两种不同模态的互补信息，并带来了跨周期的额外监督，从而促进了整个网络的更鲁棒的优化。在两个公开数据集上的广泛实验结果，即，Radboud Faces和Market-1501，表明我们的方法是有效的，以产生更逼真的图像相比，国家的最先进的模型。
2020-04-16 cs.CV cs.LG eess.IV
Guided Generative Adversarial Neural Network for Representation Learning and High Fidelity Audio Generation using Fewer Labelled Audio Data
University of Southern Queensland（南昆士兰大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
生成对抗神经网络（GANs）的最新改进已经显示出它们能够生成更高质量的样本，并学习用于迁移学习的良好表示。大多数基于GANs的表示学习方法学习表示，忽略了它们的使用后场景，这可能导致泛化能力的提高。但是，如果模型是用于特定任务的，它可能会变得多余。例如，假设我们有一个巨大的未标记的音频数据集，我们想从这个数据集中学习一个表示，这样它就可以用来提高一个小的标记音频数据集的情感识别性能。在表征学习训练过程中，如果模型不知道后情绪识别任务，它可以完全忽略学习表征中的情绪相关特征。这是任何无监督表示学习模型的根本挑战。在本文中，我们的目标是通过提出一种新的GAN框架来解决这一挑战：引导生成神经网络（GGAN），它引导GAN专注于学习所需的表示，并利用更少的标记样本为音频数据生成高质量的样本。实验结果表明，使用非常少量的标记数据作为指导，GGAN学习更好的表示。
2020-06-01 cs.LG cs.SD eess.AS
Pathway-Guided Optimization of Deep Generative Molecular Design Models for Cancer Therapy
Texas A&M University（德克萨斯农工大学）；Frederick National Laboratory for Cancer Research（弗雷德里克国家癌症研究所）；Leidos Biomedical Research（莱多斯生物医学研究所）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出利用微分方程描述的通路模型来优化JTVAE等生成分子设计模型的潜在空间，并通过药效动力学模型评估癌症治疗效果，以提升分子采样效率与药物特性。
2024-11-05 cs.LG q-bio.QM
A Residual Guided strategy with Generative Adversarial Networks in training Physics-Informed Transformer Networks
College of Science, China Agricultural University（中国农业大学理学院）；College of Information and Electrical Engineering, China Agricultural University（中国农业大学信息与电气工程学院）；College of Water Resources and Civil Engineering, China Agricultural University（中国农业大学水利与土木工程学院）
本文提出一种基于生成对抗网络的残差引导策略，用于改进物理信息变换器网络，通过自回归处理捕捉时间相关性，并动态识别高残差区域以提升准确性。
2026-04-02 cs.CE cs.LG physics.flu-dyn
Deep Learning of Dynamic Subsurface Flow via Theory-guided Generative Adversarial Network
Peking University（北京大学）；Southern University of Science and Technology（南方科技大学）；Peng Cheng Laboratory（鹏城实验室）
生成式对抗网络（GAN）由于其强大的学习复杂数据分布的能力，在图像识别、文本处理和科学计算等领域有着广泛的应用。在这项研究中，提出了一种理论指导的生成对抗网络（TgGAN）来求解动态偏微分方程（PDE）。与标准GANs不同，训练项不再是真实数据和生成的数据，而是它们的残差。此外，控制方程、其他物理约束和工程控制等理论被编码到生成器的损失函数中，以确保预测不仅遵守训练数据，而且遵守这些理论。TgGAN被提出用于具有非均匀模型参数的动态地下流，并且每个时间步的数据被处理为二维图像。在这项研究中，几个数值的情况下，介绍了测试的TgGAN的性能。TgGAN模型可以很容易地实现对未来响应的预测、无标签学习和噪声数据学习。文中还讨论了训练数据的个数和配点的影响。为了提高TgGAN的效率，还采用了迁移学习算法。数值结果表明，TgGAN模型对于动态偏微分方程的深度学习是鲁棒和可靠的。
2020-06-02 cs.LG eess.IV physics.geo-ph
GeoFunFlow-3D: A Physics-Guided Generative Flow Matching Framework for High-Fidelity 3D Aerodynamic Inference over Complex Geometries
School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学学院）
本文提出GeoFunFlow-3D框架，通过最优传输理论、高阶离散引擎和拓扑感知超分辨率模块，解决生成模型在物理一致性和高频特征保持中的挑战，提升三维空气动力学推断的精度与效率。
2026-04-25 cs.LG cs.NA math.NA
EGIC: Enhanced Low-Bit-Rate Generative Image Compression Guided by Semantic Segmentation
Technical University of Munich（慕尼黑工业大学）；University of Applied Sciences Landshut（兰茨胡特应用技术大学）；TU Wien（维也纳工业大学）
EGIC通过语义分割引导判别器和输出残差预测，实现单模型高效遍历失真-感知曲线，在低比特率下性能优于扩散和GAN方法，接近VTM-20.0。
2024-07-16 cs.CV cs.LG eess.IV
Augmented Normalizing Flows: Bridging the Gap Between Generative Flows and Latent Variable Models
Mila；Google（谷歌）；CIFAR
在这项工作中，我们提出了一个新的家庭的生成流的增强数据空间，目的是提高表现力，而不会大幅增加计算成本的采样和评估的下限的可能性。理论上，我们证明了所提出的流可以近似一个哈密顿常微分方程作为一个普遍的运输映射。根据经验，我们在基于流的生成式建模的标准基准上展示了最先进的性能。
2020-02-17 cs.LG stat.ML
Semantic Encoder Guided Generative Adversarial Face Ultra-Resolution Network
Lakehead University（湖首大学）；Western University（韦仕敦大学）；Okanagan College（奥肯那根学院）；Hunan Normal University（湖南师范大学）；Tianjin University（天津大学）；The University of British Columbia Okanagan（不列颠哥伦比亚大学奥肯那根分校）
人脸超分辨率是一种特定领域的图像超分辨率，其目的是从低分辨率（LR）人脸图像生成高分辨率（HR）人脸图像。在本文中，我们提出了一种新的人脸超分辨率方法，即语义编码器引导的生成对抗人脸超分辨率网络（SEGA-FURN），用于将未对齐的微小LR人脸图像超分辨率为具有多个超放大因子（例如，4x和8x）。所提出的网络由一个新型的语义编码器和一个新型的生成器组成，该语义编码器能够捕获嵌入的语义来指导对抗性学习，该生成器使用一个名为内部密集块残差（RIDB）的分层架构。此外，我们提出了一个联合判别图像数据和嵌入的语义。联合神经网络学习图像空间和潜在空间的联合概率分布。我们还使用相对论平均最小二乘损失（RaLS）作为对抗性损失，以减轻梯度消失问题并增强训练过程的稳定性。在大规模人脸数据集上的大量实验证明，该方法可以获得优异的超分辨率结果，在定性和定量比较中均明显优于其他最先进的方法。
2023-01-03 cs.CV cs.LG eess.IV
Local Class-Specific and Global Image-Level Generative Adversarial Networks for Semantic-Guided Scene Generation
University of Trento（特伦托大学）；University of Oxford（牛津大学）；Texas State University（德克萨斯州立大学）；Huawei Research Ireland（华为爱尔兰研究院）
在本文中，我们解决的任务语义引导场景生成。场景生成中的一个公开挑战是难以生成小物体和详细的局部纹理，这在全局图像级生成方法中已被广泛观察到。为了解决这个问题，在这项工作中，我们考虑在本地上下文中学习场景生成，并相应地设计了一个本地类特定的生成网络，以语义映射为指导，单独构建和学习子生成器集中在不同的类的生成，并能够提供更多的场景细节。为了学习更多的判别类特定的特征表示的本地生成，还提出了一种新的分类模块。为了结合全局图像级和局部类别级生成的优点，设计了一种具有注意力融合模块和双隐层结构的联合生成网络。在两个场景图像生成任务上的大量实验表明，该模型具有优越的生成性能。在这两项任务和具有挑战性的公共基准方面，都取得了很大的进步。源代码和训练模型可在https://github.com/Ha0Tang/LGGAN上获得。
2020-03-31 cs.CV cs.LG eess.IV
Operator-Guided Model Reduction for Generative Sampling in Lattice Field Theory
Johannes Gutenberg University Mainz（杰尼森-古腾堡大学马因茨）
本文研究训练后的晶格采样器的运算谱特性，通过投影到固定基底来区分不同采样器类别，发现不同基底对残差的影响差异。
2026-09-01 cs.LG hep-lat
