GeMM-GAN: A Multimodal Generative Model Conditioned on Histopathology Images and Clinical Descriptions for Gene Expression Profile Generation
GeMM-GAN通过结合图像和文本信息生成逼真的基因表达谱,提升疾病预测准确性。
2026-01-21 cs.AI cs.CV cs.LG
Learning Generative Models with Goal-conditioned Reinforcement Learning
Inria(法国国家信息与自动化研究所);ENS Lyon(里昂高等师范学院)
我们提出了一个新的,替代框架学习生成模型与目标条件强化学习。我们定义了两个代理,一个目标条件代理(GC-代理)和一个监督代理(S-代理)。给定一个用户输入的初始状态,GC代理学习重建训练集。在这种情况下,训练集中的元素就是目标。在训练过程中,S-agent学习模仿GC-agent,同时保持对目标的不可知性。在推理时,我们用S-代理生成新的样本。按照类似的路线,在变分自动编码器,我们推导出一个上界的负对数似然,包括重建项和GC-代理政策和(目标不可知的)S-代理政策之间的分歧。我们的经验表明,我们的方法是能够生成多样化和高质量的图像合成任务的样本。
2023-03-26 cs.LG stat.ML
Partially Conditioned Generative Adversarial Networks
University of Leeds(利兹大学);KU Leuven(鲁汶大学);UZ Leuven(鲁汶大学医院)
生成模型无疑是人工智能领域的一个热门话题,其中最常见的类型是生成对抗网络(GANs)。这些架构通过隐式地对真实世界训练数据集的潜在概率分布进行建模来合成人工数据集。随着条件GANs及其变体的引入,这些方法被扩展到生成以数据集中每个样本可用的辅助信息为条件的样本。然而,从实际的角度来看,人们可能希望生成以部分信息为条件的数据。也就是说,在合成数据时,可能只对辅助条件变量的子集感兴趣。在这项工作中,我们认为标准的条件GANs不适合这样的任务,并提出了一种新的对抗网络架构和训练策略来处理随之而来的问题。实验表明,该方法的价值在数字和人脸图像合成部分条件下的信息,所提出的方法可以有效地优于标准的方法在这些情况下。
2020-07-06 cs.LG stat.ML
LIC-GAN: Language Information Conditioned Graph Generative GAN Model
Carnegie Mellon University(卡内基梅隆大学)
本研究提出语言信息条件化的图生成GAN模型LIC-GAN,以自然语言查询为输入生成匹配图,结合奖励网络优化属性,性能与ChatGPT相当且具备一定鲁棒性。
2023-06-02 cs.AI cs.CL cs.LG
Age-Conditioned Synthesis of Pediatric Computed Tomography with Auxiliary Classifier Generative Adversarial Networks
Marquette University(马凯特大学)
深度学习是计算机断层扫描(CT)图像处理(如器官分割)中流行且功能强大的工具,但其对大型训练数据集的要求仍然是一个挑战。尽管儿童在成长过程中存在很大的解剖变异性,但由于对儿童的辐射风险,儿科CT扫描的训练数据集尤其难以获得。在本文中,我们提出了一种方法,有条件地合成逼真的儿科CT图像,使用一个新的辅助分类器生成对抗网络(ACGAN)架构,考虑到年龄信息。所提出的网络生成年龄调节的高分辨率CT图像,以丰富儿科训练数据集。
2020-01-31 cs.CV cs.LG eess.IV
Learning to Generate Time Series Conditioned Graphs with Generative Adversarial Nets
Xidian University(西安电子科技大学)
针对现有图生成方法缺乏节点级语义上下文条件的问题,本文提出TSGG-GAN模型,实现以多变量时间序列为条件生成对应关系图,经合成与真实基因调控网络实验验证了其有效性与泛化性。
2023-08-27 cs.LG cs.SI stat.ML
Generative Adversarial Forests for Better Conditioned Adversarial Learning
Monash University(莫纳什大学);ARC Centre of Excellence for Robotic Vision(澳大利亚研究理事会机器人视觉卓越中心)
近年来,各种视觉相关任务的许多突破都围绕着改进深度模型的学习;这些方法从网络架构改进(如残差网络)到各种形式的正则化(如批量归一化)。从本质上讲,这些技术中的许多都围绕着更好的条件反射,允许成功地学习越来越深的模型。在本文中,我们期待在无监督学习环境中更好地调节生成对抗网络(GANs)。我们的方法嵌入到GAN的神经网络的决策森林的强大的鉴别能力。这导致了一个更好的条件模型,它以非常稳定的方式学习。我们展示了实证结果,这些结果显示了我们方法有效性的明确定性和定量证据,在Oxford Flowers和Aligned Celebrity Faces数据集上,与几种流行的基于GAN的方法相比,获得了显着的性能改进。
2018-05-14 cs.LG stat.ML
A Generative Car-following Model Conditioned On Driving Styles
City University of Hong Kong(香港城市大学);The University of Queensland(昆士兰大学);University of Victoria(维多利亚大学)
提出一种生成式混合跟驰模型,利用时变参数的IDM准确捕捉动态跟驰行为,并结合神经过程(NP)模型为已知及未知驾驶风格生成逼真跟驰行为,通过校准、预测和仿真实验验证了其有效性。
2021-12-10 cs.AI cs.LG
Parameter-Conditioned Sequential Generative Modeling of Fluid Flows
Stanford University(斯坦福大学);Texas A & M University(德克萨斯农工大学)
与模拟流体流动相关联的计算成本可能使得在多个流动条件下运行许多模拟是不可行的。基于生成式建模的概念,我们引入了一种新的方法来学习神经网络模型,能够对流体流动进行有效的参数化模拟。评估其模拟二维和三维流体流动的能力,训练的模型被证明可以在各种流动条件下捕获流场的局部和全局特性。此外,由训练模型生成的流动模拟被示出为比相应的计算流体动力学模拟快几个数量级。
2019-12-14 cs.LG physics.comp-ph stat.ML
Harmonic Self-Conditioned Flow Matching for Multi-Ligand Docking and Binding Site Design
Massachusetts Institute of Technology(麻省理工学院);CSAIL(计算机科学与人工智能实验室)
本文提出基于自条件流匹配的HarmonicFlow模型用于3D蛋白质-配体结合结构生成,并扩展出FlowSite联合生成口袋残基与分子结构,在多配体对接与结合位点设计任务上显著优于基线方法。
2024-05-30 cs.AI cs.LG
Text-Conditioned Sampling Framework for Text-to-Image Generation with Masked Generative Models
KAIST(韩国科学技术院);Yonsei University(延世大学);NAVER AI Lab(NAVER人工智能实验室)
针对基于token的掩码生成模型并行采样未考虑token依赖的问题,提出文本条件采样框架TCTS及频率自适应采样策略FAS,显著提升了图像质量与图文对齐度,并将推理时间减少50%以上。
2023-04-04 cs.CL cs.CV cs.LG
Beyond Sequential Prediction: Learning Financial Market Dynamics in Volatile and Non-Stationary Environments through Sentiment-Conditioned Generative Modelling
Department of Mechanical Engineering and Aeronautics, University of Patras(帕特拉斯大学机械工程与航空系);FICC Market Risk, BNP Paribas CIB(BNP巴黎银行投行部市场风险部)
本文提出一种集成上下文对抗学习模型,结合生成对抗网络与自然语言处理获取的文本情感信息,提升股票价格预测的可靠性,实验证明其优于传统ARIMA和LSTM模型。
2026-05-04 cs.LG q-fin.ST
Accelerating Redshift-Conditioned Galaxy Image Synthesis with One-step Generative Modeling
The Center for Computational Science(计算科学中心);University College London(伦敦大学学院);Cavendish Laboratory(卡文迪许实验室);Kavli Institute for Cosmology University of Cambridge(剑桥大学卡文迪许宇宙研究所)
本文研究了利用扩散模型和像素MeanFlow实现高效红移条件下的星系图像生成,通过对比不同模型在GalaxiesML-64数据集上的表现,发现一步生成模型在计算成本大幅降低的情况下能有效恢复星系形态统计信息,为大规模宇宙巡天和基于模拟的科学推断提供了新路径。
2026-05-17 astro-ph.GA astro-ph.IM cs.LG
A Biophysically-Conditioned Generative Framework for 3D Brain Tumor MRI Synthesis
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Imperial College London(伦敦帝国学院)
本文提出了一种基于生物物理条件的生成框架,用于生成高保真的3D脑肿瘤MRI,通过条件生成模型实现肿瘤合成和健康组织修复,实验结果显示在PSNR指标上取得良好效果。
2025-12-08 cs.CV cs.LG eess.IV
EnzyPGM: Pocket-conditioned Generative Model for Substrate-specific Enzyme Design
University of Science and Technology of China(中国科学技术大学);Nanjing University(南京大学);Anhui University(安徽大学);Shandong University(山东大学)
EnzyPGM通过联合生成酶和底物结合口袋,实现了对底物特异性酶设计的高效建模,提升了催化环境的精确性。
2026-01-27 cs.AI cs.LG q-bio.BM
CoCoGen: Physically-Consistent and Conditioned Score-based Generative Models for Forward and Inverse Problems
University of Michigan(密歇根大学);Michigan Institute for Computational Discovery & Engineering(密歇根计算发现与工程研究所)
本文提出CoCoGen框架,将离散化物理信息融入基于分数的生成模型,实现物理一致的样本生成,并利用条件模型与冻结的无条件模型结合,高效求解PDE正问题和反问题。
2024-10-20 cs.LG
Range-GAN: Range-Constrained Generative Adversarial Network for Conditioned Design Synthesis
Massachusetts Institute of Technology(麻省理工学院);Siemens Technology(西门子技术公司)
典型的工程设计任务需要努力迭代地修改设计,直到它们满足某些约束,即,性能或属性要求。过去的工作已经提出了解决逆向设计问题的方法,其中所需的设计直接从指定的要求生成,从而避免了试错过程。在这些方法中,条件深度生成模型显示出巨大的潜力,因为1)它适用于复杂的高维设计,2)它可以在任何条件下生成多个备选设计。在这项工作中,我们提出了一个有条件的深度生成模型,范围GAN,以实现自动设计综合受范围约束。该模型通过引入标签感知的自增强方法解决了数据驱动反设计问题中的稀疏条件问题。我们还提出了一个新的均匀性损失,以确保生成的设计均匀地覆盖给定的要求范围。通过一个真实世界的约束三维形状生成的例子,我们表明,标签感知的自我增强导致的约束满足的平均提高14%的3D形状,和均匀性损失导致的均匀性的125%的平均增加生成的形状的属性。这项工作奠定了基础,数据驱动的反设计问题,我们考虑范围的限制,并有稀疏的区域条件空间。
2021-03-10 cs.LG
DLT: Conditioned layout generation with Joint Discrete-Continuous Diffusion Layout Transformer
生成视觉布局是图形设计的一个重要组成部分。对于涉及用户交互的实际应用程序来说,根据组件属性的部分子集来调节布局生成的能力是至关重要的。近年来,扩散模型已在多个领域显示出高质量的生成性能。然而,目前还不清楚如何将扩散模型应用于由离散(类)和连续(位置,大小)属性的混合组成的布局的自然表示。为了解决条件布局生成问题,我们引入DLT,一个联合离散-连续扩散模型。DLT是一种基于transformer的模型,它具有灵活的调节机制,允许对所有布局组件类、位置和大小的任何给定子集进行调节。我们的方法在不同的度量和条件设置方面优于各种布局生成数据集上的最先进的生成模型。此外,我们验证了我们提出的条件反射机制和联合连续扩散过程的有效性。这种联合过程可以被纳入到广泛的混合离散-连续生成任务中。
2023-03-07 cs.AI cs.CV cs.LG
Towards Time Series Generation Conditioned on Unstructured Natural Language
Graduate School of Information Science and Electrical Engineering(信息科学与电气工程研究生学校)
本文提出一种结合扩散模型与语言模型的新方法,实现基于非结构化自然语言的时间序列生成,并构建了包含63,010对数据的公开数据集,支持定制预测、数据增强等应用。
2025-06-28 cs.LG
Time-Conditioned Generative Modeling of Object-Centric Representations for Video Decomposition and Prediction
School of Computer Science, Fudan University(复旦大学计算机科学学院)
本文提出时间条件生成模型,通过Transformer与Slot Attention序列扩展增强物体和视角表示解耦,并利用高斯过程先验实现无视角标注的视频分解、遮挡物体完整形状重建和新视角预测。
2023-10-26 cs.CV cs.LG
Equivariant Shape-Conditioned Generation of 3D Molecules for Ligand-Based Drug Design
Massachusetts Institute of Technology(麻省理工学院)
基于形状的虚拟筛选被广泛用于基于配体的药物设计中,以搜索与已知配体相比具有相似的3D形状但新颖的2D化学结构的分子的化学库。3D深度生成模型有可能自动化这种对形状调节的3D化学空间的探索;然而,没有现有的模型可以可靠地生成采用特定形状(如已知结合姿势)的构象的有效药物样分子。我们介绍了一种新的多模态三维生成模型,使形状条件的三维分子设计等变编码分子的形状和变编码化学身份。我们通过使用具有启发式键合几何形状的基于自回归片段的生成来确保所生成分子的局部几何和化学有效性,从而允许模型优先考虑可旋转键的评分,以最好地将不断增长的构象结构与目标形状对齐。我们评估了我们的3D生成模型在药物设计相关的任务,包括化学多样的分子结构和形状约束的分子性质优化的形状调节生成,展示了它的实用性在虚拟筛选枚举库。
2022-10-06 cs.LG physics.chem-ph q-bio.BM
Zero-Shot Learning via Class-Conditioned Deep Generative Models
Department of Electrical and Computer Engineering, Duke University(杜克大学电气与计算机工程系);Department of Computer Science and Engineering, IIT Kanpur(印度理工学院坎普尔分校计算机科学与工程系);Department of Computer Science and Engineering, SUNY at Buffalo(纽约州立大学布法罗分校计算机科学与工程系)
我们提出了一个深度生成模型,用于学习预测训练时看不到的类。不像大多数现有的方法,这个问题,表示每个类作为一个点(通过语义嵌入),我们表示每个可见/不可见的类使用类特定的潜在空间分布,类属性的条件。我们使用这些潜在的空间分布作为一个监督变分自编码器(VAE),这也有利于学习高度歧视性的特征表示的输入之前。整个框架仅使用所见的类训练数据进行端到端学习。该模型通过最大化VAE下限来推断测试图像的相应属性;推断的属性可以链接到训练时未看到的标签。我们进一步将我们的模型扩展到(1)通过无监督学习模块利用未标记的未看到类数据的半监督/转导设置,以及(2)少样本学习,其中我们也有少量来自未看到类的标记输入。我们比较了我们的模型与几个国家的最先进的方法,通过一组全面的实验在各种基准数据集。
2017-11-19 cs.CV cs.LG
PixelTransformer: Sample Conditioned Signal Generation
Facebook AI Research(Facebook人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种生成模型,可以推断出稀疏样本条件下的潜在空间信号的分布,例如,给出几个观察到的像素的似是而非的图像。与序列自回归生成模型相比,我们的模型允许对任意样本进行调节,并且可以回答任何位置的分布查询。我们在三个图像数据集上经验性地验证了我们的方法,并表明我们学会了生成多样化和有意义的样本,并且在观察到更多像素的情况下,分布方差减小。我们还表明,我们的方法适用于图像之外,并且可以生成其他类型的空间输出,例如多项式,3D形状和视频。
2021-03-29 cs.CV cs.LG
Self-Conditioned Generative Adversarial Networks for Image Editing
CFCS Peking University(北京大学前沿计算研究中心);Tel Aviv University(特拉维夫大学)
生成对抗网络(GANs)容易受到偏见的影响,无论是从不平衡的数据中学习,还是通过模式坍塌学习。这些网络专注于数据分布的核心,而将分布的尾部或边缘抛在后面。我们认为,这种偏见是负责不仅公平的问题,但它起着关键作用的潜在遍历编辑方法时,偏离分布的核心崩溃。基于这一观察结果,我们概述了一种通过自调节过程减轻生成偏差的方法,其中预训练生成器的潜在空间中的距离用于为数据提供初始标签。通过对从这些自标记数据中提取的重新采样分布进行微调,我们迫使生成器更好地应对罕见的语义属性,并能够更真实地生成这些属性。我们将我们的模型与各种潜在的编辑方法进行比较,并表明通过减轻偏见,它们可以通过更广泛的转换实现更精细的语义控制和更好的身份保护。我们的代码和模型将在https://github.com/yzliu567/sc-gan上提供
2022-02-08 cs.CV cs.GR cs.LG
Conditioned quantum-assisted deep generative surrogate for particle-calorimeter interactions
TRIUMF(TRIUMF(加拿大国家粒子加速器中心));Perimeter Institute for Theoretical Physics(圆周理论物理研究所);University of British Columbia(不列颠哥伦比亚大学);National Research Council(加拿大国家研究委员会);University of Virginia(弗吉尼亚大学)
针对LHC探测器模拟计算成本过高的问题,提出一种条件量子辅助深度生成模型,外部用条件VAE、潜在空间用条件RBM,并在D-Wave Advantage量子退火机上采样,引入磁通偏置条件化与自适应逆温度估计新方法,在CaloChallenge数据集上验证了有效性。
2024-12-18 cs.AI cs.LG hep-ph
LaVR: Scene Latent Conditioned Generative Video Trajectory Re-Rendering using Large 4D Reconstruction Models
Meta;University of Maryland(马里兰大学);University of Oxford(牛津大学);UC Davis(加州大学戴维斯分校)
本文提出LaVR模型,通过利用大规模4D重建模型的潜在空间中的隐式几何知识,解决视频重绘中几何未条件化模型的空间感知不足和几何条件化模型对深度不准确的依赖问题,实现状态-of-the-art结果。
2026-04-02 cs.CV cs.LG
SYNTHONY: A Stress-Aware, Intent-Conditioned Agent for Deep Tabular Generative Models Selection
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出SYNTHONY,一种基于意图的表格生成模型选择框架,通过压力分析选择最佳合成器,提升模型在不同数据分布下的性能和实用性。
2026-03-31 cs.LG stat.ML
Beam Enumeration: Probabilistic Explainability For Sample Efficient Self-conditioned Molecular Design
Institut des Sciences et Ingénierie Chimiques(化学科学与工程学院);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
提出 Beam Enumeration,从语言分子模型中枚举高概率子序列并结合强化学习实现自条件生成,同时增强可解释性、样本效率和高奖励分子产出。
2024-03-03 cs.LG q-bio.BM
Freehand Ultrasound Image Simulation with Spatially-Conditioned Generative Adversarial Networks
Centre for Medical Image Computing, University College London(伦敦大学学院医学图像计算中心);Institute of Biomedical Engineering, University of Oxford(牛津大学生物医学工程研究所);Department of Diagnostic Imaging, Royal Free London NHS Foundation Trust(伦敦皇家自由NHS基金会信托诊断影像科)
超声图像合成有着广泛的应用,包括医疗过程模拟、临床训练和多模态图像配准。在本文中,我们提出了一种基于条件生成对抗网络(GANs)的机器学习方法来模拟给定3D空间位置(相对于患者解剖结构)的超声图像。特别是,我们介绍了一种新的神经网络架构,可以采样解剖学上的准确图像有条件的(真实或模拟)徒手超声探头的空间位置。为了确保有效和高效的空间信息同化,所提出的空间调节GANs将全局物理空间中校准的像素坐标作为调节输入,并分别在GANs的搜索器和生成器中利用调节数据的残差网络单元和快捷方式。使用光学跟踪的B型超声图像,由经验丰富的超声医师在胎儿体模上采集,我们通过两组定量结果证明了所提出的方法的可行性:计算在保持出的超声图像中识别的相应解剖标志与网络看不到的相同位置处的模拟数据之间的距离;进行可用性研究以区分模拟数据和真实图像。总之,我们提出了我们认为是最先进的视觉逼真的超声图像,模拟所提出的GAN架构,是稳定的训练,并能够产生可接受的不同的图像样本。
2017-07-17 cs.CV cs.LG
Multi-Agent Regime-Conditioned Diffusion (MARCD) for CVaR-Constrained Portfolio Decisions
Ali Atiah Alzahrani †(独立研究者)
本文提出MARCD框架,结合机制条件扩散生成场景与凸CVaR分配器,通过尾部加权扩散目标和机制专家去噪器,在严格walk-forward测试中显著降低多资产ETF投资组合的回撤至9.3%,验证了决策感知生成建模在金融中的价值。
2025-11-03 cs.LG q-fin.CP
KPI-Conditioned Generative Design of Automotive Hood Inner Panels: A Two-Stage Retrieval-Generation Pipeline with Surrogate-Based Performance Estimation
本研究提出一种基于代理模型性能估计的两阶段检索-生成流水线,用于解决汽车引擎盖内板满足KPI要求的逆向设计问题,该流水线基于公开资源构建并作为交互式工具部署,揭示了代理模型误差与类内信号比值对流水线有效性的关键影响。
2026-08-25 cs.LG
GHIL-Glue: Hierarchical Control with Filtered Subgoal Images
Toyota Research Institute(丰田研究所);UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
本文提出 GHIL-Glue,通过过滤无任务进展的子目标并增强策略对视觉伪影的鲁棒性,连接生成式预测模型与低层控制策略,在 CALVIN 及真实零样本操控任务中取得显著提升。
2024-10-26 cs.AI cs.CV cs.LG
ME-GAN: Learning Panoptic Electrocardio Representations for Multi-view ECG Synthesis Conditioned on Heart Diseases
Zhejiang University(浙江大学);Xidian University(西安电子科技大学);University of Notre Dame(圣母大学)
本文提出疾病感知生成对抗网络ME-GAN,通过全景心电表征、mixup normalization和视图判别器实现以心脏病为条件的多视图心电图合成,并引入rFID指标评估合成质量。
2023-05-29 cs.AI cs.LG eess.SP
Pixel-wise Conditioned Generative Adversarial Networks for Image Synthesis and Completion
Normandie Univ(诺曼底大学);UNIROUEN(鲁昂大学);UNIHAVRE(勒阿弗尔大学);INSA Rouen(鲁昂国立应用科学学院)
生成对抗网络(GANs)已被证明在无监督图像生成方面是成功的。一些工作已经将GANs扩展到图像修复,通过用要重建的图像的部分来调节生成。尽管他们的成功,这些方法有局限性的设置,只有一个小的子集的图像像素是已知的。在本文中,我们研究的有效性条件GANs时,提供非常少的像素值。我们提出了一个建模框架,其结果是在GAN目标函数中添加一个显式的成本项,以执行逐像素条件。我们调查的影响,这个正则化项上生成的图像的质量和给定的像素约束的履行。使用最近的PacGAN技术,我们确保我们在生成的样本中保持多样性。在FashionMNIST上进行的实验表明,正则化项有效地控制了生成图像的质量和条件之间的权衡。在CIFAR-10和CelebA数据集上的实验评估证明,我们的方法在视觉上和定量上都实现了Fréchet初始距离的准确结果,同时仍然执行像素条件化。我们还使用全卷积网络在纹理图像生成任务上评估了我们的方法。作为最后的贡献,我们将该方法应用于一个经典的地质模拟应用程序。
2020-02-04 cs.CV cs.LG eess.IV
XGPT: Cross-modal Generative Pre-Training for Image Captioning
MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软)
虽然许多基于BERT的跨模态预训练模型在图像-文本检索和VQA等下游理解任务中产生了出色的结果,但它们不能直接应用于生成任务。在本文中,我们提出了XGPT,一种新的跨模态生成预训练方法的图像描述,旨在通过三个新的生成任务,包括图像条件掩蔽语言建模(IMLM),图像条件去噪自动编码(IDA),和文本条件图像特征生成(TIFG)的文本到图像的字幕生成器进行预训练。因此,预先训练的XGPT可以在没有任何特定于任务的架构修改的情况下进行微调,以创建用于图像描述的最先进的模型。实验表明,XGPT在COCO Captions和Flickr 30 k Captions等基准数据集上获得了新的最新结果。我们还使用XGPT生成新的图像标题作为图像检索任务的数据增强,并在所有召回指标上实现了显着的改善。
2020-03-04 cs.CL cs.CV cs.LG
Benchmarked Yet Not Measured -- Generative AI Should be Evaluated Against Real-World Utility
University of Maryland, College Park(马里兰大学学院公园分校)
本文指出生成式AI在标准基准上表现优异但缺乏现实效用,提出需从静态基准转向基于利益相关者、目标和情境的效用评估,提出SCU-GenEval框架及三项支持工具。
2026-05-11 cs.CL cs.LG
Beyond Generative AI: World Models for Clinical Prediction, Counterfactuals, and Planning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(莫莫德·本·扎伊德人工智能大学)
本文探讨了世界模型在医疗领域中的应用,旨在通过预测动态、反事实评估和规划提升临床决策的可靠性。
2025-11-20 cs.LG
Generative Priors Conditioned on Natural Language for Bayesian Inversion in PDEs
本文提出利用自然语言条件生成先验,结合定量与定性数据,对偏微分方程中的感兴趣量进行贝叶斯反演与不确定性量化,通过条件扩散和条件自编码器两种方法实现,并在多个物理系统上验证。
2026-09-29 cs.LG stat.ML
Treatment-Conditioned Diffusion for Forecasting Neurodegenerative Disease Progression
Innoloft Inc.(Innoloft公司);Bogomolets National Medical University(博戈莫列茨国家医学大学)
提出一种治疗条件扩散框架,通过条件化生成过程于患者的筛查DaTscan图像和一年内左旋多巴等效日剂量,预测高保真未来脑状态,在临床保真度上显著优于基线。
2026-05-28 cs.CV cs.LG
AdsorbFlow: energy-conditioned flow matching enables fast and realistic adsorbate placement
Beijing Key Laboratory of Artificial Intelligence for Advanced Chemical Engineering Materials, Department of Chemical Engineering, Tsinghua University(北京人工智能先进化工材料重点实验室,化学工程系,清华大学)
AdsorbFlow通过能量条件流匹配实现快速准确的吸附质定位,优于现有方法并在效率和精度上取得显著优势。
2026-02-22 cs.LG
Latent-Conditioned Parameterized Quantum Circuits as Universal Approximators for Distributions over Quantum States
Quantum Laboratory, Fujitsu Research, Fujitsu Limited(Fujitsu 研究所量子实验室, Fujitsu 有限公司)
提出潜在条件参数化量子电路(LPQC),通过经典神经网络将潜在变量映射到量子电路参数,证明其在1-Wasserstein距离下是密度算子概率测度的通用近似器,并引入多模态潜在先验和专家混合电路架构缓解贫瘠高原问题。
2026-06-18 cs.LG quant-ph
PLay: Parametrically Conditioned Layout Generation using Latent Diffusion
Google Research(谷歌研究院)
本文提出PLay,一种条件潜在扩散模型,根据用户指南在矢量空间生成参数化布局,在三个数据集及用户研究中优于先前方法,提供交互式设计体验。
2023-06-21 cs.AI cs.HC cs.LG
ViTCAE: ViT-based Class-conditioned Autoencoder
ECE Department(电子工程系);NC State University(北卡罗来纳州立大学)
本文提出ViTCAE框架,将Class token重新定位为生成枢纽以建立全局与局部潜变量的依赖关系,并借鉴观点动力学设计收敛感知的温度调度器和头部冻结机制,在提升计算效率的同时实现更高效可控的Transformer生成。
2025-09-20 cs.CV cs.LG
Generative Adversarial Networks for Automatic Polyp Segmentation
University of Oslo(奥斯陆大学)
本文旨在使用生成对抗网络框架对自动息肉分割问题进行基准测试。将问题视为图像到图像的翻译任务,利用条件生成对抗网络来生成由图像作为输入的条件掩码。生成器和卷积神经网络都是基于卷积神经网络的。模型的Jaccard指数为0.4382,F2得分为0.611。
2020-12-12 cs.CV cs.LG eess.IV
Toward Better Geometric Representations for Molecule Generative Models
Institute for Artificial Intelligence, PKU(北京大学人工智能学院);ByteDance AI Drug Discovery(字节跳动AI药物发现);School of Intelligence Science and Technology, PKU(北京大学智能科学与技术学院);Anew Labs(Anew实验室);Department of Electrical Engineering and Computer Science, MIT(麻省理工学院电子工程与计算机科学系);State Key Laboratory of General Artificial Intelligence, PKU(北京大学通用人工智能国家重点实验室)
本文提出LENSEs框架,通过改进分子表示方法提升生成质量,实验显示其在GEOM-DRUG数据集上取得高有效性和稳定性。
2026-05-08 cs.LG
Joint Multimodal Learning with Deep Generative Models
The University of Tokyo(东京大学)
我们研究了可以双向交换多种模态的深度生成模型,例如,从对应的文本生成图像,反之亦然。最近,一些研究在深度生成模型上处理多种模态,例如变分自动编码器(VAE)。然而,这些模型通常假设模态被迫具有条件关系,即,我们只能在一个方向上产生模式。为了实现我们的目标,我们应该提取一个联合表示,它在所有模式中捕获高级概念,并通过它我们可以双向交换它们。如本文所述,我们提出了一种联合多模态变分自动编码器(JMVAE),其中所有模态都独立地以联合表示为条件。换句话说,它对模态的联合分布进行建模。此外,为了能够正确地从剩余的模态中生成缺失的模态,我们开发了一种额外的方法JMVAE-kl,该方法通过减少JMVAE的编码器和相应模态的准备网络之间的分歧来训练。我们的实验表明,我们提出的方法可以获得适当的联合表示从多个模态,它可以生成和重建他们比传统的VAE更正确。我们进一步证明了JMVAE可以双向生成多种模态。
2016-11-07 cs.LG stat.ML
When World Models Dream Wrong: Physical-Conditioned Adversarial Attacks against World Models
Nanyang Technological University(南洋理工大学);University of Szeged(塞格德大学)
本文提出PhysCond-WMA攻击方法,通过扰动物理条件通道诱导世界模型的语义、逻辑或决策层面的扭曲,揭示生成式世界模型的安全性漏洞。
2026-02-21 cs.LG
Loosely Conditioned Emulation of Global Climate Models With Generative Adversarial Networks
Western Washington University(西华盛顿大学);Pacific Northwest National Laboratory(太平洋西北国家实验室);Indiana University(印第安纳大学);Joint Global Change Research Institute(联合全球变化研究所);Computer Science Department, Western Washington University(西华盛顿大学计算机科学系);Computing & Analytics Division, Pacific Northwest National Laboratory(太平洋西北国家实验室计算与分析部);Earth and Atmospheric Sciences Department, Indiana University(印第安纳大学地球与大气科学系)
气候模式包含了我们对地球系统的最佳理解,允许在人类驱动的气候力量将如何演变的替代假设下对其未来进行研究。气候模式的一个重要应用是提供平均和极端气候变化的度量,特别是在这些替代未来情景下,因为这些量驱动气候对社会和自然系统的影响。由于需要以计算效率高的方式探索各种各样的替代情景和其他不确定性来源,气候模式只能做到这一步,因为它们需要大量的计算资源,特别是在试图描述极端事件的特征时,极端事件是罕见的,因此需要长时间和大量的模拟,以便准确地反映其变化的统计数据。在这里,我们在概念验证中使用深度学习,为模拟不同场景的全球气候模型输出奠定了基础。我们训练了两个“松散条件”生成对抗网络(GANs),它们模拟了完全耦合的地球系统模型的每日降水输出:一个GAN模拟秋冬行为,另一个模拟春夏行为。我们的GANs经过训练,可以生成时空样本:在64x128规则网格上离散化全球的32天降水量。我们评估的生成器与一组相关的性能指标的基础上KL分歧,并发现生成的样本几乎匹配的测试数据的验证数据进行测试。我们还发现所产生的样本,以准确地估计平均干旱天数和平均最长的干旱期在32天的样本。与大量的气候模式相比,我们经过训练的GANs可以以大大降低的计算成本快速生成大量实现,这极大地有助于估计极端事件的统计数据。
2021-04-29 cs.LG cs.NE physics.ao-ph
Conditioning Degenerate Diffusion Models
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对奇异扩散系数且密度不光滑的条件生成模型,该研究提出基于因果最优传输的近似损失函数,以实现最小熵控制的引导。
2026-09-24 cs.LG
Unconstrained Scene Generation with Locally Conditioned Radiance Fields
Apple(苹果公司);University of Guelph(圭尔夫大学);Vector Institute(向量研究所)
我们解决了在复杂、逼真的室内场景中学习分布的挑战。在本文中,我们介绍了生成场景网络(GSN),它学习分解场景到一个集合的许多局部辐射场,可以从一个自由移动的相机渲染。我们的模型可以用作生成新场景的先验知识,或者仅在稀疏的2D观察结果下完成场景。最近的工作表明,辐射场的生成模型可以捕获多视图一致性和视图相关照明等属性。但是,这些模型专用于单个对象(如汽车或人脸)的约束查看。由于现实室内环境的大小和复杂性,现有的模型缺乏充分捕捉它们的代表性能力。我们的分解方案可以扩展到更大,更复杂的场景,同时保留细节和多样性,并且学习的先验知识可以从与观察到的视点显著不同的视点进行高质量渲染。与现有的模型相比,GSN在几个不同的场景数据集上产生了定量的更高质量的场景渲染。
2021-04-01 cs.CV cs.LG
Deep Generative Methods and Tire Architecture Design
ENS Paris-Saclay, Centre Borelli(巴黎-萨克雷大学ENS分校,Borelli中心);Université Paris-Saclay, CNRS, ENS Paris-Saclay, Centre Borelli(巴黎-萨克雷大学,法国国家科学研究中心,巴黎-萨克雷大学ENS分校,Borelli中心);ENSIIE(Évry法国的ENSIEE)
本研究针对工业轮胎结构设计场景,评估五种深度生成模型在无条件、组件条件及维度约束生成任务中的表现,提出分类补绘方法优化离散扩散模型的条件处理,发现扩散模型整体最优,且不同模型在特定任务中各有优势。
2025-08-26 cs.LG
TRIDENT: A Trimodal Cascade Generative Framework for Drug and RNA-Conditioned Cellular Morphology Synthesis
Department of Big Data and Biomedical AI, College of Future Technology, Peking University(大数据与生物医学人工智能系,未来技术学院,北京大学);Center for BioMed-X Research, Academy for Advanced Interdisciplinary Studies, Peking University(BioMed-X研究中心,先进跨学科研究学院,北京大学);State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(多媒体信息处理国家重点实验室,计算机科学学院,北京大学);National Engineering Research Center of Visual Technology, School of Computer Science, Peking University(视觉技术国家工程研究中心,计算机科学学院,北京大学);Yuanpei College, Peking University(元培学院,北京大学);School of Life Sciences, Tsinghua University(生命科学学院,清华大学);Peking University-Tsinghua University-National Institute of Biological Sciences Joint Graduate Program (PTN), Tsinghua University(北京大学-清华大学-国家生物医学科学研究院联合研究生项目(PTN),清华大学)
TRIDENT通过三模态级联生成框架,结合药物和RNA条件,实现了对细胞形态的高保真合成,显著提升了虚拟细胞的预测能力。
2025-11-23 cs.CV cs.LG q-bio.QM
Generating 3D Molecules Conditional on Receptor Binding Sites with Deep Generative Models
University of Pittsburgh(匹兹堡大学)
基于结构的药物发现的目标是找到与给定靶蛋白结合的小分子。深度学习已被用于生成具有某些化学信息学特性的药物样分子,但尚未应用于通过对蛋白质-配体结合相互作用的条件分布进行采样来生成预测与蛋白质结合的3D分子。在这项工作中,我们首次描述了一种深度学习系统,用于生成以受体结合位点为条件的3D分子结构。我们使用条件变分自动编码器来处理这个问题,该编码器在交叉对接的蛋白质-配体结构的原子密度网格表示上训练。我们应用原子拟合和键推断程序来构建有效的分子构象从生成的原子密度。我们评估所产生的分子的特性,并证明它们在突变受体上发生显着变化。我们还使用采样和插值技术探索生成模型所学习的潜在空间。这项工作为通过深度学习从蛋白质结构中端到端预测稳定的生物活性分子打开了大门。
2022-01-26 cs.LG q-bio.QM
Generating 3D Molecular Structures Conditional on a Receptor Binding Site with Deep Generative Models
University of Pittsburgh(匹兹堡大学)
深度生成模型已经越来越成功地应用于生成二维分子,如SMILES字符串和分子图。在这项工作中,我们第一次描述了一种深度生成模型,该模型可以生成以三维(3D)结合口袋为条件的3D分子结构。使用卷积神经网络,我们将原子密度网格编码到单独的受体和配体潜在空间中。配体的潜在空间是可变的,以支持新分子的采样。解码器网络产生以受体为条件的新型配体的原子密度。离散的原子然后适合这些连续的密度,以创建分子结构。我们表明,有效的和独特的分子可以很容易地从参考“种子”结构所定义的变化的潜在空间进行采样,生成的结构与结合位点有合理的相互作用。随着结构在潜在空间中离种子结构更远地被采样,所生成的结构的新颖性增加,但是预测的结合亲和力降低。总的来说,我们证明了有条件的三维分子结构生成的可行性,并提供了一个起点的方法,也明确优化所需的分子特性,如高结合亲和力。
2020-11-23 cs.LG physics.chem-ph q-bio.BM