Art Creation with Multi-Conditional StyleGANs
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所);ZBW -- Leibniz Information Centre for Economics(莱布尼茨经济信息中心);Kiel University(基尔大学)
创造有意义的艺术通常被视为人类独特的努力。人类艺术家需要结合独特的技能,理解和真正的意图来创作唤起深刻感情和情感的艺术品。在本文中,我们介绍了一种多条件生成对抗网络(GAN)方法,该方法在大量人类绘画上进行训练,以合成模仿人类艺术的逼真绘画。我们的方法基于StyleGAN神经网络架构,但引入了一种自定义的多条件控制机制,该机制对生成的绘画的特征提供细粒度控制,例如,观众的情绪反应。为了更好地控制,我们引入了条件截断技巧,它适应了标准截断技巧的条件设置和不同的数据集。最后,我们开发了一套多样化的评估技术,适合多条件生成。
2022-02-23 cs.AI cs.CV
Generative Inverse Design: From Single Point Optimization to a Diverse Design Portfolio via Conditional Variational Autoencoders
Faculty of Electrical Engineering, Universiti Teknologi Malaysia(电子工程学院,马来西亚技术大学)
本文提出基于条件变分自编码器的生成式逆向设计框架,将单点优化转为多样化设计组合生成,在翼型降噪中生成256个设计,77.2%优于SBO基线,支持多准则决策。
2025-10-03 cs.AI cs.LG
Learning Diverse Image Colorization
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
彩色化是一个模糊的问题,对于单个灰度级图像具有多个可行的彩色化。然而,先前的方法仅产生单个最可能的着色。我们的目标是建立彩色化问题内在多样性的模型,并产生显示长尺度空间协调的多种彩色化。我们学习使用变分自编码器(VAE)的颜色字段的低维嵌入。我们为VAE解码器构建了损失项,以避免模糊输出并考虑到像素颜色的不均匀分布。最后,我们建立了一个条件模型的灰度图像和颜色场嵌入之间的多模态分布。来自该条件模型的样本导致不同的着色。我们证明了我们的方法比标准的条件变分自编码器(CVAE)模型以及最近提出的条件生成对抗网络(cGAN)获得了更好的多样化着色。
2017-04-27 cs.CV
Diverse Conditional Image Generation by Stochastic Regression with Latent Drop-Out Codes
深度学习和概率建模的最新进展使图像的生成模型得到了很大的改进。一方面,生成对抗网络(GANs)提供了一个非常有效的对抗学习过程,但仍然存在稳定性问题。另一方面,条件变分自动编码器(CVAE)模型提供了一种良好的条件建模方式,但存在模式混合问题。因此,最近的工作已经转向简单而稳定的回归模型,这些模型在生成时是有效的,但放弃了采样机制和潜在代码表示。我们提出了一种新的和有效的随机回归方法与潜在的辍学代码,结合了这两条线的研究的优点。此外,新的训练目标增加了训练分布的覆盖范围,从而在准确性和多样性方面优于现有技术。
2018-08-03 cs.CV
PcDGAN: A Continuous Conditional Diverse Generative Adversarial Network For Inverse Design
Massachusetts Institute of Technology(麻省理工学院);Siemens Corporate Technology(西门子企业技术部)
工程设计任务通常需要综合满足所需性能要求的新设计。传统的设计过程需要迭代优化和性能评估,速度慢,并且依赖于初始设计。过去的工作使用条件生成对抗网络(cGAN)来实现给定目标性能的直接设计合成。然而,大多数现有的cGAN仅限于分类条件。连续条件GAN(Cc GAN)的最新研究试图解决这个问题,但仍然面临两个挑战:1)它在非均匀性能分布上表现不佳,以及2)生成的设计可能无法覆盖整个设计空间。我们提出了一个新的模型,命名为性能条件多样性生成对抗网络(PcDGAN),它引入了一个奇异的邻域损失相结合的一个决定性点过程(DPP)的损失函数,以提高多样性。PcDGAN使用一种新的自我强化评分,称为Lambert对数指数转换评分(LLETS),以改善条件反射。综合问题和真实世界的翼型设计问题的实验表明,PcD GAN优于国家的最先进的GAN模型,并提高了69%,在翼型生成任务和合成条件生成任务的调节可能性高达78%,并实现更大的设计空间覆盖。所提出的方法使有效的设计综合和设计空间探索的应用范围从CAD模型生成到超材料的选择。
2021-06-07 cs.LG
Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis
Peking University(北京大学);University of California, Merced(加州大学默塞德分校);Peng Cheng Laboratory(鹏城实验室);Google Cloud(谷歌云)
大多数条件生成任务在给定一个条件上下文的情况下期望不同的输出。然而,条件生成对抗网络(cGAN)往往专注于先验条件信息,而忽略了导致输出变化的输入噪声向量。最近尝试解决cGAN的模式坍塌问题通常是特定于任务的,并且计算成本很高。在这项工作中,我们提出了一个简单而有效的正则化项来解决cGAN的模式坍塌问题。所提出的方法显式地最大化生成的图像之间的距离相对于相应的潜在代码的比率,从而鼓励生成器在训练期间探索更多的次要模式。这种寻求模式的正则化项很容易适用于各种条件生成任务,而无需施加训练开销或修改原始网络结构。我们验证了所提出的算法上的三个条件图像合成任务,包括分类生成,图像到图像的翻译,和文本到图像的合成与不同的基线模型。定性和定量的结果表明,所提出的正则化方法的有效性,提高多样性,而不损失质量。
2019-05-04 cs.CV
Diverse Image Generation via Self-Conditioned GANs
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Adobe Research(Adobe研究)
我们介绍了一种简单但有效的无监督方法,用于生成逼真和多样化的图像。我们训练类条件GAN模型,而不使用手动注释的类标签。相反,我们的模型是有条件的标签自动从聚类的特征空间。我们的聚类步骤自动发现不同的模式,并明确要求生成器覆盖它们。标准的模式坍塌基准测试的实验表明,我们的方法优于几个竞争的方法时,解决模式坍塌。与以前的方法相比,我们的方法在ImageNet和Places365等大规模数据集上也表现良好,提高了图像多样性和标准质量指标。
2022-02-10 cs.CV cs.LG
Voice Conversion with Diverse Intonation using Conditional Variational Auto-Encoder
Seoul National University(首尔大学);Kakao Brain
针对传统语音转换模型仅能生成单一结果的局限,提出基于条件变分自动编码器(CVAE)结合逆自回归流(IAF)的方法,实现语调多样且音质更优的语音转换。
2025-04-16 cs.LG cs.SD eess.AS
CVAE-H: Conditionalizing Variational Autoencoders via Hypernetworks and Trajectory Forecasting for Autonomous Driving
University of Michigan(密歇根大学)
预测道路智能体在不同环境中的随机行为是自动驾驶的一个挑战性问题。为了更好地理解场景上下文并在不同环境中自适应地产生道路智能体的各种可能的未来状态,预测模型应该是概率的,多模态的,上下文驱动的和通用的。我们通过超网络(CVAE-H)提出了条件化变分自编码器;一种条件VAE,广泛利用超网络并为预测任务等高维问题执行生成任务。我们首先评估CVAE-H简单的生成实验表明,CVAE-H是概率,多模态,上下文驱动,和一般。然后,我们证明了所提出的模型有效地解决了自动驾驶预测问题,在各种环境中产生准确的预测道路代理。
2022-01-24 cs.AI cs.LG cs.RO
DivDiff: A Conditional Diffusion Model for Diverse Human Motion Prediction
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
本文提出条件扩散模型DivDiff,通过DCT与transformer编码观测运动作为条件,并设计多样化强化采样函数DRSF施加骨骼约束,在Human3.6M和HumanEva-I上同时提升人体运动预测的多样性与准确性。
2024-08-16 cs.AI cs.CV
CRD-CGAN: Category-Consistent and Relativistic Constraints for Diverse Text-to-Image Generation
Hubei Minzu University(湖北民族大学);JD Finance America Corporation(京东金融美国公司);Wuhan University(武汉大学)
从文本描述生成真实感图像是计算机视觉中的一个具有挑战性的问题。以前的工作已经显示出有前途的性能,生成对抗网络(GANs)的文本生成条件的合成图像。在本文中,我们专注于类别一致性和相对多样性约束,以优化合成图像的多样性。基于这些约束条件,提出了一种类别一致性和相对论多样性的条件GAN(CRD-CGAN),用于同时合成$K$照片级真实感图像。我们使用注意损失和多样性损失来提高GAN对单词注意和噪声的敏感性。然后,我们使用相对论条件损失估计合成图像的相对真实或虚假的概率,这可以改善基本条件损失的性能。最后,我们引入了类别一致性损失来缓解K个合成图像之间的过类别问题。我们使用Birds-200-2011,Oxford-102 flower和MSCOCO 2014数据集来评估我们的方法,并且广泛的实验证明了所提出的方法在生成的合成图像的真实感和多样性方面与最先进的方法相比的优越性。
2021-07-28 cs.CV
Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs
KAIST(韩国科学技术院);AITRICS;Maru Inc(42Maru公司)
问答(QA)中最关键的挑战之一是标记数据的稀缺性,因为使用人工注释获得目标文本域的问答(QA)对的成本很高。解决这个问题的另一种方法是使用从问题上下文或大量非结构化文本(例如维基百科)自动生成的QA对。在这项工作中,我们提出了一个分层的条件变分自编码器(HCVAE)生成QA对给定的非结构化文本作为上下文,同时最大限度地提高生成的QA对之间的互信息,以确保其一致性。我们在几个基准数据集上验证了我们的信息最大化分层条件变分自编码器(Info-HCVAE),方法是仅使用生成的QA对(基于QA的评估)或使用生成的和人类标记的对(半监督学习)进行训练,以评估QA模型(BERT基础)的性能。结果表明,我们的模型在两个任务的所有基线上都获得了令人印象深刻的性能增益,只使用了一小部分数据进行训练。
2020-06-15 cs.CL cs.LG
CAFLOW: Conditional Autoregressive Flows
University of Cambridge(剑桥大学)
我们介绍CAFLOW,一个新的多样化的图像到图像的翻译模型,同时利用自回归建模的力量和建模效率的条件规范化流。我们使用多尺度归一化流程将条件图像转换为一系列潜在编码,并对条件图像重复该过程。我们通过使用高效的多尺度归一化流对自回归分布进行建模来对潜在编码的条件分布进行建模,其中每个调节因素在其各自的分辨率尺度上影响图像合成。我们提出的框架在一系列图像到图像的翻译任务上表现良好。它优于以前的设计条件流,因为它的表达自回归结构。
2021-06-04 cs.AI cs.CV cs.LG
Conditional Vendi Score: Prompt-Aware Diversity Evaluation for Generative AI Models and LLMs
Department of Computer Science and Engineering, The Chinese University of Hong Kong(计算机科学与工程系,香港中文大学);Department of Information Engineering, The Chinese University of Hong Kong(信息工程系,香港中文大学)
针对文本提示引导的生成模型,提出条件 Vendi 和条件 RKE 分数,通过条件熵分离模型自身多样性,并证明收敛性及在多个任务中恢复真实多样性排序。
2026-10-12 cs.AI cs.CV cs.IT
Multi-modal anticipation of stochastic trajectories in a dynamic environment with Conditional Variational Autoencoders
The University of Hull(赫尔大学);University of Sunderland(桑德兰大学)
预测附近车辆的短期运动提出了一个固有的挑战性问题,因为它们可能的未来运动的空间并不严格限于一组单一的轨迹。最近提出的技术,证明合理的结果主要集中在预测一个固定数量的确定性预测,或分类在各种各样的轨迹,以前产生的使用,例如动态模型。本文的重点是解决与所讨论的任务相关的不确定性,利用生成模型的随机性,以产生一组不同的合理路径方面的履带车辆。更具体地说,我们建议考虑到多模态的问题,使用条件变分自编码器(C-VAE)的条件代理的过去的运动,以及光栅化的场景上下文与胶囊网络(CapsNet)编码。此外,我们还展示了采用最小N(MoN)成本函数的优势,该函数测量了地面实况和N个生成的样本之间的距离,并试图最大限度地减少最接近样本的损失,从而有效地实现更多样化的预测。我们在一个公开的数据集上对我们的网络进行了检查,并表明我们的方法在许多情况下都优于这些技术,同时显着减少了可训练参数的数量,并允许对任意数量的不同轨迹进行采样。
2021-03-05 cs.AI cs.LG
Semi-supervised FusedGAN for Conditional Image Generation
Center For Automation Research, University of Maryland, College Park(马里兰大学帕克分校自动化研究中心);Microsoft Research(微软研究院)
我们介绍了FusedGAN,这是一种用于条件图像合成的深度网络,可对不同图像进行可控采样。逼真度、多样性和可控采样是一个好的图像生成模型的主要质量指标。大多数现有模式在这三个方面都存在不足。FusedGAN可以以非常高的保真度对各种图像进行可控采样。我们认为,可控性可以通过解开生成过程中的各个阶段。与堆栈式GANs不同,其中多个阶段的GANs是单独训练的,并对标记的中间图像进行全面监督,而FusedGAN具有一个带有内置堆栈的GANs的单阶段流水线。与现有方法不同,现有方法需要对条件和图像进行全面监督,FusedGAN可以有效地利用更丰富的图像,而无需在训练中使用相应的条件,以产生更多样化的高保真样本。我们通过融合两个生成器来实现这一点:一个用于无条件图像生成,另一个用于有条件图像生成,其中两个部分共享一个共同的潜在空间,从而解开生成。我们证明了FusedGAN在细粒度图像生成任务(如文本到图像和属性到人脸生成)中的有效性。
2018-01-17 cs.CV
Double cycle-consistent generative adversarial network for unsupervised conditional generation
Clemson University(克莱姆森大学)
条件生成模型在过去几年中取得了相当大的成功,但通常需要大量的标记数据。最近,聚类器GAN将GAN与编码器相结合,通过无监督条件生成来实现显著的聚类性能。然而,它忽略了数据的真实条件分布,这导致为每个类生成较少多样性的样本,并使编码器只能实现次优聚类性能。在这里,我们提出了一个新的无监督条件生成框架,双循环一致的条件GAN(DC 3-GAN),它可以生成不同的类条件样本。除了生成器-编码器对之外,我们还强制GAN的编码器和生成器形成编码器-生成器对,这使我们能够避免低多样性生成和潜在特征的琐碎性。我们使用真实数据训练编码器-生成器对,它可以间接估计真实的条件分布。同时,该框架强制编码器的输出与GAN的输入和先验噪声分布相匹配,从而将潜在空间分解为两部分:独热离散和连续潜在变量。前者可以直接表示为簇,后者表示剩余的未指定因子。这项工作表明,增强无监督条件生成样本的多样性可以提高聚类性能。在不同基准数据集上的实验结果表明,该方法优于现有的基于生成模型的聚类方法,同时也达到了最优的解纠缠性能.
2021-04-05 cs.CV cs.LG stat.ML
Towards Diverse and Natural Image Descriptions via a Conditional GAN
The Chinese University of Hong Kong(香港中文大学);University of Toronto(多伦多大学);Vector Institute(向量学院);Uber Advanced Technologies Group(优步先进技术集团)
尽管图像描述技术在近几年取得了长足的进步,但仍远未达到完美的程度,现有的方法(如基于RNN的方法)生成的句子往往过于死板,缺乏可变性。这个问题与实践中广泛使用的一个学习原则有关,即最大化训练样本的可能性。这一原则鼓励高度相似的“地面真相”的标题,而抑制其他合理的描述。传统的评估指标,如BLEU和METEOR,也有利于这种限制性的方法。在本文中,我们探索了一种替代方法,旨在提高自然性和多样性-人类表达的两个基本属性。具体来说,我们提出了一个新的框架的基础上有条件的生成对抗网络(CGAN),共同学习一个发电机产生的描述条件的图像和评估器,以评估如何以及描述适合视觉内容。值得注意的是,训练序列生成器是不平凡的。我们通过策略梯度克服了这个困难,这是一种源于强化学习的策略,它允许生成器在过程中接收早期反馈。我们在两个大型数据集上测试了我们的方法,在我们的用户研究中,它与真实的人竞争,并且在各种任务上优于其他方法。
2017-08-11 cs.CV
RNACG: A Universal RNA Sequence Conditional Generation model based on Flow-Matching
Tsinghua University(清华大学)
本文提出基于流匹配的通用RNA序列条件生成框架RNACG,统一支持结构、功能及家族注释等多种条件输入,整合了从家族特异性生成到三级结构反向折叠的多类RNA设计任务。
2025-03-08 cs.LG q-bio.BM
Training-free Dense-Aligned Diffusion Guidance for Modular Conditional Image Synthesis
Sichuan University(四川大学);Singapore University of Technology and Design(新加坡科技设计大学);The University of Adelaide(阿德莱德大学);Australian National University(澳大利亚国立大学)
针对当前条件图像合成方法任务导向、范围狭窄的问题,提出将条件分为文本、布局、拖动三类并设计对应密集对齐模块(DCA、DGA、DMA)的模块化框架,实验表明其在多种条件下性能优越且应用范围更广。
2025-04-03 cs.AI cs.CV
Diversity-Sensitive Conditional Generative Adversarial Networks
University of Michigan(密歇根大学);Google Brain(谷歌大脑)
我们提出了一种简单而高效的方法,解决了条件生成对抗网络(cGAN)中的模式崩溃问题。虽然条件分布是多模态的(即,在实践中,大多数cGAN方法倾向于学习过度简化的分布,其中输入总是被映射到单个输出,而不管潜在代码的变化。为了解决这个问题,我们建议显式地正则化生成器,以根据潜在代码产生不同的输出。所提出的正则化是简单的,一般的,并且可以很容易地集成到大多数条件GAN目标。此外,生成器上的显式正则化允许我们的方法控制视觉质量和多样性之间的平衡。我们证明了我们的方法在三个条件生成任务:图像到图像的翻译,图像修补,和未来的视频预测的有效性。我们表明,简单地将我们的正则化添加到现有模型中会导致令人惊讶的多样化生成,大大优于以前在每个单独任务中专门设计的多模态条件生成方法。
2019-01-25 cs.LG stat.ML
Network-to-Network Translation with Conditional Invertible Neural Networks
Heidelberg University(海德堡大学)
鉴于现代机器学习模型的计算成本不断增加,我们需要找到新的方法来重用这些专家模型,从而利用在创建这些模型时投入的资源。最近的研究表明,这些大规模模型的力量是由它们学习的表征所捕获的。因此,我们寻求一种可以在不同的现有表示之间建立联系的模型,并提出用条件可逆网络来解决这个任务。该网络通过(i)提供不同域之间的通用传输,(ii)通过允许在其他域中进行修改来实现受控内容合成,以及(iii)通过将现有表示转换为可解释的域(如图像)来促进对现有表示的诊断。我们的域转移网络可以在固定表示之间进行转换,而无需学习或微调它们。这使得用户可以利用各种现有的特定领域的专家模型,从文献中已经训练了广泛的计算资源。不同的条件图像合成任务的实验,竞争力的图像修改结果和图像到图像和文本到图像生成的实验证明了我们的方法的通用适用性。例如,我们在BERT和BigGAN之间进行转换,最先进的文本和图像模型提供文本到图像的生成,这两个专家都不能自己执行。
2020-11-09 cs.CV cs.LG
SeasonScapes: Learning Large-scale Re-lightable 3D Landscapes with Seasonal Variation from Sparse Webcams
ETH Zurich(苏黎世联邦理工学院)
本文提出SeasonScapes框架和数据集,通过稀疏网络摄像头图像构建大规模可重照明的3D景观,利用条件扩散模型处理遮挡和缺失数据,实现季节性变化的3D景观重建。
2026-05-09 cs.CV
Multimodal Conditional Image Synthesis with Product-of-Experts GANs
NVIDIA(英伟达)
现有的条件图像合成框架基于单个模态中的用户输入(诸如文本、分割、草图或样式参考)来生成图像。他们往往无法利用多模态用户输入时,这降低了他们的实用性。为了解决这一限制,我们提出了专家产品生成对抗网络(PoE-GAN)框架,它可以合成基于多个输入模态或其中任何子集(甚至是空集)的图像。PoE-GAN由一个专家乘积生成器和一个多模式多尺度投影映射器组成。通过我们精心设计的训练方案,PoE-GAN学会合成高质量和多样性的图像。除了推进多模态条件图像合成的最新技术外,在单峰设置中进行测试时,PoE-GAN还优于现有的最佳单峰条件图像合成方法。该项目的网站是https://deepimagination.github.io/PoE-GAN。
2021-12-09 cs.CV
An Efficient Conditional Score-based Filter for High Dimensional Nonlinear Filtering Problems
Department of Mathematical Sciences, Tsinghua University(清华大学数学科学系);Yau Mathematical Sciences Center, Tsinghua University(清华大学叶中伟数学科学中心);Yanqi Lake Beijing Institute of Mathematical Sciences and Applications(北京燕琦湖数学科学与应用研究所)
针对高维非线性滤波难题,提出条件分数滤波器(CSF),利用集合变换器编码器和条件扩散模型,实现无需重训的高效准确后验采样,并在基准测试中展现优越性能。
2025-09-24 cs.LG
Taming Identity Consistency and Prompt Diversity in Diffusion Models via Latent Concatenation and Masked Conditional Flow Matching
针对主体驱动图像生成中身份一致性与提示多样性的权衡问题,提出潜空间拼接策略结合掩码CFM目标的LoRA微调扩散模型,辅以两阶段蒸馏数据整理框架与CHARIS评估框架,实现鲁棒身份保留与生成能力扩展。
2025-11-11 cs.AI cs.CV
Auto-regressive Image Synthesis with Integrated Quantization
Nanyang Technological University(南洋理工大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Amazon(亚马逊)
深度生成模型在具有多种条件输入的真实感图像合成方面取得了显着进展,而生成多样化但高保真的图像仍然是条件图像生成中的一个巨大挑战。本文提出了一种用于条件图像生成的通用框架,该框架结合了CNN的归纳偏差和强大的自回归序列建模,自然会产生不同的图像生成。不同于以往的研究中对多个域的特征进行独立量化,我们设计了一种集成量化方案,该方案具有变分正则化器,将多个域的特征离散化混合在一起,并显着提高了自回归建模性能。值得注意的是,变分正则化器能够通过惩罚分布的域内变化来正则化不可比潜在空间中的特征分布。此外,我们设计了一个Gumbel抽样策略,允许将分布的不确定性纳入自回归训练过程。Gumbel采样大大减轻了暴露偏差,暴露偏差通常会导致训练和推理阶段之间的不一致,并严重损害推理性能。多个条件图像生成任务的大量实验表明,我们的方法实现了优越的多样性图像生成性能的定性和定量相比,国家的最先进的。
2022-07-21 cs.CV
MosAIc: Finding Artistic Connections across Culture with Conditional Image Retrieval
Microsoft(微软公司);MIT(麻省理工学院);Google(谷歌公司)
我们介绍MosAIc,一个交互式的Web应用程序,允许用户找到跨越不同文化,媒体和千年的语义相关的艺术品对。为了创建这个应用程序,我们引入了条件图像检索(CIR),它将视觉相似性搜索与用户提供的过滤器或“条件”相结合。这种技术允许人们找到跨越图像语料库的不同子集的相似图像对。我们提供了一个通用的方法来适应现有的图像检索数据结构,这一新的领域,并提供我们的方法的效率的理论界限。为了量化CIR系统的性能,我们引入了新的数据集来评估CIR方法,并表明CIR执行非参数风格转移。最后,我们证明了我们的CIR数据结构可以识别生成对抗网络(GAN)中的“盲点”,在那里它们无法正确地模拟真实的数据分布。
2021-02-28 cs.CV cs.GR cs.IR
Context-Aware Autoregressive Models for Multi-Conditional Image Generation
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院)
本研究提出多条件图像生成框架ContextAR,通过混合位置编码与条件上下文感知注意力,实现无需微调即可支持任意条件组合的生成,性能优于扩散及现有自基线方法。
2025-05-18 cs.CV
Multimodal Image Synthesis with Conditional Implicit Maximum Likelihood Estimation
University of California, Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学);Nanjing University(南京大学)
计算机视觉和图形学中的许多任务都属于条件图像合成的框架。近年来,生成对抗网络(GANs)在合成图像质量方面取得了令人印象深刻的进步。然而,由于模式坍塌的问题,对于相同的输入生成多样且合理的图像仍然是一个挑战。在本文中,我们开发了一种新的通用多模态条件图像合成方法的基础上隐式最大似然估计(IMLE),并证明了改进的多模态图像合成性能的两个任务,单图像超分辨率和图像合成场景布局。我们公开我们的实现。
2020-04-07 cs.CV cs.GR cs.LG
Conditional Generative Adversarial Networks for Speed Control in Trajectory Simulation
University of Passau(帕绍大学);University of Duisburg-Essen(杜伊斯堡-埃森大学)
运动行为是由几个因素驱动的-目标,邻近代理的存在和行动,社会关系,物理和社会规范,环境及其可变特性,等等。大多数因素是无法直接观察到的,必须根据背景进行建模。因此,轨迹预测是一个困难的问题,近年来越来越受到研究人员的关注。运动预报在实际应用中必须具有现实性、多样性和可控性。尽管越来越多地关注多模态轨迹生成,但大多数方法仍然缺乏用于显式控制数据生成的不同模式的手段。此外,大多数努力都在设计特殊的机制来学习潜在空间中的相互作用方面投入了大量资金。我们提出了条件速度GAN(CSG),它允许控制生成不同的和社会上可接受的轨迹,基于用户控制的速度。在预测过程中,CSG从潜在空间预测未来速度,并根据它来调节其生成。CSG在基准距离度量方面与最先进的GAN方法相当,同时对于不同环境(如快节奏或慢节奏环境)的仿真和数据增强来说简单而有用。此外,我们比较了不同的聚合机制的效果,并表明,一个天真的方法串联工程可比的注意力和池的替代品。
2021-03-21 cs.CV
Inverse Design of Metamaterials with Manufacturing-Guiding Spectrum-to-Structure Conditional Diffusion Model
The University of Tokyo(东京大学);Huazhong University of Science and Technology(华中科技大学);RIKEN Center for Advanced Intelligence Project(日本理化学研究所先进智能项目研究中心)
本文提出基于条件扩散模型的光谱到结构通用逆向设计框架,可生成多样且光谱准确的超材料结构,并通过热伪装自由形式超材料的设计与制造验证其有效性。
2025-06-08 cs.LG physics.optics
exploreCOSMOS: Interactive Exploration of Conditional Statistical Shape Models in the Web-Browser
Friedrich-Alexander-Universtitat Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学)
本文提出首个可在浏览器中交互式探索条件统计形状模型的工具exploreCOSMOS,通过基于部分观测的后验模型实现面部定向操控,并开源代码与应用。
2024-02-20 cs.CV
Learning to Generate Diverse Pedestrian Movements from Web Videos with Noisy Labels
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出从网络视频中学习生成多样化行人运动,构建了CityWalkers数据集并提出了PedGen生成模型,通过自动标签过滤、掩码嵌入和3D上下文编码器利用噪声标签与上下文因素,在真实与模拟环境中实现了优于基线方法的性能及零样本泛化。
2024-10-10 cs.CV
WEDGE: Web-Image Assisted Domain Generalization for Semantic Segmentation
POSTECH(浦项科技大学);NALBI;Microsoft Research Asia(微软亚洲研究院);EIT Institute for Advanced Study(EIT高等研究院)
针对语义分割域泛化训练数据覆盖分布不足的问题,提出WEDGE方案,利用多样网络图像实时注入风格并结合伪标签训练,性能优于现有域泛化技术。
2023-05-02 cs.AI cs.CV
Synthesizing Diverse Lung Nodules Wherever Massively: 3D Multi-Conditional GAN-based CT Image Augmentation for Object Detection
The University of Tokyo(东京大学);University of Cambridge(剑桥大学);Fujifilm Corporation(富士胶片公司);Jikei University School of Medicine(慈惠会医科大学);Juntendo University School of Medicine(顺天堂大学医学部)
精确的计算机辅助诊断依赖于大规模注释的病理图像,可以减轻忽视诊断的风险。不幸的是,在医学成像中,大多数可用的数据集都很小/碎片化。为了解决这个问题,作为一种数据增强(DA)方法,3D条件生成对抗网络(GANs)可以合成所需的逼真/多样化的3D图像作为额外的训练数据。然而,不存在用于一般的基于限界框的3D目标检测的基于3D条件GAN的DA方法,而与严格的3D分割不同,它可以以医生的最小注释成本定位疾病区域。此外,由于病变的位置/大小/衰减不同,因此进一步基于GAN的DA性能需要多种条件。因此,我们提出了3D多条件GAN(MC GAN)来生成自然放置在肺部计算机断层扫描图像上的逼真/多样化的32 X 32 X 32结节,以提高3D目标检测的灵敏度。我们的MCGAN采用两个判别器进行调节:上下文判别器学习用以噪声框为中心的环境对真实与合成结节/周围配对进行分类;结节判别器尝试用大小/衰减条件对真实与合成结节进行分类。结果表明,基于3D卷积神经网络的结节检测方法在固定的假阳性率下,可以在任何结节大小/衰减下实现更高的灵敏度,并克服了MCGAN生成的真实结节的医学数据不足--即使是专家医生也无法在视觉图灵测试中将其与真实结节区分开来。
2019-08-12 cs.CV eess.IV
Noise Conditional Flow Model for Learning the Super-Resolution Space
Seoul National University(首尔国立大学);Lomin Inc.(Lomin公司);Deepest
从根本上说,超分辨率是一个不适定问题,因为低分辨率图像可以从许多高分辨率图像。最近对超分辨率的研究不能创建多样化的超分辨率图像。尽管SRFlow试图通过在给定低分辨率图像的情况下预测多个高分辨率图像来解释超分辨率的不适定性质,但是存在改进多样性和视觉质量的空间。本文提出了一种适用于超分辨率的噪声条件流模型NCSR,通过噪声条件层提高图像的视觉质量和多样性。为了学习更多样化的数据分布,我们向训练数据添加噪声。然而,低质量的图像是由于添加噪声。我们提出了噪声条件层来克服这种现象。噪声条件层使我们的模型生成更多样化的图像,具有更高的视觉质量比其他作品。此外,我们表明,这一层可以克服数据分布不匹配,在规范化流模型中出现的问题。凭借这些优势,NCSR在多样性和视觉质量方面优于基线,并实现了比传统的基于GAN的模型更好的视觉质量。我们在NTIRE 2021挑战赛中也取得了优异的成绩。
2021-06-06 cs.CV
Audio2Gestures: Generating Diverse Gestures from Speech Audio with Conditional Variational Autoencoders
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Tencent AI Lab(腾讯AI实验室)
由于音频和身体运动之间固有的一对多映射,从语音音频生成会话手势具有挑战性。传统的CNN/RNN假设一对一的映射,因此倾向于预测所有可能的目标运动的平均值,从而在推理过程中导致简单/无聊的运动。为了克服这个问题,我们提出了一种新的条件变分自编码器(VAE),明确的模型一对多的音频到运动的映射,通过分裂的跨模态的潜在代码为共享代码和运动特定的代码。共享代码主要模拟音频和运动之间的强相关性(例如同步的音频和运动节拍),而运动特定代码捕获独立于音频的各种运动信息。然而,将潜在代码分成两部分给VAE模型带来了训练困难。一个映射网络,促进随机采样以及其他技术,包括放松运动损失,自行车约束,和多样性损失的设计,以更好地训练的VAE。在3D和2D运动数据集上的实验验证了我们的方法比最先进的方法在定量和定性上产生更真实和多样化的运动。最后,我们证明了我们的方法可以很容易地用于生成运动序列与用户指定的运动剪辑上的时间轴。代码和更多结果在https://jingli513.github.io/audio2gestures。
2021-08-15 cs.CV
Embedding-Based Federated Data Sharing via Differentially Private Conditional VAEs
xAILab Bamberg, University of Bamberg, Germany(巴姆堡大学)
本文提出利用差分隐私条件变分自编码器(DP-CVAE)在联邦学习框架下共享基础模型提取的嵌入,以低通信开销和更少参数支持多下游任务,同时保证差分隐私并优于传统联邦分类器。
2025-07-03 cs.CV cs.LG eess.IV
Multimodal Image Outpainting With Regularized Normalized Diversification
University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们研究的问题,生成一组逼真的和多样化的背景时,只有一个小的前景区域。我们把这个任务称为图像绘制。这项任务的技术挑战是合成不仅合理,而且多样化的图像输出。传统的生成对抗网络会遭受模式坍塌。虽然最近的方法提出最大化或保持生成样本之间的潜在距离,但它们并没有明确地防止不同条件输入的不同样本崩溃。因此,我们提出了一种新的正则化方法,以鼓励条件综合中的多样采样。此外,我们提出了一个特征金字塔判别器,以提高图像质量。我们的实验结果表明,我们的模型可以产生更多的diverseimages相比,在CelebA人脸数据集和城市景观场景数据集的最先进的方法,而不牺牲视觉质量。
2019-10-25 cs.CV
CG-NeRF: Conditional Generative Neural Radiance Fields
KAIST Graduate School of AI, Korea Advanced Institute of Science and Technology(韩国科学技术院人工智能研究生院)
虽然最近基于NeRF的生成模型实现了生成各种3D感知图像,但这些方法在生成包含用户指定特征的图像时存在局限性。在本文中,我们提出了一种新的模型,称为条件生成神经辐射场(CG-NeRF),它可以生成多视图图像,反映额外的输入条件,如图像或文本。在保留给定输入条件的共同特征的同时,该模型生成了细节丰富的不同图像。我们建议:1)新颖的统一架构,其从以各种形式给出的条件中解开形状和外观,以及2)用于生成多模态输出的姿态一致的多样性损失,同时保持视图的一致性。实验结果表明,该方法保持一致的图像质量在各种条件类型,并实现了更好的保真度和多样性相比,现有的基于NeRF的生成模型。
2021-12-07 cs.CV cs.GR
Conditional Variational Image Deraining
University of Amsterdam(阿姆斯特丹大学);Nankai University(南开大学);Inception Institute of Artificial Intelligence(因ception人工智能研究院)
图像去伪是一项重要而又具有挑战性的图像处理任务。虽然确定性图像去重方法的发展与令人鼓舞的性能,他们是不可行的,学习灵活的表示概率推理和多样化的预测。此外,降雨强度在空间位置和颜色通道上都不同,这使得这项任务更加困难。在本文中,我们提出了一个条件变分图像去盲(CVID)网络,以获得更好的去盲性能,利用条件变分自动编码器(CVAE)的独家生成能力,为下雨图像提供多种预测。为了执行空间自适应去覆盖,我们提出了一个空间密度估计(SPIDESSION)模块来估计每个图像的雨密度图。由于雨密度在不同的颜色通道变化,我们还提出了一个通道(CW)的deraining计划。在合成数据集和真实数据集上的实验表明,该网络在图像去噪方面比以往的确定性方法有更好的性能。广泛的消融研究验证了我们的CVID网络中所提出的连续波模块和CW方案的有效性。代码可在\url{https://github.com/Yingjun-Du/VID}上获得。
2020-05-08 cs.CV
ArtFormer: Controllable Generation of Diverse 3D Articulated Objects
Xiamen University Malaysia(马来西亚厦门大学);Renmin University of China(中国人民大学);Tsinghua University(清华大学);Southern University of Science and Technology(南方科技大学);University of Minnesota-Twin Cities(明尼苏达大学双城分校);Henan RunTai Digital Technology Group Co., Ltd.(河南润泰数字科技集团有限公司)
提出ArtFormer框架,通过token树参数化和transformer生成3D铰接物体的几何与运动学关系,结合SDF形状先验实现高质量、多样化且可控的物体生成。
2025-04-03 cs.AI cs.CV cs.RO
Multimodal Instruction Tuning with Conditional Mixture of LoRA
Virginia Tech(弗吉尼亚理工大学);Meta AI;The Chinese University of Hong Kong(香港中文大学);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出Conditional Mixture-of-LoRA(MixLoRA),通过针对输入实例动态构建低秩适配矩阵缓解多模态指令微调中的任务干扰,并在多个评估数据集上以相同或更高秩优于传统LoRA。
2024-12-06 cs.CV
CapEnrich: Enriching Caption Semantics for Web Images via Cross-modal Pre-trained Knowledge
Renmin University of China(中国人民大学)
为Web上的大量未标记图像自动生成文本描述可以极大地有益于现实的Web应用,例如多模式检索和推荐。然而,现有的模型遭受的问题,产生“过度通用”的描述,如他们的倾向,以产生重复的句子与不同的图像的共同概念。这些通用的描述无法为不断变化的Web图像提供足够的文本语义。受视觉语言预训练(VLP)模型最近成功的启发,该模型在预训练期间学习不同的图像-文本概念对齐,我们探索利用其跨模态预训练知识来自动丰富图像描述的文本语义。由于不需要额外的人类注释,我们提出了一个即插即用的框架,即CapEnrich,以补充更多的语义细节的通用图像描述。具体来说,我们首先提出了一种自动数据构建策略来获得所需的训练句子,然后在此基础上采用提示策略,即可学习和模板提示,以激励VLP模型生成更多的文本细节。对于可学习的模板,我们固定整个VLP模型,只调整提示向量,这导致两个优点:1)VLP模型的预训练知识可以尽可能多地保留以描述不同的视觉概念; 2)仅需要轻量级的可训练参数,因此对低数据资源友好。大量的实验表明,我们的方法显着提高了Web图像生成的句子的连续性和多样性。该代码可在https://github.com/yaolinli/CapEnrich上获得。
2023-03-19 cs.CV cs.MM
Super-Resolution via Conditional Implicit Maximum Likelihood Estimation
University of California, Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学)
单图像超分辨率(SISR)是一个典型的问题,具有不同的应用。像SRGAN这样的领先方法产生的图像包含各种伪影,如高频噪声,幻觉颜色和形状失真,这对结果的真实性产生了不利影响。在本文中,我们提出了一种替代方法的基础上扩展的隐式最大似然估计(IMLE)的方法。我们在降噪和保留原始颜色和形状方面表现出更大的有效性,从而产生更逼真的超分辨率图像。
2018-10-02 cs.CV cs.GR cs.LG