Visual Data Synthesis via GAN for Zero-Shot Video Classification
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
视频分类中的零样本学习（Zero-Shot Learning，简称ZRL）是一个很有前途的研究方向，旨在应对视频类别爆炸式增长带来的挑战。大多数现有的方法通过学习视觉和语义空间之间的投影来利用看不见的相关性。然而，这种基于投影的范式不能充分利用数据分布中隐含的歧视性信息，并且通常遭受由“异质性差距”引起的信息退化问题。在本文中，我们提出了一个可视化的数据合成框架，通过GAN来解决这些问题。具体地说，利用语义知识和视觉分布来合成未见过类别的视频特征，并且可以利用合成的特征将视频分类问题转化为典型的有监督问题。首先，我们提出了多层次的语义推理，以促进视频特征合成，它通过特征级和标签级语义推理捕获联合视觉语义分布中隐含的判别信息。其次，我们提出了匹配感知互信息相关来克服信息退化问题，它通过互信息捕获匹配和不匹配的视觉语义对中的可见-不可见相关，为zero-shot合成过程提供鲁棒的引导信号。在4个视频数据集上的实验结果表明，该方法能显著提高zero-shot视频分类性能。
2018-04-26 cs.CV
Multimodal Face Synthesis from Visual Attributes
Whiting School of Engineering, Johns Hopkins University（约翰斯·霍普金斯大学怀廷工程学院）
基于视觉特征的人脸图像合成是计算机视觉和生物特征识别领域的一个重要研究课题，因为它在执法和娱乐方面有着广泛的应用。深度生成网络的最新进展使得从视觉属性合成高质量的人脸图像成为可能。然而，现有的方法是专门设计用于从属性生成单峰图像（即可见人脸）。在本文中，我们提出了一种新的生成对抗网络，同时合成身份保持多模态人脸图像（即可见，素描，热等）。从视觉属性，而不需要在不同的域中的配对数据来训练网络。我们引入了一种新的生成器与多模态拉伸模块，同时合成多模态人脸图像。此外，多模态拉伸模块中引入的鉴别真假图像。大量的实验和比较与几个国家的最先进的方法进行验证所提出的基于属性的多模态综合方法的有效性。
2021-04-09 cs.CV
NUWA-Infinity: Autoregressive over Autoregressive Generation for Infinite Visual Synthesis
Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）；Microsoft Azure AI（微软Azure人工智能）
在本文中，我们提出了NUWA-Infinity，生成模型的无限视觉合成，这是定义为生成任意大小的高分辨率图像或长时间的视频的任务。提出了一种自回归生成机制来处理这种可变大小的生成任务，其中全局补丁级自回归模型考虑补丁之间的依赖关系，局部令牌级自回归模型考虑每个补丁内视觉令牌之间的依赖关系。引入邻近上下文池（Nearby Context Pool，NCP），将已生成的缓存相关补丁作为当前补丁的上下文，在不牺牲补丁级依赖建模的前提下，显著节省计算成本.一个任意方向控制器（ADC）被用来决定不同的视觉合成任务的适当的生成顺序和学习顺序感知的位置嵌入。与DALL-E、Imagen和Parti相比，NUWA-Infinity可以生成任意尺寸的高分辨率图像，并支持长时间视频生成。与同时涵盖图像和视频的NUWA相比，NUWA-Infinity在分辨率和可变尺寸生成方面具有更出色的视觉合成能力。GitHub链接是https://github.com/microsoft/NUWA。主页链接是https://nuwa-infinity.microsoft.com。
2022-08-12 cs.CV
Improving Visual Quality of Image Synthesis by A Token-based Generator with Transformers
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（中国教育部机器智能与先进计算重点实验室）；Microsoft Research Asia（微软亚洲研究院）；University of Tokyo（东京大学）
我们提出了一个新的角度来实现图像合成，通过查看这个任务作为一个视觉令牌生成问题。不同于直接从单个输入合成完整图像的现有范例（例如，一个潜在的代码），新的公式能够灵活的本地操作不同的图像区域，这使得它有可能学习内容感知和细粒度的风格控制图像合成。具体地说，它将潜在标记序列作为输入来预测用于合成图像的视觉标记。在这个角度下，我们提出了一个基于令牌的生成器（即，TokenGAN）。特别地，TokenGAN输入两个语义上不同的视觉令牌，即，学习的恒定内容令牌和来自潜在空间的样式令牌。给定一系列样式令牌，TokenGAN能够通过使用Transformer的注意力机制将样式分配给内容令牌来控制图像合成。我们进行了大量的实验，并表明所提出的TokenGAN在几个广泛使用的图像合成基准上取得了最先进的结果，包括具有不同分辨率的FFHQ和LSUN CHURCH。特别是，生成器能够合成1024x1024大小的高保真图像，完全免除卷积。
2021-12-18 cs.CV
Text-driven Visual Synthesis with Latent Diffusion Prior
University of Maryland, College Park（马里兰大学帕克分校）
提出一种利用潜在扩散模型作为图像先验的通用视觉合成方法，通过引入特征匹配损失和KL散度损失提升性能，在文本到3D、StyleGAN适应和分层图像编辑任务中优于基线。
2023-04-03 cs.CV
Robust Synthesis of Adversarial Visual Examples Using a Deep Image Prior
University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
我们提出了一种新的方法，用于生成鲁棒的对抗性图像示例，该方法基于最近的“深度图像先验”（DIP），该方法利用卷积网络架构在图像合成中执行合理的纹理。对抗性图像通常通过扰动图像来引入高频噪声来产生，高频噪声引起图像误分类，但是对于随后的图像数字操作来说是脆弱的。我们表明，使用DIP在对抗约束下重建图像会引起对仿射变形更鲁棒的扰动，同时保持视觉上不可感知。此外，我们表明，我们的DIP方法也可以适应当地的对抗补丁（“对抗贴纸”）。我们在从ImageNet数据集中提取的广泛图像和对象类上展示了强大的对抗性示例。
2019-07-03 cs.CV
NÜWA: Visual Synthesis Pre-training for Neural visUal World creAtion
Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）
本文提出了一个统一的多模态预训练模型，称为NÜWA，可以生成新的或操纵现有的视觉数据（即，图像和视频）用于各种视觉合成任务。为了在不同的应用场景下同时覆盖语言、图像和视频，设计了一个3D Transformer编解码器框架，该框架既能将视频作为3D数据处理，又能分别将文本和图像作为1D和2D数据处理。提出了一种3D近邻注意（3DNA）机制来考虑视觉数据的性质并降低计算复杂性。我们评估NÜWA的8个下游任务。与几个强大的基线相比，NÜWA在文本到图像生成、文本到视频生成、视频预测等方面取得了最先进的结果。此外，它还在文本引导的图像和视频处理任务中显示出令人惊讶的良好的零拍摄（zero-shot）功能。项目回购是https://github.com/microsoft/NUWA。
2021-11-24 cs.AI cs.CV
Facial Synthesis from Visual Attributes via Sketch using Multi-Scale Generators
Johns Hopkins University（约翰霍普金斯大学）
从视觉属性自动合成人脸是计算机视觉中的一个重要问题，在执法和娱乐方面有着广泛的应用。随着深度生成卷积神经网络（CNN）的出现，已经尝试从属性和文本描述合成面部图像。在本文中，我们采取了一种不同的方法，我们将原始问题表述为阶段学习问题。我们首先合成与视觉属性相对应的人脸草图，然后基于合成的草图生成人脸图像。所提出的框架基于两种不同的生成对抗网络（GANs）的组合-（1）草图生成器网络，其从输入属性合成逼真的草图，以及（2）面部生成器网络，其在面部属性的帮助下从合成的草图图像合成面部图像。大量的实验和最近的方法进行比较，以验证所提出的基于属性的两阶段人脸合成方法的有效性。
2019-12-17 cs.CV
Generative models for visualising abstract social processes: Guiding streetview image synthesis of StyleGAN2 with indices of deprivation
本文利用StyleGAN2对伦敦街景图像进行训练与反演，结合多重贫困指数映射潜在空间中的社会视觉特征，并实现条件化图像合成，展示了生成模型用于社会科学研究的潜力。
2023-12-01 cs.CV
VersaGen: Unleashing Versatile Visual Control for Text-to-Image Synthesis
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Surrey（萨里大学）
VersaGen提出一种生成式AI智能体，通过在冻结的文本到图像扩散模型上训练适配器并结合推理优化策略，支持对单个主体、多个主体、场景背景及其任意组合的灵活视觉控制。
2024-12-28 cs.CV
Video-to-Video Translation for Visual Speech Synthesis
Imperial College London（帝国理工学院）
尽管在庆祝生成对抗网络（GANs）进步的图像到图像翻译方面取得了显着的成功，但视频域翻译的尝试非常有限。我们研究视频到视频翻译的任务，在视觉语音生成的背景下，其目标是将任何口语单词的输入视频转换为不同单词的输出视频。这是一个多领域的翻译，其中每个单词形成一个域的视频说出这个词。最先进的图像到图像翻译模型（StarGAN）对这种设置的适应性不足，词汇量很大。相反，我们建议使用单词的字符编码，并设计一种新的基于字符的GANs架构，用于视频到视频的翻译，称为视觉语音GAN（ViSpGAN）。我们是第一个演示视频到视频翻译的500个单词的词汇。
2019-05-28 cs.CV
Lip to Speech Synthesis with Visual Context Attentional GAN
KAIST（韩国科学技术院）
在本文中，我们提出了一种新的唇到语音生成对抗网络，视觉上下文注意GAN（VCA-GAN），它可以在语音合成过程中联合建模局部和全局嘴唇运动。具体而言，建议VCA-GAN合成语音从本地唇视觉特征，通过找到一个映射函数的视位到音素，而全球视觉上下文被嵌入到中间层的生成器，以澄清的歧义引起的homopolymer映射。为了实现这一点，提出了一个视觉上下文注意模块，它从局部视觉特征编码全局表示，并提供所需的全局视觉上下文对应于给定的粗语音表示的生成器通过视听注意。除了局部和全局视觉表示的显式建模之外，同步学习被引入作为对比学习的一种形式，其引导生成器与给定的输入嘴唇运动同步地合成语音。大量的实验表明，所提出的VCA-GAN优于现有的国家的最先进的，能够有效地合成语音从多个扬声器，几乎没有处理在以前的作品。
2022-04-04 cs.AI cs.CV eess.AS
Structure-Semantic Co-optimized Latent Diffusion Model for Fast Visual Anagram Synthesis
School of Digital Media and Design Arts, Beijing University of Posts and Telecommunications（北京邮电大学数字媒体与设计艺术学院）
提出结构-语义协同优化框架S2CO-Anagram，通过空文本结构对齐、语义增强和注意力引导噪声融合，在极低计算成本下生成高分辨率、高视觉和谐度与语义保真度的视觉字谜图像。
2026-10-20 cs.CV
NEvo: Neural-Guided Evolutionary Video Synthesis for Dynamic Visual Selectivity
EPFL（苏黎世联邦理工学院）；Johns Hopkins University（约翰霍普金斯大学）
提出神经引导视频合成框架NEvo，通过进化搜索优化视频刺激以激活目标脑区，揭示视觉皮层动态选择性，并发现侧流对社会动态特征的敏感性。
2026-08-28 cs.CV
Text-Guided Synthesis of Artistic Images with Retrieval-Augmented Diffusion Models
Ludwig-Maximilian University Munich（慕尼黑路德维希-马克西米利安大学）
新的架构最近改进了生成图像合成，从而在各种任务中获得出色的视觉质量。特别值得注意的是“人工智能艺术”领域，随着CLIP等强大的多模式模型的出现，该领域出现了前所未有的增长。通过将语音和图像合成模型相结合，所谓的“语音工程”已经建立，其中使用精心选择和编写的句子来实现合成图像中的某种视觉风格。在本说明中，我们提出了一种基于检索增强扩散模型（RDM）的替代方法。在RDM中，在每个训练实例的训练期间从外部数据库检索一组最近邻居，并且扩散模型以这些信息样本为条件。在推理（采样）过程中，我们将检索数据库替换为更专业的数据库，例如，仅包含特定视觉风格的图像。这提供了一种新的方式来在训练后提示一般的训练模型，从而指定特定的视觉风格。实验表明，这种方法优于在文本提示中指定视觉样式。我们在https://github.com/CompVis/latent-diffusion上开源代码和模型权重。
2022-07-26 cs.CV
Diversity-Preserved Distribution Matching Distillation for Fast Visual Synthesis
本文提出了一种保留多样性的分布匹配蒸馏（DP-DMD）方法，通过分离角色的蒸馏策略，在少量步骤中保持样本多样性并维持竞争性的视觉质量，为其他DMD变体提供了一种简单且稳定的替代方案。
2026-05-19 cs.CV
Cosh-DiT: Co-Speech Gesture Video Synthesis via Hybrid Audio-Visual Diffusion Transformers
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Baidu（百度）；Tokyo Institute of Technology（东京工业大学）；Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Nanyang Technological University（南洋理工大学）
本文提出 Cosh-DiT 混合音视频 Diffusion Transformer 框架，通过离散音频到动作扩散与连续动作到视频扩散，实现与语音节奏同步的逼真协同语音手势视频生成。
2025-03-13 cs.CV
A Fast Free-viewpoint Video Synthesis Algorithm for Sports Scenes
KDDI Research, Inc.（KDDI综合研究所）
在本文中，我们报告了一个并行的自由视点视频合成算法，可以有效地重建一个高质量的3D场景表示的体育场景。所提出的方法侧重于一个场景，是由多个同步相机具有宽基线捕获。为了提高自由视点视频的视觉质量，本文提出了以下策略：（1）采用体积视觉壳方法重建稀疏点云，并采用高效的连通域标记算法为每个对象找到精确的三维感兴趣区域。其次，通过在感兴趣区域内实现可视化外壳，加速了稠密点云的重建：（2）通过估计网格单元与可视化外壳的精确交点，建立精确的多面体表面网格;（3）以视图相关的方式再现重构的呈现的外观，其分别呈现非-最近的摄像机及其相邻摄像机的遮挡和遮挡区域。排球和柔道序列的生产证明了我们的方法在执行时间和视觉质量方面的有效性。
2019-07-31 cs.CV
Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications
NVIDIA（英伟达）；Google（谷歌）
生成对抗网络（GAN）框架已经成为各种图像和视频合成任务的强大工具，允许以无条件或有输入条件的方式合成视觉内容。它能够生成高分辨率的逼真图像和视频，这是一项具有挑战性或不可能使用现有方法的任务。它还导致在内容创作中创建许多新的应用程序。在本文中，我们提供了GANs的概述，特别关注视觉合成的算法和应用。我们涵盖了几个重要的技术来稳定GAN训练，这是出了名的困难。我们还讨论了它的应用，图像翻译，图像处理，视频合成，和神经渲染。
2020-11-30 cs.CV
Generative Refinement Networks for Visual Synthesis
ByteDance（字节跳动）
本文提出生成细化网络（GRN），通过近无损分层二进制量化解决离散化瓶颈，结合全局细化机制和熵引导采样策略，提升图像生成质量与效率。
2026-07-08 cs.CV
VisualPrompter: Semantic-Aware Prompt Optimization with Visual Feedback for Text-to-Image Synthesis
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
VisualPrompter通过语义感知的提示优化机制，提升文本到图像合成的对齐性能和内容质量。
2026-03-06 cs.CV
Diff-Foley: Synchronized Video-to-Audio Synthesis with Latent Diffusion Models
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
提出Diff-Foley，一种基于潜在扩散模型和对比视听预训练的同步视频到音频合成方法，通过双重引导显著提升生成质量，在大规模数据集上达到最先进性能。
2023-06-29 cs.CV cs.LG cs.SD
Conceptual Compression via Deep Structure and Texture Synthesis
Peking University（北京大学）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）；City University of Hong Kong（香港城市大学）；Communication University of China（中国传媒大学）
现有的压缩方法通常侧重于去除信号级冗余，而将视觉数据分解为紧凑的概念组件的潜力和通用性仍然缺乏进一步的研究。为此，我们提出了一种新的概念压缩框架，将视觉数据编码为紧凑的结构和纹理表示，然后以深度合成的方式进行解码，旨在实现更好的视觉重建质量，灵活的内容操作以及对各种视觉任务的潜在支持。特别是，我们提出了一个由两个互补的视觉特征组成的双层模型来压缩图像：1）由结构图表示的结构层和2）由低维深度表示表征的纹理层。在编码器侧，结构图和纹理表示被单独地提取和压缩，从而生成紧凑的、可解释的、可互操作的比特流。在解码阶段，提出了一种分层融合GAN（HF-GAN）来学习合成范例，其中纹理被渲染到解码的结构图中，从而导致具有显着的视觉真实感的高质量重建。对不同图像的广泛实验表明，我们的框架具有更低的比特率，更高的重建质量，以及对视觉分析和内容操作任务的多功能性。
2022-03-10 cs.CV eess.IV
MISFIT-V: Misaligned Image Synthesis and Fusion using Information from Thermal and Visual
University of Washington（华盛顿大学）
本文提出MISFIT-V，一种结合GAN与交叉注意力机制的无监督双分支方法，用于野外搜救场景下可见光与热成像的非对齐图像融合，实验证明其在非对齐和恶劣环境条件下比现有方法更鲁棒。
2023-09-22 cs.AI cs.CV cs.HC
GPTDrawer: Enhancing Visual Synthesis through ChatGPT
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Columbia University（哥伦比亚大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Northeastern University（东北大学）
GPTDrawer提出一种利用ChatGPT和Stable Diffusion，通过关键词提取、语义分析和余弦相似度迭代细化提示的流水线，以提升文本到图像生成的保真度，为AI辅助创意设立新基准。
2024-12-11 cs.AI cs.CV
VGGT-Diff: Visual Geometry Meets Diffusion for Sparse-View Novel View Synthesis
VGGT-Diff提出一种几何路由的多视角扩散模型，通过将VGGT的视觉几何潜变量注入视频扩散模型，结合置信度感知路由器与点轨迹残差一致性，在稀疏视角新视角合成中实现插值和外推的先进性能。
2026-10-15 cs.AI cs.CV
InSituNet: Deep Image Synthesis for Parameter Space Exploration of Ensemble Simulations
The Ohio State University（俄亥俄州立大学）；Argonne National Laboratory（阿贡国家实验室）
我们提出了InSituNet，这是一种基于深度学习的代理模型，用于支持原位可视化集成模拟的参数空间探索。由于I/O和存储限制，在模拟时生成可视化的原位可视化在处理大规模模拟中变得越来越普遍。然而，原位可视化方法限制了事后勘探的灵活性，因为原始模拟数据不再可用。虽然已经提出了多种基于图像的方法来减轻这种限制，但这些方法缺乏探索模拟参数的能力。我们的方法允许通过利用深度学习的最新进展来灵活探索大规模集成模拟的参数空间。具体来说，我们将InSituNet设计为卷积回归模型，以学习从模拟和可视化参数到可视化结果的映射。使用经过训练的模型，用户可以在各种可视化设置下为不同的模拟参数生成新的图像，从而可以深入分析底层的集合模拟。我们证明了InSituNet在燃烧，宇宙学和海洋模拟通过定量和定性评估的有效性。
2019-10-16 cs.CV cs.GR eess.IV
SASWISE-UE: Segmentation and Synthesis with Interpretable Scalable Ensembles for Uncertainty Estimation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出SASWISE-UE子模型集成框架，通过生成不确定性图增强医学深度学习模型的可解释性，在分割和合成任务上保持性能并提升鲁棒性。
2024-11-08 cs.CV cs.LG stat.ME
PH-Dropout: Practical Epistemic Uncertainty Quantification for View Synthesis
School of Informatics, The University of Edinburgh（爱丁堡大学信息学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对视图合成中认知不确定性量化缺乏高效实用方法的问题，提出PH-Dropout，这是首个直接在预训练NeRF和GS模型上运行的实时准确认知不确定性估计方法。
2024-10-11 cs.CV
From Zero-shot Learning to Conventional Supervised Classification: Unseen Visual Data Synthesis
University of Sheffield（谢菲尔德大学）；University of East Anglia（东英吉利大学）；University of Electronic Science and Technology of China（电子科技大学）；Tsinghua University（清华大学）；Northumbria University（诺森比亚大学）
鲁棒的目标识别系统通常依赖于从大量真实图像中提取强大的特征提取机制。然而，在许多实际应用中，为不断增长的新类收集足够的图像是无法实现的。在本文中，我们提出了一个新的零样本学习（Zero-shot learning，简称ZRL）框架，它可以在不获取真实图像的情况下为看不见的类合成视觉特征。使用建议的看不见的视觉数据合成（UVDS）算法，语义属性被有效地利用作为一个中间线索，在训练阶段合成看不见的视觉特征。在此之后，将人脸识别转换为传统的监督问题，即合成的视觉特征可以直接馈送到典型的分类器，如SVM。在四个基准数据集上，我们展示了使用合成的看不见的数据的好处。大量的实验结果表明，我们提出的方法显着提高国家的最先进的结果。
2017-05-04 cs.CV
A Critical Synthesis of Uncertainty Quantification and Foundation Models in Monocular Depth Estimation
Institute of Photogrammetry and Remote Sensing (IPF), Karlsruhe Institute of Technology (KIT)（摄影测量与遥感研究所（卡尔斯鲁厄理工学院））；The Ohio State University（俄亥俄州立大学）
针对单目深度估计中基础模型易出错、难可靠部署的问题，本文将五种不确定性量化方法与DepthAnythingV2融合，在四数据集上评估发现GNLL微调法性能最优，为提升模型可靠性与可解释性奠定基础。
2025-01-14 cs.AI cs.CV cs.LG
Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis
MIT（麻省理工学院）；Meta Reality Labs Research（Meta现实实验室）
由于面部动作（如嘴唇运动）包含有关语音内容的重要信息，因此视听语音增强方法比仅音频的方法更准确也就不足为奇了。然而，最先进的方法仍然难以在具有挑战性的声学环境中生成干净、逼真的语音，而没有噪声伪影和不自然的失真。在本文中，我们提出了一种新的视听语音增强框架，用于AR/VR中的高保真电信。我们的方法利用视听语音线索来生成神经语音编解码器的代码，从而能够从嘈杂的信号中高效地合成干净，逼真的语音。鉴于特定于说话者的线索在语音中的重要性，我们专注于开发适合单个说话者的个性化模型。我们证明了我们的方法在一个新的视听语音数据集上的有效性，该数据集是在一个不受约束的大词汇量环境中收集的，以及现有的视听数据集，在定量指标和人类评估研究方面都优于语音增强基线。有关定性结果，请参见https://github.com/facebookresearch/facestar/releases/download/paper_materials/video.mp4上的补充视频。
2022-03-31 cs.CV cs.LG eess.AS
Visual Dynamics: Probabilistic Future Frame Synthesis via Cross Convolutional Networks
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
我们研究的问题，从一个单一的输入图像合成的一些可能的未来帧。与传统的方法，这已经解决了这个问题，在一个确定性或非参数的方式，我们提出了一种新的方法，模型未来的帧在概率的方式。我们的概率模型使我们能够从单个输入图像中采样和合成许多可能的未来帧。未来的帧合成是具有挑战性的，因为它涉及低层次和高层次的图像和运动理解。我们提出了一种新的网络结构，即交叉卷积网络，以帮助合成未来的帧;这种网络结构将图像和运动信息分别编码为特征图和卷积核。在实验中，我们的模型表现良好的合成数据，如2D形状和动画游戏精灵，以及对现实世界的视频。我们还表明，我们的模型可以应用于任务，如视觉类比制作，并提出了一个学习的网络表示的分析。
2016-07-09 cs.CV cs.LG
VOICE: Variance of Induced Contrastive Explanations to quantify Uncertainty in Neural Network Interpretability
Georgia Institute of Technology（佐治亚理工学院）
本文提出VOICE方法，通过量化基于梯度的视觉解释技术中的预测不确定性，揭示错误预测下解释技术对归因特征的不确定性，并发现其客观指标与认知不确定性表现相似。
2024-06-01 cs.CV cs.LG
Accelerating New Product Introduction for Visual Quality Inspection via Few-Shot Diffusion-Based Defect Synthesis
Relimetrics, Inc.（Relimetrics公司）
本文提出一种端到端生成框架，通过少样本扩散基缺陷合成提升视觉检测性能，实现在领域内增强和跨领域迁移，显著提升NPI阶段的检测精度。
2026-11-03 cs.CV cs.LG
SAFE-Diff: Scale-Aware Attention and Feature-Dispersive Diffusion with Uncertainty Estimation for Contrast-Enhanced Breast MRI Synthesis
Department of Medical Imaging, Radboud University Medical Center（鲁文大学医学中心医学影像部）；Department of Radiology, Netherlands Cancer Institute（荷兰癌症研究所放射科）；Maastro Clinic（马斯垂克诊所）；Faculty of Applied Science, Macao Polytechnic University（澳门理工大学应用科学学院）；Department of Radiation Oncology, Netherlands Cancer Institute（荷兰癌症研究所放射肿瘤科）
提出SAFE-Diff模型，通过尺度感知注意力、特征分散扩散和不确定性估计，解决对比增强乳腺MRI合成中复杂病灶纹理和异质性增强模式的挑战。
2026-05-26 cs.CV
Predictive Photometric Uncertainty in Gaussian Splatting for Novel View Synthesis
QUT Centre for Robotics, Australia（昆士兰大学机器人中心，澳大利亚）；ARIAM Hub, Australia（ARIAM中心，澳大利亚）；University of Wuppertal, Germany（乌尔姆大学，德国）；University of Osnabrück, Germany（奥斯纳布吕克大学，德国）
本文提出轻量级框架，通过贝叶斯正则化线性最小二乘优化重建残差，实现像素级视图依赖性预测不确定性，提升3D高斯点散射在自主代理和安全关键应用中的可靠性。
2026-07-13 cs.CV
Self-Training Large Language Models for Improved Visual Program Synthesis With Visual Reinforcement
Northeastern University（东北大学）；NEC Laboratories America（美国NEC实验室）；UC San Diego（加州大学圣迭戈分校）
针对视觉程序缺乏训练数据的问题，本文提出用任务标注构造粗粒度奖励并对 LLM 进行强化自训练，使其在检测、组合式 VQA 和检索上媲美或超过大十倍的冻结少样本模型。
2024-04-06 cs.CV
Semantics-Guided Representation Learning with Applications to Visual Synthesis
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）；Carnegie Mellon University（卡内基梅隆大学）
学习可解释和可插值的潜在表征已经成为一个新兴的研究方向，允许研究人员理解和利用衍生的潜在空间，以进一步的应用，如视觉合成或识别。虽然大多数现有的方法得到一个可插值的潜在空间，并诱导平滑过渡的图像外观，它仍然不清楚如何观察到理想的表示，其中将包含感兴趣的语义信息。在本文中，我们的目标是学习有意义的表示，同时执行面向语义和视觉平滑的插值。为此，我们提出了一个角度三重相邻损失（ATNL），使学习的潜在表示，其分布匹配的语义信息的兴趣。在ATNL引导下的潜在空间中，我们进一步利用球面语义插值生成图像的语义扭曲，从而合成所需的视觉数据。在MNIST和CMU Multi-PIE数据集上的实验定性和定量地验证了该方法的有效性。
2020-10-21 cs.CV
Shared Latent Representation for Joint Text-to-Audio-Visual Synthesis
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出利用HierSpeech++潜在语音表示和两阶段训练实现文本到说话人脸与语音的联合生成，无需推理时真实音频，并在唇形同步和视觉真实感上优于级联方法。
2025-11-07 cs.CV
Scene Synthesis via Uncertainty-Driven Attribute Synchronization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Kuaishou Technology（快手科技）
开发深度神经网络以生成3D场景是神经合成中的一个基本问题，其直接应用于建筑CAD、计算机图形学以及生成虚拟机器人训练环境。这项任务是具有挑战性的，因为3D场景表现出不同的模式，从连续的，如对象大小和形状对之间的相对姿态，离散的模式，如对称关系的对象的出现和共现。本文介绍了一种新的神经场景合成方法，可以捕捉不同的特征模式的三维场景。我们的方法结合了基于神经网络和传统场景合成方法的优势。我们使用从训练数据中学习的参数先验分布，它提供了对象属性和相关属性的不确定性，以正则化前馈神经模型的输出。此外，我们的方法不是仅仅预测场景布局，而是预测一组过完备的属性。这种方法允许我们利用预测属性之间的基本一致性约束来修剪不可行的预测。实验结果表明，我们的方法大大优于现有的方法。生成的3D场景忠实地内插训练数据，同时保留连续和离散特征模式。
2021-09-01 cs.CV
A Critical Synthesis of Uncertainty Quantification and Foundation Models for Semantic Segmentation
Institute of Photogrammetry and Remote Sensing (IPF), Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院摄影测量与遥感研究所）
本文首次系统评估四类不确定性量化方法在语义分割基础模型上的表现，揭示预测性能、可靠性与计算成本间的权衡，为现实应用需联合优化相关指标指明方向。
2026-08-20 cs.AI cs.CV cs.LG
Uncertainty-Informed Volume Visualization using Implicit Neural Representation
IIT Kanpur（印度理工学院坎普尔分校）；Oak Ridge National Lab.（橡树岭国家实验室）；University of Utah（犹他大学）
针对深度神经网络缺乏预测不确定性估计能力的问题，本研究提出不确定性感知隐式神经表示建模标量场，评估两种深度不确定性估计技术，验证其能生成有价值的体可视化结果并提升模型可信度。
2024-08-12 cs.AI cs.CV cs.GR
Leveraging Visual Signals for Robust Token-Level Uncertainty in Vision-Language Generation
AMIAD, Pôle Recherche, Palaiseau（AMIAD研究部，帕莱索）
针对大型视觉语言模型不确定性量化中视觉信息利用不足的问题，提出基于视觉锚定的词元级不确定性量化框架VIG-TUQ，通过加权语言不确定性与视觉锚定分数，无需训练即可提升不确定性估计性能。
2026-09-10 cs.CV
Leveraging Visual Question Answering to Improve Text-to-Image Synthesis
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
从文本描述生成图像最近吸引了很多兴趣。虽然目前的模型可以生成单个物体（如鸟类和人脸）的照片级逼真图像，但合成多个物体的图像仍然非常困难。在本文中，我们提出了一种有效的方法，结合文本到图像（T2 I）合成与视觉问答（VQA），以提高图像质量和图文对齐生成的图像，利用VQA 2.0数据集。我们通过连接问题和答案（QA）对来创建额外的训练样本，并采用标准VQA模型为T2 I模型提供辅助学习信号。我们鼓励从QA对生成的图像看起来逼真，并最大限度地减少外部VQA损失。与基线相比，我们的方法将FID从27.84降低到25.38，并将R-prec从83.82%增加到84.79%，这表明使用标准VQA模型可以成功地改进T2 I合成。
2020-10-28 cs.CV
VisualSphinx: Large-Scale Synthetic Vision Logic Puzzles for RL
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）
本文提出大规模合成视觉逻辑推理数据集VisualSphinx及规则到图像的合成流水线，通过GRPO训练显著提升VLM在逻辑推理及其他相关推理任务上的性能。
2026-11-02 cs.AI cs.CV cs.LG
Audio-visual video-to-speech synthesis with synthesized input audio
Imperial College London（帝国理工学院）；University of Athens（雅典大学）
本文研究视频转语音中训练与推理均利用音频输入的效果，提出用预训练模型合成语音并与无声视频共同训练视听合成模型，在波形和梅尔频谱图目标上均有效。
2023-07-31 cs.CV cs.LG cs.SD
Extreme View Synthesis
NVIDIA（英伟达）；KAIST（韩国科学技术院）
我们提出了极端视图合成，一种新颖的视图外推的解决方案，即使输入图像的数量很小-只有两个。在这方面，遮挡和深度不确定性是两个最紧迫的问题，并随着外推程度的增加而恶化。我们遵循执行基于深度的变形和细化的传统范式，并进行了一些关键改进。首先，我们估计深度概率体积，而不仅仅是新视图的每个像素的单个深度值。这使我们能够利用具有挑战性的区域中的深度不确定性，例如深度不连续性。在使用它来获得新视图的初始估计之后，我们显式地结合学习的图像先验和深度不确定性来合成具有较少伪影的精细图像。我们的方法是第一个显示视觉上令人愉快的结果，基线放大倍数高达30倍。
2019-08-30 cs.CV
Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation
Fudan University（复旦大学）；ETH Zurich（苏黎世联邦理工学院）；Baidu Inc（百度公司）；Nanjing University（南京大学）
本文提出 Hallo，一种端到端分层音频驱动视觉合成框架，通过扩散模型、UNet 去噪器与时间对齐提升唇形、表情和姿态同步及个性化动画质量。
2024-06-16 cs.CV
CoMapGS: Covisibility Map-based Gaussian Splatting for Sparse Novel View Synthesis
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
CoMapGS提出基于共视性地图的高斯溅射方法，通过构建共视性地图、增强点云和不确定性加权监督，解决稀疏新视角合成中区域不确定性问题，在Mip-NeRF 360和LLFF数据集上超越现有方法。
2025-03-25 cs.CV cs.GR
Top-Down Visual Attention from Analysis by Synthesis
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
当前的注意力算法（例如，自我注意）是刺激驱动的，并且突出图像中的所有显著对象。然而，像人类这样的智能代理通常会根据手头的高级任务来引导他们的注意力，只关注与任务相关的对象。这种任务引导的自上而下的注意能力提供了任务自适应表示，并有助于模型推广到各种任务。在本文中，我们认为自上而下的注意力从一个经典的分析综合（AbS）的视觉角度。先前的工作表明视觉注意力和稀疏重建之间的功能等价性;我们表明，优化类似的稀疏重建目标调制的目标导向的自上而下的信号自然模拟自上而下的注意力的AbS视觉系统。我们进一步提出了综合分析视觉Transformer（AbSViT），它是一种自上而下的调制ViT模型，变分逼近AbS，实现了可控的自上而下的注意力。对于现实世界的应用程序，AbSViT在视觉语言任务（如VQA和zero-shot检索）的基线上持续改进，其中语言引导自上而下的注意力。AbSViT还可以作为通用主干，提高分类、语义分割和模型鲁棒性的性能。
2023-03-24 cs.CV
SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
提出概率生成框架SynBrain，通过BrainVAE和语义到神经映射器建模生物变异性与功能一致性，实现高保真视觉到fMRI合成，并提升下游解码性能。
2025-11-03 cs.CV cs.LG eess.IV
MUMINS: Metadata-conditioned Uncertainty-aware Medical Image Next-state Synthesis
Universitat de Barcelona（巴塞罗那大学）；Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）；Eurecat Centre Tecnològic de Catalunya（加泰罗尼亚Eurecat技术中心）
MUMINS提出一种元数据条件的不确定性感知扩散框架，通过联合扩散基线扫描与残差并在单次反向过程中预测不确定性图，高效合成医学图像下一状态，在肺CT和脑MRI上匹配或超越专用方法。
2026-10-28 cs.AI cs.CV
DiVISe: Direct Visual-Input Speech Synthesis Preserving Speaker Characteristics And Intelligibility
Shanghai Jiao Tong University（上海交通大学）；ShanghaiTech University（上海科技大学）
本文提出端到端视频到语音合成模型DiVISe，仅从视频帧直接预测梅尔频谱图，无需声学提示即可在保持说话人特征的同时提升语音可懂度，并在LRS2和LRS3数据集上优于现有方法。
2025-03-07 cs.CV cs.LG cs.MM
