Visual Scene Graphs for Audio Source Separation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
用于视觉引导的音频声源分离的现有技术方法通常假定具有特征声音的源，诸如乐器。这些方法通常忽略这些声源的视觉背景，或者避免对可能有助于更好地表征声源的对象交互进行建模，特别是当相同的对象类可能从不同的交互产生不同的声音时。为了解决这个具有挑战性的问题，我们提出了视听场景图分割器（AVSGS），这是一种新型的深度学习模型，它将场景的视觉结构嵌入为图，并将该图分割成子图，每个子图与通过共同分割音频频谱图获得的唯一声音相关联。在其核心，AVSGS使用递归神经网络，使用多头注意力发出视觉图的相互正交的子图嵌入。这些嵌入用于调节音频编码器-解码器朝向声源分离。我们的管道通过一个自我监督的任务进行端到端的训练，该任务包括使用视觉图将音频源与人工混合的声音分离。在本文中，我们还介绍了一个“在野外”的视频数据集的声音声源分离，其中包含多个非音乐源，我们称之为音频分离在野外（ASIW）。该数据集改编自AudioCaps数据集，为声源分离提供了一个具有挑战性的、自然的日常环境。在所提出的ASIW和标准MUSIC数据集上进行的彻底实验表明，我们的方法与最近的现有方法相比具有最先进的声音分离性能。
2021-09-24 cs.AI cs.CV cs.LG
Bridging High-Quality Audio and Video via Language for Sound Effects Retrieval from Visual Queries
New York University（纽约大学）；Adobe Research（奥多比研究院）
针对视频帧检索高质量音效缺乏高质量训练数据的问题，本文提出用LLM与视觉-语言模型自动构建HQ音视频对，并训练对比学习检索系统，显著提升跨域泛化与用户偏好。
2023-08-17 cs.CV cs.IR cs.MM
Learning to Separate Object Sounds by Watching Unlabeled Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；IBM Research（IBM研究院）；Facebook AI Research（Facebook人工智能研究院）
最充分地感知一个场景需要所有的感官。然而，建模对象的外观和声音是具有挑战性的：大多数自然场景和事件包含多个对象，并且音轨将所有声源混合在一起。我们提出从未标记的视频中学习视听对象模型，然后利用视觉上下文来执行新视频中的音频声源分离。我们的方法依赖于一个深度的多实例多标签学习框架来解开映射到单个视觉对象的音频基础，即使没有孤立地观察/听到这些对象。我们展示了如何恢复解开基地可以用来指导音频声源分离，以获得更好的分离，对象级的声音。我们的工作是第一个学习音频声源分离从大规模的“在野外”的视频包含多个音频源，每个视频。我们获得了视觉辅助音频声源分离和音频去噪的最先进的结果。我们的视频结果：http://vision.cs.utexas.edu/projects/separating_object_sounds/
2018-07-26 cs.CV cs.MM cs.SD
Visual Sound Localization in the Wild by Cross-Modal Interference Erasing
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
视听声源定位的任务已经得到了很好的研究，在受约束的场景，其中的音频记录是干净的。然而，在现实世界中，音频通常会受到屏幕外声音和背景噪音的污染。它们将干扰识别所需来源和建立视听联系的过程，使以前的研究不适用。在这项工作中，我们提出了干扰擦除器（IEr）框架，它解决了在野外的视听声源定位的问题。其关键思想是通过重新定义和雕刻有区别的音频表示来消除干扰。具体来说，我们观察到，由于音频信号的加性，以前只学习单个音频表示的做法是不够的。因此，我们用我们的音频实例标识符模块扩展了音频表示，当不同音量的音频信号不均匀混合时，该模块可以清楚地区分发声实例。然后，我们通过一个具有跨模态提取功能的跨模态引用模块来消除屏幕外的声音和无声的可见物体的影响。定量和定性的评估表明，我们提出的框架取得了优异的成绩，声音定位任务，特别是在现实世界的情况下。代码可在https://github.com/alvinliu0/Visual-Sound-Localization-in-the-Wild上获得。
2022-02-13 cs.CV cs.SD eess.AS
Seeing Sound: Assembling Sounds from Visuals for Audio-to-Image Generation
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Netflix（网飞公司）
提出可扩展的图像声化框架，利用视觉语言模型检索并人工配对高质量单模态图像与音频，训练出竞争力强的音频到图像生成模型。
2025-01-09 cs.CV cs.GR cs.SD
Self-Supervised Audio-Visual Soundscape Stylization
University of California, Berkeley（加州大学伯克利分校）；FAIR, Meta（Meta FAIR研究院）；University of Michigan（密歇根大学）
提出基于自监督的视听声景风格化方法，利用latent diffusion模型和自然视频中的重复声音事件，将目标场景的声音特性迁移至输入语音，并证明视觉信号能提升声音预测能力。
2024-09-22 cs.CV cs.LG cs.MM
LRS-VoxMM: A benchmark for in-the-wild audio-visual speech recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出LRS-VoxMM基准，基于VoxMM数据集，通过预处理生成适合AVSR管道的样本，覆盖更广泛场景和声学条件，并提供噪声、回声和带宽限制的评估集，实验表明其比LRS3更难，视觉信息在音频退化时作用更显著。
2026-04-30 cs.MM cs.SD eess.AS
Visual to Sound: Generating Natural Sound for Videos in the Wild
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Adobe Research（Adobe研究院）
视觉和声音作为人类传统的五种感官（视觉、听觉、味觉、嗅觉和触觉）中的两种，是人类认识世界的基本来源。在自然事件中，这两种模式往往相互关联，共同影响人类的感知。在本文中，我们提出的任务，产生声音给定的视觉输入。这些功能可以帮助实现虚拟现实中的应用程序（自动为虚拟场景生成声音），或者为视觉障碍者提供对图像或视频的额外访问。作为这个方向的第一步，我们应用基于学习的方法来生成给定输入视频帧的原始波形样本。我们在包含各种声音（例如环境声音和来自人/动物的声音）的视频数据集上评估我们的模型。我们的实验表明，生成的声音是相当逼真的，并有良好的时间同步与视觉输入。
2018-06-01 cs.CV
Audio-Visual Camera Pose Estimation with Passive Scene Sounds and In-the-Wild Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种结合方向到达谱和双耳嵌入的音频-视觉框架，用于真实世界视频中的相机姿态估计，在视觉信息受损时表现出鲁棒性。
2026-07-02 cs.CV
Audio-Visual Synchronisation in the wild
University of Oxford（牛津大学）
在本文中，我们考虑的问题，视听同步适用于视频“在野外”（即一般类超越讲话）。作为一个新的任务，我们识别和策划一个具有高视听相关性的测试集，即VGG-Sound Sync。我们比较了一些基于transformer的架构变体，这些变体专门设计用于对任意长度的音频和视觉信号进行建模，同时显着降低了训练过程中的内存需求。我们进一步对策展数据集进行深入分析，并定义了开放域视听同步的评估指标。我们将我们的方法应用于标准唇读语音基准，LRS 2和LRS 3，在各个方面进行消融。最后，我们在新的VGG-Sound Sync视频数据集中为超过160个不同的类设置了通用视听同步的第一个基准。在所有情况下，我们提出的模型优于以前的国家的最先进的显着保证金。
2021-12-08 cs.CV eess.AS
Action2Sound: Ambient-Aware Generation of Action Sounds from Egocentric Videos
University of Texas at Austin（得克萨斯大学奥斯汀分校）；FAIR, Meta（Meta FAIR研究院）
针对视频与音频弱对应导致生成不受控环境音或幻觉的问题，提出环境感知音频生成模型AV-LDM，通过解耦前景动作音与环境音并利用检索增强生成，在Ego4D等数据集上实现了与视觉内容语义和时间匹配的可控音频生成。
2024-07-25 cs.AI cs.CV cs.SD
Reconstructing Objects in-the-wild for Realistic Sensor Simulation
Waabi；University of Toronto（多伦多大学）
本文提出NeuSim方法，融合LiDAR与相机数据从稀疏野外数据重建物体精准几何与真实外观，视角合成性能优异，可生成多传感器数据用于自动驾驶感知模型评估。
2023-11-09 cs.CV cs.RO
Photo-realistic 360 Head Avatars in the Wild
Microsoft（微软）；University of Oxford（牛津大学）
为人类交流提供沉浸式3D体验需要一种方法来获得360度照片般逼真的人类化身。为了让所有人都能获得这些体验，只有像手机摄像头这样的商品硬件才能捕获创建化身所需的数据。为了从任何角度真实地渲染化身，我们需要从所有角度训练图像和相机姿势。然而，我们不能依赖于在所有图像的前景或背景中存在可跟踪的特征以用于估计姿势，特别是从头部的侧面或背面。为了克服这一点，我们提出了一种新的地标检测器训练的合成数据，以估计从360度的手机视频的人的头部用于在多阶段的优化过程中使用，创建一个照片般逼真的化身相机姿势。我们使用合成数据进行验证实验，并在从手机视频训练的360度化身上展示我们的方法。
2022-10-20 cs.CV
CLIPSep: Learning Text-queried Sound Separation with Noisy Unlabeled Videos
Sony Group Corporation（索尼集团公司）；University of California San Diego（加州大学圣地亚哥分校）
近年来，已经看到了超越语音或音乐的特定领域的声音分离朝着任意声音的通用声音分离的进展。关于通用声音分离的现有工作已经研究了在给定文本查询的情况下从音频混合中分离出目标声音。这样的文本查询声音分离系统提供用于指定任意目标声音的自然且可缩放的接口。然而，有监督的文本查询声音分离系统需要昂贵的标记的音频文本对进行训练。此外，现有数据集中提供的音频通常是在受控环境中记录的，这导致了与野外嘈杂音频的相当大的泛化差距。在这项工作中，我们的目标是通过只使用未标记的数据来接近文本查询的通用声音分离。我们建议利用视觉模态作为桥梁，学习所需的音频文本对应。CLIPSep模型首先使用对比语言-图像预训练（CLIP）模型将输入查询编码成查询向量，然后使用查询向量调节音频分离模型以分离出目标声音。虽然模型是在从未标记的视频中提取的图像-音频对上训练的，但在测试时，我们可以在zero-shot设置中使用文本输入查询模型，这要归功于CLIP模型学习的联合语言-图像嵌入。此外，野外视频通常包含屏幕外声音和背景噪声，这可能会阻碍模型学习所需的音频-文本对应关系。为了解决这个问题，我们进一步提出了一种称为噪声不变训练的方法，用于在噪声数据上训练基于查询的声音分离模型。实验结果表明，所提出的模型成功地学习文本查询的通用声音分离只使用嘈杂的未标记的视频，甚至在某些设置中实现对监督模型的竞争性能。
2023-03-03 cs.CV cs.LG cs.MM
AvatarMe: Realistically Renderable 3D Facial Reconstruction "in-the-wild"
Imperial College London（帝国理工学院）
在过去的几年里，随着生成对抗网络（GANs）的出现，许多人脸分析任务已经实现了惊人的性能，其应用包括但不限于从单个"野外"图像生成人脸和3D人脸重建。然而，据我们所知，没有一种方法可以从“野外”图像中产生高分辨率逼真的3D人脸，这可以归因于：（a）用于训练的可用数据稀缺，以及（b）缺乏可以成功应用于非常高分辨率数据的鲁棒方法。在本文中，我们介绍了AvatarMe，第一种能够从单个“野外”图像重建逼真的3D人脸的方法，其细节水平不断提高。为了实现这一目标，我们捕获了一个大型的面部形状和反射数据集，并建立在最先进的3D纹理和形状重建方法的基础上，并不断完善其结果，同时生成逼真渲染所需的每像素漫射和镜面反射分量。正如我们在一系列定性和定量实验中所展示的那样，AvatarMe的表现远远优于现有技术，并从一张低分辨率图像中重建了真实的4K × 6K分辨率3D人脸，这是第一次跨越恐怖谷。
2020-03-30 cs.CV cs.GR
Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models
Uppsala University（乌普萨拉大学）；Karolinska Institutet（卡罗林斯卡学院）
针对扩散模型在分布外退化图像修复中效果不佳的问题，提出结合退化感知CLIP模型与IR-SDE扩散模型及后验采样策略的真实场景图像修复方法，在合成与真实数据集上验证了其对多种退化的修复效果提升。
2024-04-15 cs.CV
SoundBrush: Sound as a Brush for Visual Scene Editing
POSTECH（浦项科技大学）；Inha University（仁荷大学）；Yonsei University（延世大学）
SoundBrush 提出以声音为画笔编辑视觉场景，通过将音频特征映射到 Latent Diffusion Model 的文本空间，实现声音驱动的 2D 和 3D 场景编辑，并能保留原始内容、插入发声物体。
2024-12-31 cs.CV cs.LG cs.SD
FLAME Diffuser: Wildfire Image Synthesis using Mask Guided Diffusion
The University of Arizona（亚利桑那大学）
本文提出无需训练的FLAME Diffuser框架，利用真实野火掩码与Perlin噪声引导扩散生成逼真野火图像，并通过多项指标验证其质量，用于增强野火检测与监测数据集。
2024-09-30 cs.CV
Motion Deblurring in the Wild
图像去模糊是一个非常不适定的问题，因为图像和模糊都是未知的。此外，当在野外拍摄照片时，由于空间变化的模糊和对象之间的遮挡，这项任务变得更具挑战性。由于一般图像模型的复杂性，我们提出了一种新的卷积网络结构，它直接产生清晰的图像。该网络是内置的三个阶段，并利用金字塔计划的好处，经常使用在盲反卷积。训练这样一个网络的主要困难之一是设计一个合适的数据集。虽然可以通过合成模糊一组图像来获得有用的数据，但必须在野外收集更真实的数据。为了获得这样的数据，我们使用高帧速率摄像机，并保持一帧作为清晰图像和帧平均作为相应的模糊图像。我们表明，这个现实的数据集是实现最先进的性能和处理遮挡的关键。
2017-08-29 cs.CV
WASD: A Wilder Active Speaker Detection Dataset
Instituto de Telecomunicações（电信研究所）；University of Beira Interior（贝拉Interior大学）
目前的主动说话人检测（ASD）模型在AVA-ActiveSpeaker（AVA）上取得了很好的效果，仅使用声音和面部特征。虽然这种方法适用于电影设置（AVA），但它不适合约束较少的条件。为了证明这一局限性，我们提出了一个Wilder Active Speaker Detection（WASD）数据集，通过针对当前ASD的两个关键组成部分：音频和面部，增加了难度。WASD分为5类，从最佳条件到监视设置，包含ASD的音频和面部数据战术损伤的增量挑战。我们选择了最先进的模型，并评估了它们在两组WASD中的性能：简单（合作设置）和困难（音频和/或面部被专门降级）。结果表明：1）AVA训练的模型在WASD Easy组中保持最先进的性能，而在Hard组中表现不佳，显示2）AVA和Easy数据之间的相似性;以及3）WASD中的训练不会将模型性能提高到AVA水平，特别是对于音频损伤和监视设置。这表明AVA没有为野生ASD准备模型，并且目前的方法不足以处理这种情况。建议的数据集还包含身体数据注释，为ASD提供新的来源，并可在https://github.com/Tiago-Roxo/WASD上获得。
2023-03-09 cs.CV cs.SD eess.AS
Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shanghai AI Laboratory（上海人工智能实验室）；The Hong Kong Polytechnic University（香港理工大学）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）；The Chinese University of Hong Kong（香港中文大学）
本文提出 SUPIR，通过模型扩展、多模态生成先验、文本提示、负质量提示与复原引导采样，实现真实场景下照片级图像复原。
2024-04-03 cs.CV
Improving Primate Sounds Classification using Binary Presorting for Deep Learning
LMU Munich（慕尼黑大学）
针对野生动物音频数据集质量差的问题，提出一种利用CNN对MEL频谱图子片段进行二进制预排序重标记的通用方法，在灵长类声音分类任务中显著提升了准确率和UAR分数。
2023-06-28 cs.CV cs.LG cs.SD
Neural Emotion Director: Speech-preserving semantic control of facial expressions in "in-the-wild" videos
National Technical University of Athens（雅典国立技术大学）；Foundation for Research & Technology - Hellas (FORTH)（希腊研究与技术基金会）；University of Exeter（埃克塞特大学）
在本文中，我们介绍了一种新颖的深度学习方法，用于对“野外”视频中演员的情绪状态进行照片般逼真的操作。所提出的方法是基于一个参数化的3D人脸表示的演员在输入场景中，提供了一个可靠的解纠缠的面部身份从头部姿势和面部表情。然后，它使用一种新的深域翻译框架，以一致和合理的方式改变面部表情，考虑到它们的动态。最后，改变的面部表情被用于基于专门设计的神经面部渲染器在输入场景中照片逼真地操纵面部区域。据我们所知，我们的方法是第一个能够控制演员的面部表情，甚至使用作为唯一的输入的语义标签的操纵的情绪，而在同一时间保留语音相关的嘴唇运动。我们进行了广泛的定性和定量的评价和比较，这表明我们的方法的有效性和特别有前途的结果，我们获得。我们的方法为神经渲染技术的有用应用开辟了大量新的可能性，从电影后期制作和视频游戏到照片般逼真的情感化身。
2022-03-30 cs.CV
What Do I Hear? Generating Sounds for Visuals with ChatGPT
Carnegie Mellon University（卡内基梅隆大学）
针对视觉媒体音景生成仅匹配可见内容的局限，提出利用ChatGPT等大语言模型推理能力的工作流，可生成含非可见但必要声音的沉浸式音景，涵盖场景构建、声音构思与生成环节。
2023-11-09 cs.CV cs.MM cs.SD
AutoFoley: Artificial Synthesis of Synchronized Sound Tracks for Silent Videos with Deep Learning
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
在电影制作中，福利艺术家负责创建一个覆盖配乐，帮助电影为观众带来活力。这就要求艺术家首先确定声音，这将提高听众的经验，从而加强导演的意图，为给定的场景。在本文中，我们介绍了AutoFoley，一个全自动的深度学习工具，可用于合成视频的代表性音轨。AutoFoley可用于没有与视频相关联的相应音频文件的应用程序中，或者需要识别关键场景并提供合成的强化音轨的情况下。合成声道的一个重要性能标准是与输入视频时间同步，这提供了合成声音的逼真和可信的描绘。与现有的声音预测和生成架构不同，我们的算法能够通过将插值技术和时间关系网络（TRN）结合起来，精确识别快速移动的视频剪辑中的动作和帧间关系。我们采用了一个强大的多尺度递归神经网络（RNN）与卷积神经网络（CNN），以更好地理解复杂的输入输出关联随着时间的推移。为了评估AutoFoley，我们创建并引入了一个大规模的音频视频数据集，其中包含电影中经常用作Foley效果的各种声音。我们的实验表明，合成的声音逼真地描绘了准确的时间同步的相关视觉输入。AutoFoley的人类定性测试显示，超过73%的测试对象认为生成的音轨是原始的，这是声音合成中跨模态研究的一个值得注意的进步。
2020-02-21 cs.CV cs.LG cs.SD
Sound2Vision: Generating Diverse Visuals from Audio through Cross-Modal Latent Alignment
POSTECH（浦项科技大学）；KAIST（韩国科学技术院）；Yonsei University（延世大学）
本研究提出Sound2Vision跨模态生成方法，通过音视频模态对齐将音频特征转换到视觉潜空间以生成图像，结合声源定位提升质量，在多个数据集上表现优于现有方法且具备良好泛化性。
2024-12-09 cs.CV cs.MM cs.SD
Learning an Animatable Detailed 3D Face Model from In-The-Wild Images
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck ETH Center for Learning System（马克斯·普朗克-苏黎世联邦理工学院学习系统中心）
虽然目前的单目3D人脸重建方法可以恢复精细的几何细节，他们受到一些限制。某些方法生成的面无法真实地设置动画，因为它们没有对皱纹如何随表情变化进行建模。其他方法是在高质量的面部扫描上训练的，并且不能很好地推广到野外图像。我们提出了第一种方法，回归3D人脸形状和动画的细节，是特定于个人，但随着表情的变化。我们的模型DECA（Detailed Expression Capture and Animation）经过训练，可以从由特定于人的细节参数和通用表情参数组成的低维潜在表示中稳健地生成UV位移图，而回归量则经过训练，可以从单个图像中预测细节，形状，表情，姿势和照明参数。为了实现这一点，我们引入了一种新的细节一致性损失，从依赖于表情的皱纹中分离出特定于人的细节。这种解开使我们能够通过控制表情参数，同时保持个人特定细节不变，来合成逼真的个人特定皱纹。DECA是从野外图像中学习的，没有配对的3D监督，并在两个基准上实现了最先进的形状重建精度。在野外数据的定性结果表明，DECA的鲁棒性和它的能力，解开身份和表情相关的细节，使动画重建的脸。该模型和代码可在https://deca.is.tue.mpg.de上公开获得。
2021-06-02 cs.CV
Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and Wild
Shanghai Jiao Tong University（上海交通大学）；City University of Hong Kong（香港城市大学）
盲图像质量评估（BIQA）模型的性能通过特征工程和质量回归的端到端优化得到了显着提升。然而，由于实验室模拟的图像和野外捕获的图像之间的分布变化，在具有合成失真的数据库上训练的模型在处理现实失真方面仍然特别薄弱（反之亦然）。为了应对交叉失真场景的挑战，我们开发了一个\textit{unified} BIQA模型以及一种针对合成失真和现实失真对其进行训练的方法。我们首先从各个IQA数据库中对图像进行采样，并计算每对图像中第一张图像质量较高的概率。然后，我们采用保真度损失来优化用于BIQA的深度神经网络，以在大量这样的图像对上进行。我们还明确地实施铰链约束，以规范不确定性估计在优化过程中。在六个IQA数据库上进行的广泛实验显示了学习方法在实验室和野外盲评估图像质量方面的前景。此外，我们证明了所提出的训练策略的通用性，通过使用它来改善现有的BIQA模型。
2021-02-23 cs.CV cs.LG cs.MM
UCF101: A Dataset of 101 Human Actions Classes From Videos in The Wild
University of Central Florida（中佛罗里达大学）；Center for Research in Computer Vision（计算机视觉研究中心）
我们介绍了UCF101，它是目前最大的人类行为数据集。它包括101个动作类，超过13k的剪辑和27小时的视频数据。该数据库由真实的用户上传的视频包含相机运动和杂乱的背景。此外，我们使用标准的词袋方法在这个新数据集上提供了基线动作识别结果，总体性能为44.5%。据我们所知，UCF 101是目前最具挑战性的动作数据集，因为它有大量的类，大量的剪辑，以及这些剪辑的不受约束的性质。
2012-12-03 cs.CV
MIRAGE: Towards AI-Generated Image Detection in the Wild
针对真实场景中AI生成图像检测难的问题，本文提出Mirage基准和具备反思推理能力的视觉语言模型Mirage-R1，通过两阶段训练与自适应思考策略，在多个基准上显著超越现有检测器。
2025-08-17 cs.AI cs.CV
Horizon Lines in the Wild
University of Kentucky（肯塔基大学）
地平线是一个重要的上下文属性的各种图像理解任务。因此，已经提出了许多方法来从单个图像估计其位置。这些方法通常要求图像包含特定的提示，例如消失点，共面圆和规则纹理，从而限制了它们在现实世界中的适用性。我们介绍了一个大型的，现实的评估数据集，地平线在野外（HLW），包含自然图像与标记的地平线。使用这个数据集，我们研究了卷积神经网络直接估计地平线的应用，而不需要任何显式的几何约束或其他特殊的线索。广泛的评估表明，使用我们的CNN，无论是单独使用还是与以前的几何方法结合使用，我们都可以在具有挑战性的HLW数据集和两个现有的基准数据集上获得最先进的结果。
2016-08-16 cs.CV
LumiGauss: Relightable Gaussian Splatting in the Wild
Warsaw University of Technology（华沙理工大学）；Sano Centre for Computational Medicine（萨诺计算医学中心）；IDEAS NCBR；Tooploox；Microsoft（微软）
针对无约束照片集光照与几何解耦难、现有方法保真度低的问题，提出LumiGauss技术，基于2D高斯溅射实现场景重建与可重光照，结合球谐函数优化阴影，在NeRF-OSR数据集上性能优于基线，还可适配游戏引擎快速渲染。
2024-12-07 cs.CV
3D human tongue reconstruction from single "in-the-wild" images
Imperial College London（伦敦帝国学院）；Huawei Technologies Co. Ltd（华为技术有限公司）
从单个图像进行3D人脸重建是在计算机视觉界引起越来越多兴趣的任务，特别是由于其在许多应用中的广泛使用，例如逼真的3D化身创建、姿态不变的人脸识别和人脸幻觉。自从90年代末引入3D变形模型以来，我们目睹了旨在特别解决这一任务的研究爆炸。然而，尽管主要归因于深度学习进步的来自单个图像的3D面部重建中的细节水平增加，但是在文献中的所有3D面部模型中仍然缺少诸如舌头的面部的更精细和高度可变形的组件，尽管对于3D化身表示的真实性非常重要。在这项工作中，我们提出了第一个，据我们所知，端到端的可训练管道，准确地重建3D人脸和舌头。此外，我们通过引入一种专为3D舌面生成而设计的新型GAN方法，使该管道在“野外”图像中具有鲁棒性。最后，我们向社区公开了第一个多样化的舌头数据集，包括700个不同性别、年龄和种族背景的人的1,800个原始扫描。正如我们在一系列广泛的定量和定性实验中所证明的那样，我们的模型被证明是鲁棒的，即使在不利的“野外”条件下也能真实地捕捉到3D舌头结构。
2021-06-23 cs.AI cs.CV cs.GR
DreamVVT: Mastering Realistic Video Virtual Try-On in the Wild via a Stage-Wise Diffusion Transformer Framework
ByteDance Intelligent Creation（字节跳动智能创作）
DreamVVT提出两阶段扩散Transformer框架，利用非成对数据和预训练模型先验，实现真实场景中高保真且时间一致的视频虚拟试穿。
2025-08-04 cs.CV
Relighting Images in the Wild with a Self-Supervised Siamese Auto-Encoder
University of Surrey（萨里大学）；Microsoft Corporation（微软公司）
我们提出了一个自我监督的方法，在野外的单视图图像的图像重照明。该方法基于自动编码器，该自动编码器将图像解构为两个单独的编码，分别与场景照明和内容相关。为了在没有监督的情况下解开这些嵌入信息，我们利用了一些增强操作不影响图像内容并且只影响光的方向的假设。一种新的损失函数，称为球谐损失，介绍了强制的照明嵌入转换为球谐矢量。我们在Youtube 8M和CelebA等大规模数据集上训练我们的模型。实验结果表明，该方法可以正确地估计场景照明和现实的重新照明输入图像，没有任何监督或先验形状模型。与监督方法相比，我们的方法具有相似的性能，并避免了常见的照明伪影。
2021-08-23 cs.CV
Separating Reflection and Transmission Images in the Wild
NVIDIA（英伟达）；University of Tübingen（图宾根大学）
由普通半反射器（例如玻璃窗）引起的反射会影响计算机视觉算法的性能。最先进的方法可以消除合成数据上和受控场景中的反射。然而，它们基于强假设，并且不能很好地推广到真实世界的图像。与常见的误解相反，即使使用偏振信息，真实世界的图像也具有挑战性。我们提出了一种深度学习方法来分离记录的辐照度的反射和透射分量，该方法显式地使用光的偏振特性。为了训练它，我们引入了一个精确的合成数据生成管道，它模拟真实的反射，包括那些由弯曲和非理想表面，非静态场景，和高动态范围的场景。
2018-08-16 cs.CV
WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models
Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）；University of Oxford（牛津大学）
针对传统视频虚拟试穿方法处理复杂动作与遮挡效果差、视频模型数据与算力需求高的问题，提出WildVidFit单阶段方案，用基于图像的受控扩散模型结合预训练引导提升时间一致性，在多数据集上实现流畅连贯的视频试穿效果。
2024-07-15 cs.CV
Towards Generalization of 3D Human Pose Estimation In The Wild
University of Luxembourg（卢森堡大学）
在本文中，我们提出了3DBodyTex.Pose，这是一个解决野外3D人体姿势估计任务的数据集。由于缺乏足够的数据集，对野外图像的推广仍然有限。在室内受控环境中，使用运动捕捉系统来获得人体的3D地面实况注释。3DBodyTex.Pose提供高质量和丰富的数据，包含405个不同服装和姿势的不同真实主体，以及81k图像样本，具有地面真实的2D和3D姿势注释。这些图像是从200个视点生成的，其中70个具有挑战性的极端视点。这些数据是从高分辨率纹理3D身体扫描开始创建的，并结合了各种逼真的背景。使用3DBodyTex.Pose增强的数据重新训练最先进的3D姿态估计方法显示出整体性能的良好改善，并且在具有挑战性的视点上进行测试时，每个关节的位置误差显着降低。预计3DBodyTex.Pose将为研究界提供从单目野外图像中推广3D姿态估计的新可能性。
2020-04-21 cs.CV eess.IV
Unsupervised 3D Shape Learning from Image Collections in the Wild
University of Bern（伯尔尼大学）
我们提出了一种直接从图像集合中学习物体3D表面的方法。以前的工作实现了这种能力，利用额外的手动注释，如对象姿态，3D表面模板，视频的时间连续性，手动选择的地标，和前景/背景掩模。相比之下，我们的方法不使用任何这样的注释。相反，它建立了一个生成模型，一个卷积神经网络，给定一个噪声向量样本，输出物体的3D表面和纹理以及背景图像。然后，将这3个分量与附加的随机视点向量相结合，馈送到差分渲染器，以产生采样对象和背景的视图。我们的一般原则是，如果渲染器的输出（生成的图像）是真实的，那么它的输入（生成的3D和纹理）也应该是真实的。为了实现真实感，生成模型是针对试图区分渲染器的输出和来自给定数据集的真实图像的训练器进行对抗训练的。此外，我们的生成模型可以与编码器配对，并作为自动编码器进行训练，以自动提取图像中对象的3D形状，纹理和姿态。我们训练的生成模型和编码器在真实数据和合成数据上都显示出令人鼓舞的结果，这首次证明了从图像集合中进行完全无监督的3D学习是可能的。
2018-11-27 cs.CV
FieryGS: In-the-Wild Fire Synthesis with Physics-Integrated Gaussian Splatting
School of EECS, Peking University（电子工程系，北京大学）；School of Intelligence Science and Technology, Peking University（智能科学与技术学院，北京大学）；Yuanpei College, Peking University（元培学院，北京大学）；ByteDance Seed（字节跳动种子）；Wangxuan Institute of Computer Technology, Peking University（王璇计算机技术研究所，北京大学）；Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院，北京，中国）
FieryGS通过整合物理准确的燃烧模拟与渲染，实现真实世界3D场景中逼真的火灾合成，结合多模态大语言模型进行物理材料推理，提升火灾动态的可控性和真实性。
2026-08-03 cs.CV cs.GR
Kirin: Animal Motion Generation from In-the-Wild Video
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）；University of Cambridge（剑桥大学）
针对动物动作数据稀缺的问题，提出Kirin框架，构建首个四足动物视频-文本-动作对齐大规模数据集AiM3D，开发双条件动作生成模型，实现可渲染动画动物的自动生成。
2026-09-03 cs.CV
Sound-Guided Semantic Video Generation
Korea University（高丽大学）；NVIDIA Corporation（英伟达公司）；KAIST（韩国科学技术院）
最近在StyleGAN中的成功证明了预训练的StyleGAN潜在空间对于生成逼真的视频是有用的。然而，由于难以确定StyleGAN潜在空间中的方向和幅度，视频中生成的运动通常没有语义意义。在本文中，我们提出了一个框架，利用多模态（声音-图像-文本）嵌入空间生成逼真的视频。由于声音提供了场景的时间背景，我们的框架学习生成与声音语义一致的视频。首先，我们的声音反转模块将音频直接映射到StyleGAN潜在空间。然后，我们将基于CLIP的多模态嵌入空间，以进一步提供视听关系。最后，所提出的帧生成器学习在潜在空间中找到与相应的声音相一致的轨迹，并以分层的方式生成视频。我们为声音引导视频生成任务提供了新的高分辨率景观视频数据集（视听对）。实验表明，我们的模型优于国家的最先进的方法在视频质量方面。我们进一步展示了包括图像和视频编辑在内的几个应用程序来验证我们方法的有效性。
2022-10-21 cs.AI cs.CV
LabelAny3D: Label Any Object 3D in the Wild
University of Virginia（弗吉尼亚大学）
LabelAny3D通过分析-合成框架生成高质量3D标注，提升单目3D检测性能，推动真实世界3D识别发展。
2026-01-04 cs.CV
Dressing in the Wild by Watching Dance Videos
ByteDance（字节跳动）；Sun Yat-Sen University（中山大学）
虽然在以人为中心的图像生成的最适用的方向之一的服装转移方面取得了重大进展，但现有的作品忽略了野外图像，呈现出严重的服装-人不对齐以及精细纹理细节的明显退化。因此，本文致力于在真实世界场景中进行虚拟试穿，并在真实性和自然性方面带来了根本性的改进，特别是对于宽松的服装（例如，裙子，正式礼服），具有挑战性的姿势（例如，交叉的手臂，弯曲的腿），和杂乱的背景。具体来说，我们发现，像素流擅长处理松散的服装，而顶点流是首选的硬姿势，并通过结合他们的优势，我们提出了一种新的生成网络称为wFlow，可以有效地推动服装转移到野外环境。此外，以前的方法需要成对的图像进行训练。相反，我们通过使用一个新构建的名为Dance 50 k的大规模视频数据集来减少工作量，该数据集具有自监督跨帧训练和在线循环优化。拟议中的Dance 50 k可以通过在舞蹈姿势下覆盖各种各样的服装来促进现实世界的虚拟着装。大量的实验证明了我们的wFlow在生成逼真的服装转移结果在野外图像，而不诉诸昂贵的配对数据集的优越性。
2022-03-29 cs.CV
Intrinsic Decomposition of Document Images In-the-Wild
Stony Brook University（石溪大学）；Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
自动文档内容处理受到纸张形状、不均匀和光照条件下颜色多样等造成的伪影的影响。由于需要大量的数据，对真实数据的完全监督方法是不可能的。因此，当前最先进的深度学习模型是在完全或部分合成图像上训练的。然而，文档阴影或阴影去除结果仍然受到影响，因为：（a）现有方法依赖于局部颜色统计的均匀性，这限制了它们在具有复杂文档形状和纹理的真实场景上的应用;以及（b）使用具有非现实的模拟照明条件的合成或混合数据集来训练模型。在本文中，我们解决这些问题，我们的两个主要贡献。首先，一种基于物理约束的学习方法，该方法基于固有图像形成直接估计文档反射率，该方法适用于具有挑战性的照明条件。第二，一个新的数据集，通过添加大范围的真实阴影和不同的多光源条件，明显改善了以前的合成数据集，这些数据集是为处理野外文档而专门定制的。所提出的架构以自我监督的方式工作，其中仅将合成纹理用作弱训练信号（避免了对具有阴影和反射率的解纠缠版本的非常昂贵的地面实况的需要）。所提出的方法导致一个显着的泛化文件反射率估计在现实场景中具有挑战性的照明。我们广泛评估的真实基准数据集可用于内在图像分解和文档阴影去除任务。我们的反射率估计方案，当用作OCR流水线的预处理步骤时，显示出26%的字符出错率（CER）的改善，从而证明了实用性。
2020-11-29 cs.CV
Learning to Blindly Assess Image Quality in the Laboratory and Wild
Shanghai Jiao Tong University（上海交通大学）；City University of Hong Kong（香港城市大学）
用于盲图像质量评估（BIQA）的计算模型通常在控制良好的实验室环境中训练，对真实失真的图像具有有限的概括性。类似地，针对在野外捕获的图像优化的BIQA模型不能充分处理合成失真的图像。为了应对交叉失真场景的挑战，我们开发了一个BIQA模型和一种同时在多个IQA数据库（不同失真场景）上训练它的方法。我们的方法中的一个关键步骤是在单个数据库中创建和组合图像对作为训练集，这有效地绕过了感知尺度重新对齐的问题。我们从相应的人类意见中为每一对计算连续的质量注释，表明一个图像具有更好的感知质量的概率。我们通过最小化保真度损失，在大量图像对的训练集上训练用于BIQA的深度神经网络。在六个IQA数据库上的实验表明，所提出的训练策略的优化模型是有效的，在实验室和野外盲评估图像质量，优于以前的BIQA方法的大幅度。
2020-05-20 cs.CV cs.LG eess.IV
Places in the Wild: A Large, High-Resolution RAW Photograph Dataset for Ecologically Valid Vision Research
Barnard College, Columbia University（哥伦比亚大学巴纳德学院）
本文提出了一个包含67,574张高分辨率RAW照片的数据集，通过360度视角采样覆盖260个场景类别，支持视角依赖识别、真实场景理解及自然场景统计研究。
2026-06-01 cs.CV
Extending the WILDS Benchmark for Unsupervised Adaptation
INRAE（法国国家农业、食品与环境研究院）
部署在野外的机器学习系统通常在源分布上训练，但部署在不同的目标分布上。未标记的数据可以是缓解这些分布偏移的有力杠杆点，因为它通常比标记的数据更可用，并且通常也可以从源分布之外的分布中获得。然而，现有的分布偏移基准与未标记的数据并不反映在现实世界中出现的应用程序的场景的广度。在这项工作中，我们提出了WILDS 2.0更新，它扩展了WILDS分布偏移基准测试中10个数据集中的8个，以包括在部署中实际可获得的策划的未标记数据。这些数据集涵盖了广泛的应用（从组织学到野生动物保护），任务（分类，回归和检测）和模式（照片，卫星图像，显微镜载玻片，文本，分子图）。该更新通过使用相同的标记训练，验证和测试集以及评估指标来保持与原始WILDS基准的一致性。在这些数据集上，我们系统地对利用未标记数据的最先进方法进行了基准测试，包括域不变，自训练和自监督方法，并表明它们在WILDS上的成功是有限的。为了方便方法的开发和评估，我们提供了一个开源包，它可以自动加载数据，并包含本文中使用的所有模型架构和方法。代码和排行榜可在https://wilds.stanford.edu上获得。
2022-04-24 cs.AI cs.CV cs.LG
DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation
University of Exeter（埃克塞特大学）；Imperial College London（伦敦帝国学院）；Foundation for Research and Technology-Hellas（希腊研究与技术基金会）
仅从单目RGB图像对中捕获密集的3D面部运动对于从面部表情识别到面部再现的许多应用来说是一个极具挑战性的问题。在这项工作中，我们提出了DeepFaceFlow，这是一个强大，快速，高精度的框架，用于对单目图像之间的3D非刚性面部流进行密集估计。我们的DeepFaceFlow框架在两个非常大规模的面部视频数据集上进行了训练和测试，其中一个是我们自己的集合和注释，并借助基于遮挡感知和3D的损失函数。我们进行了全面的实验，探索我们的方法的不同方面，并证明其对最先进的流和3D重建方法的性能改善。此外，我们将我们的框架在一个完整的头部国家的最先进的面部视频合成方法，并证明我们的方法在更好地表示和捕捉面部动态的能力，从而在一个高度逼真的面部视频合成。给定注册的图像对，我们的框架以约60 fps的速度生成3D流图。
2020-05-14 cs.CV
GAN Prior Embedded Network for Blind Face Restoration in the Wild
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；The Hong Kong Polytechnic University（香港理工大学）
从严重退化的人脸图像中进行盲人脸恢复是一个非常具有挑战性的问题。由于问题的高度病态性和复杂的未知退化，直接训练深度神经网络（DNN）通常不能得到可接受的结果。现有的基于生成对抗网络（GAN）的方法可以产生更好的结果，但往往会产生过度平滑的结果。在这项工作中，我们提出了一种新的方法，首先学习一个GAN来生成高质量的人脸图像，并将其嵌入到U形DNN中作为先验解码器，然后用一组合成的低质量人脸图像来微调GAN先验嵌入的DNN。GAN块被设计为确保输入到GAN的潜在代码和噪声可以分别从DNN的深特征和浅特征生成，从而控制重构图像的全局人脸结构、局部人脸细节和背景。所提出的GAN先验嵌入式网络（GPEN）易于实现，并且可以生成视觉上照片般逼真的结果。我们的实验表明，所提出的GPEN实现显着优于国家的最先进的BFR方法的定量和定性的结果，特别是在野外严重退化的人脸图像的恢复。源代码和模型可以在https://github.com/yangxy/GPEN上找到。
2021-05-13 cs.CV
IE-NeRF: Inpainting Enhanced Neural Radiance Fields in the Wild
Sun Yat-sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）
IE-NeRF通过引入图像修补技术，增强NeRF以处理野外动态场景中的瞬时物体，提升体积渲染质量并实现先进性能。
2024-12-08 cs.CV
VirtualFencer: Generating Fencing Bouts based on Strategies Extracted from In-the-Wild Videos
Stanford University（斯坦福大学）
VirtualFencer从自然视频中无监督提取3D击剑动作与策略，并据此生成逼真的击剑行为，支持自我博弈、与真实视频动作对弈及与职业选手交互对弈。
2025-06-30 cs.CV cs.GR
