Deep Appearance Models: A Deep Boltzmann Machine Approach for Face Modeling
Concordia University(康考迪亚大学);Carnegie Mellon University(卡内基梅隆大学)
“综合解释”人脸图像分析方法,特别是主动外观模型(AAMs)方法,已经成为近二十年来最成功的人脸建模方法之一。AAM模型具有通过使用可控参数化主成分分析(PCA)模型合成来表示人脸图像的能力。然而,AAM的合成人脸的准确性和鲁棒性高度依赖于训练集和PCA子空间的泛化能力。本文提出了一种新的深度外观模型(DAMs)的方法,一个有效的替代AAMs,准确地捕捉大变化下的人脸图像的形状和纹理。在这种方法中,三个关键组成部分表示在分层建模使用深度玻尔兹曼机(DBM)鲁棒地捕捉面部形状和外观的变化。因此,在各种具有挑战性的条件下,DAM在推断新人脸图像的表示方面优于AAM。在各种应用中评估所提出的方法,以证明其鲁棒性和能力,即面部超分辨率重建,面部偏角重建或面部额化,面部遮挡去除和年龄估计使用具有挑战性的人脸数据库,即标记的面部零件在野外(LFPW),海伦和FG-NET。与AAM和其他基于深度学习的方法相比,所提出的DAM在这些应用中取得了有竞争力的结果,因此这显示了它们在处理遮挡、面部表示和重建方面的优势。
2017-12-21 cs.CV
SuperCarver: Texture-Consistent 3D Geometry Super-Resolution for High-Fidelity Surface Detail Generation
Tencent Games, China(腾讯游戏,中国);Department of Computer Science & Engineering, Texas A & M University(电子与计算机工程系,德克萨斯A&M大学);Department of Computer Science, City University of Hong Kong(计算机科学系,香港城市大学)
提出SuperCarver,一种3D几何超分辨率管线,通过先验引导的法线扩散模型和噪声鲁棒的逆渲染,为粗糙网格补充纹理一致的表面细节,实现高保真细节生成。
2026-06-18 cs.CV
DeFMO: Deblurring and Shape Recovery of Fast Moving Objects
ETH Zurich(苏黎世联邦理工学院);Microsoft Mixed Reality and AI Zurich Lab(微软苏黎世混合现实与人工智能实验室);Google Research(谷歌研究院);Czech Technical University in Prague(布拉格捷克理工大学)
高速移动的物体在用相机捕捉时显得非常模糊。当对象具有复杂的形状或纹理时,模糊的外观尤其模糊。在这种情况下,传统的方法,甚至人类,都无法恢复对象的外观和运动。我们提出了一种方法,给定一个单一的图像与其估计的背景,输出对象的外观和位置,在一系列的子帧,就好像由高速相机(即时间超分辨率)捕获。所提出的生成模型将模糊对象的图像嵌入到潜在的空间表示中,解开背景,并呈现清晰的外观。受图像形成模型的启发,我们设计了新的自监督损失函数项,以提高性能并显示出良好的泛化能力。所提出的DeFMO方法是在复杂的合成数据集上训练的,但它在来自多个数据集的真实数据上表现良好。DeFMO优于现有技术,并生成高质量的时间超分辨率帧。
2021-03-30 cs.CV cs.GR
Video Super-Resolution with Recurrent Structure-Detail Network
Tsinghua University(清华大学);The University of Sydney(悉尼大学)
大多数视频超分辨率方法在时间滑动窗口中的相邻帧的帮助下对单个参考帧进行超分辨率。与基于递归的方法相比,它们的效率较低。在这项工作中,我们提出了一种新的经常性的视频超分辨率方法,这是有效的和高效的利用以前的帧超分辨率的当前帧。它将输入分为结构和细节分量,这些分量被馈送到由几个建议的双流结构细节块组成的循环单元。此外,隐藏状态自适应模块,允许当前帧选择性地使用隐藏状态的信息被引入,以提高其鲁棒性的外观变化和错误积累。广泛的消融研究验证了所提出的模块的有效性。在多个基准数据集上的实验表明,与现有的视频超分辨率方法相比,该方法具有更好的性能。
2020-08-02 cs.CV
HAZE-Net: High-Frequency Attentive Super-Resolved Gaze Estimation in Low-Resolution Face Images
Chonnam National University(全南国立大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
虽然已经利用深度学习技术开发了视线估计方法,但是还没有这样的方法旨在在像素宽度为50像素或更小的低分辨率人脸图像中获得准确的性能。为了解决具有挑战性的低分辨率条件下的限制,我们提出了一种高频注意超分辨率视线估计网络,即,HAZE-Net.我们的网络提高了输入图像的分辨率,并通过基于高频注意力块的超分辨率模块增强了眼睛特征和边界。此外,我们的凝视估计模块利用眼睛的高频分量以及全局外观图。我们还利用人脸的结构位置信息来近似头部姿态。实验结果表明,该方法具有强大的视线估计性能,即使在低分辨率的人脸图像与28 × 28像素。这个工作的源代码可以在https://github.com/dbseorms16/HAZE_Net/上找到。
2022-09-21 cs.CV
Face hallucination using cascaded super-resolution and identity priors
University of Ljubljana, Faculty of Electrical Engineering(卢布尔雅那大学电气工程学院);University of Notre Dame, Department of Computer Science and Engineering(圣母大学计算机科学与工程系)
在本文中,我们解决的问题,幻觉高分辨率的面部图像从未对齐的低分辨率输入在高放大倍数。我们用卷积神经网络(CNN)来解决这个问题,并提出了一种新的(深度)人脸幻觉模型,该模型将身份先验纳入学习过程。该模型由两个主要部分组成:i)级联的超分辨率网络,其放大低分辨率图像,以及ii)在训练期间充当超分辨率网络的身份先验的人脸识别模型的集合。不同于竞争超分辨率方法,通常依赖于一个单一的模型进行放大(即使放大倍数很大),我们的网络使用级联的多个SR模型,逐步放大低分辨率图像使用步骤$2\times$。这一特性使我们能够在不同的分辨率下应用监督信号(目标外观),并在多尺度上结合身份约束。我们的模型能够放大在不受约束的条件下捕获的(非常)低分辨率图像,并产生视觉上令人信服的结果。我们在大型面部图像数据集上严格评估了所提出的模型,并报告了与最先进技术相比的优越性能。
2019-02-11 cs.CV
Vision Language Modeling of Content, Distortion and Appearance for Image Quality Assessment
College of Electronic and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院);School of Computer Science, The University of Nottingham Ningbo China(宁波诺丁汉大学计算机学院);School of Computer Science, University of Nottingham(诺丁汉大学计算机学院)
本文提出 SLIQUE 盲图像质量评估模型,通过视觉-语言监督与对比学习联合建模内容、失真和外观,并构建含160余万张图像的 TADAC 文本标注数据库,实验性能优于现有方法。
2024-12-10 cs.CV
Pose-Guided High-Resolution Appearance Transfer via Progressive Training
Carnegie Mellon University(卡内基梅隆大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Tencent(腾讯);HKUST(香港科技大学)
我们提出了一种新型的姿势引导外观转移网络,用于以前所未有的图像分辨率(1024 * 1024)将给定的参考外观转移到目标姿势,分别给出参考人和目标人的图像。没有使用3D模型。相反,我们的网络利用密集的局部描述符,包括局部感知损失和局部判别器来细化细节,以从粗到细的方式逐步训练,以产生高分辨率输出,忠实地保留服装纹理和几何形状的复杂外观,同时无缝地产生幻觉,包括那些具有非遮挡的外观。我们的渐进式编码器-解码器架构可以在多个尺度上学习输入图像中固有的参考外观。在Human3.6M数据集、DeepFashion数据集和我们从YouTube收集的数据集上进行的大量实验结果表明,我们的模型可以生成高质量的图像,这些图像可以进一步用于有用的应用,例如人与人之间的服装转移和姿势引导的人类视频生成。
2022-11-25 cs.CV
Learning Expected Appearances for Intraoperative Registration during Neurosurgery
Harvard Medical School(哈佛医学院);Brigham and Women’s Hospital(布莱根妇女医院);Massachusetts Institute of Technology(麻省理工学院)
本研究提出一种通过学习预期外观实现神经外科术中患者-图像配准的新方法,将处理任务前置到术前阶段以降低低质术中图像影响,在合成数据及6例临床回顾数据上精度优于现有方法并达临床标准。
2023-10-03 cs.AI cs.CV
DeepSEE: Deep Disentangled Semantic Explorative Extreme Super-Resolution
Computer Vision Lab, ETH Zürich(苏黎世联邦理工学院计算机视觉实验室)
超分辨率(SR)是病态的。对于一个给定的低分辨率自然图像,有无限多的看似合理的高分辨率变体。目前大多数文献的目的是在一个单一的确定性的解决方案,无论是高重建保真度或照片逼真的感知质量。在这项工作中,我们提出了一个探索性的面部超分辨率框架,DeepSEE,深度解纠缠语义探索极端超分辨率。据我们所知,DeepSEE是第一种利用语义地图进行探索性超分辨率的方法。特别是,它提供了控制的语义区域,其解开的外观,它允许广泛的图像操作。我们在人脸上验证DeepSEE,放大倍数高达32倍,并探索超分辨率空间。我们的代码和模型可在https://mcbuehler.github.io/DeepSEE/上获得
2020-10-02 cs.CV cs.LG eess.IV
ROSA: Reconstructing Object Shape and Appearance Textures by Adaptive Detail Transfer
University of Bonn(波恩大学)
提出逆向渲染方法ROSA,通过空间自适应网格分辨率优化几何体,并利用基于瓦片的方法在高分辨率纹理中重建精细外观细节,克服了传统重建方法中网格低效和纹理分辨率受限的问题。
2025-01-30 cs.CV
Perceptual deep depth super-resolution
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Higher School of Economics(高等经济学院);New York University(纽约大学)
RGBD图像结合了来自各种类型深度传感器的高分辨率颜色和低分辨率深度,越来越常见。人们可以通过利用颜色信息来显著提高深度图的分辨率;深度学习方法使颜色和深度信息的组合变得特别容易。然而,融合这两个数据源可能会导致各种工件。如果使用深度图来重建3D形状,例如,对于虚拟现实应用,上采样图像的视觉质量是特别重要的。我们的方法的主要思想是使用生成的3D表面的渲染来测量深度图上采样的质量。我们证明了一个简单的基于视觉外观的损失,当与训练的CNN或简单的深度先验一起使用时,会产生显着改善的3D形状,如通过许多现有的感知度量所测量的。我们比较这种方法与现有的一些优化和学习为基础的技术。
2019-09-09 cs.CV cs.GR cs.LG
Appearance-Based Gaze Estimation Using Dilated-Convolutions
The Hong Kong University of Science and Technology(香港科技大学)
基于外观的视线估计因其广泛的应用而受到越来越多的关注。深度卷积神经网络的使用显著提高了准确性。为了进一步提高估计精度,我们专注于从眼睛图像中提取更好的特征。注视角度的相对大的变化可能导致眼睛外观的相对小的变化。我们认为,目前的凝视估计架构可能无法捕捉到这样的小变化,因为它们应用多个池化层或其他下采样层,使得高级层的空间分辨率显着降低。为了评估使用高分辨率提取的特征是否有利于视线估计,我们采用膨胀卷积来提取高级别特征,而不降低空间分辨率。在对用于目光接触检测的Columbia Gaze数据集和用于3D凝视向量回归的MPIIGaze数据集进行的跨学科实验中,与没有扩张卷积的类似网络相比,所得到的扩张网络实现了显着(高达20.8%)的增益。我们提出的Dilated-Net在Columbia Gaze和MPIIGaze数据集上都取得了最先进的结果。
2019-03-18 cs.CV
Benefits of temporal information for appearance-based gaze estimation
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心);Facebook Reality Labs(Facebook现实实验室);Texas State University(德克萨斯州立大学)
现有的基于外观的注视估计方法通常基于深度学习技术,主要依赖于静态特征。然而,眼睛注视的时间轨迹包含用于估计给定注视点的有用信息。例如,当应用于具有现成相机的远程或低分辨率图像场景时,利用顺序眼睛注视信息的方法显示出有希望的结果。对于更高分辨率/帧速率成像系统,来自时间注视轨迹的贡献的大小还不清楚,在更高分辨率/帧率成像系统中,捕获关于眼睛的更详细的信息。在本文中,我们研究了使用高分辨率、高帧速率头戴式虚拟现实系统捕获的眼睛图像的时间序列是否可以被利用来增强用于注视估计的端到端基于外观的深度学习模型的准确性。性能进行比较,对一个静态的模型版本。结果表明,时间信息,特别是垂直分量的凝视,具有显著的好处。
2020-05-24 cs.CV cs.LG
Learning a High Fidelity Pose Invariant Model for High-resolution Face Frontalization
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心);Center for Excellence in Brain Science and Intelligence Technology, CASIA(中国科学院自动化研究所脑科学与智能技术卓越创新中心);University of Chinese Academy of Sciences(中国科学院大学)
面部正面化是指从给定的轮廓合成面部的正面视图的过程。由于自遮挡和外观失真在野外,这是非常具有挑战性的恢复忠实的结果,并保留纹理细节在一个高分辨率。本文提出了一种高保真姿态不变模型(HF-PIM),以产生摄影和身份保持的结果。HF-PIM通过一种新颖的纹理扭曲过程对轮廓进行正面化,并利用密集的对应字段来绑定2D和3D表面空间。我们将变形的先决条件分解为稠密对应场估计和面部纹理图恢复,这两个问题都可以通过深度网络很好地解决。与那些依赖于3D数据的重建方法不同,我们还提出了对抗残差字典学习(ARDL)来监督人脸纹理图的恢复。在受控和非受控环境下的详尽实验表明,该方法不仅提高了姿态不变人脸识别的性能,而且显着提高了高分辨率的正面化外观。
2018-10-06 cs.CV
Dense semantic labeling of sub-decimeter resolution images with convolutional neural networks
University of Zurich(苏黎世大学)
超高分辨率图像(<10 cm)中的语义标注(或像素级土地覆盖分类)需要能够从空间数据中学习高级概念的统计模型,具有较大的外观变化。卷积神经网络(CNN)通过有区别地学习抽象程度不断提高的表示层次来实现这一目标。在本文中,我们提出了一个基于CNN的系统依赖于下采样,然后上采样架构。具体来说,它首先通过卷积学习高级表示的粗略空间映射,然后通过去卷积学习将它们上采样回原始分辨率。通过这样做,CNN学会以图像的原始分辨率密集地标记每个像素。这导致许多优点,包括i)最先进的数值精度,ii)改进的预测几何精度和iii)推理时间的高效率。我们在Vaihingen和波茨坦分分米分辨率数据集上测试了所提出的系统,分别涉及9厘米和5厘米分辨率的航空图像的语义标记。这些数据集由许多大的和完全注释的图块组成,允许利用空间信息对模型进行无偏评估。我们这样做是通过比较两个标准的CNN架构的建议:标准补丁分类,预测局部标签补丁只采用卷积和完整的补丁标记采用反卷积。所有的系统都比得上或优于依赖于超像素和强大的外观描述符的最先进的基线。所提出的完整补丁标记CNN大大优于这些模型,也显示出非常吸引人的推理时间。
2016-10-10 cs.CV
Head Similarity: Modeling Structured Whole-Head Appearance Beyond Face Recognition
United Arab Emirates University(阿拉伯联合酋长国大学);Nanjing University of Science and Technology(南京理工大学)
本文提出头部相似性方法,通过结构化全头外观建模扩展身份中心识别,解决非正面视角或面部线索缺失时的身份一致性问题。
2026-05-08 cs.CV
Any-scale Object Detection using Arbitrary-scaled Images
Toyota Technological Institute(丰田工业大学)
本文提出任意尺度目标检测方法,利用任意尺度超分辨率连续缩放目标图像,并通过预测尺度提议图抑制误检,解决了多尺度检测中离散表示和超分辨率误检问题。
2026-10-06 cs.CV
MUST-GAN: Multi-level Statistics Transfer for Self-driven Person Image Generation
University of Chinese Academy of Sciences(中国科学院大学)
姿态引导的人物图像生成通常涉及使用成对的源-目标图像来监督训练,这显著增加了数据准备工作并限制了模型的应用。为了解决这个问题,我们提出了一种新的多级统计传输模型,该模型将多层次的外观特征从人的图像中分离出来,并将其与姿势特征合并,以重建源人图像本身。因此,源图像可以被用作自驱动的人的图像生成的监督。具体来说,我们的模型从外观编码器中提取多层次的特征,并通过注意力机制和属性统计来学习最佳的外观表示。然后,我们将它们转移到姿势引导的生成器中进行外观和姿势的重新融合。我们的方法允许灵活的操作的人的外观和构成属性,以执行姿势转移和服装风格转移任务。在DeepFashion数据集上的实验结果表明,与最先进的监督和无监督方法相比,我们的方法具有优越性。此外,我们的方法在野外也表现良好。
2021-04-09 cs.CV
MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Osaka University(大阪大学)
基于学习的方法被认为对于无约束的注视估计(即,来自单目RGB相机的注视估计,而不需要关于用户、环境或相机的假设)工作良好。然而,目前的凝视数据集是在实验室条件下收集的,并且没有在多个数据集上评价方法。我们的工作为解决这些限制做出了三个贡献。首先,我们介绍了MPIIGaze,其中包含213,659张完整的面部图像和相应的地面实况凝视位置,这些图像是在几个月的日常笔记本电脑使用过程中从15名用户收集的。经验采样方法确保了连续的凝视和头部姿势以及眼睛外观和照明的真实变化。为了便于跨数据集评估,37,667张图像用眼角,嘴角和瞳孔中心手动注释。其次,我们提出了一个广泛的评估国家的最先进的凝视估计方法对目前的三个数据集,包括MPIIGaze。我们研究的关键挑战,包括目标凝视范围,照明条件,和面部外观的变化。我们发现,图像分辨率和使用两只眼睛影响凝视估计性能,而头部姿势和瞳孔中心的信息较少。最后,我们提出了GazeNet,这是第一个基于深度外观的凝视估计方法。对于最具挑战性的跨数据集评估,GazeNet将最先进的技术水平提高了22%(从13.9度的平均误差提高到10.8度)。
2017-11-24 cs.CV
Event-based Motion & Appearance Fusion for 6D Object Pose Tracking
Event-driven Perception for Robotics, Istituto Italiano di Tecnologia, Italy(事件驱动感知机器人实验室,意大利理工学院);Humanoid Sensing and Perception, Istituto Italiano di Tecnologia, Italy(人形感知与感知,意大利理工学院);University of Genoa, Genoa, Italy(热那亚大学,意大利)
提出一种结合事件相机高时间分辨率优势的无学习方法,通过事件光流传播姿态并利用模板匹配校正,在高速运动物体上达到或超越现有算法性能。
2026-05-26 cs.CV
ReMOTS: Self-Supervised Refining Multi-Object Tracking and Segmentation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所);UISEE Technology (Beijing) Co. Ltd.(北京驭势科技有限公司);Kyoto University(京都大学)
我们的目标是通过细化来提高多目标跟踪和分割(MOTS)的性能。然而,它仍然具有挑战性的改进MOTS结果,这可能是由于外观特征不适应目标视频,也很难找到合适的阈值来区分它们。为了解决这个问题,我们提出了一个自我监督的细化MOTS(即,ReMOTS)框架。从数据关联的角度来看,ReMOTS主要采取四个步骤来细化MOTS结果。(1)使用预测掩码训练外观编码器。(2)关联相邻帧之间的观测以形成短期轨迹。(3)使用短期tracklet作为可靠的伪标签来训练外观编码器。(4)利用从统计信息自动获得的所采用的外观特征和阈值将短期tracklet合并到长期tracklet。使用ReMOTS,我们在CVPR 2020 MOTS挑战1中达到了$1^{st}$的位置,sMOTSA评分为$69.9$。
2021-01-13 cs.CV
MsCGAN: Multi-scale Conditional Generative Adversarial Networks for Person Image Generation
Anhui University(安徽大学)
合成具有任意姿态的高质量人物图像具有挑战性。本文提出了一种新的多尺度条件生成对抗网络(MsCGAN),旨在将输入的条件人物图像转换为任意给定目标姿态的合成图像,其外观和纹理与输入图像一致。MsCGAN是一个多尺度对抗网络,由两个生成器和两个鉴别器组成。一个生成器将条件人物图像转换为目标姿态的全局粗图像,另一个是通过局部增强网络来增强合成人物图像的细节质量。然后,两个生成器的输出被合并为合成的、判别式的和高分辨率的图像。另一方面,合成图像被下采样到多个分辨率,作为多尺度小波网络的输入。提出的多尺度生成器和鉴别器处理不同层次的视觉特征,可以有利于合成高分辨率的人与现实的外观和纹理的图像。在Market-1501和DeepFashion数据集上进行了实验,定性和定量结果都证明了所提出的MsCGAN的优越性能。
2020-03-05 cs.CV
High Resolution Face Completion with Multiple Controllable Attributes via Fully End-to-End Progressive Generative Adversarial Networks
North Carolina State University(北卡罗来纳州立大学)
我们提出了一种深度学习方法,用于具有多个可控属性(例如,微笑着,戴着面具。人脸补全需要理解局部和全局的结构意义和外观一致性,以填充输入图像中内容未出现在其他地方的“洞”。这是一项具有挑战性的任务,其难度在高分辨率、“洞”的复杂性和填充碎片的可控属性方面显著增加。我们的系统通过学习一个完全端到端的框架来解决这些挑战,该框架通过编码可控属性的条件向量从低分辨率到高分辨率逐步训练生成对抗网络(GANs)。我们设计了新颖的网络架构,以有效和高效地利用跨多个尺度的信息。我们引入了新的损失函数,鼓励急剧完成。我们表明,我们的系统可以使用单个前馈计算完成具有较大结构和外观变化的人脸,对于1024 x 1024分辨率的图像,平均推理时间为0.007秒。我们还进行了一项试点人体研究,表明我们的方法在排名分析方面优于最先进的人脸补全方法。代码将在发布时发布。
2018-01-23 cs.CV cs.GR
Deep Kinship Verification via Appearance-shape Joint Prediction and Adaptation-based Approach
University of Southern California(南加州大学);Samsung Research America(三星美国研究院)
亲属关系验证旨在识别两张给定人脸图像之间的亲属关系。由于训练数据的缺乏和亲属间人脸相似度的变化,这是一个非常具有挑战性的问题。在这项工作中,我们建立了一个新的外观和形状为基础的深度学习管道。首先,我们采用从一般的人脸识别网络中学习到的知识来学习一般的人脸特征。然后,我们从亲属关系中学习面向亲属关系的外观和形状特征,并将它们结合起来进行最终预测。我们已经评估了广泛使用的流行的基准模型的性能,并证明了国家的最先进的优越性。
2019-05-15 cs.CV
A Neural Lip-Sync Framework for Synthesizing Photorealistic Virtual News Anchors
Deep Innovation R&D Center, Moviebook(墨迹天气深创新研发中心)
唇同步已经成为一种很有前途的技术,用于从音频信号生成嘴部运动。然而,合成一个高分辨率和真实感的虚拟新闻主播仍然具有挑战性。缺乏自然外观、视觉一致性和处理效率是现有方法的主要问题。本文提出了一种新的唇同步框架,专门设计用于生产高保真的虚拟新闻主播。一对时间卷积网络用于学习从音频信号到嘴部运动的跨模态顺序映射,随后是神经渲染网络,该网络将合成面部地图转换为高分辨率和照片级逼真的外观。这个完全可训练的框架提供了端到端的处理,在许多低延迟应用中优于传统的基于图形的方法。实验还表明,该框架在视觉外观和效率方面都优于现代基于神经的方法。
2021-05-05 cs.CV eess.AS
Multi-View Region Adaptive Multi-temporal DMM and RGB Action Recognition
人类行为识别仍然是一个重要而具有挑战性的任务。本文提出了一种新的动作识别系统。它使用了一种新的多视角区域自适应多分辨率的时间深度运动映射(MV-RAMDMM)公式结合外观信息。多流3D卷积神经网络(CNN)在区域自适应深度运动图的不同视图和时间分辨率上进行训练。多个视图被合成以增强视图不变性。基于局部运动的区域自适应权重强调和区分具有更快运动的动作的部分。还包括用于多时间分辨率外观信息(RGB)的专用3D CNN流。这些有助于识别和区分小对象之间的相互作用。这里使用预训练的3D-CNN,对每个流进行微调,以及多个类支持向量机(SVM)。在输出上使用平均分数融合。所开发的方法是能够识别人类的行动和人与物体的互动。三个公共领域的数据集,包括:MSR 3D行动,西北加州大学洛杉矶分校的多视图行动和MSR 3D日常活动被用来评估所提出的解决方案。实验结果表明,这种方法的鲁棒性相比,国家的最先进的算法。
2019-04-12 cs.CV
UniLat3D: Geometry-Appearance Unified Latents for Single-Stage 3D Generation
Huawei Inc.(华为公司);Huazhong University of Science and Technology(华中科技大学);Shanghai Jiaotong University(上海交通大学)
针对两阶段3D生成中几何与纹理不对齐及成本问题,本文提出UniLat3D,用统一VAE将二者编码为UniLat,并由单一流匹配模型直接生成,可在数秒内输出高质量3D资产。
2025-09-29 cs.AI cs.CV cs.GR
Unsupervised High-Resolution Depth Learning From Videos With Dual Networks
Tsinghua University(清华大学);Microsoft Research(微软研究院)
无监督深度学习将目标视图与从其相邻帧合成的视图之间的外观差异作为监督信号。由于监控信号仅来自图像本身,因此训练数据的分辨率显著影响性能。高分辨率图像包含更多的细粒度细节,并提供更准确的监控信号。然而,由于存储器和计算能力的限制,原始图像通常在训练期间被下采样,这会严重损失细节和视差精度。为了充分挖掘高分辨率数据所包含的信息,提出了一种简单有效的双网络结构,该结构可以直接以高分辨率图像为输入,高效地生成高分辨率、高精度的深度图。我们还提出了一个自组装注意(SA-注意)模块来处理低纹理区域。在基准KITTI和Make 3D数据集上的评估表明,我们的方法在单目深度估计任务中达到了最先进的结果。
2019-10-20 cs.CV
Fully Convolutional Networks for Dense Semantic Labelling of High-Resolution Aerial Imagery
Defence Science & Technology Group(国防科学技术集团)
高分辨率遥感图像的趋势促进了从土地使用分类向物体一级场景理解的过渡。而不是纯粹依赖于光谱内容,基于外观的图像特征发挥作用。在这项工作中,深度卷积神经网络(CNN)应用于高分辨率遥感数据的语义标记。全卷积网络(FCN)的最新进展适用于开销数据,并与其他领域一样有效。使用深度FCN推断全分辨率标记,无需下采样,从而无需反卷积或插值。为了更好地利用图像特征,预先训练的CNN在混合网络环境中对遥感数据进行微调,与从头开始训练的网络相比,结果更好。所提出的方法适用于高分辨率航空影像,精细的边界细节是很重要的标签的问题。密集的标签为ISPRS Vaihingen和波茨坦基准数据集提供了最先进的准确性。
2016-06-08 cs.CV
STRPM: A Spatiotemporal Residual Predictive Model for High-Resolution Video Prediction
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Peking University(北京大学)
虽然许多视频预测方法在低分辨率(64 $\sim$ 128)视频中获得了良好的性能,但针对高分辨率(512 $\sim$ 4K)视频的预测模型尚未得到充分探索,由于对高质量视频的需求不断增加,这更有意义。与低分辨率视频相比,高分辨率视频包含更丰富的外观(空间)信息和更复杂的运动(时间)信息。在本文中,我们提出了一个时空残差预测模型(STRPM)的高分辨率视频预测。一方面,我们提出了一个时空编解码方案,以保持更多的时空信息的高分辨率视频。通过这种方式,可以极大地保留每个帧的外观细节。另一方面,我们设计了一个残差预测记忆(RPM),它专注于建模的时空残差特征(STRF)之间的前一帧和未来的帧,而不是整个帧,这可以极大地帮助捕获复杂的运动信息在高分辨率视频。此外,建议RPM可以监督空间编码器和时间编码器,以提取不同的特征,在空间域和时间域,分别。此外,所提出的模型使用具有学习感知损失(LP损失)的生成对抗网络(GANs)进行训练,以提高预测的感知质量。实验结果表明,与现有的各种方法相比,STRPM可以产生更令人满意的结果。
2022-03-30 cs.CV cs.LG
Single-Image 3D Human Digitization with Shape-Guided Diffusion
Kuwait University(科威特大学);Meta;University of Maryland(马里兰大学)
提出一种利用形状引导扩散模型,从单张图像生成一致、高分辨率、照片级真实的三维人体网格的方法,优于现有技术。
2023-11-15 cs.CV
Looking Beyond Appearances: Synthetic Training Data for Deep CNNs in Re-identification
Norwegian University of Science and Technology(挪威科技大学);University of Verona(维罗纳大学);Sapienza Rome University(罗马第一大学)
重新识别通常是通过对一个对象的外观进行编码来进行的,这表明人们不会改变他们的服装。在本文中,我们克服了这一限制,提出了一个框架的基础上,深卷积神经网络,SOMAnet,另外模型的其他歧视方面,即,结构属性的人的身材(例如,身高,肥胖,性别)。我们的方法在许多方面都是独一无二的。首先,SOMAnet是基于Inception架构的,与通常的siamese框架不同。这节省了昂贵的数据准备(跨相机配对图像),并允许理解网络学习到的内容。其次,最值得注意的是,训练数据由合成的100K实例数据集SOMAset组成,SOMAset由真实感人体生成软件创建。合成数据代表了真实图像与样本的完全控制之间的良好折衷,真实图像通常不需要重新识别,因为监控摄像机捕获低分辨率轮廓,样本的完全控制对于定制w.r.t.当前的监控场景,例如种族。SOMAnet在SOMAset上进行了训练,并在最近的重新识别基准上进行了微调,其性能优于所有竞争对手,即使穿着不同的服装也能匹配受试者。合成数据与Inception架构的结合为重新识别开辟了新的研究途径。
2018-11-13 cs.CV
GeoSynth: Contextually-Aware High-Resolution Satellite Image Synthesis
本文提出 GeoSynth,通过文本或地理位置控制全局风格,并结合图像驱动布局生成高分辨率卫星图像,在多样控制组合下展现出高质量生成与零样本泛化能力。
2024-04-09 cs.CV
StructureFlow: Image Inpainting via Structure-aware Appearance Flow
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Tencent America(腾讯美国)
最近,通过使用深度神经网络,图像修补技术已经显示出显著的改进。然而,他们中的大多数可能无法重建合理的结构或恢复细粒度的纹理。为了解决这个问题,本文提出了一个两阶段模型,将修复任务分为两个部分:结构重建和纹理生成。在第一阶段中,边缘保持的平滑图像被用来训练结构重建器,该结构重建器完成输入的缺失结构。在第二阶段,基于重建的结构,使用外观流的纹理生成器的设计,以产生图像的细节。在多个公开数据集上的实验表明了该网络的优越性能。
2019-08-11 cs.CV
Animating Landscape: Self-Supervised Learning of Decoupled Motion and Appearance for Single-Image Video Synthesis
University of Tsukuba(筑波大学);Toyohashi University of Technology(丰桥技术科学大学)
尽管最近在深度生成模型方面取得了进展,但从单个图像自动生成高质量视频仍然是一项具有挑战性的任务。本文提出了一种方法,可以创建一个高分辨率,长期的动画使用卷积神经网络(CNN)从一个单一的景观图像,我们主要集中在天空和水域。我们的关键观察是,运动(例如,移动的云)和外观(例如,天空中随时间变化的颜色)具有不同的时间尺度。因此,我们分别学习它们,并通过解耦控制来预测它们,同时通过引入潜在代码来处理这两个预测中的未来不确定性。与以前直接推断输出帧的方法不同,我们的CNN预测空间平滑的中间数据,即,通过自监督学习,即,没有明确提供的地面真相。这些中间数据不是应用于每个先前的输出帧,而是针对每个输出帧仅应用于输入图像一次。这种设计对于减轻长期预测中的误差积累至关重要,这是以前的递归方法中的基本问题。输出帧可以像电影胶片一样循环,也可以通过指定潜在代码直接控制或通过视觉注释间接控制。我们证明了我们的方法的有效性,通过比较与国家的最先进的视频预测以及外观操纵。
2019-10-16 cs.CV cs.GR
GlassesGAN: Eyewear Personalization using Synthetic Appearance Discovery and Targeted Subspace Modeling
Clarkson University(克拉克森大学);University of Ljubljana(卢布尔雅那大学)
我们提出了GlassesGAN,一种用于眼镜定制设计的新型图像编辑框架,它在图像质量,编辑真实性和连续多风格编辑能力方面设定了新的标准。为了便于眼镜GAN的编辑过程,我们提出了一个有针对性的子空间建模(TSM)过程,该过程基于一种新的机制,在预先训练的GAN生成器的潜在空间中进行(合成)外观发现,构建了一个眼镜特定的(潜在)子空间,编辑框架可以利用。此外,我们还引入了一种外观约束子空间初始化(SI)技术,该技术将给定输入图像的潜在表示集中在构造子空间的明确定义的部分中,以提高学习编辑的可靠性。我们在两个(不同的)高分辨率数据集(CelebA-HQ和SiblingsDB-HQf)上测试GlassesGAN,并将其与三个最先进的竞争对手进行比较,即,InterfaceGAN、GANSpace和MaskGAN。报告的结果表明,GlassesGAN令人信服地优于所有竞争技术,同时提供额外的功能(例如,细粒度的多样式编辑)不适用于任何竞争对手。源代码将免费提供。
2022-11-18 cs.CV eess.IV
Content-Aware Texturing for Gaussian Splatting
Inria(法国国家信息与自动化技术研究院);Université Côte D’Azur(蔚蓝海岸大学);Google(谷歌);Runway ML(Runway机器学习);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出了一种基于内容感知的高斯点散布纹理生成方法,通过自适应调整纹理分辨率来提高图像质量和参数效率。
2025-12-02 cs.CV cs.GR
Preface: A Data-driven Volumetric Prior for Few-shot Ultra High-resolution Face Synthesis
ETH Zurich(苏黎世联邦理工学院);Google(谷歌)
针对NeRF人脸合成依赖大量多视图图像的问题,提出身份条件化体积先验,利用稀疏3D对齐学习平滑潜空间,仅需2至3张任意分辨率视图即可拟合并生成超高分辨率新视角。
2023-09-28 cs.AI cs.CV cs.LG
Deep Slow Motion Video Reconstruction with Hybrid Imaging System
Texas A&M University(德州农工大学)
慢动作视频正变得越来越流行,但以极高的帧速率捕捉高分辨率视频需要专业的高速相机。为了缓解此问题,当前技术通过假设线性对象运动(其在具有挑战性的情况下是无效的)的帧内插来增加标准视频的帧速率。在本文中,我们解决这个问题,使用两个视频流作为输入,辅助视频具有高帧速率和低空间分辨率,提供时间信息,除了标准的主视频具有低帧速率和高空间分辨率。我们提出了一个两阶段的深度学习系统,包括对齐和外观估计,从混合视频输入重建高分辨率慢动作视频。对于对齐,我们建议通过利用辅助视频帧的内容来计算丢失的帧和主视频的两个现有帧之间的流。对于外观估计,我们建议使用上下文和遮挡感知网络将扭曲帧和辅助帧相结合。我们在合成生成的混合视频上训练我们的模型,并在各种测试场景中显示高质量的结果。为了证明实用性,我们展示了我们的系统在两个真正的双摄像头设置与小基线的性能。
2020-04-21 cs.CV cs.GR
Very high resolution Airborne PolSAR Image Classification using Convolutional Neural Networks
Univ. Bretagne Sud(南布列塔尼大学);IRISA(法国国家信息与自动化研究所雷恩分院);CNRS(法国国家科学研究中心)
在这项工作中,我们利用卷积神经网络(CNN)的甚高分辨率(VHR)极化SAR(PolSAR)数据的分类。由于这些数据中的异质纹理的显着外观,不仅极化特征,而且结构张量被利用来馈送CNN模型。对于深度网络,我们使用SegNet模型进行语义分割,这对应于遥感中的逐像素分类。我们对机载F-SAR数据的实验表明,对于VHR PolSAR图像,SegNet可以为分类任务提供高精度;引入结构张量和极化特征作为输入可以帮助网络更多地关注几何信息,以显着提高分类性能。
2020-04-09 cs.CV cs.LG
CHIRLA: Comprehensive High-resolution Identification and Re-identification for Large-scale Analysis
Institute for Computing Research(计算研究所)
CHIRLA是一个用于长期行人再识别的综合高分辨率数据集,包含22人、5小时视频和100万标注框,并定义了基准协议以支持现实场景中的算法评估。
2025-09-08 cs.AI cs.CV cs.LG
Multi-Sensor Object Anomaly Detection: Unifying Appearance, Geometry, and Internal Properties
ShanghaiTech University(上海科技大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);The University of Hong Kong(香港大学)
针对单传感器在工业异常检测中的局限,提出多传感器数据集MulSen-AD及基准MulSen-AD Bench,并设计决策级融合算法MulSen-TripleAD,整合外观、几何与内部模态,实现96.1% AUROC的稳健无监督检测。
2024-12-19 cs.CV cs.LG
Deep Appearance Models for Face Rendering
Facebook Reality Labs(Facebook现实实验室)
我们引入了一个深度外观模型来渲染人脸。受Active Appearance Models的启发,我们开发了一个数据驱动的渲染管道,该管道可以从多视图捕获设置中学习面部几何形状和外观的联合表示。顶点位置和视图特定的纹理建模使用深度变分自编码器,捕捉复杂的非线性效应,同时产生平滑和紧凑的潜在表示。特定于视图的纹理可以对与视图相关的效果(如镜面反射)进行建模。此外,它还可以校正源自偏差或低分辨率估计的不完美几何形状。这与传统的图形管道有很大的不同,传统的图形管道需要高度精确的几何结构以及着色模型的所有元素,以通过物理启发的光传输来实现真实感。在实践中,获得如此高的准确度是困难的,特别是对于面部的复杂和复杂的部分,例如睫毛和口腔。我们的方法自然地处理这些问题,不依赖于几何形状的精确估计。相反,着色模型通过所采用的神经网络提供的灵活性来适应几何结构中的缺陷。在推理时,我们根据摄像机的视点来调节解码网络,以便生成用于渲染的适当纹理。由此产生的系统可以实现简单地使用现有的渲染引擎,通过动态纹理与平面照明。这种表示,再加上一种新的无监督技术,用于将图像映射到面部状态,导致系统自然适合于实时交互设置,如虚拟现实(VR)。
2018-08-01 cs.CV cs.GR
Neural Voxel Renderer: Learning an Accurate and Controllable Rendering Tool
Google Research(谷歌研究院)
我们提出了一个神经渲染框架,将体素化场景映射到高质量的图像。高度纹理化的对象和场景元素的相互作用,现实地呈现我们的方法,尽管有一个粗略的表示作为输入。此外,我们的方法允许可控渲染:输入中的几何和外观修改准确地传播到输出。用户可以移动,旋转和缩放对象,更改其外观和纹理或修改灯光的位置,所有这些编辑都在最终渲染中表示。我们证明了我们的方法的有效性,通过渲染不同外观的场景,从单一的颜色每个对象复杂的,高频纹理。我们表明,我们的重新渲染网络可以生成非常详细的图像,精确地表示输入场景的外观。我们的实验表明,与替代方案相比,我们的方法实现了更准确的图像合成结果,并且还可以处理低体素网格分辨率。最后,我们展示了我们的神经渲染框架如何从真实图像和不同的类集合中捕获和忠实地渲染对象。
2020-04-06 cs.CV cs.GR
Learning a Delighting Prior for Facial Appearance Capture in the Wild
School of Software(软件学院);BNRist, Tsinghua University(清华大学计算机系);ShanghaiTech University(上海科技大学);Deemos Technology Co., Ltd.(德莫斯科技有限公司)
本文提出通过训练强大愉悦网络作为先验来约束优化,结合异构数据源实现高质量反射率估计,同时开源模型和数据集推动高精度面部捕捉研究。
2026-05-07 cs.CV cs.GR
PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields
Stanford University(斯坦福大学);Adobe Research(奥多比研究院)
神经辐射场的最新进展使得复杂场景的高保真三维重建成为可能,从而实现新颖的视图合成。然而,如何在保持照片真实感的同时有效地编辑这种表示的外观仍然有待探索。在这项工作中,我们提出了PaletteNeRF,一种新的方法,用于逼真的外观编辑的神经辐射场(NeRF)的基础上的3D颜色分解。我们的方法将每个3D点的外观分解为基于调色板的基底的线性组合(即,由一组NeRF类型函数定义的3D分割)。虽然我们的基于调色板的基础是独立于视图的,但我们还预测了一个依赖于视图的函数来捕获颜色残差(例如,镜面阴影)。在训练过程中,我们联合优化了基函数和调色板,并且我们还引入了新的正则化器来鼓励分解的空间一致性。我们的方法允许用户通过修改调色板来有效地编辑3D场景的外观。我们还扩展了我们的框架,压缩语义功能的语义感知外观编辑。我们证明,我们的技术是优于基线方法的定量和定性的外观编辑复杂的现实世界的场景。
2023-01-24 cs.CV cs.GR
SCube: Instant Large-Scale Scene Reconstruction using VoxSplats
NVIDIA(英伟达);University of Toronto(多伦多大学);Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学);National University of Singapore(新加坡国立大学);Vector Institute(矢量研究所)
本文提出 SCube,通过图像条件的分层体素潜变量扩散与 VoxSplat 表示,从少至 3 张视图快速生成大规模清晰三维场景。
2024-10-26 cs.AI cs.CV cs.GR
Sketch2Human: Deep Human Generation with Disentangled Geometry and Appearance Control
School of Creative Media, City University of Hong Kong(香港城市大学创意媒体学院);Department of Computer Science & Engineering, HKUST(香港科技大学计算机科学与工程学系);Shenzhen Research Institute of Big Data, Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)深圳大数据研究院)
提出Sketch2Human,首个由语义草图和参考图像引导的全身人体图像生成系统,基于StyleGAN-Human潜空间并设计新颖训练方案实现解耦的几何与外观控制,性能优于现有方法。
2024-04-24 cs.CV cs.GR
AgingMapGAN (AMGAN): High-Resolution Controllable Face Aging with Spatially-Aware Conditional GANs
L’Oréal Research & Innovation(欧莱雅研发与创新中心)
现有的面部老化方法和数据集产生的结果偏向于平均值,个体差异和表情皱纹往往不可见或被忽视,而有利于面部变胖等全局模式。此外,它们对面部老化的方式几乎没有控制,并且很难缩放到大图像,从而阻止了它们在许多现实世界应用中的使用。为了解决这些限制,我们提出了一种方法来改变高分辨率图像的外观,使用特定种族的老化信息和弱空间监督,以指导老化过程。我们展示了我们提出的方法在质量,控制方面的优势,以及如何在限制计算开销的同时用于高清图像。
2020-08-26 cs.AI cs.CV cs.LG
Multiview Pseudo-Labeling for Semi-supervised Learning from Video
Facebook AI Research (FAIR)(脸书人工智能研究院)
我们提出了一个多视图伪标记的方法来视频学习,一个新的框架,使用互补的意见的形式的外观和运动信息的半监督学习在视频。互补视图有助于在未标记的视频上获得更可靠的伪标签,以学习比纯监督数据更强的视频表示。虽然我们的方法利用了多个视图,但它仍然训练了一个跨外观和运动输入共享的模型,因此,通过设计,在推理时不会产生额外的计算开销。在多个视频识别数据集上,我们的方法大大优于其监督对应,并与以前在自监督视频表示学习中的标准基准上的工作相比毫不逊色。
2021-04-01 cs.AI cs.CV cs.LG
High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
NVIDIA Corporation(英伟达公司);UC Berkeley(加州大学伯克利分校)
我们提出了一种使用条件生成对抗网络(条件GANs)从语义标签映射合成高分辨率照片级真实感图像的新方法。条件GANs已经实现了各种应用,但结果往往局限于低分辨率,而且还远远不现实。在这项工作中,我们生成了2048 x1024视觉上吸引人的结果,具有新颖的对抗性损失,以及新的多尺度生成器和多尺度架构。此外,我们扩展了我们的框架,交互式视觉操纵两个额外的功能。首先,我们将对象实例分割信息,这使得对象操作,如删除/添加对象和改变对象类别。第二,我们提出了一种方法,以产生不同的结果给出相同的输入,允许用户交互式地编辑对象的外观。人类意见研究表明,我们的方法显著优于现有方法,提高了深度图像合成和编辑的质量和分辨率。
2018-08-20 cs.CV cs.GR cs.LG