HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion
Snap Inc.(Snap公司);CUHK(香港中文大学);HKU(香港大学);NTU(南洋理工大学)
针对现有文本到图像模型生成人体图像不连贯、姿势不自然的问题,提出统一框架HyperHuman,结合大规模数据集HumanVerse、潜在结构扩散模型和结构引导细化器,实现高真实感与多样化布局的人体图像生成,达到最先进性能。
2024-03-15 cs.CV
Dual Pyramid Generative Adversarial Networks for Semantic Image Synthesis
语义图像合成的目标是从语义标签映射生成照片级真实感图像。它与内容生成和图像编辑等任务高度相关。然而,当前最先进的方法仍然难以在各种尺度的图像中生成逼真的对象。特别是,小的对象往往会逐渐消失,而大的对象通常会生成为补丁的拼贴。为了解决这个问题,我们提出了一个双金字塔生成对抗网络(DP-GAN),它在所有尺度上联合学习空间自适应归一化块的条件,使得尺度信息被双向使用,并且它在不同尺度上统一监督。我们的定性和定量的结果表明,所提出的方法生成的图像中的小和大的对象看起来更真实的国家的最先进的方法生成的图像相比。
2022-10-08 cs.CV
Towards Full-to-Empty Room Generation with Structure-Aware Feature Encoding and Soft Semantic Region-Adaptive Normalization
Centre for Research and Technology Hellas(希腊研究与技术中心)
将带家具的房间图像转换为仅背景图像的任务极具挑战性,因为它需要在保持整体布局和风格的同时对场景上下文进行较大的更改。为了获得照片般逼真和结构一致的背景,现有的深度学习方法要么采用图像修补方法,要么将场景布局的学习作为一个单独的任务,然后在不完全可区分的语义区域自适应归一化模块中利用它。为了解决这些缺点,我们把场景布局生成作为一个特征线性变换问题,并提出了一个简单而有效的调整完全可微软语义区域自适应归一化模块(softSEAN)块。我们展示了在减少现实和深度估计任务中的适用性,其中我们的方法除了减轻训练复杂性和不可微性问题的优点之外,在定量和定性方面都超过了比较方法。我们的softSEAN模块可用作现有判别和生成模型的插入式模块。可在vcl3d.github.io/PanoDR/上获得实现。
2021-12-10 cs.CV
Consistent Multimodal Generation via A Unified GAN Framework
UIUC(伊利诺伊大学厄巴纳-香槟分校);Adobe Inc.(奥多比公司)
本文提出基于StyleGAN3的统一GAN框架,通过共享主干、模态特定分支及跨模态一致性判别器,实现RGB、深度和表面法线等多模态图像的一致生成,并验证了其在深度估计器训练中的价值。
2023-07-04 cs.CV
toon2real: Translating Cartoon Images to Realistic Images
Ahsanullah University of Science and Technology(阿赫桑努拉科技大学)
在图像到图像的转换方面,生成对抗网络(GANs)即使在无监督数据集中也取得了巨大的成功。在这项工作中,我们的目标是使用GAN将卡通图像转换为照片般逼真的图像。我们应用了几种最先进的模型来执行此任务;然而,它们无法执行高质量的翻译。我们观察到这两个域之间的浅差异导致了这个问题。基于这一思想,我们提出了一种基于CycleGAN模型的图像从卡通域到真实感域的转换方法。为了使我们的模型高效,我们实现了光谱归一化,这增加了我们模型的稳定性。我们展示了我们的实验结果,并表明,我们提出的模型已经实现了最低的弗雷歇初始距离得分和更好的结果相比,另一个国家的最先进的技术,单位。
2021-02-01 cs.CV eess.IV
Synthesizing Coupled 3D Face Modalities by Trunk-Branch Generative Adversarial Networks
Imperial College(帝国理工学院)
真实感三维人脸的生成对于计算机图形学和计算机视觉应用具有重要意义。通常,三维人脸生成的研究围绕着面部表面的线性统计模型。然而,这些模型不能忠实地表示人脸的纹理或法线,这是非常重要的照片逼真的人脸合成。最近,有研究表明,生成对抗网络(GANs)可用于生成高质量的人脸纹理。然而,生成过程要么省略几何体和法线,要么使用独立的过程来生成3D形状信息。在本文中,我们提出了第一种方法,产生高品质的纹理,形状和法线联合,可用于照片级逼真的合成。为此,我们提出了一种新的GAN,它可以从不同的模态生成数据,同时利用它们的相关性。此外,我们演示了如何在表情上调节生成,并创建具有各种面部表情的面孔。由于尺寸限制,本文中显示的定性结果被压缩,全分辨率结果和附带的视频可以在补充文件中找到。代码和模型可以在项目页面上找到:https://github.com/barisgecer/TBGAN。
2020-12-02 cs.CV cs.GR
Generative Image Modeling using Style and Structure Adversarial Networks
Carnegie Mellon University(卡内基梅隆大学)
当前的生成框架使用端到端学习,并通过从均匀噪声分布中采样来生成图像。然而,这些方法忽略了图像形成的最基本原则:图像是以下因素的产物:(a)结构:底层3D模型;(b)风格:映射到结构上的纹理。在本文中,我们因式分解图像生成过程,并提出风格和结构生成对抗网络(S^2-GAN)。我们的S^2-GAN有两个组件:结构-GAN生成表面法线贴图;样式-GAN将表面法线贴图作为输入并生成2D图像。除了一个真实的与生成的损失函数,我们使用一个额外的损失与计算表面法线从生成的图像。这两个GANs首先独立训练,然后通过联合学习合并在一起。我们证明了我们的S^2-GAN模型是可解释的,可以生成更逼真的图像,并且可以用于学习无监督的RGBD表示。
2016-07-26 cs.CV
BabyFlow: 3D modeling of realistic and expressive infant faces
BabyFlow通过归一化流和跨年龄表情迁移,实现婴儿面部的高精度3D建模与表情生成,提升早期发育障碍检测的准确性。
2025-12-22 cs.AI cs.CV
Abnormal Colon Polyp Image Synthesis Using Conditional Adversarial Networks for Improved Detection Performance
Norwegian University of Science and Technology (NTNU)(挪威科技大学(NTNU));Oslo University Hospital(奥斯陆大学医院);University of Oslo (UiO)(奥斯陆大学(UiO))
结肠镜检查期间自动息肉检测的主要障碍之一是缺乏标记的息肉训练图像。在本文中,我们提出了一个条件对抗网络的框架,通过生成合成息肉图像来增加训练样本的数量。使用仅表示息肉位置的正常二进制形式的息肉掩模作为输入条件图像,真实的息肉图像生成在生成对抗网络方法中是一项艰巨的任务。我们提出了一个基于边缘滤波的组合输入条件图像训练我们提出的网络。这使得能够在保持结肠镜检查图像帧的原始结构的同时生成逼真的息肉图像。更重要的是,我们提出的框架从正常的结肠镜检查图像生成合成息肉图像,其优点是相对容易获得。该网络架构基于在我们的生成器网络的每个编码部分中使用多个扩张卷积,以考虑大的感受野并避免特征图大小的许多收缩。在解码层中使用卷积进行上采样的图像处理被认为是为了防止生成的图像上的伪影。我们表明,生成的息肉图像不仅是定性逼真,但也有助于提高息肉检测性能。
2019-06-27 cs.CV eess.IV
DMP-3DAD: Cross-Category 3D Anomaly Detection via Realistic Depth Map Projection with Few Normal Samples
Niigata University(Niigata大学);University of Toyama(Toyama大学);Iwate University(Iwate大学);NingboTech University(NingboTech大学)
DMP-3DAD通过真实深度图投影实现跨类3D异常检测,无需训练即可高效检测少样本场景下的异常点云。
2026-02-11 cs.CV
BGGAN: Bokeh-Glass Generative Adversarial Network for Rendering Realistic Bokeh
Nanjing University of Information Science & Technology(南京信息工程大学);Southeast University(东南大学);Nanjing University of Science & Technology(南京理工大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Nanjing Artificial Intelligence Chip Research, Institute of Automation, Chinese Academy of Sciences (AiRiA)(中国科学院自动化研究所南京人工智能芯片创新研究院)
使用散景效果拍摄的照片通常意味着焦点对准的对象是清晰的,而焦点外的区域都是模糊的。DSLR可以很容易地自然呈现这种效果。然而,由于传感器的限制,智能手机无法直接捕捉具有景深效果的图像。在本文中,我们提出了一种名为Glass-Net的新型生成器,它不依赖于复杂的硬件来生成散景图像。同时,在模型的微调阶段,将基于GAN的方法和感知损失相结合,以渲染逼真的散景效果。此外,实例规范化(IN)在我们的网络中重新实现,这确保了我们的tflite模型与IN可以在智能手机GPU上加速。实验表明,我们的方法是能够呈现一个高品质的散景效果和处理一个$1024 \times 1536$像素的图像在1.9秒的所有智能手机芯片组。该方法在AIM 2020渲染真实散景挑战赛第1和第2轨道中排名第一。
2020-11-04 cs.CV eess.IV
Where is the disease? Semi-supervised pseudo-normality synthesis from an abnormal image
George Mason University(乔治梅森大学)
伪正常合成,其通过计算从异常图像生成伪正常图像(例如,具有病变)在从病变检测、数据增强到临床手术建议的许多方面都是关键的。然而,在缺乏病变信息的情况下生成高质量的伪正常图像具有挑战性。因此,引入了昂贵的病变分割数据来为生成模型提供病变信息并提高合成图像的质量。在本文中,我们的目标是减轻需要大量的病变分割数据时,产生伪正常图像。我们提出了一个半监督医学图像生成学习网络(SMILE),它不仅利用有限的医学图像与分割掩模,但也利用大量的医学图像没有分割掩模,以产生逼真的伪正常图像。大量的实验表明,我们的模型优于最好的国家的最先进的模型高达6%的数据增强任务和3%,在生成高质量的图像。此外,所提出的半监督学习实现可比的医学图像合成质量与监督学习模型,使用只有50的分割数据。
2021-06-24 cs.CV cs.LG eess.IV
Generating Person Images with Appearance-aware Pose Stylizer
Baidu Research(百度研究院);Carnegie Mellon University(卡内基梅隆大学);City University of Hong Kong(香港城市大学);Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Styling AI
由于图像因素之间的复杂纠缠,高质量人物图像的生成是具有挑战性的,例如,在本文中,我们提出了一种新的端到端的框架来生成逼真的人的图像的基础上给定的人的姿势和外观。我们的框架的核心是一种新的生成器称为外观感知姿态风格(APS),它通过耦合目标姿势与条件的人的外观逐步产生人类图像。该框架是高度灵活和可控的,有效地解耦各种复杂的人的形象因素在编码阶段,然后重新耦合他们在解码阶段。此外,我们提出了一种新的归一化方法,自适应补丁归一化,使特定区域的归一化,并表现出良好的性能时,采用的人的图像生成模型。在两个基准数据集上的实验表明,我们的方法能够使用任意图像和姿势输入生成视觉上吸引人和逼真的结果。
2020-07-17 cs.CV cs.GR cs.LG
Pose-Normalized Image Generation for Person Re-identification
Fudan University(复旦大学);Queen Mary University of London(伦敦玛丽女王大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
人物再识别面临两个主要挑战:缺乏交叉视角配对的训练数据和在大姿态变化的情况下学习区分身份敏感和视角不变的特征。在这项工作中,我们解决这两个问题,提出了一种新的深度的人的图像生成模型,用于合成现实的人的图像条件的姿态。该模型基于生成对抗网络(GAN),该生成对抗网络(GAN)被专门设计用于re-id中的姿态归一化,因此被称为姿态归一化GAN(PN-GAN)。通过合成的图像,我们可以学习一种新的深度re-id特征,而不受姿态变化的影响。我们表明,这个功能本身是强大的,并补充与原始图像学习的功能。重要的是,在迁移学习设置下,我们证明了我们的模型可以很好地推广到任何新的re-id数据集,而不需要收集任何训练数据进行模型微调。因此,该模型具有使re-id模型真正可扩展的潜力。
2018-04-25 cs.AI cs.CV cs.MM
Enforcing Perceptual Consistency on Generative Adversarial Networks by Using the Normalised Laplacian Pyramid Distance
University of Bristol(布里斯托大学);Universitat de Valencia(瓦伦西亚大学)
近年来,人们对通过深度学习生成图像越来越感兴趣。虽然生成图像的评估的一个重要部分通常涉及视觉检查,但将人类感知作为训练过程中的一个因素往往被忽视。在本文中,我们提出了一种替代的感知正则化器,用于使用条件生成对抗网络(cGANs)进行图像到图像的转换。为了自动完成(避免视觉检查),我们使用归一化拉普拉斯金字塔距离(NLPD)来衡量生成图像和原始图像之间的感知相似性。NLPD基于相对于不同尺度下的平均能量的局部估计来归一化系数值的原理,并且已经在涉及人类感知的不同实验中成功地进行了测试。我们将此正则化器与最初提出的L1距离进行比较,并注意到当使用NLPD时,生成的图像包含更真实的局部和全局对比度值。我们发现,使用NLPD作为正则化器提高了生成图像的图像分割精度,并改善了两个无参考图像质量指标。
2020-11-17 cs.CV cs.LG eess.IV
DogWeave: High-Fidelity 3D Canine Reconstruction from a Single Image via Normal Fusion and Conditional Inpainting
University of Wisconsin--Madison(威斯康星大学麦迪逊分校)
DogWeave通过法线融合与条件修复技术,从单张图像实现高保真3D犬只重建,优于现有方法。
2026-03-08 cs.CV
Towards a Skeleton-Based Action Recognition For Realistic Scenarios
Fraunhofer IPA(弗劳恩霍夫制造工程与自动化研究所);University of Technology Chemnitz(开姆尼茨工业大学)
理解人类行为是服务机器人的一个关键问题。然而,动作识别的总趋势是在结构化数据集上开发和测试这些系统。这就是为什么这项工作提出了一个实用的基于以太网的动作识别框架,可以在现实的场景中使用。我们的研究结果表明,虽然非增广和非归一化数据可能会产生可比的结果上的数据集的测试分裂,它是远远不是有用的另一个数据集,这是一个手动收集的数据。
2019-05-14 cs.CV cs.RO
Towards More Realistic Human-Robot Conversation: A Seq2Seq-based Body Gesture Interaction System
CloudMinds Technologies Inc.(达闼科技有限公司)
本文提出了一种新的系统,使智能机器人表现出逼真的身体姿态,同时与人类进行交流。该系统由一个听模型和一个说模型在相应的会话阶段使用。这两个模型都是从序列到序列(seq2seq)架构来合成由12个上身关键点的运动表示的身体姿势。所有提取的2D关键点首先进行3D变换,然后旋转和归一化,以丢弃不相关的信息。从Youtube上收集大量的人类对话视频并进行预处理,以分别训练听力和口语模型,之后使用测试数据集上的均方误差(MSE)和余弦相似性度量来评估这两个模型。调整后的系统实现驱动虚拟化身以及辣椒,一个物理的人形机器人,以证明我们的方法在实践中的会话交互能力的改善。
2019-11-15 cs.CV
UnrealText: Synthesizing Realistic Scene Text Images from the Unreal World
Carnegie Mellon University(卡内基梅隆大学);Megvii (Face++) Technology Inc.(旷视科技)
合成数据已成为训练场景文本检测和识别模型的重要工具。一方面,在训练场景文本识别器时,合成文字图像已被证明是真实图像的成功替代。然而,另一方面,场景文本检测器仍然严重依赖于大量的手动注释的真实世界的图像,这是昂贵的。在本文中,我们介绍了UnrealText,一种高效的图像合成方法,通过3D图形引擎渲染逼真的图像。3D合成引擎通过整体渲染场景和文本来提供逼真的外观,并允许更好的文本区域建议,同时可以访问精确的场景信息,例如正常和均匀的对象网格。综合实验验证了该方法在场景文本检测和识别上的有效性。我们还生成了多语言版本,用于未来多语言场景文本检测和识别的研究。此外,我们以区分大小写的方式重新注释场景文本识别数据集,并包括标点符号以进行更全面的评估。代码和生成的数据集发布于:https://github.com/Jyouhou/UnrealText/。
2020-08-18 cs.CV
TGRHuman: Text-Guided Realistic 3D Human Generation via Diffusion Renderer
Tianjin University(天津大学)
本研究提出TGRHuman方法,解耦3D人体的几何与纹理生成,采用显式多视图优化结合扩散渲染器,实现高效高质量文本引导的逼真3D人体生成,性能优于现有方法。
2026-08-13 cs.CV
VCR-GauS: View Consistent Depth-Normal Regularizer for Gaussian Surface Reconstruction
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Princeton University(普林斯顿大学)
针对3D高斯表面重建中法向正则化参数优化不充分、多视角法向不一致的问题,提出深度-法向正则化器、多视角置信度项及高斯致密分裂策略,在更快训练速度和100+ FPS渲染下实现更优重建质量与有竞争力的外观质量。
2024-10-30 cs.CV
VT-3DAD: Cross-Category 3D Anomaly Detection via Visual-Text Normal Space Alignment
Niigata University(Niigata大学);University of Toyama(Toyama大学);Iwate University(Iwate大学)
提出VT-3DAD无训练框架,通过冻结CLIP编码器提取多视图视觉特征和文本正常锚点,融合视觉与语义偏差实现跨类别3D异常检测,在ShapeNetPart上达到最优性能。
2026-06-03 cs.CV
Reconstructing Objects in-the-wild for Realistic Sensor Simulation
Waabi;University of Toronto(多伦多大学)
本文提出NeuSim方法,融合LiDAR与相机数据从稀疏野外数据重建物体精准几何与真实外观,视角合成性能优异,可生成多传感器数据用于自动驾驶感知模型评估。
2023-11-09 cs.CV cs.RO