Normalized Object Coordinate Space for Category-Level 6D Object Pose and Size Estimation
Stanford University(斯坦福大学);Google Inc.(谷歌公司);Princeton University(普林斯顿大学);Facebook AI Research(脸书人工智能研究院)
本文的目标是估计RGB-D图像中看不见的对象实例的6D姿态和尺寸。与“实例级”6D姿态估计任务相反,我们的问题假设在训练或测试期间没有精确的对象CAD模型可用。为了处理给定类别中不同的和不可见的对象实例,我们引入了规范化对象坐标空间(NOCS)-一个类别中所有可能的对象实例的共享规范表示。然后,我们的基于区域的神经网络被训练来直接推断从观察到的像素到这个共享对象表示(NOCS)的对应关系以及其他对象信息,如类标签和实例掩码。这些预测可以与深度图相结合,以联合估计杂乱场景中多个对象的度量6D姿态和尺寸。为了训练我们的网络,我们提出了一种新的上下文感知技术来生成大量的完全注释的混合现实数据。为了进一步改进我们的模型并评估其在真实数据上的性能,我们还提供了一个具有大环境和实例变化的完全注释的真实世界数据集。大量的实验表明,该方法能够鲁棒地估计在真实环境中看不见的对象实例的姿态和大小,同时也实现了标准的6D姿态估计基准的最先进的性能。
2019-06-23 cs.CV
Uni6Dv2: Noise Elimination for 6D Pose Estimation
SenseTime Research(商汤科技研究院);JD.com, Inc(京东集团);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA))
Uni6D是第一个采用统一骨干网络从RGB和深度图像中提取特征的6D姿态估计方法。我们发现Uni6D性能限制的主要原因是实例外部和实例内部噪声。Uni6D简单的流水线设计固有地从感受野中的背景像素引入实例外部噪声,而忽略输入深度数据中的实例内部噪声。在本文中,我们提出了一种两步去噪方法来处理Uni6D中的上述噪声。为了减少来自非实例区域的噪音,第一步使用实例分割网络来裁剪和掩蔽实例。在第二步中,提出了一个轻量级的深度去噪模块,用于在将深度特征馈送到姿态回归网络之前对其进行校准。大量的实验表明,我们的Uni6Dv2可靠,鲁棒地消除噪声,优于Uni6D,而不会牺牲太多的推理效率。它还减少了对需要昂贵标签的注释真实数据的需求。
2023-03-16 cs.CV
StyleFields: Multi-Scale AdaIN-Modulated Implicit SDFs for Coarse-to-Fine 3D Shape Reconstruction and Editing
Bilkent University(比尔肯大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
StyleFields提出一种基于DeepSDF的多尺度AdaIN调制隐式SDF架构,实现从粗到细的三维形状重建与可控风格混合,并在汽车空气动力学优化中验证了其有效性。
2026-10-08 cs.CV cs.GR
Category-Level 6D Object Pose Estimation via Cascaded Relation and Recurrent Reconstruction Networks
The Chinese University of Hong Kong(香港中文大学);T Stone Robotics Institute, The Chinese University of Hong Kong(香港中文大学T Stone机器人研究所)
类别级6D位姿估计,旨在预测不可见对象实例的位置和方向,是机器人操作和增强现实等许多场景的基础,但仍然没有解决。在标准空间中精确恢复实例3D模型并将其与观测值精确匹配是估计未见过物体的6D姿态时的关键点。在本文中,我们实现了准确的类别级的6D姿态估计通过级联关系和递归重建网络。具体而言,一种新的级联关系网络专用于高级表示学习,探索实例RGB图像,实例点云和类别形状先验之间的复杂和信息的关系。此外,我们设计了一个递归重建网络的迭代残差细化逐步提高重建和对应估计从粗到细。最后,利用实例点云与规范空间中的重建3D模型之间的估计的密集对应关系来获得实例6D姿态。我们对类别级6D姿态估计的两个公认基准进行了广泛的实验,与现有方法相比,性能有显着提高。在$3D_{75}$和$5^{\circ}2 cm$代表性的严格评估指标上,我们的方法超过了CAMERA25数据集上的$4.9\%$和$17.7\%$以及REAL275数据集上的$2.7\%$和$8.5\%$的最新技术水平SPD。代码可在https://wangjiaze.cn/projects/6DPoseEstimation.html上获得。
2021-08-19 cs.CV
InSeGAN: A Generative Approach to Segmenting Identical Instances in Depth Images
Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室);Instituto Superior Técnico, University of Lisbon(里斯本大学高等理工学院)
在本文中,我们提出了InSeGAN,这是一种无监督的3D生成对抗网络(GAN),用于分割深度图像中刚性对象的(几乎)相同实例。使用分析合成的方法,我们设计了一种新的GAN架构来合成多实例深度图像,对每个实例进行独立控制。InSeGAN接受一组码向量(例如,随机噪声向量),每个向量对由学习的隐式对象模板表示的对象的3D姿态进行编码。发生器有两个不同的模块。第一个模块,实例特征生成器,使用每个编码的姿势将隐式模板转换为每个对象实例的特征图表示。第二模块,深度图像渲染器,聚合由第一模块输出的所有单实例特征图,并生成多实例深度图像。一个插值器将所生成的多实例深度图像与真实深度图像的分布区分开。为了将我们的模型用于实例分割,我们提出了一个实例姿态编码器,该编码器学习接收生成的深度图像并为所有对象实例再现姿态代码向量。为了评估我们的方法,我们引入了一个新的合成数据集“Insta-10”,由100,000个深度图像组成,每个图像包含来自10个类之一的对象的5个实例。我们在Insta-10以及真实世界的噪声深度图像上的实验表明,InSeGAN实现了最先进的性能,通常比现有方法表现更好。
2022-01-28 cs.AI cs.CV cs.LG
No Pose Estimation? No Problem: Pose-Agnostic and Instance-Aware Test-Time Adaptation for Monocular Depth Estimation
Department of Artificial Intelligence, Kyungpook National University(人工智能系,庆北国立大学);Department of Electrical and Computer Engineering, Queen’s University(电气与计算机工程系,皇后大学);Department of Information and Communications Engineering, Pukyong National University(信息与通信工程系,浦项国立大学)
本文提出PITTA框架,通过位姿无关的测试时自适应和实例感知掩码策略,在不依赖相机位姿信息的情况下提升单目深度估计模型在动态多样化环境中的自适应性能,并在DrivingStereo和Waymo数据集上超越现有方法。
2025-11-07 cs.AI cs.CV
LighthouseGS: Indoor Structure-aware 3D Gaussian Splatting for Panorama-Style Mobile Captures
Ulsan National Institute of Science and Technology (UNIST)(乌山国立科学技术研究院)
LighthouseGS通过利用室内结构和几何先验,提升单移动设备全景式捕捉的3D点估计和视图合成性能。
2026-02-11 cs.AI cs.CV cs.GR
PREGAN: Pose Randomization and Estimation for Weakly Paired Image Style Translation
Zhejiang University(浙江大学)
在不同条件下使用训练模型而无需数据注释对于机器人应用是有吸引力的。为了实现这一目标,一类方法是将图像风格从另一个环境转换为模型训练的环境。在本文中,我们提出了一个弱配对设置的风格翻译,在两个图像中的内容与错误的姿势对齐。这些图像可以由共享重叠区域的不同条件下的不同传感器获取,例如使用激光雷达或立体相机,从晴天或雾夜获取。我们认为这种设置更实用:(i)比配对数据更容易标记;(ii)比未配对数据更好的可解释性和细节检索。为了在这样的图像之间进行翻译,我们提出PREGAN通过有意地用随机姿势变换两个图像来训练风格翻译器,并且通过可微的不可训练的姿势估计器来估计给定的随机姿势,因为风格越对齐,估计结果越好。这种对抗性训练迫使网络学习风格翻译,避免与其他变体纠缠在一起。最后,PREGAN的仿真和真实世界收集的数据进行验证,以显示的有效性。在后续任务、分类、道路分割、目标检测和特征匹配等方面的实验结果显示了该算法的实际应用潜力。https://github.com/wrld/PRoGAN
2021-01-17 cs.CV cs.RO
Arbitrary Style Transfer using Graph Instance Normalization
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
风格转换是图像合成任务,它将一个图像的风格应用于另一个图像,同时保留内容。在统计方法中,自适应实例归一化(AdaIN)通过归一化特征的均值和方差,对源图像进行白化处理,并应用目标图像的风格。然而,为每个实例计算特征统计会忽略特征之间的内在关系,因此很难在适应单个训练数据集的同时学习全局样式。在本文中,我们提出了一种新的可学习的规范化技术的风格转移使用图卷积网络,称为图实例规范化(GrIN)。该算法通过考虑实例之间共享的相似信息,使风格转移方法更加鲁棒。此外,这个简单的模块也适用于其他任务,如图像到图像的翻译或领域自适应。
2020-10-06 cs.CV
A Method for Arbitrary Instance Style Transfer
Lionsgate Entertainment Corp.(狮门娱乐公司);University of Southern California(南加州大学)
合成不同图像的风格和内容以形成视觉上连贯的图像的能力在诸如风格绘画、设计原型、图像编辑和增强现实的各种应用中具有很大的前景。然而,图像风格转移中的大多数作品都集中在将一个图像的风格转移到另一个图像的整体上,并且只有极少数作品试验了将风格转移到另一个图像的实例的方法。研究人员已经提出了一些方法来规避将样式转移到任意形状的实例的困难。在本文中,我们提出了一种拓扑启发算法,称为向前拉伸,通过将实例转换为张量表示来解决这个问题,这使我们能够直接将样式转移到这个实例本身。前向拉伸将像素映射到特定位置并在像素之间插值以将实例转换为张量。该算法允许我们引入一种方法来将任意样式转换为任意形状的实例。我们在本文中展示了我们的方法的结果。
2019-12-13 cs.CV
Batch-Instance Normalization for Adaptively Style-Invariant Neural Networks
Lunit Inc.(Lunit公司)
现实世界的图像识别经常受到视觉风格的变化的挑战,包括对象纹理,照明条件,过滤效果等,虽然这些变化已被认为是隐式处理更多的训练数据和更深的网络,最近的图像风格转移的进展表明,它也可以显式地操纵的风格信息。将这一想法扩展到一般的视觉识别问题,我们提出了批量实例规范化(BIN)来显式规范化图像中不必要的样式。考虑到某些风格特征在区分任务中起着至关重要的作用,BIN学习选择性地只规范化干扰风格,同时保留有用的风格。所提出的归一化模块可以很容易地集成到现有的网络架构中,如残差网络,并令人惊讶地提高了各种场景下的识别性能。此外,实验验证,BIN有效地适应完全不同的任务,如对象分类和风格转移,通过控制之间的权衡保留和删除风格的变化。BIN可以使用流行的深度学习框架仅用几行代码实现。
2019-04-25 cs.CV
Style Your Hair: Latent Optimization for Pose-Invariant Hairstyle Transfer via Local-Style-Aware Hair Alignment
Korea Advanced Institute of Science and Technology(韩国科学技术院)
由于发型的复杂性和微妙性,编辑发型是独特而具有挑战性的。虽然最近的方法显着改善了头发的细节,这些模型往往会产生不希望的输出时,源图像的姿态是相当不同的目标头发图像,限制了他们的现实世界的应用。HairFIT是一种姿态不变的发型转移模型,它克服了这一限制,但在保持精致的头发纹理方面仍然表现出令人不满意的质量。为了解决这些限制,我们提出了一个高性能的姿态不变发型转移模型,该模型配备了潜在优化和新提出的局部风格匹配损失。在StyleGAN2潜在空间中,我们首先探索目标头发的姿势对齐的潜在代码,并基于局部风格匹配保留详细的纹理。然后,我们的模型考虑对齐的目标头发对源的遮挡进行修补,并混合两个图像以产生最终输出。实验结果表明,我们的模型具有优势,在更大的姿势差异下转移发型和保持局部发型纹理。
2022-08-16 cs.CV
Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN
Virginia Tech(弗吉尼亚理工大学);Kuwait University(科威特大学);Adobe Research(Adobe 研究院);University of Maryland College Park(马里兰大学帕克分校)
我们提出了一个算法,重新渲染一个人从一个单一的图像下的任意姿态。现有的方法往往有困难的幻觉闭塞的内容照片逼真,同时保持身份和源图像中的细节。我们首先学习用人体对称性先验来修补人体表面纹理和源图像之间的对应场。修复的对应字段允许我们将从源视图提取的局部特征转移/扭曲到目标视图,即使在大的姿态变化下也是如此。使用简单的CNN解码器将扭曲的局部特征直接映射到RGB图像通常会导致可见的伪影。因此,我们扩展了StyleGAN生成器,使其将姿势作为输入(用于控制姿势),并使用扭曲的局部特征(用于控制外观)为潜在空间引入空间变化调制。我们表明,我们的方法相比,在定量评估和视觉比较的最先进的算法。
2021-09-13 cs.CV
Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization
Cornell University(康奈尔大学)
Gatys等人最近引入了一种神经算法,该算法以另一幅图像的风格渲染内容图像,实现了所谓的风格转移。然而,他们的框架需要一个缓慢的迭代优化过程,这限制了它的实际应用。已经提出了利用前馈神经网络的快速近似来加速神经风格转移。不幸的是,速度的提高是有代价的:网络通常与一组固定的样式绑定,不能适应任意的新样式。在本文中,我们提出了一个简单而有效的方法,第一次使任意风格的传输在实时的【形】。在我们的方法的核心是一个新的自适应实例规范化(AdaIN)层,对齐的平均值和方差的内容功能与风格功能。我们的方法实现的速度可比现有的最快的方法,而不受限制的一组预定义的样式。此外,我们的方法允许灵活的用户控制,如内容风格的权衡,风格插值,颜色和空间控制,所有使用一个单一的前馈神经网络。
2017-07-30 cs.CV
ALADIN: All Layer Adaptive Instance Normalization for Fine-grained Style Similarity
University of Surrey(萨里大学);Adobe Research(奥多比研究院)
我们提出了ALADIN(所有层AdaIN),一种新的架构搜索图像的基础上,他们的艺术风格的相似性。表示学习对于视觉搜索至关重要,其中学习的搜索嵌入中的距离反映了图像相似性。由于定义和标记风格的困难,学习一个区分细粒度风格变化的嵌入是很困难的。ALADIN采用弱监督方法来学习数字艺术品的细粒度风格相似性的表示,利用BAM-FG,这是一种从网络收集的用户生成内容分组的新型大规模数据集。ALADIN为基于样式的视觉搜索在粗标签样式数据(BAM)和BAM-FG上设定了最新的精确度;这项工作还贡献了一个新的262万图像数据集,其中包含310,000个细粒度样式分组。
2021-03-17 cs.CV
Dynamic Instance Normalization for Arbitrary Style Transfer
Zhejiang University(浙江大学);Baidu Inc.(百度公司);Stevens Institute of Technology(史蒂文斯理工学院)
现有的归一化方法依赖于仿射变换来产生任意的图像风格转换,其参数以预定义的方式计算。这种手动定义的性质最终导致用于风格和内容编码两者的高成本和共享编码器,使得风格传输系统难以部署在资源受限的环境中,如移动终端侧。在本文中,我们提出了一个新的和广义的规范化模块,称为动态实例规范化(DIN),允许灵活和更有效的任意风格的传输。DIN包括实例规范化和动态卷积,将样式图像编码为可学习的卷积参数,并在此基础上对内容图像进行风格化。与使用共享的复杂编码器来编码内容和样式的传统方法不同,所提出的DIN引入了复杂的样式编码器,但带有用于快速推理的紧凑且轻量级的内容编码器。实验结果表明,所提出的方法产生非常令人鼓舞的结果,具有挑战性的风格模式,据我们所知,第一次使任意的风格转移使用基于MobileNet的轻量级架构,导致减少因子超过20的计算成本相比,现有的方法。此外,所提出的DIN为最先进的卷积操作提供了灵活的支持,从而触发了新的功能,例如非自然图像的均匀笔划放置和自动空间笔划控制。
2019-11-16 cs.CV
NAPA: Neural Art Human Pose Amplifier
New York University(纽约大学)
这是CSCI-GA.2271-001的项目报告。我们的目标是艺术图像中的人体姿态估计。为此,我们设计了一个端到端系统,该系统使用神经风格转移进行姿势回归。我们收集了一个277风格的任意风格转移集,并建立了一个艺术的281图像测试集。我们直接在测试集上运行姿势回归,并显示出令人鼓舞的结果。对于姿态回归,我们提出了一个2d诱导的骨骼图,从该骨骼图中提升姿态。为了帮助这样的提升,我们还注释了完整的野生MPII数据集的伪3D标签。此外,我们增加了另一个风格转移作为自我监督,以改善2d。我们进行了广泛的消融研究,以分析引入的功能。我们还比较了端到端与每种风格的训练,并提到了风格转移和姿势回归之间的权衡。最后,我们将我们的模型推广到真实世界的人类数据集,并显示其作为通用姿势模型的潜力。我们在附录中解释了理论基础。我们在https://github.com/strawberryfg/NAPA-NST-HPE发布代码、数据和视频。
2020-12-15 cs.CV
Cross Attention Based Style Distribution for Controllable Person Image Synthesis
Shanghai Key Laboratory of Multidimensional Information Processing(上海多维信息处理重点实验室);Shanghai AI Laboratory(上海人工智能实验室);Key Laboratory of Advanced Theory and Application in Statistics and Data Science(统计与数据科学前沿理论及应用重点实验室);Huazhong University of Science and Technology(华中科技大学);East China Normal University(华东师范大学)
可控人物图像合成任务通过对身体姿势和外观的显式控制实现了广泛的应用。在本文中,我们提出了一个基于交叉注意的风格分布模块,计算之间的源语义风格和目标姿势的姿势转移。该模块有意地选择由每个语义表示的样式,并根据目标姿势来分配它们。交叉注意中的注意矩阵表达了所有语义下目标姿势和源风格之间的动态相似性。因此,它可以用来路由的颜色和纹理从源图像,并进一步约束的目标解析图,以达到更清晰的目标。同时,为了准确地编码源外观,还增加了不同语义风格之间的自注意。我们的模型的有效性进行了验证定量和定性的位姿转移和虚拟试穿任务。
2022-08-01 cs.CV
StyleTokenizer: Defining Image Style by a Single Instance for Controlling Diffusion Models
Ant Group(蚂蚁集团)
本文提出StyleTokenizer方法,通过风格分词器将单张参考图像的风格表示与文本表示对齐,实现零样本风格控制图像生成,并构建Style30k数据集训练风格特征提取器,有效解决了图像风格控制与文本语义保持之间的冲突。
2024-09-04 cs.CV
SIAN: Style-Guided Instance-Adaptive Normalization for Multi-Organ Histopathology Image Synthesis
University of Idaho(爱达荷大学)
现有的用于组织病理学图像合成的深度神经网络无法生成与不同器官对齐的图像样式,并且无法生成聚类细胞核的准确边界。为了解决这些问题,我们提出了一种风格引导的实例自适应归一化(SIAN)方法来合成逼真的颜色分布和纹理的组织病理学图像从不同的器官。SIAN包括语义化、风格化、实例化和转调四个阶段。前两个阶段通过使用语义映射和学习的图像风格向量来合成图像语义和风格。实例化模块集成几何和拓扑信息,生成精确的细胞核边界。我们在多器官数据集上验证了所提出的方法,广泛的实验结果表明,所提出的方法比四种最先进的方法为五个器官生成更逼真的组织病理学图像。通过将所提出的方法的合成图像合并到模型训练中,实例分割网络可以实现最先进的性能。
2023-01-24 cs.CV cs.LG eess.IV
Enhancing Human Pose Estimation in Ancient Vase Paintings via Perceptually-grounded Style Transfer Learning
Friedrich Alexander University(弗里德里希-亚历山大大学);University of Bonn(波恩大学);Philipps University of Marburg(马尔堡菲利普斯大学)
本文提出通过感知锚定的风格迁移学习将自然图像适配为希腊瓶画风格,并结合自建ClassArch数据集微调模型,显著提升跨领域人体姿态估计性能。
2024-02-25 cs.CV
Pixel Sampling for Style Preserving Face Pose Editing
Ecole Centrale de Lyon(里昂中央理工学院);Beihang University(北京航空航天大学)
现有的基于自动编码器的人脸姿态编辑方法主要集中在建模的身份保持能力在姿态合成,但不能够保持适当的图像风格,这是指的颜色,亮度,饱和度等。在本文中,我们利用著名的正面/侧面光学错觉,并提出了一种新的两阶段的方法来解决上述困境,其中面部姿态操纵的任务被转换为面部修复。通过对输入人脸中的像素点进行选择性采样,并利用所提出的“像素注意采样”模块对像素点的相对位置进行微调,人脸编辑结果忠实地保持了人脸的身份信息和图像风格不变。通过在修复阶段利用高维嵌入,生成更精细的细节。此外,以3D面部标志作为指导,我们的方法能够在三个自由度中操纵面部姿态,即,偏航,俯仰和滚动,从而导致更灵活的面部姿态编辑比仅仅控制偏航角,通常由当前的国家的最先进的。定性和定量评估验证了所提出的方法的优越性。
2021-06-14 cs.CV
CartoonRenderer: An Instance-based Multi-Style Cartoon Image Translator
Shanghai Jiao Tong University(上海交通大学)
基于实例的照片卡通化是图像风格化中具有挑战性的任务之一,它旨在将真实照片转换为卡通风格的图像,同时保留照片的语义内容。最先进的深度神经网络(DNN)方法仍然无法对野外输入的照片产生令人满意的结果,特别是对于具有高对比度和充满丰富纹理的照片。这是因为:卡通风格的图像往往具有平滑的颜色区域和强调的边缘,这与要求清晰语义内容的真实照片相矛盾,即,纹理、形状等。以前的方法难以同时满足卡通风格的纹理和保持语义内容。在这项工作中,我们提出了一个新的“CartoonRenderer”框架,利用一个单一的训练模型来生成多种卡通风格。简而言之,我们的方法将照片映射到特征模型,并将特征模型渲染回图像空间。特别是,卡通化是通过进行一些变换操作的特征空间与我们提出的软AdaIN。大量的实验结果表明,我们的方法产生更高质量的卡通风格的图像比现有技术,具有准确的语义内容保存。此外,由于整个生成过程解耦成“建模-协调-渲染”部分,我们的方法可以很容易地处理更高分辨率的照片,这是现有方法难以解决的问题。
2019-11-14 cs.CV
Instance-Aware Domain Generalization for Face Anti-Spoofing
Shanghai Jiao Tong University(上海交通大学);Youtu Lab, Tencent(腾讯优图实验室);Deakin University(迪肯大学)
本文提出实例感知域泛化框架,通过非对称实例自适应白化、动态核生成器和类别风格组装在实例级别消除风格敏感特征,无需域标签即可提升人脸活体检测的跨场景泛化能力。
2023-04-12 cs.CV
Depth-aware Neural Style Transfer using Instance Normalization
The University of Sheffield(谢菲尔德大学)
神经风格迁移(NST)涉及视觉媒体的艺术风格化。它可以被描述为将艺术图像的风格转移到普通照片上的过程。最近,许多研究已经考虑了NST算法的深度保持能力的增强,以解决当输入内容图像包括各种深度的许多对象时发生的不期望的效果。我们的方法使用具有实例归一化层的深度残差卷积网络,该网络利用高级深度预测网络将深度保留作为内容和风格的附加损失函数进行集成。我们展示了有效保留内容图像的深度和全局结构的结果。三个不同的评估过程表明,我们的系统是能够保留的风格化的结果的结构,同时表现出风格捕捉能力和美学品质相媲美或优于国家的最先进的方法。项目页面:https://ioannoue.github.io/depth-aware-nst-using-in.html。
2022-09-23 cs.CV cs.NE
StyleMask: Disentangling the Style Space of StyleGAN2 for Neural Face Reenactment
Kingston University London(伦敦金斯顿大学);Queen Mary University of London(伦敦玛丽女王大学)
在本文中,我们解决了神经人脸重现的问题,其中,给定一对源和目标面部图像,我们需要通过同时保留源的身份特征(例如,面部形状、发型等),即使在源面部和目标面部属于不同身份的挑战性情况下也是如此。在这样做时,我们解决了现有技术作品的一些限制,即,a)它们依赖于成对的训练数据(即,源面部和目标面部具有相同的身份),b)它们在推断期间依赖于标记的数据,以及c)它们在大的头部姿势变化中不保持身份。更具体地说,我们提出了一个框架,使用不成对的随机生成的面部图像,学习解开的身份特征的脸从它的姿势,将最近推出的风格空间$\mathcal{S}$的StyleGAN2,一个潜在的表示空间,表现出显着的解开属性。通过利用这一点,我们学会了使用3D模型的监督成功地混合一对源和目标样式代码。所得到的潜在代码,随后用于重演,包括对应于面部姿势的目标只和对应于源的身份只的单元的潜在单元,导致显着改善的重演性能相比,最近的国家的最先进的方法。与现有技术相比,我们定量和定性地表明,所提出的方法即使在极端姿态变化的情况下也能产生更高质量的结果。最后,我们报告了真实图像的结果,首先将它们嵌入到预训练生成器的潜在空间中。我们将代码和预训练模型公开发布于:https://github.com/StelaBou/StyleMask
2022-09-27 cs.CV
Style and Pose Control for Image Synthesis of Humans from a Single Monocular View
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
通过对人体姿态、形状和外观的显式控制,从单个图像中对人体进行照片级真实感的重新渲染使得能够实现广泛的应用,诸如人体外观转移、虚拟试穿、运动模仿和新颖的视图合成。虽然使用基于学习的图像生成工具(如GANs)在这方面取得了重大进展,但现有方法会产生明显的伪像,如细节模糊,身体部位和服装的不切实际的扭曲以及纹理的严重变化。因此,我们提出了一种新的方法,用于合成照片级逼真的人类图像,并对姿势和基于部分的外观进行显式控制,即,StylePoseGAN,我们扩展了一个不可控的生成器来分别接受姿势和外观的调节。我们的网络可以用人类图像以完全监督的方式进行训练,以解开姿势,外观和身体部位,并且它显着优于现有的单一图像重新渲染方法。我们的解纠缠表示开辟了进一步的应用,如服装转移,运动转移,虚拟试穿,头部(身份)交换和外观插值。与当前性能最佳的方法相比,StylePoseGAN在常见感知指标上实现了最先进的图像生成保真度,并在全面的用户研究中令人信服。
2021-02-22 cs.CV
Towards Ultra-Resolution Neural Style Transfer via Thumbnail Instance Normalization
Nanjing University(南京大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
我们提出了一个非常简单的超分辨率风格传输框架,称为URST,以灵活地处理任意高分辨率图像(例如,10000x10000像素)风格转移的第一次。在处理超高分辨率图像时,现有的大多数最先进的方法都会由于大量的存储器成本和小的笔画尺寸而显得力不从心。URST完全避免了超高分辨率图像引起的内存问题,方法是(1)将图像划分为小块,(2)使用新的缩略图实例规范化(TIN)执行逐块样式传输。具体地说,TIN可以提取缩略图特征的归一化统计信息,并将其应用于小块斑块,确保不同斑块之间的风格一致性。总体而言,URST框架与现有技术相比具有三个优点。(1)将输入图像分割成小块,采用三角网,成功地实现了任意高分辨率图像风格的转换。(2)实验表明,我们的URST超越现有的SOTA方法在超高分辨率图像受益于所提出的中风感知损失的有效性,在扩大中风的大小。(3)我们的URST可以很容易地插入到大多数现有的风格转换方法中,甚至无需培训即可直接提高其性能。代码可在www.example.com上获得。
2022-03-16 cs.CV eess.IV
SAFIN: Arbitrary Style Transfer With Self-Attentive Factorized Instance Normalization
IBM Research(IBM研究院)
艺术风格转移是指将一幅图像的风格特征转移到另一幅图像上,同时保留其内容。现有的方法通常利用各种归一化技术,尽管这些技术在充分地将不同的纹理转移到不同的空间位置方面面临限制。基于自我注意力的方法已经部分成功地解决了这个问题,但受到不必要的工件。受这些观察的启发,本文旨在结合两个世界的最佳:自我注意和正常化。这产生了一个新的即插即用模块,我们将其命名为Self-Attentive Factorized Instance Normalization(SAFIN)。SAFIN本质上是一个空间自适应归一化模块,其参数通过对内容和风格图像的关注来推断。我们证明,插入SAFIN到另一个国家的最先进的方法的基础网络的结果,在增强风格化。我们还开发了一种新的基础网络组成的小波变换的多尺度风格转移,当与SAFIN相结合,产生视觉上有吸引力的结果,较少不必要的纹理。
2021-05-20 cs.AI cs.CV cs.LG
TransGrasp: Grasp Pose Estimation of a Category of Objects by Transferring Grasps from Only One Labeled Instance
Dalian University of Technology(大连理工大学)
抓取位姿估计是机器人与现实世界交互的一个重要问题。然而,大多数现有的方法需要事先获得精确的3D对象模型或大量的抓取注释用于训练。为了避免这些问题,我们提出了TransGrasp,一个类别级的把握姿态估计方法,预测把握一类对象的构成标记只有一个对象实例。具体来说,我们执行跨类别的对象的形状对应的基础上,他们的抓取姿势转移,并提出了一个抓取姿势细化模块,以进一步微调抓取器的抓取姿势,以确保成功的把握。实验证明了该方法的有效性,实现高质量的把握与转让掌握构成。我们的代码可在https://github.com/yanjh97/TransGrasp上获得。
2022-07-25 cs.CV cs.RO
AdaMesh: Personalized Facial Expressions and Head Poses for Adaptive Speech-Driven 3D Facial Animation
Tsinghua University(清华大学);SenseTime Research(商汤科技研究院);Xverse Technology(Xverse科技公司);The Chinese University of Hong Kong(香港中文大学)
提出AdaMesh,通过约10秒参考视频学习个性化说话风格,结合MoLoRA微调表情适配器和无需微调的姿态适配器,生成生动的3D面部表情与头部姿态动画。
2025-03-04 cs.CV cs.MM
Learning Heatmap-Style Jigsaw Puzzles Provides Good Pretraining for 2D Human Pose Estimation
University of Chinese Academy of Sciences(中国科学院大学);Horizon Robotics(地平线机器人);Harbin Institute of Technology(哈尔滨工业大学)
二维人体姿态估计的目标是从输入的二维图像中定位人体部位的关键点。最先进的姿态估计方法通常从关键点构建像素级热图作为学习卷积神经网络的标签,卷积神经网络通常随机初始化或使用ImageNet上的分类模型作为其骨干。我们注意到,2D姿态估计任务高度依赖于图像块之间的上下文关系,因此我们引入了一种自监督的方法来预训练2D姿态估计网络。具体来说,我们提出了热图式拼图(HSJP)问题作为我们的预文本任务,其目标是学习每个补丁的位置,从一个由洗牌补丁组成的图像。在我们的预训练过程中,我们只使用MS-COCO中的人实例的图像,而不是引入额外的更大的ImageNet数据集。设计了一种热图式的斑块定位标签,学习过程采用非对比的方式。通过HSJP prefect任务学习的权重被用作2D人体姿态估计器的骨干,然后在MS-COCO人体关键点数据集上进行微调。使用两个流行且强大的2D人体姿势估计器HRNet和SimpleBaseline,我们在MS-COCO验证和测试开发数据集上评估mAP评分。我们的实验表明,使用我们的自我监督预训练的下游姿态估计器比从头开始训练的姿态估计器获得了更好的性能,并且与使用ImageNet分类模型作为其初始主干的姿态估计器相当。
2020-12-13 cs.CV
Region-aware Adaptive Instance Normalization for Image Harmonization
Shanghai Jiao Tong University(上海交通大学)
图像合成在照片编辑中起着常见但重要的作用。为了获得照片般逼真的合成图像,必须调整前景的外观和视觉风格以与背景兼容。现有的用于协调合成图像的深度学习方法直接学习从合成图像到真实图像的图像映射网络,而没有明确探索背景和前景图像之间的视觉风格一致性。为了保证前景和背景之间视觉风格的一致性,本文将图像协调问题视为一个风格传递问题。特别是,我们提出了一个简单而有效的区域感知自适应实例归一化(RAIN)模块,明确制定的视觉风格从背景和自适应地将它们应用到前景。通过我们的设置,我们的RAIN模块可以用作现有图像协调网络的插入式模块,并能够带来显着的改进。在现有图像协调基准数据集上的实验表明了该方法的优越性能。代码可以在{https://github.com/junleen/RainNet}上找到。
2021-06-05 cs.CV
Pose and Facial Expression Transfer by using StyleGAN
Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克技术大学电气工程学院)
该研究提出一种基于StyleGAN2的自监督方法,通过双编码器和映射网络将源面部的姿态与表情迁移至目标身份,无需手动标注,可合成可控姿态表情的随机身份并实现近实时性能。
2025-04-17 cs.AI cs.CV
TailorNet: Predicting Clothing in 3D as a Function of Human Pose, Shape and Garment Style
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
在本文中,我们提出了TailorNet,这是一种神经模型,它预测3D服装变形作为三个因素的函数:姿势,形状和风格(服装几何形状),同时保留皱纹细节。这超越了先前的模型,先前的模型要么特定于一种风格和形状,要么概括为不同的形状,产生平滑的结果,尽管是特定于风格的。我们的假设是,(即使是非线性的)例子组合平滑了高频成分,如细皱纹,这使得学习这三个因素共同困难。我们技术的核心是将变形分解为高频和低频分量。虽然低频分量是用MLP从姿势、形状和样式参数预测的,但高频分量是用形状样式特定姿势模型的混合预测的。混合物的权重使用窄带宽内核计算,以保证仅组合具有相似高频模式的预测。通过在规范姿势中计算变形的子空间来获得风格变化,该子空间满足物理约束,例如相互渗透和覆盖在身体上。TailorNet提供的3D服装保留了从基于物理的模拟(PBS)中学习到的皱纹,同时运行速度提高了1000倍以上。与PBS相比,TailorNet易于使用且完全可区分,这对于计算机视觉算法至关重要。几个实验表明,TailorNet比以前的工作产生更逼真的结果,甚至在AMASS数据集的序列上生成时间相干变形,尽管是在不同数据集的静态姿势上训练的。为了刺激在这个方向上的进一步研究,我们将制作一个由55800帧组成的数据集,以及我们的模型在https://virtualhumans.mpi-inf.mpg.de/tailornet上…
2020-03-15 cs.CV cs.GR
Depth-Aware Arbitrary Style Transfer Using Instance Normalization
Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学);Plekhanov Russian University of Economics(普列汉诺夫俄罗斯经济大学)
风格转换是将一个图像与另一个图像的风格中的某些内容一起呈现的过程,表示该风格。Liu等人(2017)的最新研究表明,Gatys等人(2016)和Johnson等人(2016)的传统风格转移方法无法再现内容图像的深度,这对人类感知至关重要。他们建议通过优化的损失函数中的额外正则化器来保留深度图,从而强制保留深度图。然而,这些传统方法要么计算效率低,要么需要为每种风格训练单独的神经网络。Huang等人(2017)的AdaIN方法允许在不训练单独模型的情况下有效地传输任意风格,但无法再现内容图像的深度图。我们提出了一个扩展这种方法,允许深度图保存应用变量风格化强度。定性分析和用户评价研究结果表明,该方法提供了更好的风格化,比原来的AdaIN风格转移方法。
2020-07-08 cs.CV eess.IV
Son of Zorn's Lemma: Targeted Style Transfer Using Instance-aware Semantic Segmentation
University of Maryland, College Park(马里兰大学帕克分校)
风格转换是将源图像的风格映射到目标图像的风格上的一项重要任务。该方法可用于合成特定艺术家或特定绘画的衍生作品。这项工作考虑有针对性的风格转移,其中模板图像的风格被用来改变目标图像的一部分。例如,艺术家可能希望仅改变目标图像中的一个特定对象的风格,而不改变对象的一般形态或周围环境。例如,这在增强现实应用(诸如最近发布的Pokemon GO)中是有用的,其中人们想要改变图像帧中单个真实世界对象的外观以使其看起来像卡通。最值得注意的是,将现实世界的物体渲染成卡通人物已经被用于许多电影和电视节目中,例如即将上映的系列剧《佐恩之子》。我们提出了一种有针对性的风格转移,同时段和风格化的单个对象选择的用户的方法。该方法使用马尔可夫随机场模型来平滑和抗混叠对象边界附近的离群像素,使风格化的对象自然地融入其周围环境。
2017-01-09 cs.CV cs.GR
Memory-guided Unsupervised Image-to-image Translation
Yonsei University(延世大学);Agency for Defense Development (ADD)(国防科学研究所)
我们提出了一种新的无监督框架的实例级图像到图像的翻译。虽然最近的进步已经通过合并额外的对象注释,现有的方法往往无法处理图像与多个不同的对象。主要原因是,在推理过程中,他们将全局样式应用于整个图像,而没有考虑实例与背景之间或实例内部的大样式差异。为了解决这个问题,我们提出了一个类感知记忆网络,可以显式地推理局部风格的变化。一个键-值存储器结构,与一组读取/更新操作,被引入到记录类明智的风格变化,并访问它们,而不需要在测试时的对象检测器。键存储用于分配内存项的与域无关的内容表示,而值对特定于域的样式表示进行编码。我们还提出了一个特征对比损失,以提高记忆项目的区分能力。我们表明,通过将我们的记忆,我们可以跨域传输类意识和准确的风格表示。实验结果表明,我们的模型优于最近的实例级方法,并达到最先进的性能。
2021-04-12 cs.CV
3D Human Shape Style Transfer
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立综合理工学院)
我们考虑的问题修改/替换的形状风格的一个真正的移动字符与一个任意的静态真正的源字符。传统的解决方案遵循的姿势转移策略,从移动的字符到源字符形状,这依赖于骨骼姿势参数化。在本文中,我们探索了一种替代方法,将源形状风格转移到移动字符上。预期的好处是,以避免固有的困难的姿势形状转换所需的骨架参数化应用于真实的字符。为了这个目的,我们考虑图像风格转移技术,并研究如何使它们适应3D人体形状。自适应实例规范化(AdaIN)和SPADE架构已被证明可以有效和准确地将一个图像的风格转移到另一个图像上,同时保留原始图像结构。其中AdaIN贡献了一个模块,通过主题的统计来执行风格转换,SPADE贡献了一个残差块架构来改进风格转换的质量。我们证明,这些方法是可扩展到3D形状域,提出了一个卷积神经网络,适用于相同的原则,保持形状结构(形状姿势),同时转移的风格,一个新的主题形状。生成的结果通过一个模拟模块进行监督,以评估形状的真实性,同时强制解码器合成合理的形状,并改善未见过的主题的风格转移。我们的实验表明,平均$\approx 56\%$定性和定量的改进,通过基于优化和基于学习的方法在形状转移的基线。
2021-09-03 cs.CV
Structure from Motion for Panorama-Style Videos
University of Washington(华盛顿大学);Facebook Reality Labs(Facebook现实实验室)
我们提出了一种新的运动恢复结构流水线,能够重建准确的相机姿态,以实现全景式视频捕捉,而无需事先进行相机内部校准。虽然双曲面重建是一种常见且方便的方法,但由于旋转占主导地位的运动和视图之间的基线较小,以前的重建方法无法获得准确的重建。我们的方法是建立在假设摄像机的运动近似对应于一个球体上的运动,我们引入了三种新的相对姿态的方法来估计的基本矩阵和摄像机失真的球面运动。这些解算器是高效和鲁棒的,并且为光束法平差提供了良好的初始化。在执行光束法平差时,使用相机姿态的软先验来阻止与球面运动假设的大偏差,这允许相机在没有良好三角测量的3D点的情况下保持适当的约束以进行优化。为了验证所提出的方法的有效性,我们评估我们的方法在合成和真实世界的数据,并证明相机构成是足够准确的多视点立体。
2019-06-08 cs.CV
StyleGAN Salon: Multi-View Latent Optimization for Pose-Invariant Hairstyle Transfer
VISTEC;Phranakhon Rajabhat University(帕纳空皇家大学)
本文提出 StyleGAN Salon 多视图潜空间优化框架,利用参考合成图的两个视图引导遮挡区域,在更具挑战性的姿态不变发型迁移中保持身份与脸型并优于已有方法。
2023-06-02 cs.CV
Instance-specific 6-DoF Object Pose Estimation from Minimal Annotations
National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所);University of Tsukuba(筑波大学)
在许多机器人应用中,要执行已知刚性物体的6-DoF姿态估计及其后续抓取的环境设置几乎保持不变,甚至可能提前为机器人所知。在本文中,我们将此问题称为特定于实例的姿态估计:机器人预计将估计的姿态具有很高的准确度,只有一组有限的熟悉的情况。场景中的微小变化,包括照明条件和背景外观的变化,是可以接受的,但预计不会发生剧烈的变化。为此,我们提出了一种方法来快速训练和部署一个管道,从一个单一的RGB图像估计连续6自由度的对象的姿态。关键思想是利用已知的相机姿势和刚体几何形状来部分自动生成大型标记数据集。然后,数据集连同足够的域随机化一起用于监督用于预测语义关键点的深度神经网络的训练。实验上,我们证明了我们提出的方法的方便性和有效性,准确地估计对象的姿态,只需要非常少量的手动注释训练。
2022-07-27 cs.CV cs.RO
Say Anything with Any Style
Shanghai Jiao Tong University(上海交通大学);Netease Fuxi AI Lab(网易伏羲AI实验室)
提出SAAS动态权重方法,利用风格码本和生成模型提取说话风格,结合残差架构与HyperStyle生成风格化说话头,在唇形同步和风格化表情上超越现有方法,并扩展至视频风格编辑。
2024-03-13 cs.CV
Style-transfer GANs for bridging the domain gap in synthetic pose estimator training
Fraunhofer IGD(弗劳恩霍夫计算机图形学研究所);TU Darmstadt(达姆施塔特工业大学)
考虑到当前CNN架构对大型训练集的依赖性,使用合成数据的可能性是诱人的,因为它允许生成几乎无限数量的标记训练数据。然而,产生这样的数据是一项重要的任务,因为当前的CNN架构对真实数据和合成数据之间的域间隙敏感。我们建议采用通用GAN模型进行像素级图像翻译,允许将域间隙本身制定为学习问题。然后在训练或推理期间使用所获得的模型来弥合域间隙。在这里,我们专注于仅在合成CAD几何上训练单阶段YOLO6D对象姿态估计器,其中甚至没有近似的表面信息可用。当采用成对的GAN模型时,我们使用基于边缘的中间域并引入不同的映射来表示未知的表面属性。我们的评估显示,与使用相同程度的域随机化训练的模型相比,模型性能有了相当大的提高,同时只需要很少的额外努力。
2020-12-16 cs.CV
SSGaussian: Semantic-Aware and Structure-Preserving 3D Style Transfer
College of Computer Science and Technology, Zhejiang University(计算机科学与技术学院,浙江大学)
针对现有3D风格迁移方法高层语义提取弱、结构清晰度不足的问题,提出SSGaussian管线,通过跨视角风格对齐与实例级风格迁移,结合2D扩散先验实现更优3D风格化效果,在多类场景中性能超越SOTA。
2025-09-04 cs.AI cs.CV
MLA-BIN: Model-level Attention and Batch-instance Style Normalization for Domain Generalization of Federated Learning on Medical Image Segmentation
School of Computer and Communication Engineering, Zhengzhou University of Light Industry(郑州轻工业大学计算机与通信工程学院);Department of Applied Computing, Michigan Technological University(密歇根理工大学应用计算系)
针对联邦学习在医学图像分割未见域上的性能下降问题,提出MLA-BIN方法,通过设计模型级注意力模块和批实例风格归一化块,有效提升模型的领域泛化能力,并在实验中优于现有方法。
2023-06-29 cs.CV eess.IV
Towards Instance-level Image-to-Image Translation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Fudan University(复旦大学);SenseTime Research(商汤科技研究院)
不成对图像到图像翻译是一个新兴的具有挑战性的视觉问题,旨在学习不同领域中未对齐图像对之间的映射。MUNIT和DRIT等领域的最新进展主要集中在首先从给定图像中分离出内容和样式/属性,然后直接采用全局样式来指导模型合成新的领域图像。然而,如果目标域图像内容丰富且包含多个差异对象,则这种方法会严重地产生矛盾。在本文中,我们提出了一个简单而有效的实例感知的图像到图像的翻译方法(INIT),它采用细粒度的本地(实例)和全局风格的目标图像空间。该方法具有三个重要的优点:(1)实例级的客观损失可以帮助学习更精确的重建,并可以融合对象的各种属性;(2)局部/全局区域的目标域所使用的样式来自源域中相应的空间区域,直观上是一种更合理的映射;(3)联合训练过程可以兼顾细粒度和粗粒度,并结合实例信息提高全局翻译质量。我们还为新的实例级翻译任务收集了一个大规模的基准。我们观察到,我们的合成图像甚至可以有益于现实世界的视觉任务,如通用目标检测。
2019-05-05 cs.AI cs.CV
Learning Quality-aware Representation for Multi-person Pose Regression
Beijing University of Posts and Telecommunications(北京邮电大学);ByteDance Inc.(字节跳动公司);Tsinghua University(清华大学);Horizon Robotics(地平线机器人)
现成的单阶段多人姿态回归方法通常利用实例分数(即,实例定位的置信度)来指示用于选择姿态候选的姿态质量。我们认为现有的范式存在两个缺陷:1)实例得分与姿态回归质量没有很好的相关性。2)用于预测实例得分的实例特征表示没有显式地编码结构姿态信息以预测表示姿态回归质量的合理得分。为了解决上述问题,我们建议学习姿势回归质量感知表示。具体地,对于第一间隙,代替使用先前实例置信度标签(例如,离散{1,0}或高斯表示)来表示人实例的位置和置信度,首先引入一致性实例表示(CIR),将实例的姿态回归质量得分和背景的置信度统一到像素级得分图中,以校正实例得分和姿态回归质量之间的不一致性。为了填补第二个空白,我们进一步提出了查询编码模块(QEM),包括关键点查询编码(KQE)编码的位置和语义信息的每个关键点和姿态查询编码(PQE),明确编码预测的结构姿态信息,以更好地适应一致的实例表示(CIR)。通过使用所提出的组件,我们大大缓解了上述差距。我们的方法优于以前的单阶段回归为基础的甚至自底向上的方法,并实现了最先进的结果71.7 AP MS COCO测试开发集。
2022-01-04 cs.CV
Multi-Instance Pose Networks: Rethinking Top-Down Pose Estimation
Amazon Lab 126(亚马逊 Lab 126);Carnegie Mellon University(卡内基梅隆大学)
自上而下的人体姿态估计方法的关键假设是它们期望在输入限界框中存在单个人/实例。这通常导致在具有遮挡的拥挤场景中失败。我们提出了一个新的解决方案,以克服这一基本假设的局限性。我们的多实例姿态网络(MIPNet)允许在给定的限界框内预测多个2D姿态实例。我们引入了一个多实例调制块(MIMB),可以自适应地调制信道的功能响应为每个实例,是参数有效的。我们通过对COCO,CrowdPose和OCHuman数据集进行评估来证明我们方法的有效性。具体地,我们在CrowdPose上实现了70.0 AP,在OCHhuman测试集上实现了42.5 AP,分别比现有技术显著提高了2.4 AP和6.5 AP。与HRNet相比,当使用地面真值边界框进行推理时,MIPNet在COCO上实现了0.7 AP的改进,在CrowdPose上实现了0.9 AP的改进,在OCHuman验证集上实现了9.1 AP的改进。有趣的是,当使用更少的高置信度边界框时,HRNet在OCHuman上的性能会下降(下降5 AP),而MIPNet在相同的输入下保持相对稳定的性能(下降1 AP)。
2021-10-28 cs.CV
Exploring the structure of a real-time, arbitrary neural artistic stylization network
Google Brain(谷歌大脑);MILA, Université de Montréal(蒙特利尔大学MILA)
在本文中,我们提出了一种方法,它结合了艺术风格的神经算法的灵活性与快速风格传输网络的速度,允许使用任何内容/风格图像对实时的【形】风格化。我们建立在最近的工作,利用条件实例规范化的多风格的传输网络,学习预测的条件实例规范化参数直接从一个风格的图像。该模型在大约80,000幅绘画的语料库上成功训练,并且能够推广到以前未观察到的绘画。我们证明了学习的嵌入空间是平滑的,包含丰富的结构,并以完全无监督的方式组织与绘画相关的语义信息。
2017-08-24 cs.CV
Boosting Unconstrained Face Recognition with Targeted Style Adversary
针对人脸识别模型跨域表现不佳的问题,提出目标风格对抗方法TSA,通过特征统计插值扩充训练数据并保留身份信息,性能优异且训练速度提升近70%、内存消耗降40%。
2024-08-14 cs.AI cs.CV
DiffPoseTalk: Speech-Driven Stylistic 3D Facial Animation and Head Pose Generation via Diffusion Models
BNRist, Tsinghua University(BNRist 清华大学);Beijing Jiaotong University(北京交通大学);Tianjin University(天津大学)
针对语音驱动风格化3D面部动画生成中现有方法风格表征能力弱、泛化性差的问题,提出搭配风格编码器的扩散模型生成框架DiffPoseTalk,支持头部姿态生成,利用野外数据集重建参数训练,性能优于现有最优方法。
2024-05-14 cs.CV cs.GR
Benchmarking and Error Diagnosis in Multi-Instance Pose Estimation
California Institute of Technology(加州理工学院)
我们提出了一种新的方法来分析多实例姿态估计算法中错误的影响,并提出了一个原则性的基准,可用于比较它们。我们定义和表征三类错误-本地化,评分和背景-研究它们如何受到实例属性及其对算法性能的影响。我们的技术应用于比较COCO数据集上两种主要的人体姿态估计方法,测量姿态估计对实例大小,可见关键点的类型和数量,由于多个实例造成的混乱以及实例的相对得分的敏感性。算法的性能以及它们产生的错误类型高度依赖于所有这些变量,但主要取决于关键点的数量和杂波。我们提出的分析和软件工具提供了一种新颖的和有见地的方法来理解姿态估计算法的行为和有效的方法来衡量他们的长处和短处。
2017-08-05 cs.CV
Domain Generalization with Correlated Style Uncertainty
Northwestern University(西北大学)
针对现有风格增强类域泛化方法忽略通道相关性、局限于线性插值的问题,提出相关风格不确定性(CSU)方法,在多类跨域视觉任务上取得优于现有最优技术的效果。
2023-08-28 cs.CV