CityDreamer: Compositional Generative Model of Unbounded 3D Cities
Nanyang Technological University(南洋理工大学)
CityDreamer 提出一种组合式生成模型,将三维城市分解为建筑实例与背景物体的神经场,并结合鸟瞰图表示、哈希网格及 CityGen 数据集,实现无界三维城市的逼真生成与局部编辑。
2024-06-06 cs.CV
Training-free Motion Factorization for Compositional Video Generation
Sichuan University(四川大学);The University of Adelaide(阿德莱德大学);Nanyang Technological University(南洋理工大学);Beijing Institute of Technology(北京理工大学)
本文提出一种无需训练的运动因子分解框架,将复杂运动分解为静止、刚体和非刚体运动三类,通过规划先于生成的范式,提升视频生成中运动多样性的表现。
2026-03-30 cs.CV
Leveraging GANs For Active Appearance Models Optimized Model Fitting
本文提出用U-Net生成器和PatchGAN判别器构建GAN增强的主动外观模型拟合框架,以应对非线性外观变化和遮挡问题,实验表明其比经典AAM方法准确率更高、收敛更快。
2025-04-07 cs.AI cs.CV cs.LG
Adaptive Scene Category Discovery with Generative Learning and Compositional Sampling
Sun Yat-Sen University(中山大学);SYSU-CMU Shunde International Joint Research Institute(中山大学-卡内基梅隆大学顺德国际联合研究院)
本文研究了一个通用的框架,以发现类别的未标记的场景图像根据他们的外观(即,纹理和结构)。我们以无监督的方式联合解决两个耦合任务:(i)在不预先确定类别数量的情况下对图像进行分类,以及(ii)为每个类别寻求生成模型。在我们的方法中,每幅图像由两种类型的图像描述符表示,这两种图像描述符可以有效地从不同的方面捕获图像外观。通过将每幅图像看作一个图的顶点,建立一个图,将图像分类过程看作一个图的划分过程。具体地说,一个分区的子图可以被看作是一类场景,我们定义的概率模型的图划分通过积累的生成模型的所有分离的类别。为了有效的推理与图,我们采用了随机聚类抽样算法,这是设计的基础上的大都市-黑斯廷斯机制。在推理的迭代过程中,每个类别的模型通过生成学习算法进行分析更新。在实验中,我们的方法在几个具有挑战性的数据库上进行了验证,它优于其他流行的最先进的方法。最后给出了具体的实现细节和实证分析。
2015-02-02 cs.CV
ComPhy: Compositional Physical Reasoning of Objects and Events from Videos
MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);Harvard University(哈佛大学);MIT(麻省理工学院);The University of Hong Kong(香港大学)
自然界中物体的运动是由复杂的相互作用及其性质决定的。虽然一些属性,如形状和材料,可以通过物体的视觉外观来识别,但其他属性,如质量和电荷,则无法直接看到。可见和隐藏属性之间的组合性对人工智能模型从物理世界进行推理提出了独特的挑战,而人类可以毫不费力地通过有限的观察来推断它们。现有的视频推理研究主要集中在视觉上可观察的元素,如对象的外观,运动,接触互动。在本文中,我们首先通过引入组合物理推理(ComPhy)数据集来强调推断隐藏的物理特性的重要性。对于给定的一组对象,ComPhy包括一些在不同初始条件下移动和交互的视频。该模型的评估是基于其解开组成隐藏属性(如质量和电荷)的能力,并使用这些知识来回答其中一个视频上发布的一组问题。几个国家的最先进的视频推理模型在ComPhy的评估结果显示不令人满意的性能,因为他们无法捕捉这些隐藏的属性。我们进一步提出了一个名为Compositional Physics Learner(CPL)的Oracle神经符号框架,将视觉感知,物理属性学习,动态预测和符号执行结合到一个统一的框架中。CPL可以有效地识别物体的物理特性,从他们的相互作用和预测他们的动态回答问题。
2022-05-02 cs.AI cs.CV cs.LG
Superpixel-based Two-view Deterministic Fitting for Multiple-structure Data
Xiamen University(厦门大学);The University of Adelaide(阿德莱德大学)
提出了一种适用于多结构数据的两视图确定性几何模型拟合方法--基于超像素的确定性拟合(SDF)。SDF从超像素分割开始,有效地捕获特征外观的先验信息。特征的出现有利于降低确定性拟合方法的计算复杂性。SDF还包括两个原始元素,即,确定性采样算法和一种新的模型选择算法。这两种算法紧密耦合,以提高SDF在速度和准确性方面的性能。具体而言,所提出的采样算法利用超像素的分组线索来生成可靠且一致的假设。所提出的模型选择算法进一步利用所生成的假设的期望属性,以改进传统的适应和删除框架,以获得更高效和更有效的性能。SDF的主要特点是能够高效、确定地估计多结构数据中模型实例的参数。实验结果表明,所提出的SDF显示优于几个国家的最先进的拟合方法的实际图像与单结构和多结构的数据。
2016-07-20 cs.CV
Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Google(谷歌);The Chinese University of Hong Kong(香港中文大学)
隐式神经渲染技术在新的视图合成中显示出了很好的效果。然而,现有的方法通常将整个场景作为一个整体进行编码,这通常不知道对象的身份,并限制了移动或添加家具等高级编辑任务的能力。在本文中,我们提出了一种新的神经场景渲染系统,学习对象组成的神经辐射场,并产生具有编辑能力的集群和真实世界的场景逼真的渲染。具体来说,我们设计了一种新的双通道架构,其中场景分支编码场景的几何形状和外观,对象分支编码每个独立的对象条件下学习对象激活码。为了在严重混乱的场景中生存训练,我们提出了一种场景引导的训练策略来解决遮挡区域中的3D空间模糊性,并为每个对象学习清晰的边界。大量的实验表明,我们的系统不仅达到了竞争力的性能,静态场景的新视图合成,但也产生逼真的渲染对象级编辑。
2021-09-04 cs.CV
Compositional Neural Textures
University of Maryland(马里兰大学);Adobe Research(奥多比研究院)
提出一种无监督的组合式神经纹理表示方法,将纹理建模为2D Gaussian texton的离散组合,支持高效合成与多种编辑应用,推进了纹理分析与建模技术。
2024-09-23 cs.AI cs.CV cs.GR
Joint optimization of fitting & matching in multi-view reconstruction
Western University(韦仕敦大学)
几何模型拟合的许多标准方法是基于预匹配的图像特征。通常,这种预匹配仅使用特征外观(例如SIFT),并且必须丢弃大量非唯一特征以控制误报率。相比之下,我们在联合优化框架中解决特征匹配和多模型拟合问题。本文提出了几个适合与匹配的能量公式的基础上推广的分配问题。我们开发了一个有效的求解器的基础上,最小成本最大流算法,找到接近最优的解决方案。我们的方法显著增加了检测到的匹配的数量。在实践中,基于能量的联合拟合和匹配允许增加先前由局部SIFT匹配的鲁棒性限制的视点之间的距离,并且当与最先进的多模型拟合技术相比时,提高模型拟合精度。
2014-04-09 cs.CV
A Unified Tensor-based Active Appearance Face Model
人脸的外貌变化给人脸图像分析带来了很多困难。为了应对这一挑战,我们提出了一个统一的基于张量的主动外观模型(UT-AAM),用于联合建模的几何和纹理信息的二维人脸。对于每种类型的人脸信息,即形状和纹理,我们构建了一个统一的张量模型捕捉所有相关的外观变化。这与经典张量AAM的变分特定模型形成对比。为了实现姿态变化的统一,提出了一种处理自遮挡人脸的策略,以获得一致的姿态变化的人脸的形状和纹理表示。此外,我们的UT-AAM能够使用张量补全方法从不完整的训练数据集构建模型。最后,我们使用一个有效的级联回归为基础的方法UT-AAM拟合。随着这些进步,UT-AAM在实践中的实用性大大增强。作为一个例子,我们展示了通过使用UT-AAM合成大量虚拟样本来训练面部标志检测器的改进。在Multi-PIE和300-W人脸数据集上的实验结果验证了该方法的有效性。
2017-06-13 cs.CV
Robust Facial Expression Classification Using Shape and Appearance Features
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校)
人脸表情识别有着广泛的应用前景,在过去的十年中引起了研究者的广泛关注。特征提取是表情分析中的一个重要步骤,它有助于快速准确地识别表情。本文提出了一种将形状和外观特征相结合形成混合特征向量的方法。我们提取了金字塔直方图的相似性(PHOG)作为形状描述符和本地二进制模式(LBP)的外观特征。建议的框架涉及到一种新的方法,从主动面部补丁提取混合功能。活动面部贴片位于在不同表情期间经历主要变化的面部区域上。在检测到面部标志之后,对活动补丁进行本地化,并从这些补丁计算混合特征。使用面部的小部分而不是整个面部来提取特征,降低了计算成本,并且防止了用于分类的特征的过拟合。首先利用线性判别分析对特征进行降维,然后利用支持向量机对降维后的特征进行分类。在两个公开数据库上的实验结果表明,在识别所有的表达类有前途的准确性。
2015-05-15 cs.CV
Head360: Learning a Parametric 3D Full-Head for Free-View Synthesis in 360°
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学现代软件工程国家重点实验室);Fudan University(复旦大学);Tencent AI Lab(腾讯人工智能实验室)
Head360提出首个支持360°自由视角合成、图像拟合、外观编辑与动画的参数化3D全头模型,通过解耦面部运动/形状与神经纹理外观,并实现发型与面部外观分解,达到SOTA渲染与动画质量。
2024-08-01 cs.CV
Highly accurate gaze estimation using a consumer RGB-depth sensor
Université Laval(拉瓦尔大学);University of St Andrews(圣安德鲁斯大学)
确定一个人正在看的方向是一个重要的问题,在广泛的人机交互应用。在本文中,我们描述了一个高度准确的算法,使用一个负担得起的和广泛使用的设备,如Kinect进行凝视估计。我们提出的方法开始进行准确的头部姿态估计,通过拟合一个人特定的变形模型的脸的深度数据。通过将拟合目标函数制定为在准确或快速拟合方面表现出色的项的组合,然后在整个拟合过程中自适应地调整它们的相对贡献,同时满足了通常相互竞争的高准确度和高速度要求。在姿态估计之后,通过将拟合模型重新渲染为正面人脸来完成姿态归一化。最后,通过从合成的归一化图像中的眼睛的外观回归来获得注视估计。使用EYEDIAP,从RGB-D数据的凝视估计算法的评估的标准公共数据集,我们证明了我们的方法大大优于最先进的。
2016-04-05 cs.CV
MoGA: 3D Generative Avatar Prior for Monocular Gaussian Avatar Reconstruction
ETH Zürich(苏黎世联邦理工学院);University of Tübingen, Tübingen AI Center(图宾根大学图宾根人工智能中心);Max Planck Institute for Intelligent Systems, Tübingen(智能系统马克斯·普朗克研究所)
提出MoGA方法,通过将生成式虚拟人模型作为先验并结合2D扩散模型合成视图进行模型反演,从单视图图像重建高保真、3D一致且可动画的3D Gaussian虚拟人。
2025-08-09 cs.CV
Turbo-GS: Accelerating 3D Gaussian Fitting for High-Quality Radiance Fields
Indian Institute of Science(印度科学研究院);Brown University(布朗大学);Cornell University(康奈尔大学);Samsung R&D Institute India - Bangalore(三星印度研发中心-班加罗尔)
本文提出Turbo-GS方法,通过减少计算开销和提升学习效率加速3D高斯拟合,实现4K分辨率快速拟合并保持高质量视图渲染。
2026-05-09 cs.CV
MoFaNeRF: Morphable Facial Neural Radiance Field
Nanjing University(南京大学)
我们提出了一个参数模型,映射到一个矢量空间的编码面部形状,表情和外观的神经辐射场,即变形面部NeRF的自由视图图像。具体而言,MoFaNeRF将编码的面部形状、表情和外观以及空间坐标和视角方向作为MLP的输入,并输出空间点的辐射度以进行照片级逼真的图像合成。与传统的3D变形模型(3DMM)相比,MoFaNeRF显示出优越性,直接合成照片般逼真的面部细节,甚至眼睛,嘴巴和胡子。此外,连续的脸变形可以很容易地实现输入形状,表情和外观代码插值。通过引入身份特定调制和纹理编码器,我们的模型合成准确的光度细节,并显示出强大的表示能力。我们的模型在多个应用中表现出了强大的能力,包括基于图像的拟合,随机生成,面部操纵,面部编辑和新颖的视图合成。实验表明,我们的方法实现了更高的表示能力比以前的参数模型,并在一些应用中取得了竞争力的性能。据我们所知,我们的工作是第一个面部参数化模型建立在一个神经辐射场,可用于拟合,生成和操作。代码和数据可在https://github.com/zhuhao-nju/mofanerf上获得。
2022-07-22 cs.CV cs.GR
Joint Multi-view Face Alignment in the Wild
Imperial College London(伦敦帝国学院)
用于面部标志估计的事实上的算法涉及运行面部检测器,其中随后的可变形模型拟合在限界框上。这包括两个基本问题:i)独立地执行检测和可变形拟合步骤,而检测器可能不为拟合步骤提供最适合的初始化,ii)面部外观在不同姿势之间变化很大,这使得可变形面部拟合非常具有挑战性,因此必须使用不同的模型(\eg,一个用于轮廓,一个用于正面)。在这项工作中,我们提出了第一个,据我们所知,联合多视图卷积网络来处理野外人脸的大姿态变化,并优雅地桥接人脸检测和面部地标定位任务。现有的联合人脸检测和地标定位方法只集中在一个非常小的地标集。相比之下,我们的方法可以检测和对齐大量的地标半额叶(68个地标)和轮廓(39个地标)的脸。我们在大量数据集上评估了我们的模型,包括标准的静态图像数据集,如IBUG,300 W,COFW,以及最新的Menpo Benchmark半正面和侧面脸。在300VW基准测试中,变形人脸跟踪的最新方法得到了显着改进。我们还展示了FDDB和MALF数据集上人脸检测的最新结果。
2017-08-20 cs.CV
From Sparse and Imperfect 2D Anchors to Consistent 3D Gaussian Street Scenes: Support-Aware Appearance
College of Mechanical and Vehicle Engineering, Chongqing University(重庆大学机械与运载工程学院)
提出教师相对外观残差蒸馏方法,通过支持感知的高斯空间聚合和置信门控优化,将稀疏不完美2D锚点烘焙为一致3D高斯街景,平衡目标对齐、内容保持和跨视图一致性。
2026-06-25 cs.CV cs.GR