EvoGS: Modeling Deformation Evolution for Dynamic Gaussian Splatting
McMaster University(麦克马斯特大学)
EvoGS是基于3DGS的动态重建框架,将高斯变形建模为时间演化过程,通过持久状态外推、自适应校正及变形感知致密化提升动态新视角合成质量,在基准上表现具竞争力。
2026-09-02 cs.CV
Occlusion-aware Non-Rigid Point Cloud Registration via Unsupervised Neural Deformation Correntropy
Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对非刚性点云配准中的遮挡挑战,提出无监督遮挡感知配准(OAR)方法,结合自适应相关熵函数与隐式神经表示优化未遮挡区域变形,通过理论分析和局部线性重建提升性能,在遮挡场景及多任务中表现优异。
2025-02-15 cs.AI cs.CV
NRGS-SLAM: Monocular Non-Rigid SLAM for Endoscopy via Deformation-Aware 3D Gaussian Splatting
Department of Mechanical and Automation Engineering and T Stone Robotics Institute, The Chinese University of Hong Kong(机械与自动化工程系和T Stone机器人研究所,香港中文大学);School of Automation and Intelligent Sensing, the State Key Laboratory of Avionics Integration and Aviation System of-Systems Synthesis, and Shanghai Key Laboratory of Navigation and Location Based Services, Shanghai Jiao Tong University(自动化与智能感知学院、航空系统集成与航空系统综合国家重点实验室、上海导航与定位服务重点实验室,上海交通大学)
NRGS-SLAM通过变形感知的3D高斯点云实现内窥镜单目非刚性SLAM,有效解决刚性假设与变形耦合问题,提升定位精度与重建质量。
2026-02-19 cs.CV cs.RO
Deformation and Correspondence Aware Unsupervised Synthetic-to-Real Scene Flow Estimation for Point Clouds
Sichuan University(四川大学);The University of Western Australia(西澳大学);Central South University(中南大学);Monash University(莫纳什大学)
点云场景流估计对于自动驾驶中的动态场景导航具有重要的实际意义。由于场景流标签难以获取,现有方法都是在合成数据上训练模型,然后再将其转换到真实场景中。然而,现有的合成数据集和真实场景之间的巨大差异导致模型传输不佳。我们为解决这一问题作出了两项重大贡献。首先,我们为GTA-V引擎开发了一个点云收集器和场景流注释器,以自动获得各种真实感训练样本,而无需人工干预。在此基础上,我们开发了一个大规模的合成场景流数据集GTA-SF。其次,我们提出了一个基于平均教师的领域自适应框架,利用自我生成的伪标签的目标域。它还明确地结合了形状变形正则化和表面对应细化,以解决域转移中的失真和错位。通过大量的实验,我们表明,我们的GTA-SF数据集导致模型泛化到三个真实数据集(即,Waymo,Lyft和KITTI)与最广泛使用的FT 3D数据集相比。此外,我们的框架在六个源-目标数据集对上实现了卓越的自适应性能,显著缩小了60%的平均域差距。有关数据和代码,请访问https://github.com/leolyj/DCA-SRSFE
2022-03-31 cs.CV
MVFusion-GS: Motion-Variance Guided Temporal Attention for High-Quality Dynamic Gaussian Splatting
Tsinghua University(清华大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Electronic Science and Technology of China(电子科技大学)
提出MVFusion-GS,通过运动方差引导细化与MotionFormer时间注意力模块增强变形网络,显式建模运动强度与时间一致性,在动态场景重建和无干扰重建任务中达到最先进性能。
2026-07-17 cs.CV
Cloud Sphere: A 3D Shape Representation via Progressive Deformation
Peng Cheng Laboratory(鹏城实验室)
在3D形状分析领域中,形状的几何属性已经研究了很长时间。本文不是使用专家设计的描述符或端到端的深度神经网络直接提取代表性特征,而是致力于从形状形成过程中发现独特的信息。具体地,作为模板的球形点云以由粗到细的方式逐渐变形以适合目标形状。在形状形成过程中,插入几个检查点以便于记录和研究中间阶段。对于每个阶段,偏移字段被评估为阶段感知描述。整个形状形成过程中的偏移的总和可以在几何形状方面完全定义目标形状。从这个角度来看,人们可以从模板便宜地获得逐点形状对应,这有利于各种图形应用。在本文中,渐进变形为基础的自动编码器(PDAE)提出了学习阶段意识的描述,通过一个粗略到精细的形状拟合任务。实验结果表明,所提出的PDAE具有高逼真度的三维形状重建能力,并在多阶段变形过程中保持一致的拓扑结构。基于阶段感知描述的其他应用程序进行,证明了它的通用性。
2021-12-21 cs.CV
SSP-Pose: Symmetry-Aware Shape Prior Deformation for Direct Category-Level Object Pose Estimation
Google(谷歌);Technical University of Munich(慕尼黑工业大学);Tsinghua University(清华大学)
由于类内形状的变化,类别级姿态估计是一个具有挑战性的问题。最近的方法使预先计算的形状先验变形,以将观察到的点云映射到归一化的对象坐标空间中,然后经由后处理来检索姿态,即,Umeyama算法这种两阶段策略的缺点在于两个方面:1)对中间结果的代理监督不能直接指导位姿的学习,导致后处理后的位姿误差较大。2)推理速度受到后处理步骤的限制。在本文中,为了解决这些缺点,我们提出了一种用于类别级姿态估计的端到端可训练网络SSP-Pose,该网络将形状先验集成到直接姿态回归网络中。SSP-Pose在一个共享的特征提取器上堆叠了四个独立的分支,其中两个分支用于变形并将先验模型与观察到的实例匹配,另外两个分支用于直接回归总共9个自由度的姿态,并分别执行对称重建和逐点内点掩模预测。然后自然地利用一致性损失项来调整不同分支的输出并提高性能。在推断期间,仅需要直接姿态回归分支。通过这种方式,SSP-Pose不仅可以学习类别级别的姿势敏感特征以提高性能,还可以保持实时推理速度。此外,我们利用每个类别的对称信息来指导形状先验变形,并提出了一种新的感知损失,以减轻匹配的二义性。在公共数据集上进行的大量实验表明,与竞争对手相比,SSP-Pose的实时推理速度约为25 Hz,性能优越。
2022-08-13 cs.CV
ShapeAdv: Generating Shape-Aware Adversarial 3D Point Clouds
Uber ATG(优步先进技术集团);University of Michigan(密歇根大学);University of Toronto(多伦多大学)
我们引入了ShapeAdv,这是一个新的框架,用于研究反映潜在形状变化的形状感知对抗扰动(例如,几何变形和结构差异)。我们通过利用点云自动编码器的学习潜在空间来开发形状感知的对抗性3D点云攻击,其中对抗性噪声应用于潜在空间。具体来说,我们提出了三种不同的变体,包括一个基于范例的变体,通过辅助数据引导形状变形,使得生成的点云类似于同一类别中对象之间的形状变形。与以前的作品不同,所得到的对抗性3D点云反映了3D点云空间中的形状变化,同时仍然接近原始点云。此外,在ModelNet40基准测试上的实验评估表明,我们的对手更难以用现有的点云防御方法进行防御,并且在分类器之间表现出更高的攻击可转移性。我们的形状感知对抗攻击与现有的基于点云的攻击正交,并揭示了3D深度神经网络的脆弱性。
2020-05-24 cs.CV cs.LG eess.IV
Proxy-Free Gaussian Splats Deformation with Splat-Based Surface Estimation
KAIST(韩国科学技术院)
SpLap通过构建表面感知的喷射图,利用拉普拉斯算子实现无代理高斯喷射变形,提升渲染质量与细节保持能力。
2025-11-24 cs.CV
EAvatar: Expression-Aware Head Avatar Reconstruction with Generative Geometry Priors
Department of Data Science and AI, Monash University(数据科学与人工智能系,墨尔本大学);College of Computer Science, Chongqing University(计算机科学学院,重庆大学)
EAvatar提出一种基于3DGS的表情与变形感知头部化身重建框架,通过稀疏关键高斯控制局部变形,并利用生成模型三维先验提升几何可靠性,从而改善表情可控性与细节保真度。
2026-11-03 cs.AI cs.CV
Topology-aware Human Avatars with Semantically-guided Gaussian Splatting
School of Computer Science, Wuhan University(武汉大学计算机学院);School of Software Engineering, Xi’an Jiao Tong University(西安交通大学软件学院);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院);Huazhong University of Science and Technology(华中科技大学)
本文提出SG-GS方法,通过语义嵌入3D高斯、骨架驱动刚性与非刚性变形及语义标注器SHA,结合三种语义正则化策略,实现拓扑感知的高质量可动画人体化身重建。
2024-11-19 cs.CV
Thinking Like Van Gogh: Structure-Aware Style Transfer via Flow-Guided 3D Gaussian Splatting
本文提出一种流引导的3D高斯点划法框架,通过将二维艺术运动转换为三维高斯几何,实现结构感知的风格迁移,同时采用亮度-结构解耦策略和VLM-as-a-Judge评估框架,提升艺术真实感。
2026-04-01 cs.CV cs.GR cs.LG
Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
提出运动感知增强框架,从光流挖掘运动线索改进动态3DGS,在多视图和单目场景中显著提升渲染质量与效率。
2024-03-18 cs.CV
MAPo : Motion-Aware Partitioning of Deformable 3D Gaussian Splatting for High-Fidelity Dynamic Scene Reconstruction
Zhejiang University(浙江大学);Sun Yat-Sen University(中山大学)
MAPo通过动态分区策略提升动态场景重建的保真度,以高动态3D高斯点的精细建模和跨帧一致性损失解决运动细节与渲染质量的平衡。
2025-11-25 cs.CV
TG-Field: Geometry-Aware Radiative Gaussian Fields for Tomographic Reconstruction
TG-Field通过几何感知高斯变形框架,提升静态和动态CT重建的精度与效率,尤其在稀疏投影条件下表现优异。
2026-02-12 cs.CV
GNPM: Geometric-Aware Neural Parametric Models
University College London(伦敦大学学院)
我们提出了几何神经参数模型(GNPM),这是一种学习参数模型,它考虑到数据的局部结构,使用点云上的几何感知架构来学习4D动态的解纠缠形状和姿势潜在空间。时间一致的3D变形估计,而不需要在训练时的密集对应,通过利用周期的一致性。除了学习密集对应的能力外,GNPM还支持潜在空间操作,如插值和形状/姿态转移。我们评估了GNPMs在各种数据集上的穿着人类,并表明它实现了与训练期间需要密集对应的最先进方法相当的性能。
2022-09-21 cs.CV
arg-VU: Affordance Reasoning with Physics-Aware 3D Geometry for Visual Understanding in Robotic Surgery
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);Stanford University(斯坦福大学)
arg-VU通过整合时间一致的几何跟踪与约束诱导的机械建模,提升手术场景中变形组织的意图推理能力,实现更稳定和物理一致的预测。
2026-03-26 cs.CV cs.RO
MoAngelo: Motion-Aware Neural Surface Reconstruction for Dynamic Scenes
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉玛尔机器学习与人工智能研究所)
MoAngelo 将静态重建方法 NeuralAngelo 扩展至动态场景,通过初始帧模板重建与形变场联合优化,实现高细节动态表面重建,并在 ActorsHQ 上取得领先精度。
2025-09-19 cs.AI cs.CV cs.GR
DispFlow-GS: Displacement Flow Supervision with Motion Disentangling for Monocular Deformable 3D Gaussian Splatting
Nanyang Technological University(南洋理工大学)
针对可变形3D高斯泼溅中运动监督的域差距问题,提出基于位移流的监督框架,并引入变形-渲染一致性指标,显著提升运动定位与运动-渲染一致性。
2026-09-30 cs.CV
OASIS: Occlusion-aware Single-image Hand Avatar Reconstruction via 3D Gaussian Splatting
University of Leicester(莱斯特大学);University of Exeter(埃克塞特大学);University of Birmingham(伯明翰大学);China University of Geoscience(中国地质大学)
本研究提出OASIS框架,通过3D高斯溅射结合可见性条件注意力与网格上特征表示,实现单图像手部化身重建,在视觉保真度、效率及下游应用通用性上优于现有方法。
2026-08-03 cs.CV
Sparse4DGS: 4D Gaussian Splatting for Sparse-Frame Dynamic Scene Reconstruction
Sparse4DGS提出首个稀疏帧动态场景重建方法,通过纹理感知形变正则化和纹理感知规范优化聚焦纹理丰富区域,在多个数据集上超越现有动态与少样本方法。
2025-11-10 cs.CV
MGStream: Motion-aware 3D Gaussian for Streamable Dynamic Scene Reconstruction
Peking University(北京大学);Pengcheng Laboratory(鹏城实验室)
针对基于3DGS的可流式动态场景重建存在的闪烁伪影、存储低效及新物体建模难问题,提出MGStream方法,通过区分运动相关与静态3D高斯并针对性优化,在多个数据集上实现了更优的渲染质量、效率与时间一致性。
2025-05-20 cs.CV
STD-Net: Structure-preserving and Topology-adaptive Deformation Network for 3D Reconstruction from a Single Image
South China University of Technology(华南理工大学);Chinese Academy of Sciences (CAS)(中国科学院);Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
单视点图像的三维重建是计算机视觉中一个长期存在的问题。已经提出了基于不同形状表示(诸如点云或体积表示)的各种方法。然而,对于细节精细、结构复杂的三维形状重建仍是一个难题,尚未得到解决。近年来,随着深度形状表示方法的发展,利用深度神经网络来学习结构和细节表示成为一种很有前途的方法。本文提出了一种新的三维模型重建方法STD-Net,该方法利用网格表示法来重建具有精细细节的复杂三维网格模型,该方法包括:(1)一个自动编码器网络,用于从一幅图像中恢复具有边界盒表示的物体的结构;(2)一个拓扑自适应图CNN,用于更新复杂拓扑网格的顶点位置;(3)一个统一的网格变形模块,用于将结构盒变形为结构感知的网格模型。在ShapeNet图像上的实验结果表明,本文提出的STD-Net在重建具有复杂结构和精细几何细节的三维物体时,具有比其他现有方法更好的性能。
2020-03-07 cs.CV cs.GR
SemDynReg: Semantics-Guided Deformation Regularization for Dynamic 3D Gaussian Splatting
针对动态3D高斯溅射中物体级形变不一致的问题,提出语义引导的正则化框架,利用SAM分割和语义特征实现物体级形变一致性,提升渲染质量。
2026-06-27 cs.AI cs.CV
FACT-GS: Frequency-Aligned Complexity-Aware Texture Reparameterization for 2D Gaussian Splatting
Concordia University(康考迪亚大学);Mila–Quebec AI Institute(Mila-魁北克人工智能研究所)
FACT-GS通过根据局部视觉频率分配纹理采样密度,提高2D高斯点划法的纹理空间利用效率,实现更清晰的高频细节表现。
2026-04-02 cs.CV cs.GR
GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis
Meta;Brown University(布朗大学)
本研究提出动态新视角合成方法GauFRe,采用正向翘曲变形的3D高斯建模动态场景,结合带归纳偏置初始化的静态组件,在单目动态重建上实现了优于现有NeRF与高斯方法的效率和有竞争力的质量,可在RTX 3090上20分钟训练并实现96FPS实时渲染。
2025-01-15 cs.CV
Generating Liquid Simulations with Deformation-aware Neural Networks
Technical University of Munich(慕尼黑工业大学)
我们提出了一种新的方法,变形感知神经网络,学习的权重和合成的密集体积变形领域。我们的方法专门针对液体模拟的物理表面的时空表示。液体在变化的模拟条件(例如不同的初始条件)下表现出高度复杂的非线性行为。我们的算法在两个阶段捕获这些复杂的现象:第一个神经网络计算一组预先计算的变形的加权函数,而第二个网络直接生成一个变形场,用于细化表面。在此设置中成功训练运行的关键是对变形的效果进行编码的合适的损失函数以及对应梯度的鲁棒计算。为了证明我们的方法的有效性,我们展示了我们的方法与几个复杂的流动液体的拓扑变化的例子。我们的代表性,使其能够快速生成所需的隐式曲面。我们已经实现了一个移动应用程序,以证明我们的方法可以实现与复杂液体效果的实时交互。
2019-02-20 cs.GR cs.LG
Mono-STAR: Mono-camera Scene-level Tracking and Reconstruction
Rutgers University(罗格斯大学)
我们提出了Mono-STAR,第一个实时三维重建系统,同时支持语义融合,快速运动跟踪,非刚性物体变形和拓扑变化下的统一框架。该系统解决了一个新的优化问题,结合光流为基础的二维约束处理快速运动和一个新的语义感知变形图(SAD图)处理拓扑结构的变化。我们在各种具有挑战性的场景下测试了所提出的系统,并证明它显着优于现有的最先进的方法。
2023-01-30 cs.CV cs.RO
Track2Map: Online Deformable SLAM with Motion-Aware Pose Optimization in Robotic Surgery
University College London(伦敦大学学院);Intuitive Surgical, Inc.(直观外科公司)
针对机器人手术中3D重建问题,提出Track2Map在线3D高斯点云融合流程,能联合优化相机轨迹与场景表示。引入轨迹锚定变形初始化及利用轨迹统计稳定优化,实验显示其相比其他方法在重建质量和相机轨迹上有改进。
2026-07-10 cs.AI cs.CV
SHaDe: Compact and Consistent Dynamic 3D Reconstruction via Tri-Plane Deformation and Latent Diffusion
The Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
提出SHaDe框架,结合三平面形变、SH注意力渲染和潜在扩散先验,实现紧凑一致的动态三维重建,在合成基准上超越HexPlane和4D高斯溅射。
2025-05-22 cs.CV
ColorGS: High-fidelity Surgical Scene Reconstruction with Colored Gaussian Splatting
Nanjing University of Aeronautics and Astronautics(航空宇航学院)
针对内窥镜视频中可变形组织重建的颜色与全局变形难题,提出集成彩色高斯基元和增强变形模型的ColorGS框架,在达芬奇手术视频上实现PSNR 39.85、SSIM 97.25%的最优性能,并保持实时渲染。
2025-08-26 cs.CV
Deformation-Aware 3D Model Embedding and Retrieval
Stanford University(斯坦福大学);Adobe Research(Adobe 研究院)
我们引入了一个新的问题,检索3D模型,可变形到一个给定的查询形状,并提出了一种新的深度变形感知嵌入来解决这个检索任务。3D模型检索是用于从噪声和部分3D扫描中恢复干净和完整的3D模型的基本操作。然而,给定有限的3D形状集合,即使是最接近查询的模型也可能不令人满意。这促使我们应用3D模型变形技术来适应检索到的模型,以便更好地适应查询。然而,在大多数3D变形技术中强制执行某些限制,以保留原始模型的重要特征,这些特征阻止变形模型与查询的完美拟合。变形模型和查询之间的这种差距导致了模型之间的不对称关系,这是典型的度量学习技术无法处理的。因此,为了检索最佳拟合模型,我们提出了一种新的深度嵌入方法,该方法通过利用位置相关的自我中心距离场来学习非对称关系。我们还提出了两种嵌入网络的训练策略。我们证明,这两种方法优于其他基线在我们的实验与合成和真实数据。我们的项目页面可以在https://deformscan2cad.github.io/上找到。
2020-07-31 cs.CV cs.GR cs.LG
Uncertainty-Aware 4D Gaussian Splatting for Monocular Occluded Human Rendering
Zhejiang University(浙江大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出U-4DGS框架,通过概率变形网络和联合光栅化流程,在异方差观测噪声下实现最大后验估计,解决单目视频中遮挡导致的高保真动态人体渲染问题。
2026-08-11 cs.CV
Interaction-Aware 4D Gaussian Splatting for Dynamic Hand-Object Interaction Reconstruction
本文提出了一种基于动态3D高斯散射的方法,用于同时建模手-物体交互场景的几何和外观,引入可优化参数以更清晰地表示结构,通过逐步优化策略和正则化稳定交互表示,实现了动态手-物体交互的高精度重建。
2026-06-29 cs.CV
CLOTH-HUGS: Cloth Aware Human Gaussian Splatting
University of Texas at San Antonio(德克萨斯大学阿纳海姆分校)
CLOTH-HUGS通过高斯点撒特框架实现逼真布料人形重建,分离身体和衣物表示,采用共享规范空间联合编码身体、衣物和场景原语,提升布料真实感和几何精度。
2026-04-17 cs.CV
Voxel Deformation-Aware Neural Intersection Function
Advanced Micro Devices, Inc. (AMD)(超威半导体公司)
本文扩展了局部细分神经相交函数以支持参数化变形和动画几何,通过引入休息空间和变形空间公式,实现动态几何的鲁棒神经相交预测。
2026-04-27 cs.GR
Rigidity-Aware 3D Gaussian Deformation from a Single Image
UNIST(全南大学)
本文提出 DeformSplat 框架,通过高斯到像素匹配和刚性部件分割,仅从单张图像实现一致的三维高斯变形,并在帧插值和交互式操控等任务中显著优于现有方法。
2025-09-26 cs.AI cs.CV cs.GR
Detail-aware Deep Clothing Animations Infused with Multi-source Attributes
The University of Tokyo(东京大学)
本文提出统一框架融合多源属性进行服装变形预测,通过属性解析器生成细节感知编码注入图神经网络,并引入输出重构,在泛化能力与细节质量上优于现有方法。
2021-12-15 cs.CV cs.GR
RADmesh: Remesh-Aware Mesh Deformation
University of Chicago(芝加哥大学);University of Southern California(南加州大学);Technion(以色列理工学院)
RADmesh是一种带重网格化的网格变形方法,可实现大变形、抗噪声,能生成适配几何的规整各向同性网格,在局部和全局变形任务上表现优于现有方法。
2026-08-19 cs.CV cs.GR
As-Plausible-As-Possible: Plausibility-Aware Mesh Deformation Using 2D Diffusion Priors
Adobe Research(奥多比研究院);KAIST(韩国科学技术院)
本文提出APAP网格变形技术,利用二维扩散先验和分数蒸馏采样,在用户控制变形下保持网格合理性,并通过LoRA微调保持身份特征,实验证明其优于传统几何保持或畸变最小化方法。
2024-03-30 cs.CV cs.GR
FlowDrag: 3D-aware Drag-based Image Editing with Mesh-guided Deformation Vector Flow Fields
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
提出FlowDrag,通过3D网格形变引导UNet去噪实现3D感知的拖拽式图像编辑,并构建VFD基准提供真实值,在准确性和几何一致性上超越现有方法。
2025-07-11 cs.CV cs.GR
Augmenting Implicit Neural Shape Representations with Explicit Deformation Fields
Weizmann Institute of Science(魏茨曼科学研究所);Facebook AI Research(Facebook AI研究院)
隐式神经表示是一种将形状集合学习为神经网络的零水平集的最新方法,其中每个形状由潜在代码表示。到目前为止,焦点一直是形状重建,而形状泛化主要留给通用的编码器-解码器或自动解码器正则化。在本文中,我们提倡隐式神经表征的变形感知正则化,旨在产生合理的变形作为潜在代码的变化。挑战在于隐式表示无法捕捉不同形状之间的对应关系,这使得难以表示和正则化它们的变形。因此,我们建议将形状的隐式表示与作为辅助函数学习的显式分段线性变形场配对。我们证明,通过正则化这些变形场,我们可以鼓励隐式神经表示在学习的形状空间中诱导自然变形,例如尽可能刚性的变形。
2021-08-19 cs.CV cs.GR cs.LG
TapMo: Shape-aware Motion Generation of Skeleton-free Characters
Wuhan University(武汉大学);Tencent AI Lab(腾讯人工智能实验室);Tencent PCG(腾讯平台与内容事业群)
本文提出TapMo,一个文本驱动的无骨架3D角色动画管线,通过形状变形感知特征引导扩散模型,利用网格控制点预测和形状感知运动扩散模块,在弱监督下生成高质量、网格特定的运动,优于现有方法。
2023-10-19 cs.CV cs.GR
DragD3D: Realistic Mesh Editing with Rigidity Control Driven by 2D Diffusion Priors
Concordia University(康考迪亚大学);MILA(米拉研究所)
DragD3D提出一种基于顶点的网格编辑方法,通过解耦旋转与拉伸分量并结合三维几何正则化与二维扩散先验DDS损失,实现不限于特定类别的全局真实感形状变形。
2024-08-02 cs.GR cs.LG
Generative Neural Articulated Radiance Fields
Stanford University(斯坦福大学);TU Delft(代尔夫特理工大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
仅使用单视图2D照片集合的3D感知生成对抗网络(GANs)的无监督学习最近取得了很大进展。然而,这些3D GANs尚未针对人体进行演示,并且现有框架的生成辐射场不可直接编辑,限制了其在下游任务中的适用性。我们提出了一个解决方案,这些挑战,通过开发一个3D GAN框架,学习生成辐射场的人体或面部在一个规范的姿势和扭曲他们使用一个显式的变形场到一个所需的身体姿势或面部表情。使用我们的框架,我们展示了第一个高质量的辐射场生成结果的人体。此外,我们表明,与未使用显式变形训练的3D GAN相比,我们的变形感知训练过程在编辑其姿势或面部表情时显着提高了生成的身体或面部的质量。
2023-01-09 cs.CV cs.GR
Neural Hamiltonian Deformation Fields for Dynamic Scene Rendering
NeHaD通过哈密顿力学建模动态高斯点漂,实现物理真实的动态场景渲染与流媒体能力。
2025-12-11 cs.GR
WIR3D: Visually-Informed and Geometry-Aware 3D Shape Abstraction
University of Chicago(芝加哥大学)
WIR3D 利用 CLIP 引导的贝塞尔曲线优化和神经 SDF 损失,在保留几何与视觉特征的同时实现可控的三维形状抽象,并支持特征控制与形状变形。
2025-08-18 cs.CV cs.GR
GAPS: Geometry-Aware, Physics-Based, Self-Supervised Neural Garment Draping
CNRS(法国国家科学研究中心);Université Claude Bernard Lyon 1(里昂第一大学);INSA Lyon(里昂国立应用科学学院);École Centrale de Lyon(里昂中央理工学院);Université Lumière Lyon 2(里昂第二大学);LIRIS UMR5205(里昂信息与系统科学研究院)
本文提出GAPS,通过引入碰撞感知的几何约束和几何感知蒙皮方法,解决现有神经物理服装建模中的不真实拉伸和宽松服装蒙皮错误问题,实现更逼真的悬垂效果。
2024-03-14 cs.CV cs.GR cs.LG
Neural-Augmented Kelvinlet for Real-Time Soft Tissue Deformation Modeling
本文提出一种结合凯尔文让分析先验与大规模FEM数据的神经模拟框架,用于实时软组织变形建模,提升预测精度与物理合理性。
2026-02-11 cs.CV cs.GR cs.LG
MeshODE: A Robust and Scalable Framework for Mesh Deformation
我们提出了MeshODE,一个可扩展的和强大的框架,成对的CAD模型变形没有预先指定的对应关系。给定一对形状,我们的框架提供了一种新的形状特征保持映射函数,该函数通过基于非刚性迭代最近点(ICP)算法最小化拟合和刚性损失来使一个模型连续变形到另一个模型。在这个问题中,我们解决两个挑战,即设计一个强大的变形功能,并获得一个功能保持CAD变形。虽然传统的变形直接优化的网格顶点或控制笼的顶点的坐标,我们引入了一个深双射映射,利用流模型参数化的神经网络。我们的功能有能力处理复杂的变形,产生的变形,保证没有自相交,并需要低刚度约束的几何形状保存,这导致更好的拟合质量相比,现有的方法。它还可以在两个任意形状之间连续变形,而无需监督中间形状。此外,我们提出了一个强大的预处理流水线的原始CAD网格使用特征感知细分和统一的图形模板表示,以解决工件的原始CAD模型,包括自相交,不规则三角形,拓扑断开组件,非流形边缘,和非均匀分布的顶点。这有助于快速变形优化过程,保留全局和局部细节。我们的代码是公开的。
2020-05-23 cs.CG cs.GR