Plausible but Wrong: A case study on Agentic Failures in Astrophysical Workflows
Bonn-Aachen International Center for Information Technology, University of Bonn, Germany(波恩-阿森国际信息科技中心,波恩大学,德国);Lamarr Institute for Machine Learning and Artificial Intelligence, Germany(拉马尔机器学习与人工智能研究所,德国)
研究评估了CMBAgent在两种工作流范式和十八个天体物理任务中的表现,发现代理在缺乏上下文时性能提升显著,但常出现静默错误,产生看似合理却不准确的结果,揭示了代理科学工作流中最危险的失败模式是自信生成错误结果。
2026-06-25 astro-ph.IM cs.AI
Learning-Based Animation of Clothing for Virtual Try-On
Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
提出了一种基于学习的服装动画方法,以实现高效的虚拟试穿仿真。给定一件衣服,我们预处理一个基于物理的穿着角色模拟的丰富数据库,用于多个身体形状和动画。然后,使用这个数据库,我们训练一个基于学习的模型,布料悬垂和皱纹,作为身体形状和动力学的函数。我们提出了一个模型,分离全球服装适合,由于身体形状,从局部服装褶皱,由于姿势动态和身体形状。我们使用一个循环神经网络来回归服装褶皱,我们实现了高度合理的非线性效果,与以前的方法所遭受的混合文物。在运行时,动态虚拟试穿动画在短短几毫秒内产生的服装与数千个三角形。我们对结果进行了定性和定量分析
2019-03-17 cs.CV
Animation from Blur: Multi-modal Blur Decomposition with Motion Guidance
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所);Microsoft Research Asia(微软亚洲研究院)
我们研究了从单个运动模糊图像中恢复详细运动的挑战性问题。这个问题的现有解决方案估计单个图像序列,而不考虑每个区域的运动模糊性。因此,结果趋于收敛到多模态可能性的平均值。在本文中,我们明确地考虑到这种运动模糊性,使我们能够生成多个合理的解决方案,所有的尖锐的细节。其关键思想是引入一个运动指导表示,这是一个紧凑的量化的二维光流只有四个离散的运动方向。在运动导引的条件下,通过一种新的两级分解网络,将模糊分解引向一个特定的、无模糊的解。我们提出了一个统一的模糊分解框架,它支持各种接口,用于生成我们的运动指导,包括人类输入,来自相邻视频帧的运动信息,以及从视频数据集学习。在合成数据集和真实数据上的大量实验表明,所提出的框架在定性和定量上优于以前的方法,并且还提供了产生物理上合理和多样化的解决方案的优点。代码可在https://github.com/zzh-tech/Animation-from-Blur上获得。
2022-07-20 cs.CV
InsActor: Instruction-driven Physics-based Characters
Nanyang Technological University(南洋理工大学);Dyson Robot Learning Lab(戴森机器人学习实验室);National University of Singapore(新加坡国立大学)
InsActor提出一种利用扩散策略和潜在技能序列生成指令驱动物理角色动画的框架,在运动生成和路径点朝向任务上达到最先进水平,适用于长时程指令任务。
2023-12-28 cs.CV cs.GR cs.RO
PhyCAGE: Physically Plausible Compositional 3D Asset Generation from a Single Image
Shanghai Jiao Tong University(上海交通大学);Tencent XR Vision Labs(腾讯XR视觉实验室)
提出PhyCAGE方法,通过生成组件多视角图像并拟合为3D高斯喷溅表示,结合PSE-SDS技术优化高斯位置,实现从单张图像生成物理合理的组合式3D资产。
2024-11-27 cs.CV
Identity-Preserving Realistic Talking Face Generation
TCS Research and Innovation(塔塔咨询服务公司研究与创新部)
语音驱动的面部动画对于各种应用都很有用,例如远程呈现,聊天机器人等。具有逼真面部动画的必要属性是1)视听同步(2)目标个体的身份保留(3)合理的嘴部运动(4)自然眨眼的存在。现有的方法主要解决视听唇同步,和最近的作品很少有解决的合成的整体视频真实感的自然眨眼。在本文中,我们提出了一种从语音中保存身份的真实面部动画的方法。我们首先使用DeepSpeech功能从音频中生成与人无关的面部地标,以实现对不同声音,口音等的不变性。为了增加真实感,我们使用无监督学习在面部地标上施加眨眼,并将与人无关的地标重新定位为特定于人的地标,以保留与身份相关的面部结构,这有助于生成目标身份的合理嘴巴形状。最后,我们使用LSGAN从个人特定的面部标志生成面部纹理,使用注意力机制,有助于保持身份相关的纹理。我们提出的方法与目前最先进的方法进行了广泛的比较,证明了唇同步精度,图像重建质量,清晰度和身份保护方面的显着改善。一项用户研究还显示,我们的动画效果比最先进的方法更逼真。据我们所知,这是语音驱动的2D面部动画,同时解决所有上述属性的现实语音驱动的面部动画的第一个工作。
2020-05-25 cs.CV
DeePSD: Automatic Deep Skinning And Pose Space Deformation For 3D Garment Animation
University of Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
我们通过深度学习提出了服装动画问题的新解决方案。我们的贡献允许动画任意拓扑结构和几何复杂性的任何模板装备。最近的作品开发模型的服装编辑,裁剪和动画在同一时间,利用支持体模型(编码服装作为身体同伦)。这导致了复杂的工程解决方案,可扩展性,适用性和兼容性受到影响。通过限制我们的范围,服装动画,我们能够提出一个简单的模型,可以动画任何服装,独立于其拓扑结构,顶点顺序或连接。我们提出的架构将服装映射到动画3D模型,并转换为3D动画的标准格式(混合权重和混合形状矩阵),自动提供与任何图形引擎的兼容性。我们还提出了一种方法,以补充监督学习与无监督的基于物理的学习,隐式地解决碰撞,提高布料质量。
2021-04-07 cs.CV
PPISP: Physically-Plausible Compensation and Control of Photometric Variations in Radiance Field Reconstruction
NVIDIA(英伟达)
本文提出PPISP模块,通过物理基础和可解释的转换分离相机固有和拍摄依赖效应,实现对多视角3D重建中光度不一致的合理补偿与控制,提升重建效果和评估公平性。
2026-04-07 cs.CV cs.GR
PhysCap: Physically Plausible Monocular 3D Motion Capture in Real Time
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Facebook Reality Labs(Facebook现实实验室)
从单色相机进行无标记3D人体运动捕捉已经取得了重大进展。然而,这是一个非常具有挑战性和严重不适定的问题。因此,即使是最准确的最先进的方法也有很大的局限性。与多视图或基于标记的运动捕获相比,基于单个关节或骨架的运动学公式以及最先进方法中的频繁逐帧重建极大地限制了3D精度和时间稳定性。此外,捕获的3D姿势通常在物理上是不正确的并且在生物力学上是不可信的,或者表现出不可信的环境交互(地板穿透、脚滑行、不自然的身体倾斜和深度上的强烈移位),这对于计算机图形中的任何用例都是有问题的。因此,我们提出了PhysCap,第一个算法物理上合理的,实时和无标记的人类3D运动捕捉与一个单一的彩色相机在25帧/秒。我们的算法首先捕捉3D人体构成纯粹的运动学。为此,CNN推断2D和3D关节位置,并且随后,逆运动学步骤找到时空相干关节角度和全局3D姿态。接下来,这些运动学重建被用作实时基于物理的姿态优化器中的约束,该姿态优化器考虑环境约束(例如,碰撞处理和地板放置)、重力和人体姿势的生物物理可接受性。我们的方法采用了地面反作用力和残余力的组合合理的根控制,并使用一个训练有素的神经网络来检测图像中的脚接触事件。我们的方法捕获物理上合理的和时间上稳定的全球3D人体运动,没有物理上不合理的姿势,地板穿透或脚滑冰,从视频中的实时的和一般场景。该视频可在http://gvv.mpi-inf.mpg.de/project…
2020-12-09 cs.CV cs.GR
Controllable Single-shot Animation Blending with Temporal Conditioning
ECE Dept., Univ. of Thessaly(塔尔西大学电子与计算机工程系);Moverse(Moverse公司);Univ. of Thessaly(塔尔西大学)
本文提出首个单次运动混合框架,通过时序条件化和骨架感知归一化机制,实现无需额外数据的可控、平滑运动混合,并经广泛评估验证其有效性。
2025-08-25 cs.CV cs.GR
SimDiff: Simulator-constrained Diffusion Model for Physically Plausible Motion Generation
Waseda University(早稻田大学);Nanyang Technological University(南洋理工大学);Institute of Science Tokyo(东京科学研究所)
SimDiff提出一种模拟器约束的扩散模型,将环境参数直接融入去噪过程,无需推理时重复调用模拟器,高效生成物理合理的人体运动,并支持细粒度控制与组合泛化。
2025-09-25 cs.CV
Neural MoCon: Neural Motion Control for Physically Plausible Human Motion Capture
Southeast University(东南大学)
由于视觉模糊性,单目人体运动捕捉的纯运动学公式往往是物理上不正确的,生物力学上难以置信的,并且不能重建准确的相互作用。在这项工作中,我们专注于利用高精度和不可微的物理模拟器,将动态约束的运动捕捉。我们的核心思想是使用真实的物理监督训练一个目标位姿分布之前,基于采样的运动控制,以捕捉物理上合理的人体运动。为了获得准确的参考运动与地形的相互作用的采样,我们首先引入了一个基于SDF(有符号距离场)的相互作用约束,以执行适当的地面接触建模。然后,我们设计了一种新的两个分支解码器,以避免随机错误的伪地面真理和训练的分布前与不可微的物理模拟器。最后,我们从当前状态的物理特征与训练的先验和样本满意的目标姿态跟踪估计的参考运动的样本分布回归。定性和定量的结果表明,我们可以得到物理上合理的人体运动与复杂的地形相互作用,人体形状的变化,和不同的行为。有关更多信息,请访问~ \url{https://www.yangangwang.com/papers/HBZ-NM-2022-03.html}
2022-03-26 cs.CV
VLIPP: Towards Physically Plausible Video Generation with Vision and Language Informed Physical Prior
Monash University(莫纳什大学);Dalian University of Technology(大连理工大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Oxford University(牛津大学);The University of Sydney(悉尼大学);ZMO AI(智源人工智能)
提出两阶段图生视频框架VLIPP,利用VLM结合思维链与物理感知推理预测粗略运动轨迹,并以此结合噪声引导VDM生成物理上合理且细节丰富的视频。
2025-04-04 cs.AI cs.CV
RELATE: Physically Plausible Multi-Object Scene Synthesis Using Structured Latent Spaces
University of Oxford(牛津大学);University College London(伦敦大学学院);Niantic;Adobe Research(Adobe研究院)
我们提出了一个模型,学习生成物理上合理的场景和视频的多个相互作用的对象。与其他生成方法类似,RELATE是在原始、未标记的数据上进行端到端训练的。EQUIPATE将以对象为中心的GAN公式与明确说明各个对象之间相关性的模型相结合。这允许模型从物理上可解释的参数化生成逼真的场景和视频。此外,我们表明,建模对象的相关性是必要的,学习解开对象的位置和身份。我们发现,EQUAATE也适合物理现实场景编辑,它显着优于现有技术在以对象为中心的场景生成合成(CLEVR,ShapeStacks)和现实世界的数据(汽车)。此外,与以对象为中心的生成式建模中的最先进方法相比,MPEGATE还可以自然地扩展到动态场景,并生成高视觉保真度的视频。源代码、数据集和更多结果可在http://geometry.cs.ucl.ac.uk/projects/2020/relate/上获得。
2020-11-09 cs.CV
ReinDiffuse: Crafting Physically Plausible Motions with Reinforced Diffusion Model
Tencent AI Lab(腾讯AI实验室);University of Technology Sydney(悉尼科技大学);Northwest A&F University(西北农林科技大学)
本文提出ReinDiffuse,结合强化学习与运动扩散模型,通过最大化物理合理奖励优化动作生成,在HumanML3D和KIT-ML数据集上显著提升了物理合理性与动作质量。
2024-10-15 cs.CV
Recovering Physically Plausible Human-Object Interactions from Monocular Videos
University of Texas at Austin(德克萨斯大学奥斯汀分校);Shanghai Jiao Tong University(上海交通大学)
提出RePHO方法,通过物理引导的重建框架和强化学习策略,从单目视频中恢复物理上可信的人-物交互,解决了现有方法中的穿透和物体漂浮问题。
2026-06-03 cs.CV
Towards Immersive Human-X Interaction: A Real-Time Framework for Physically Plausible Motion Synthesis
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程研究中心)
提出Human-X实时框架,利用自回归反应扩散规划器和强化学习运动跟踪策略,在Inter-X和InterHuman数据集上显著提升运动质量、交互连续性和物理合理性,并验证于VR人机交互应用。
2025-08-04 cs.CV cs.RO
Physically Plausible Spectral Reconstruction from RGB Images
University of East Anglia(东英吉利大学)
最近卷积神经网络(CNN)已被用于从RGB图像重建高光谱信息。此外,该谱重建问题(SR)通常可以以良好(低)误差来解决。然而,这些方法在物理上并不合理:也就是说,当恢复的光谱与底层相机灵敏度重新整合时,所得到的预测RGB与实际RGB不相同,有时这种差异可能很大。暴露的变化使问题进一步复杂化。事实上,大多数基于学习的SR模型训练固定的曝光设置,我们表明,这可能会导致在曝光变化时的性能不佳。在本文中,我们展示了如何扩展CNN学习,以便增强物理可扩展性,并减轻因曝光量变化而导致的问题。我们的SR解决方案在不同曝光条件下提高了最先进的光谱恢复性能,同时确保了物理可扩展性(恢复的光谱精确地重新整合到输入RGB)。
2020-01-02 cs.CV eess.IV
Synthesizing Physically Plausible Human Motions in 3D Scenes
Southeast University(东南大学);Shanghai AI Laboratory(上海人工智能实验室);Xiaohongshu Inc(小红书公司)
提出基于物理的角色控制框架,通过解耦交互与导航构建InterCon和NavCon控制器,使角色能在杂乱3D场景中执行长期交互任务。
2025-03-02 cs.AI cs.CV cs.GR
Controllable Exaggeration for Generative Motion Models via Training-Time Adaptation and Inference-Time Guidance
Autodesk Research(奥多比研究机构);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Concordia University(康考迪亚大学)
本研究针对现有运动生成模型忽略动画夸张原则的问题,提出训练时微调与推理时引导的双阶段框架,可在保留运动合理性的同时生成更具表现力的夸张运动。
2026-10-09 cs.CV
3D Copy-Paste: Physically Plausible Object Insertion for Monocular 3D Detection
Stanford University(斯坦福大学);University of Southern California(南加州大学);Bosch Research North America(博世北美研究院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心(BCAI))
针对单目3D检测真实训练数据不足,本文提出3D Copy-Paste,通过无碰撞放置、姿态估计与空间变化光照渲染将虚拟物体物理合理地插入真实室内场景,显著提升检测性能。
2023-12-08 cs.CV cs.LG
Video Self-Distillation for Single-Image Encoders: A Step Toward Physically Plausible Perception
Nota AI GmbH
提出视频自蒸馏单图像编码器,通过当前帧预测下一帧表征注入时空先验,仅用2小时视频预训练即使ADE20K mIoU从35.0升至36.4。
2025-07-25 cs.CV
PhysHMR: Learning Humanoid Control Policies from Vision for Physically Plausible Human Motion Reconstruction
University of Pennsylvania(宾夕法尼亚大学)
针对单目视频人体运动重建缺乏物理约束、两阶段方法误差累积的问题,提出PhysHMR统一框架,结合像素即射线策略与知识蒸馏,直接学习视觉控制策略,在视觉精度和物理真实感上均优于现有方法。
2025-10-02 cs.CV
Beyond Visual Attractiveness: Physically Plausible Single Image HDR Reconstruction for Spherical Panoramas
Northwestern University(西北大学);Wormpex AI Research(万沛克斯人工智能研究院)
HDR重建是计算机视觉中的一项重要任务,具有许多工业需求。传统的方法合并多个曝光镜头以生成对应于场景的照度的物理量的HDR。然而,繁琐的捕获过程使得这种多镜头方法在实践中不方便。相比之下,最近的单镜头方法通过深度学习从单个LDR图像预测视觉上吸引人的HDR。但目前尚不清楚前面提到的物理特性是否仍然存在,如果不训练网络来明确地对它们进行建模。在本文中,我们介绍了我们的单次拍摄HDR重建框架的物理照度约束,重点是球面镜。通过提出的物理正则化,我们的方法可以生成HDR,这不仅是视觉上的吸引力,但也物理上合理的。为了进行评估,我们收集了一个大型的LDR和HDR图像数据集,其中包含真实照度测量。大量的实验表明,我们的HDR图像不仅保持了高的视觉质量,而且在照度预测精度上优于所有基线方法。
2021-03-24 cs.CV eess.IV
Physically Plausible Human-Object Rendering from Sparse Views via 3D Gaussian Splatting
College of Computer Science, Zhejiang University(浙江大学计算机科学与技术学院);Department of Computer Science and Engineering, The Hong Kong University of Science and Technology(香港科技大学计算机科学与工程系)
本文提出HOGS框架,通过3D高斯点云实现高效且物理合理的稀疏视角人类-物体渲染,解决高渲染质量、物理合理性与计算效率的平衡问题。
2026-04-09 cs.CV cs.GR
FlowHMR: Physically Plausible Motion Capture from Video
Peking University(北京大学);The Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯);East China Normal University(华东师范大学);Sun Yat-sen University(中山大学);Zhejiang University(浙江大学)
FlowHMR提出将视频运动捕捉视为视频条件下的运动生成问题,利用流匹配模型和GRPO优化,结合保真度与跟踪奖励,在Wild-4K数据集上实现了82.47%的物理跟踪成功率,优于现有方法。
2026-10-05 cs.CV
Physically Plausible 3D Human-Scene Reconstruction from Monocular RGB Image using an Adversarial Learning Approach
Indian Institute of Technology, Bombay(印度理工学院孟买分校);Monash University(莫纳什大学);University of Oxford(牛津大学)
本文提出一种基于对抗学习的方法,利用场景元素的隐式图表示从单目 RGB 图像重建物理上合理的 3D 人-场景,无需显式定义物理约束,实现了与现有优化方法相当的质量且无需推理时优化,更适合机器人应用。
2023-07-27 cs.CV cs.RO
ScoreHOI: Physically Plausible Reconstruction of Human-Object Interaction via Score-Guided Diffusion
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tsinghua University(清华大学)
ScoreHOI利用分数引导扩散模型,结合物理约束和接触驱动迭代细化,实现人体-物体交互的物理合理重建,在标准基准上超越现有方法。
2025-09-09 cs.CV
THOM: Generating Physically Plausible Hand-Object Meshes From Text
UNIST(蔚山科学技术院);University of Birmingham(伯明翰大学);POSTECH(浦项科技大学)
THOM通过两阶段流程从文本生成物理合理的手-物体网格,无需模板网格,结合物理优化和视觉语言模型提升交互合理性。
2026-04-13 cs.CV
D-Grasp: Physically Plausible Dynamic Grasp Synthesis for Hand-Object Interactions
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);KAIST(韩国科学技术院)
我们介绍了动态抓取合成任务:给定一个已知的6D姿态和抓取参考的对象,我们的目标是生成运动,将对象移动到目标6D姿态。这是具有挑战性的,因为它需要对人手的复杂关节以及与物体的复杂物理交互进行推理。我们提出了一种新的方法,框架这个问题的强化学习框架,并利用物理模拟,学习和评估这种动态的相互作用。分层的方法分解成低层次的把握和高层次的运动合成的任务。它可以用来生成新的手序列,接近,抓住,并将对象移动到所需的位置,同时保持人类的相似性。我们表明,我们的方法导致稳定的把握,并产生广泛的运动。此外,即使是不完美的标签,可以通过我们的方法来纠正,以产生动态的相互作用序列。
2022-03-30 cs.CV cs.LG cs.RO
Physically Plausible Full-Body Hand-Object Interaction Synthesis
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Google(谷歌)
提出一种基于强化学习与物理模拟的分层框架,通过学习身体与手部技能先验并结合对抗风格与任务奖励,实现全身手-物交互的物理合理合成。
2023-09-14 cs.CV cs.LG cs.RO
PhyPrompt: RL-based Prompt Refinement for Physically Plausible Text-to-Video Generation
Northwestern University(西北大学);Dolby Laboratories(杜比实验室)
PhyPrompt通过强化学习优化提示,提升文本到视频生成的物理合理性,优于GPT-4o和DeepSeek-V3,实现更高效的物理常识和语义忠实度提升。
2026-03-03 cs.AI cs.CV
Chain of Event-Centric Causal Thought for Physically Plausible Video Generation
Sichuan University(四川大学);The University of Adelaide(阿德莱德大学);Hong Kong Polytechnic University(香港理工大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出基于事件链的因果推理和跨模态提示模块,用于生成物理合理视频,通过物理公式约束和时间对齐提示提升视频生成的因果连贯性与物理合理性。
2026-03-30 cs.CV
PhysPart: Physically Plausible Part Completion for Interactable Objects
Cornell University(康奈尔大学);University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院)
本文提出PhysPart,一种基于扩散模型的可交互物体部件补全方法,通过几何条件引导和稳定性/可动性物理损失约束生成过程,并引入运动成功率指标,在形状与物理合理性上优于现有基线。
2025-02-04 cs.CV cs.RO
PhySIC: Physically Plausible 3D Human-Scene Interaction and Contact from a Single Image
University of Tübingen, Zuse School ELIZA(图宾根大学Zuse学校ELIZA);University of Tübingen, Tübingen AI Center(图宾根大学图宾根人工智能中心);University of Tübingen, Tübingen AI Center, MPI for Informatics, SIC(图宾根大学图宾根人工智能中心、马克斯·普朗克信息研究所、SIC)
PhySIC框架通过感知遮挡的修复与置信度加权优化,从单张RGB图像重建物理合理的3D人-场景交互,显著降低了场景误差与姿态误差,并大幅提升了接触预测精度。
2025-10-13 cs.CV
Tempered Self-Similarity Alignment for Physically Plausible Video Generation
Pohang University of Science and Technology (POSTECH)(浦项科学技术大学)
提出Tempered Self-Similarity Alignment (TSA)损失函数,通过将视觉基础模型中的时空自相似性关系知识迁移到视频生成模型中,以改善视频的物理合理性。
2026-05-24 cs.CV
Physically Plausible Pose Refinement using Fully Differentiable Forces
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
所有的手-物体交互都是由两个身体相互施加的力控制的,但是在从RGB/RGB-D数据进行姿势和接触估计时,在对这些潜在的力进行建模方面做的工作很少。给定来自任何姿势估计系统的手和对象的姿势,我们提出了一个端到端的可微模型,该模型通过学习对象在其网格中的每个顶点处所经历的力来细化姿势估计。通过将学习到的净力与基于位置的有限差异的净力估计值相匹配,该模型能够找到准确描述物体运动的力,同时解决网格相互渗透和缺乏接触等问题。通过对ContactPose数据集的评估,我们发现该模型成功地纠正了姿势,并找到了更好地匹配地面实况的接触图,尽管没有使用任何RGB或深度图像数据。
2021-08-25 cs.CV
Physically Plausible Video Generation via Visual-Semantic Chain-of-Events Conditioning
College of Electronics and Information Engineering, Sichuan University(四川大学电子信息学院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);School of Computer Science, University of Adelaide(阿德莱德大学计算机学院);School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院)
本文提出视觉-语义事件链条件框架,将物理可信视频生成重新表述为以事件为中心的生成,经多数据集实验验证其生成视频的物理可信性更优。
2026-09-02 cs.CV
Code2Worlds-2: Physically Plausible Agent Harness for Embodied World Simulation
School of Computer Science, Peking University(北京大学计算机学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
本文提出Code2Worlds-2,通过新增场景编译器与模拟器在环优化器,结合SimCode4D基准,实现了可执行的具身世界模拟,生成物理可行且可与机器人交互的场景。
2026-10-14 cs.CV cs.RO
AnimateScene: Camera-controllable Animation in Any Scene
Shanghai Jiao Tong University(上海交通大学);Tencent TEG(腾讯科技(北京)有限公司);East China Normal University(华东师范大学)
AnimateScene通过统一框架解决3D场景重建与4D人体动画整合难题,实现人类在任意场景中自然放置、风格对齐及动态相机轨迹处理,生成高细节且时空一致的动画视频。
2026-02-27 cs.CV
StableGrasp: Reconstructing Physically Stable Human Hand Grasps from Single Images
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对单图像人手抓取物理稳定性不足的问题,提出StableGrasp可微仿真优化框架,分离视觉姿态与控制目标,联合优化几何与控制,生成更稳定且视觉一致的抓取。
2026-10-08 cs.CV cs.GR cs.RO
Dressing Avatars: Deep Photorealistic Appearance for Physically Simulated Clothing
Carnegie Mellon University(卡内基梅隆大学);Meta Reality Labs Research(Meta现实实验室);University of Minnesota(明尼苏达大学);FAIR, Meta AI(Meta人工智能基础研究实验室(FAIR))
尽管最近在开发可动画化的全身化身方面取得了进展,但服装的逼真建模-人类自我表达的核心方面之一-仍然是一个公开的挑战。最先进的物理模拟方法可以以交互速率生成逼真的服装几何形状。然而,对真实感外观建模通常需要基于基于物理的渲染,这对于交互式应用来说太昂贵了。另一方面,数据驱动的深度外观模型能够有效地产生逼真的外观,但在合成高度动态的服装的几何形状和处理具有挑战性的身体服装配置方面很困难。为此,我们引入了姿态驱动的化身与明确的服装建模,展示从现实世界的数据和现实的服装动态学来的逼真的外观。其关键思想是引入一个神经服装外观模型,该模型在显式几何结构之上运行:在训练时,我们使用高保真跟踪,而在动画时,我们依赖于物理模拟的几何结构。我们的核心贡献是一个物理启发的外观网络,能够生成逼真的外观与视图相关的动态阴影效果,即使是看不见的身体服装配置。我们对我们的模型进行了全面的评估,并在几个主题和不同类型的服装上展示了不同的动画效果。与以前的工作逼真的全身化身,我们的方法可以产生更丰富的动态和更逼真的变形,即使是许多宽松的衣服的例子。我们还证明,我们的配方自然允许服装与不同的人的化身一起使用,同时保持完全可动画化,从而首次实现具有新颖服装的逼真化身。
2022-09-19 cs.CV cs.GR
DeSeG: Decoupling Semantic Intent and Geometric Constraints for Physically Plausible Human-Scene Interaction
Southern University of Science and Technology(南方科技大学);Spatialtemporal AI(时空人工智能);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));University of Sheffield(谢菲尔德大学)
针对合成物理合理人机场景交互时语义 - 几何纠缠问题,提出DeSeG分层框架,通过残差语义规划器和物理正则化扩散执行器解耦语义意图与几何约束,实验表明该方法性能达最优,有效降低场景穿透率并提高语义对齐。
2026-07-08 cs.CV
Skeleton2Stage: Reward-Guided Fine-Tuning for Physically Plausible Dance Generation
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院);Bosch(博世);Youku, Alibaba(优酷、阿里巴巴);Nanyang Technological University(南洋理工大学)
Skeleton2Stage通过物理奖励引导微调,提升舞蹈生成的物理合理性与真实感。
2026-02-14 cs.CV
Real2Sim in HOI: Toward Physically Plausible HOI Reconstruction from Monocular Videos
The Hong Kong University of Science and Technology(香港科学与技术大学);Tencent IEG(腾讯IEG)
本文提出HA-HOI框架,通过单目视频重建物理合理的4D HOI动画,改进了人-物对齐、接触一致性、时间稳定性及模拟准备性。
2026-05-14 cs.CV
From Generated Human Videos to Physically Plausible Robot Trajectories
University of California, Berkeley(加州大学伯克利分校);New York University(纽约大学);Johannes Kepler University(约翰·凯撒大学)
本文提出GenMimic方法,通过物理感知强化学习策略,从生成的视频中实现零样本的人形机器人动作模仿,并建立了评估零样本泛化能力的基准。
2025-12-11 cs.CV cs.RO
PhysReflect: Geometry and Perception Guided Diffusion for Physically-Plausible Mirror Reflections
Harbin Institute of Technology(哈尔滨工业大学)
PhysReflect提出几何与感知引导的扩散框架,通过几何损失和感知损失直接监督镜面反射,在合成和真实基准上超越现有方法,提升反射的物理合理性。
2026-09-22 cs.AI cs.CV
PhysMoDPO: Physically-Plausible Humanoid Motion with Preference Optimization
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学);LIGM, École des Ponts, IP Paris, Univ Gustave Eiffel, CNRS(LIGM,巴黎理工学院,IP巴黎,古斯塔夫·埃菲尔大学,国家科学研究中心);École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
PhysMoDPO通过整合完整身体控制器和偏好优化框架,提升生成运动在物理真实性和任务性能上的表现,适用于文本到运动和空间控制任务。
2026-10-09 cs.AI cs.CV cs.LG
PhyRecon: Physically Plausible Neural Scene Reconstruction
Tsinghua University(清华大学);BIGAI(北京智源人工智能研究院);Peking University(北京大学)
针对多视角神经重建结果物理合理性不足的问题,提出结合可微渲染与可微物理仿真的PHYRECON方法,通过SP-MC实现隐式-显式表示转换、建模两类不确定性,显著提升重建质量与物理稳定性。
2024-10-31 cs.CV
Controllable Animation of Fluid Elements in Still Images
Adobe Research India(Adobe印度研究院)
本文提出一种通过用户输入箭头、速度和掩码生成恒定光流图,并用GAN细化和UNet自回归生成未来帧的方法,实现静态图像中水、烟、火等流体元素的可控动画,在公开数据集上优于基线方法。
2023-09-25 cs.CV
Hierarchical Fine-grained Preference Optimization for Physically Plausible Video Generation
The Hong Kong University of Science and Technology(香港科技大学);Everlyn AI;The University of Hong Kong(香港大学);University of Central Florida(中佛罗里达大学)
针对视频生成难以遵循物理定律的问题,提出PhysHPO框架,通过实例、状态、运动和语义四个层级进行细粒度跨模态偏好优化,并引入自动化数据选择流程,显著提升了视频的物理合理性与整体质量。
2025-08-14 cs.CV
PhysLayer: Language-Guided Layered Animation with Depth-Aware Physics
Nanjing University(南京大学);University of Guelph(圭尔夫大学);Zhejiang Sci-Tech University(浙江科技大学);Dalian Maritime University(大连海事大学)
PhysLayer通过深度感知物理模拟和语言引导,实现静态图像的分层动画生成,提升了物理真实性和可控性,实验结果显示在多个指标上均有显著提升。
2026-04-26 cs.CV
GenHSI: Controllable Generation of Human-Scene Interaction Videos
Brown University(布朗大学)
GenHSI提出一种无需训练的可控生成长人类-场景交互视频方法,通过剧本写作、预可视化和动画三阶段生成3D-aware视频,保留人物身份并提供合理交互。
2026-04-16 cs.CV
ArtiGrasp: Physically Plausible Synthesis of Bi-Manual Dexterous Grasping and Articulation
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出 ArtiGrasp,通过强化学习、物理仿真和难度递进课程训练统一策略,合成物理合理的双手抓取与铰接运动,并验证其在动态任务及带噪视觉姿态估计下的有效性。
2024-03-03 cs.CV cs.LG cs.RO