ADAPT: Attention Driven Adaptive Prompt Scheduling and InTerpolating Orthogonal Complements for Rare Concepts Generation
Hanyang University(翰阳大学)
ADAPT框架通过确定性提示调度和语义对齐,提升稀有概念生成效果,无需额外训练,在RareBench基准上表现优异。
2026-03-19 cs.CV
PhysReaction: Physically Plausible Real-Time Humanoid Reaction Synthesis via Forward Dynamics Guided 4D Imitation
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);SenseTime(商汤科技);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出前向动力学引导的4D模仿方法,解决人形机器人反应合成中物理不合理和无法实时推理的问题,在InterHuman和Chi3D数据集上实现速度提升33倍的高质量类人反应生成。
2024-04-01 cs.CV cs.RO
VLIPP: Towards Physically Plausible Video Generation with Vision and Language Informed Physical Prior
Monash University(莫纳什大学);Dalian University of Technology(大连理工大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Oxford University(牛津大学);The University of Sydney(悉尼大学);ZMO AI(智源人工智能)
提出两阶段图生视频框架VLIPP,利用VLM结合思维链与物理感知推理预测粗略运动轨迹,并以此结合噪声引导VDM生成物理上合理且细节丰富的视频。
2025-04-04 cs.AI cs.CV
GroundShot: Visually Consistent Multi-Shot Long Video Generation via Entity-Grounded Shot Scheduling
Fudan University(复旦大学);Baidu(百度)
提出GroundShot框架,通过在线构建实体级视觉记忆并调度镜头生成顺序,无需训练即可提升多镜头视频中实体的一致性。
2026-07-21 cs.AI cs.CV
Two-phase Hair Image Synthesis by Self-Enhancing Generative Model
Megvii (Face++) USA(旷视(Face++)美国);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data, CUHK(SZ)(香港中文大学(深圳)深圳大数据研究院)
随着生成对抗网络(GANs)的兴起,在有限的指导下生成合理的头发图像,例如稀疏草图或低分辨率图像,已经成为可能。传统的图像到图像转换网络可以生成可识别的结果,但通常会丢失更精细的纹理,并且通常存在模糊伪影。在本文中,我们提出了一个高质量的头发图像合成的两阶段生成模型。两阶段流水线首先利用已有的图像平移模型生成粗图像,然后将具有自增强能力的再生网络应用于粗图像。自增强能力是通过一个建议的结构提取层,它提取的纹理和方向图从头发图像。在Sketch 2 Hair和Hair Super-Resolution两个任务上的大量实验表明,该方法能够合成具有更精细细节的合理头发图像,并且性能优于最先进的方法。
2019-02-28 cs.CV
Diffusion-HPC: Synthetic Data Generation for Human Mesh Recovery in Challenging Domains
Stanford University(斯坦福大学)
针对生成模型难以保持合理人体结构的问题,提出Diffusion-HPC,通过注入人体结构先验生成带3D网格真值的逼真图像,以缓解人体网格恢复训练数据短缺并提升生成逼真度。
2023-12-31 cs.CV
An Experimental Study on Generating Plausible Textual Explanations for Video Summarization
IEEE CBMI 2025
该研究扩展视频摘要多粒度解释框架,集成LLaVA-OneVision生成文本解释,提出基于语义重叠的合理性评估方法,经实验验证解释忠实性与合理性的关联并确定最优生成方案。
2025-09-30 cs.AI cs.CV
Generate Identity-Preserving Faces by Generative Adversarial Networks
Tsinghua University(清华大学)
生成身份保持人脸的目的是在给定目标人脸图像的情况下生成保持同一身份的各种人脸图像。虽然近年来已经开发了相当多的生成模型,但同时获得高质量的面部图像并保持身份仍然具有挑战性。在这里,我们提出了一个引人注目的方法,使用生成对抗网络(GAN)。具体来说,我们利用训练好的GAN生成器来生成可信的人脸,并利用FaceNet作为身份相似性检验器来确保身份。实验结果表明,我们的方法是合格的,以生成高质量的可信和身份保持的人脸。此外,我们的方法提供了一个通用的框架,可以实现以各种方式结合不同的人脸生成器和身份相似性识别。
2017-06-25 cs.CV
3DGEN: A GAN-based approach for generating novel 3D models from image data
Criteo AI Lab(Criteo人工智能实验室)
针对3D模型生成领域探索不足的问题,提出结合神经辐射场与GAN的3DGEN模型,可生成同类别合理3D网格,质量优于现有最优基线。
2023-12-13 cs.CV
Generating Videos with Scene Dynamics
MIT(麻省理工学院);UMBC(马里兰大学巴尔的摩县分校)
我们利用大量未标记的视频来学习视频识别任务(例如动作分类)和视频生成任务(例如未来预测)的场景动态模型。我们提出了一个用于视频的生成对抗网络,它具有时空卷积架构,可以将场景的前景与背景分开。实验表明,该模型可以产生微小的视频高达一秒的全帧速率比简单的基线,我们展示了它的效用在预测静态图像的合理未来。此外,实验和可视化显示,该模型内部学习有用的功能,以识别动作与最小的监督,这表明场景动态是一个有前途的信号表示学习。我们相信生成视频模型可以影响视频理解和模拟中的许多应用。
2016-10-26 cs.CV cs.GR cs.LG
HMD-NeMo: Online 3D Avatar Motion Generation From Sparse Observations
Microsoft Mixed Reality & AI Lab(微软混合现实与人工智能实验室)
针对混合现实中HMD手部部分可见导致的全身运动生成难题,提出轻量在线实时模型HMD-NeMo,通过带时间自适应掩码标记的时空编码器实现合理准确的运动生成,在AMASS数据集达SOTA。
2023-08-22 cs.CV
Learning Part Generation and Assembly for Structure-aware Shape Synthesis
National University of Defense Technology(国防科技大学)
学习用于3D形状合成的强大的深度生成模型在很大程度上受到难以确保包含正确拓扑和合理几何结构的可扩展性的阻碍。事实上,学习合理的3D形状的分布对于整体方法来说似乎是一项艰巨的任务,因为即使在同一类别中,3D对象的拓扑变化也很大。受3D形状结构被表征为部件组成和放置的事实的启发,我们建议使用部件感知的深度生成网络(称为PAGENet)来对3D形状变化进行建模。该网络由一系列每个部件的VAE-GAN组成,生成构成完整形状的语义部件,然后是一个部件组装模块,该模块估计每个部件的转换,以将它们关联并组装成一个合理的结构。通过将零件组成和零件放置的学习委托给单独的网络,大大降低了对3D形状的结构变化建模的难度。我们通过定性和定量评估证明PAGENet生成具有合理,多样和详细结构的3D形状,并显示两个应用,即,语义形状分割和基于零件的形状编辑。
2020-01-25 cs.CV
DiffPop: Plausibility-Guided Object Placement Diffusion for Image Composition
Jilin University(吉林大学);Simon Fraser University(西蒙菲莎大学)
提出 DiffPop 框架,通过自监督扩散学习与人在回路合理性分类器引导,实现逼真图像合成中的合理、多样对象放置。
2024-06-12 cs.CV
SurgVista: Long-Horizon Surgical World Modeling with Plausible Instrument-Tissue Dynamics
The Chinese University of Hong Kong(香港中文大学);EPFL(瑞士联邦理工学院洛桑);Imperial College London(伦敦帝国学院)
提出SurgVista手术世界模型,通过变形一致性正则化和漂移适应训练,解决空间交互不连贯和时间保真度崩溃问题,在长程预测中显著优于现有方法。
2026-06-19 cs.CV
Hierarchical Fine-grained Preference Optimization for Physically Plausible Video Generation
The Hong Kong University of Science and Technology(香港科技大学);Everlyn AI;The University of Hong Kong(香港大学);University of Central Florida(中佛罗里达大学)
针对视频生成难以遵循物理定律的问题,提出PhysHPO框架,通过实例、状态、运动和语义四个层级进行细粒度跨模态偏好优化,并引入自动化数据选择流程,显著提升了视频的物理合理性与整体质量。
2025-08-14 cs.CV
THOM: Generating Physically Plausible Hand-Object Meshes From Text
UNIST(蔚山科学技术院);University of Birmingham(伯明翰大学);POSTECH(浦项科技大学)
THOM通过两阶段流程从文本生成物理合理的手-物体网格,无需模板网格,结合物理优化和视觉语言模型提升交互合理性。
2026-04-13 cs.CV
Neural Re-Simulation for Generating Bounces in Single Images
Adobe Research(奥多比研究院);University College London(伦敦大学学院)
我们介绍了一种方法来生成视频的动态虚拟对象通过碰撞与静态图像的环境,可扩展地相互作用。给定一个起始轨迹,用单个静态输入图像的估计几何形状进行物理模拟,我们通过神经网络学习将该轨迹“校正”为视觉上合理的轨迹。然后,神经网络可以被看作是学习“校正”传统的模拟输出,用不完整和不精确的世界信息生成,以获得上下文特定的,视觉上合理的重新模拟输出,我们称之为神经重新模拟的过程。我们训练我们的系统上的一组50k的合成场景,其中一个虚拟的移动物体(球)已被物理模拟。我们在我们的合成数据集和描绘日常场景的真实图像集合上展示了我们的方法,在整个基线替代方案上获得了一致的改进。
2019-08-24 cs.CV
Creativity: Generating Diverse Questions using Variational Autoencoders
UIUC(伊利诺伊大学厄巴纳-香槟分校);Northwestern University(西北大学)
为给定图像生成不同的问题是计算教育,娱乐和AI助手的重要任务。与许多传统的预测技术不同的是,需要算法来生成一组不同的合理问题,我们称之为“创造力”。在本文中,我们提出了一个创造性的算法,结合了变分自编码器与长短期记忆网络的优势,视觉问题的生成。我们证明,我们的框架是能够生成一个大的一组不同的问题,给定一个单一的输入图像。
2017-04-11 cs.CV
Physically Plausible Animation of Human Upper Body from a Single Image
National Taiwan University(台湾大学);Stanford University(斯坦福大学)
我们提出了一种新的方法来生成可控的,动态响应,和真实感的人的动画。给定一个人的图像,我们的系统允许用户使用图像空间中的交互来生成物理上合理的上半身动画(PUBA),例如将他们的手拖到各个位置。我们制定了一个强化学习问题来训练一个动态模型,该模型预测人的下一个2D状态(即,图像上的关键点)以3D动作为条件(即,联合扭矩),以及输出最佳行动以控制人实现预期目标的策略。动态模型利用了3D模拟的表现力和2D视频的视觉真实感。PUBA生成实现任务目标的2D关键点序列,同时对强有力的扰动做出响应。关键点序列然后由姿势到图像生成器转换以产生最终的照片级真实感视频。
2022-12-09 cs.AI cs.CV cs.GR
Diverse Plausible Shape Completions from Ambiguous Depth Images
Robotics Institute(机器人研究所);University of Michigan(密歇根大学)
我们提出了PSSNet,一个网络架构,用于从单个2.5D深度图像生成各种合理的3D重建。现有的方法往往只产生一个单一的形状上的小变化,即使多个形状是一致的观察。为了获得多样性,我们通过在训练期间提供学习的形状限界框特征作为边信息来改变变分自动编码器。由于这些特征在训练过程中是已知的,因此我们能够向编码器添加监督损失,并向解码器添加无噪声值。为了进行评估,我们从网络中抽取一组完成,为每个测试观察构建一组合理的形状匹配,并使用我们在形状集上定义的合理多样性度量进行比较。我们使用Shapenet杯子和部分遮挡的YCB对象进行实验,发现我们的方法在数据集上执行的模糊性很小,并且当许多形状与观察到的深度图像相匹配时,优于现有的方法。我们演示了一个使用PSSNet的物理机器人时,抓住物体的遮挡和混乱。
2020-11-18 cs.CV cs.RO
Generating 3D People in Scenes without People
ETH Zürich(苏黎世联邦理工学院);Ulm University(乌尔姆大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们提出了一个全自动的系统,需要一个3D场景,并产生合理的3D人体自然构成的3D场景。给定一个没有人的3D场景,人类可以很容易地想象出人如何与场景和场景中的物体进行交互。然而,这对于计算机来说是一个具有挑战性的任务,因为解决它需要(1)生成的人体在3D环境中是语义上合理的(例如,人们坐在沙发上或在炉子附近做饭),以及(2)所生成的人-场景交互在物理上是可行的,使得人体和场景不相互穿透,同时,身体-场景接触支持身体互动。为此,我们使用基于表面的3D人体模型SMPL-X。我们首先训练一个条件变分自编码器来预测语义上合理的三维人体姿势条件的潜在场景表示,然后我们进一步细化生成的三维机构使用场景约束,以执行可行的物理交互。我们表明,我们的方法是能够合成逼真的和富有表现力的三维人体自然与三维环境的互动。我们进行了大量的实验,证明我们的生成框架相比,与现有的方法,无论是定性和定量。我们相信,我们的场景调节的3D人体生成管道将是有用的许多应用;例如,在视频游戏和VR/AR中生成用于人体姿势估计的训练数据。我们的数据和代码的项目页面可以在:\url{https://vlg.inf.ethz.ch/projects/PSI/}上看到。
2020-04-19 cs.CV
Refracting Reality: Generating Images with Realistic Transparent Objects
The Australian National University(澳大利亚国立大学)
本文提出通过Snell定律在生成过程中同步像素,生成更符合物理约束的透明物体图像。
2026-05-02 cs.CV
DrivingAgent: Design and Scheduling Agents for Autonomous Driving Systems
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究所);University of California, Merced(加州大学默塞德分校)
提出DrivingAgent框架,通过自动化模块开发(设计阶段)和强化学习训练的轻量级LLM实时调度(调度阶段),解决自动驾驶系统集成新模型和满足实时约束的挑战,在nuScenes和Bench2Drive上取得更优速度-精度权衡。
2026-06-12 cs.CV cs.RO
Generic Event Boundary Detection via Denoising Diffusion
Pohang University of Science and Technology (POSTECH)(釜山科学技术大学);GenGenAI
本文提出生成式扩散模型DiffGEBD,利用时间自相似性编码和去噪扩散生成多样且合理的事件边界,并引入兼顾多样性与保真度的新评估指标,在Kinetics-GEBD和TAPOS上取得强性能。
2025-08-16 cs.AI cs.CV
Diverse Plausible 360-Degree Image Outpainting for Efficient 3DCG Background Creation
Keio University(庆应义塾大学)
我们解决的问题,生成一个360度的图像,从一个单一的图像与一个狭窄的视野,通过估计其周围环境。以前的方法遭受过拟合的训练分辨率和确定性生成。本文提出了一种使用Transformer进行场景建模的完成方法,并提出了改进输出图像上360度图像特性的新方法。具体来说,我们使用带有Transformer的CompletionNets来执行不同的完成,并使用AdjustmentNet来将颜色、拼接和分辨率与输入图像相匹配,从而实现任何分辨率的推理。为了改善输出图像上360度图像的属性,我们还提出了WS感知损失和循环推理。实验结果表明,该方法在定性和定量上均优于现有的SOTA方法。例如,与SOTA方法相比,我们的方法在分辨率上完成了16倍的图像,并实现了1.7倍的Frechet起始距离(FID)。此外,我们提出了一个管道,使用完成结果的照明和背景的3DCG场景。我们的似是而非的背景完成,使视觉上自然的结果,在应用程序中插入虚拟物体与镜面。
2022-03-28 cs.CV
Generating Driving Scenes with Diffusion
Zoox;Massachusetts Institute of Technology(麻省理工学院)
本文提出Scene Diffusion系统,结合扩散与目标检测直接生成自动驾驶感知输出中的边界框排列,并能适应美国不同区域生成逼真交通场景。
2023-05-29 cs.CV cs.LG
ArticuTable: Generating Instance-Level Interactive Rigid-Articulated 3D Tabletop Scenes from a Single Image
Wuhan University(武汉大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);University of North Texas(北德克萨斯大学);Australian National University(澳大利亚国立大学)
提出ArticuTable框架,从单张图像重建具身智能体可交互的3D桌面场景,通过GRAM关节建模和PSGSR场景配准实现部件级关节运动与视图一致布局,并构建ArticuTable-100数据集验证性能。
2026-10-06 cs.CV
LayoutVAE: Stochastic Scene Layout Generation From a Label Set
Simon Fraser University(西蒙弗雷泽大学);Borealis AI(北极光人工智能);University of British Columbia(不列颠哥伦比亚大学)
近年来,研究界对场景生成的兴趣越来越大。然而,用于从文本描述生成场景布局的模型在很大程度上忽略了文本所指示的结构内的看似合理的视觉变化。我们提出了LayoutVAE,一个基于变分自编码器的框架,用于生成随机场景布局。LayoutVAE是一个多功能的建模框架,允许在给定标签集的情况下生成完整的图像布局,或者在给定新标签的情况下为现有图像生成每个标签布局。此外,它还能够检测不寻常的布局,潜在地提供了一种方法来评估布局生成问题。在MNIST布局和具有挑战性的COCO 2017 Panoptic数据集上进行的大量实验验证了我们提出的框架的有效性。
2021-06-01 cs.CV
Generating Continual Human Motion in Diverse 3D Scenes
University of Tübingen(蒂宾根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Meta AI Research(元人工智能研究院);University of California, Berkeley(加利福尼亚大学伯克利分校)
提出一种基于关键点约束和种子运动序列的连续人体运动合成方法,通过在目标中心坐标系下分解路径行走与动作转换,仅用场景无关数据即可在多种3D场景中生成无漂移的长序列多样化动作。
2025-02-02 cs.CV
VividDream: Generating 3D Scene with Ambient Dynamics
University of Maryland, College Park(马里兰大学帕克分校);Massachusetts Institute of Technology(麻省理工学院)
VividDream提出一种从单图或文本生成可探索4D场景的方法,通过迭代修复构建静态3D点云,结合视频扩散模型生成动画视频集合,并优化4D场景表示以支持自由视角探索环境动态。
2024-05-30 cs.CV cs.GR
Generating Visual Scenes from Touch
University of Michigan(密歇根大学)
本文提出基于潜在扩散的视觉-触觉双向合成模型,在触觉风格化和无场景先验的触觉生成图像任务上取得突破,并扩展至去除传感器/手及由反射率与触觉估计明暗。
2023-09-26 cs.CV
3D-PRNN: Generating Shape Primitives with Recurrent Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe 研究院)
包括机器人、数字内容创建和可视化在内的各种应用的成功需要从有限的传感器数据中对3D世界进行结构化和抽象的表示。受人类感知的3D形状作为一个简单的部分集合的性质的启发,我们探索这样一个抽象的形状表示基元的基础上。给定对象的单个深度图像,我们提出了3D-PRNN,这是一种生成递归神经网络,它合成了由一组图元组成的多个看似合理的形状。我们的生成模型编码常见的人造物体的对称特性,保持长期的结构一致性,并描述了不同的复杂性与紧凑的表示对象。我们还提出了一种基于高斯场的方法来生成基于连续性的形状表示的大规模数据集,以训练我们的网络。我们评估了我们的方法在广泛的例子,并表明它优于最近邻的形状检索方法,并与基于体素的生成模型,同时使用一个显着减少的参数空间。
2017-08-04 cs.AI cs.CV cs.LG
Generating Diverse 3D Reconstructions from a Single Occluded Face Image
Michigan State University(密歇根州立大学)
遮挡是无约束人脸图像中常见的现象。由于遮挡的存在,从这样的面部图像的单个图像3D重建经常遭受损坏。此外,虽然多个3D重建在被遮挡区域中是合理的,但是现有方法限于仅生成单个解决方案。为了解决这两个挑战,我们提出了Diverse3DFace,它是专门设计的,同时生成一个多样化的和现实的3D重建集从一个单一的遮挡人脸图像。它由三个部分组成:一个全局+局部形状拟合过程,一个基于图神经网络的网格VAE,和一个基于行列式点过程的多样性促进迭代优化过程。定量和定性比较的3D重建被遮挡的脸表明,Diverse3DFace可以估计的3D形状是一致的,在目标图像中的可见区域,同时表现出高,但现实的多样性水平的被遮挡的区域。在被面具、眼镜和其他随机物体遮挡的面部图像上,Diverse3DFace生成的3D形状分布在遮挡区域上的多样性比基线高约50%。此外,我们最接近地面真相的样本的MSE比现有方法的奇异重建低约40%。
2022-03-31 cs.CV
CLIP-Mesh: Generating textured meshes from text using pretrained image-text models
Concordia University(康考迪亚大学);Mila(米拉研究所)
我们提出了一种技术,zero-shot生成的三维模型,只使用一个目标文本提示。在没有任何3D监督的情况下,我们的方法使极限细分表面的控制形状及其纹理贴图和法线贴图变形,以获得与输入文本提示对应的3D资产,并且可以轻松地部署到游戏或建模应用程序中。我们只依赖于预先训练的CLIP模型,该模型将输入文本提示与我们3D模型的差异化渲染图像进行比较。虽然以前的工作主要集中在风格化或生成模型的训练,但我们直接对网格参数进行优化,以生成形状,纹理或两者兼而有之。为了约束优化以产生合理的网格和纹理,我们引入了一些使用图像增强的技术,并使用预先训练的先验知识,在给定文本嵌入的情况下生成CLIP图像嵌入。
2022-09-02 cs.CV cs.GR cs.LG