ViVid-1-to-3: Novel View Synthesis with Video Diffusion Models
University of British Columbia(不列颠哥伦比亚大学);Korea University(高丽大学);McGill University(麦吉尔大学);Haiper Ltd.(Haiper有限公司);Vector Institute for AI(Vector人工智能研究所)
本文提出ViVid-1-to-3方法,将单图新视角合成重新表述为相机环绕物体的扫描视频生成,结合视角条件扩散模型与预训练视频扩散模型进行去噪,实现高度一致的新视角合成并超越现有最优方法。
2023-12-03 cs.AI cs.CV cs.GR
TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models
ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室);The Chinese University of Hong Kong(香港中文大学)
TrajectoryCrafter通过双流条件视频扩散模型和双重重投影策略,将确定性视图变换与随机内容生成解耦,实现单目视频相机轨迹的精确重定向与4D内容生成。
2025-03-07 cs.AI cs.CV cs.GR
Full-4D: Generating Full-Scope 4D Scenes from a Single-View Video
Shanghai Jiao Tong University(上海交通大学);Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院)
提出一种将单视角视频转换为全范围4D场景的框架,通过多视角视频合成和基于优化的4D重建,引入大规模数据集Real-MV-4D、融合时间-视图注意力的扩散模型和流匹配蒸馏损失,实现高保真度和几何一致性。
2026-05-25 cs.CV
Exo2EgoSyn: Unlocking Foundation Video Generation Models for Exocentric-to-Egocentric Video Synthesis
Exo2EgoSyn通过三个模块实现从第三人称视角生成高保真内视图视频,提升跨视角视频合成能力。
2026-09-16 cs.CV
Time-Aware and View-Aware Video Rendering for Unsupervised Representation Learning
University of Central Florida(中佛罗里达大学)
最近在深度学习方面的成功导致了各种有效的视频表示学习方法。然而,目前的视频表示方法需要大量的人类标记数据集进行有效的学习。我们提出了一个无监督的表示学习框架,从多个视点捕获的视频编码场景动态。所提出的框架有两个主要组成部分:表示学习网络(RL-NET),它在混合网络(BL-NET)的帮助下学习表示,和视频渲染网络(VR-NET),它用于视频合成。该框架将来自不同视点和时间的视频剪辑作为输入,学习内部表示,并使用该表示从任意给定的视点和时间渲染视频剪辑。所提出的网络从任意视点和时间渲染视频帧的能力使其能够学习场景动态的有意义和鲁棒的表示。我们证明了所提出的方法在渲染视图感知以及时间感知的视频剪辑在两个不同的现实世界的数据集,包括UCF-101和NTU-RGB+D的有效性。为了进一步验证学习表示的有效性,我们将其用于视图不变活动分类的任务,与现有的最先进的方法相比,我们观察到NTU-RGB+D数据集的性能有显着提高(约26%)。
2018-11-29 cs.CV
CAT4D: Create Anything in 4D with Multi-View Video Diffusion Models
Google DeepMind(谷歌DeepMind);Columbia University(哥伦比亚大学);UC San Diego(加州大学圣迭戈分校)
提出CAT4D方法,利用多视角视频扩散模型和可变形3D高斯表示,从单目视频实现鲁棒的4D场景重建与新视角合成。
2024-12-18 cs.CV
SynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse Viewpoints
Kuaishou Technology(快手科技);Tsinghua University(清华大学);CUHK(香港中文大学);Zhejiang University(浙江大学)
针对多视角视频动态一致性需求,提出即插即用的SynCamMaster模块与混合训练方案,增强预训练文生视频模型的多摄像机生成能力,还发布了SynCamVideo-Dataset数据集。
2024-12-10 cs.CV
Reconstruct, Inpaint, Test-Time Finetune: Dynamic Novel-view Synthesis from Monocular Videos
Carnegie Mellon University(卡内基梅隆大学)
本文提出CogNVS模型,通过自监督学习和测试时微调,实现从单目视频动态场景生成新视角的高效方法。
2026-01-13 cs.CV
Do View-Consistent Representations Matter for Camera-Controlled Video Generation?
University of Edinburgh(爱丁堡大学);University of Bristol(布里斯托大学)
ViCoDR通过学习多视图一致的扩散表示,提升视频生成的3D一致性,适用于图像到视频、文本到视频和多视图生成任务。
2026-10-27 cs.CV
MV-S2V: Multi-View Subject-Consistent Video Generation
The Hong Kong Polytechnic University(香港理工大学);The University of Texas at Austin(德克萨斯大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Georgia Institute of Technology(佐治亚理工学院)
本文提出MV-S2V方法,通过多视角参考生成一致的3D主体视频,解决单视角限制并提升视频生成质量。
2026-01-27 cs.AI cs.CV cs.GR
SV4D: Dynamic 3D Content Generation with Multi-Frame and Multi-View Consistency
Stability AI;Northeastern University(东北大学)
SV4D提出统一扩散模型,从单目视频生成多帧多视角一致的动态3D内容,并高效优化动态NeRF,无需SDS,性能优于现有方法。
2025-02-27 cs.CV
Vivid4D: Improving 4D Reconstruction from Monocular Video by Video Inpainting
Zhejiang University(浙江大学);ByteDance(字节跳动)
针对单目视频4D重建的视角限制问题,Vivid4D结合几何与生成先验,将视角增强转化为视频修复任务,通过单目深度先验变形视角并训练修复模型,有效提升4D场景重建效果。
2025-04-18 cs.CV
Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention
University of Texas at Austin(德克萨斯大学奥斯汀分校);Apple(苹果公司);Google(谷歌公司)
提出Cavia框架,通过视角集成注意力模块实现相机可控的多视角视频生成,支持多源数据联合训练,在几何一致性和感知质量上超越现有方法。
2024-10-14 cs.CV
Human Video Generation from a Single Image with 3D Pose and View Control
Electrical Engineering and Computer Science, University of California, Merced, CA 95343, United States.(电子工程与计算机科学系,加州大学默塞德分校);Stability AI, Los Angeles, CA 90067, United States.(Stability AI)
本文提出HVG模型,通过3D姿态和视角控制从单张图像生成高质量多视角人类视频,解决了衣物褶皱和时空一致性问题。
2026-02-24 cs.CV
Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models
Zhejiang University(浙江大学);Ant Research(蚂蚁研究院)
本文提出Diffuman4D方法,通过滑动迭代去噪过程增强4D扩散模型的时空一致性,在稀疏视角视频输入下实现高质量且一致的人体新视角视频合成,并在DNA-Rendering和ActorsHQ数据集上显著优于现有方法。
2025-07-17 cs.CV
Controllable Pedestrian Video Editing for Multi-View Driving Scenarios via Motion Sequence
MiLM Plus, Xiaomi Inc.(小米公司)
针对自动驾驶行人检测模型因训练数据危险场景不足鲁棒性差的问题,提出融合视频修复与运动控制的多视角行人视频编辑框架,可实现插入、替换、移除等编辑,效果真实连贯,可用于数据增强与场景模拟。
2025-08-01 cs.AI cs.CV cs.RO
VideoMV: Consistent Multi-View Generation Based on Large Video Generative Model
Institute for Intelligent Computing, Alibaba Group(阿里巴巴集团智能计算研究所);SSE, CUHKSZ(香港中文大学(深圳)数据科学学院);Peking University(北京大学);Fudan University(复旦大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出VideoMV框架,利用视频生成模型微调生成多视角图像,并通过3D感知去噪采样增强一致性,实现快速训练和高质量3D资产创建。
2024-03-18 cs.AI cs.CV cs.GR
UniMLVG: Unified Framework for Multi-view Long Video Generation with Comprehensive Control Capabilities for Autonomous Driving
School of Automation, Southeast University(东南大学自动化学院);SenseTime Research(商汤科技研究院)
提出统一框架UniMLVG,通过更新基于DiT的扩散模型并引入跨帧跨视角模块与显式视角建模方法,在多种输入条件下生成高质量多视角长视频,在FID和FVD指标上分别提升48.2%和35.2%。
2025-03-06 cs.CV
FrameCrafter: Novel View Synthesis as Video Completion
Carnegie Mellon University(卡内基梅隆大学)
本文提出将稀疏新颖视角合成视为低帧率视频补全任务,通过改进架构实现视角不变性,证明视频模型能以最少监督生成竞争性稀疏视角合成结果。
2026-09-02 cs.CV
MV-Performer: Taming Video Diffusion Model for Faithful and Synchronized Multi-view Performer Synthesis
Great Bay University(大亚湾大学);School of Artificial Intelligence, Shenzhen University(深圳大学人工智能学院);Guangdong Provincial Key Laboratory of Future Networks of Intelligence(广东省未来网络智能化重点实验室)
MV-Performer利用相机相关法线图和融合多视角信息的视频扩散模型,从单目全身捕捉实现同步360度新视角视频合成,在三个数据集上达到最先进性能。
2025-10-08 cs.CV
MyGo: Consistent and Controllable Multi-View Driving Video Generation with Camera Control
Tsinghua University(清华大学);SenseTime Research(商汤科技研究院)
针对现有生成模型多视角任务下相机运动控制不足的问题,提出端到端框架MyGo,通过插件注入相机参数、结合对极约束与邻域信息增强可控性与一致性,在两类生成任务中达最优,助力自动驾驶环境模拟。
2024-09-11 cs.CV
4DVD: Cascaded Dense-view Video Diffusion Model for High-quality 4D Content Generation
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Great Bay University(大湾区大学);Tencent(腾讯)
4DVD提出级联视频扩散模型,将4D生成解耦为粗布局生成与结构感知生成,结合单目视频外观,实现高质量密集视角视频及4D优化,性能领先。
2025-08-06 cs.CV
Fast Multi-view Consistent 3D Editing with Video Priors
The Hong Kong Polytechnic University(香港理工大学)
本文提出ViP3DE方法,利用视频生成模型的时间一致性先验,实现多视角一致的3D编辑,提升编辑质量和速度。
2025-12-01 cs.CV
EX-4D: EXtreme Viewpoint 4D Video Synthesis via Depth Watertight Mesh
Pico, Bytedance(字节跳动)
本文提出EX-4D框架,利用深度水密网格表示结合模拟掩码训练策略和LoRA视频扩散适配器,解决了极端视角下从单目输入生成高质量相机可控4D视频的几何一致性与遮挡问题。
2025-06-05 cs.CV
Sat2Vid: Street-view Panoramic Video Synthesis from a Single Satellite Image
ETH Zurich(苏黎世联邦理工学院);The University of Tokyo(东京大学);Zhejiang University(浙江大学);The Ohio State University(俄亥俄州立大学);Microsoft(微软)
我们提出了一种新的方法合成时间和几何一致的街景全景视频从一个单一的卫星图像和摄像机的轨迹。现有的跨视点合成方法主要集中在图像上,而这种情况下的视频合成尚未得到足够的重视。对于几何和时间的一致性,我们的方法显式地创建一个三维点云表示的场景,并保持密集的3D-2D对应帧,反映从卫星视图推断的几何场景配置。至于在3D空间中的合成,我们实现了一个级联的网络架构,其中包含两个沙漏模块,用于从语义和每类潜在向量生成逐点的粗特征和细特征,然后投影到帧和上采样模块,以获得最终的逼真视频。通过利用计算的对应关系,所产生的街景视频帧坚持3D几何场景结构,并保持时间一致性。定性和定量实验表明,优越的结果相比,其他国家的最先进的合成方法,要么缺乏时间的一致性或现实的外观。据我们所知,我们的工作是第一个合成跨视图图像到视频。
2021-05-06 cs.CV
MultiWorld: Scalable Multi-Agent Multi-View Video World Models
The University of Hong Kong(香港大学);Sreal AI
多世界框架通过多智能体控制模块和全局状态编码器,实现多智能体多视角视频世界建模,提升视频保真度和多视角一致性。
2026-04-21 cs.CV
SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion
Stability AI
SV3D利用潜在视频扩散模型,从单张图像生成高分辨率多视图轨道视频,并通过显式相机控制与改进的3D优化技术,实现最先进的新颖视图合成与3D重建。
2024-03-18 cs.CV
NeoMap: Training-free Novel-View Synthesis from Single Images and Videos
Shenzhen Research Institute, The Hong Kong Polytechnic University(香港理工大学深圳研究院);vLAR Group, The Hong Kong Polytechnic University(香港理工大学vLAR实验室)
提出NeoMap,一种无需训练的框架,通过收敛流形交替投影迭代优化初始噪声,从预训练视频模型中定位高保真、视角一致的新视角解,在多个基准上达到最优。
2026-07-03 cs.AI cs.CV cs.GR
AdaViewPlanner: Adapting Video Diffusion Models for Viewpoint Planning in 4D Scenes
Tsinghua University(清华大学);HUST(华中科技大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队);HKUST(香港科技大学);Zhejiang University(浙江大学);Wuhan University(武汉大学)
提出两阶段范式将预训练T2V模型适配于4D场景视点规划,通过自适应分支注入4D场景表示并引入相机外参扩散分支进行视点提取,实验证明方法优于现有竞争者并验证了视频生成模型在真实世界4D交互中的潜力。
2025-10-12 cs.CV
SafeMVDrive: Multi-view Safety-Critical Driving Video Synthesis in the Real World Domain
Harbin Institute of Technology(哈尔滨理工大学);Zhejiang University(浙江大学)
SafeMVDrive提出首个真实世界域多视角安全关键驾驶视频合成框架,结合轨迹生成与扩散视频生成,显著提升端到端规划器碰撞率测试效果。
2025-05-23 cs.CV
MoVieDrive: Urban Scene Synthesis with Multi-Modal Multi-View Video Diffusion Transformer
Huawei Noah’s Ark Lab(华为诺亚实验室);University of Toronto(多伦多大学)
本文提出MoVieDrive,通过多模态多视角视频扩散变换器生成城市驾驶场景视频,实现多模态数据生成与可控生成。
2026-03-13 cs.CV
ViewPoint: Panoramic Video Generation with Pretrained Diffusion Models
USTC(中国科学技术大学);TongYi Lab(通义实验室);HKU(香港大学)
本文提出ViewPoint框架,通过设计ViewPoint map全景表示和Pano-Perspective注意力机制,利用预训练透视视频模型生成全景视频,实现了高度动态且空间一致的最先进全景视频合成。
2025-06-30 cs.CV
MVTrack4Gen: Multi-View Point Tracking as Geometric Supervision for 4D Video Generation
KAIST AI(韩国科学技术院人工智能学院);Sony AI(索尼人工智能);Sony Group Corporation(索尼集团公司)
提出MVTrack4Gen框架,利用多视角点跟踪作为几何与运动监督信号,增强仅相机条件的新视角视频扩散模型的运动一致性和几何一致性。
2026-06-25 cs.CV
NoiseController: Towards Consistent Multi-view Video Generation via Noise Decomposition and Collaboration
Tianjin University(天津大学);The Hong Kong Polytechnic University(香港理工大学);Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学)
本文提出NoiseController,通过多级噪声分解、多帧噪声协作和联合去噪,增强多视角视频生成的时空一致性,并在公开数据集上取得最先进性能。
2025-04-25 cs.CV
ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI Lab);ARC Lab, Tencent PCG(腾讯PCG ARC实验室);Hong Kong University of Science and Technology(香港科技大学);Monash University(莫纳什大学)
ViewCrafter利用视频扩散模型先验与点表示三维线索,从单张或稀疏图像合成高保真新视角,并通过迭代合成与相机轨迹规划扩大生成范围,支持实时渲染和文本到三维生成等应用。
2024-09-03 cs.CV
On Mechanistic Knowledge Localization in Text-to-Image Generative Models
University of Maryland(马里兰大学);Adobe Research(奥多比研究中心)
本文针对近期文生图模型中因果追踪难以定位知识的问题,提出 LocoGen 通过干预 UNet 交叉注意力层实现机制性知识定位,并结合闭式编辑方法 LocoEdit 支持高效及神经元级编辑。
2024-05-08 cs.CV
FluidNexus: 3D Fluid Reconstruction and Prediction from a Single Video
Stanford University(斯坦福大学);Microsoft(微软公司);Georgia Institute of Technology(佐治亚理工学院)
FluidNexus提出从单视频重建和预测3D流体的框架,通过合成新视角视频并结合物理模拟与粒子表示,实现动态新视角、未来预测和交互模拟。
2025-07-09 cs.CV
Animate3D: Animating Any 3D Model with Multi-view Video Diffusion
DAMO Academy, Alibaba Group(阿里巴巴达摩院);Hupan Lab(湖畔实验室)
本文提出Animate3D框架,通过多视图视频扩散模型MV-VDM及重建与4D-SDS两阶段流程,为任意静态3D模型生成时空一致的动画。
2024-09-09 cs.CV
Cross-View Exocentric to Egocentric Video Synthesis
Cisco Systems(思科系统公司);University of Trento(特伦托大学);Stevens Institute of Technology(史蒂文斯理工学院);Illinois Institute of Technology(伊利诺伊理工学院)
跨视点视频合成任务旨在从一个显著不同的视点生成另一个视点的视频序列。在本文中,我们研究了从离心(第三人称)视角到自我中心(第一人称)视角的视频生成任务。这是具有挑战性的,因为自我中心的观点有时与离心的观点明显不同。因此,在两个不同的视图之间转换外观是一项重要的任务。特别是,我们提出了一种新的双向时空注意力融合生成对抗网络(STA-GAN)学习空间和时间信息,以生成自我中心的视频序列从偏心视图。STA-GAN由时间分支、空间分支和注意力融合三部分组成。首先,时间和空间分支生成伪帧序列及其相应的特征。在时间和空间分支的下游和上游方向上生成伪帧。接下来,生成的四个不同的假帧及其相应的功能(在两个方向上的空间和时间分支)被送入一个新的多代注意力融合模块,以产生最终的视频序列。同时,我们还提出了一种新的时间和空间的双重优化更强大的网络优化。在Side 2 Ego和Top2 Ego数据集上的大量实验表明,所提出的STA-GAN显著优于现有方法。
2021-07-07 cs.CV cs.MM
NVS-Solver: Video Diffusion Model as Zero-Shot Novel View Synthesizer
City University of Hong Kong(香港城市大学);Saint Francis University(圣弗朗西斯大学)
本文提出无需训练的新视角合成范式NVS-Solver,利用预训练视频扩散模型,通过场景先验自适应调制分数函数和扩散过程,在静态与动态场景上实现了优于现有方法的合成效果。
2025-04-02 cs.CV
MV-Forcing: Long Multi-View Video Generation via 4D-Grounded Spatio-Temporal Self-Forcing
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Cornell University(康奈尔大学)
针对动态场景长时多视角一致视频生成难题,提出MV-Forcing框架,融合时序与视角自回归,实现任意时长视角数的高一致性多视角视频生成。
2026-07-07 cs.CV cs.GR
Neural 3D Video Synthesis from Multi-view Video
University of Southern California(南加州大学);Reality Labs Research(现实实验室研究部);Meta
我们提出了一种新的3D视频合成方法,能够表示多视图视频记录的动态现实世界的场景在一个紧凑的,但表现力的表示,使高质量的视图合成和运动插值。我们的方法将静态神经辐射场的高质量和紧凑性带到了一个新的方向:无模型的动态设置。在我们的方法的核心是一个新的时间条件下的神经辐射场,表示场景动态使用一组紧凑的潜在代码。我们能够显着提高训练速度和感知质量的生成图像的一种新的分层训练方案结合射线重要性采样。我们学习的表示是非常紧凑的,能够表示18个摄像头的10秒30 FPS多视图视频记录,模型大小仅为28MB。我们证明了我们的方法可以在超过1K的分辨率下渲染高保真广角新颖的视图,即使是复杂和动态的场景。我们进行了广泛的定性和定量评估,表明我们的方法优于最先进的方法。项目网站:www.example.com。
2022-05-03 cs.CV cs.GR
Prisma: An Open Source Toolkit for Mechanistic Interpretability in Vision and Video
Mila Quebec(蒙特利尔大学);McGill University(麦吉尔大学);Meta;Université de Montréal(蒙特利尔大学);Imperial College London(伦敦帝国理工学院);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫 Heinrich Hertz 研究所);Technological University Dublin(都柏林技术大学);Apollo Research(Apollo 研究所)
Prisma是一个开源视觉机制可解释性工具包,提供75+视觉视频Transformer、SAE/transcoder/crosscoder训练支持及80+预训练SAE权重,并发现视觉SAE稀疏性低于语言SAE且SAE重建可降低模型损失。
2025-06-03 cs.AI cs.CV cs.LG
Time-Conditioned Generative Modeling of Object-Centric Representations for Video Decomposition and Prediction
School of Computer Science, Fudan University(复旦大学计算机科学学院)
本文提出时间条件生成模型,通过Transformer与Slot Attention序列扩展增强物体和视角表示解耦,并利用高斯过程先验实现无视角标注的视频分解、遮挡物体完整形状重建和新视角预测。
2023-10-26 cs.CV cs.LG
Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models
HiDream.ai Inc.(嗨梦人工智能公司);Singapore Management University(新加坡管理大学)
针对现有图像到3D生成方法难以产出高分辨率、多视角一致纹理图像的问题,提出基于视频扩散的Hi3D范式,通过赋予模型3D感知先验、细化纹理及3D重建,实现了效果更优的高分辨率图像到3D生成。
2024-09-11 cs.CV cs.MM
Vid2Actor: Free-viewpoint Animatable Person Synthesis from Video in the Wild
University of Washington(华盛顿大学)
给定一个人的“野外”视频,我们重建视频中的人的动画模型。输出模型可以通过学习的控件以任何身体姿势渲染到任何相机视图,而无需显式的3D网格重建。我们方法的核心是使用在输入视频上训练的深度网络重建的体积3D人体表示,从而实现新颖的姿势/视图合成。我们的方法是基于GAN的图像到图像转换的一个进步,因为它允许通过内部3D表示为任何姿势和相机进行图像合成,同时它不需要像基于网格的学习那样使用预先装配的模型或地面真实网格进行训练。实验验证了设计选择,并在合成数据和不同人进行不受约束的活动(例如跳舞或打网球)的真实视频上产生结果。最后,我们展示了运动重定位和子弹时间渲染与学习模型。
2020-12-23 cs.CV cs.GR
VIVE3D: Viewpoint-Independent Video Editing using 3D-Aware GANs
Meta Reality Labs Research(Meta现实实验室);KAUST(阿卜杜拉国王科技大学)
我们介绍了VIVE 3D,这是一种新颖的方法,它将基于图像的3D GANs的功能扩展到视频编辑,并且能够以保持身份和时间一致的方式表示输入视频。我们提出了两个新的组成部分。首先,我们介绍了一种新的GAN反演技术,专门针对3D GANs,通过联合嵌入多帧和优化相机参数。其次,除了传统的语义面部编辑(例如年龄和表情)之外,我们是第一个展示通过3D GANs的固有属性和我们的光流引导合成技术将头部与背景视频结合起来的头部新视图的编辑。我们的实验表明,VIVE3D从一系列相机视点生成高保真度的面部编辑,这些视点以时间和空间一致的方式与原始视频合成。
2023-03-28 cs.CV cs.GR cs.LG
A Distributional View for Visual Mechanistic Interpretability: KL-Minimal Soft-Constraint Principle
School of Mathematics and Statistics(数学与统计学学院);Ministry of Education Key Lab of Intelligent Networks and Network Security(教育部智能网络与网络安全重点实验室);Shanghai Innovation Institute(上海创新研究院);Fudan University(复旦大学)
本文提出了一种基于分布的视觉机制可解释性方法,通过KL最小化优化问题来平衡可解释性和模型忠实性,利用能量引导的扩散后验采样实现,并在DINOv3模型上验证了其有效性。
2026-05-17 cs.AI cs.CV
Benchmarking and Mechanistic Analysis of Vision-Language Models for Cross-Depiction Assembly Instruction Alignment
Aalto University(阿alto大学)
构建IKEA-Bench基准,评估19个视觉-语言模型在装配图与视频帧对齐任务上的表现,发现视觉编码是提升跨描绘鲁棒性的关键瓶颈。
2026-05-27 cs.CL cs.CV
A Video Is Worth Three Views: Trigeminal Transformers for Video-based Person Re-identification
Dalian University of Technology(大连理工大学);Ningbo Institute, Dalian University of Technology(大连理工大学宁波研究院);China Science IntelliCloud Technology Co.Ltd(中科智云科技有限公司);Remark Holdings
基于视频的人物再识别(Re-ID)旨在检索非重叠摄像机下的同一个人的视频序列。以往的方法通常集中在有限的视图,如空间,时间或时空视图,缺乏在不同的特征域的观察。为了获取更丰富的感知信息并提取更全面的视频表征,本文提出了一种新的基于视频的人物身份识别框架--三叉Transformers(TMT)。更具体地说,我们设计了一个三叉特征提取器,将原始视频数据联合变换到空间、时间和时空域。此外,受视觉变换器Transformer的巨大成功的启发,本文提出了一种用于视频人Re-ID的Transformer结构。在我们的工作中,我们提出了三种自视图变换器,利用局部特征之间的关系在空间域、时间域和时空域进行信息增强。此外,一个跨视图Transformer提出了聚合的多视图功能,全面的视频表示。实验结果表明,我们的方法可以实现更好的性能比其他国家的最先进的方法在公共Re-ID基准。我们将发布模型复制的代码。
2021-04-05 cs.AI cs.CV
Bootstrap Your Own Views: Masked Ego-Exo Modeling for Fine-grained View-invariant Video Representations
Yonsei University(延世大学);Ewha Womans University(梨花女子大学);NAVER AI Lab(NAVER AI实验室);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
本文提出BYOV方法,通过掩码自我-外部建模同时学习因果时间动态和跨视角对齐,从不成对视频中提取细粒度视角不变表示,在四个下游任务中显著优于现有方法。
2025-03-31 cs.AI cs.CV
PRISM: Predictive Recomposition via Semantic Latent Decomposition for View-invariant Video Representation Learning
KAIST(韩国科学技术院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);LG AI Research(LG人工智能研究院)
针对现有跨视角视频表示学习方法中视角不变与可变语义纠缠的问题,提出PRISM模型,通过语义隐分解与语言监督实现解耦,在多个数据集上达到SOTA,零样本性能优于领域内模型。
2026-09-01 cs.AI cs.CV
Video CLIP Model for Multi-View Echocardiography Interpretation
The University of Tokyo Hospital(东京大学医院)
本文提出一个基于五个标准视图完整视频序列训练的超声心动图视频-语言模型,利用多视图和视频输入提升诊断检索性能,并在 60,747 个视频-报告对上验证了其效果。
2025-11-08 cs.AI cs.CV
EgoExo-Con: Exploring View-Invariant Video Temporal Understanding
Seoul National University(首尔国立大学);University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
提出EgoExo-Con基准测试,评估视频大模型在不同视角下的时间理解一致性,并设计View-GRPO强化学习框架提升跨视角一致性。
2026-06-23 cs.AI cs.CV