Taming Teacher Forcing for Masked Autoregressive Video Generation
HKUST(GZ)（香港科技大学（广州））；StepFun（阶跃星辰）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；THU（清华大学）
提出MAGI混合视频生成框架，通过完整教师强制（CTF）改进掩码自回归，显著提升FVD分数，并能生成超100帧的连贯视频。
2025-01-21 cs.CV
Spatio-Temporal Conditional Diffusion Models for Forecasting Future Multiple Sclerosis Lesion Masks Conditioned on Treatments
McGill University（麦吉尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）
提出首个治疗感知的时空扩散模型，结合多模态患者数据预测多发性硬化未来病灶演变，在多中心数据集上准确预测六种治疗下的病灶掩码，并支持病灶计数、活动性分类及反事实生成等临床应用。
2025-08-09 cs.CV eess.IV
MaskGIT: Masked Generative Image Transformer
Google Research（谷歌研究院）
生成Transformers在合成高保真和高分辨率图像方面在计算机视觉社区中经历了快速的普及增长。然而，到目前为止最好的生成Transformer模型仍然天真地将图像视为令牌序列，并按照光栅扫描顺序（即逐行）顺序解码图像。我们发现这种策略既不是最优的，也不是有效的。本文提出了一种新的图像合成范例使用双向Transformer解码器，我们称之为MaskGIT。在训练过程中，MaskGIT通过关注各个方向的标记来学习预测随机掩蔽的标记。在推理时，模型首先同时生成图像的所有标记，然后以前一代为条件迭代地细化图像。我们的实验表明，MaskGIT在ImageNet数据集上的性能明显优于最先进的Transformer模型，并将自回归解码加速高达64倍。此外，我们说明了MaskGIT可以很容易地扩展到各种图像编辑任务，如修补，外推和图像处理。
2022-02-08 cs.CV
MAGREF: Masked Guidance for Any-Reference Video Generation with Subject Disentanglement
Intelligent Creation ByteDance（智能创作字节跳动）
MAGREF通过掩码引导和主体解耦机制，解决任意参考视频生成中的身份不一致、主体纠缠和复制粘贴问题，在综合基准上优于现有方法。
2025-10-09 cs.AI cs.CV
Image Inpainting for Irregular Holes Using Partial Convolutions
NVIDIA Corporation（英伟达公司）
现有的基于深度学习的图像修补方法在受损图像上使用标准卷积网络，使用以有效像素以及掩蔽孔中的替代值（通常是平均值）为条件的卷积滤波器响应。这通常会导致诸如颜色差异和模糊之类的伪像。后处理通常用于减少此类伪影，但成本高昂且可能失败。我们建议使用部分卷积，其中卷积被掩蔽并重新归一化为仅以有效像素为条件。我们还包括一种机制，用于自动生成下一层的更新掩码，作为前向传递的一部分。我们的模型优于其他方法不规则的面具。我们与其他方法进行了定性和定量比较，以验证我们的方法。
2018-12-15 cs.CV
StarGen: A Spatiotemporal Autoregression Framework with Video Diffusion Model for Scalable and Controllable Scene Generation
SenseTime Research（商汤科技研究院）；Zhejiang University（浙江大学）
针对大型模型因计算限制无法实现长距离一致场景生成的问题，提出StarGen框架，以自回归方式利用预训练视频扩散模型，结合3D变形和重叠图像条件提升时空一致性，支持多样化任务且性能优于现有方法。
2025-04-13 cs.CV
MoMask: Generative Masked Modeling of 3D Human Motions
University of Alberta（阿尔伯塔大学）
MoMask通过分层量化与双向掩码Transformer框架实现文本驱动的三维人体运动生成，在HumanML3D和KIT-ML上FID显著优于现有方法，并可无缝用于时间补全等任务。
2023-11-29 cs.CV
Walk Before You Dance: High-fidelity and Editable Dance Synthesis via Generative Masked Motion Prior
本研究提出一种生成性遮蔽动作先验模型，实现高保真且可编辑的舞蹈合成，通过多塔结构提升动作生成质量与编辑能力。
2025-12-02 cs.AI cs.CV cs.GR
Deficiency-Aware Masked Transformer for Video Inpainting
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of North Texas（北德克萨斯大学）
针对跨帧信息缺失的视频修复问题，提出双模态兼容的 DMT 框架，通过图像先验蒸馏、选择性时空注意力和感受野上下文化器提升性能。
2023-07-17 cs.CV
MARRS: Masked Autoregressive Unit-based Reaction Synthesis
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制系统研究所）；Tencent Youtu Lab（腾讯优图实验室）
本文提出MARRS框架，通过单元区分运动变分自编码器、动作条件融合和互单元调制，生成协调精细的反应动作，解决传统VQ方法的量化损失和计算复杂性问题。
2026-04-27 cs.CV
SQ-GAN: Semantic Image Communications Using Masked Vector Quantization
CNIT - National Inter-University Consortium for Telecommunications（CNIT-国家大学间电信联合体）；Sapienza University of Rome（罗马大学）；Technical University of Berlin（柏林技术大学）
SQ-GAN通过语义掩码向量量化生成对抗网络，在极低压缩率下实现优于JPEG2000、BPG和深度学习方法的图像压缩，兼顾感知质量与语义分割精度。
2025-10-10 cs.CV eess.IV
Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）；Stanford University（斯坦福大学）
从大脑记录中解码视觉刺激旨在加深我们对人类视觉系统的理解，并为通过脑机接口桥接人类和计算机视觉奠定坚实的基础。然而，由于大脑信号的复杂底层表示和数据注释的缺乏，从大脑记录重建具有正确语义的高质量图像是一个具有挑战性的问题。在这项工作中，我们提出了MinD-Vis：稀疏掩蔽大脑建模与双条件潜空间扩散模型的人类视觉解码。首先，我们学习一个有效的自我监督表示的功能磁共振成像数据使用掩模建模在一个大的潜在空间的启发稀疏编码的信息在初级视觉皮层。然后，通过增加一个潜空间扩散模型与双条件，我们表明，MinD-Vis可以重建高度合理的图像与语义匹配的细节，从大脑记录使用很少的配对注释。我们对我们的模型进行了定性和定量的基准测试;实验结果表明，我们的方法在语义映射（100路语义分类）和生成质量（FID）方面分别优于最先进的66%和41%。还进行了详尽的消融研究来分析我们的框架。
2023-03-29 cs.CV
PEEKABOO: Interactive Video Generation via Masked-Diffusion
Microsoft（微软）；University of Washington（华盛顿大学）
本文提出首个为扩散视频模型提供时空控制的解决方案 Peekaboo，通过即插即用的掩码注意力模块实现无需额外训练的交互式生成，并构建综合基准，在保持延迟下 mIoU 提升 3.8 倍。
2024-04-19 cs.CV cs.LG
AnyMo: Scaling Any-Modality Conditional Motion Generation with Masked Modeling
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS, China（中国科学院智能信息处理重点实验室（中国科学院计算技术研究所，中国））；University of Chinese Academy of Sciences, China（中国科学院大学）
提出AnyMo框架，结合残差FSQ运动分词器和可扩展掩码建模Transformer，利用大规模多模态对齐数据集OmniHuMo实现任意模态组合下的高质量人体运动生成。
2026-10-30 cs.AI cs.CV
MotionMaestro: Masked Tokenization for Unified Motion Generation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
MotionMaestro提出掩码运动分词统一框架，通过观测模式统一多任务条件，采用三阶段训练和观测损失，在大型数据集上实现多种运动生成任务的最先进性能。
2026-09-30 cs.CV
HMAR: Efficient Hierarchical Masked Auto-Regressive Image Generation
Stanford University（斯坦福大学）；NVIDIA；CUHK（中国香港大学）；HKU（香港大学）；NTU（国立新加坡大学）；UCSD（加州大学圣地亚哥分校）；Together AI
HMAR 提出分层掩码自回归建模，将下一尺度预测改为仅依赖直接前驱尺度的马尔可夫过程，并结合多步掩码生成，在 ImageNet 上匹配或超越 VAR 等基线，同时实现更快的训练推理速度和更低内存占用，且无需重训练即可调整采样调度并支持零样本图像编辑。
2025-06-04 cs.AI cs.CV cs.LG
Mask-Conditioned Voxel Diffusion for Joint Geometry and Color Inpainting
本文提出基于掩码的体素扩散方法，用于修复受损3D物体的几何和颜色，通过两阶段框架实现更完整和一致的修复效果。
2026-01-01 cs.CV
MarDini: Masked Autoregressive Diffusion for Video Generation at Scale
Meta AI；KAUST（阿卜杜拉国王科技大学）
提出统一 MAR 与扩散模型的 MarDini，通过非对称低分辨率时间规划与轻量高分辨率生成架构，支持多种掩码条件视频生成并取得视频插值最优性能。
2024-10-26 cs.AI cs.CV
MCVD: Masked Conditional Video Diffusion for Prediction, Generation, and Interpolation
Mila（米拉人工智能研究所）；University of Montreal（蒙特利尔大学）；Polytechnique Montreal（蒙特利尔理工学院）；ServiceNow Research（ServiceNow研究院）
视频预测是一项具有挑战性的任务。当前最新技术水平（SOTA）生成模型的视频帧质量往往较差，并且难以在训练数据之外进行泛化。此外，现有的预测框架通常不能同时处理其他视频相关的任务，例如无条件生成或插值。在这项工作中，我们设计了一个通用的框架，称为掩蔽条件视频扩散（MCVD）的所有这些视频合成任务，使用概率条件分数为基础的去噪扩散模型，条件上的过去和/或未来的帧。我们训练模型的方式是随机和独立地屏蔽所有过去的帧或所有未来的帧。这种新颖但简单的设置允许我们训练一个能够执行广泛视频任务的单一模型，具体来说：未来/过去预测-当只有未来/过去帧被掩蔽时;无条件生成-当过去和未来帧都被掩蔽时;以及插值-当过去和未来帧都不被掩蔽时。我们的实验表明，这种方法可以为不同类型的视频生成高质量的帧。我们的MCVD模型由简单的非递归2D卷积架构构建，对帧块进行调节并生成帧块。我们以块方式自回归生成任意长度的视频。我们的方法在标准视频预测和插值基准测试中产生SOTA结果，使用$\le$ 4 GPU在1-12天内测量训练模型的计算时间。项目页面：https://mask-cond-video-diffusion.github.io;代码：https://github.com/voletiv/mcvd-pytorch
2022-10-12 cs.AI cs.CV cs.LG
Inpaint3D: 3D Scene Content Generation using 2D Inpainting Diffusion
Google Research（谷歌研究院）；Stanford University（斯坦福大学）
提出Inpaint3D，将仅以单张带掩码2D图像为条件的2D扩散模型蒸馏到NeRF，结合SDS、重建损失和深度监督实现任意3D区域内容生成。
2023-12-06 cs.CV
SatEdit: Mask-Conditioned Image Editing via VLM-Guided Segment Annotation
SatEdit是基于VLM引导区域标注的卫星图像编辑框架，通过未标注图像构建监督信号，经LoRA微调后在对比中实现最高掩码区域语义对齐，为卫星图像编辑提供了数据高效的可行方案。
2026-08-03 cs.CV
DuetGen: Music Driven Two-Person Dance Generation via Hierarchical Masked Modeling
Snap Inc.（Snap公司）
DuetGen提出两阶段分层掩码建模框架，从音乐生成交互式双人舞蹈，通过VQ-VAE和双变换器实现同步与协调，达到最先进性能。
2025-06-23 cs.CV cs.GR cs.SD
MAD-HOI: Masked Autoregressive Diffusion for Generating Articulated Hand Object Interactions from Text
MAD-HOI是一种结合掩码自回归与扩散的HOI生成模型，可生成多样且符合物理规律的手-物体交互序列，支持可变长度生成、运动补全填充等功能，在ARCTIC和GRAB数据集上优于开源基线。
2026-10-14 cs.CV
MCAD: Multi-modal Conditioned Adversarial Diffusion Model for High-Quality PET Image Reconstruction
School of Computer Science, Sichuan University（四川大学计算机学院）；The Hong Kong Polytechnic University（香港理工大学）；School of Computer Science, Chengdu University of Information Technology（成都信息工程大学计算机学院）
针对低剂量PET图像重建质量不足、语义易失真的问题，提出融合多模态条件编码、语义约束与对抗加速的MCAD扩散模型，实现高质量PET图像重建，性能达到当前最优。
2024-06-19 cs.CV eess.IV
MacDiff: Unified Skeleton Modeling with Masked Conditional Diffusion
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
针对现有骨架自监督学习方法的缺陷，提出基于掩码条件扩散的统一骨架建模框架MacDiff，兼具表征学习与生成能力，在基准上达SOTA，还可用于数据增强提升少样本微调性能。
2024-09-16 cs.AI cs.CV
VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference
Accenture；Swarthmore College（斯沃思莫尔学院）；Univ. California, Irvine（加州大学伊文斯顿分校）
本文提出VIPaint方法，通过变分推断优化非高斯马尔可夫近似，有效修复图像中的缺失区域，适用于高质图像生成及逆向问题。
2026-04-30 cs.AI cs.CV cs.LG
Human Pose Estimation from Ambiguous Pressure Recordings with Spatio-temporal Masked Transformers
Queen's University（女王大学）；Ingenuity Labs（创意实验室）
针对视觉姿态估计的环境局限与隐私问题及触觉传感的模糊噪声问题，提出带编码器-解码器的时空视觉Transformer方案，经实验验证优于现有方法，时间裁剪和掩码自编码器预训练可进一步提升性能。
2023-03-10 cs.CV cs.LG
Generative modeling of spatio-temporal weather patterns with extreme event conditioning
University of Warwick（华威大学）；TUM（慕尼黑工业大学）；LSE（伦敦政治经济学院）；DLR（德国航空航天中心）
深度生成模型越来越多地用于获得地理空间数据领域的见解，例如，for climate气候data数据.然而，大多数现有的方法与时间快照或假设1D时间序列，很少有能够同时捕获时空过程。除此之外，地球系统的数据往往表现出高度不规则和复杂的模式，例如由极端天气事件造成的。由于气候变化，这些现象只会越来越频繁。在这里，我们提出了一种新的基于GAN的方法，用于生成以检测到的极端事件为条件的时空天气模式。我们的方法增强了GAN生成器和编码的极端天气事件分割掩模。这些分割掩码可以使用现有的事件检测框架从原始输入创建。因此，我们的方法是高度模块化的，可以与自定义GAN架构相结合。我们强调我们提出的方法在实验中与现实世界的地面辐射和纬向风数据的适用性。
2021-04-26 cs.AI cs.CV cs.LG
AdaMAE: Adaptive Masking for Efficient Spatiotemporal Learning with Masked Autoencoders
Johns Hopkins University（约翰斯·霍普金斯大学）；Zippin
掩码自编码器（MAE）学习图像、文本、音频、视频等的可概括表示，通过从可见数据的令牌重构屏蔽的输入数据。当前用于视频的MAE方法依赖于基于随机块、管或帧的掩蔽策略来选择这些标记。本文提出了AdaMAE，一种用于MAE的自适应掩蔽策略，该策略是端到端可训练的。我们的自适应掩蔽策略使用辅助采样网络基于语义上下文对可见标记进行采样。该网络估计时空补丁令牌上的分类分布。在强化学习的策略梯度算法的激励下，增加预期重建误差的令牌被奖励并选择为可见令牌。我们表明，AdaMAE从高时空信息区域中采样更多的令牌，从而使我们能够屏蔽95%的令牌，从而降低内存需求和更快的预训练。我们对Something-Something v2（SSv 2）数据集进行了消融研究，以证明我们的自适应采样方法的有效性，并报告了SSv 2和Kinetics-400动作分类数据集的最高准确率为70.0%和81.7%的最新结果，这些数据集具有ViT-Base主干和800个预训练时期。
2022-11-16 cs.AI cs.CV
Masked Spatio-Temporal Structure Prediction for Self-supervised Learning on Point Cloud Videos
Sun Yat-sen University（中山大学）；CloudWalk（云从科技）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）；Aviation University of Air Force（空军航空大学）
针对点云视频标注昂贵且单一任务难以学习时空细节的问题，提出MaST-Pre自监督方法，通过点管重建与时间基数差异预测学习外观和运动，并在四个基准上验证有效。
2023-08-18 cs.AI cs.CV
TubeRMC: Tube-conditioned Reconstruction with Mutual Constraints for Weakly-supervised Spatio-Temporal Video Grounding
TubeRMC通过引入互约束的管状重建方法，在弱监督条件下提升空间-时间视频定位的准确性和一致性。
2025-11-20 cs.CV
Masked Diffusion Captioning for Visual Feature Learning
University of Michigan（密歇根大学）；Cornell University（康奈尔大学）；University of Maryland（马里兰大学）
提出掩码扩散字幕生成（MDC）方法，通过图像条件的掩码扩散语言模型重建被掩码的文本token来学习视觉特征，避免了自回归方法对辅助目标的依赖，并在下游视觉任务中表现出竞争力。
2025-10-30 cs.CV
Spatio-Temporal Encoding of Brain Dynamics with Surface Masked Autoencoders
Technical University of Munich（慕尼黑工业大学）
本文提出 sMAE 与 vsMAE，在二十面体网格上自监督重建掩码皮层信号以学习结构-功能表示，显著提升低数据皮层表型预测与迁移性能。
2024-06-11 cs.CV eess.IV
EVEREST: Efficient Masked Video Autoencoder by Removing Redundant Spatiotemporal Tokens
Korea Military Academy（韩国军事学院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；KAIST（韩国科学技术院）；ETRI（韩国电子通信研究院）；DeepAuto
针对掩码视频自编码器因随机掩码导致算力与内存浪费的问题，提出EVEREST方法，通过筛选高信息密度的时空令牌与帧，在单台8GPU机器上即可实现性能比肩高算力基线的高效视频表示学习。
2024-06-20 cs.CV cs.LG
Unmasking Deepfakes: Masked Autoencoding Spatiotemporal Transformers for Enhanced Video Forgery Detection
Queen’s University（女王大学）；Irdeto BV（艾尔多公司）
提出一种基于掩码自编码预训练的双分支时空变换器，分别处理RGB帧和光流，在FaceForensics++上达到新最优，并在跨数据集测试中展现强泛化能力。
2024-02-09 cs.CV
Masked Modeling for Human Motion Recovery Under Occlusions
ETH Zürich（苏黎世联邦理工学院）；Meta Reality Labs（Meta现实实验室）
MoRo通过遮蔽建模方法，在遮挡条件下实现高效且鲁棒的人体运动恢复，结合多模态先验提升推理性能。
2026-01-23 cs.CV
MAR: Masked Autoencoders for Efficient Action Recognition
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）
视频识别的标准方法通常是对完整的输入视频进行识别，由于视频中广泛存在的时空冗余，这是效率低下的。掩蔽视频建模的最新进展，即，VideoMAE已经显示了普通视觉Transformer（ViT）在仅给定有限视觉内容的情况下补充时空上下文的能力。受此启发，我们提出了掩蔽动作识别（MAR），它通过丢弃一部分补丁并仅对一部分视频进行操作来减少冗余计算。MAR包含以下两个不可缺少的组件：单元运行掩蔽和桥接分类器。具体而言，为了使ViT能够容易地感知可见斑块之外的细节，提出了细胞运行掩蔽以保持视频中的时空相关性，这确保了相同空间位置处的斑块可以依次观察以便于重建。此外，我们注意到，虽然部分观察到的功能可以重建语义明确的不可见的补丁，他们无法实现准确的分类。为了解决这一问题，提出了一种桥接分类器，以弥合用于重建的ViT编码特征与专门用于分类的特征之间的语义差距。我们提出的MAR减少了53%的计算成本的ViT和广泛的实验表明，MAR始终优于现有的ViT模型具有显着的利润率。特别是，我们发现通过MAR训练的ViT-Large在Kinetics-400和Something-Something v2数据集上的令人信服的边缘上优于通过标准训练方案训练的ViT-Huge，而我们的ViT-Large的计算开销仅为ViT-Huge的14.5%。
2022-07-24 cs.CV
MultiMAE-DER: Multimodal Masked Autoencoder for Dynamic Emotion Recognition
Florida International University（佛罗里达国际大学）
本文提出MultiMAE-DER，一种用于动态情感识别的多模态掩码自编码器，通过预训练模型微调与优化六种融合策略增强跨域特征相关性，在多个数据集上显著提升了WAR指标。
2024-05-16 cs.CV
AdaAnchor4D: Anchor-Conditioned Spatiotemporal Feature Aggregation for Monocular UAV 4D Reconstruction
该研究针对单目无人机4D重建中动态高斯方法的缺陷，提出AdaAnchor4D框架，通过ACFA、DLGD和DACW技术提升渲染质量，在多个无人机数据集上优于现有方法且保持实时性。
2026-07-31 cs.CV
MMATR-X: High-Resolution Optical-SAR Joint Pretraining via Conditioned Alignment and Degraded-Target Prediction
College of Electronic Science and Technology, National University of Defense Technology (NUDT)（电子科学与技术学院，国防科技大学）；Beijing Institute of Remote Sensing Information（遥感信息研究所）
本文提出CoDe-MAE，通过Optical-anchored Knowledge Distillation和Conditioned Contrastive Learning解决高分辨率多模态联合预训练中的异质性-分辨率悖论，有效防止表示退化并在多个下游任务中取得新突破。
2026-10-20 cs.CV
Diffusion Masked Pretraining for Dynamic Point Cloud
Xi’an Jiaotong University（西安交通大学）；School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院）；University of Western Australia（西澳大学）
本文提出DiMP框架，通过引入扩散建模解决动态点云预训练中位置泄露和运动监督问题，提升下游任务性能。
2026-11-03 cs.CV
Self-supervised Video Representation Learning with Motion-Aware Masked Autoencoders
University of Surrey（萨里大学）；ByteDance（字节跳动）；The University of Hong Kong（香港大学）；Harbin Institute of Technology（哈尔滨工业大学）
掩码自编码器（MAE）是近年来出现的一种自监督时空表示学习器。然而，从图像对应物继承，现有的视频MAE仍然主要集中在静态外观学习上，而在学习动态时间信息方面受到限制，因此对于视频下游任务来说效率较低。为了解决这个问题，在这项工作中，我们提出了一个运动感知的变种- MotionMAE。除了学习重建视频帧的单个掩蔽补丁外，我们的模型还被设计为随时间预测相应的运动结构信息。该运动信息在邻近帧的时间差处可用。因此，我们的模型可以有效地提取静态外观和动态运动自发，导致优越的时空表示学习能力。大量的实验表明，我们的MotionMAE显着优于监督学习基线和最先进的MAE替代品，在特定领域和领域通用的预训练，然后微调设置。特别是，当使用ViT-B作为骨干时，我们的MotionMAE在特定领域的预训练设置中，在Something-Something V2上超过了现有技术模型的1.2%，在UCF 101上超过了3.2%。令人鼓舞的是，它在具有挑战性的视频对象分割任务上也超过了竞争对手的MAE超过3%。该代码可在https://github.com/happy-hsy/MotionMAE上获得。
2022-10-09 cs.CV
Multi-scale Restoration of Missing Data in Optical Time-series Images with Masked Spatial-Temporal Attention Network
School of Computer Science, China University of Geosciences（中国地质大学（武汉）计算机学院）；Engineering Research Center of Natural Resource Information Management and Digital Twin Engineering Software, Ministry of Education（教育部自然资源信息管理与数字孪生工程软件工程研究中心）；Second Surveying and Mapping Institute of Hunan Province（湖南省第二测绘院）；Key Laboratory of Natural Resources Monitoring and Supervision in Southern Hilly Region, Ministry of Natural Resources（自然资源部南方山地自然资源监测与监管重点实验室）
本文提出MS2TAN网络，通过掩码时空注意力和多尺度重建策略，结合多目标联合优化，显著提升了遥感时间序列图像缺失数据重建的精度与纹理结构一致性。
2024-11-18 cs.CV eess.IV
A Unified Masked Autoencoder with Patchified Skeletons for Motion Synthesis
UNIST（蔚山科学技术院）；German Aerospace Center (DLR)（德国航空航天中心）
本文提出任务无关的统一掩码自编码器 UNIMASK-M，通过身体部位分解与多模式掩码重建统一处理运动预测和中间帧生成，并在 Human3.6M 与 LaFAN1 上取得优异结果。
2024-04-08 cs.CV cs.GR cs.RO
Pose-conditioned Spatio-Temporal Attention for Human Action Recognition
Univ Lyon, INSA-Lyon, CNRS, LIRIS（里昂大学，里昂国立应用科学学院，法国国家科学研究中心，里昂信息科学与技术实验室）；Laboratoire d’Informatique de l’Université de Tours (EA 6300), INSA Centre Val de Loire（图尔大学信息学实验室，卢瓦尔河谷国立应用科学学院）
我们从多模态视频数据（包括关节姿势和RGB帧）中识别人体动作，并提出了一种双流方法。用卷积模型处理姿态流，该卷积模型将保持来自子序列的数据的3D张量作为输入。一个特定的关节排序，它尊重人体的拓扑结构，确保不同的卷积层对应于有意义的抽象层次。原始RGB流由以来自姿态网络的特征为条件的时空软注意力机制处理。LSTM网络在每个时刻从一组图像位置接收输入。可训练的一瞥传感器提取由姿势流指定的一组预定义位置上的特征，即参与活动的两个人的4只手。外观特征对手部运动和每只手中的物体提供了重要的线索。我们表明，这是很感兴趣的注意力转移到不同的手在不同的时间步骤取决于活动本身。最后，时间注意力机制学习如何随着时间的推移融合LSTM特征。我们在3个数据集上评估了该方法。在最大的人类活动识别数据集NTU-RGB+D以及SBU Kinect Interaction数据集上实现了最先进的结果。在较小的MSR日常活动3D数据集上实现了接近最先进水平的性能。
2017-08-07 cs.CV
Track and Caption Any Motion: Open-Vocabulary Spatiotemporal Captioning via Trajectory-Conditioned Generation
Northeastern University（东北大学）
研究提出TCAM框架，无需文本查询和区域提示，通过字幕感知重采样器在点粒度结合跟踪与语言，用现有分割注释训练，能描述视频中运动、定位时间及轨迹，优于密集视频字幕基线，匹配相关方法，为运动驱动视频理解提供新途径。
2026-10-20 cs.CV
TRACE: Temporally Reliable Anatomically-Conditioned 3D CT Generation with Enhanced Efficiency
Department of Computer Science, Durham University（杜伦大学计算机科学系）；Department of Automation, Tsinghua University（清华大学自动化系）；College of Computer Science and Engineering, Dalian Minzu University（大连民族大学计算机科学与工程学院）；Department of Engineering Science, University of Oxford（牛津大学工程科学系）；Jarvis Research Center, Tencent YouTu Lab（腾讯YouTu实验室 Jarvis 研究中心）；School of Engineering Mathematics and Technology, University of Bristol（布里斯托大学工程数学与技术学院）；Medical Artificial Intelligence Laboratory, School of Engineering, Westlake University（西湖大学工程学院医学人工智能实验室）
TRACE通过2D多模态条件扩散方法生成具有时空对齐的3D CT图像，提升生成效率和解剖保真度。
2025-11-28 cs.CV
Solving Masked Jigsaw Puzzles with Diffusion Vision Transformers
Northeastern University（东北大学）；Qualcomm（高通公司）
针对现有判别式方法难以求解大规模拼图的问题，提出JPDVT方法，以视觉内容为条件用扩散Transformer生成位置信息来组装拼图，支持碎片缺失场景，在多数据集上达SOTA。
2024-04-10 cs.CV
Data Collection-free Masked Video Modeling
LY Corporation（LY公司）；Keio University（庆应义塾大学）
提出无需收集视频数据的自监督框架，用PMG从静态或合成图像递归生成伪运动视频并进行掩码视频建模，在动作识别上取得优于静态图像方法、部分超过真实与合成视频方法的结果。
2024-09-10 cs.CV
Continuous Token-Level Spatio-Temporal Context Modeling for Visual Object Tracking
Xi’an Jiaotong University（西安交通大学）；College of Electrical Engineering, Zhejiang University（浙江大学电气工程学院）
针对现有跟踪方法离散采样偏离时空连续性导致性能下降的问题，提出TLCTrack框架，通过MUA、SSTC和TSTB模块实现连续令牌级时空上下文建模，在五个基准上超越现有最先进跟踪器。
2026-09-09 cs.CV
Spatio-Temporal Crop Aggregation for Video Representation Learning
University of Bern（伯尔尼大学）；Adobe Research（奥多比研究）
我们提出了时空作物聚合视频表示学习（SCALE），一种新的方法，在训练和推理时间都具有很高的可扩展性。我们的模型通过从用预训练的骨干提取的视频剪辑级特征集中学习来构建远程视频特征。为了训练模型，我们提出了一个自监督的目标组成的掩蔽剪辑功能预测。我们通过提取一组随机的视频剪辑将稀疏性应用于输入，并通过仅重建稀疏输入将稀疏性应用于损失函数。此外，我们通过在应用于单个视频剪辑的预训练骨干的潜在空间中工作来使用降维。这些技术使我们的方法不仅非常有效的训练，但也非常有效的迁移学习。我们证明了我们的视频表示产生最先进的性能与线性，非线性和KNN探测常见的动作分类和视频理解数据集。
2023-03-13 cs.CV
Masked Motion Predictors are Strong 3D Action Representation Learners
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）；The University of Sydney（悉尼大学）；Merchants Union Consumer Finance Company Limited（招商局消费金融有限公司）
针对3D动作识别中监督数据不足的问题，提出MAMP自监督预训练框架，通过预测掩码关节的时序运动并以运动信息指导掩码，显著提升普通transformer并在多个基准上达到SOTA。
2023-08-14 cs.CV
Recurrent Video Masked Autoencoders
Google DeepMind（谷歌DeepMind）
本文提出递归视频掩码自编码器(RVM)，通过递归计算建模视频数据的时序结构，利用非对称掩码目标和基于Transformer的递归神经网络，在仅需简单像素重建损失的情况下，实现了高效且通用的视频表示学习。
2026-04-21 cs.CV
Towards Spatio-Temporal World Scene Graph Generation from Monocular Videos
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Indian Institute of Technology Delhi（印度理工学院德里）
本文提出World Scene Graph Generation任务，通过ActionGenome4D数据集，引入三种方法解决未观测物体推理问题，推动视频场景理解向世界中心、时间持久和可解释的方向发展。
2026-03-13 cs.CV
