Video Diffusion Alignment via Reward Gradients
Carnegie Mellon University（卡内基梅隆大学）
针对视频扩散模型适配下游任务需收集目标数据集的难题，提出利用预训练奖励模型的梯度反向传播实现高效对齐，在奖励查询和计算效率上优于无梯度方法。
2024-07-11 cs.AI cs.CV cs.LG
Phantom: Subject-consistent video generation via cross-modal alignment
Intelligent Creation Team, ByteDance（字节跳动智能创作团队）
本文提出Phantom统一视频生成框架，通过重新设计联合文本-图像注入模型并利用文本-图像-视频三元组数据学习跨模态对齐，在单主体和多主体参考下实现高保真主体一致视频生成，解决了图像内容泄漏和多主体混淆问题，性能优于现有闭源商业方案。
2025-04-10 cs.AI cs.CV
Optical Flow Representation Alignment Mamba Diffusion Model for Medical Video Generation
Sichuan University（四川大学）
提出MedSora，融合注意力与Mamba的视频扩散框架，结合光流对齐和频率补偿VAE，高效生成高质量医学视频，性能超越现有基线。
2024-11-03 cs.AI cs.CV
MoAlign: Motion-Centric Representation Alignment for Video Diffusion Models
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通AI研究）
针对文本到视频扩散模型运动生成不合理的问题，提出MoAlign框架，从预训练视频编码器学习解耦运动子空间并对齐扩散模型潜特征，提升生成视频的物理合理性且保留文本遵循度。
2025-10-21 cs.CV
McSc: Motion-Corrective Preference Alignment for Video Generation with Self-Critic Hierarchical Reasoning
Tongyi Lab, Alibaba Group（阿里集团通义实验室）
McSc通过自批评分层推理框架，提升视频生成中对人类偏好的对齐精度，减少对低运动内容的偏见。
2025-11-28 cs.CV
Alignment is All You Need: A Training-free Augmentation Strategy for Pose-guided Video Generation
Tsinghua University（清华大学）；Tencent（腾讯）
针对角色动画中外观一致性难保持的问题，提出免训练的双重对齐框架，通过解耦骨架与运动先验实现精确控制，显著提升视频生成的时间一致性与视觉质量，且无需大型数据集或昂贵算力。
2025-05-31 cs.CV
What Semantics Survive the Connector? Diagnosing VLM-to-DiT Alignment in Video Editing
HKUST（香港理工大学）；FDU（福建大学）；ZJU（浙江大学）；NUS（新加坡国立大学）
本研究探讨了视频生成模型中VLM与DiT对齐过程中的语义瓶颈问题，通过提出TRACE-Edit数据集和诊断协议，发现连接器模块会导致细粒度结构语义的严重退化，挑战了原有假设。
2026-06-11 cs.CV
VideoREPA: Learning Physics for Video Generation through Relational Alignment with Foundation Models
Dept. of CSE & School of AI & MoE Key Lab of Al, Shanghai Jiao Tong University（计算机科学与工程系及人工智能学院及人工智能基础实验室，上海交通大学）；Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）
提出VideoREPA框架，通过Token Relation Distillation损失在token级别对齐视频理解基础模型，将物理理解能力蒸馏到T2V模型中，显著提升CogVideoX生成符合物理规律视频的能力。
2025-05-29 cs.CV
SwiftVideo: A Unified Framework for Few-Step Video Generation through Trajectory-Distribution Alignment
Fudan University（复旦大学）；Tencent Youtu Lab（腾讯优图实验室）；Shanghai Innovation Institute（上海创新研究院）
本文提出SwiftVideo框架，结合轨迹保持与分布匹配策略，通过连续时间一致性蒸馏和双视角对齐，在大幅减少推理步骤的同时保持高质量视频生成，并在OpenVid-1M基准上显著优于现有少步视频生成方法。
2025-09-16 cs.CV
From Preferences to Prejudice: The Role of Alignment Tuning in Shaping Social Bias in Video Diffusion Models
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, San Diego（加州大学圣地亚哥分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Microsoft（微软公司）
本文研究了对齐调谐在视频扩散模型中如何塑造社会偏见，提出VideoBiasEval框架以评估和缓解偏见，揭示了对齐调谐使偏见更稳定且刻板化的现象。
2026-02-11 cs.CL cs.CV
MiMaAlign: Hierarchical Micro-Macro Alignment for Physically Plausible Video Generation
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝天猫集团）
针对文本到视频扩散模型生成内容存在物理不可信的问题，本文提出MiMaAlign分层微-宏对齐框架，结合Neural ODE与VLM的监督，在多个基准测试中显著提升了视频的物理可信性。
2026-10-14 cs.CV
DeRA: Decoupled Representation Alignment for Video Tokenization
Xi’an Jiaotong University（西安交通大学）；Shanghai Innovation Institute（上海创新研究院）；Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究院）
DeRA通过解耦时空表示学习，提升视频标记化效率和性能，并在视频生成任务中取得新突破。
2025-12-04 cs.CV
Tempered Self-Similarity Alignment for Physically Plausible Video Generation
Pohang University of Science and Technology (POSTECH)（浦项科学技术大学）
提出Tempered Self-Similarity Alignment (TSA)损失函数，通过将视觉基础模型中的时空自相似性关系知识迁移到视频生成模型中，以改善视频的物理合理性。
2026-05-24 cs.CV
Can Text-to-Video Generation help Video-Language Alignment?
University of Trento（特伦托大学）；Snap Inc.（Snap公司）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
针对视频-语言对齐训练中负面描述文本存在语言偏差、现有数据库难覆盖对应视频的问题，提出动态加权合成视频贡献、加入语义一致性损失的SynViTA方法，提升了多基准测试性能。
2025-03-24 cs.CV
MATRIX: Mask Track Alignment for Interaction-aware Video Generation
KAIST AI（韩国科学技术院人工智能系）
MATRIX通过引入遮罩跟踪对齐方法，提升视频生成中交互感知能力，增强语义对齐与传播，减少漂移和幻觉。
2026-04-07 cs.CV
Native Audio-Visual Alignment for Generation
ERNIE Team, Baidu Inc.（百度公司ERNIE团队）
提出NAVA框架，通过原生音视频对齐和上下文条件联合去噪，实现高质量、同步且可控的音视频生成。
2026-05-28 cs.CV
HiPhy: Hierarchical Alignment for Physically-Plausible Multi-Principle Video Generation
Virginia Tech（弗吉尼亚理工大学）；Qualcomm AI Research（高通人工智能研究院）
HiPhy提出层次物理对齐强化学习框架，通过局部与全局双层目标解决视频生成中多物理原理协同问题，并构建50K数据集和MultiPhyBench基准，显著提升物理常识与语义对齐。
2026-10-02 cs.CV
SHIFT: Motion Alignment in Video Diffusion Models with Adversarial Hybrid Fine-Tuning
Tsinghua University（清华大学）；Ant Group（蚂蚁集团）；University of Chinese Academy of Science（中国科学院大学）
针对视频扩散模型微调后运动保真度下降的问题，提出基于像素通量动力学的像素运动奖励和SHIFT框架（平滑混合微调），通过对抗优势改进收敛并缓解奖励黑客，有效解决动态度坍塌。
2026-06-29 cs.CV
OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation
研究针对音频和视频联合生成中跨模态对齐难的问题，提出OmniVAE，通过联合训练学习音频和视频潜在表示间的细粒度语义对齐，使用对比目标捕捉对应关系并对齐潜在空间，还提炼特征提升可学习性，实验证明其有效提升生成质量和同步准确性。
2026-08-03 cs.CV cs.SD
Dynamics Transfer GAN: Generating Video by Transferring Arbitrary Temporal Dynamics from a Source Video to a Single Target Image
KAIST（韩国科学技术院）
在本文中，我们提出了动态传输GAN;一种基于生成对抗学习的视频序列生成新方法。从目标图像获取所生成的视频序列的空间构造。所生成的视频序列的动态从源视频序列导入，具有任意运动，并施加到目标图像上。为了保持目标图像的空间结构，源视频序列的外观被抑制，并且在被施加到目标图像上之前仅获得动态。这是使用所提出的外观抑制动态特征来实现的。此外，生成的视频序列的空间和时间的离散性通过两个离散性网络进行了验证。一个验证器验证所生成的帧外观的保真度，而另一个验证所生成的视频序列的动态一致性。通过实验验证了该方法生成的视频序列的质量。实验结果表明，动态转换GAN在生成输出视频序列时，成功地将源视频序列的任意动态特性转换到目标图像上。实验结果还表明，动态传输GAN保持目标图像的空间结构（外观），同时生成空间和时间一致的视频序列。
2017-12-10 cs.CV
Content-Rich AIGC Video Quality Assessment via Intricate Text Alignment and Motion-Aware Consistency
Peking University（北京大学）；PengCheng Laboratory（鹏城实验室）
本文提出CRAVE评估器，通过多粒度文本-时间融合和混合运动保真度建模解决Sora时代内容丰富的AIGC视频质量评估问题，并构建CRAVE-DB基准，在多个VQA基准上取得与人类感知高度一致的结果。
2025-02-06 cs.CV
SAMA: Factorized Semantic Anchoring and Motion Alignment for Instruction-Guided Video Editing
Baidu（百度）；Tsinghua University（清华大学）；City University of Hong Kong（香港城市大学）；Zhejiang University（浙江大学）
SAMA通过因子化语义锚定和运动对齐方法，在无需外部先验知识的情况下实现精确语义修改与运动保真的平衡，展示了强大的零样本视频编辑能力。
2026-03-19 cs.CV
Inference-Time Text-to-Video Alignment with Diffusion Latent Beam Search
The University of Tokyo（东京大学）；Google DeepMind（谷歌DeepMind）
提出扩散潜变量束搜索与前瞻估计器，在推理时优化对齐奖励并校准指标，无需参数更新即可提升视频感知质量，且计算效率优于贪心搜索和最佳N采样。
2025-10-07 cs.CV
Photorealistic Style Transfer for Videos
真实感风格转移是一种通过使用深度学习和优化技术将颜色从一个参考域转移到另一个域的技术。在这里，我们提出了一种技术，我们使用它来转移风格和颜色从参考图像到视频。
2018-07-01 cs.CV
PhysAlign: Physics-Coherent Image-to-Video Generation through Feature and 3D Representation Alignment
PhysAlign通过特征和3D表示对齐，解决图像到视频生成中的物理一致性问题，提升复杂物理推理和时间稳定性，同时保持零样本视觉质量。
2026-03-14 cs.CV
KVPO: ODE-Native GRPO for Autoregressive Video Alignment via KV Semantic Exploration
Tsinghua University（清华大学）；HKUST（香港科技大学）；Video Rebirth Project（视频重生项目）
KVPO通过引入因果-语义探索范式和基于轨迹速度能量的替代策略，解决自回归视频生成器与人类偏好对齐的挑战，提升视频质量与文本对齐效果。
2026-05-14 cs.CV
An Overview of Color Transfer and Style Transfer for Images and Videos
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
图像或视频外观特征（例如，颜色、纹理、色调、亮度等）反映了一个人对图像或视频的视觉感知和直接印象。给定源图像（视频）和目标图像（视频），图像（视频）颜色转移技术旨在处理源图像或视频的颜色（注意，源图像或视频在一些文献中也被称为参考图像或视频），以使其看起来像目标图像或视频的颜色，即，将目标图像或视频的外观转换为源图像或视频的外观，从而可以改变人们对源图像或视频的感知。作为颜色转移的扩展，风格转移是指通过风格转移模型，利用风格样本或图像集以艺术家的风格渲染目标图像或视频的内容。作为一个新兴的研究领域，风格迁移的研究引起了大量研究者的关注。经过几十年的发展，它已经成为一个高度跨学科的研究与多种艺术表现风格可以实现。本文概述了过去几年来色彩转移和风格转移的方法。
2022-07-19 cs.CV cs.GR
SARA: Semantically Adaptive Relational Alignment for Video Diffusion Models
Tencent Hunyuan（腾讯文英）
提出SARA方法，通过文本条件显著性引导令牌对监督，提升视频扩散模型的文本对齐和运动质量。
2026-06-09 cs.CV
TAGRPO: Boosting GRPO on Image-to-Video Generation with Direct Trajectory Alignment
The University of Hong Kong（香港大学）；Tencent Hunyuan（腾讯文心）
针对图像到视频生成中GRPO优化效果不佳的问题，提出基于对比学习的TAGRPO框架，通过中间潜变量对齐高奖励轨迹并远离低奖励轨迹，结合记忆库提升多样性，显著优于DanceGRPO。
2026-05-26 cs.CV
Geo-Align: Video Generation Alignment via Metric Geometry Reward
USTC（中国科学技术大学）；Shanghai AI Lab（上海人工智能实验室）；ZJU（浙江大学）
提出首个基于强化学习的框架Geo-Align，通过度量3D估计器提取相机轨迹并惩罚偏差，利用真实条件视频和合成目标轨迹消除配对数据依赖，提升相机控制精度和视觉保真度。
2026-05-22 cs.CV
Cross-Frame Representation Alignment for Fine-Tuning Video Diffusion Models
KAIST（韩国科学技术院）
针对视频扩散模型用户级微调中跨帧语义一致性不足的问题，提出跨帧表示对齐技术CREPA，通过将帧的隐藏状态与相邻帧外部特征对齐，显著提升了视觉保真度与跨帧语义连贯性。
2025-06-25 cs.CV
HyperCon: Image-To-Video Model Transfer for Video-To-Video Translation Tasks
Samsung Semiconductor, Inc.（三星半导体公司）；University of Michigan（密歇根大学）
由于时间一致性问题，视频到视频转换比图像到图像转换更困难，如果不解决时间一致性问题，则会导致分散注意力的闪烁效果。尽管从头开始设计的视频模型会产生时间上一致的结果，但训练它们以匹配图像模型捕获的大量视觉知识需要大量的视频。为了结合图像和视频模型的优点，我们提出了一种称为超一致性（HyperCon）的图像到视频模型传输方法，该方法将任何经过良好训练的图像模型转换为时间一致的视频模型，而无需进行微调。HyperCon的工作原理是逐帧平移时间插值视频，然后在插值视频上的时间本地化窗口上聚合。它可以处理屏蔽和非屏蔽输入，支持比以前的图像到视频模型传输技术更多的视频到视频转换任务。我们展示了HyperCon在视频风格传输和修复上的表现，与现有的最先进的方法相比，它表现良好，而无需在单个风格化或不完整的视频上进行训练。我们的项目网站是https://ryanszeto.com/projects/hypercon。
2020-11-10 cs.CV
Video-to-Audio Generation with Hidden Alignment
Tencent AI Lab（腾讯AI实验室）；Beijing Institute of Technology（北京理工大学）；University of California, Berkeley（加州大学伯克利分校）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文研究视频到音频生成，通过探索视觉编码器、辅助嵌入和数据增强技术，提出一种基于隐式对齐的模型，在生成质量和音视频同步对齐上达到最先进水平。
2025-03-11 cs.CV cs.MM cs.SD
VideoCon: Robust Video-Language Alignment via Contrast Captions
UCLA（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
本文提出VideoCon数据集与对齐模型，通过大型语言模型生成对比字幕增强鲁棒性，在视频-语言对齐任务上AUC提升12%，并在多个零样本任务上达到最先进性能。
2023-11-15 cs.AI cs.CL cs.CV
Free$^2$Guide: Training-Free Text-to-Video Alignment using Image LVLM
Graduate School of AI, KAIST（人工智能研究生院，韩国科学技术院）
本文提出免训练、无梯度的 Free$^2$Guide 框架，借助路径积分控制、图像 LVLM 奖励、帧拼接与多模型集成，在低额外开销下显著提升 T2V 生成的文本对齐和视频质量。
2025-10-19 cs.AI cs.CV cs.LG
Learning Implicit Temporal Alignment for Few-shot Video Classification
ShanghaiTech University（上海科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
Few-Shot视频分类的目的是学习新的视频类别，只有少数标记的例子，减轻负担，昂贵的注释在现实世界中的应用。然而，在这样的设置中学习类不变的时空表示是特别具有挑战性的。为了解决这个问题，我们提出了一种新的基于匹配的少样本学习策略的视频序列在这项工作中。我们的主要思想是引入一个隐式的时间对齐的视频对，能够估计它们之间的相似性，在一个准确和强大的方式。此外，我们设计了一个有效的上下文编码模块，将空间和特征通道上下文，从而更好地建模类内变化。为了训练我们的模型，我们开发了一个多任务损失学习视频匹配，导致视频特征具有更好的泛化能力。在两个具有挑战性的基准上进行的大量实验结果表明，我们的方法优于现有技术，在SomethingSomething-V2上具有相当大的优势，在Kinetics上具有竞争力。
2021-05-11 cs.AI cs.CV cs.LG
TACo: Token-aware Cascade Contrastive Learning for Video-Text Alignment
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
对比学习已被广泛用于训练基于变换的视觉语言模型，用于视频-文本对齐和多模态表示学习。本文提出了一种新的算法称为令牌感知级联对比学习（TACo），提高了对比学习使用两种新的技术。第一种是标记感知的对比损失，它是通过考虑单词的句法类别来计算的。这是由以下观察所激发的：对于视频-文本对，文本中的内容词（诸如名词和动词）比功能词更可能与视频中的视觉内容对齐。其次，级联采样方法被施加到生成一个小的硬负的例子，多模态融合层的有效损失估计。为了验证TACo的有效性，在我们的实验中，我们对一组下游任务的预训练模型进行了微调，包括文本视频检索（YouCook 2，MSR-VTT和ActivityNet），视频动作步骤定位（CrossTask），视频动作分割（COIN）。结果表明，我们的模型在不同的实验设置中比以前的方法获得了一致的改进，在YouCook 2，MSR-VTT和ActivityNet三个公共文本视频检索基准上设置了新的最先进水平。
2021-08-23 cs.AI cs.CV cs.LG
CVA: Context-aware Video-text Alignment for Video Temporal Grounding
Daegu Gyeongbuk Institute of Science and Technology (DGIST), Republic of Korea（韩国大邱庆北科学技术院（DGIST））
本文提出CVA框架，通过查询感知上下文多样化、上下文不变边界判别损失和上下文增强Transformer编码器，提升视频时间定位的鲁棒性和准确性，显著提高Recall@1分数。
2026-03-26 cs.AI cs.CV cs.LG
MLVTG: Mamba-Based Feature Alignment and LLM-Driven Purification for Multi-Modal Video Temporal Grounding
State Key Laboratory of Media Convergence and Communication（媒体融合与传播国家重点实验室）
MLVTG通过结合MambaAligner和LLMRefiner，实现了多模态视频时间定位的高精度定位与语义净化。
2026-01-27 cs.AI cs.CV
VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval
North South University（北南大学）；Qatar Computing Research Institute (QCRI)（卡塔尔计算研究 institute）
VideoLights通过引入特征细化、跨模态融合和联合任务反馈机制，提升视频亮点检测与时刻检索的性能。
2025-11-24 cs.AI cs.CV
Temporal Alignment-Free Video Matching for Few-shot Action Recognition
Sungkyunkwan University（成均馆大学）
本文提出无时序对齐匹配方法TEAM，用固定模式令牌表示视频并通过令牌级比较实现少样本动作识别，兼具灵活性与高效性。
2025-04-08 cs.AI cs.CV
MaViLS, a Benchmark Dataset for Video-to-Slide Alignment, Assessing Baseline Accuracy with a Multimodal Alignment Algorithm Leveraging Speech, OCR, and Visual Features
Karlsruhe University of Applied Sciences（卡尔斯鲁厄应用技术大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Hohenheim（霍恩海姆大学）
本文提出用于讲座视频与幻灯片对齐的MaViLS基准数据集，并引入结合语音、OCR和图像特征的多模态动态规划对齐算法，以0.82准确率和11倍速度优于SIFT，证明了其鲁棒性与潜力。
2024-09-25 cs.AI cs.CV cs.LG
Comment-aided Video-Language Alignment via Contrastive Pre-training for Short-form Video Humor Detection
Soochow University（苏州大学）；Huaiyin Normal University（淮阴师范学院）
针对短视频幽默检测任务，提出基于数据增强多模态对比预训练的评论辅助视频-语言对齐双分支层次模型，在两个数据集上性能超越现有最优方法及基线，相关资源已开源。
2024-04-15 cs.AI cs.CV
Rethinking Multi-Modal Alignment in Video Question Answering from Feature and Sample Perspectives
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）
视频问答（VideoQA）的一个新目标是对视频中的事件因果关系和时间关系进行推理，但语言和视频之间的语义鸿沟是实现这一目标的主要障碍。现有的努力主要集中在设计复杂的架构，同时利用框架或对象级的视觉表示。在本文中，我们重新考虑的多模态对齐问题，在视频问答从特征和样本的角度，以实现更好的性能。从特征的角度出发，我们将视频分解为多个轨迹，首先利用VideoQA中的轨迹特征来增强两种模式之间的对齐。此外，我们采用了异构的图形架构，并设计了一个层次化的框架，使语义级和框架级的视觉特征与语言特征相一致。此外，我们发现VideoQA模型在很大程度上依赖于语言先验，并且总是忽略视觉-语言交互。因此，两个有效的，但便携式的训练增强策略的设计，以加强我们的模型的跨模态对应能力，从样本的角度。大量的结果表明，我们的方法优于所有国家的最先进的模型上具有挑战性的NExT-QA基准，这表明了所提出的方法的有效性。
2022-11-02 cs.AI cs.CV
Deep Visual Forced Alignment: Learning to Align Transcription with Talking Face Video
KAIST（韩国科学技术院）
强制对齐是指将给定转录与相应语音进行时间对齐的技术。然而，由于已经使用语音音频开发了强制对准技术，当输入语音音频被噪声破坏或不可访问时，它们可能无法对准。我们关注的是，存在可以从语音中推断出语音的另一个组件，即语音视频（即，说话的脸视频）。由于基于音频的强制对齐方法在音频信号较差的情况下可以利用视觉信息来弥补其不足，因此本文尝试提出一种新的基于视频的强制对齐方法。然而，与音频强制对齐不同，开发可靠的视觉强制对齐技术具有挑战性，原因有以下两个：1）与基于音频的自动语音识别（ASR）相比，视觉语音识别（VSR）具有低得多的性能，以及2）从文本到视频的翻译不可靠，因此通常用于建立音频强制对准的方法不能用于开发视觉强制对准。为了缓解这些挑战，在本文中，我们提出了一种新的方法，这是适合于视觉强制对齐，即深度视觉强制对齐（DVFA）。所提出的DVFA可以比对输入转录（即，句子）与说话面部视频进行交互，而不访问语音音频。此外，通过用异常情况检测来增强对准任务，DVFA可以在执行对准的同时检测输入转录和输入视频之间的不匹配。因此，即使文本中存在错误的单词，我们也可以鲁棒地将文本与说话的人脸视频对齐。通过大量的实验，我们证明了所提出的DVFA的有效性，不仅在对齐任务，而且在解释VSR模型的输出。
2023-02-27 cs.AI cs.CV cs.SD
Automatic alignment of surgical videos using kinematic data
Monash University（莫纳什大学）；University of Haute-Alsace（上阿尔萨斯大学）
在过去的一百年里，“看一个，做一个，教一个”的经典教学方法一直统治着世界各地的外科教育系统。随着手术室2.0的出现，在手术过程中记录视频、运动学和许多其他类型的数据变得很容易，从而允许在手术和医疗实践中部署和使用人工智能系统。最近，手术视频已被证明提供了一个同行指导的结构，使新手学员能够通过重播这些视频向经验丰富的外科医生学习。然而，手术姿势持续时间和执行的高度操作者间可变性使得从新手到专家手术视频的比较中学习是非常困难的任务。在本文中，我们提出了一种新的技术来对齐多个视频的基础上对齐相应的运动学多变量时间序列数据。通过利用动态时间扭曲措施，我们的算法对一组视频进行重新排序，以显示以不同速度执行的相同手势。我们认为，所提出的方法是一个有价值的除了现有的学习工具的手术。
2019-04-26 cs.AI cs.CV cs.LG
Can Hallucination Correction Improve Video-Language Alignment?
University of Maryland（马里兰大学）；Stony Brook University（石溪大学）；Honda Research Institute（本田研究所）
针对大型视觉-语言模型的幻觉问题，该研究提出自训练框架HACA，将幻觉校正作为训练目标，通过识别校正视频描述与内容的不一致来增强时空推理下的视频-语言对齐能力，在相关任务中取得稳定提升。
2025-02-20 cs.AI cs.CL cs.CV
Uncertainty-Guided Self-Questioning and Answering for Video-Language Alignment
School of Computer Science, Duy Tan University（计算机科学学院，杜益坦大学）；School of Computer Sciences, Universiti Sains Malaysia（计算机科学学院，马来亚大学）
本文提出BoViLA自训练框架，通过LLM自问自答扩充VideoQA训练样本，并利用证据深度学习估计不确定性以过滤低质量问题，从而改善视频-语言模态对齐，在多个基准上超越现有方法。
2025-05-06 cs.AI cs.CV
Temporal Alignment Prediction for Few-Shot Video Classification
National Key Lab for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
Few-Shot视频分类的目标是在只使用少量标记视频进行训练的情况下学习具有良好泛化能力的分类模型。然而，在这样的设置中，很难学习视频的区别性特征表示。在本文中，我们提出了时间对齐预测（TAP）的基础上序列相似性学习的Few-Shot视频分类。为了获得一对视频的相似性，我们预测的对齐分数之间的所有对时间位置在两个视频的时间对齐预测函数。此外，该函数的输入还配备有时间域中的上下文信息。我们在两个视频分类基准上评估TAP，包括Kinetics和Something-Something V2。实验结果验证了TAP的有效性，并显示了其优越性比国家的最先进的方法。
2021-12-31 cs.CV
Neural Video Compression Based on Deformable Temporal Alignment and Difference-aware Fusion
Google（谷歌）；Nanjing University（南京大学）
针对神经视频压缩中时间上下文易受误差干扰的问题，提出结合可变形时间对齐与差异感知融合的方法，提升了率失真性能。
2026-09-04 cs.AI cs.CV
Revisiting Temporal Alignment for Video Restoration
The Chinese University of Hong Kong（香港中文大学）；Smartmore Corporation（思谋科技）
长距离时间对齐对于视频恢复任务是至关重要但又具有挑战性的。近年来，一些研究尝试将长路线划分为若干个子路线，并逐步进行处理。虽然这种操作有助于对远距离通信进行建模，但由于传播机制，误差积累是不可避免的。在这项工作中，我们提出了一种新的，通用的迭代对齐模块，采用逐步细化方案的子对齐，产生更准确的运动补偿。为了进一步提高对齐精度和时间一致性，我们开发了一种非参数重新加权方法，其中每个相邻帧的重要性是自适应评估的空间方式聚合。凭借所提出的策略，我们的模型在一系列视频恢复任务（包括视频超分辨率，去噪和去模糊）的多个基准上实现了最先进的性能。我们的项目在\url{https://github.com/redrock303/Revisiting-Temporal-Alignment-for-Video-Restoration.git}中可用。
2021-12-01 cs.CV
Video Similarity and Alignment Learning on Partial Video Copy Detection
Alibaba Group（阿里巴巴集团）
现有的视频拷贝检测方法一般基于关键帧之间的空间相似性来度量视频相似性，忽略了时间维度上的潜在相似性，使得视频相似性偏向于空间信息。已有的方法采用端到端的方式对统一的视频相似性进行建模，但丢失了详细的部分对齐信息，导致无法对复制片段进行定位。为了解决上述问题，我们提出了视频相似性和对齐学习（VSAL）的方法，它联合模型的空间相似性，时间相似性和部分对齐。为了减轻空间相似性偏差，我们将时间相似性建模为从帧级空间相似性预测的掩模图，其中每个元素指示帧对正好位于部分对齐上的概率。为了进一步定位部分副本，从空间相似性学习步骤图，其中元素指示时空相似性图上的当前部分对准的延伸方向。从掩模图获得，起始点延伸出部分最佳对准以下的步骤图的指令。通过相似性和对齐学习策略，VSAL在VCDB核心数据集上实现了最先进的F1得分。此外，我们通过为FIVR-200 k数据集添加新的片段级注释，构建了一个新的部分视频复制检测和定位基准，其中VSAL也实现了最佳性能，验证了其在更具挑战性的情况下的有效性。我们的项目在https://pvcd-vsal.github.io/vsal/上公开。
2021-08-04 cs.CV
MoVA: Learning Asymmetric Dual Projections for Modular Long Video-Text Alignment
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
针对视频-文本对比学习中时间错位和语义不对称问题，提出MoVA框架，通过非对称双投影（文本侧自适应选择帧感知子空间，视频侧解缠文本相关视觉概念）实现灵活对齐，在多个任务上超越现有方法。
2026-07-02 cs.CV cs.LG
Collaborative Weakly Supervised Video Correlation Learning for Procedure-Aware Instructional Video Analysis
Shanghai Jiao Tong University（上海交通大学）；Lenovo Research（联想研究院）
针对教学视频相关性分析依赖昂贵步骤级标注的问题，提出含协同步骤挖掘与帧-步对齐模块的CPA弱监督框架，在序列验证等任务中验证了其准确可解释的分析效果。
2023-12-18 cs.AI cs.CV
