Video Similarity and Alignment Learning on Partial Video Copy Detection
Alibaba Group（阿里巴巴集团）
现有的视频拷贝检测方法一般基于关键帧之间的空间相似性来度量视频相似性，忽略了时间维度上的潜在相似性，使得视频相似性偏向于空间信息。已有的方法采用端到端的方式对统一的视频相似性进行建模，但丢失了详细的部分对齐信息，导致无法对复制片段进行定位。为了解决上述问题，我们提出了视频相似性和对齐学习（VSAL）的方法，它联合模型的空间相似性，时间相似性和部分对齐。为了减轻空间相似性偏差，我们将时间相似性建模为从帧级空间相似性预测的掩模图，其中每个元素指示帧对正好位于部分对齐上的概率。为了进一步定位部分副本，从空间相似性学习步骤图，其中元素指示时空相似性图上的当前部分对准的延伸方向。从掩模图获得，起始点延伸出部分最佳对准以下的步骤图的指令。通过相似性和对齐学习策略，VSAL在VCDB核心数据集上实现了最先进的F1得分。此外，我们通过为FIVR-200 k数据集添加新的片段级注释，构建了一个新的部分视频复制检测和定位基准，其中VSAL也实现了最佳性能，验证了其在更具挑战性的情况下的有效性。我们的项目在https://pvcd-vsal.github.io/vsal/上公开。
2021-08-04 cs.CV
HANet: Hierarchical Alignment Networks for Video-Text Retrieval
Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院）；Alibaba Group（阿里巴巴集团）
视频文本检索是视觉语言理解中一项重要而又具有挑战性的任务，其目标是学习一个相关视频和文本实例彼此接近的联合嵌入空间。目前的研究大多是简单地基于视频级和文本级嵌入来度量视频-文本的相似度。然而，忽略更细粒度或局部信息导致表示不足的问题。有些作品通过解开句子来挖掘局部细节，但忽略了对应的视频，造成视频-文本表征的不对称。为了解决上述限制，我们提出了一个层次对齐网络（HANet），以调整不同级别的视频文本匹配表示。具体来说，我们首先将视频和文本分解为三个语义层次，即事件（视频和文本），动作（运动和动词）和实体（外观和名词）。在此基础上，我们自然地构建层次表示在个别-本地-全球的方式，其中个别级别侧重于帧和词之间的对齐，本地级别侧重于视频剪辑和文本上下文之间的对齐，和全球级别侧重于整个视频和文本之间的对齐。不同层次的对齐捕捉视频和文本之间的由细到粗的相关性，以及利用三个语义层次之间的互补信息。此外，我们的HANet也是丰富的解释，明确学习关键的语义概念。在MSR-VTT和VATEX两个公共数据集上的实验表明，HANet的性能优于其他现有方法，证明了层次表示和对齐的有效性。我们的代码是公开的。
2021-07-30 cs.CV
End-to-End United Video Dehazing and Detection
Wuhan National Laboratory for Optoelectronics, Huazhong University of Science and Technology（华中科技大学武汉光电国家实验室）；Microsoft Research（微软研究院）；Texas A&M University（德克萨斯A&M大学）
基于CNN的图像去雾的最新发展揭示了端到端建模的有效性。然而，将该想法扩展到端到端视频去雾尚未被探索。在本文中，我们提出了一个端到端的视频去雾网络（EVD-Net），利用连续视频帧之间的时间一致性。一个彻底的研究已经进行了一些结构选项，以确定最佳的时间融合策略。此外，我们建立了一个端到端的联合视频去雾和检测网络（EVD-Net），它连接并联合训练EVD-Net与视频目标检测模型。由此产生的增强的端到端流水线在模糊视频中表现出更稳定和准确的检测结果。
2017-09-12 cs.AI cs.CV cs.LG
Video-Text Representation Learning via Differentiable Weak Temporal Alignment
Korea University（高丽大学）；Kakao Brain；Hanyang University（汉阳大学）
通过监督方法学习视频和文本的通用联合表示需要大量手动注释的视频数据集。作为一种实用的替代方案，最近推出了一个大规模但未经策划和叙述的视频数据集HowTo 100 M。但是，由于其模糊性和非顺序对齐性，以自监督的方式学习视频和文本的联合嵌入仍然具有挑战性。在本文中，我们提出了一种新的多模态自监督框架视频文本时间弱对齐为基础的对比学习（VT-THERM），以捕捉显着的信息，从噪声和弱相关的数据使用动态时间规整（DTW）的变体。我们观察到，标准DTW固有地不能处理弱相关的数据，只考虑全局最优的对齐路径。为了解决这些问题，我们开发了一个可微DTW，它也反映了弱时间对齐的局部信息。此外，我们提出的模型应用对比学习计划学习弱相关数据的特征表示。我们广泛的实验表明，VT-Tcloud在多模态表示学习方面取得了显着的改进，并优于各种具有挑战性的下游任务。代码可在https://github.com/mlvlab/VT-TWINS上获得。
2022-03-31 cs.CV
HarmonySet: A Comprehensive Dataset for Understanding Video-Music Semantic Alignment and Temporal Synchronization
WeChat Vision, Tencent Inc.（腾讯公司微信视觉部）；Beijing University of Posts and Telecommunications（北京邮电大学）；Zhejiang University（浙江大学）
本文提出综合数据集HarmonySet及人机协作标注与多维评估框架，显著提升多模态模型对视频与音乐间语义对齐和时间同步关系的分析能力。
2025-03-04 cs.CV
ETVA: Evaluation of Text-to-Video Alignment via Fine-grained Question Generation and Answering
Renmin University of China（中国人民大学）；Apple（苹果公司）
本文提出ETVA方法，通过细粒度问题生成与知识增强多阶段推理评估文本到视频对齐，显著提升与人类判断的相关性，并构建大规模基准系统评估现有T2V模型的能力与局限。
2025-08-17 cs.CV
TCMA: Text-Conditioned Multi-granularity Alignment for Drone Cross-Modal Text-Video Retrieval
Carnegie Mellon University（卡内基梅隆大学）；The Hong Kong Polytechnic University（香港理工大学）；Wuhan University（武汉大学）
针对无人机视频检索中数据集粗粒度、冗余标注问题，构建细粒度多样化标注数据集DVTMD，并提出文本条件多粒度对齐框架TCMA，实现全局-局部多层级对齐，在无人机文本-视频检索任务上达到最优性能。
2026-07-02 cs.CV
MEGA: Multimodal Alignment Aggregation and Distillation For Cinematic Video Segmentation
Amazon Prime Video（亚马逊Prime视频）；AWS AI Labs（亚马逊云科技人工智能实验室）
针对电影长视频分割中多模态对齐融合缺失的问题，提出MEGA方法，通过对齐位置编码、增强型瓶颈融合层和新型对比损失实现跨模态标签传递，在两个数据集上性能优于现有最优方法。
2023-08-22 cs.CV
PiTe: Pixel-Temporal Alignment for Large Video-Language Model
Westlake University（西湖大学）；Soochow University（苏州大学）
针对现有大型视频-语言模型时空对齐粒度不足的问题，提出基于物体轨迹引导的像素-时间对齐模型PiTe，构建像素级轨迹预训练数据集PiTe-143k，在多类视频多模态任务上大幅超越现有最优方法。
2024-09-11 cs.CV
Towards Real-World HDR Video Reconstruction: A Large-Scale Benchmark Dataset and A Two-Stage Alignment Network
Shanghai University（上海大学）
针对真实世界HDR视频重建缺乏大规模数据集及现有方法在真实场景表现差的问题，本文提出最大真实基准数据集Real-HDRV，并设计两阶段对齐端到端网络，实验证明其性能优于现有方法。
2024-04-30 cs.CV
Towards Highly Accurate and Stable Face Alignment for High-Resolution Videos
Youtu Lab, Tencent（腾讯优图实验室）；Michigan State University（密歇根州立大学）；Fudan University（复旦大学）
近年来，基于热图回归的模型在人脸对齐和姿态估计中显示出其有效性。然而，传统的热图回归（Heatmap Regression）在处理高分辨率面部视频时既不准确也不稳定，因为它在从舍入坐标生成的热图中找到最大激活位置，从而在缩放回原始高分辨率空间时导致量化误差。在本文中，我们提出了一个分数热图回归（FHR）的高分辨率视频为基础的人脸对齐。所提出的FHR可以根据二维高斯函数通过对热图中的三个点进行采样来准确地估计分数部分。为了进一步稳定连续视频帧之间的地标，同时保持精度，我们提出了一种新的稳定损失，包含两个术语，分别解决时间延迟和非平滑问题。在300 W、300-VW和Talking Face数据集上的实验表明，该方法比现有的模型更准确、更稳定。
2018-11-22 cs.CV
Component-Based Distributed Framework for Coherent and Real-Time Video Dehazing
College of Mathematics and Informatics, South China Agricultural University（华南农业大学数学与信息学院）；School of Computer Science and Technology, Guangdong University of Technology（广东工业大学计算机科学与技术学院）；Advanced Digital Sciences Center, Illinois at Singapore Pte.Ltd.（伊利诺伊先进数字科学中心（新加坡））
传统的去雾技术作为图像处理中的一个研究热点，目前被广泛应用于从单个图像中消除雾的影响。然而，即使是最先进的去雾算法也可能无法为视频分析提供足够的支持，作为基于视频的决策系统的关键预处理步骤（例如，机器人导航），这是由于这些算法在差的结果一致性和低的处理效率上的限制。本文提出了一种新的框架，特别是设计用于视频去雾，输出连贯的结果在实时的，与两个新的技术。首先，我们将去雾算法分解为三个通用组件，即传输映射估计器，大气光估计器和无雾图像生成器。它们可以由分布式系统中的多个线程同时处理，使得通过基于工作负载的自动CPU资源分配来优化处理效率。其次，提出了一种跨帧归一化方案，通过在分布式计算平台上共享连续帧的大气光参数来增强连续帧之间的相干性。这些技术的组合使我们的框架能够通过仅使用3台通过以太网连接的PC来实时的生成高度一致和准确的去雾结果。
2016-09-09 cs.CV cs.DC
LiFT: Leveraging Human Feedback for Text-to-Video Model Alignment
Fudan University（复旦大学）；Shanghai Academy of Artificial Intelligence for Science（上海科学人工智能研究院）；Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究院）
本文提出首个利用人类反馈进行文本到视频模型对齐的方法LiFT，通过构建含约1万条标注的数据集LiFT-HRA训练奖励模型LiFT-Critic，并最大化奖励加权似然优化T2V模型，使微调后的CogVideoX-2B在全部16项指标上超越CogVideoX-5B。
2025-03-05 cs.CV
Aligning Step-by-Step Instructional Diagrams to Video Demonstrations
The Australian National University（澳大利亚国立大学）；Mitsubishi Electric Research Labs（三菱电机研究院）；Technion Israel Institute of Technology（以色列理工学院）；The Australian Institute for Machine Learning（澳大利亚机器学习研究所）
针对装配图表指令步骤与真实场景装配视频片段的对齐问题，提出有监督对比学习方法（结合新损失），构建含183小时视频和近8300幅插图的IAW数据集，在检索与对齐任务上性能优于其他方法。
2024-12-02 cs.CV
Augmenting and Aligning Snippets for Few-Shot Video Domain Adaptation
Nanyang Technological University（南洋理工大学）
为了使视频模型能够在不同的环境中无缝地跨视频任务传输和应用，引入了视频无监督领域自适应（VUDA）来提高视频模型的鲁棒性和可传输性。然而，目前的VUDA方法依赖于大量的高质量的未标记的目标数据，这在现实世界中可能是不可用的。因此，我们考虑一个更现实的\textit{Few-Shot Video-based Domain Adaptation}（FSVDA）的情况下，我们适应视频模型只有几个目标视频样本。虽然一些方法已经触及图像和FSVDA中的Few-Shot领域自适应（FSDA），但是它们主要依赖于用于目标域扩展的空间增强，其中在实例级统计地执行对准。然而，视频包含更多的知识，在丰富的时间和语义信息，这应该充分考虑时，增加目标域和执行对齐FSVDA。我们提出了一种新的SSA2lign来解决FSVDA在片段级别，其中目标域是通过一个简单的片段级增强扩展，然后通过语义和统计上的片段的注意对齐，其中片段的语义对齐是通过多个角度进行的。实证结果证明了SSA2lign在多个跨域动作识别基准测试中的最新性能。
2023-03-18 cs.CV
DADFNet: Dual Attention and Dual Frequency-Guided Dehazing Network for Video-Empowered Intelligent Transportation
Wuhan University of Technology（武汉理工大学）；Nanyang Technological University（南洋理工大学）；Sony AI（索尼人工智能研究院）；Singapore University of Technology and Design（新加坡科技设计大学）；Guangdong University of Technology（广东工业大学）
本文提出双注意力与双频率引导去雾网络 DADFNet，通过联合注意力映射和频率映射实现实时视频去雾，在提升能见度和检测精度的同时仅需 6.3 毫秒处理 1080p 图像，适用于智能交通系统部署。
2023-04-19 cs.CV
Learning Hazing to Dehazing: Towards Realistic Haze Generation for Real-World Image Dehazing
Shanghai Jiao Tong University（上海交通大学）；University of Electronic Science and Technology of China（电子科技大学）
针对真实世界图像去雾依赖预训练模型且扩散方法效率低的问题，提出HazeGen生成真实雾图训练数据，并设计DiffDehaze采用加速保真采样，实现高效高质量去雾。
2025-03-25 cs.CV
Temporal Attentive Alignment for Video Domain Adaptation
Georgia Institute of Technology（佐治亚理工学院）
虽然近年来已经提出了各种基于图像的领域自适应（DA）技术，但视频中的域偏移仍然没有得到很好的探索。大多数以前的作品只评估小规模数据集的饱和性能。因此，我们首先提出了一个具有更大域差异的更大规模数据集：UCF-HMDB_full。其次，我们研究了不同的DA集成方法的视频，并表明，同时对齐和学习时间动态实现有效的对齐，即使没有复杂的DA方法。最后，我们提出了时间注意对抗适应网络（TA 3 N），它明确地注意到使用域差异的时间动态，以实现更有效的域对齐，在三个视频DA数据集上实现了最先进的性能。代码和数据在http://github.com/cmhungsteve/TA3N上发布。
2019-06-07 cs.CV cs.LG cs.MM
Bilevel Layer-Positioning LoRA for Real Image Dehazing
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；National Engineering Research Center of Digital Life（数字生活国家工程研究中心）；Dalian University of Technology（大连理工大学）；Xidian University（西安电子科技大学）
本文提出双层层位定位LoRA方法，通过文本引导损失和自动层搜索提升真实图像去雾的适应性和效率。
2026-03-11 cs.CV
Scaling Up Single Image Dehazing Algorithm by Cross-Data Vision Alignment for Richer Representation Learning and Beyond
针对传统多数据集去雾训练忽略域差距导致效果受损的问题，提出跨数据视觉对齐方法，结合自监督的内外知识适配与增强，在NID上验证可解决域差距，性能优于先进方法，为去雾大规模训练提供新流程。
2025-03-20 cs.AI cs.CV cs.LG
VMAS: Video-to-Music Generation via Semantic Alignment in Web Music Videos
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；ByteDance Inc.（字节跳动公司）
该研究提出VMAS视频转音乐生成框架，利用大规模网络音乐视频，结合语义与节拍对齐机制及新型时序编码器，在自建220万样本的DISCO-MV等数据集上性能超越现有方法。
2024-09-11 cs.CV cs.MM cs.SD
Temporal Attentive Alignment for Large-Scale Video Domain Adaptation
Georgia Institute of Technology（佐治亚理工学院）；Sony Interactive Entertainment LLC（索尼互动娱乐有限责任公司）；Binghamton University（宾厄姆顿大学）
虽然近年来已经提出了各种基于图像的领域自适应（DA）技术，但视频中的域偏移仍然没有得到很好的探索。大多数以前的作品只评估小规模数据集的饱和性能。因此，我们首先提出了两个大规模的视频DA数据集具有更大的域差异：UCF-HMDB_full和Kinetics-Gameplay。其次，我们研究了不同的DA集成方法的视频，并表明，同时对齐和学习时间动态实现有效的对齐，即使没有复杂的DA方法。最后，我们提出了时间注意对抗适应网络（TA 3 N），它明确地注意到时间动态使用域差异更有效的域对齐，在四个视频DA数据集上实现了最先进的性能（例如，在“HMDB --> UCF”上，与“仅源”相比，从73.9%到81.8%的准确度增益为7.9%，在“Kinetics --> Gameplay”上，则为10.3%）。代码和数据在http://github.com/cmhungsteve/TA3N上发布。
2019-09-15 cs.CV cs.LG cs.MM
Non-aligned supervision for Real Image Dehazing
Nanjing University of Science and Technology（南京理工大学）；Nankai University（南开大学）
本文提出一种基于非对齐监督的真实图像去雾框架，利用未对齐的清晰参考图像通过多尺度参考损失监督去雾网络，并结合自注意力与通道注意力网络估计大气光和透射率，在自建Phone-Hazy数据集上取得优于现有技术的去雾效果。
2024-01-05 cs.CV
RIDCP: Revitalizing Real Image Dehazing via High-Quality Codebook Priors
Nankai University（南开大学）；Hisilicon Technologies Co. Ltd.（海思技术有限公司）；Nanyang Technological University（南洋理工大学）
提出真实图像去雾新范式RIDCP，通过现象学退化流水线合成数据，并利用VQGAN预训练码本引入高质量先验，结合可控匹配操作解决域差距，实现优越去雾性能。
2023-04-08 cs.CV
Fast Single Image Dehazing via Multilevel Wavelet Transform based Optimization
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Sun Yat-Sen University（中山大学）；Swinburne University of Technology（斯威本科技大学）
在室外环境中拍摄的图像质量可能会受到恶劣天气条件的影响，例如雾、灰尘和其他颗粒的大气散射。这个问题可能会给高级计算机视觉任务带来额外的挑战，如图像分割和目标检测。然而，以往的图像去雾研究存在着计算量大、图像质量差等问题。本文提出了一种新的图像去雾方法的基础上的光学模型的烟雾图像和正则化优化。具体来说，我们转换的非凸，双线性问题的未知的无雾图像和光传输分布的凸，线性优化问题，通过估计大气光常数。我们的方法是进一步加快通过引入多级Haar小波变换。相反，该优化被应用于原始图像的低频子带分解。这种降维显著提高了我们的方法的处理速度，并表现出实时应用的潜力。实验结果表明，我们的方法优于国家的最先进的去雾算法在图像重建质量和计算效率。有关实现细节，可以通过http://github.com/JiaxiHe/Image-and-Video-Dehazing公开访问源代码。
2019-04-18 cs.CV eess.IV
Video Decomposition Prior: A Methodology to Decompose Videos into Layers
University of Maryland（马里兰大学）；University of Central Florida（中佛罗里达大学）
针对深度学习视频处理方法依赖配对数据集、泛化性差的问题，提出VDP视频分解先验框架，将视频分解为RGB图层与不透明度等级，无需外部数据即可实现分割、去雾、重光照等任务，在多个基准上取得新进展。
2024-12-09 cs.CV cs.LG
Temporal Alignment Prediction for Few-Shot Video Classification
National Key Lab for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
Few-Shot视频分类的目标是在只使用少量标记视频进行训练的情况下学习具有良好泛化能力的分类模型。然而，在这样的设置中，很难学习视频的区别性特征表示。在本文中，我们提出了时间对齐预测（TAP）的基础上序列相似性学习的Few-Shot视频分类。为了获得一对视频的相似性，我们预测的对齐分数之间的所有对时间位置在两个视频的时间对齐预测函数。此外，该函数的输入还配备有时间域中的上下文信息。我们在两个视频分类基准上评估TAP，包括Kinetics和Something-Something V2。实验结果验证了TAP的有效性，并显示了其优越性比国家的最先进的方法。
2021-12-31 cs.CV
Revisiting Temporal Alignment for Video Restoration
The Chinese University of Hong Kong（香港中文大学）；Smartmore Corporation（思谋科技）
长距离时间对齐对于视频恢复任务是至关重要但又具有挑战性的。近年来，一些研究尝试将长路线划分为若干个子路线，并逐步进行处理。虽然这种操作有助于对远距离通信进行建模，但由于传播机制，误差积累是不可避免的。在这项工作中，我们提出了一种新的，通用的迭代对齐模块，采用逐步细化方案的子对齐，产生更准确的运动补偿。为了进一步提高对齐精度和时间一致性，我们开发了一种非参数重新加权方法，其中每个相邻帧的重要性是自适应评估的空间方式聚合。凭借所提出的策略，我们的模型在一系列视频恢复任务（包括视频超分辨率，去噪和去模糊）的多个基准上实现了最先进的性能。我们的项目在\url{https://github.com/redrock303/Revisiting-Temporal-Alignment-for-Video-Restoration.git}中可用。
2021-12-01 cs.CV
Joint Self-Supervised Video Alignment and Action Segmentation
Retrocausal, Inc.（Retrocausal公司）
本文提出了一种统一最优传输框架，用于联合自监督视频对齐与动作分割，实现了高效训练和更优的分割性能。
2025-12-05 cs.CV
Video-Language Alignment via Spatio-Temporal Graph Transformer
School of Computer and Communication Engineering, University of Science and Technology Beijing (USTB)（北京科技大学计算机与通信工程学院）；Institute of Artificial Intelligence, University of Science and Technology Beijing (USTB)（北京科技大学人工智能研究院）；USTB-EEasyTech Joint Lab of Artificial Intelligence（北京科技大学-易智科技人工智能联合实验室）；Tencent Hunyuan（腾讯混元）；Tencent（腾讯）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
提出时空图Transformer（STGT）模块结合时空图结构与注意力机制，并引入自相似性对齐损失，有效提升了视频语言对齐精度及下游任务性能。
2024-07-23 cs.CV
VADER: Video Alignment Differencing and Retrieval
University of Surrey（萨里大学）；Adobe Research（奥多比研究院）；University of California, San Diego（加州大学圣地亚哥分校）
我们提出了VADER，一个时空匹配，对齐和变化的摘要方法，以帮助打击通过操纵视频传播的错误信息。VADER使用鲁棒的视觉描述符和自适应分块视频内容上的可伸缩搜索来将部分视频片段与候选视频进行匹配和粗对齐。然后，基于变换器的对齐模块细化匹配视频内的查询片段的时间定位。空间-时间比较器模块识别对齐的内容之间的操纵区域，其对于由于任何残余时间未对齐或由内容的非编辑性改变引起的伪像而引起的任何改变不变。通过将视频与可信来源进行可靠的匹配，可以得出有关视频来源的结论，从而对遇到的内容做出明智的信任决策。
2023-03-25 cs.CV
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment
Nanyang Technological University（南洋理工大学）
递归结构是视频超分辨率任务的流行框架选择。最先进的方法BasicVSR采用具有特征对齐的双向传播来有效地利用来自整个输入视频的信息。在这项研究中，我们重新设计BasicVSR提出二阶网格传播和流动引导变形对齐。我们表明，通过增强传播和对齐的经常性框架，可以更有效地利用时空信息跨错位的视频帧。新的组件导致在类似的计算约束下的性能提高。特别是，我们的模型BasicVSR++在PSNR方面超过BasicVSR 0.82 dB，参数数量相似。除了视频超分辨率之外，BasicVSR++还可以很好地推广到其他视频恢复任务，如压缩视频增强。在NTIRE 2021中，BasicVSR++在视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。代码和型号将发布给MME编辑。
2021-04-27 cs.CV
Learning to Localize Actions in Instructional Videos with LLM-Based Multi-Pathway Text-Video Alignment
Rutgers University（罗格斯大学）；Meta；Michigan State University（密歇根州立大学）；NEC Labs America-Princeton（美国NEC实验室普林斯顿分部）
本文提出基于LLM的多路径文本-视频对齐框架（MPTVA），通过LLM过滤噪声并生成伪匹配，在三个下游任务中显著超越现有方法。
2024-09-22 cs.CV
Circulant temporal encoding for video retrieval and temporal alignment
INRIA（法国国家信息与自动化研究所）
我们解决的问题，具体的视频事件检索。给定特定事件的查询视频，例如，麦当娜的音乐会，目标是检索与查询在时间上重叠的同一事件的其他视频。我们的方法编码的视频帧描述符，共同代表他们的外观和时间顺序。它利用循环矩阵的性质来有效地比较频域中的视频。这在复杂性方面提供了显着的增益，并准确地定位了视频的匹配部分。描述符可以在频域中用适合于复数的乘积量化器压缩。在这种情况下，执行视频检索而不解压缩描述符。我们还考虑了一组视频的时间对齐。我们利用匹配的信心和估计的时间偏移量计算的所有对我们的检索方法的视频。我们的鲁棒算法通过最大化时间上一致的匹配集来在全局时间轴上对齐视频。全局时间对准使得能够同步回放给定场景的视频。
2015-11-30 cs.CV
Temporal Alignment Networks for Long-term Video
University of Oxford（牛津大学）；Shanghai Jiao Tong University（上海交通大学）
本文的目标是一个时间对齐网络，它摄取长期视频序列和相关的文本句子，以便：（1）确定一个句子是否与视频匹配;以及（2）如果它是可匹配的，则确定它的对齐。挑战在于从大规模数据集中训练这样的网络，例如HowTo 100 M，其中关联的文本句子具有显著的噪声，并且在相关时仅弱对齐。除了提出对齐网络之外，我们还做出了四个贡献：（i）我们描述了一种新的协同训练方法，该方法能够在不使用手动注释的情况下对原始教学视频进行降噪和训练，尽管噪声相当大;（ii）为了对对齐性能进行基准测试，我们手动策划了10小时的HowTo 100 M子集，共80个视频，具有稀疏的时间描述。我们提出的模型，在HowTo 100 M上训练，性能优于强基线（iii）我们将zero-shot设置中的训练模型应用于多个下游视频理解任务，并实现最先进的结果，包括YouCook 2上的文本视频检索和Breakfast-Action上的弱监督视频动作分割;（iv）我们使用自动对齐的HowTo 100 M注释对骨干模型进行端到端微调，并在下游动作识别任务上获得改进的性能。
2022-04-06 cs.CV
Inductive and Transductive Few-Shot Video Classification via Appearance and Temporal Alignments
VinAI Research（VinAI研究院）；Retrocausal, Inc.（Retrocausal公司）
我们提出了一种新的方法用于Few-Shot视频分类，它执行外观和时间对齐。特别是，给定一对查询和支持视频，我们通过帧级特征匹配进行外观对齐，以实现视频之间的外观相似性得分，同时利用时间顺序保持先验来获得视频之间的时间相似性得分。此外，我们引入了一个Few-Shot视频分类框架，该框架在多个步骤中利用了上述外观和时间相似性分数，即基于原型的训练和测试以及归纳和转换原型细化。据我们所知，我们的工作是第一个探索转导Few-Shot视频分类。在Kinetics和Something-Something V2数据集上进行的大量实验表明，外观和时间对齐对于具有时间顺序敏感性的数据集（如Something-Something V2）至关重要。我们的方法在这两个数据集上都取得了类似或更好的结果。我们的代码可在https://github.com/VinAIResearch/fsvc-ata上获得。
2022-07-21 cs.CV
Dynamic Reflections: Probing Video Representations with Text Alignment
Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）
本研究通过视频-文本表示对齐探索现代视频和语言编码器的能力，揭示了跨模态对齐与数据丰富性、语义对齐与性能相关性以及时间推理与对齐的关系。
2026-01-29 cs.CV
Action Duration Prediction for Segment-Level Alignment of Weakly-Labeled Videos
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文重点研究弱监督动作对齐，其中只有视频级动作的有序序列可用于训练。我们提出了一种新的持续时间网络，它捕获视频的短时间窗口，并学习预测给定动作在任何时间点的剩余持续时间，其粒度级别基于该动作的类型。此外，我们引入了一个段级束搜索，以获得最佳的对齐，最大限度地提高我们的后验概率。分段级束搜索通过仅考虑具有更有把握的预测的选定帧集来有效地对齐动作。实验结果表明，我们的对齐长视频比现有的模型更强大。此外，所提出的方法在某些情况下在流行的早餐和好莱坞扩展数据集上实现了最先进的结果。
2020-11-20 cs.CV
MoAlign: Motion-Centric Representation Alignment for Video Diffusion Models
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通AI研究）
针对文本到视频扩散模型运动生成不合理的问题，提出MoAlign框架，从预训练视频编码器学习解耦运动子空间并对齐扩散模型潜特征，提升生成视频的物理合理性且保留文本遵循度。
2025-10-21 cs.CV
Few-Shot Video Classification via Temporal Alignment
Stanford University（斯坦福大学）
人们越来越有兴趣学习一个模型，它可以识别新的类，只有一些标记的例子。在本文中，我们提出了时间对齐模块（TAM），一种新的少样本学习框架，可以学习分类以前看不见的视频。虽然大多数以前的作品忽略了长期的时间排序信息，我们提出的模型明确地利用视频数据中的时间排序信息，通过时间对齐。这导致了少样本学习的强大数据效率。具体地说，TAM通过对查询视频的对齐路径上的每帧距离进行平均来计算查询视频相对于新类代理的距离值，我们在TAM中引入连续松弛，使得模型可以以端到端的方式学习，从而直接优化少样本学习目标。我们在两个具有挑战性的现实世界的数据集，动力学和Something-Something-V2上评估TAM，并表明我们的模型在广泛的竞争基线上显著改善了Few-Shot视频分类。
2019-06-27 cs.CV
DiscoVLA: Discrepancy Reduction in Vision, Language, and Alignment for Parameter-Efficient Video-Text Retrieval
School of Software（软件学院）；BNRist；Department of Automation, Tsinghua University（自动化系，清华大学）；Hangzhou Zhuoxi Institute of Brain and Intelligence（杭州卓溪脑科学与智能研究院）；GRG Banking Equipment Co., Ltd.（GRG银行设备有限公司）；South China University of Technology（华南理工大学）
本文提出 DiscoVLA，通过图像-视频特征融合、伪图像描述和图像到视频对齐蒸馏，同时弥补 CLIP 迁移到视频检索时的视觉、语言与对齐差异。
2025-06-10 cs.CV
VideoPASTA: 7K Preference Pairs That Matter for Video-LLM Alignment
Arizona State University（亚利桑那州立大学）
VideoPASTA通过仅7,020个偏好对和直接偏好优化，针对性地对齐视频语言模型的空间、时间与跨帧关系，无需人工标注，即在多个基准上显著提升性能，实现即插即用。
2025-09-25 cs.CV
Self-Supervised Contrastive Learning for Videos using Differentiable Local Alignment
Universität des Saarlandes（萨尔大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
提出基于可微局部对齐的自监督视频表示学习方法，利用Transformer编码器与新颖的LAC损失捕获局部时间依赖并增强判别性，在动作识别任务上优于现有最先进方法。
2025-03-03 cs.CV
Pyramid Feature Alignment Network for Video Deblurring
Wuhan University（武汉大学）
视频去模糊仍然是一个具有挑战性的任务，由于模糊的各种原因。传统的图像恢复方法主要考虑如何利用相邻帧进行单尺度对齐。然而，它们通常遭受由严重模糊引起的未对准。在这项工作中，我们的目标是更好地利用相邻帧与高效的特征对齐。我们提出了一个金字塔特征对齐网络（PFAN）的视频去模糊。首先，在对齐之前，采用结构到细节下采样（SDD）策略提取模糊帧的多尺度特征。这种下采样策略使边缘更清晰，这有助于对齐。然后我们在每个尺度上对齐特征，并在相应的尺度上重建图像。该策略有效地监督每个尺度的对准，克服了在对准阶段来自上述尺度的传播误差的问题。为了更好地处理复杂和大运动的挑战，而不是在每个尺度上分别对齐特征，使用较低尺度的运动信息来指导较高尺度的运动估计。因此，提出了一种级联引导的可变形对准（CGDA），将粗运动集成到可变形卷积中，以实现更精细和更准确的对准。如在广泛的实验中所示，我们提出的PFAN具有竞争力的速度相比，国家的最先进的方法实现了优越的性能。
2022-03-28 cs.CV
ViLA: Efficient Video-Language Alignment for Video Question Answering
University of Maryland, College Park（马里兰大学帕克分校）；Amazon（亚马逊公司）
本文提出ViLA网络，通过可学习文本引导帧提示器和跨模态蒸馏模块，在视频问答中实现高效关键帧采样与对齐，以更少帧数和更低延迟超越现有方法。
2024-10-01 cs.CV
Clover: Towards A Unified Video-Language Alignment and Fusion Model
ByteDance Inc（字节跳动公司）；Xiamen University（厦门大学）
建立一个通用的视频语言模型来解决各种视频理解任务（\emph{e.g.}、文本视频检索、视频问答）是对机器学习领域的一个公开挑战。为了实现这一目标，最近的作品建立的模型，通过堆叠单模态和跨模态的特征编码器和训练它与成对的对比预文本任务。虽然提供了有吸引力的通用性，所得到的模型必须在效率和性能之间进行折衷。它们大多采用不同的架构来处理不同的下游任务。我们发现这是因为成对训练不能很好地从不同的模态中提取\emph{align}和\emph{fuse}特征。然后，我们介绍了\textbf{Clover} \textemdash一个相关的视频语言预训练方法\textemdash对一个通用的视频语言模型解决多个视频理解任务，既没有性能也没有效率的妥协。它通过一种新的三模态对齐预训练任务改进了跨模态特征对齐和融合。此外，我们建议通过结合语义掩蔽样本的学习和新的成对排序损失来增强三模态对齐。Clover在多个下游任务上建立了新的技术水平，包括三个用于zero-shot和微调设置的检索任务，以及八个视频问答任务。代码和预训练模型将在\url{https://github.com/LeeYN-43/Clover}发布。
2022-12-20 cs.CV
McSc: Motion-Corrective Preference Alignment for Video Generation with Self-Critic Hierarchical Reasoning
Tongyi Lab, Alibaba Group（阿里集团通义实验室）
McSc通过自批评分层推理框架，提升视频生成中对人类偏好的对齐精度，减少对低运动内容的偏见。
2025-11-28 cs.CV
Learning from Semantic Alignment between Unpaired Multiviews for Egocentric Video Recognition
University of Delaware（特拉华大学）；Google Research（谷歌研究院）
针对非配对多视角视频语义有差异的难题，提出SUM-L方法，通过构建跨视角伪对做视角不变对齐，并结合视频-文本对齐提升表征，在多基准上优于现有方法。
2023-08-23 cs.CV
Cascading Refinement Video Denoising with Uncertainty Adaptivity
针对含噪视频对齐难题，提出级联细化去噪方法，通过对齐与图像恢复相互促进，并利用不确定性图自适应处理多级噪声，在 CRVD 上取得 SOTA 且平均减少 25% 计算量。
2024-08-05 cs.CV
Understanding Deformable Alignment in Video Super-Resolution
Nanyang Technological University（南洋理工大学）；Applied Research Center, Tencent PCG（腾讯PCG应用研究中心）；The Chinese University of Hong Kong（香港中文大学）；SIAT – SenseTime Joint Lab, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院——商汤科技联合实验室）
可变形卷积最初是为了适应对象的几何变化而提出的，最近在对齐多帧方面表现出令人信服的性能，并且越来越多地被用于视频超分辨率。尽管它的性能卓越，但其基本的对齐机制仍不清楚。在这项研究中，我们仔细研究变形对齐和经典的基于流的对齐之间的关系。我们证明了可变形卷积可以分解为空间扭曲和卷积的组合。这种分解揭示了可变形对齐和基于流的对齐在配方中的共性，但在偏移多样性方面存在关键差异。我们进一步通过实验证明，在变形对齐的多样性增加产生更好的对齐功能，从而显着提高视频超分辨率输出的质量。基于我们的观察，我们提出了一个偏移保真度损失，指导偏移学习与光流。实验结果表明，我们的损失成功地避免了溢出的偏移量，并消除了变形对齐的不稳定性问题。除了对可变形对齐的贡献外，我们的配方还启发了一种更灵活的方法，将偏移多样性引入到基于流的对齐中，从而提高其性能。
2020-09-15 cs.CV
MANet: Improving Video Denoising with a Multi-Alignment Network
The University of Hong Kong（香港大学）；University of Rochester（罗切斯特大学）；ACCESS –- AI Chip Center for Emerging Smart Systems（ACCESS——新兴智能系统人工智能芯片中心）
在视频去噪中，相邻帧通常提供非常有用的信息，但在利用这些信息之前需要精确对齐。在这项工作中，我们提出了一个多对齐网络，它产生多个流的建议，然后基于注意力的平均。它用于模拟非局部机制，通过平均多个观测值来抑制噪声。我们的方法可以应用于各种国家的最先进的模型，是基于流量估计。在大规模视频数据集上的实验表明，该方法使去噪基线模型提高了0.2dB，并通过模型蒸馏进一步减少了47%的参数。代码可在https://github.com/IndigoPurple/MANet上获得。
2022-07-11 cs.CV
Tagging before Alignment: Integrating Multi-Modal Tags for Video-Text Retrieval
Tencent PCG（腾讯平台与内容事业群）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）
近年来，视频文本检索中的视觉-语言对齐学习引起了人们的广泛关注。现有的方法要么将图像-文本预训练模型的知识转移到视频-文本检索任务中，而没有充分挖掘视频的多模态信息，要么简单地以暴力方式融合多模态特征，而没有明确的指导。在本文中，我们集成多模态信息在一个明确的方式，通过标记，并使用标记作为锚更好的视频文本对齐。各种预先训练的专家用于提取多个模态的信息，包括对象，人，运动，音频等。为了充分利用这些信息，我们提出了表（标签前aLignmEnt）网络，它由一个视觉编码器，一个标签编码器，一个文本编码器，和一个标签引导的跨模态编码器，用于联合编码多帧视觉特征和多模态标签信息。此外，为了加强视频和文本之间的交互，我们构建了一个联合跨模态编码器，其三元组输入为[vision，tag，text]，并执行两个额外的监督任务，视频文本匹配（VTM）和掩蔽语言建模（MLM）。大量的实验结果表明，表模型是能够实现国家的最先进的（SOTA）性能在各种视频文本检索基准，包括MSR-VTT，MSVD，LSMDC和DiDeMo。
2023-01-30 cs.CV
Weakly-supervised Representation Learning for Video Alignment and Analysis
Verily Research（Verily研究院）
视频分析和理解中的许多任务归结为需要基于帧的特征学习，旨在封装相关的视觉内容，以便实现更简单，更容易的后续处理。虽然可以设想这种学习任务的监督策略，但由于难以获得标记数据，自我和弱监督的替代方案是首选。本文介绍了LRProp --一种新的弱监督表示学习方法，重点介绍了同一动作类别的视频对之间的时间对齐的应用。该方法使用一个Transformer编码器提取帧级特征，并采用DTW算法的训练迭代，以确定视频对之间的对齐路径。通过称为“成对位置传播”的过程，每个位置的这些对应的概率分布通过KL发散最小化与帧级特征的相似性相匹配。该算法还使用了正则化的SoftDTW损失，以更好地调整学习的功能。我们新颖的表示学习范例在时间对齐任务上始终优于最先进的技术，在几个下游视频分析应用中建立了新的性能标准。
2023-02-08 cs.CV
Alignment is All You Need: A Training-free Augmentation Strategy for Pose-guided Video Generation
Tsinghua University（清华大学）；Tencent（腾讯）
针对角色动画中外观一致性难保持的问题，提出免训练的双重对齐框架，通过解耦骨架与运动先验实现精确控制，显著提升视频生成的时间一致性与视觉质量，且无需大型数据集或昂贵算力。
2025-05-31 cs.CV
