PiTe: Pixel-Temporal Alignment for Large Video-Language Model
Westlake University（西湖大学）；Soochow University（苏州大学）
针对现有大型视频-语言模型时空对齐粒度不足的问题，提出基于物体轨迹引导的像素-时间对齐模型PiTe，构建像素级轨迹预训练数据集PiTe-143k，在多类视频多模态任务上大幅超越现有最优方法。
2024-09-11 cs.CV
Towards Real-World HDR Video Reconstruction: A Large-Scale Benchmark Dataset and A Two-Stage Alignment Network
Shanghai University（上海大学）
针对真实世界HDR视频重建缺乏大规模数据集及现有方法在真实场景表现差的问题，本文提出最大真实基准数据集Real-HDRV，并设计两阶段对齐端到端网络，实验证明其性能优于现有方法。
2024-04-30 cs.CV
Towards Highly Accurate and Stable Face Alignment for High-Resolution Videos
Youtu Lab, Tencent（腾讯优图实验室）；Michigan State University（密歇根州立大学）；Fudan University（复旦大学）
近年来，基于热图回归的模型在人脸对齐和姿态估计中显示出其有效性。然而，传统的热图回归（Heatmap Regression）在处理高分辨率面部视频时既不准确也不稳定，因为它在从舍入坐标生成的热图中找到最大激活位置，从而在缩放回原始高分辨率空间时导致量化误差。在本文中，我们提出了一个分数热图回归（FHR）的高分辨率视频为基础的人脸对齐。所提出的FHR可以根据二维高斯函数通过对热图中的三个点进行采样来准确地估计分数部分。为了进一步稳定连续视频帧之间的地标，同时保持精度，我们提出了一种新的稳定损失，包含两个术语，分别解决时间延迟和非平滑问题。在300 W、300-VW和Talking Face数据集上的实验表明，该方法比现有的模型更准确、更稳定。
2018-11-22 cs.CV
LiFT: Leveraging Human Feedback for Text-to-Video Model Alignment
Fudan University（复旦大学）；Shanghai Academy of Artificial Intelligence for Science（上海科学人工智能研究院）；Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究院）
本文提出首个利用人类反馈进行文本到视频模型对齐的方法LiFT，通过构建含约1万条标注的数据集LiFT-HRA训练奖励模型LiFT-Critic，并最大化奖励加权似然优化T2V模型，使微调后的CogVideoX-2B在全部16项指标上超越CogVideoX-5B。
2025-03-05 cs.CV
Temporal Attentive Alignment for Video Domain Adaptation
Georgia Institute of Technology（佐治亚理工学院）
虽然近年来已经提出了各种基于图像的领域自适应（DA）技术，但视频中的域偏移仍然没有得到很好的探索。大多数以前的作品只评估小规模数据集的饱和性能。因此，我们首先提出了一个具有更大域差异的更大规模数据集：UCF-HMDB_full。其次，我们研究了不同的DA集成方法的视频，并表明，同时对齐和学习时间动态实现有效的对齐，即使没有复杂的DA方法。最后，我们提出了时间注意对抗适应网络（TA 3 N），它明确地注意到使用域差异的时间动态，以实现更有效的域对齐，在三个视频DA数据集上实现了最先进的性能。代码和数据在http://github.com/cmhungsteve/TA3N上发布。
2019-06-07 cs.CV cs.LG cs.MM
VMAS: Video-to-Music Generation via Semantic Alignment in Web Music Videos
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；ByteDance Inc.（字节跳动公司）
该研究提出VMAS视频转音乐生成框架，利用大规模网络音乐视频，结合语义与节拍对齐机制及新型时序编码器，在自建220万样本的DISCO-MV等数据集上性能超越现有方法。
2024-09-11 cs.CV cs.MM cs.SD
Temporal Attentive Alignment for Large-Scale Video Domain Adaptation
Georgia Institute of Technology（佐治亚理工学院）；Sony Interactive Entertainment LLC（索尼互动娱乐有限责任公司）；Binghamton University（宾厄姆顿大学）
虽然近年来已经提出了各种基于图像的领域自适应（DA）技术，但视频中的域偏移仍然没有得到很好的探索。大多数以前的作品只评估小规模数据集的饱和性能。因此，我们首先提出了两个大规模的视频DA数据集具有更大的域差异：UCF-HMDB_full和Kinetics-Gameplay。其次，我们研究了不同的DA集成方法的视频，并表明，同时对齐和学习时间动态实现有效的对齐，即使没有复杂的DA方法。最后，我们提出了时间注意对抗适应网络（TA 3 N），它明确地注意到时间动态使用域差异更有效的域对齐，在四个视频DA数据集上实现了最先进的性能（例如，在“HMDB --> UCF”上，与“仅源”相比，从73.9%到81.8%的准确度增益为7.9%，在“Kinetics --> Gameplay”上，则为10.3%）。代码和数据在http://github.com/cmhungsteve/TA3N上发布。
2019-09-15 cs.CV cs.LG cs.MM
DeepV2D: Video to Depth with Differentiable Structure from Motion
Princeton University（普林斯顿大学）
我们提出了DeepV2D，这是一种端到端的深度学习架构，用于从视频中预测深度。DeepV2D将神经网络的表示能力与控制图像形成的几何原理相结合。我们组成了一个集合的经典几何算法，这些算法被转换成可训练的模块，并结合到一个端到端的微分架构。DeepV2D交织两个阶段：运动估计和深度估计。在推断期间，运动和深度估计交替进行并且收敛到准确的深度。代码可从https://github.com/princeton-vl/DeepV2D获得。
2020-04-27 cs.CV
D3TW: Discriminative Differentiable Dynamic Time Warping for Weakly Supervised Action Alignment and Segmentation
Stanford University（斯坦福大学）
我们解决了视频中的弱监督动作对齐和分割问题，在训练过程中只有动作发生的顺序可用。我们提出了判别微分动态时间弯曲（D3TW），第一个判别模型使用弱序监督。弱监督判别建模的关键技术挑战是，有序监督的损失函数通常使用动态规划来制定，因此是不可微的。我们解决这个挑战，连续放松的最小运营商在动态规划和扩展的对齐损失是可微的。所提出的D3TW创新性地解决了具有判别式建模和端到端训练的序列对齐问题，这大大提高了弱监督动作对齐和分割任务的性能。我们表明，我们的模型能够绕过在以前的工作中通常遇到的退化序列问题，并在两个具有挑战性的数据集中的三个评估指标上优于当前最先进的模型。
2019-04-11 cs.CV
Differentiable Resolution Compression and Alignment for Efficient Video Classification and Retrieval
NetEase Yidun AI Lab（网易易盾人工智能实验室）；Zhejiang University（浙江大学）
提出一种具有可微分辨率压缩与对齐机制的高效视频表示网络，通过早期压缩非显著帧特征并引入分辨率对齐Transformer层降低计算成本，在近重复视频检索和动态视频分类任务中实现了效率与性能的最佳权衡。
2023-09-15 cs.CV
Self-Supervised Contrastive Learning for Videos using Differentiable Local Alignment
Universität des Saarlandes（萨尔大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
提出基于可微局部对齐的自监督视频表示学习方法，利用Transformer编码器与新颖的LAC损失捕获局部时间依赖并增强判别性，在动作识别任务上优于现有最先进方法。
2025-03-03 cs.CV
Differentiable Frequency-based Disentanglement for Aerial Video Action Recognition
University of Maryland College Park（马里兰大学学院公园分校）
针对无人机视频中人类活动识别问题，提出一种结合频域表示与数据驱动神经网络的方法，通过可微分静态-动态频率掩码先验学习解纠缠特征，并设计成本函数采样关键帧，在两个数据集上取得显著性能提升。
2022-10-05 cs.CV
Differentiable Grammars for Videos
Robotics at Google（谷歌机器人学（Robotics at Google））
本文提出了一种新的算法，从现实世界的连续数据，如视频学习一个正式的规则文法。直接从连续数据中学习潜在终端、非终端和产生式规则允许构建生成模型，该生成模型捕获具有多种可能性的序列结构。我们的模型是完全可微的，并提供了易于解释的结果，这对于理解学习的结构是很重要的。它在几个具有挑战性的数据集上的表现优于最先进的技术，并且在预测视频中的未来活动方面更加准确。我们计划将代码开源。https://sites.google.com/view/differentiable-grammars
2020-02-15 cs.CV cs.LG
Diffusion-DRF: Free, Rich, and Differentiable Reward for Video Diffusion Fine-Tuning
Northeastern University（东北大学）；Snap Inc.（Snap公司）
本文提出Diffusion-DRF框架，通过多维问题和密集VQA解释查询生成丰富反馈，实现稳定奖励微调，无需偏好数据集。
2026-11-04 cs.CV
DMM-Net: Differentiable Mask-Matching Network for Video Object Segmentation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Uber ATG Toronto（优步先进技术集团多伦多分部）；NVIDIA（英伟达）；Canadian Institute for Advanced Research（加拿大高级研究所）
在本文中，我们提出了可微掩模匹配网络（DMM-Net）解决视频对象分割问题的初始对象掩模。依赖于Mask R-CNN主干，我们提取每帧的掩码建议，并将对象模板和建议之间的匹配在一个时间步长上公式化为线性分配问题，其中成本矩阵由CNN预测。我们提出了一个微分匹配层展开投影梯度下降算法，其中投影利用Dykstra的算法。我们证明，在温和的条件下，匹配是保证收敛到最佳。在实践中，它在推理过程中的表现与匈牙利算法相似。同时，我们可以通过它反向传播来学习成本矩阵。匹配后，利用细化头来提高匹配掩模的质量。我们的DMM-Net在最大的视频对象分割数据集YouTube-VOS上取得了有竞争力的结果。在DAVIS 2017上，DMM-Net在第一帧上没有在线学习的情况下实现了最佳性能。在没有任何微调的情况下，DMM-Net在SegTrack v2数据集上执行最先进的方法。最后，我们的匹配层实现起来非常简单;我们在补充材料中附加了PyTorch代码（$<50$行）。我们的代码发布在https://github.com/ZENGXH/DMM_Net。
2019-09-27 cs.CV
SAFT: Shape and Appearance of Fabrics from Template via Differentiable Physical Simulations from Monocular Video
University of Bonn（波恩大学）
本文提出SAFT系统，利用单目视频和可微物理模拟重建织物三维形状与外观，通过两个正则化项解决深度模糊，将重建误差降低2.64倍，并恢复清晰细节。
2025-09-10 cs.CV
REPARO: Compositional 3D Assets Generation with Differentiable 3D Layout Alignment
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Tencent（腾讯）；Harvard University（哈佛大学）
REPARO提出一种从单图像生成组合式3D资产的两步方法：先提取并重建单个物体网格，再通过结合最优传输外观损失与语义损失的可微渲染优化布局，有效提升多物体场景的独立性、细节精度与整体连贯性。
2025-08-27 cs.CV
Differentiable Task Graph Learning: Procedural Activity Representation and Online Mistake Detection from Egocentric Videos
University of Catania（卡塔尼亚大学）
本文提出可微任务图学习框架，通过边权重最大似然优化实现梯度学习，提升任务图预测与第一人称视频在线错误检测性能。
2025-01-09 cs.CV
ViterbiPlanNet: Injecting Procedural Knowledge via Differentiable Viterbi for Planning in Instructional Videos
University of Catania（卡塔尼亚大学）；University of Bath（巴斯大学）
ViterbiPlanNet通过可微Viterbi层整合过程性知识，实现高效的教学视频规划，提升样本效率和鲁棒性。
2026-03-04 cs.CV
Differentiable Dynamics for Articulated 3d Human Motion Reconstruction
Google Research（谷歌研究院）；Lund University（隆德大学）
我们介绍了DiffPhy，一个可微的基于物理的模型，用于从视频中重建三维人体运动。到目前为止，基于物理的推理在人体运动分析中的应用受到了限制，既受到了构建适当的人体运动物理模型的复杂性的限制，也受到了在循环中使用物理进行稳定和有效推理的巨大挑战。我们共同解决这样的建模和推理的挑战，提出了一种方法，结合了物理上合理的身体表示与解剖关节限制，可微的物理模拟器和优化技术，确保良好的性能和鲁棒性次优局部最优。与最近的几种方法相比，我们的方法很容易支持全身接触，包括与场景中的对象进行交互。最重要的是，我们的模型与图像进行端到端连接，从而通过基于图像的损失函数支持直接基于梯度的物理优化。我们验证了该模型，证明它可以准确地重建物理上合理的三维人体运动从单目视频，无论是在公共基准与可用的三维地面实况，并从互联网上的视频。
2022-05-24 cs.CV
Temporal Alignment Prediction for Few-Shot Video Classification
National Key Lab for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
Few-Shot视频分类的目标是在只使用少量标记视频进行训练的情况下学习具有良好泛化能力的分类模型。然而，在这样的设置中，很难学习视频的区别性特征表示。在本文中，我们提出了时间对齐预测（TAP）的基础上序列相似性学习的Few-Shot视频分类。为了获得一对视频的相似性，我们预测的对齐分数之间的所有对时间位置在两个视频的时间对齐预测函数。此外，该函数的输入还配备有时间域中的上下文信息。我们在两个视频分类基准上评估TAP，包括Kinetics和Something-Something V2。实验结果验证了TAP的有效性，并显示了其优越性比国家的最先进的方法。
2021-12-31 cs.CV
Revisiting Temporal Alignment for Video Restoration
The Chinese University of Hong Kong（香港中文大学）；Smartmore Corporation（思谋科技）
长距离时间对齐对于视频恢复任务是至关重要但又具有挑战性的。近年来，一些研究尝试将长路线划分为若干个子路线，并逐步进行处理。虽然这种操作有助于对远距离通信进行建模，但由于传播机制，误差积累是不可避免的。在这项工作中，我们提出了一种新的，通用的迭代对齐模块，采用逐步细化方案的子对齐，产生更准确的运动补偿。为了进一步提高对齐精度和时间一致性，我们开发了一种非参数重新加权方法，其中每个相邻帧的重要性是自适应评估的空间方式聚合。凭借所提出的策略，我们的模型在一系列视频恢复任务（包括视频超分辨率，去噪和去模糊）的多个基准上实现了最先进的性能。我们的项目在\url{https://github.com/redrock303/Revisiting-Temporal-Alignment-for-Video-Restoration.git}中可用。
2021-12-01 cs.CV
Joint Self-Supervised Video Alignment and Action Segmentation
Retrocausal, Inc.（Retrocausal公司）
本文提出了一种统一最优传输框架，用于联合自监督视频对齐与动作分割，实现了高效训练和更优的分割性能。
2025-12-05 cs.CV
Video-Language Alignment via Spatio-Temporal Graph Transformer
School of Computer and Communication Engineering, University of Science and Technology Beijing (USTB)（北京科技大学计算机与通信工程学院）；Institute of Artificial Intelligence, University of Science and Technology Beijing (USTB)（北京科技大学人工智能研究院）；USTB-EEasyTech Joint Lab of Artificial Intelligence（北京科技大学-易智科技人工智能联合实验室）；Tencent Hunyuan（腾讯混元）；Tencent（腾讯）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
提出时空图Transformer（STGT）模块结合时空图结构与注意力机制，并引入自相似性对齐损失，有效提升了视频语言对齐精度及下游任务性能。
2024-07-23 cs.CV
VADER: Video Alignment Differencing and Retrieval
University of Surrey（萨里大学）；Adobe Research（奥多比研究院）；University of California, San Diego（加州大学圣地亚哥分校）
我们提出了VADER，一个时空匹配，对齐和变化的摘要方法，以帮助打击通过操纵视频传播的错误信息。VADER使用鲁棒的视觉描述符和自适应分块视频内容上的可伸缩搜索来将部分视频片段与候选视频进行匹配和粗对齐。然后，基于变换器的对齐模块细化匹配视频内的查询片段的时间定位。空间-时间比较器模块识别对齐的内容之间的操纵区域，其对于由于任何残余时间未对齐或由内容的非编辑性改变引起的伪像而引起的任何改变不变。通过将视频与可信来源进行可靠的匹配，可以得出有关视频来源的结论，从而对遇到的内容做出明智的信任决策。
2023-03-25 cs.CV
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment
Nanyang Technological University（南洋理工大学）
递归结构是视频超分辨率任务的流行框架选择。最先进的方法BasicVSR采用具有特征对齐的双向传播来有效地利用来自整个输入视频的信息。在这项研究中，我们重新设计BasicVSR提出二阶网格传播和流动引导变形对齐。我们表明，通过增强传播和对齐的经常性框架，可以更有效地利用时空信息跨错位的视频帧。新的组件导致在类似的计算约束下的性能提高。特别是，我们的模型BasicVSR++在PSNR方面超过BasicVSR 0.82 dB，参数数量相似。除了视频超分辨率之外，BasicVSR++还可以很好地推广到其他视频恢复任务，如压缩视频增强。在NTIRE 2021中，BasicVSR++在视频超分辨率和压缩视频增强挑战赛中获得三名冠军和一名亚军。代码和型号将发布给MME编辑。
2021-04-27 cs.CV
Learning to Localize Actions in Instructional Videos with LLM-Based Multi-Pathway Text-Video Alignment
Rutgers University（罗格斯大学）；Meta；Michigan State University（密歇根州立大学）；NEC Labs America-Princeton（美国NEC实验室普林斯顿分部）
本文提出基于LLM的多路径文本-视频对齐框架（MPTVA），通过LLM过滤噪声并生成伪匹配，在三个下游任务中显著超越现有方法。
2024-09-22 cs.CV
Spatio-temporal video autoencoder with differentiable memory
Department of Engineering University of Cambridge（剑桥大学工程系）
我们描述了一种新的时空视频自动编码器，基于一个经典的空间图像自动编码器和一个新的嵌套时间自动编码器。时间编码器由可微分视觉记忆表示，该可微分视觉记忆由卷积长短期记忆（LSTM）单元组成，这些单元整合了随时间的变化。在这里，我们的目标运动变化和时间解码器使用一个强大的光流预测模块与图像采样器作为内置的反馈回路。该架构是端到端差异化的。在每个时间步，系统接收视频帧作为输入，基于当前观察和LSTM存储器状态预测光流作为密集变换图，并将其应用于当前帧以生成下一帧。通过最小化预测的下一帧和对应的地面真实下一帧之间的重建误差，我们训练整个系统以提取对运动估计有用的特征，而无需任何监督努力。我们提出了一个直接应用所提出的框架，在弱监督语义分割的视频标签传播使用光流。
2016-09-01 cs.CV cs.LG
Meta Learning with Differentiable Closed-form Solver for Fast Video Object Segmentation
The University of Adelaide（阿德莱德大学）；Northwestern Polytechnical University（西北工业大学）
本文研究了视频对象分割问题。我们特别关注的是在所有帧中分割目标对象的所有像素的任务，给定第一帧中的注释掩码。即使当这样的注释可用时，这仍然是一个具有挑战性的问题，因为对象的外观和形状随着时间的推移而变化。在本文中，我们解决这个任务，制定它作为一个元学习的问题，其中基本学习者掌握的语义场景理解的一般类型的对象，和Meta学习者快速适应目标对象的外观与几个例子。我们提出的元学习方法使用了一种封闭形式的优化器，即所谓的“岭回归”，它已被证明有利于快速和更好的训练收敛。此外，我们提出了一种机制，名为“块分裂”，以进一步加快训练过程，以及减少学习参数的数量。与最先进的方法相比，我们提出的框架在处理速度上实现了显着的提升，同时与广泛使用的数据集上的最佳性能方法相比，具有非常有竞争力的性能。
2019-09-28 cs.CV
Circulant temporal encoding for video retrieval and temporal alignment
INRIA（法国国家信息与自动化研究所）
我们解决的问题，具体的视频事件检索。给定特定事件的查询视频，例如，麦当娜的音乐会，目标是检索与查询在时间上重叠的同一事件的其他视频。我们的方法编码的视频帧描述符，共同代表他们的外观和时间顺序。它利用循环矩阵的性质来有效地比较频域中的视频。这在复杂性方面提供了显着的增益，并准确地定位了视频的匹配部分。描述符可以在频域中用适合于复数的乘积量化器压缩。在这种情况下，执行视频检索而不解压缩描述符。我们还考虑了一组视频的时间对齐。我们利用匹配的信心和估计的时间偏移量计算的所有对我们的检索方法的视频。我们的鲁棒算法通过最大化时间上一致的匹配集来在全局时间轴上对齐视频。全局时间对准使得能够同步回放给定场景的视频。
2015-11-30 cs.CV
Temporal Alignment Networks for Long-term Video
University of Oxford（牛津大学）；Shanghai Jiao Tong University（上海交通大学）
本文的目标是一个时间对齐网络，它摄取长期视频序列和相关的文本句子，以便：（1）确定一个句子是否与视频匹配;以及（2）如果它是可匹配的，则确定它的对齐。挑战在于从大规模数据集中训练这样的网络，例如HowTo 100 M，其中关联的文本句子具有显著的噪声，并且在相关时仅弱对齐。除了提出对齐网络之外，我们还做出了四个贡献：（i）我们描述了一种新的协同训练方法，该方法能够在不使用手动注释的情况下对原始教学视频进行降噪和训练，尽管噪声相当大;（ii）为了对对齐性能进行基准测试，我们手动策划了10小时的HowTo 100 M子集，共80个视频，具有稀疏的时间描述。我们提出的模型，在HowTo 100 M上训练，性能优于强基线（iii）我们将zero-shot设置中的训练模型应用于多个下游视频理解任务，并实现最先进的结果，包括YouCook 2上的文本视频检索和Breakfast-Action上的弱监督视频动作分割;（iv）我们使用自动对齐的HowTo 100 M注释对骨干模型进行端到端微调，并在下游动作识别任务上获得改进的性能。
2022-04-06 cs.CV
A Differentiable Two-stage Alignment Scheme for Burst Image Reconstruction with Large Shift
The Hong Kong Polytechnic University（香港理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
去噪和去马赛克是从原始数据重建清晰的全色图像的两个基本步骤。最近，针对突发图像的联合去噪和去马赛克（JDD），即JDD-B，通过使用在短时间内捕获的多个原始图像来重建单个高质量图像而引起了广泛关注。JDD-B的一个关键挑战在于图像帧的鲁棒对齐。现有的特征域对齐方法不能有效地利用突发图像的时间信息，其中由于相机和物体的运动通常存在较大的偏移。此外，更高的分辨率（例如，4K）导致帧之间的较大位移。为了解决这些问题，我们设计了一个可微的两阶段对齐方案，依次在补丁和像素级的有效JDD-B。该算法首先采用可微渐进块匹配方法对输入的突发图像进行块级对齐，以较小的计算代价估计出相距较远的帧之间的偏移量。然后，我们在全分辨率特征域中执行隐式逐像素对齐以细化对齐结果。这两个阶段以端到端的方式联合训练。大量的实验表明，我们的方法比现有的JDD-B方法显着改善。代码可在https://github.com/GuoShi28/2StageAlign上获得。
2022-03-17 cs.CV eess.IV
3D Human Pose Estimation in Multi-View Operating Room Videos Using Differentiable Camera Projections
Centre for Artificial Intelligence, Meander Medisch Centrum（米德尔医疗中心人工智能中心）；University of Twente（特文特大学）
本文提出利用可微摄像机投影，通过3D损失端到端训练2D CNN，直接优化多视角手术室视频中的3D人体姿态估计，在MVOR数据集上优于2D空间优化方法。
2022-10-21 cs.CV
Inductive and Transductive Few-Shot Video Classification via Appearance and Temporal Alignments
VinAI Research（VinAI研究院）；Retrocausal, Inc.（Retrocausal公司）
我们提出了一种新的方法用于Few-Shot视频分类，它执行外观和时间对齐。特别是，给定一对查询和支持视频，我们通过帧级特征匹配进行外观对齐，以实现视频之间的外观相似性得分，同时利用时间顺序保持先验来获得视频之间的时间相似性得分。此外，我们引入了一个Few-Shot视频分类框架，该框架在多个步骤中利用了上述外观和时间相似性分数，即基于原型的训练和测试以及归纳和转换原型细化。据我们所知，我们的工作是第一个探索转导Few-Shot视频分类。在Kinetics和Something-Something V2数据集上进行的大量实验表明，外观和时间对齐对于具有时间顺序敏感性的数据集（如Something-Something V2）至关重要。我们的方法在这两个数据集上都取得了类似或更好的结果。我们的代码可在https://github.com/VinAIResearch/fsvc-ata上获得。
2022-07-21 cs.CV
Dynamic Reflections: Probing Video Representations with Text Alignment
Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）
本研究通过视频-文本表示对齐探索现代视频和语言编码器的能力，揭示了跨模态对齐与数据丰富性、语义对齐与性能相关性以及时间推理与对齐的关系。
2026-01-29 cs.CV
Action Duration Prediction for Segment-Level Alignment of Weakly-Labeled Videos
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文重点研究弱监督动作对齐，其中只有视频级动作的有序序列可用于训练。我们提出了一种新的持续时间网络，它捕获视频的短时间窗口，并学习预测给定动作在任何时间点的剩余持续时间，其粒度级别基于该动作的类型。此外，我们引入了一个段级束搜索，以获得最佳的对齐，最大限度地提高我们的后验概率。分段级束搜索通过仅考虑具有更有把握的预测的选定帧集来有效地对齐动作。实验结果表明，我们的对齐长视频比现有的模型更强大。此外，所提出的方法在某些情况下在流行的早餐和好莱坞扩展数据集上实现了最先进的结果。
2020-11-20 cs.CV
MoAlign: Motion-Centric Representation Alignment for Video Diffusion Models
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通AI研究）
针对文本到视频扩散模型运动生成不合理的问题，提出MoAlign框架，从预训练视频编码器学习解耦运动子空间并对齐扩散模型潜特征，提升生成视频的物理合理性且保留文本遵循度。
2025-10-21 cs.CV
Few-Shot Video Classification via Temporal Alignment
Stanford University（斯坦福大学）
人们越来越有兴趣学习一个模型，它可以识别新的类，只有一些标记的例子。在本文中，我们提出了时间对齐模块（TAM），一种新的少样本学习框架，可以学习分类以前看不见的视频。虽然大多数以前的作品忽略了长期的时间排序信息，我们提出的模型明确地利用视频数据中的时间排序信息，通过时间对齐。这导致了少样本学习的强大数据效率。具体地说，TAM通过对查询视频的对齐路径上的每帧距离进行平均来计算查询视频相对于新类代理的距离值，我们在TAM中引入连续松弛，使得模型可以以端到端的方式学习，从而直接优化少样本学习目标。我们在两个具有挑战性的现实世界的数据集，动力学和Something-Something-V2上评估TAM，并表明我们的模型在广泛的竞争基线上显著改善了Few-Shot视频分类。
2019-06-27 cs.CV
DiscoVLA: Discrepancy Reduction in Vision, Language, and Alignment for Parameter-Efficient Video-Text Retrieval
School of Software（软件学院）；BNRist；Department of Automation, Tsinghua University（自动化系，清华大学）；Hangzhou Zhuoxi Institute of Brain and Intelligence（杭州卓溪脑科学与智能研究院）；GRG Banking Equipment Co., Ltd.（GRG银行设备有限公司）；South China University of Technology（华南理工大学）
本文提出 DiscoVLA，通过图像-视频特征融合、伪图像描述和图像到视频对齐蒸馏，同时弥补 CLIP 迁移到视频检索时的视觉、语言与对齐差异。
2025-06-10 cs.CV
Universal Perturbation Attack on Differentiable No-Reference Image- and Video-Quality Metrics
通用对抗扰动攻击被广泛用于分析采用卷积神经网络的图像分类器。如今，一些攻击可以欺骗图像和视频质量指标。因此，对这些指标的可持续性分析非常重要。事实上，如果攻击可以混淆度量，攻击者可以很容易地增加质量分数。当图像和视频算法的开发人员可以通过独立处理来提高他们的分数时，算法比较就不再公平了。受分类器普遍对抗扰动思想的启发，提出了一种通过普遍扰动攻击可微无参考质量度量的新方法。我们将此方法应用于七个无参考图像和视频质量指标（PaQ-2-PiQ，线性度，VSFA，MDTVVSFA，KonCept 512，Nima和SPAQ）。对于每一个，我们训练了一个通用的扰动，增加了各自的分数。我们还提出了一种方法来评估指标的稳定性，并确定的指标是最脆弱的，最能抵抗我们的攻击。成功的普遍扰动的存在似乎降低了度量提供可靠分数的能力。因此，我们建议我们提出的方法作为一个额外的验证指标的可靠性，以补充传统的主观测试和基准。
2022-11-01 cs.CV cs.MM
VideoPASTA: 7K Preference Pairs That Matter for Video-LLM Alignment
Arizona State University（亚利桑那州立大学）
VideoPASTA通过仅7,020个偏好对和直接偏好优化，针对性地对齐视频语言模型的空间、时间与跨帧关系，无需人工标注，即在多个基准上显著提升性能，实现即插即用。
2025-09-25 cs.CV
Pyramid Feature Alignment Network for Video Deblurring
Wuhan University（武汉大学）
视频去模糊仍然是一个具有挑战性的任务，由于模糊的各种原因。传统的图像恢复方法主要考虑如何利用相邻帧进行单尺度对齐。然而，它们通常遭受由严重模糊引起的未对准。在这项工作中，我们的目标是更好地利用相邻帧与高效的特征对齐。我们提出了一个金字塔特征对齐网络（PFAN）的视频去模糊。首先，在对齐之前，采用结构到细节下采样（SDD）策略提取模糊帧的多尺度特征。这种下采样策略使边缘更清晰，这有助于对齐。然后我们在每个尺度上对齐特征，并在相应的尺度上重建图像。该策略有效地监督每个尺度的对准，克服了在对准阶段来自上述尺度的传播误差的问题。为了更好地处理复杂和大运动的挑战，而不是在每个尺度上分别对齐特征，使用较低尺度的运动信息来指导较高尺度的运动估计。因此，提出了一种级联引导的可变形对准（CGDA），将粗运动集成到可变形卷积中，以实现更精细和更准确的对准。如在广泛的实验中所示，我们提出的PFAN具有竞争力的速度相比，国家的最先进的方法实现了优越的性能。
2022-03-28 cs.CV
ViLA: Efficient Video-Language Alignment for Video Question Answering
University of Maryland, College Park（马里兰大学帕克分校）；Amazon（亚马逊公司）
本文提出ViLA网络，通过可学习文本引导帧提示器和跨模态蒸馏模块，在视频问答中实现高效关键帧采样与对齐，以更少帧数和更低延迟超越现有方法。
2024-10-01 cs.CV
Dynamic Visual Reasoning by Learning Differentiable Physics Models from Video and Language
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；HKU（香港大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；MIT BCS（麻省理工学院脑与认知科学系）；CBMM（麻省理工学院大脑、心智与机器研究中心）
在这项工作中，我们提出了一个统一的框架，称为视觉推理与不同的物理（VRDP），可以共同学习视觉概念和推断物理模型的对象和他们的互动，从视频和语言。这是通过无缝集成三个组件来实现的：视觉感知模块，概念学习器和微分物理引擎。视觉感知模块将每个视频帧解析为以对象为中心的轨迹，并将其表示为潜在场景表示。概念学习者基于视觉概念（例如，颜色、形状和材料），从而为物理引擎提供先验知识。可微物理模型，实现为基于脉冲的可微刚体模拟器，执行基于接地概念的可微物理模拟，以推断物理属性，如质量，恢复和速度，通过拟合模拟轨迹到视频观察。因此，这些学到的概念和物理模型可以解释我们所看到的，并想象在未来和反事实场景中将要发生的事情。将可微物理学集成到动态推理框架中提供了几个吸引人的好处。在学习物理模型中更准确的动态预测可以在合成和真实世界的基准测试中实现最先进的性能，同时仍然保持高透明度和可解释性;最值得注意的是，与最佳对应物相比，VRDP将预测和反事实问题的准确性提高了4.5%和11.5%。VRDP还具有很高的数据效率：可以从很少的视频中优化物理参数，甚至一个视频就足够了。最后，通过推断所有物理参数，VRDP可以从一些示例中快速学习新概念。
2021-10-28 cs.AI cs.CV cs.LG
Clover: Towards A Unified Video-Language Alignment and Fusion Model
ByteDance Inc（字节跳动公司）；Xiamen University（厦门大学）
建立一个通用的视频语言模型来解决各种视频理解任务（\emph{e.g.}、文本视频检索、视频问答）是对机器学习领域的一个公开挑战。为了实现这一目标，最近的作品建立的模型，通过堆叠单模态和跨模态的特征编码器和训练它与成对的对比预文本任务。虽然提供了有吸引力的通用性，所得到的模型必须在效率和性能之间进行折衷。它们大多采用不同的架构来处理不同的下游任务。我们发现这是因为成对训练不能很好地从不同的模态中提取\emph{align}和\emph{fuse}特征。然后，我们介绍了\textbf{Clover} \textemdash一个相关的视频语言预训练方法\textemdash对一个通用的视频语言模型解决多个视频理解任务，既没有性能也没有效率的妥协。它通过一种新的三模态对齐预训练任务改进了跨模态特征对齐和融合。此外，我们建议通过结合语义掩蔽样本的学习和新的成对排序损失来增强三模态对齐。Clover在多个下游任务上建立了新的技术水平，包括三个用于zero-shot和微调设置的检索任务，以及八个视频问答任务。代码和预训练模型将在\url{https://github.com/LeeYN-43/Clover}发布。
2022-12-20 cs.CV
McSc: Motion-Corrective Preference Alignment for Video Generation with Self-Critic Hierarchical Reasoning
Tongyi Lab, Alibaba Group（阿里集团通义实验室）
McSc通过自批评分层推理框架，提升视频生成中对人类偏好的对齐精度，减少对低运动内容的偏见。
2025-11-28 cs.CV
Learning from Semantic Alignment between Unpaired Multiviews for Egocentric Video Recognition
University of Delaware（特拉华大学）；Google Research（谷歌研究院）
针对非配对多视角视频语义有差异的难题，提出SUM-L方法，通过构建跨视角伪对做视角不变对齐，并结合视频-文本对齐提升表征，在多基准上优于现有方法。
2023-08-23 cs.CV
Cascading Refinement Video Denoising with Uncertainty Adaptivity
针对含噪视频对齐难题，提出级联细化去噪方法，通过对齐与图像恢复相互促进，并利用不确定性图自适应处理多级噪声，在 CRVD 上取得 SOTA 且平均减少 25% 计算量。
2024-08-05 cs.CV
Understanding Deformable Alignment in Video Super-Resolution
Nanyang Technological University（南洋理工大学）；Applied Research Center, Tencent PCG（腾讯PCG应用研究中心）；The Chinese University of Hong Kong（香港中文大学）；SIAT – SenseTime Joint Lab, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院——商汤科技联合实验室）
可变形卷积最初是为了适应对象的几何变化而提出的，最近在对齐多帧方面表现出令人信服的性能，并且越来越多地被用于视频超分辨率。尽管它的性能卓越，但其基本的对齐机制仍不清楚。在这项研究中，我们仔细研究变形对齐和经典的基于流的对齐之间的关系。我们证明了可变形卷积可以分解为空间扭曲和卷积的组合。这种分解揭示了可变形对齐和基于流的对齐在配方中的共性，但在偏移多样性方面存在关键差异。我们进一步通过实验证明，在变形对齐的多样性增加产生更好的对齐功能，从而显着提高视频超分辨率输出的质量。基于我们的观察，我们提出了一个偏移保真度损失，指导偏移学习与光流。实验结果表明，我们的损失成功地避免了溢出的偏移量，并消除了变形对齐的不稳定性问题。除了对可变形对齐的贡献外，我们的配方还启发了一种更灵活的方法，将偏移多样性引入到基于流的对齐中，从而提高其性能。
2020-09-15 cs.CV
Progressive Deep Video Dehazing without Explicit Alignment Estimation
Nanjing University of Science and Technology（南京理工大学）
为了解决视频去雾问题，有两个主要任务要实现：如何将相邻帧对齐到参考帧;如何恢复参考帧。有些论文采用了明确的方法（例如，马尔可夫随机场、光流、可变形卷积、3D卷积）来将相邻帧与特征空间或图像空间中的参考帧对齐，然后使用各种恢复方法来实现最终的去雾结果。在本文中，我们提出了一个渐进的对齐和恢复方法的视频去雾。对准过程在不使用光流估计的情况下逐阶段地对准连续的相邻帧。恢复过程不仅在对齐过程下实现，而且还使用细化网络来提高整个网络的去雾性能。所提出的网络包括四个融合网络和一个细化网络。为了减少网络的参数，在第一级融合中，三个融合网络共享相同的参数。大量的实验表明，所提出的视频去雾方法取得了优异的性能对国家的最先进的方法。
2021-07-16 cs.CV
MANet: Improving Video Denoising with a Multi-Alignment Network
The University of Hong Kong（香港大学）；University of Rochester（罗切斯特大学）；ACCESS –- AI Chip Center for Emerging Smart Systems（ACCESS——新兴智能系统人工智能芯片中心）
在视频去噪中，相邻帧通常提供非常有用的信息，但在利用这些信息之前需要精确对齐。在这项工作中，我们提出了一个多对齐网络，它产生多个流的建议，然后基于注意力的平均。它用于模拟非局部机制，通过平均多个观测值来抑制噪声。我们的方法可以应用于各种国家的最先进的模型，是基于流量估计。在大规模视频数据集上的实验表明，该方法使去噪基线模型提高了0.2dB，并通过模型蒸馏进一步减少了47%的参数。代码可在https://github.com/IndigoPurple/MANet上获得。
2022-07-11 cs.CV
Self-Aligned Forcing: Streaming Video Diffusion with Differentiable Noisy History
Monash University（莫纳什大学）；Vivix AI；Lancaster University（兰卡斯特大学）
提出自对齐强制（SAF）训练方案，通过将历史噪声水平与去噪块对齐，实现可微历史，加速训练并提升长时程视频生成质量。
2026-09-30 cs.CV
Tagging before Alignment: Integrating Multi-Modal Tags for Video-Text Retrieval
Tencent PCG（腾讯平台与内容事业群）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）
近年来，视频文本检索中的视觉-语言对齐学习引起了人们的广泛关注。现有的方法要么将图像-文本预训练模型的知识转移到视频-文本检索任务中，而没有充分挖掘视频的多模态信息，要么简单地以暴力方式融合多模态特征，而没有明确的指导。在本文中，我们集成多模态信息在一个明确的方式，通过标记，并使用标记作为锚更好的视频文本对齐。各种预先训练的专家用于提取多个模态的信息，包括对象，人，运动，音频等。为了充分利用这些信息，我们提出了表（标签前aLignmEnt）网络，它由一个视觉编码器，一个标签编码器，一个文本编码器，和一个标签引导的跨模态编码器，用于联合编码多帧视觉特征和多模态标签信息。此外，为了加强视频和文本之间的交互，我们构建了一个联合跨模态编码器，其三元组输入为[vision，tag，text]，并执行两个额外的监督任务，视频文本匹配（VTM）和掩蔽语言建模（MLM）。大量的实验结果表明，表模型是能够实现国家的最先进的（SOTA）性能在各种视频文本检索基准，包括MSR-VTT，MSVD，LSMDC和DiDeMo。
2023-01-30 cs.CV
Weakly-supervised Representation Learning for Video Alignment and Analysis
Verily Research（Verily研究院）
视频分析和理解中的许多任务归结为需要基于帧的特征学习，旨在封装相关的视觉内容，以便实现更简单，更容易的后续处理。虽然可以设想这种学习任务的监督策略，但由于难以获得标记数据，自我和弱监督的替代方案是首选。本文介绍了LRProp --一种新的弱监督表示学习方法，重点介绍了同一动作类别的视频对之间的时间对齐的应用。该方法使用一个Transformer编码器提取帧级特征，并采用DTW算法的训练迭代，以确定视频对之间的对齐路径。通过称为“成对位置传播”的过程，每个位置的这些对应的概率分布通过KL发散最小化与帧级特征的相似性相匹配。该算法还使用了正则化的SoftDTW损失，以更好地调整学习的功能。我们新颖的表示学习范例在时间对齐任务上始终优于最先进的技术，在几个下游视频分析应用中建立了新的性能标准。
2023-02-08 cs.CV
