Towards Real-World Video Deblurring by Exploring Blur Formation Process
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The University of Tokyo（东京大学）；Tencent AI Lab（腾讯人工智能实验室）
本文旨在探索如何合成接近真实的模糊，现有的视频去模糊模型可以很好地推广到现实世界的模糊视频。近年来，基于深度学习的方法在视频去模糊任务上取得了令人鼓舞的成功。然而，在现有的合成数据集上训练的模型在真实世界的模糊场景中仍然存在泛化问题，并且存在不期望的伪影。导致失败的因素仍然未知。因此，我们重新审视了经典的模糊合成流水线，并找出了可能的原因，包括拍摄参数，模糊形成空间，图像信号处理器~（ISP）。为了分析这些潜在因素的影响，我们首先收集了一个超高帧率（940 FPS）的RAW视频数据集作为数据基础来合成各种模糊。然后，我们提出了一种新的逼真的模糊合成流水线称为RAW模糊利用模糊形成线索。通过大量的实验，证明了在RAW空间合成模糊，并采用与真实测试数据相同的ISP，可以有效地消除合成数据的负面影响。此外，合成的模糊视频的拍摄参数，例如，曝光时间和帧速率在改善去模糊模型的性能方面起着重要的作用。令人印象深刻的是，在由所提出的RAW-模糊流水线合成的模糊数据上训练的模型可以获得超过5dB的PSNR增益，而不是在现有的合成模糊数据集上训练的模型。我们相信新的真实感合成管道和相应的RAW视频数据集可以帮助社区轻松构建自定义模糊数据集，从而大大提高真实世界视频去模糊性能，而不是费力地收集真实数据对。
2022-08-28 cs.CV
Video Summarization by Learning from Unpaired Data
University of Manitoba（曼尼托巴大学）
我们考虑视频摘要的问题。给定输入原始视频，目标是从输入视频中选择关键帧的小子集，以创建最佳描述原始视频内容的较短摘要视频。当前最先进的视频摘要方法大多使用监督学习，并且需要标记的训练数据。每个训练实例由原始输入视频和由人类注释者策划的地面实况摘要视频组成。然而，创建这种标记的训练样本是非常昂贵和困难的。为了解决这个问题，我们提出了一种新的配方来学习视频摘要从不成对的数据。我们提出了一种方法，学习生成最佳的视频摘要，使用一组原始视频（$V$）和一组摘要视频（$S$），其中$V$和$S$之间不存在对应关系。我们认为这种类型的数据更容易收集。我们的模型旨在学习映射函数$F : V \rightarrow S$，以便在对抗目标的帮助下，从$F(V)$得到的摘要视频的分布与$S$的分布相似。此外，我们对$F(V)$实施多样性约束，以确保生成的视频摘要在视觉上是多样的。两个基准数据集上的实验结果表明，我们提出的方法显着优于其他替代方法。
2019-04-08 cs.CV
AIM 2025 Low-light RAW Video Denoising Challenge: Dataset, Methods and Results
AIM 2025 Low-light RAW Video Denoising Challenge（AIM 2025 低光照RAW视频去噪挑战）
本文介绍了 AIM 2025 低光 RAW 视频去噪挑战赛，构建了包含 756 个多传感器十帧序列的新基准，并以 PSNR 和 SSIM 平均排名评估利用时间冗余的去噪方法。
2025-08-22 cs.CV eess.IV
3D UAV Trajectory Estimation and Classification from Internet Videos via Language Model
本文提出通过语言模型从互联网视频中估计和分类无人机3D轨迹，无需人工标注，实现了高效的数据采集与轨迹推断。
2026-03-10 cs.RO
Group Activity Detection from Trajectory and Video Data in Soccer
Sportlogiq
足球中的群体活动检测可以通过使用视频数据或球员和球轨迹数据来完成。在当前的足球活动数据集中，活动被标记为没有持续时间的原子事件。鉴于目前最先进的活动检测方法对于原子操作没有很好的定义，因此无法使用这些方法。在这项工作中，我们评估了活动识别模型检测此类事件的有效性，通过使用直观的非最大抑制过程和评估指标。我们还考虑了明确建模球员和球之间的相互作用的问题。为此，我们提出了自我注意力模型来学习和提取相关信息，从一组足球运动员的活动检测轨迹和视频数据。我们使用Sportlogiq提供的大规模足球数据集，对使用视觉特征和轨迹数据进行体育运动中的群体活动检测进行了广泛的研究。我们的研究结果表明，大多数事件都可以使用视觉或基于语义的方法检测到，时间分辨率小于0.5秒，每种方法都有独特的挑战。
2020-04-21 cs.CV
Tracking Based Semi-Automatic Annotation for Scene Text Videos
Shanghai University（上海大学）；Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）
近年来，视频场景文本检测因其广泛的应用而受到越来越多的关注。然而，缺乏带注释的场景文本视频数据集已成为阻碍视频场景文本检测发展的重要问题之一。现有的场景文本视频数据集由于人工标注成本昂贵，规模不大。此外，这些数据集中的文本实例太清楚了，不构成挑战。针对上述问题，本文提出了一种基于跟踪的场景文本视频半自动标注策略。通过对第一帧进行人工标注，对后续帧进行自动跟踪，实现了半自动的场景文本标注，避免了人工标注的巨大开销。此外，提出了一个成对的低质量场景文本视频数据集，名为Text-RBL，由原始视频，模糊视频，低分辨率视频，所提出的方便的半自动标记策略标记。通过对原始视频的平均操作和双三次下采样操作，我们可以有效地获得与原始视频配对的模糊视频和低分辨率视频。为了验证Text-RBL的有效性，我们提出了一个基线模型结合文本检测器和跟踪器的视频场景文本检测。此外，故障检测方案的设计，以减轻基线模型的漂移问题所造成的复杂场景。大量的实验表明，Text-RBL与配对的低质量视频标记的半自动方法可以显着提高低质量场景中的文本检测器的性能。
2021-03-29 cs.CV
Reasoning over the Behaviour of Objects in Video-Clips for Adverb-Type Recognition
Imperial College London（帝国理工学院）
本文提出一种无需已知动作类型、通过从原始视频中提取物体行为事实并结合符号与Transformer推理来识别副词类型的新框架，性能优于现有方法，并发布了两个新数据集。
2024-03-27 cs.AI cs.CV cs.SC
Adaptive-WAM: Quality-Guided Early-Exit Planning from Intermediate Video-Diffusion Features
Adaptive-WAM是基于Wan2.2-5B主干的质量感知多出口规划器，通过动态分配主干深度减少计算量，在NAVSIM、nuScenes等数据集上取得优异规划性能，延迟显著降低。
2026-11-02 cs.RO
Deep Thought Alignment: Trajectory-Level Latent Distillation for Video Reasoning
针对视频推理LMMs的高计算成本问题，提出Latent-OPD方法，通过轨迹级潜在知识蒸馏与渐进式教师前瞻策略提升轻量模型性能，在6个基准上优于仅输出监督的OPD。
2026-09-02 cs.AI cs.CL cs.CV
Towards Real-World Video Denosing: A Practical Video Denosing Dataset and Network
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）；Sensetime Research（商汤科技研究院）；Tetras AI（Tetras人工智能）
为了便于视频去噪研究，我们构建了一个引人注目的数据集，即“实用视频去噪数据集”（PVDD），包含200个sRGB和RAW格式的噪声干净的动态视频对。与现有的数据集组成的有限的运动信息，PVDD覆盖动态场景变化和自然的运动。与主要使用高斯或泊松分布来合成sRGB域中的噪声的数据集不同，PVDD从RAW域合成具有物理意义的传感器噪声模型的真实噪声，然后进行ISP处理。此外，我们还提出了一个新的视频去噪框架，称为循环视频去噪Transformer（RVDT），它可以达到SOTA性能PVDD和其他当前的视频去噪基准。RVDT由空间和时间Transformer块组成，以在空间维度上进行长距离操作并在时间维度上进行长时间传播来进行去噪。特别是，RVDT利用注意力机制实现了隐式和显式时态建模的双向特征传播。大量实验表明：1）在PVDD上训练的模型在许多具有挑战性的真实世界视频上比在其他现有数据集上训练的模型具有更好的去噪性能; 2）在相同的数据集上训练，我们提出的RVDT可以比其他类型的网络具有更好的去噪性能。
2022-12-01 cs.CV
Trajectory-aware Cross-view Geo-localization with Sequential Observations
Washington University in St. Louis（圣路易斯华盛顿大学）
研究跨视角地理定位，提出TrajLoc统一框架处理视频片段和路线描述，利用视觉与语言语义相互强化匹配，还提出TrajMod模块，实验显示该框架在视频和文本地理定位上比现有方法有显著优势。
2026-07-20 cs.CV
TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval
Uber AV Labs（优步自动驾驶实验室）；Purdue University（普渡大学）
本研究提出TraVEL框架，将通用多模态嵌入模型适配到驾驶视频检索，结合轨迹监督与Group Relative Policy Optimization，在nuReasoning基准上提升了不同规模模型的运动相关检索性能。
2026-08-14 cs.CV cs.LG
A General Framework for Edited Video and Raw Video Summarization
Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；Northwestern Polytechnical University（西北工业大学）
在本文中，我们建立了一个通用的摘要框架编辑视频和原始视频摘要。总体而言，我们的工作可以分为三个方面：1）设计了四个模型来捕获视频摘要的属性，即，包含重要的人和物体（重要性）、视频内容的代表性（代表性）、没有类似的关键镜头（多样性）和故事情节的平滑性（故事性）。具体而言，这些模型适用于编辑的视频和原始视频。2)将上述四个模型加权组合，建立综合评分函数。请注意，得分函数中四个模型的权重（表示为属性权重）是以监督方式学习的。此外，分别为编辑视频和原始视频学习属性权重。3)为了弥补训练数据的不足，训练集由编辑后的视频和原始视频构成。特别地，每个训练视频配备有一对混合系数，这可以减少由粗糙混合引起的训练集中的结构混乱。我们在三个数据集上测试我们的框架，包括编辑的视频，短的原始视频和长的原始视频。实验结果验证了该框架的有效性。
2019-04-24 cs.CV
Real-RawVSR: Real-World Raw Video Super-Resolution with a Benchmark Dataset
Tianjin University（天津大学）
近年来，由于真实图像超分辨率数据集和相应的真实图像超分辨率方法的发展，真实图像超分辨率研究取得了可喜的成果。相比之下，真实视频SR领域落后，特别是对于真实原始视频。考虑到原始图像SR相对于sRGB图像SR的优越性，我们构建了一个真实世界的原始视频SR（Real-RawVSR）数据集，并提出了相应的SR方法。我们利用两台DSLR相机和一个分束器同时捕捉低分辨率（LR）和高分辨率（HR）的原始视频，放大倍数为2倍，3倍和4倍。我们的数据集中有450个视频对，场景从室内到室外都有，运动包括相机和物体的运动。据我们所知，这是第一个真实世界的原始VSR数据集。由于原始视频的特征是拜耳模式，我们提出了一个两个分支的网络，它同时处理压缩RGGB序列和原始拜耳模式序列，这两个分支是互补的。在经历了所提出的协同对齐、交互、融合和重建模块之后，我们生成了相应的HR sRGB序列。实验结果表明，该方法优于基准的真实和合成视频SR方法与原始或sRGB输入。我们的代码和数据集可以在https://github.com/zmzhang1998/Real-RawVSR上找到。
2022-09-26 cs.CV eess.IV
DarkVRAI: Capture-Condition Conditioning and Burst-Order Selective Scan for Low-light RAW Video Denoising
Department of ECE, INMC, Seoul National University, Seoul, Korea（电子工程系，智能纳米材料中心，首尔国立大学，首尔，韩国）
针对低光照RAW视频因高增益、短曝光出现严重信号退化的问题，提出DarkVRAI框架，引入拍摄元数据条件调控与突发顺序选择性扫描机制，在AIM 2025挑战赛夺冠且达基准数据集SOTA性能。
2025-08-31 cs.CV
Beyond Raw Videos: Understanding Edited Videos with Large Multimodal Model
ByteDance Inc.（字节跳动公司）
本文构建了基于TikTok编辑视频的EditVid-QA基准，揭示现有视频LMM在社交媒体编辑视频上的领域差距，并通过混合原始与编辑视频的训练数据提升模型泛化能力，同时指出并规避了GPT-3.5评估中的“抱歉”攻击问题。
2024-09-27 cs.CV
Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scenes
Tianjin University（天津大学）
近年来，用于实际含噪图像去噪的监督学习策略不断涌现，并取得了可喜的成果。相比之下，由于缺乏动态场景的噪声-清洁对，很少研究原始噪声视频的真实噪声去除。动态场景的清晰视频帧不能像静态图像那样使用长曝光快门或平均多张照片来捕获。在本文中，我们解决了这个问题，通过创建运动的可控对象，如玩具，并捕捉每个静态时刻多次生成干净的视频帧。通过这种方式，我们构建了一个包含55组ISO值范围从1600到25600的噪声干净视频的数据集。据我们所知，这是第一个具有噪声-干净对的动态视频数据集。相应地，我们提出了一个原始视频去噪网络（RViDeNet），通过探索视频帧的时间，空间和通道相关性。由于原始视频具有拜耳模式，我们将其打包成四个子序列，即RGBG序列，分别由建议的RViDeNet去噪，最后融合成一个干净的视频。此外，我们的网络不仅输出原始去噪结果，还通过图像信号处理（ISP）模块输出sRGB结果，这使用户能够使用他们最喜欢的ISP生成sRGB结果。实验结果表明，我们的方法优于国家的最先进的视频和原始图像去噪算法在室内和室外视频。
2020-03-31 cs.CV cs.LG eess.IV
MegActor: Harness the Power of Raw Video for Vivid Portrait Animation
MEGVII Technology（旷世科技）
针对原始视频驱动人像动画存在的身份泄漏、背景与面部细节干扰问题，提出MegActor条件扩散模型，通过合成数据、背景编码整合、风格迁移实现效果提升，仅用公开数据集训练即达商业模型水平。
2024-06-18 cs.CV
SFU-HW-Tracks-v1: Object Tracking Dataset on Raw Video Sequences
Simon Fraser University（西蒙弗雷泽大学）；InterDigital（InterDigital 公司）
我们提出了一个数据集，该数据集包含具有用于高效视频编码（HEVC）v1通用测试条件（CTC）序列的唯一对象标识（ID）的对象注释。准备了13个序列的地面实况注释，并作为称为SFU-HW-Tracks-v1的数据集发布。对于每个视频帧，地面实况注释包括对象类ID、对象ID和限界框位置及其尺寸。该数据集可用于评估未压缩视频序列上的目标跟踪性能，并研究视频压缩与目标跟踪之间的关系。
2021-12-30 cs.CV eess.IV
Alignment-free Raw Video Demoireing
本文提出了一种免对齐的Raw视频去摩尔纹网络DemMamba，通过频率辅助的时空Mamba模块有效建模时空关系，在PSNR上超越现有方法1.6 dB。
2025-08-10 cs.CV
Fine-Tuning Video-Text Contrastive Model for Primate Behavior Retrieval from Unlabeled Raw Videos
Institute of Mathematics and Statistics, University of São Paulo (IME-USP)（数学统计研究所，圣保罗大学）；Department of Experimental Psychology, Institute of Psychology, University of São Paulo (IP-USP)（心理学实验部门，心理学研究所，圣保罗大学）；Institute of Biosciences, University of São Paulo (IB-USP)（生物科学研究所，圣保罗大学）
本文针对未标注灵长类动物原始视频，提出智能体式数据处理流程与LoRA微调X-CLIP模型的方法，显著提升行为检索性能。
2025-05-08 cs.CV
Mimic The Raw Domain: Accelerating Action Recognition in the Compressed Domain
Intel（英特尔）；Intel Labs（英特尔研究院）
视频理解通常需要昂贵的计算，禁止其部署，但视频包含显着的时空冗余，可以利用。特别是，在压缩视频域中直接对运动矢量和残差进行操作可以显著加速计算，而不使用需要巨大存储容量的原始视频。现有的方法将此任务视为多模态问题。在本文中，我们将以完全不同的方式来完成这项任务;我们将压缩流中的数据视为一个单元剪辑，并提出残差帧可以取代原始域中的原始RGB帧。此外，我们使用教师-学生方法来帮助压缩域中的网络模仿原始域中的教师网络。我们在三个领先的数据集（HMDB 51，UCF 1和Kinetics）上进行了实验，这些数据集通过使用压缩数据来接近原始视频数据的最先进精度。我们的模型MFCD-Net在压缩域中的性能优于以前的方法，更重要的是，我们的模型具有11倍的参数和3倍的触发次数，大大提高了视频识别推理的效率。这种方法使得神经网络能够专门应用于压缩域，而不会在提高性能的同时损害精度。
2020-04-22 cs.CV
Binarized High-Efficiency RAW Video Restoration and Beyond
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；Chinese Aeronautical Establishment（中国航空研究院）；Westlake University（西湖大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出二值化RAW视频恢复框架BinRVR，通过BIIM和DAB-Conv实现96%计算量与参数缩减，仅4%性能下降，在多项RAW视频恢复任务上表现具竞争力，还可拓展至下游视频应用。
2026-08-18 cs.CV
Searching a Raw Video Database using Natural Language Queries
PES University（PES大学）
随着时间的推移，正在制作并因此存储在视频流媒体平台数据库中的视频数量一直呈指数级增长。这个庞大的数据库应该是容易索引的，能够找到必要的剪辑或视频，以匹配给定的搜索规范，最好是以文本查询的形式。这项工作的目的是提供一个端到端的管道搜索视频数据库与语音查询从最终用户。该流水线结合使用递归神经网络和卷积神经网络来生成数据库中存在的视频剪辑的字幕。
2020-12-31 cs.CV cs.LG
Joint denoising and HDR for RAW video sequences
我们提出了一种基于补丁的方法，同时去噪和融合的RAW多曝光图像序列。一个时空的标准是用来选择类似的补丁沿序列，和加权主成分分析允许去噪和融合的多曝光数据。整体策略允许去噪和融合的图像集，而不需要恢复每个去噪的图像中的多曝光集，导致一个非常有效的过程。几个实验表明，该方法允许获得国家的最先进的融合结果与真正的RAW数据。
2022-01-18 cs.CV eess.IV
ManipDreamer3D : Synthesizing Plausible Robotic Manipulation Video with Occupancy-aware 3D Trajectory
针对机器人操作领域数据稀缺、现有视频生成方法依赖2D轨迹存在3D空间歧义的问题，提出ManipDreamer3D框架，结合3D占据感知轨迹规划与轨迹到视频扩散模型，生成高质量可信机器人操作视频，减少人工干预。
2025-11-13 cs.AI cs.CV cs.RO
Video Relation Detection with Trajectory-aware Multi-modal Features
Beihang University（北京航空航天大学）；YITU Technology（依图科技）
视频关系检测问题是指检测视频中不同对象之间的关系，例如空间关系和动作关系。在本文中，我们提出了视频关系检测与故障感知多模态功能来解决这个问题。考虑到视频中视觉关系检测的复杂性，本文将其分解为三个子任务：目标检测、轨迹建议和关系预测。我们使用最先进的目标检测方法来保证目标轨迹检测的准确性，并使用多模态特征表示来帮助预测目标之间的关系。该方法在ACM Multimedia 2020的Video Relation Understanding Grand Challenge视频关系检测任务中以11.74 mAP的成绩获得第一名，大大优于其他方法。
2021-01-20 cs.CV
Binarized Low-light Raw Video Enhancement
Beijing Institute of Technology（北京理工大学）；Shanghai Jiao Tong University（上海交通大学）；Westlake University（西湖大学）
本文针对低光原始视频增强在资源受限设备上的部署难题，提出基于二值神经网络的高效方法，通过时空移位操作融合时序信息并处理运动失准，并设计分布感知二值卷积缩小与全精度卷积的性能差距。
2024-03-29 cs.CV eess.IV
TrajectoryMover: Generative Movement of Object Trajectories in Videos
KTH Royal Institute of Technology（皇家理工学院）；Adobe Research（Adobe研究）
本文提出TrajectoryMover，一种生成视频中物体轨迹运动的方法，通过生成大规模合成配对视频数据和细调的视频生成器，实现了物体轨迹的生成性移动。
2026-09-09 cs.CV
FlexTraj: Image-to-Video Generation with Flexible Point Trajectory Control
City University of Hong Kong（香港城市大学）；The University of Hong Kong（香港大学）；Microsoft GenAI（微软生成人工智能）
FlexTraj提出统一点轨迹表示与序列拼接方案，结合退火训练，实现多粒度、对齐无关的轨迹控制，支持运动克隆、拖拽生成等应用。
2025-10-09 cs.CV
Leveraging Trajectory Prediction for Pedestrian Video Anomaly Detection
University of Michigan（密歇根大学）
视频异常检测是视觉领域的一个核心问题。从视频数据中正确检测和识别行人的异常行为将使安全关键型应用成为可能，如监控、活动监控和人机交互。在本文中，我们建议利用轨迹定位和预测的无监督行人异常事件检测。不同于以前的基于重建的方法，我们提出的框架依赖于正常和异常行人轨迹的预测误差来检测空间和时间上的异常。我们在不同时间尺度的真实世界基准数据集上进行了实验，结果表明，我们提出的基于概率预测的异常检测管道在识别视频中行人的异常活动方面是有效和高效的。代码将在https://github.com/akanuasiegbu/Leveraging-Trajectory-Prediction-for-Pedestrian-Video-Anomaly-Detection上提供。
2022-07-05 cs.CV
FreeAction: Training-Free Techniques for Enhanced Fidelity of Trajectory-to-Video Generation
POSTECH；Ewha Womans University（成均馆大学）；RLWRLD
本文提出FreeAction，通过动作缩放的无分类器引导与噪声截断两项免训练推理技术，增强轨迹到视频生成的动作可控性、连贯性与视觉质量。
2025-09-29 cs.CV cs.RO
Any-point Trajectory Modeling for Policy Learning
IIIS, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海期智研究院）；CUHK（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
针对机器人演示数据收集成本高的问题，提出ATM框架，通过预训练轨迹模型预测视频帧任意点未来轨迹提供控制引导，仅需少量带动作标签数据即可学习鲁棒视觉运动策略，在130余项任务中平均优于基线80%，还支持跨主体技能迁移。
2024-07-12 cs.CV cs.RO
Learning Trajectory-Aware Multimodal Large Language Models for Video Reasoning Segmentation
Southern University of Science and Technology（南方科技大学）；Tencent YouTu Lab（腾讯优图实验室）
本文提出TrajSeg框架，通过双向文本轨迹对齐提升视频对象轨迹感知能力，采用帧级内容整合模块和统一掩码解码器实现端到端训练，实验表明其在视频推理分割任务中优于现有方法。
2026-03-23 cs.CV
AutoTrajectory: Label-free Trajectory Extraction and Prediction from Videos using Dynamic Points
Hong Kong Baptist University（香港浸会大学）；Chinese University of Hong Kong（香港中文大学）；Inceptio（嬴彻）；University of Maryland at College Park（马里兰大学帕克分校）
当前用于轨迹预测的方法以监督的方式操作，并且因此需要大量对应的地面实况数据用于训练。在本文中，我们提出了一种新的，无标签的算法，AutoTrajectory，轨迹提取和预测直接使用原始视频。为了更好地捕捉视频中的运动对象，我们引入了动态点。我们使用它们来建模动态运动，通过使用一个向前向后的提取器，以保持时间的一致性，并使用图像重建，以保持空间一致性，在一个无监督的方式。然后，我们将动态点聚合为实例点，实例点代表视频中的移动对象，如行人。最后，我们通过匹配实例点提取轨迹进行预测训练。据我们所知，我们的方法是第一个实现无监督学习的轨迹提取和预测。我们在知名的轨迹数据集上评估了性能，并表明我们的方法对真实世界的视频是有效的，并且可以使用原始视频来进一步提高现有模型的性能。
2020-07-11 cs.CV
TRACE: Object Motion Editing in Videos with First-Frame Trajectory Guidance
University of Maryland, College Park（马里兰大学帕克分校）；Adobe Research（Adobe研究院）
本文提出TRACE框架，通过单帧锚点设计轨迹并合成一致的编辑视频，解决对象运动路径编辑问题，实现更协调、真实且可控的视频编辑。
2026-03-26 cs.CV
Video Colorization using CNNs and Keyframes extraction: An application in saving bandwidth
在本文中，我们解决的问题，彩色灰度视频，以减少带宽的使用。对于这个任务，我们使用一些彩色关键帧作为灰度视频彩色版本的参考图像。我们提出了一个模型，从彩色视频中提取关键帧，并在这些彩色帧上从头开始训练卷积神经网络。通过提取的关键帧，我们可以很好地了解视频中使用的颜色，这有助于我们有效地对视频的灰度版本进行着色。我们在本文中提出的技术的一个应用是在发送未经过任何压缩的原始彩色视频时节省带宽。一个原始的彩色视频占用的内存大约是其灰度版本的三倍。我们可以利用这一事实，发送一个灰度视频和训练好的模型，而不是一个彩色视频。稍后，在本文中，我们将展示这种技术如何有助于在传输原始彩色视频时节省高达三倍的带宽使用。
2018-12-18 cs.CV
Trajectory Attention for Fine-grained Video Motion Control
S-Lab, Nanyang Technological University（南洋理工大学S-Lab）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Sensetime Research（商汤科技研究院）
针对视频生成中相机运动控制的挑战，本文提出轨迹注意力方法，将其作为辅助分支与传统时间注意力协同，实现细粒度运动控制，在相机运动控制及首帧引导视频编辑任务中提升精度、一致性与生成质量。
2024-11-28 cs.CV
Dexterous Manipulation Policies from RGB Human Videos via 3D Hand-Object Trajectory Reconstruction
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）
VIDEOMANIP通过3D手-物体轨迹重建从RGB视频直接学习灵巧操作策略，实现无需设备的高效训练和高成功率抓取
2026-02-11 cs.CV cs.RO
Exploit Camera Raw Data for Video Super-Resolution via Hidden Markov Model Inference
McMaster University（麦克马斯特大学）；University of Waterloo（滑铁卢大学）
据我们所知，现有的基于深度学习的视频超分辨率（VSR）方法仅使用摄像机系统的图像信号处理器（ISP）生成的视频作为输入。这样的方法是1）由于ISP中的不可逆操作引起的信息损失而固有地次优的，以及2）与真实成像流水线不一致，其中VSR实际上用作ISP的预处理单元。为了解决这个问题，我们提出了一种新的VSR方法，该方法可以直接利用摄像机传感器数据，并伴随着精心构建的原始视频数据集（RawVD）进行训练，验证和测试。该方法由连续深度推理（SDI）模块和重建模块等组成。SDI模块是根据隐马尔可夫模型（HMM）推理的典型分解结果所建议的架构原理设计的;它通过使用可变形卷积重复执行成对特征融合来估计目标高分辨率帧。重建模块由精心设计的基于注意力的残差密集块（ARDB）构建，其目的是1）细化融合特征，2）学习生成空间特定变换所需的颜色信息，以进行准确的颜色校正。大量的实验表明，由于相机原始数据的信息量，网络架构的有效性，以及超分辨率和颜色校正过程的分离，所提出的方法实现了优越的VSR结果相比，国家的最先进的，可以适应任何特定的相机ISP。代码和数据集可在https://github.com/proteus1991/RawVSR上获得。
2021-01-05 cs.CV eess.IV
FlashMotion: Few-Step Controllable Video Generation with Trajectory Guidance
FlashMotion通过轨迹引导和蒸馏方法实现了少步可控视频生成，提升了视频质量和轨迹准确性。
2026-03-12 cs.AI cs.CV cs.LG
TrajectoryCrafter: Redirecting Camera Trajectory for Monocular Videos via Diffusion Models
ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）；The Chinese University of Hong Kong（香港中文大学）
TrajectoryCrafter通过双流条件视频扩散模型和双重重投影策略，将确定性视图变换与随机内容生成解耦，实现单目视频相机轨迹的精确重定向与4D内容生成。
2025-03-07 cs.AI cs.CV cs.GR
Valid Information Guidance Network for Compressed Video Quality Enhancement
BOE Technology Group Co., LTD.（京东方科技集团股份有限公司）
近年来，深度学习方法在压缩视频质量增强任务中显示出巨大的优越性。现有的方法通常将原始视频作为地面实况，并从包含各种伪影的连续帧中提取实用信息。然而，他们没有充分利用压缩和原始视频的有效信息来指导压缩视频的质量增强。在本文中，我们提出了一个独特的有效信息指导计划（VIG），以提高压缩视频的质量，从压缩视频和原始视频挖掘有效信息。具体来说，我们提出了一个有效的框架，压缩冗余过滤（CRF）网络，以平衡速度和增强。CRF通过对信息进行滤波去除冗余信息后，利用压缩视频的有效信息进行纹理重构。此外，我们提出了一个渐进的真理指导蒸馏（TGD）策略，它不需要设计额外的教师模型和蒸馏损失函数。通过仅使用地面真实值作为输入来引导模型在原始帧之间聚合正确的时空对应关系，TGD可以显着提高增强效果，而不会增加额外的训练成本。大量的实验表明，我们的方法实现了国家的最先进的性能压缩视频质量增强的准确性和效率。
2023-02-28 cs.CV cs.MM
Toward Accurate and Temporally Consistent Video Restoration from Raw Data
The Hong Kong Polytechnic University（香港理工大学）；OPPO Research Institute（OPPO研究院）
提出一种新的VJDD框架，通过一致且精确的潜在空间传播及两种新损失函数，解决视频去噪去马赛克中的时间一致性问题，提升复原精度与感知质量。
2023-12-25 cs.CV eess.IV
FreeTraj: Tuning-Free Trajectory Control in Video Diffusion Models
Nanyang Technological University（南洋理工大学）；Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯AI Lab）
本研究针对视频扩散模型的轨迹控制需求，提出无需训练的FreeTraj框架，通过优化噪声采样与注意力机制实现可控生成，并支持长视频、大尺寸视频及多轨迹输入方式，有效提升了轨迹控制效果。
2024-06-24 cs.CV
Super-Trajectory for Video Segmentation
Beijing Lab of Intelligent Information Technology, School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院智能信息技术北京市重点实验室）；University of California, Los Angeles（加州大学洛杉矶分校）；Research School of Engineering, Australian National University（澳大利亚国立大学工程研究院）
我们介绍了一种新的半监督视频分割方法的基础上，一个有效的视频表示，称为“超轨迹”。每个超轨迹对应于一组紧凑的轨迹，表现出一致的运动模式，相似的外观和密切的时空关系。我们使用概率模型生成轨迹，该模型以鲁棒和自然的方式处理遮挡和漂移。为了可靠地分组轨迹，我们采用了基于密度峰值的聚类算法的修改版本，该算法允许在聚类过程中捕获轨迹之间丰富的时空关系。所呈现的视频表示具有足够的区别性，以将第一帧中的初始注释准确地传播到剩余的视频帧上。在具有挑战性的基准上进行的大量实验分析表明，我们的方法能够将目标对象从复杂背景中区分出来，甚至能够在长期遮挡后重新识别它们。
2017-07-24 cs.CV
Learning Trajectory-Word Alignments for Video-Language Tasks
Southeast University（东南大学）；Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）
在视频中，对象通常表现为轨迹，即，它跨越几个空间但时间更长的斑块，包含丰富的时空背景。然而，现代视频语言BERT（VDL-BERT）忽略了这一轨迹特征，它们通常遵循图像语言BERT（IL-BERT）部署块到词（P2 W）的注意力，可能过度利用琐碎的空间上下文而忽略重要的时间上下文。为了修正这一点，我们提出了一种新的TW-BERT学习轨迹词对齐通过一个新设计的词汇到词（T2 W）的注意力来解决视频语言任务。此外，先前的VDL-BERT通常将几个帧均匀地采样到模型中，而不同的轨迹具有不同的粒度，即，一些轨迹跨越较长的帧，而一些跨越较短的帧，并且使用几个帧将丢失某些有用的时间上下文。然而，简单地采样更多帧也会使预训练不可行，因为训练负担大大增加。为了缓解这个问题，在微调阶段，我们插入一个新的分层帧编码器（HFS）模块到视频编码器。HFS根据文本上下文逐步选择合适的帧，以供以后的跨模态编码器学习更好的词汇对齐。通过提出的T2 W注意力和HFS，我们的TW-BERT在文本到视频检索任务上实现了SOTA性能，并且在视频问答任务上的性能与一些在更多数据上训练的VDL-BERT相当。该守则将载于补充材料。
2023-03-09 cs.CV
From Video Clips to Creation Trajectory: Sora100K for AI-Native Video Creation
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Great Bay University（大湾区大学）
本文提出面向AI原生视频创作的Sora100K数据集，将创作工作流表示为结构化轨迹，经标注与质量控制后适配LTX-2模型，可提升视频生成相关性能，为该领域提供新数据基础。
2026-10-09 cs.CV
Mid-Training Language Models on Raw Video
Meta AI；Massachusetts Institute of Technology（麻省理工学院）；KAUST（阿卜杜拉国王科技大学）；Duke University（杜克大学）
该研究探索用原始视频对Qwen3-1.7B进行中间训练，通过预测下一个视觉标记提升了模型在视频、图像基准测试的性能，且未损失文本性能，证明纯自监督视频中间训练的有效性。
2026-10-09 cs.AI cs.CV cs.LG
What is usual in unusual videos? Trajectory snippet histograms for discovering unusualness
Bilkent University（比尔肯特大学）
不寻常的事件是重要的，因为它们可能是不希望的后果的指标。此外，日常生活活动中的不寻常也可能是有趣的，正如社交媒体上分享的此类视频的流行所证明的那样。在视频中发现不寻常的事件通常被攻击为寻找常见模式的问题，然后将不相似的模式分离出来。在这项研究中，我们从另一个方面解决这个问题，并试图回答什么类型的模式之间共享不寻常的视频，使他们彼此相似，无论正在进行的事件。有了这个具有挑战性的问题在手，我们提出了一种新的描述符，利用密集提取的轨迹编码视频中的快速运动。建议的描述符，这是被称为轨迹剪切直方图，是用来区分不寻常的视频从普通的视频，并进一步利用发现快照中的不寻常发生。在特定领域的人跌倒视频和不受限制的搞笑视频上的实验表明，我们的方法在捕捉异常方面是有效的。
2014-11-02 cs.CV
PoseTraj: Pose-Aware Trajectory Control in Video Diffusion
University of Edinburgh（爱丁堡大学）；Nanyang Technological University（南洋理工大学）
针对现有轨迹引导视频生成模型3D理解不足、难生成大角度旋转下6D姿态变化物体运动的问题，提出PoseTraj模型与两阶段预训练框架，通过合成数据集与3D边界框监督等提升性能，在姿态对齐与质量上优于基线。
2025-03-20 cs.CV
ATCA: an Arc Trajectory Based Model with Curvature Attention for Video Frame Interpolation
Shanghai Jiao Tong University（上海交通大学）
视频帧内插是一个经典的、具有挑战性的低层计算机视觉任务。最近，基于深度学习的方法已经取得了令人印象深刻的结果，并且已经证明基于光流的方法可以合成具有更高质量的帧。然而，大多数基于流的方法假设两个输入帧之间具有恒定速度的线轨迹。只有很少的工作可以强制执行曲线轨迹的预测，但这需要两个以上的帧作为输入来估计加速度，这需要更多的时间和内存来执行。为了解决这个问题，我们提出了一个弧轨迹为基础的模型（ATCA），学习运动之前，只有两个连续的帧，也是轻量级的。实验表明，该方法具有参数少、推理速度快的特点，优于许多SOTA方法。
2022-08-01 cs.CV
Video Processing for Barycenter Trajectory Identification in Diving
Politecnico di Milano（米兰理工大学）
本文的目的是展示一个程序识别潜水员的重心，通过视频处理。本程序旨在介绍定量分析工具和潜水性能测量，从而在潜水训练。运动表现分析是一种趋势，对所有水平的运动员都呈指数增长：它已被广泛应用于一些运动，如自行车。运动表现分析主要应用于高水平运动员;为了也用于中低水平运动员，所提出的技术必须灵活且成本低。视频处理适合满足这两个要求。在潜水中，首先要做的分析是重心轨迹跟踪。
2017-05-08 cs.CV
Lossless White Balance For Improved Lossless CFA Image and Video Compression
Seoul National University of Science and Technology（首尔科学技术大学）；University of Dayton（代顿大学）
彩色滤光片阵列是放置在相机传感器中的像素检测器上的像素大小的滤光片的空间复用。由这种传感器捕获的原始传感器数据的最先进的无损编码技术利用了使用提升方案的空间或交叉颜色相关性。本文提出了一种基于提升的无损白平衡算法。当应用于原始传感器数据时，隐含色度信号的空间带宽减小。我们建议使用这种白平衡作为无损CFA二次采样图像/视频压缩的预处理步骤，提高原始传感器数据的整体编码效率。
2020-09-19 cs.CV eess.IV
