Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in VIS and NIR Scenario
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
近年来，随着人脸编辑和生成的快速发展，越来越多的虚假视频在社交媒体上流传，引发了公众的极度担忧。现有的基于频域的人脸伪造检测方法发现，与真实图像相比，GAN伪造图像在频谱上存在明显的网格状视觉伪影。但对于合成视频，这些方法只局限于单帧，对不同帧间最具鉴别力的部分和时频线索关注较少。为了充分利用视频序列中丰富的信息，本文在时空频域上进行视频伪造检测，并提出一种基于离散余弦变换的伪造线索增强网络（FCAN-DCT），以实现更全面的时空特征表示。FCAN-DCT由一个主干网络和两个分支组成：紧凑特征提取（CFE）模块和频率时间注意（FTA）模块。我们对两个基于可见光（VIS）的数据集WildDeepfake和Celeb-DF（v2）以及我们自建的视频伪造数据集DeepfakeNIR进行了全面的实验评估，DeepfakeNIR是第一个近红外模式的视频伪造数据集。实验结果表明，我们的方法在检测伪造视频在可见光和近红外场景的有效性。
2022-07-05 cs.CV
CG-Bench: Clue-grounded Question Answering Benchmark for Long Video Understanding
Nanjing University（南京大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Zhejiang University（浙江大学）；Fudan University（复旦大学）
CG-Bench是一个面向长视频理解、基于线索的问答基准，通过1,219个视频和12,129个问答对，采用白盒与黑盒评估方法，揭示当前模型长视频理解能力不足及开源与商业模型差距。
2024-12-16 cs.CV
CRVOS: Clue Refining Network for Video Object Segmentation
Yonsei University（延世大学）
基于编解码器的半监督视频对象分割（Semi-VOS）方法因其优越的性能而受到广泛关注。然而，它们中的大多数都具有复杂的中间网络，这些中间网络生成强大的说明符，以应对具有挑战性的场景，这在处理相对简单的场景时是非常低效的。为了解决这个问题，我们提出了一个实时网络，视频对象分割线索细化网络（CRVOS），它没有任何中间网络来有效地处理这些场景。在这项工作中，我们提出了一个简单的说明符，称为线索，它包括前一帧的粗掩码和坐标信息。我们还提出了一种新的细化模块，通过使用反卷积层代替双线性上采样层，与一般的细化模块相比，该模块显示出更好的性能。我们提出的方法显示了最快的速度与竞争力的准确性之间的现有方法。在DAVIS 2016验证集上，我们的方法达到了63.5 fps，J&F得分为81.6%。
2020-06-02 cs.CV
Automatic video scene segmentation based on spatial-temporal clues and rhythm
Ecole Centrale de Lyon（里昂中央理工学院）；CNRS（法国国家科学研究中心）
随着计算能力和数据存储容量的不断提高，大型数字视频库的潜力正在迅速增长，但视频的不透明性限制了其大规模使用。实际上，必须顺序地处理和检索的用户需要太多的时间来找出视频内的感兴趣的片段。因此，提供一个方便和有效的环境，视频存储和检索，特别是基于内容的搜索，因为这存在于传统的基于文本的数据库系统，一直是最近的重点和重要的努力，一个大型的研究社区。在本文中，我们提出了一种新的自动视频场景分割方法，探讨两个主要的视频功能，这些是时空关系和节奏的镜头。从80分钟的视频中获得的实验证据表明，我们的原型提供了非常高的准确率的视频分割。
2014-12-15 cs.CV
Multi-video Moment Ranking with Multimodal Clue
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Tsinghua University（清华大学）；University of Chinese Academy of Sciences（中国科学院大学）
视频语料库矩检索（VCMR）是通过自然语言查询从大量未经裁剪的视频语料库中检索相关视频矩的任务。VCMR的最先进的工作是基于两阶段的方法。本文重点改进了两阶段方法的两个问题：（1）矩预测偏差：大多数查询的预测矩来自顶部检索视频，忽略了目标矩位于底部检索视频的可能性，这是由于训练和推理过程中共享归一化的不一致性造成的。(2)潜在关键内容：不同形式的视频具有不同的关键信息用于时刻定位。为此，我们提出了一个两阶段的模型\textbf{M} ult \textbf{I} -视频分级\textbf{N} king与m个\textbf{U} l \textbf{T}单峰类\textbf{E} ~（CLUTE）. CNOTE在训练和推理过程中使用共享归一化来对多个视频中的候选时刻进行排名，以解决时刻预测偏差，从而更有效地预测目标时刻。此外，Mutilmdaol Clue Mining~（MCM）可以发现视频中不同模态的关键内容，以更准确地定位时刻。在TVR和DiDeMo数据集上，XNUTE的表现优于基线，实现了最先进的VCMR。我们的代码将在GitHub上提供。
2023-01-29 cs.CV
Looking Beyond Visible Cues: Implicit Video Question Answering via Dual-Clue Reasoning
Shanghai Jiao Tong University（上海交通大学）；ZhongguanCun Academy（中关村学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai University（上海大学）；City University of Hong Kong（香港城市大学）；Wuhan University（武汉大学）
本文提出隐式视频问答任务和IRM模型，通过双线索推理提升隐式问答性能，优于现有模型。
2025-12-11 cs.CV
Perceive, Reflect and Understand Long Video: Progressive Multi-Granular Clue Exploration with Interactive Agents
School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院）；Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港理工大学计算机科学与工程系）；College of Computer and Information, Hohai University（河海大学计算机与信息学院）
针对长视频中任务相关信息稀疏导致的完整性与效率难题，本文提出CogniGPT，通过MGPA与VERA的交互循环渐进筛选可靠线索，并在多个基准上以极少帧数取得优越性能。
2025-09-29 cs.CV
Track the Answer: Extending TextVQA from Image to Video with Spatio-Temporal Clues
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Nankai University（南开大学）；University of Chinese Academy of Sciences（中国科学院大学）；Nanjing University of Science and Technology（南京理工大学）
针对视频文本视觉问答中时空关系易被破坏的问题，提出TEA方法，通过恢复时空关系并整合OCR线索，大幅超越现有方法。
2024-12-17 cs.CV
Video-o3: Native Interleaved Clue Seeking for Long Video Multi-Hop Reasoning
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）；SIAT, Chinese Academy of Sciences（中国科学院软件研究所）
本研究提出Video-o3框架，通过迭代发现显著视觉线索、细粒度检查关键片段以及适应性终止，提升长视频多跳推理能力，实验表明其在MLVU和Video-Holmes上分别达到72.1%和46.5%的准确率。
2026-05-21 cs.CV
See More, Think Deeper: Query-Expanded Visual Evidence and Answer-Clue Guided Reflection for Long Video Understanding
Baidu Inc.（百度公司）；Harbin Institute of Technology（哈尔滨工业大学）；Hong Kong University of Science and Technology（香港科技大学）
提出CoVER框架，通过动态收集查询扩展视觉证据和答案特定视觉反馈验证草稿答案，实现从答案中心生成到证据中心和视觉可验证推理的转变，在长视频理解任务上超越同规模模型及部分闭源模型。
2026-06-08 cs.AI cs.CV
AV-Reasoner: Improving and Benchmarking Clue-Grounded Audio-Visual Counting for MLLMs
Nanjing University（南京大学）
本文提出CG-AV-Counting线索标注计数基准和AV-Reasoner模型，通过GRPO与课程学习提升多模态大语言模型的音视频计数能力，在多个基准上取得最优结果，并揭示了语言空间推理在分布外场景下的局限性。
2025-07-22 cs.CV
Mumpy: Multilateral Temporal-view Pyramid Transformer for Video Inpainting Detection
Ocean University of China（中国海洋大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Leicester（莱斯特大学）
本文提出MumPy，一种多边时间视图金字塔Transformer，通过新设计的编码器、可变形窗口交互模块和多金字塔解码器灵活协作时空线索，有效识别视频修复区域，并在领域内和跨域评估中表现优越。
2024-08-29 cs.CV
End-to-end Video Gaze Estimation via Capturing Head-face-eye Spatial-temporal Interaction Context
National Key Laboratory of Science and Technology on Multi-Spectral Information Processing, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院多谱信息处理技术国家级重点实验室）
本文提出MCGaze方法，通过端到端捕获头部-面部-眼睛时空交互上下文，联合定位线索并融合全局与局部特征，实现高效视频注视估计，在Gaze360数据集上验证优越性。
2023-12-29 cs.CV
Make-A-Protagonist: Generic Video Editing with An Ensemble of Experts
National University of Singapore（新加坡国立大学）；The University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology（香港科技大学）
提出名为Make-A-Protagonist的通用视频编辑框架，利用多专家解析文本与视觉线索，并通过掩码引导去噪采样的视觉-文本生成模型，实现细粒度、个性化的视频编辑。
2024-02-19 cs.CV
MemoryCard: Topic-Aware Multi-Modal Clue Compression for Long-Video Question Answering
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Digital China Group（数字中国集团）
提出MemoryCard框架，通过将长视频分割为主题事件单元并生成事件级摘要和代表性视觉时刻，以记忆卡形式增强VLMs的长视频问答能力，在相同视觉令牌预算下准确率提升高达21.8%。
2026-08-31 cs.CL cs.CV
Robust Watermarking for Video Forgery Detection with Improved Imperceptibility and Robustness
Fudan University（复旦大学）
视频很容易受到篡改攻击，从而改变含义并欺骗观众。以前的视频伪造检测方案发现微小的线索来定位篡改区域。然而，攻击者可以通过使用视频压缩或模糊来破坏这些线索，从而成功地逃避监管。提出了一种用于篡改定位的视频水印网络。我们共同训练一个基于3D-UNet的水印嵌入网络和一个解码器，预测篡改掩码。水印嵌入所产生的扰动几乎是不可感知的。考虑到目前还没有现成的可区分视频编解码器模拟器，我们建议通过集成其他典型攻击的模拟结果来模拟视频压缩，例如，JPEG压缩和模糊，作为近似值。实验结果表明，该方法生成的水印视频具有良好的不可见性，并鲁棒性和准确地定位篡改区域的攻击版本。
2022-07-07 cs.CV
Vatex Video Captioning Challenge 2020: Multi-View Features and Hybrid Reward Strategies for Video Captioning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Science and Technology Beijing（北京科技大学）；Wuhan University（武汉大学）
本报告介绍了我们为VATEX字幕挑战赛2020提供的解决方案，该挑战赛要求为视频生成中英文描述。我们确定了提高性能的三个关键因素，即：多视图功能，混合奖励和多样化的合奏。基于我们的VATEX 2019挑战方法，我们今年通过更先进的模型架构、外观和运动特征的组合以及仔细的超参数调整实现了重大改进。我们的方法在中文和英文视频描述音轨上都取得了很好的效果。
2020-06-24 cs.CV cs.MM
Masked Motion Encoding for Self-Supervised Video Representation Learning
South China University of Technology（华南理工大学）；Information Technology R&D Innovation Center of Peking University（北京大学信息技术研发创新中心）；UMass Amherst（马萨诸塞大学阿默斯特分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Key Laboratory of Big Data and Intelligent Robot, Ministry of Education（教育部大数据与智能机器人重点实验室）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）
如何从未标记的视频中学习有区别的视频表示是视频分析的挑战，但至关重要。最新的尝试试图通过预测掩蔽区域中的外观内容来学习表示模型。然而，简单地掩蔽和恢复外观内容可能不足以对时间线索进行建模，因为外观内容可以容易地从单个帧重构。为了克服这一局限性，我们提出了掩蔽运动编码（MME），这是一种新的预训练范式，可以重建外观和运动信息来探索时间线索。在MME中，我们专注于解决两个关键挑战，以提高表示性能：1）如何很好地表示跨多帧的可能的长期运动;以及2）如何从稀疏采样的视频中获得细粒度的时间线索。由于人类能够通过跟踪物体的位置变化和形状变化来识别动作，因此我们提出在掩蔽区域中重建一条代表这两种变化的运动轨迹。此外，给定稀疏的视频输入，我们强制该模型在空间和时间维度上重建密集的运动轨迹。通过使用我们的MME范式进行预训练，该模型能够预测长期和细粒度的运动细节。代码可在https://github.com/XinyuSun/MME上获得。
2023-03-23 cs.CV
HCMS: Hierarchical and Conditional Modality Selection for Efficient Video Recognition
Fudan University（复旦大学）；University of Maryland（马里兰大学）
视频本质上是多模态的。传统的视频识别流水线通常融合多模态特征以提高性能。然而，这不仅在计算上昂贵，而且忽略了不同视频依赖于不同模式进行预测的事实。本文介绍了分层和条件模态选择（HCMS），一个简单而有效的多模态学习框架，有效的视频识别。HCMS以低成本模式运作，即，默认情况下，音频线索，并在每个输入的基础上动态地决定是否使用计算昂贵的模态，包括外观和运动线索。这是通过以分层方式组织的三个LSTM的协作来实现的。特别是，在高成本模态上操作的LSTM包含门控模块，该门控模块将较低级别的特征和历史信息作为输入，以自适应地确定是否激活其相应的模态;否则，它只是重复使用历史信息。我们进行了广泛的实验上的两个大规模的视频基准，FCVID和ActivityNet，结果表明，所提出的方法可以有效地探索多模态信息，提高分类性能，同时需要更少的计算。
2022-12-06 cs.CV
Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos
University of Science and Technology of China（中国科学技术大学）
基于视频的人重新识别的目的是匹配行人从视频序列跨非重叠的相机视图。视频人物再识别的关键是有效地利用视频序列中的空间和时间线索。在这项工作中，我们提出了一种新的时空相关性和拓扑学习框架（CTL），追求歧视性和鲁棒性表示建模跨尺度时空相关性。具体地说，CTL利用CNN骨干和关键点估计器从人体中提取多粒度的语义局部特征作为图节点。它探索了一种上下文增强的拓扑结构，通过考虑全局上下文信息和人体的物理连接来构建多尺度图。此外，设计了一个3D图卷积和跨尺度图卷积，这有利于直接跨时空和跨尺度的信息传播捕获层次时空依赖和结构信息。通过联合执行这两个卷积，CTL有效地挖掘与外观信息互补的综合线索，以增强表征能力。在两个视频基准上的大量实验证明了该方法的有效性和最先进的性能。
2021-04-15 cs.CV
Think with Grounding: Curriculum Reinforced Reasoning with Video Grounding for Long Video Understanding
Tsinghua University（清华大学）
Video-TwG通过课程强化框架和接地范式提升长视频理解，采用双阶段策略和TwG-GRPO算法优化推理与接地质量。
2026-02-21 cs.AI cs.CV
TimeThink: Reasoning with Time for Video LLMs
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；OPPO AI Center, OPPO Inc.（OPPO公司OPPO人工智能中心）
研究视频推理中模型发现时间证据的问题，提出TimeThink框架，将时间线索步骤作为优化原语，引入奖励和优化目标，构建数据集，实验表明该框架提升了时间定位和推理性能。
2026-07-07 cs.CV
Video-based Person Re-identification with Accumulative Motion Context
Hefei University of Technology（合肥工业大学）；National University of Singapore（新加坡国立大学）；Panasonic R&D Center Singapore（松下新加坡研发中心）
基于视频的身份再识别在现实安全和视频监控中起着核心作用。在本文中，我们提出了一种新的累积运动上下文（AMOC）网络来解决这个重要的问题，它有效地利用了长距离运动上下文，在具有挑战性的条件下鲁棒地识别同一个人。给定相同或不同人的视频序列，所提出的AMOC网络使用双流卷积架构从相邻帧的集合中联合学习外观表示和运动上下文。然后，AMOC积累的线索，从运动上下文的循环聚合，允许有效的信息流之间的相邻帧和捕捉动态要点的人。AMOC的架构是端到端可训练的，因此可以调整运动上下文以在不利条件（例如遮挡）下补充外观线索。在三个公共基准数据集上进行了广泛的实验，iLIDS-VID，PRID-2011和MARS数据集，以研究AMOC的性能。实验结果表明，所提出的AMOC网络优于国家的最先进的视频为基础的重新识别显着，并证实了利用长距离运动上下文的视频为基础的人重新识别的优势，验证了我们的动机明显。
2017-06-13 cs.CV
VCGAN: Video Colorization with Hybrid Generative Adversarial Network
City University of Hong Kong（香港城市大学）；TCL Corporate Research Hong Kong（TCL香港企业研究院）；Tencent Holdings Ltd（腾讯控股有限公司）；SenseTime Group Limited（商汤集团有限公司）
提出VCGAN混合生成对抗网络，通过全局与占位符特征提取器及密集长期损失，实现高质量且时间一致的视频着色。
2023-05-07 cs.CV cs.MM
REVEAL: A Rubric-Guided Agent for Explicit Evidence Sufficiency Verificationin Long-Video Question Answering
该研究针对长视频问答中现有方法割裂事件、忽略证据充分性的问题，提出REVEAL框架，通过自适应分块的结构化记忆与rubric引导的证据验证，实现更可靠的推理且性能优于现有SOTA方法。
2026-08-11 cs.AI cs.CV
Relation-Aware Distribution Representation Network for Person Clustering with Multiple Modalities
SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）；University of Cologne（科隆大学）；EWI gGmbH（EWI有限责任公司）；Shanghai AI Laboratory（上海人工智能实验室）；Qing Yuan Research Institute of Shanghai Jiao Tong University（上海交通大学清源研究院）
提出RAD-Net，通过基于图的方法和循环更新策略构建模态无关的分布表示，解决多模态特征相关性弱的问题，在VPCD和VoxCeleb2数据集上F-score分别提升6%和8.2%。
2023-08-01 cs.CV cs.MM
GRACE: Boosting Video MLLMs with Grounded Action-Centric Evidence for Viewer Sentiment Prediction
Shanghai Jiao Tong University（上海交通大学）；Hangzhou Dianzi University（杭州电子科技大学）；The 52nd Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第五十二研究所）；Hangzhou Bywin Technology Co., Ltd.（杭州百威科技有限公司）；Zhejiang Dahua Technology Co., Ltd.（浙江大华技术股份有限公司）；School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院）；Haihe Laboratory of Information Technology Application Innovation（海河信息技术应用创新实验室）
提出GRACE框架，通过提取时间有序的主谓宾三元组和视觉实体裁剪，增强视频MLLM对细粒度情感线索的提取与推理，在Pitts数据集上提升Qwen2.5-VL和Qwen3-VL性能。
2026-06-16 cs.CV
M2HF: Multi-level Multi-modal Hybrid Fusion for Text-Video Retrieval
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Donghua University（东华大学）；Tencent（腾讯）
视频包含多模态的内容，探索多层次的跨模态交互与自然语言查询可以提供很大的突出文本视频检索任务（TVR）。然而，将大规模预训练模型CLIP应用于TVR的新趋势方法并不关注视频中的多模态线索。此外，传统的方法简单地连接多模态特征，没有利用视频中的细粒度跨模态信息。在本文中，我们提出了一个多层次的多模态混合融合（M2 HF）网络，以探索全面的文本查询和视频中的每一个模态内容之间的相互作用。具体地说，M2 HF首先利用CLIP提取的视觉特征与从视频中提取的音频和运动特征进行早期融合，分别获得视听融合特征和运动视觉融合特征。在此过程中还考虑了多模态对准问题。然后，从视频中提取的视觉特征、视听融合特征、运动视觉融合特征和文本以多层次的方式与字幕查询建立跨模态关系。最后对各级检索结果进行后期融合，得到最终的文本-视频检索结果。我们的框架提供了两种训练策略，包括集成方式和端到端的方式。此外，提出了一种新的多模态平衡损失函数来平衡每个模态的贡献，以实现高效的端到端训练。M2 HF允许我们在各种基准上获得最先进的结果，例如，在MSR-VTT，MSVD，LSMDC，DiDeMo和ActivityNet上的Rank@1分别为64.9%，68.2%，33.2%，57.1%，57.8%。
2022-08-16 cs.CV cs.MM
Two-stage Temporal Modelling Framework for Video-based Depression Recognition using Graph Representation
Harbin University of Science and Technology（哈尔滨理工大学）；University of Cambridge（剑桥大学）；University of Nottingham（诺丁汉大学）
基于视频的抑郁症自动分析提供了一种快速、客观和可重复的自我评估解决方案，近年来得到了广泛的发展。虽然抑郁症的线索可以通过各种时间尺度的人类面部行为来反映，但大多数现有的方法要么专注于从短期或视频级别的面部行为中建模抑郁症。从这个意义上说，我们提出了一个两阶段的框架，模型抑郁症的严重程度，从多尺度的短期和视频水平的面部行为。短期抑郁行为建模阶段首先从多个短时间尺度深度学习抑郁相关的面部行为特征，其中提出了抑郁特征增强（DFE）模块，以增强所有时间尺度的抑郁相关线索并去除非抑郁噪声。然后，视频级抑郁行为建模阶段提出了两种新的图形编码策略，即，序列图表示（SEG）和谱图表示（SPG），将目标视频的所有短期特征重新编码为视频级图表示，总结与抑郁相关的多尺度视频级时间信息。因此，所产生的图形表示使用短期和长期面部行为模式来预测抑郁症的严重程度。在AVEC 2013和AVEC 2014数据集上的实验结果表明，所提出的DFE模块不断提高了各种CNN模型的抑郁严重程度估计性能，而SPG优于其他视频级建模方法。更重要的是，所提出的两阶段框架取得的结果显示出其有前途的和坚实的性能相比，广泛使用的一阶段建模方法。
2021-11-30 cs.CV
DIP: Diffusion Learning of Inconsistency Pattern for General DeepFake Detection
Sun Yat-sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）；Harbin Institute of Technology（哈尔滨工业大学）
针对深度伪造视频检测泛化性问题，提出基于Transformer的DIP框架，利用水平垂直方向运动不一致性，结合方向感知注意力、不一致性扩散与STI损失，实现了SOTA的通用检测性能。
2024-10-31 cs.CV cs.MM
Fusing Multi-Stream Deep Networks for Video Classification
Fudan University（复旦大学）；East China Normal University（华东师范大学）
本文研究了深度网络架构来解决视频分类问题。提出了一种多流框架，以充分利用视频中丰富的多模态信息。具体来说，我们首先训练三个卷积神经网络，分别对空间、短期运动和音频线索进行建模。长短期记忆网络，然后采用探索长期的时间动态。利用各个流的输出，我们提出了一种简单有效的融合方法来生成最终预测，其中每个类的最佳融合权重是自适应学习的，并且通过自动估计类关系来正则化学习过程。我们的贡献是双重的。首先，所提出的多流框架能够利用比以前尝试的更全面的多模态特征。其次，我们证明了自适应融合方法使用的类关系作为正则化优于传统的替代品，估计的权重在一个“自由”的方式。我们的框架在两个流行的基准测试中产生了比最先进的结果更好的结果，在UCF-101（不使用音频）上为92.2%，在哥伦比亚消费者视频上为84.9%。
2015-11-11 cs.CV cs.MM
Hybrid Video Diffusion Models with 2D Triplane and 3D Wavelet Representation
VIVE STUDIOS（VIVE工作室）；UNIST（蔚山国家科学技术研究院）；Korea University（高丽大学）
针对现有视频扩散方法难以充分建模时空信息的问题，本文提出HVDM，利用融合2D投影潜在、3D小波卷积和频率信息的混合自编码器，在多个基准上实现SOTA生成质量。
2024-04-03 cs.CV
Watching You: Global-guided Reciprocal Learning for Video-based Person Re-identification
Dalian University of Technology（大连理工大学）；Pengcheng Lab（鹏城实验室）；Remark Holdings
基于视频的人物再识别（Re-ID）旨在自动检索非重叠摄像机下的同一个人的视频序列。要实现这一目标，充分利用视频中丰富的时空线索是关键。现有的方法通常集中在最显著的图像区域，因此，他们很容易错过细粒度的线索，由于图像序列中的人的多样性。为了解决上述问题，在本文中，我们提出了一种新的全局引导的互惠学习（GRL）框架，基于视频的人重新识别。具体来说，我们首先提出了一个全局引导的相关性估计（GCE）生成局部特征和全局特征的特征相关性图，这有助于本地化的高和低相关性区域，以识别同一个人。然后，在全局表示的指导下，将区分性特征分解为高相关性特征和低相关性特征。此外，一个新的时间互惠学习（TRL）机制的设计，顺序增强高相关性的语义信息和积累低相关性的次关键线索。在三个公共基准上进行了广泛的实验。实验结果表明，我们的方法可以实现更好的性能比其他国家的最先进的方法。该代码在www.example.com上发布。
2021-04-01 cs.AI cs.CV
RT-NeRV: Rethinking Hybrid Neural Representations for Video via Residual Tokenization
Ningbo University（宁波大学）；Hangzhou Dianzi University（杭州电子科技大学）；Griffith University（格里菲斯大学）
提出RT-NeRV框架，通过将浅层残差特征和帧间残差线索离散化为紧凑残差标记，实现高效传输和利用，提升混合神经视频表示在低比特率下的细节保持和重建质量。
2026-05-22 cs.CV
Datasets, Clues and State-of-the-Arts for Multimedia Forensics: An Extensive Review
Delhi Technological University（德里理工大学）
本文系统综述了基于深度学习的图像与视频篡改检测方法，梳理基准数据集、篡改线索和主流架构，分类比较现有方法并指出研究空白与未来方向。
2024-01-13 cs.CV
VideoSSM: Autoregressive Long Video Generation with Hybrid State-Space Memory
HKU（香港大学）；PICO, ByteDance（字节跳动PICO）；SUSTech（南方科技大学）
VideoSSM通过结合自回归扩散与混合状态空间记忆，实现了具有全局一致性和运动稳定性的长视频生成，支持提示自适应交互并提升内容多样性。
2025-12-04 cs.CV
Large-Scale YouTube-8M Video Understanding with Deep Neural Networks
Institute for System Programming（系统编程研究所）
视频分类问题已经研究了很多年。卷积神经网络（CNN）在图像识别任务中的成功为研究人员创造更先进的视频分类方法提供了强大的动力。由于视频具有时间内容，因此长短期记忆（LSTM）网络成为方便的工具，可以对长期时间线索进行建模。这两种方法都需要大的输入数据数据集。本文使用最近公布的YouTube-8 M大规模数据集提供了三种模型来解决视频分类问题。第一个模型是基于帧池化方法。另外两个模型基于LSTM网络。在第三模型中使用混合专家模型中间层，允许在不显著增加计算的情况下增加模型容量。对不平衡训练数据的处理进行了一组实验。
2017-06-14 cs.CV
Spatial-temporal Fusion Convolutional Neural Network for Simulated Driving Behavior Recognition
Southeast University（东南大学）
异常驾驶行为是导致严重交通事故的主要原因之一，危及人类生命。因此，对驾驶行为监控的研究已成为交通安全和公共管理的重要内容。在本文中，我们进行这项有前途的研究，并采用两个流的CNN框架，基于视频的驾驶行为识别，其中空间流CNN捕获的外观信息从静止帧，而时间流CNN捕获运动信息与预先计算的光流位移之间的几个相邻的视频帧。我们研究不同的时空融合策略，结合帧内静态线索和帧间动态线索的最终行为识别。为了验证所设计的基于时空深度学习的模型的有效性，我们创建了一个模拟驾驶行为数据集，包含1237个视频，具有6种不同的驾驶行为进行识别。实验结果表明，我们提出的方法相比现有的方法获得了显着的性能改善。
2018-12-03 cs.CV cs.LG
Hybrid Neural Fusion for Full-frame Video Stabilization
National Taiwan University（国立台湾大学）；Google（谷歌）；UC Merced（加州大学默塞德分校）；Yonsei University（延世大学）；Virginia Tech（弗吉尼亚理工大学）
现有的视频稳定方法通常会产生可见的失真或需要对帧边界进行积极的裁剪，从而导致更小的视场。在这项工作中，我们提出了一个帧合成算法，以实现全帧视频稳定。我们首先从相邻帧估计密集的扭曲场，然后通过融合扭曲的内容来合成稳定的帧。我们的核心技术创新在于基于学习的混合空间融合，它消除了由光流不准确和快速移动物体引起的伪影。我们在NUS、自拍和DeepStab视频数据集上验证了我们方法的有效性。大量的实验结果表明，我们的方法比以前的视频稳定方法的优点。
2021-08-23 cs.CV
A Hybrid Framework for Action Recognition in Low-Quality Video Sequences
Delhi Technological University（德里理工大学）
基于视觉的活动识别对于安全、监控和监视应用至关重要。此外，实时分析具有低质量的视频，并且由于较差的照明和遮挡而包含关于周围环境的较少信息。因此，它需要一个更强大和集成的模型，用于低质量和夜间安全操作。在此背景下，我们提出了一种混合模型的光照不变的人体活动识别的基础上，子图像直方图均衡增强和k-关键姿势的人体轮廓。该特征向量在原始动作视频数据集的三个低曝光视频序列子集上给出了良好的平均识别精度。最后，在三个人工降级的低质量Weizmann动作，KTH和芭蕾运动数据集上测试了所提出的方法的性能。该模型在低曝光视频上优于现有技术，并实现了与类似的最先进方法相当的分类精度。
2019-03-11 cs.CV
EasyAnimate: High-Performance Video Generation Framework with Hybrid Windows Attention and Reward Backpropagation
Alibaba Cloud（阿里云）
EasyAnimate通过混合窗口注意力和奖励反向传播提升视频生成效率与质量，实现高性能视频生成。
2026-03-05 cs.CL cs.CV cs.MM
HECTOR: Hybrid Editable Compositional Object References for Video Generation
HECTOR通过混合可编辑组合对象引用，实现了视频生成中对复杂时空约束的高保真度满足和运动可控性提升。
2026-03-09 cs.CV
ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers
Qualcomm AI Research（高通人工智能研究）
ReHyAt通过结合softmax和线性注意力，实现高效的视频扩散模型，降低训练成本并提升长序列生成的可扩展性。
2026-01-07 cs.CV
Hybrid Architecture for Real-Time Video Anomaly Detection: Integrating Spatial and Temporal Analysis
Paris 8 University（巴黎第八大学）
本文受人类行为启发提出实时视频异常检测混合架构，整合基于VGG19+GRU的时间分析与YOLOv7的空间分析，支持并行或串行配置，通过实验比较配置并评估方法有效性。
2024-11-29 cs.CV
Removing Multiple Hybrid Adverse Weather in Video via a Unified Model
China University of Petroleum (East China)（中国石油大学（华东））；Xi’an Jiaotong University（西安交通大学）；IRay Technology Co., Ltd.（IRay科技有限公司）
UniWRV通过统一模型有效去除视频中多种混合恶劣天气，提升多种退化场景下的适应能力。
2025-03-08 cs.CV
SANA-Video 2.0: Hybrid Linear Attention with Attention Residuals for Efficient Video Generation
NVIDIA（英伟达）
SANA-Video 2.0是一种混合视频扩散Transformer，采用混合线性-softmax注意力和块注意力残差，在单个GPU上生成高质量视频，成本大幅降低，实现可扩展长时、高分辨率视频生成，性能与大模型竞争且速度更快。
2026-07-24 cs.CV
Detecting facial landmarks in the video based on a hybrid framework
Guangdong University of Technology（广东工业大学）
为了动态检测视频中的面部标志，我们提出了一种新的混合框架，称为检测跟踪检测（DTD）。首先，基于传统的人脸检测方法，从视频序列的第一帧中提取人脸限界框。然后，界标检测器检测面部界标，其基于级联深度卷积神经网络（DCNN）。接着，在基于中值流跟踪前一帧中的面部标志之后，估计并验证当前帧中的面部限界框。最后，通过特征点检测器从验证过的人脸限界框中准确地检测出当前帧中的人脸特征点。实验结果表明，与基于DCNN的逐帧人脸特征点检测方法相比，该方法能更有效地检测出人脸特征点，且耗时更少。
2016-09-21 cs.CV
MagicID: Hybrid Preference Optimization for ID-Consistent and Dynamic-Preserved Video Customization
Zhejiang University（浙江大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Hedra AI
针对视频定制中长视频身份退化与动态减弱问题，提出 MagicID 混合偏好优化框架，通过身份与动态奖励的成对数据及混合采样提升ID一致性和运动自然度。
2025-03-16 cs.CV
Open-o3-Video-v2: Seek, Ground, and Reason with Verifiable Spatio-Temporal Evidence
PKU（北京大学）；FDU（复旦大学）；NTU（台湾大学）；UC Merced（加州大学默塞德分校）
Open-o3-Video-v2将视频推理建模为智能体式证据定位过程，构建相关数据集并提出CS-GRPO方法，在V-STaR等基准上较骨干模型实现显著性能提升，验证了主动证据获取与可验证定位的互补性。
2026-10-14 cs.CV
UniVid: Pyramid Diffusion Model for High Quality Video Generation
UniVid通过融合文本提示和参考图像，结合时间金字塔交叉帧空间时间注意力模块，提升文本到视频、图像到视频及联合生成任务的时序一致性。
2026-03-14 cs.AI cs.CV cs.MM
TricorNet: A Hybrid Temporal Convolutional and Recurrent Network for Video Action Segmentation
University of Rochester（罗切斯特大学）
近年来，动作分割作为构建自动系统以理解未修剪视频的里程碑受到了相当大的关注。它通常被建模为序列标记问题，但包含与文本解析或语音处理相比的内在和充分的差异。在本文中，我们介绍了一种新的混合时间卷积和递归网络（TricorNet），它具有编码器-解码器架构：编码器由一个层次的时间卷积内核组成，可以捕获不同动作的局部运动变化;解码器是一个层次的递归神经网络，能够在编码阶段之后学习和记忆长期动作依赖关系。我们的模型很简单，但在视频序列标记方面非常有效。在三个公共行为分割数据集上的实验结果表明，该模型的性能优于现有技术。
2017-05-22 cs.CV
Hybrid Dynamic-static Context-aware Attention Network for Action Assessment in Long Videos
Sun Yat-sen University（中山大学）；Zhejiang Laboratory（之江实验室）；Peking University（北京大学）；PengCheng Laboratory（鹏城实验室）
动作质量评估的目的是对体育视频进行评分。然而，大多数现有的工作仅关注视频动态信息（即，运动信息），但是忽略运动员在视频中执行的特定姿势，这对于长视频中的动作评估是重要的。在这项工作中，我们提出了一种新的混合动态静态上下文感知注意力网络（ACTION-NET）的动作评估长视频。为了学习更多的区别表示的视频，我们不仅学习视频的动态信息，但也专注于在特定帧中检测到的运动员的静态姿势，这代表了在某些时刻的动作质量，以及所提出的混合动态-静态架构的帮助。此外，我们利用一个上下文感知的注意力模块，包括一个时间的逐实例图卷积网络单元和两个流的注意力单元，以提取更强大的流特征，其中前者是探索实例之间的关系，后者为每个实例分配一个适当的权重。最后，我们结合两个流的特征来回归最终的视频分数，由专家给出的地面实况分数监督。此外，我们还收集和注释了新的艺术体操数据集，其中包含四种不同类型的体操套路的视频，用于评估长视频中的动作质量评估。大量的实验结果验证了我们提出的方法的有效性，它优于相关的方法。代码和数据集可在\url{https://github.com/lingan1996/ACTION-NET}上获得。
2020-08-13 cs.CV
Audio-video Emotion Recognition in the Wild using Deep Hybrid Networks
University of Delaware（特拉华大学）；Target Corporation（塔吉特公司）
提出了一种基于视听的情感识别混合网络。虽然之前的大部分工作都集中在使用深度模型或从图像中提取的手工设计的特征上，但我们探索了基于图像和音频信号构建的多个深度模型。具体来说，除了在面部图像上训练的卷积神经网络（CNN）和递归神经网络（RNN）之外，混合网络还包含一个在整体声学特征向量上训练的SVM分类器，一个在从分段音频片段中提取的短期特征序列上训练的长短期记忆网络（LSTM），以及一个在图像状映射上训练的Inception（v2）-LSTM网络，其基于短期声学特征序列构建。实验结果表明，所提出的混合网络的性能优于基线方法的大幅度。
2020-02-20 cs.CV
Long-Horizon Streaming Video Generation via Hybrid Attention with Decoupled Distillation
The Hong Kong Polytechnic University（香港理工大学）；ByteDance（字节跳动）；City University of Hong Kong（香港城市大学）
本文提出混合强制方法，通过混合注意力设计联合优化时序信息保留与计算效率，采用轻量线性时序注意力和块稀疏注意力，实现高效稳定流式视频生成，实测在单块H100 GPU上达到29.5 FPS的实时832x480视频生成
2026-04-28 cs.CV
