HiTVideo: Hierarchical Tokenizers for Enhancing Text-to-Video Generation with Autoregressive Large Language Models
The University of Adelaide（阿德莱德大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出 HiTVideo，通过多层离散 token 的 3D 因果 VAE 构建分层视频分词器，在保持重建质量的同时将 bpp 降低约 70%，从而简化语言引导下的自回归视频生成。
2025-03-14 cs.AI cs.CV
Hierarchical Action Recognition: A Contrastive Video-Language Approach with Hierarchical Interactions
Zhejiang Lab（之江实验室）
针对视频识别忽视类别层次结构的问题，本文提出一种编码层次依赖并施加自上而下约束的视频-语言框架，并构建了中风康复细粒度基准，显著提升了层次化识别性能。
2024-05-28 cs.CV cs.MM
Hierarchical Conditional Relation Networks for Multimodal Video Question Answering
Applied AI Institute（应用人工智能研究院）；Deakin University（迪肯大学）
视频QA在多个方面挑战建模人员。视频建模不仅需要建立动态视觉通道的时空模型，还需要建立相关信息通道（如字幕或音频）的多模态结构。视频QA至少增加了两层复杂性-在语言查询的上下文中为每个通道选择相关内容，并响应于查询组成时空概念和关系。为了满足这些要求，我们从两个方面开始：（a）内容选择和关系构建可以共同封装到一个条件计算结构中，以及（b）视频长度结构可以分层组成。对于（a），本文介绍了一种称为条件关系网络（CRN）的通用可重用神经单元，它将一组张量对象作为输入，并转换为一组新的对象，这些对象对输入的关系进行编码。CRN的通用设计有助于简化视频QA的常见复杂模型构建过程，通过简单的块堆叠，灵活地适应两个不同领域的输入方式和条件功能。因此，我们通过引入用于视频QA的分层条件关系网络（HCRN）来实现洞察（b）。HCRN的主要目的是利用视频的视觉内容的内在属性及其伴随的频道的组合性，层次结构，以及近和远的长期关系。然后，HCRN以两种形式应用于视频QA，其中答案仅从视觉内容中推理的短形式，以及呈现相关信息（例如字幕）的长形式。我们严格的评估表明，在经过充分研究的基准测试（包括TGIF-QA和TVQA等大规模真实世界数据集）上，SOTA得到了一致的改进，证明了我们的CRN单元和HCRN在视频QA等复杂领域的强大能力。
2021-01-03 cs.AI cs.CV
Multilevel Hierarchical Network with Multiscale Sampling for Video Question Answering
University of Chinese Academy of Sciences（中国科学院大学）；Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；University College London（伦敦大学学院）
视频问答（VideoQA）是视觉理解和自然语言处理的多模态结合，具有挑战性。虽然大多数现有的方法忽略了不同时间尺度上的视觉外观-运动信息，但如何将深度学习模型的多级处理能力与这种多尺度信息结合起来是未知的。针对这些问题，本文提出了一种新的多级分层网络（MHN）与多尺度采样的视频QA。MHN包括两个模块，即递归多模态交互（RMI）和并行视觉推理（PVR）。通过多尺度采样，RMI迭代每个尺度上的外观-运动信息与问题嵌入的相互作用，构建多级问题引导的视觉表征。在此基础上，PVR通过共享的Transformer编码器，并行地推断每个级别的视觉线索，以适应回答可能依赖于相关级别的视觉信息的不同问题类型。通过对三个VideoQA数据集的广泛实验，我们证明了比以前最先进的性能有所提高，并证明了我们方法每个部分的有效性。
2022-05-09 cs.AI cs.CV
Hierarchical Video Frame Sequence Representation with Deep Convolutional Graph Network
Alibaba Group（阿里巴巴集团）
高精度的视频标签预测（分类）模型归因于大规模数据。这些数据可以是由预先训练好的卷积神经网络提取的帧特征序列，从而提高了建模的效率。无监督的解决方案，如特征平均池，作为一个简单的标签无关的无参数的方法，有有限的能力来表示视频。而有监督的方法，如RNN，可以大大提高识别精度。然而，视频长度通常很长，视频中的事件之间存在层次关系，基于RNN的模型的性能下降。提出了一种基于深度卷积图神经网络（DCGN）的视频分类方法。该方法利用视频具有层次结构的特点，通过图网络对视频帧序列进行多级特征提取，得到一种分层反映事件语义的视频表示。我们在YouTube-8 M大规模视频理解数据集上测试了我们的模型，结果优于基于RNN的基准测试。
2019-06-02 cs.CV
DELTAVID: Enhancing Fine-Grained Spatiotemporal Perception with Cross-Video Differences
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Kuaishou Technology（快手科技）
研究针对视频多模态大语言模型缺乏精确局部时空感知问题，提出DELTAVID框架，将跨视频找差异转化为可训练感知信号，还引入相关数据集，提升了跨视频差异理解性能并能迁移到通用视频理解基准。
2026-07-07 cs.AI cs.CV
Learning from Videos for 3D World: Enhancing MLLMs with 3D Vision Geometry Priors
The Chinese University of Hong Kong（香港中文大学）
该研究提出VG LLM方法，通过3D视觉几何编码器从视频提取3D先验并融合视觉token输入MLLM，实现无需额外3D输入的3D场景理解与空间推理，4B模型性能比肩现有最优方法，在VSI-Bench上超越Gemini-1.5-Pro。
2025-10-22 cs.AI cs.CV
Enhancing Subsequent Video Retrieval via Vision-Language Models (VLMs)
Case Western Reserve University（凯斯西储大学）
针对视觉-语言模型难以应对自适应、时间敏感视频检索的问题，本文提出结合向量相似度搜索与图数据结构的框架，利用VLM嵌入初检并建模片段上下文关系实现自适应查询优化，经实验验证具备良好精度、扩展性与鲁棒性。
2025-03-21 cs.AI cs.CV cs.IR
DramaQA: Character-Centered Video Story Understanding with Hierarchical QA
Seoul National University（首尔大学）；AI Institute (AIIS)（人工智能研究所）
尽管最近在计算机视觉和自然语言处理方面取得了进展，但由于视频故事的内在困难，开发能够理解视频故事的机器仍然很难实现。此外，如何基于人类认知过程来评价视频理解程度的研究还没有进展。在本文中，我们提出了一种新的视频问答（视频QA）任务，DramaQA，全面了解的视频故事。DramaQA侧重于两个方面：1）基于人类智力认知发展阶段的分层QA作为评估指标。2)以用户为中心的视频注释，以模拟故事的局部连贯性。我们的数据集是建立在电视剧“另一个吴小姐”，它包含17,983问答对从23,928个不同长度的视频剪辑，每个问答对属于四个难度级别之一。我们提供了217，308个注释图像，其中包含丰富的以字符为中心的注释，包括视觉边界框，主要角色的行为和情感以及共指解决脚本。此外，我们提出了多层次上下文匹配模型，该模型分层理解以字符为中心的视频表示来回答问题。我们公开发布我们的数据集和模型用于研究目的，我们希望我们的工作能够为视频故事理解研究提供新的视角。
2020-12-17 cs.AI cs.CL cs.CV
Video Joint Modelling Based on Hierarchical Transformer for Co-summarization
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）；Tsinghua University（清华大学）
视频摘要旨在自动生成视频摘要（故事板或视频略读），以便于大规模视频检索和浏览。现有的视频摘要方法大多是对单个视频进行摘要，忽略了相似视频之间的相关性。然而，这样的相关性对于视频理解和视频摘要也是有用的。为了解决这个问题，我们提出了基于分层Transformer的视频联合建模（VJMHT）的共同摘要，它考虑到视频之间的语义依赖关系。具体而言，VJMHT由两层Transformer组成：第一层从相似视频的单个镜头中提取语义表示，而第二层执行镜头级视频联合建模以聚合跨视频语义信息。通过这种方式，完整的跨视频高级模式被显式地建模和学习，用于单个视频的摘要。此外，基于transformer的视频表示重建，以最大限度地提高摘要和原始视频之间的高层次相似性。大量的实验进行了验证所提出的模块的有效性和VJMHT的F-措施和基于等级的评价方面的优越性。
2022-06-29 cs.CV
Cross-Modal and Hierarchical Modeling of Video and Text
U. of Southern California（南加州大学）；Netflix（网飞）
视觉数据和文本数据是由多粒度的信息组成的。视频可以描述由多个片段或镜头组成的复杂场景，其中每个片段或镜头描述语义上连贯的事件或动作。同样，一个段落可能包含不同主题的句子，这些句子共同传达了一个连贯的信息或故事。在本文中，我们调查的建模技术，这样的层次顺序数据，其中有多个模态之间的对应关系。具体来说，我们引入层次序列嵌入（HSE），一个通用的模型，用于将不同模态的序列数据嵌入到层次语义空间中，具有显式或隐式的对应信息。我们对大规模的视频和段落检索数据集进行了实证研究，并证明了所提出的方法的优越性能。此外，我们研究了我们学到的嵌入应用于下游任务时的有效性。我们展示了它在zero-shot动作识别和视频描述中的实用性。
2018-10-16 cs.CV
Hierarchically Decoupled Spatial-Temporal Contrast for Self-supervised Video Representation Learning
Indiana University Bloomington（印第安纳大学伯明顿分校）
我们提出了一种新的自监督视频表示学习的技术：（a）解耦的学习目标分为两个对比的子任务，分别强调空间和时间特征，（b）执行它的层次，以鼓励多尺度的理解。出于它们在监督学习中的有效性，我们首先将时空特征学习解耦和分层学习引入到无监督视频学习的背景中。我们通过实验表明，可以将增强操作作为正则化来引导网络在对比学习中学习所需的语义，并且我们提出了一种方法，使模型能够在多个尺度上分别捕获空间和时间特征。我们还介绍了一种方法来克服不同层次的实例不变性的发散水平的问题，通过建模的不变性作为损失权重的客观重新加权。在UCF101和HMDB51上的下游动作识别基准上的实验表明，我们提出的分层解耦时空对比度（HDC）在整体上比直接学习时空特征有了实质性的改进，并且与其他最先进的无监督方法相比，具有竞争力的性能。代码将提供。
2021-08-31 cs.AI cs.CV cs.LG
EVOQUER: Enhancing Temporal Grounding with Video-Pivoted BackQuery Generation
Pennsylvania State University（宾夕法尼亚州立大学）；Kwai Inc（快手）
时间基础旨在预测对应于自然语言查询输入的视频剪辑的时间间隔。在这项工作中，我们提出了EVOQUER，一个时间接地框架，将现有的文本到视频接地模型和视频辅助查询生成网络。给定查询和未修剪的视频，时间基础模型预测目标间隔，并且通过生成输入查询的简化版本将预测的视频剪辑馈送到视频翻译任务中。EVOQUER通过将来自时间基础和查询生成的损失函数作为反馈来形成闭环学习。我们在两个广泛使用的数据集Charades-STA和ActivityNet上的实验表明，EVOQUER在R@0.7时实现了1.05和1.31的改进。我们还讨论了查询生成任务如何通过解释时间接地模型行为来促进错误分析。
2021-09-10 cs.AI cs.CL cs.CV
Hierarchical Explanations for Video Action Recognition
University of Amsterdam（阿姆斯特丹大学）
本文提出HIPE方法，通过构建原型与类别间的层次关系，实现视频动作分类的多层次推理与解释，并在ActivityNet和UCF-101上验证了其忠实度。
2023-04-03 cs.AI cs.CV cs.LG
HAVANA: Hierarchical stochastic neighbor embedding for Accelerated Video ANnotAtions
Delft University of Technology（代尔夫特理工大学）
针对视频标注耗时的问题，提出基于HSNE的HAVANA标注流水线，通过多尺度特征表示加速标注，实现10倍以上点击量 reduction，验证了有效性并探究了最优参数配置。
2024-09-16 cs.CV
Hierarchical Attention Network for Action Recognition in Videos
Arizona State University（亚利桑那州立大学）；Yahoo Research（雅虎研究院）
了解野生视频中的人类行为是一项重要的任务，具有广泛的应用。在本文中，我们提出了一种新的方法命名为分层注意力网络（HAN），它能够将静态空间信息，短期运动信息和长期视频的时间结构复杂的人类行为的理解。与最近的基于卷积神经网络的方法相比，HAN具有以下优点：（1）HAN可以在更长的范围内有效地捕获视频时间结构;（2）HAN能够揭示具有不同时间步长的帧块之间的时间转换，即，其明确地对帧以及视频片段之间的时间转换进行建模，以及（3）具有多步空间时间注意力机制，HAN自动学习视频帧中的重要区域和视频中的时间段。所提出的模型在标准视频动作基准上进行训练和评估，即，UCF-101和HMDB-51，它的性能明显优于最先进的技术
2016-07-21 cs.CV
Hierarchical Deep Recurrent Architecture for Video Understanding
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）；SenseTime Group Limited（商汤集团有限公司）
本文介绍了我们为Youtube-8 M视频理解挑战赛开发的系统，其中使用大规模基准数据集进行多标签视频分类。该框架包含层次化的深层结构，包括帧级序列建模部分和视频级分类部分。在帧级序列建模部分，我们探索了一系列方法，包括池化LSTM（PLSTM），分层LSTM（HLSTM），随机LSTM（RLSTM），以解决视频中大量帧的问题。我们还介绍了两种注意力池方法，单注意力池（ATT）和多注意力池（Multi-ATT），以便我们可以更多地关注视频中的信息帧，而忽略无用的帧。在视频级分类部分，提出了两种提高分类性能的方法，即分层混合专家（HMoE）和分类器链（CC）。我们最终提交的是一个由18个子模型组成的集合。就官方评估指标全局平均精度（GAP）20而言，我们的最佳提交在公共50%的测试数据集上达到0.84346，在私有50%的测试数据上达到0.84333。
2017-07-11 cs.CV
Hierarchical Object-oriented Spatio-Temporal Reasoning for Video Question Answering
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）
视频问答（Video QA）是开发新AI功能的强大测试平台。这项任务需要学习在时空中跨视觉和语言领域对物体、关系和事件进行推理。高级推理要求从关联视觉模式识别提升到对对象、它们的行为和交互的类似符号的操纵。为了达到这个目标，我们提出了一个面向对象的推理方法，视频被抽象为一个动态的流的相互作用的对象。在视频事件流的每个阶段，这些对象彼此交互，并且它们的交互相对于查询并且在视频的整体上下文下进行推理。这种机制被具体化为一个家庭的通用神经元和他们的多层架构称为层次面向对象的时空推理（HOSTR）网络。该神经模型以分层嵌套的时空图的形式维护对象的一致生命线。在这个图中，动态交互式面向对象的表示是建立在视频序列，分层抽象的自下而上的方式，并收敛到正确答案的关键信息。该方法在多个主要的视频QA数据集上进行了评估，并在这些任务中建立了新的最先进的技术。对模型行为的分析表明，面向对象推理是一种可靠的、可解释的、有效的视频质量保证方法。
2021-08-25 cs.CV
Open-Ended Long-Form Video Question Answering via Hierarchical Convolutional Self-Attention Networks
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）
开放式视频问答的目标是根据给定的问题从参考的视频内容自动生成自然语言答案。目前，大多数现有的方法集中在短形式的视频问答与多模态递归编码器-解码器网络。虽然这些工作已经取得了可喜的成绩，他们可能仍然是无效的应用于长格式视频问答由于缺乏远程依赖建模和沉重的计算成本的痛苦。为了解决这些问题，我们提出了一个快速的分层卷积自注意编码器-解码器网络（HCSA）。具体地说，我们首先开发了一个分层卷积自注意编码器来有效地对长格式视频内容进行建模，该编码器为视频序列构建了分层结构，并从视频上下文中捕获了问题感知的长距离依赖关系。然后，我们设计了一个多尺度注意解码器，将多层视频表示的答案生成，这避免了顶部编码器层的信息丢失。大量的实验表明了该方法的有效性和效率。
2019-06-28 cs.CV cs.LG
Video Tracking Using Learned Hierarchical Features
Nanyang Technological University（南洋理工大学）；Advanced Digital Science Center（先进数字科学中心）；City University of Hong Kong（香港城市大学）
在本文中，我们提出了一种方法来学习视觉对象跟踪的层次特征。首先，我们离线学习功能强大的辅助视频序列不同的运动模式。通过两层卷积神经网络学习分层特征。在堆叠结构中嵌入时间慢度约束使得学习的特征对复杂的运动变换具有鲁棒性，这对于视觉对象跟踪是重要的。然后，给定一个目标视频序列，我们提出了一个领域自适应模块，根据特定的目标对象在线适应预先学习的特征。在深度特征学习模块的两个层中进行适配，以便包括特定目标对象的外观信息。因此，学习的层次特征可以对目标对象的复杂运动变换和外观变化具有鲁棒性。我们将我们的特征学习算法集成到三种跟踪方法中。实验结果表明，使用我们学习的层次特征，可以实现显着的改善，特别是在视频序列与复杂的运动变换。
2015-11-25 cs.CV
Enhancing Temporal Understanding in Video-LLMs through Stacked Temporal Attention in Vision Encoders
Leibniz University Hannover（莱比锡大学汉诺威分校）；L3S Research Center（L3S研究中心）；Microsoft（微软公司）
尽管多模态大语言模型（MLLM）取得了重大进展，但理解视频中复杂的时间动态仍然是一个重大挑战。我们的实验表明，目前的视频大语言模型（Video-LLM）架构在时间理解方面存在严重的局限性，需要详细理解动作序列和时间进程的任务。在这项工作中，我们提出了一个视频LLM架构，直接在视觉编码器中引入堆叠的时间注意力模块。这种设计在视觉编码器中引入了时间注意力，使模型能够在将视觉令牌传递给LLM之前更好地捕获动作的进展和帧之间的关系。我们的研究结果表明，这种方法显着提高了时间推理，并优于现有的模型在视频问答任务，特别是在动作识别。我们在基准测试方面的改进，包括VITATECS、MVBench和Video-MME，最高可达+5.5%。通过增强具有时间结构的视觉编码器，我们解决了Video-LLM的视频理解中的关键差距。项目页面和代码可在：www.example.com。
2025-10-29 cs.CV
HAVEN: Hierarchically Aligned Multimodal Benchmark for Unified Video Understanding
Department of Information and Computer Sciences（信息与计算机科学系）
本文提出HAVEN，一个用于统一视频理解的层次对齐多模态基准，旨在解决现有多模态大语言模型在复杂叙事总结和推理方面评估不足的问题，通过引入全粒度和全多模态的数据集架构，提供了一个严谨的标准测试平台。
2026-05-19 cs.CV
HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；National University of Singapore（新加坡国立大学）
HERMES提出一种无需训练的架构，通过将KV缓存视为分层内存框架，实现视频流的实时准确理解，提升处理速度并降低内存消耗。
2026-05-07 cs.AI cs.CL cs.CV
VideoForest: Person-Anchored Hierarchical Reasoning for Cross-Video Question Answering
Sun Yat-Sen University（中山大学）；Cardiff University（卡地夫大学）；Shenzhen University（深圳大学）
针对跨视频问答的关联难题，提出人物锚定层次推理框架VideoForest，利用ReID与多粒度生成树及多智能体推理，在CrossVideoQA上显著优于现有方法。
2025-08-05 cs.CV cs.MM
VISTA: Enhancing Long-Duration and High-Resolution Video Understanding by Video Spatiotemporal Augmentation
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
本文提出 VISTA 视频时空增强框架，利用现有视频-字幕数据合成长时长、高分辨率指令数据，并构建 VISTA-400K 与 HRVideoBench，显著提升视频 LMM 性能。
2024-12-01 cs.CV
VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding
VideoARM通过自适应代理推理和分层记忆结构，有效降低长视频理解的token消耗，优于现有方法DVD。
2026-03-30 cs.CL cs.CV
Open-ended Hierarchical Streaming Video Understanding with Vision Language Models
Yonsei University（延世大学）
提出分层流媒体视频理解任务及OpenHOUSE系统，利用LLMs丰富数据集并扩展动作感知至自由文本生成，其专用模块显著提升了相邻动作边界检测性能。
2025-09-15 cs.CV
HieraMamba: Video Temporal Grounding via Hierarchical Anchor-Mamba Pooling
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
HieraMamba通过分层锚点-Mamba池化结构，在长视频中实现精确的时间定位，解决了视频时间接地中的全局上下文与细粒度时间细节捕捉难题。
2026-03-31 cs.CV
TA-Prompting: Enhancing Video Large Language Models for Dense Video Captioning via Temporal Anchors
Graduate Institute of Communication Engineering, National Taiwan University（国家交通大学通信工程研究所）；NVIDIA（NVIDIA公司）
TA-Prompting通过引入时间锚点提升视频大语言模型的密集视频描述能力，有效解决时间边界识别问题，提升时间感知视频事件理解性能。
2026-01-06 cs.AI cs.CV cs.LG
Temporally-Weighted Hierarchical Clustering for Unsupervised Action Segmentation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Daimler TSS（戴姆勒TSS公司）；Facebook AI Research（脸书人工智能研究实验室）；MIT（麻省理工学院）；Harvard Medical School（哈佛医学院）；KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）
动作分割是指推断视频中语义一致的视觉概念的边界，并且是许多视频理解任务的重要要求。对于这个和其他视频理解任务，监督方法已经取得了令人鼓舞的性能，但需要大量的详细帧级注释。我们提出了一种全自动和无监督的方法来分割视频中的动作，不需要任何训练。我们的建议是一个有效的时间加权层次聚类算法，可以组语义一致的视频帧。我们的主要发现是，通过考虑到时间进展，用1-最近邻图表示视频足以形成语义和时间上一致的帧簇，其中每个簇可以表示视频中的一些动作。此外，我们为动作分割建立了强大的无监督基线，并在五个具有挑战性的动作分割数据集上显示了与已发布的无监督方法相比的显着性能改进。我们的代码可在https://github.com/ssarfraz/FINCH-Clustering/tree/master/TW-FINCH上获得
2021-03-27 cs.AI cs.CV cs.LG
GHR-VQA: Graph-guided Hierarchical Relational Reasoning for Video Question Answering
School of ECE National Technical University of Athens（国家技术大学雅典电子工程学院）；Robotics Institute Athena Research Center（雅典研究中心机器人研究所）；University of Luxembourg（卢森堡大学）
GHR-VQA通过图引导的层次关系推理框架，利用场景图捕捉视频中的人-物交互，提升视频问答任务的性能。
2025-11-25 cs.CV
State-Space Hierarchical Compression with Gated Attention and Learnable Sampling for Hour-Long Video Understanding in Large Multimodal Models
本文提出了一种基于状态空间模型和门控注意力的高效压缩方法，用于减少大模型中小时级视频的token消耗，同时保持性能。
2026-02-07 cs.CV
Hierarchical Memory for Long Video QA
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；ByteDance Inc.（字节跳动公司）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
本文提出基于STAR Memory层次记忆机制的长视频问答方案，有效压缩视觉标记以降低内存和延迟，并利用MovieChat-1K数据微调，在CVPR'24 LOVEU挑战赛赛道1中夺冠。
2024-12-15 cs.CV
Hierarchical Contrastive Motion Learning for Video Action Recognition
University of Maryland, College Park（马里兰大学帕克分校）；NVIDIA（英伟达）；Google（谷歌）
视频动作识别的一个核心问题是如何对运动进行建模。在本文中，我们提出了层次对比运动学习，一个新的自监督学习框架，以提取有效的运动表示从原始视频帧。我们的方法逐步学习对应于网络中不同抽象级别的运动特征层次。这种层次化的设计弥合了低层运动线索和高层识别任务之间的语义鸿沟，促进了外观和运动信息在多个层次上的融合。在每个级别上，通过对比学习提供显式运动自我监督，以执行当前级别的运动特征，以预测上一级别的未来运动特征。因此，在更高级别的运动特征被训练以逐渐捕获语义动态并进化为更有区别的动作识别。我们的运动学习模块是轻量级的，灵活的嵌入到各种骨干网络。在四个基准上的大量实验表明，该方法始终取得优异的结果。
2022-01-17 cs.CV
Enhancing Self-supervised Video Representation Learning via Multi-level Feature Optimization
Tencent Youtu Lab（腾讯优图实验室）；Heriot-Watt University（赫瑞-瓦特大学）；Zhejiang University（浙江大学）；Tencent PCG（腾讯平台与内容事业群）
自监督视频表示学习的关键是从未标记的视频中构建一般特征。然而，最近的工作主要集中在高层次的语义和忽视低层次的表示和它们的时间关系，这是至关重要的一般视频理解。为了解决这些挑战，本文提出了一个多层次的特征优化框架，以提高学习视频表示的泛化和时间建模能力。具体地说，利用朴素和原型对比学习得到的高层特征构建分布图，指导低层和中层特征学习过程。我们还设计了一个简单的时间建模模块，从多层次的功能，以提高运动模式的学习。实验结果表明，结合图约束和时间建模的多层次特征优化可以大大提高视频理解的表示能力。代码可在https://github.com/shvdiwnkozbw/Video-Representation-via-Multi-level-Optimization上获得。
2021-08-17 cs.CV
VistaDPO: Video Hierarchical Spatial-Temporal Direct Preference Optimization for Large Video Models
The University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology（香港科技大学）；National University of Singapore（新加坡国立大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Nanyang Technological University（南洋理工大学）
针对大型视频模型（LVMs）的人类直觉对齐问题与视频幻觉，提出VistaDPO分层时空直接偏好优化框架，通过实例、时间、感知三级对齐，并构建VistaDPO-7k数据集，显著提升LVMs性能并缓解相关问题。
2025-04-17 cs.CV cs.LG
Enhancing Temporal Modeling of Video LLMs via Time Gating
The Chinese University of Hong Kong（香港中文大学）
针对现有视频大语言模型忽略时序信息、时序理解能力不足的问题，提出带时间门控模块的TG-Vid模型，通过门控空间/时序注意力及门控MLP增强时序建模，在多个时序敏感基准上性能显著优于现有模型。
2024-10-08 cs.AI cs.CL cs.CV
VideoPerceiver: Enhancing Fine-Grained Temporal Perception in Video Multimodal Large Language Models
State Key Laboratory of Networking and Switching Technology, BUPT（网络与交换技术国家重点实验室）
VideoPerceiver通过两阶段训练框架提升视频多模态大语言模型对细粒度动作和短暂事件的感知能力，显著优于现有模型。
2025-11-24 cs.CV
Hierarchical Conditional Relation Networks for Video Question Answering
Applied Artificial Intelligence Institute（应用人工智能研究所）；Deakin University（迪肯大学）
视频问答（VideoQA）是具有挑战性的，因为它需要建模能力，以提取动态的视觉工件和遥远的关系，并将它们与语言概念。我们引入了一个通用的可重用神经单元，称为条件关系网络（CRN），它可以作为构建块来构建更复杂的视频表示和推理结构。CRN将张量对象数组和条件特征作为输入，并计算编码输出对象数组。模型的建立成为一个简单的练习，复制，重新安排和堆叠这些可重用的单元，为不同的模态和上下文信息。因此，这种设计支持高阶关系和多步推理。VideoQA的最终架构是CRN层次结构，其分支表示子视频或剪辑，所有这些都共享与上下文条件相同的问题。我们对知名数据集的评估取得了新的SoTA结果，证明了构建通用推理单元对复杂领域（如VideoQA）的影响。
2020-03-17 cs.CV
HERO: Hierarchical Encoder for Video+Language Omni-representation Pre-training
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
我们提出了HERO，一个新的大规模视频+语言全方位表示学习的框架。HERO以分层结构对多模态输入进行编码，其中视频帧的局部上下文由跨模态Transformer经由多模态融合来捕获，并且全局视频上下文由时间Transformer来捕获。除了标准的掩蔽语言建模（MLM）和掩蔽帧建模（MFM）目标之外，我们还设计了两个新的预训练任务：（i）视频字幕匹配（VSM），其中模型预测全局和局部时间对齐;以及（ii）帧顺序建模（FOM），其中模型预测混洗视频帧的正确顺序。HERO在HowTo 100 M和大规模电视数据集上进行联合训练，以深入了解多角色交互的复杂社会动态。综合实验表明，HERO在基于文本的视频/视频时刻检索、视频问答（QA）、视频语言推理和视频描述等多个领域的多个基准测试中取得了新的成就。我们还介绍了两个新的具有挑战性的基准How2 QA和How2 R的视频QA和检索，从不同的视频内容收集多模态。
2020-09-29 cs.CL cs.CV cs.LG
VideoMem: Enhancing Ultra-Long Video Understanding via Adaptive Memory Management
School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学）；Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学）
VideoMem通过自适应内存管理框架，有效提升超长视频理解任务的性能，采用PRPO算法和两个核心模块实现高效训练和长期记忆保留。
2025-12-16 cs.CV
Hierarchical Video Understanding
University of Toronto（多伦多大学）；Twenty Billion Neurons（两百亿神经元公司）
我们引入了一个分层架构的视频理解，利用现实世界的行动，通过捕捉目标在不同级别的粒度的结构。我们设计的模型首先学习简单的粗粒度任务，然后再学习更细粒度的目标。该模型在不同粒度级别上使用联合损失进行训练。我们展示了最近发布的Something-Something数据集的实证结果，该数据集提供了一个目标层次结构，即粗粒度的动作组，细粒度的动作类别和标题。实验表明，在不同粒度级别上利用目标的模型在所有级别上都能获得更好的性能。
2018-09-04 cs.CV cs.LG stat.ML
Hierarchical Banzhaf Interaction for General Video-Language Representation Learning
School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）；Pengcheng Laboratory（鹏城实验室）；Skywork AI（天工AI）；Nanyang Technological University（南洋理工大学）
本文提出层次化Banzhaf交互方法，利用合作博弈论建模视频-文本细粒度语义对应关系，并通过融合单模态与跨模态组件重构表示以缓解计算偏差，在多个视频-语言任务上验证了其有效性和泛化能力。
2024-12-30 cs.CV
HIG: Hierarchical Interlacement Graph Approach to Scene Graph Generation in Video Understanding
University of Arkansas（阿肯色大学）
本文提出层级交织图（HIG）方法，利用统一层与图结构从密集人-物交互中生成场景图，并引入新数据集ASPIRe，在五个任务上超越现有方法。
2024-03-15 cs.CV
HierarQ: Task-Aware Hierarchical Q-Former for Enhanced Video Understanding
Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学）；Microsoft Research（微软研究院）
HierarQ提出任务感知分层Q-Former，通过顺序处理帧和双流记忆库，避免帧采样并捕获长短上下文，在10个视频基准上取得领先性能。
2025-04-24 cs.CV
Enhancing Long-Term Memory using Hierarchical Aggregate Tree for Retrieval Augmented Generation
Amrita School of Artificial Intelligence（阿姆利塔人工智能学院）；Amrita Vishwa Vidyapeetham（阿姆利塔维什瓦维迪亚皮塔姆大学）
针对 LLM 长对话上下文受限问题，提出 HAT 层次聚合树记忆结构，将上下文选择建模为最优树遍历并递归聚合相关信息，实验表明其提升多轮对话连贯性与摘要质量且避免参数指数增长。
2024-06-10 cs.AI cs.CL
Enhancing Transformer for Video Understanding Using Gated Multi-Level Attention and Temporal Adversarial Training
Samsung Research America（美国三星研究院）
Transformer模型的引入使序列建模，特别是文本领域的建模取得了巨大的进步。然而，使用基于注意力的模型进行视频理解仍然是相对未开发的。在本文中，我们引入了门控对抗Transformer（GAT），以增强基于注意力的模型对视频的适用性。GAT使用多级注意门来基于局部和全局上下文对帧的相关性进行建模。这使得模型能够以各种粒度理解视频。此外，GAT使用对抗训练来提高模型的泛化能力。我们提出了时间注意力正则化方案，以提高注意力模块对对抗性示例的鲁棒性。我们说明了GAT在大规模YoutTube-8 M数据集上的视频分类任务的性能。我们进一步显示消融研究以及定量和定性分析，以展示改善。
2021-03-18 cs.CV cs.LG cs.MM
Video-Text as Game Players: Hierarchical Banzhaf Interaction for Cross-Modal Representation Learning
Peking University（北京大学）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Shopee（虾皮）；Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
基于对比学习的视频语言表示学习方法，例如，CLIP等基于预定义视频文本对的语义交互技术取得了优异的性能。为了澄清这种粗粒度的全局交互并更进一步，我们必须面对细粒度跨模态学习的具有挑战性的破壳交互。本文创造性地将视频-文本作为博弈者，运用多元合作博弈理论对视频-文本进行建模，有效地处理了细粒度语义交互过程中的不确定性问题，这种语义交互具有粒度多样、组合灵活、强度模糊等特点。具体地说，我们提出了层次Banzhaf互动（HBI）的价值可能对应的视频帧和文本的话敏感和可解释的跨模态对比。为了有效地实现多视频帧和多文本单词的合作博弈，该方法对原始视频帧（文本单词）进行聚类，并计算合并令牌之间的Banzhaf交互。通过堆叠令牌合并模块，我们实现了不同语义层次的合作游戏。在常用的文本视频检索和视频问答基准上进行的大量实验证明了HBI的有效性。更重要的是，它还可以作为一种可视化工具，促进对跨模态交互的理解，这对社区产生了深远的影响。项目页面可在www.example.com上找到。
2023-03-25 cs.CV cs.MM
MSPred: Video Prediction at Multiple Spatio-Temporal Scales with Hierarchical Recurrent Networks
University of Bonn（波恩大学）；SAP SE（SAP公司）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
自主系统不仅需要了解其当前环境，还应该能够根据过去的状态预测未来的行动，例如基于捕获的相机帧。然而，现有的模型主要侧重于预测未来的视频帧的时间跨度很短，因此是有限的长期行动规划的使用。我们提出了多尺度分层预测（MSPred），一种新的视频预测模型，能够同时预测未来可能的结果，在不同的时空尺度上的不同级别的粒度。通过结合空间和时间下采样，MSPred可以有效地预测抽象表示，例如长时间范围内的人体姿势或位置，同时仍然保持视频帧预测的竞争力。在我们的实验中，我们证明了MSPred可以准确地预测未来的视频帧，以及在分箱和动作识别数据集上的高级表示（例如关键点或语义），同时始终优于流行的未来帧预测方法。此外，我们烧蚀不同的模块和设计选择MSPred，实验验证，结合不同的空间和时间粒度的功能，导致卓越的性能。可以在https://github.com/AIS-Bonn/MSPred中找到重现我们实验的代码和模型。
2022-11-09 cs.CV cs.RO
Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning
Renmin University of China（中国人民大学）；University of Adelaide（阿德莱德大学）
随着视频在网络上的迅速出现，视频和文本之间的跨模态检索越来越受到人们的关注。目前解决这个问题的主要方法是学习一个联合嵌入空间来度量跨模态相似性。然而，简单的联合嵌入不足以表示复杂的视觉和文本细节，如场景，对象，动作及其组成。为了提高细粒度的视频文本检索，我们提出了一个层次图推理（HGR）模型，它将视频文本匹配分解到全球到本地的水平。具体来说，该模型将文本分解为事件、动作、实体和跨层关系三个层次的语义图。利用基于注意力的图推理生成层次化的文本嵌入，从而指导学习多样化和层次化的视频表示。HGR模型聚合来自不同视频文本级别的匹配，以捕获全局和局部细节。在三个视频文本数据集上的实验结果证明了该模型的优越性。这样的层次分解还可以更好地泛化数据集，并提高区分细粒度语义差异的能力。
2020-03-01 cs.AI cs.CV
Hierarchical Multimodal Transformer to Summarize Videos
Xidian University（西安电子科技大学）；Northwestern Polytechnical University（西北工业大学）
虽然视频摘要在循环神经网络（RNN）的帮助下取得了巨大的成功，但是基于RNN的方法忽略了视频帧之间的全局依赖性和多跳关系，从而限制了性能。Transformer模型是解决这一问题的有效模型，在机器翻译、视频描述、\emph{etc}等序列建模任务中优于基于RNN的方法。基于Transformer的巨大成功和视频的自然结构（帧-镜头-视频），本文提出了一种分层的Transformer用于视频摘要，它能够捕捉帧和镜头之间的依赖关系，并利用镜头形成的场景信息对视频进行摘要。此外，我们认为，音频和视觉信息是必不可少的视频摘要任务。为了整合这两种信息，它们被编码在一个两个流的计划，和多模态融合机制的基础上的分层Transformer。在本文中，所提出的方法被表示为分层多模式Transformer（HMT）。大量的实验表明，HMT优于大多数传统的基于RNN和基于注意力的视频摘要方法。
2021-09-22 cs.AI cs.CV
HiT: Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval
Peking University（北京大学）；FAIR；University of Chinese Academy of Sciences（中国科学院大学）；Kuaishou Technology（快手科技）
随着互联网上多媒体数据的增长，视频文本检索已经成为一个热门的研究课题。Transformer由于其良好的性能而受到越来越多的关注。然而，现有的跨模态Transformer方法通常受到两个主要限制：1）对其中不同层具有不同特征特性的Transformer架构的利用是有限的; 2）端到端训练机制限制小批量中的负样本交互。在本文中，我们提出了一种新的方法命名为分层Transformer（HiT）的视频文本检索。HiT在特征级和语义级进行层次化的跨模态对比匹配，实现多视角、综合的检索效果。此外，受MoCo的启发，我们提出了跨模态学习的动量跨模态对比，以实现大规模的负样本交互，这有助于生成更精确和更有区别的表示。在三个主要的视频文本检索基准数据集上的实验结果证明了该方法的优越性。
2021-08-18 cs.AI cs.CV
HecVL: Hierarchical Video-Language Pretraining for Zero-shot Surgical Phase Recognition
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；ICube（ICube实验室）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；Technische Universität München（慕尼黑工业大学）
提出 HecVL 分层视频-语言预训练框架，利用手术讲座视频与片段、阶段、视频三级文本进行由细到粗对比学习，实现无标注零样本且跨流程、跨医疗中心的手术阶段识别。
2025-03-13 cs.AI cs.CV
DeepQAMVS: Query-Aware Hierarchical Pointer Networks for Multi-Video Summarization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工大学）
最近网络视频共享平台的增长增加了对能够有效地浏览、检索和汇总视频内容的系统的需求。查询感知的多视频摘要是一种很有前途的技术，迎合了这一需求。在这项工作中，我们引入了一种新的用于多视频摘要的查询感知分层指针网络，称为DeepQAMVS，它联合优化了多个标准：（1）简洁性，（2）重要查询相关事件的代表性和（3）时间顺序合理性。我们设计了一个分层注意力模型，它分解了三个分布，每个分布从不同的模态收集证据，然后是一个指针网络，它选择要包含在摘要中的帧。DeepQAMVS通过强化学习进行训练，并结合了捕获代表性，多样性，查询适应性和时间一致性的奖励。我们在MVS1K数据集上实现了最先进的结果，推理时间与输入视频帧的数量呈线性关系。
2021-05-13 cs.AI cs.CV cs.IR
