The Challenge of Believability in Video Games: Definitions, Agents Models and Imitation Learning
UEB(欧洲布列塔尼大学);ENIB(法国国立布雷斯特工程师学院);LISyC(LISyC实验室);Virtualys(Virtualys公司)
在本文中,我们解决了在视频游戏中创建可信代理(虚拟角色)的问题。我们只考虑可信度的一个含义,“给人一种被玩家控制的感觉”,并概述了它的评估问题。我们提出了几种模型,代理在游戏中,可以产生可信的行为,无论是从行业和研究。对于高水平的可信度,学习,特别是模仿学习似乎是要走的路。我们快速概述了不同的方法,使视频游戏的代理从玩家那里学习。最后,我们提出了一个两步的方法来开发新的可信代理模型。首先,我们必须为我们的应用程序找到可信度的标准,并定义一种评估方法。然后设计模型和学习算法。
2010-09-02 cs.AI
Temporal Preference Optimization for Long-Form Video Understanding
Stanford University(斯坦福大学)
针对现有视频多模态大模型长视频时间定位能力不足的问题,提出时间偏好优化框架,通过双粒度偏好自训练增强时间理解,在多个基准上验证了有效性,实现了7B模型的性能领先。
2025-09-01 cs.AI cs.CL cs.CV
Video Flow as Time Series: Discovering Temporal Consistency and Variability for VideoQA
Hefei University of Technology, Hefei, China(合肥工业大学);University of Science and Technology of China, Hefei, China(中国科学技术大学)
本文提出时间三元Transformer(T3T)架构,通过时间平滑、时间差分和时间融合模块分别建模视频的时间一致性与可变性,在多个VideoQA基准上提升了问答准确率。
2025-04-08 cs.AI cs.CV
Beyond Temporal Pooling: Recurrence and Temporal Convolutions for Gesture Recognition in Video
Ghent University(根特大学);Google DeepMind(谷歌DeepMind)
最近的研究已经证明了递归神经网络在机器翻译、图像描述和语音识别方面的强大功能。然而,对于捕获视频中的时间结构的任务,仍然存在许多开放的研究问题。目前的研究建议使用一个简单的时间特征池策略,以考虑到视频的时间方面。我们证明,这种方法是不够的手势识别,时间信息是更具歧视性相比,一般的视频分类任务。我们探索了视频中手势识别的深层架构,并提出了一种新的端到端可训练神经网络架构,该架构结合了时间卷积和双向递归。我们的主要贡献是双重的;首先,我们证明了递归对于这项任务至关重要;其次,我们证明了添加时间卷积会带来显着的改进。我们在Montalbano手势识别数据集上评估了不同的方法,在那里我们获得了最先进的结果。
2016-02-10 cs.AI cs.CV cs.LG
A Structurally and Temporally Extended Bayesian Belief Network Model: Definitions, Properties, and Modeling Techniques
University of Pittsburgh(匹兹堡大学)
我们开发了可修改的时间信念网络(MTBN)语言作为贝叶斯信念网络(BN)的结构和时间扩展,以促进不确定性下的规范性时间和因果建模。在本文中,我们提出了模型的定义,它的组件,它的基本属性。我们还讨论了如何表示各种类型的时间知识,重点是混合时间显式时间建模,动态结构,避免因果时间不一致,并处理涉及同时行动(决策)和因果和非因果关联的模型。我们研究BN,可修改的信念网络,MTBN与一个单一的时间粒度之间的关系,并建议适用于他们每一个的应用领域。
2013-02-13 cs.AI
SEASON: Mitigating Temporal Hallucination in Video Large Language Models via Self-Diagnostic Contrastive Decoding
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所)
SEASON通过自诊断对比解码方法,无需训练即可提升视频大语言模型在时间信息处理上的准确性与可靠性。
2025-12-04 cs.AI cs.CL cs.CV
TimeMarker: A Versatile Video-LLM for Long and Short Video Understanding with Superior Temporal Localization Ability
Meituan Inc.(美团公司)
针对现有视频-语言模型忽视精确时间定位、难以处理不同长度视频的问题,提出集成时间分隔符标记和AnyLength机制的TimeMarker,在多个基准上实现最先进性能,长短视频理解均表现出色。
2024-11-27 cs.AI cs.CV
Grounded-VideoLLM: Sharpening Fine-grained Temporal Grounding in Video Large Language Models
University of California, Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);The Chinese University of Hong Kong(香港中文大学);NVIDIA;Adobe Research(Adobe研究);Fudan University(复旦大学);Meta AI
本文提出 Grounded-VideoLLM,通过额外时序流和离散时序 token 增强时间建模与时间戳表示,并采用多阶段训练及自动标注的 grounded VideoQA 数据集,显著提升视频大语言模型的细粒度时序定位能力。
2025-08-21 cs.AI cs.CV
Temporal Perceiving Video-Language Pre-training
ByteDance Inc.(字节跳动公司);Zhejiang University(浙江大学)
视频语言预训练模型最近显着改善了各种多模态下游任务。以往的主流工作主要采用对比学习来实现跨模态的全局特征对齐。然而,视频和文本之间的局部关联没有被建模,限制了预训练模型的通用性,特别是对于某些查询文本需要时间视频边界的任务。这项工作引入了一种新的文本-视频本地化预文本任务,以实现细粒度的时间和语义对齐,使得经过训练的模型可以在给定文本描述的情况下准确地感知视频中的时间边界。具体而言,文本视频定位包括时刻检索,它预测给定文本描述的视频中的开始和结束边界,以及文本定位,它将文本的子集与视频特征相匹配。为了产生时间边界,几个视频中的帧特征被手动合并成与文本序列交互的长视频序列。在定位任务中,我们的方法将细粒度的框架表示与单词表示连接起来,并隐式地区分单个模态中不同实例的表示。值得注意的是,综合实验结果表明,我们的方法显着提高了各种基准的最先进的性能,包括文本到视频检索,视频问答,视频描述,时间动作定位和时间矩检索。代码将很快发布。
2023-01-18 cs.AI cs.CV
Tempo-R0: A Video-MLLM for Temporal Video Grounding through Efficient Temporal Sensing Reinforcement Learning
本文提出视频多模态大语言模型 Tempo-R0,通过自适应注意力分配、显式时间戳模态对齐以及基于部分无关拒绝的分组相对策略优化,在时序视频定位任务上较 SOTA 方法提升约 3.5%。
2025-07-07 cs.AI cs.CV
VideoEvolve: Evolving Agent Harnesses for Video Temporal Grounding
Tsinghua University(清华大学);Columbia University(哥伦比亚大学);Harbin Engineering University(哈尔滨工程大学)
针对视频时间定位中智能体框架手动优化困难的问题,提出VideoEvolve框架,通过完形填空式表示和分支引导演化自动改进框架,实验证明其有效提升多个基准上的定位性能。
2026-10-02 cs.AI cs.CV
VideoITG: Multimodal Video Understanding with Instructed Temporal Grounding
The Hong Kong Polytechnic Univ(香港理工大学);Nanjing Univ(南京大学);NVIDIA(NVIDIA公司);Harvard Univ(哈佛大学)
VideoITG通过设计VidThinker流水线,自动生成指令条件化描述,检索相关视频片段并选择关键帧,提升多模态视频理解任务的性能。
2026-03-17 cs.AI cs.CV
Temporal Memory Attention for Video Semantic Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
视频语义分割需要利用视频序列帧间复杂的时间关系。以往的工作通常利用精确的光流来利用时间关系,这受到了沉重的计算成本。在本文中,我们提出了一个时间记忆注意力网络(TMANet)的自适应集成的长期时间关系的视频序列的基础上的自我注意力机制没有穷举的光流预测。特别地,我们使用过去的几帧来构建一个存储器来存储当前帧的时间信息。然后,我们提出了一个时间记忆注意模块来捕捉当前帧和记忆之间的关系,以增强当前帧的表示。我们的方法在两个具有挑战性的视频语义分割数据集上实现了新的最先进的性能,特别是在Cityscapes上的80.3% mIoU和在CamVid上的76.5% mIoU。
2021-09-13 cs.AI cs.CV
Describing Videos by Exploiting Temporal Structure
Université de Montréal(蒙特利尔大学);École Polytechnique de Montréal(蒙特利尔理工学院);Université de Sherbrooke(舍布鲁克大学)
最近在使用递归神经网络(RNN)进行图像描述方面取得的进展,激发了对其在视频描述中应用的探索。然而,虽然图像是静态的,但处理视频需要对其动态时间结构进行建模,然后将这些信息适当地集成到自然语言描述中。在这种情况下,我们提出了一种方法,成功地考虑到本地和全球的时间结构的视频产生的描述。首先,我们的方法采用了时空3-D卷积神经网络(3-D CNN)表示的短时动态。在视频动作识别任务上训练3-D CNN表示,以便产生针对人类运动和行为调谐的表示。其次,我们提出了一种时间注意机制,允许超越局部时间建模,并学习自动选择最相关的时间段给定的文本生成RNN。我们的方法超过了Youtube2Text数据集上BLEU和METEOR指标的当前最先进水平。我们还展示了一个新的,更大的,更具有挑战性的配对视频和自然语言描述数据集的结果。
2015-10-01 cs.AI cs.CL cs.CV
Temporal Regularization Makes Your Video Generator Stronger
Everlyn AI(埃夫林人工智能公司);HKUST(香港科技大学);UCF(中佛罗里达大学);HKU(香港大学)
针对视频生成中时间连贯性与多样性难以兼顾的问题,提出无需修改架构的数据层面时间增强策略FluxFlow,经多基准实验验证可有效提升多种视频生成模型的时间质量。
2025-03-19 cs.AI cs.CV
Empowering LLMs with Pseudo-Untrimmed Videos for Audio-Visual Temporal Understanding
针对未修剪音视频时间标注数据缺乏的问题,提出基于VALOR构建大规模伪未修剪数据集PU-VALOR,并微调多模态LLM得到AVicuna,实现音视频事件时间定位与时间感知对话,达到SOTA性能。
2025-10-08 cs.AI cs.CV
CHAIN: Exploring Global-Local Spatio-Temporal Information for Improved Self-Supervised Video Hashing
Huazhong University of Science and Technology(华中科技大学);University of Electronic Science and Technology of China(电子科技大学)
提出 CHAIN 自监督视频哈希框架,通过对比学习捕获全局时空信息,并结合帧顺序验证与场景变化正则化建模局部细节,在四个基准上取得最优性能。
2023-10-29 cs.AI cs.CV
Context-Aware Temporal Embedding of Objects in Video Data
The University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
本文提出一种上下文感知的时间对象嵌入模型,利用相邻帧间对象的邻接性和语义相似性构建嵌入空间,结合传统视觉嵌入以增强下游应用,并支持使用LLM进行视频叙述。
2024-08-23 cs.AI cs.CV
Video Action Recognition Using spatio-temporal optical flow video frames
Kapital Bank(资本银行);Khazar University(哈扎尔大学);Consumer Experience Tribe(消费者体验部落);Lumos Extension(Lumos扩展);School of Data(数据学院)
基于视频的人体动作识别是近年来计算机视觉研究的热点之一。该领域有许多应用,如监控,机器人,医疗保健,视频搜索和人机交互。在视频中识别人的动作存在许多问题,例如背景杂乱、障碍物、视点变化、执行速度和摄像机移动。已经提出了大量的方法来解决这些问题。本文重点研究了使用深度神经网络进行视频分类的空间和时间模式识别。该模型将RGB图像和光流作为输入数据,并输出动作类编号。最终的识别准确率约为94%。
2021-02-05 cs.AI cs.CV
EVOQUER: Enhancing Temporal Grounding with Video-Pivoted BackQuery Generation
Pennsylvania State University(宾夕法尼亚州立大学);Kwai Inc(快手)
时间基础旨在预测对应于自然语言查询输入的视频剪辑的时间间隔。在这项工作中,我们提出了EVOQUER,一个时间接地框架,将现有的文本到视频接地模型和视频辅助查询生成网络。给定查询和未修剪的视频,时间基础模型预测目标间隔,并且通过生成输入查询的简化版本将预测的视频剪辑馈送到视频翻译任务中。EVOQUER通过将来自时间基础和查询生成的损失函数作为反馈来形成闭环学习。我们在两个广泛使用的数据集Charades-STA和ActivityNet上的实验表明,EVOQUER在R@0.7时实现了1.05和1.31的改进。我们还讨论了查询生成任务如何通过解释时间接地模型行为来促进错误分析。
2021-09-10 cs.AI cs.CL cs.CV
VideoMind: A Chain-of-LoRA Agent for Temporal-Grounded Video Reasoning
The Hong Kong Polytechnic University(香港理工大学);National University of Singapore(新加坡国立大学)
VideoMind 提出了一种基于角色的链式 LoRA 机制,用于提升视频时序 grounded 推理的效率与灵活性。
2026-02-21 cs.AI cs.CV
Progressive Growing of Video Tokenizers for Temporally Compact Latent Spaces
Adobe Research(Adobe研究院);Northeastern University(东北大学)
提出渐进式增长的视频分词器训练方法,利用低压缩模型引导高压缩模块,在提升时间压缩比的同时改善重建质量,并减少视频扩散模型的令牌预算。
2025-08-02 cs.AI cs.CV eess.IV
DaMO: A Data-Efficient Multimodal Orchestrator for Temporal Reasoning with Video LLMs
College of Artificial Intelligence, National Yang Ming Chiao Tung University(人工智能学院,阳明交通大学);Institute of Population Health Sciences, National Health Research Institutes(人口健康科学研究所,国家健康研究院);Department of Computer Science, National Yang Ming Chiao Tung University(计算机科学系,阳明交通大学)
DaMO是一种专为视频LLM设计的数据高效多模态协调器,通过时序感知Fuseformer和四阶段训练范式提升时序推理能力,实现更精确的多模态理解。
2026-01-28 cs.AI cs.CL cs.CV
AI Powered High Quality Text to Video Generation with Enhanced Temporal Consistency
Microsoft(微软)
针对文本到视频生成中的时间一致性和细粒度控制问题,提出MOVAI分层框架,通过组合场景解析器、时间-空间注意力机制和渐进式视频精修模块,在多项指标上实现最先进性能。
2025-10-30 cs.AI cs.CV cs.IR
VideoComp: Advancing Fine-Grained Compositional and Temporal Alignment in Video-Text Models
Google DeepMind(谷歌DeepMind)
本文提出 VideoComp 基准与学习框架,通过构建多事件视频组合性基准和分层成对偏好损失,提升视频-文本模型在细粒度时序对齐上的能力。
2025-04-10 cs.AI cs.CL cs.CV