PAWA: Panoramic Action-conditioned World Modeling for Multiple Agents
Alaya Lab(阿拉亚实验室);Peking University(北京大学);Institute of Science Tokyo(东京科学大学)
提出PAWA数据集与框架,开发双塔式模型结合二次相位玩家编码,在Minecraft上实现更优的多人世界建模,开源以推动相关研究。
2026-10-14 cs.AI cs.CV
Thinker-WM: A Unified World Model with Shared Multimodal Representations for Embodied Intelligence
Ubtech(优必选)
本研究提出Thinker-WM,一种带共享多模态表示的统一世界模型,通过统一动态Transformer联合建模RGB、深度与动作,在EWMBench等具身世界模型评估中排名第一,验证了共享表示的优势。
2026-10-21 cs.AI cs.CV cs.RO
TriMotion: Modality-Agnostic Camera Control for Video Generation
GIST(光州科学技术院);Huawei Noah's Ark Lab(华为诺亚方舟实验室);Yonsei University(延世大学);Imperial College London(伦敦帝国理工学院)
提出TriMotion框架,通过将视频、姿态和文本输入映射到共享运动嵌入空间,实现模态无关的摄像机控制视频生成,并引入潜在运动一致性目标,无需像素级解码即可准确跟随目标轨迹。
2026-06-23 cs.AI cs.CV cs.RO
Olaf-World: Orienting Latent Actions for Video World Modeling
Show Lab, National University of Singapore;Research (A STAR), Singapore
提出SeqΔ-REPA对齐目标,通过冻结自监督视频编码器的时序特征差异锚定潜在动作,实现无标签视频中可迁移的动作控制世界模型预训练。
2026-05-26 cs.AI cs.CV cs.LG
Baton: Explicit Semantic Blueprints for Joint Video-Audio Generation
Fudan University(复旦大学);Tencent Hunyuan(腾讯幻元)
提出Baton框架,通过VA-Planner生成语义对齐的模态感知规划令牌作为蓝图,注入扩散骨干以协调视频和音频去噪,解决现有方法因缺乏共享长期规划导致的跨模态对齐脆弱问题。
2026-06-01 cs.CV
iFLYTEK-Embodied-Omni Technical Report
iFLYTEK;LindenBot;University of Science and Technology of China(中国科学技术大学)
研究通用具身智能体,提出统一多模态基础模型iFLYTEK-Embodied-Omni,通过共享多模态自注意力联合建模视觉、语言和动作,结合多种数据构建数据集并采用四阶段策略训练,实现脑-小脑协作。
2026-07-07 cs.AI cs.CV
SUV: Future Scene Understanding as Video Generation for End-to-End Driving
SUV是将未来场景理解建模为视频生成的端到端驾驶框架,其在NAVSIM-v2和WOD-E2E基准上优于近期SOTA方法,实现了更优的轨迹规划性能。
2026-08-05 cs.CV
NoiseController: Towards Consistent Multi-view Video Generation via Noise Decomposition and Collaboration
Tianjin University(天津大学);The Hong Kong Polytechnic University(香港理工大学);Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学)
本文提出NoiseController,通过多级噪声分解、多帧噪声协作和联合去噪,增强多视角视频生成的时空一致性,并在公开数据集上取得最先进性能。
2025-04-25 cs.CV
LayerT2V: A Unified Multi-Layer Video Generation Framework
Shanghai Jiao Tong University(上海交通大学);Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院);Nanjing University(南京大学);Shanghai Innovation Institute(上海创新研究院)
LayerT2V通过统一的多层视频生成框架,实现了多层输出并提升了视频生成的语义一致性和时间一致性。
2026-02-26 cs.AI cs.CV cs.LG
CoDrive: Cross-Vehicle World-Consistent Video Generation with Precise Trajectory Control for Cooperative Driving
Tsinghua University(清华大学);Tencent Hunyuan(腾讯混元);Zhongguancun Academy(中关村学院)
CoDrive提出跨车辆多视角视频生成框架,通过共享世界坐标与混合训练实现精确轨迹控制下的多车观测一致性,提升轨迹可控性和几何、实例一致性。
2026-09-29 cs.AI cs.CV
OmniHumanoid: Streaming Cross-Embodiment Video Generation with Paired-Free Adaptation
Show Lab, National University of Singapore(展示实验室,新加坡国立大学)
本文提出OmniHumanoid框架,通过分离可迁移运动学习与躯体特定适应,实现跨躯体视频生成,利用无配对视频进行适应,并通过分支隔离注意力设计提升运动与躯体适应的分离度。
2026-05-12 cs.CV
Reward Lightning: Fast Video Generation via Homologous Preference Distillation
Tencent Hunyuan(腾讯混元)
研究视频扩散模型中同时进行偏好对齐和蒸馏加速的挑战,提出统一框架Reward Lightning,利用同源原理在共享表示中对齐和加速模型,介绍潜在奖励模型和同源偏好蒸馏,实验证明其有效性。
2026-07-07 cs.CV
Native Audio-Visual Alignment for Generation
ERNIE Team, Baidu Inc.(百度公司ERNIE团队)
提出NAVA框架,通过原生音视频对齐和上下文条件联合去噪,实现高质量、同步且可控的音视频生成。
2026-05-28 cs.CV
LynnReal-Omni: Native multi-modal Video Generation for Agentic Visual Workflows
LynnReal AI
LynnReal-Omni提出统一多模态视频生成框架,结合智能体参考控制与扩散模型,实现稳定高质量生成,并通过Flash加速实现实时渲染。
2026-09-15 cs.CV
FrameFold: Response-Guided KV Cache Consolidation for Autoregressive Long Video Generation
ShanghaiTech University(上海科技大学);vivo Mobile Communication Co., Ltd.(维沃移动通信有限公司)
FrameFold是一种无需训练的KV缓存整合方法,通过响应引导合并历史KV状态,在固定缓存预算下提升长视频生成的一致性与视觉质量,且长时间生成的质量下降程度低于基线。
2026-10-14 cs.CV
Tora3: Trajectory-Guided Audio-Video Generation with Physical Coherence
Alibaba Cloud Computing(阿里巴巴云 computing);Fudan University(复旦大学)
Tora3通过引入轨迹作为共享的运动先验,提升音频视频生成的物理一致性,采用轨迹对齐的运动表示和混合流匹配方案,改进运动真实性和运动-声音同步性。
2026-08-26 cs.CV cs.MM cs.SD
VideoDPO: Omni-Preference Alignment for Video Diffusion Generation
HKUST(香港科技大学);Renmin University of China(中国人民大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文率先将直接偏好优化适配至视频扩散模型,提出VideoDPO流水线,通过综合视觉质量与语义对齐的OmniScore自动收集并重新加权偏好对数据,显著提升了文本到视频生成的整体偏好对齐效果。
2024-12-18 cs.AI cs.CV cs.LG
Soundwich: Video Generation with Layered and Controllable Audio
Simon Fraser University(西蒙弗雷泽大学);University of Cyprus(塞浦路斯大学);CYENS Centre of Excellence(CYENS卓越中心);Tel Aviv University(特拉维夫大学)
Soundwich提出无需训练的框架,将冻结的联合音视频流匹配模型转化为生成多个同步、可独立编辑音频主干并与共享视频耦合的生成器,实现源级时间控制和跨模态交互,提升视听一致性、时间控制、源分离和自然度,支持灵活编辑。
2026-10-05 cs.CV cs.MM cs.SD
A Temporally-Aware Interpolation Network for Video Frame Inpainting
University of Michigan(密歇根大学)
我们提出了视频帧修复的第一个深度学习解决方案,这是视频编辑,操作和取证中应用的一般视频修复问题的一个具有挑战性的实例。我们的任务比帧插值和视频预测更明确,因为我们可以访问时间上下文和未来的部分一瞥,使我们能够更好地客观评估模型预测的质量。我们设计了一个由两个模块组成的流水线:一个双向视频预测模块,和一个时间感知帧插值模块。预测模块使用共享的基于卷积LSTM的编码器-解码器对丢失帧进行两个中间预测,一个以先前帧为条件,另一个以后续帧为条件。插值模块混合中间预测以形成最终结果。具体来说,它利用时间信息和来自视频预测模块的隐藏激活来解决预测之间的不一致。我们的实验表明,我们的方法比最先进的视频预测方法和许多强大的帧修复基线产生更准确和质量上令人满意的结果。
2018-11-03 cs.CV
ReAL: Accelerating Flow Matching through Segment Advancement with Shared Lookahead
ReAL是一种无需训练的流匹配加速采样器,通过共享前瞻选择推进跨度,仅需一次评估即可加速图像和视频生成,在FLUX.1-dev上实现4.91倍加速并保持97%的奖励分数。
2026-09-29 cs.CV
Video-P2P: Video Editing with Cross-attention Control
The Chinese University of Hong Kong(香港中文大学);Adobe(奥多比);SmartMore(思谋)
本文介绍了Video-P2P,一种新的框架,用于现实世界的视频编辑与交叉注意力控制。虽然注意力控制已被证明对于使用预训练的图像生成模型进行图像编辑是有效的,但目前还没有公开的大规模视频生成模型。Video-P2P通过调整图像生成扩散模型来完成各种视频编辑任务来解决这一限制。具体来说,我们建议首先调整文本到集合(T2 S)模型来完成近似反转,然后优化共享无条件嵌入,以实现精确的视频反转,并具有较小的内存成本。对于注意力控制,我们引入了一种新的双引导策略,它使用不同的指导策略的源和目标提示。对源提示的优化无条件嵌入提高了重构能力,而对目标提示的初始化无条件嵌入提高了可编辑性。将这两个分支的注意力图分开可以进行详细的编辑。这些技术设计支持各种文本驱动的编辑应用程序,包括单词交换,提示细化和注意力重新加权。Video-P2P在真实世界的视频中可以很好地生成新角色,同时最佳地保留其原始姿势和场景。它明显优于以前的方法。
2023-03-08 cs.CV
Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling
Hong Kong University of Science and Technology(香港科学与技术大学);Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong(香港中文大学);Peking University(北京大学);Independent Researcher(独立研究者)
本文提出Talker-T2AV,通过共享骨干和模态特定解码器实现音频视频联合生成,提升跨模态一致性与生成效率。
2026-08-05 cs.CL cs.CV cs.MM
VideoHandles: Editing 3D Object Compositions in Videos Using Video Generative Priors
KAIST(韩国科学技术院);Adobe Research(奥多比研究院)
提出VideoHandles,一种无需训练的视频3D物体组合编辑方法,通过将生成模型特征提升至共享3D重建并编辑后投影回各帧,实现时间一致的3D位置编辑,优于图像编辑基线。
2025-03-27 cs.CV
VideoWeave: Unlocking Geometric Consistency in Video Generation via Joint Geometry-Video Modeling
Nanjing University(南京大学);Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI));Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出VideoWeave,一种在潜在空间后训练框架,利用隐式几何模型特征约束生成分布,缓解几何重建误差,提升视频几何一致性。
2026-06-15 cs.CV
Neural Rendering of Humans in Novel View and Pose from Monocular Video
Meta Reality Labs Research(Meta现实实验室);University of California, Merced(加州大学默塞德分校)
本文提出一种单目视频人体神经渲染方法,结合姿态锚定共享潜码、点云外观码与时序 transformer,实现新视角和未见姿态下的照片级人体生成。
2023-04-20 cs.CV
The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation
PKU(北京大学);Qwen Applications(通义千问应用公司);HKUST(香港科技大学);CUHK(香港中文大学);SJTU(上海交通大学)
针对脚本驱动音视频生成中时序对齐不足的问题,提出时间上下文路由(TCR)方法,将脚本时序映射到音视频共享时间轴,显著提升了镜头边界和对话时序的准确性,且保持了音视频质量与同步性。
2026-09-21 cs.CV cs.MM
Artemis: Geometry-Grounded Multi-Agent Driving World Models with Shared 3D State and Progressive Memory Update
University of Oxford(牛津大学);University of Cambridge(剑桥大学);University of Twente(特文特大学);National University of Singapore(新加坡国立大学);University of Bath(巴斯大学)
提出Artemis,一种基于几何约束的多智能体驾驶世界模型,通过显式3D状态共享和渐进式记忆更新,解决现有方法缺乏几何约束和静态背景假设的问题,提升视觉保真度和跨视角一致性。
2026-10-07 cs.CV
Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Adobe Research(Adobe研究院)
研究多智能体交互世界模型共享状态维护难题,提出WorldWeaver模型,利用跨智能体世界状态寄存器及混合变压器设计,经双智能体我的世界视频生成实验验证,该模型能提升逻辑一致性与生成质量。
2026-07-24 cs.CV
Kepler4D: Controllable Future Video Generation via 4D Scene State Evolution
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Michigan Ann Arbor(密歇根大学安娜堡分校);Cisco(思科)
Kepler4D通过显式4D场景状态演化,利用Chain-of-Motion和视觉语言模型生成可控的未来视频,实现物体运动控制与场景一致性。
2026-10-06 cs.CV
InterventionLens: A Multi-Agent Framework for Detecting ASD Intervention Strategies in Parent-Child Shared Reading
本文提出InterventionLens,一种多智能体系统,用于自动检测和时间分割共读视频中的护理人员干预策略,实验表明其在ASD-HI数据集上的F1分数达到79.44%,优于基线方法。
2026-03-14 cs.AI
Moaw: Unleashing Motion Awareness for Video Diffusion Models
Tsinghua University(清华大学);Beihang University(北航)
Moaw通过训练视频扩散模型进行运动感知,实现零样本运动迁移,推动生成建模与运动理解的结合。
2026-01-19 cs.CV
AutoCut: End-to-end advertisement video editing based on multimodal discretization and controllable generation
Tsinghua University(清华大学);Kuaishou Technology(快手科技)
本文提出AutoCut框架,通过多模态离散化和可控生成实现广告视频编辑,提升一致性和可控性,降低生产成本和迭代时间。
2026-03-30 cs.CV
Towards Using Clothes Style Transfer for Scenario-aware Person Video Generation
Tongji University(同济大学);ByteDance AI Lab(字节跳动人工智能实验室);University of Guelph(圭尔夫大学);Shanghai Jiao Tong University(上海交通大学)
由于人的外表和视频场景的剧烈变化,用于人视频生成的服装风格转移是一项具有挑战性的任务。为了解决这个问题,最新的AdaIN为基础的架构,提出了提取衣服和场景特征生成。然而,这些方法的缺点是缺乏细粒度的细节,并且容易扭曲原始人。为了进一步提高生成性能,我们提出了一种新的框架与解开多分支编码器和共享解码器。此外,为了追求较强的视频时空一致性,设计了一种以跨帧差分为输入的帧内插值算法。此外,该框架还具有情景适应性。在TEDXPeople基准测试上进行的大量实验表明,我们的方法在图像质量和视频相干性方面优于最先进的方法。
2021-10-25 cs.CV cs.MM
WALDO: Future Video Synthesis using Object Layer Decomposition and Parametric Flow Prediction
Inria(法国国家信息与自动化研究所);New York University(纽约大学)
WALDO通过对象层分解和参数化流预测,将视频合成分解为层发现、变换预测和区域扭曲,在多个基准上显著超越现有技术。
2023-08-29 cs.CV
G$^3$-LoRA: Organizing Reward-Weighted Video Data with Gradient-Guided Grouped LoRA
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent(腾讯)
针对异构奖励加权视频数据后训练中的更新冲突问题,提出G$^3$-LoRA方法,通过梯度兼容性聚类分组训练LoRA专家并合并蒸馏,在Wan2.1和CogVideoX上优于基线,验证了梯度兼容性作为数据组织诊断的有效性。
2026-09-29 cs.CV cs.LG
Overview of the NLPCC 2026 Shared Task 1: Difficulty-Aware Multilingual and Multimodal Medical Instructional Video Understanding Evaluation
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与工程学院);Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算学系);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
NLPCC 2026的DA - MIVQA共享任务,通过区分问题难度扩展多语言多模态医学视频基准,含三个赛道。其数据集来自公共医学教学渠道,涵盖多种场景并经人工标注难度。该任务为评估医学教学视频问答系统提供实用基准。
2026-07-21 cs.AI cs.CV
VAMR: Multi-Question Agentic Reasoning for Efficient Long-Form Video Understanding
University of Science and Technology of China(中国科学技术大学);Tencent(腾讯)
本研究提出VAMR多问题视频智能体,通过共享工具轨迹处理长视频多问题,在三个基准数据集上实现最高准确率与最少推理轮次,性能优于VideoARM。
2026-11-17 cs.AI cs.CV
Identification of Social-Media Platform of Videos through the Use of Shared Features
Sapienza University of Rome(罗马第一大学);Elis Innovation Hub(ELIS创新中心)
视频已经成为通过社交网络传播军事宣传、复仇色情或欺凌等非法内容的有力工具。为了打击这些非法活动,尝试新的方法来验证这些平台上视频的来源变得至关重要。然而,由于近年来颁布的隐私法规,收集足够大的数据集来训练神经网络完成这项任务已经变得困难。为了缓解这一限制,在这项工作中,我们提出了两种不同的解决方案,基于迁移学习和多任务学习,以确定视频是否已上传或下载到特定的社交平台,通过使用共享功能与在同一任务上训练的图像。通过将网络中最浅层次的特征从图像任务转移到视频,我们测量了这两个任务之间共享的信息量。然后,我们介绍了一个基于多任务学习的模型,它同时从两个任务中学习。有希望的实验结果表明,特别是多任务方法的有效性。据我们所知,这是第一个通过使用共享功能解决社交媒体平台识别视频问题的工作。
2021-09-08 cs.CV
Restoration of User Videos Shared on Social Media
Shenzhen University(深圳大学);The Hong Kong Polytechnic University(香港理工大学);Peng Cheng Laboratory(鹏城实验室);Shenzhen Institute for Artificial Intelligence and Robotics for Society(深圳人工智能与社会机器人研究院)
在社交媒体平台上分享的用户视频通常会受到未知专有处理过程造成的降级,这意味着它们的视觉质量比原始视频差。本文提出了一种新的通用视频恢复框架,用于恢复社交媒体平台上共享的用户视频。与大多数执行端到端映射的基于深度学习的视频恢复方法相比,其中特征提取大多被视为黑盒,在这个意义上,特征扮演的角色通常是未知的,我们的新方法,称为通过自适应退化感测(VOTES)的视频恢复,引入了退化特征图(DFM)的概念,以显式地指导视频恢复过程。具体来说,对于每个视频帧,我们首先自适应地估计其DFM提取代表恢复其不同区域的难度的特征。然后,我们将DFM馈送到卷积神经网络(CNN)以计算分层退化特征,从而调制端到端视频恢复骨干网络,从而将更多的注意力明确地集中在可能更难以恢复的区域,这反过来又会提高恢复性能。我们将解释的VOTES框架的设计原理,并提出了广泛的实验结果表明,新的VOTES方法优于各种国家的最先进的技术在定量和定性。此外,我们还提供了一个大规模的真实世界数据库,其中包含在不同社交媒体平台上共享的用户视频。代码和数据集可在https://github.com/luohongming/VOTES.git上获得
2022-08-26 cs.CV cs.MM
Emergence of a Shared Canonical Object Frame from In-the-Wild Videos
University of Technology Nuremberg(图腾技术大学努尔堡分校);Google(谷歌);CISPA Helmholtz Center for Information Security(信息安全赫尔姆霍茨中心CISPA)
提出一种自监督方法,利用野外物体视频和SfM噪声相机位姿,通过共享粗规范网格学习密集对应,无需标注即可涌现规范框架,在类别级位姿估计上达到竞争性精度。
2026-11-09 cs.CV
Open video data sharing in developmental and behavioural science
University Medical Center Göttingen(哥廷根大学医学中心);Karolinska Institutet(卡罗林斯卡学院);Medical University of Graz(格拉茨医科大学);Leibniz-ScienceCampus Primate Cognition(莱布尼茨灵长类认知科学园区);David Geffen UCLA School of Medicine(加州大学洛杉矶分校大卫·格芬医学院);Region Stockholm(斯德哥尔摩地区);Curtin University(科廷大学);Victoria University of Wellington(惠灵顿维多利亚大学)
视频记录是一种广泛使用的方法,用于记录研究和临床实践中的婴儿和儿童行为。由于保密性的道德问题,视频数据很少被共享,尽管共享大规模数据集的需求仍然在增加。当涉及数据驱动的基于计算机的方法时,这种需求更加迫切,例如补充临床评估的筛查工具。为了在遵守隐私保护规则的同时共享数据,出现了一个关键问题,即数据去识别化的努力是否会降低数据效用?我们通过展示Prechtl的一般运动评估(GMA)来解决这个问题,GMA是一种在婴儿早期建立的和全球实践的基于视频的诊断工具,用于检测神经功能缺损,如脑瘫。到目前为止,还不存在用于婴儿运动分析的共享专家注释的大型数据库。这些数据集将大大有利于培训和重新校准人类评估人员以及开发基于计算机的方法。在目前的研究中,序列从一个前瞻性的纵向婴儿队列,共有19451个可用的一般运动视频片段被随机选择人类临床推理和基于计算机的分析。我们第一次证明了通过面部模糊视频记录的模糊化是一种可行的方法。视频编辑不影响人类评估者或计算机视觉方法的分类准确性,这表明了用于共享运动视频数据的适当且易于应用的解决方案。我们呼吁进一步探索有效的和隐私的规则符合方法,在运动评估以外的科学和临床领域去识别视频数据。这些方法将能够将独立的视频数据集共享和合并到大型数据池中,以促进科学和公共卫生。
2022-07-22 cs.AI cs.CV
Overview of the NLPCC 2025 Shared Task 4: Multi-modal, Multilingual, and Multi-hop Medical Instructional Video Question Answering Challenge
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究所,中国科学院);School of Computer Science and Technology, Beijing Institute of Technology(计算机科学与技术学院,北京理工大学);School of Engineering, Westlake University(工程学院,西湖大学)
本文介绍NLPCC 2025 M4IVQA挑战赛,设置单视频定位、视频语料检索和语料库定位三个赛道,推动面向医学教学视频的多模态、多语言、多跳问答研究。
2025-05-11 cs.AI cs.CL cs.CV
Balancing Shared and Task-Specific Representations: A Hybrid Approach to Depth-Aware Video Panoptic Segmentation
Eindhoven University of Technology(埃因霍温理工大学)
针对深度感知视频全景分割任务,提出基于掩码Transformer的Multiformer混合方法,通过解码器块内任务分支加块间共享表示融合的设计,在两个基准数据集上取得当前最优性能,为多任务解码器架构设计提供参考。
2024-12-10 cs.CV
SIEDD: Shared-Implicit Encoder with Discrete Decoders
University of Maryland(马里兰大学)
针对隐式神经表示视频压缩编码慢的问题,提出SIEDD架构,通过共享编码器冻结与离散解码器并行训练,在保持重建质量与坐标级控制的同时实现20-30倍编码加速。
2025-06-29 cs.AI cs.CV cs.LG
SNP-S3: Shared Network Pre-training and Significant Semantic Strengthening for Various Video-Text Tasks
Ant Group(蚂蚁集团);Shandong University(山东大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Fudan University(复旦大学)
针对现有像素级视频-文本预训练架构的缺陷,提出含SNP共享网络预训练与S3显著语义增强策略的框架,在多任务多数据集上实现SOTA,兼顾预训练效率与微调性能。
2024-01-31 cs.CV cs.MM
Discovery of Shared Semantic Spaces for Multi-Scene Video Query and Summarization
Queen Mary University of London(伦敦玛丽女王大学)
公共空间CCTV安装的增长率产生了对用于利用视频监控数据的自动化方法的需求,包括场景理解、查询、行为注释和摘要。为此,人们对监控场景理解和分析进行了广泛的研究。然而,大多数研究都考虑了单个场景或相邻场景组。不同但相关的场景之间的语义相似性(例如,许多布局相似的不同交通场景)通常不会被用来改进任何自动化监控任务并减少手动工作。然而,在不同场景之间利用共性并共享任何监督注释是具有挑战性的,因为:一些场景是完全不相关的-因此它们之间的任何信息共享都是有害的;而其他场景可能只共享共同活动的子集-因此信息共享只有在选择性时才有用。此外,语义上相似的活动,应该一起建模,并在场景中共享,可能有相当不同的像素级外观在每个场景。为了解决这些问题,我们开发了一个新的框架,分布式多场景的全球性的理解,集群监控场景的能力,以解释对方的行为,并进一步发现哪些活动的子集是共享的场景特定的每个集群内。我们展示了如何使用这种结构化的多个场景的表示,以改善常见的监控任务,包括场景活动的理解,跨场景查询的例子,行为分类减少监督标签的要求,和视频摘要。在每一种情况下,我们展示了我们的多场景模型如何改进标准的单场景模型和所有场景的平面模型的集合。
2015-07-27 cs.CV
Bridging the Gap: A Framework for Real-World Video Deepfake Detection via Social Network Compression Emulation
University of Trento(特伦托大学);Truebees srl(Truebees公司);University of Florence(佛罗伦萨大学);University of Florence Firenze Italy(佛罗伦萨大学佛罗伦萨意大利)
针对AI生成视频在社交网络压缩下难以检测的问题,提出首个通过估计压缩参数仿真社交网络视频共享管道的框架,使检测器在仿真数据上微调后能达到与真实共享媒体训练相当的性能,有效弥合了实验室训练与真实部署的差距。
2025-09-12 cs.AI cs.CV
Video-Text Retrieval by Supervised Sparse Multi-Grained Learning
University of Waterloo(滑铁卢大学)
提出多粒度稀疏学习框架S3MA,通过监督学习构建视频与文本共享的稀疏概念空间,并结合帧表示计算多粒度相似性,在多个视频-文本检索基准上优于现有方法。
2023-10-17 cs.CL cs.CV cs.IR
VMCML: Video and Music Matching via Cross-Modality Lifting
National Tsing Hua University(国立清华大学);University of Toronto(多伦多大学)
我们提出了一个基于内容的视频和背景音乐匹配系统。该系统旨在解决新用户的音乐推荐或新的音乐给短形式的视频的挑战。为此,我们提出了一个跨模态框架VMCML,找到一个共享的嵌入空间之间的视频和音乐表示。为了确保嵌入空间可以有效地由两种表示共享,我们利用基于边缘的余弦相似性损失的CosFace损失。此外,我们建立了一个名为MSVD的大规模数据集,其中我们提供了390首单独的音乐和相应的匹配的150,000个视频。我们在Youtube-8 M和我们的MSVD数据集上进行了广泛的实验。我们的定量和定性结果表明,我们提出的框架的有效性,并实现最先进的视频和音乐匹配性能。
2023-03-22 cs.CV
Simplifying Open-Set Video Domain Adaptation with Contrastive Learning
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
为了减少动作识别中的注释成本,已经提出了无监督视频领域自适应方法,其目的是从标记的数据集(即,源域)到未标记的数据集(即,目标域)。在这项工作中,我们解决了一个更现实的情况下,称为开放集视频领域自适应(OUVDA),目标数据集包含“未知”的语义类别,不与源共享。挑战在于对齐两个域的共享类,同时将共享类与未知类分开。在这项工作中,我们建议解决OUVDA与一个统一的对比学习框架,学习歧视和良好的聚类功能。我们还提出了一个面向视频的时间对比损失,使我们的方法,以更好地利用视频数据中的免费时间信息的特征空间聚类。我们发现,判别特征空间有利于更好地分离未知类,从而使我们能够使用一个简单的基于相似性的分数来识别它们。我们对多个OUVDA基准进行了彻底的实验评估,并显示了我们所提出的方法对现有技术的有效性。
2023-01-09 cs.CV
Unique Lives, Shared World: Learning from Single-Life Videos
Google DeepMind(谷歌DeepMind)
提出“单个人生”学习范式,利用单个人拍摄的自我中心视频通过多视角自监督学习视觉编码器,发现不同人生训练的模型具有高度对齐的几何理解,且学到的表示可泛化到下游任务,与大量网络数据性能相当。
2026-05-26 cs.CV
What is usual in unusual videos? Trajectory snippet histograms for discovering unusualness
Bilkent University(比尔肯特大学)
不寻常的事件是重要的,因为它们可能是不希望的后果的指标。此外,日常生活活动中的不寻常也可能是有趣的,正如社交媒体上分享的此类视频的流行所证明的那样。在视频中发现不寻常的事件通常被攻击为寻找常见模式的问题,然后将不相似的模式分离出来。在这项研究中,我们从另一个方面解决这个问题,并试图回答什么类型的模式之间共享不寻常的视频,使他们彼此相似,无论正在进行的事件。有了这个具有挑战性的问题在手,我们提出了一种新的描述符,利用密集提取的轨迹编码视频中的快速运动。建议的描述符,这是被称为轨迹剪切直方图,是用来区分不寻常的视频从普通的视频,并进一步利用发现快照中的不寻常发生。在特定领域的人跌倒视频和不受限制的搞笑视频上的实验表明,我们的方法在捕捉异常方面是有效的。
2014-11-02 cs.CV
Wavelet as Tokenizer: Preliminary Results on a Shared Wavelet Token Schema for Natural Signals
Yet Another AI
本文研究音频、图像和视频能否共享统一的小波分词方案,通过基于Haar DWT/IDWT的连续令牌模型,在多个数据集上验证了统一分词模式的可行性,并分析了潜在容量和元数据的影响。
2026-05-30 cs.AI cs.CV cs.LG
SPARE: Shared Perception and Adaptive Retrieval of Evidence for Streaming Video Understanding
Xiamen University(厦门大学);Beijing Institute of Technology(北京理工大学);Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学);University of Hong Kong(香港大学);China Telecom(中国电信)
本研究针对流视频理解中历史上下文的干扰与证据不足问题,提出SPARE框架,通过自适应历史检索、共享视觉编码器及LoRA微调等技术,在OVO-Bench和StreamingBench上显著优于Qwen3-VL-8B-Instruct。
2026-11-13 cs.CV