Matten: Video Generation with Mamba-Attention
Meituan Inc.(美团公司)
该研究提出融合时空注意力与双向 Mamba 的潜在扩散模型 Matten,以低计算成本兼顾局部与全局视频建模,并在基准上取得优于 Transformer 和 GAN 模型的 FVD 与效率表现。
2024-05-10 cs.CV
FluencyVE: Marrying Temporal-Aware Mamba with Bypass Attention for Video Editing
Waseda University, Japan(早稻田大学,日本);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院)
FluencyVE通过结合时间感知Mamba与旁路注意力,实现高效的视频编辑,减少计算成本并提升生成能力。
2026-01-08 cs.CV
ReHyAt: Recurrent Hybrid Attention for Video Diffusion Transformers
Qualcomm AI Research(高通人工智能研究)
ReHyAt通过结合softmax和线性注意力,实现高效的视频扩散模型,降低训练成本并提升长序列生成的可扩展性。
2026-01-07 cs.CV
Analysis of Attention in Video Diffusion Transformers
University of Maryland(马里兰大学);GenmoAI
该研究深入分析视频扩散Transformer(VDiTs)的注意力机制,发现结构、稀疏性和汇聚点三个关键特性,提出未来方向以提升其效率-质量帕累托前沿。
2025-04-14 cs.CV
RealCraft: Attention Control as A Tool for Zero-Shot Consistent Video Editing
KTH(瑞典皇家理工学院)
本文提出RealCraft,一种基于注意力控制的零样本真实世界视频编辑方法,通过替换交叉注意力注入新特征并放松编辑对象的空间-时间注意力,在直接使用Stable Diffusion且无需额外信息的情况下,实现了长达64帧的局部形状级、时间一致且无需参数的视频编辑。
2025-01-31 cs.CV
FrameDiT: Diffusion Transformer with Matrix Attention for Efficient Video Generation
Applied Artificial Intelligence Initiative, Deakin University, Australia(德肯大学应用人工智能倡议,澳大利亚);FPT Smart Cloud, Vietnam(越南FPT智能云);Deakin University, Australia(德肯大学,澳大利亚)
本文提出Matrix Attention,通过将帧视为矩阵来处理视频生成中的时空动态,结合FrameDiT-G和FrameDiT-H模型,在保持效率的同时提升了视频质量和时间一致性。
2026-04-18 cs.CV
LIPAR: Training-free Latent Inter-Frame Pruning with Attention Recovery
University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta
本文提出LIPAR框架,通过利用视频潜在补丁中的时间冗余性,减少计算延迟,提升视频编辑效率,同时保持生成质量。
2026-11-03 cs.CV
GAD: Geometry Attention Distillation for Consistent Video Generation
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);BIGAI(北京智源人工智能研究院)
本文针对视频扩散模型跨帧几何与结构保留不足的问题,提出GAD方法,通过迁移几何模型注意力的对应关系提升视频一致性,在Wan2.2 5B上跨帧匹配准确率提升至少30%,无需额外推理模块。
2026-10-14 cs.CV
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
Bar-Ilan University(巴伊兰大学);NVIDIA(英伟达)
本文提出RecCAR正则化方法,通过对齐视频与伴随模态间的交叉注意力,缩小相互对应差距,提升联合视频生成中运动与音频的同步性和质量。
2026-11-17 cs.CV
Efficient Audio-Visual Generation via Synchrony-Aware Cross-Modal Sparse Attention
Alibaba Group(阿里巴巴集团);Alibaba Cloud Computing(阿里巴巴云计算);Shanghai Jiao Tong University(上海交通大学)
本文提出同步感知加速框架,通过受保护的稀疏注意力策略在保留视听生成质量与同步性的同时提升推理效率。
2026-08-18 cs.CV
FLATTEN: optical FLow-guided ATTENtion for consistent text-to-video editing
Leibniz University Hannover(莱布尼茨汉诺威大学);Meta AI;The University of Hong Kong(香港大学);Nanyang Technological University(南洋理工大学)
本文提出无需训练的 FLATTEN 方法,将光流引入扩散 U-Net 注意力模块以对齐跨帧对应图像块,从而提升文本到视频编辑的时序一致性并达到最先进性能。
2024-02-29 cs.CV
MAKIMA: Tuning-free Multi-Attribute Open-domain Video Editing via Mask-Guided Attention Modulation
本文提出免调优多属性视频编辑框架MAKIMA,通过掩码引导注意力调制和一致特征传播,在保持视频结构与时间一致性的同时实现精确的多属性开放域编辑。
2024-12-28 cs.CV
Live2Diff: Live Stream Translation via Uni-directional Attention in Video Diffusion Models
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Nanyang Technological University(南洋理工大学)
针对现有视频扩散模型因双向注意力无法处理直播流的问题,提出带单向时间注意力的Live2Diff,结合KV缓存与流水线实现高效直播视频翻译,性能优于现有方法。
2024-07-11 cs.CV
FullDiT: Multi-Task Video Generative Foundation Model with Full Attention
Kuaishou Technology(快手科技);The Chinese University of Hong Kong(香港中文大学)
FullDiT通过统一全注意力机制融合多条件,解决视频生成中适配器冲突与参数冗余,实现多任务视频生成并达到最先进性能。
2025-03-25 cs.CV
IDAG-Edit: Multi-Object Video Editing via Instance-Decoupled Attention and Guidance
Department of Computer Science, National Yang Ming Chiao Tung University, Taiwan(台湾阳明交通大学计算机科学系)
提出IDAG-Edit框架,通过布局引导注意力调制和实例级掩码实现无训练的多对象视频编辑,解决注意力泄露和身份漂移问题,提升时间一致性和多对象可控性。
2026-06-23 cs.CV
MSC: Multi-Scale Spatio-Temporal Causal Attention for Autoregressive Video Diffusion
针对高分辨率视频生成的技术与计算挑战,提出多尺度因果(MSC)框架,通过时空多尺度高效注意力与可控因果条件建模降低计算复杂度,还可用于自回归长视频生成。
2024-12-13 cs.CV
VMoBA: Mixture-of-Block Attention for Video Diffusion Models
Peking University(北京大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队)
本文提出VMoBA,一种专为视频扩散模型设计的稀疏注意力机制,通过逐层循环块划分、全局块选择和基于阈值的块选择动态适应时空模式,显著加速长序列训练与高分辨率视频生成的推理,同时保持或提升生成质量。
2025-06-30 cs.CV
MoGA: Mixture-of-Groups Attention for End-to-End Long Video Generation
University of Science and Technology of China(科学技术大学);Hong Kong University of Science and Technology(香港科学与技术大学);Wuhan University(武汉大学)
针对扩散Transformer长视频生成中全注意力计算瓶颈,提出带可学习令牌路由器的稀疏注意力MoGA,实现高效长距离交互,可端到端生成分钟级长视频,经多任务实验验证有效。
2025-10-21 cs.CV
Input-Aware Sparse Attention for Real-Time Co-Speech Video Generation
Carnegie Mellon University(卡内基梅隆大学);PAII Inc.(PAII公司)
针对现有扩散式语音同步视频生成方法速度慢难实时的问题,提出结合输入人体姿态的稀疏注意力与蒸馏损失,实现实时生成质量更优的语音同步视频。
2025-10-02 cs.CV
Compact Attention: Exploiting Structured Spatio-Temporal Sparsity for Fast Video Generation
College of Computer Science & Technology, Zhejiang University(计算机科学与技术学院,浙江大学);Huawei Technologies(华为技术)
针对视频生成中自注意力计算开销大的问题,本文提出Compact Attention框架,通过自适应分块、时变窗口和自动配置搜索利用结构化时空稀疏性,在单GPU上实现1.6至2.5倍加速并保持视觉质量。
2026-11-04 cs.CV
VORTA: Efficient Video Diffusion via Routing Sparse Attention
College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院,南洋理工大学,新加坡)
针对视频扩散Transformer长程注意力计算成本高的问题,提出加速框架VORTA,通过稀疏注意力机制和自适应路由策略替换全3D注意力,实现1.76倍端到端加速且无质量损失,并可与其他方法结合达到14.41倍加速。
2025-10-12 cs.CV
Interspatial Attention for Efficient 4D Human Video Generation
Tsinghua University(清华大学);Stanford University(斯坦福大学);Ant Research(蚂蚁研究);ByteDance Inc.(字节跳动公司)
本文提出跨空间注意力(ISA)机制,用于基于扩散变换器的视频生成模型,实现4D人体视频合成,达到最先进性能,保持运动一致性和身份,并精确控制相机与姿态。
2025-05-25 cs.CV
UniCtrl: Improving the Spatiotemporal Consistency of Text-to-Video Diffusion Models via Training-Free Unified Attention Control
University of Michigan(密歇根大学);University of Virginia(弗吉尼亚大学)
UniCtrl是一种免训练的即插即用方法,通过跨帧自注意力控制、运动注入和时空同步,提升文本到视频扩散模型的时空一致性和运动多样性。
2024-11-10 cs.CV
SPADE: An Input-Adaptive Sparse Attention Engine for Fast Video Diffusion Models Inference
针对视频扩散Transformer推理开销过高的问题,提出无训练的SPADE稀疏注意力引擎,通过三部分设计实现注意力2.26x-3.40x、端到端推理1.49x-1.80x的加速且保持生成质量。
2026-08-05 cs.CV
Attention Surgery: An Efficient Recipe to Linearize Your Video Diffusion Transformer
Qualcomm AI Research(高通人工智能研究)
针对预训练视频扩散Transformer自注意力二次成本高的问题,提出Attention Surgery框架,通过混合注意力机制、轻量蒸馏微调与成本感知策略,无需从头训练即可实现高效线性/混合注意力,性能优异且长视频缩放表现提升显著。
2025-11-17 cs.CV
ImVideoEdit: Image-learning Video Editing via 2D Spatial Difference Attention Blocks
Zhejiang University(浙江大学)
本文提出ImVideoEdit框架,通过图像对学习视频编辑能力,利用2D空间差异注意力模块实现高效视频编辑,无需昂贵配对视频数据,保持时间动态并实现精确空间修改。
2026-04-09 cs.CV
Real-Time Video Generation with Pyramid Attention Broadcast
National University of Singapore(新加坡国立大学);Purdue University(普渡大学)
提出金字塔注意力广播(PAB),一种无需训练的视频生成加速方法,通过金字塔式广播注意力输出减少冗余,实现高达10.5倍加速和720p实时生成。
2025-02-27 cs.CV cs.DC
FreeMask: Rethinking the Importance of Attention Masks for Zero-Shot Video Editing
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文提出FreeMask方法,通过掩码匹配代价(MMC)度量选择最优交叉注意力掩码,并改进掩码融合机制,无需控制辅助或参数微调即可提升零样本视频编辑的语义保真度、时间一致性和编辑质量。
2024-09-30 cs.CV cs.MM
Unified Editing of Panorama, 3D Scenes, and Videos Through Disentangled Self-Attention Injection
KAIST(韩国科学技术院)
提出一种仅用2D扩散模型的统一编辑框架,通过解耦自注意力注入实现全景图、3D场景和视频的语义一致编辑。
2024-05-27 cs.AI cs.CV
DraftAttention: Fast Video Diffusion via Low-Resolution Attention Guidance
Northeastern University(东北大学);CUHK(香港中文大学);Duke University(杜克大学);Adobe Research(Adobe研究);NUIST(南京信息工程大学);UCM(墨西哥国立自治大学)
针对基于扩散Transformer的视频生成模型计算成本高的问题,提出无需训练的DraftAttention框架,通过低分辨率草稿注意力引导动态稀疏注意力,在保证生成质量的同时实现GPU上最高1.75倍的端到端加速。
2025-05-17 cs.AI cs.CV
Ride the Wave: Precision-Allocated Sparse Attention for Smooth Video Generation
Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学)
本文提出PASA框架,通过动态预算分配、硬件对齐分组近似和随机选择偏置,实现高效且时间平滑的视频生成,减少视觉闪烁。
2026-04-14 cs.AI cs.CV
AttentionBender: Manipulating Cross-Attention in Video Diffusion Transformers as a Creative Probe
University of the Arts London(伦敦艺术大学)
AttentionBender通过操纵视频扩散变换器中的交叉注意力,帮助艺术家探索黑箱视频生成的内部机制,揭示交叉注意力的高度交织特性,并产生新的美学效果。
2026-04-22 cs.CV cs.HC cs.MM
MotionFlow: Attention-Driven Motion Transfer in Video Diffusion Models
Virginia Tech(弗吉尼亚理工大学)
针对文本生成视频模型缺乏运动细粒度控制的问题,提出无需训练、基于交叉注意力的MotionFlow框架,利用预训练视频扩散模型在测试时实现运动迁移,在剧烈场景变更下的保真度与通用性均优于现有方法。
2024-12-06 cs.AI cs.CV
Investigating the Effectiveness of Cross-Attention to Unlock Zero-Shot Editing of Text-to-Video Diffusion Models
INSAIT, Sofia University(INSAIT,索非亚大学);ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
本文首次研究交叉注意力在 T2V 扩散模型零样本视频编辑中的作用,证明其可在无需训练样本的情况下控制对象形状、位置与运动。
2024-04-08 cs.CV cs.LG
Radial Attention: $O(n\log n)$ Sparse Attention with Energy Decay for Long Video Generation
MIT(麻省理工学院);NVIDIA(英伟达);Princeton(普林斯顿大学);UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学);First Intelligence(第一智能)
本文提出径向注意力,通过能量衰减机制实现高效的长视频生成,显著提升生成速度并降低计算成本。
2025-12-06 cs.AI cs.CV cs.LG
VideoPanda: Video Panoramic Diffusion with Multi-view Attention
NVIDIA(英伟达)
针对虚拟现实中高分辨率全景视频采集困难的问题,提出VideoPanda方法,通过多视角注意力层增强视频扩散模型,联合训练文本和单视角视频条件,支持长视频自回归生成,在真实与合成数据集上生成更逼真连贯的360°全景视频。
2025-04-17 cs.AI cs.CV cs.GR
HyperVAttention: Efficient Sparse Attention with Spatio-Temporal Clustering for Video Diffusion
KAIST(韩国科学技术院);Google Research(谷歌研究院)
针对视频扩散中自注意力机制的二次复杂度问题,提出HyperVAttention框架,通过3D局部窗口聚类等方法解决聚类开销大及CTA利用率低的瓶颈,提升视频扩散中无训练稀疏注意力的质量和速度。
2026-11-06 cs.AI cs.CV cs.LG
Long Video Diffusion Generation with Segmented Cross-Attention and Content-Rich Video Data Curation
Presto是一种视频扩散模型,通过分段交叉注意力策略和LongTake-HD数据集,生成15秒长视频,在VBench上取得78.5%语义得分和100%动态程度,超越现有方法。
2025-03-29 cs.AI cs.CV cs.MM
VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models
Kim Jaechul Graduate School of AI(金宰澈人工智能研究生院);Bio and Brain Engineering(生物与脑工程系);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文提出VMC框架,通过一次性调优时间注意力层并利用帧间残差向量作为运动参考,在保留低频运动轨迹的同时抑制高频噪声,实现精确运动复现与多样化视觉变化的视频运动定制。
2023-12-01 cs.AI cs.CV cs.LG
Attention is all you need for Videos: Self-attention based Video Summarization using Universal Transformers
UC San Diego(加州大学圣地亚哥分校)
近年来,由于序列建模的进步,随着长短期记忆网络(LSTM)的复兴和门控递归单元(GRU)的引入,视频描述和摘要变得非常流行。现有的架构使用CNN提取时空特征,并利用GRU或LSTM对软注意力层的依赖关系进行建模。这些注意力层确实有助于关注最突出的特征并改进经常性单元,然而,这些模型受到经常性单元本身固有的缺陷的影响。Transformer模型的引入将序列建模领域推向了一个新的方向。在这个项目中,我们实现了一个基于transformer的视频描述模型,利用3D CNN架构,如C3D和双流I3D视频提取。我们还应用了某些降维技术,以保持模型的整体大小在一定范围内。最后,我们提出了我们的结果MSVD和ActivityNet数据集的单一和密集的视频描述任务分别。
2019-06-06 cs.CV
Video-based Person Re-identification Using Spatial-Temporal Attention Networks
Delhi Technological University(德里理工大学);University of Manitoba(曼尼托巴大学)
我们考虑的问题,基于视频的人重新识别。目标是从不同摄像头拍摄的视频中识别一个人。在本文中,我们提出了一个有效的时空注意力为基础的模型,从视频中的人重新识别。我们的方法基于帧级特征为每个帧生成注意力分数。视频中所有帧的注意力分数用于产生输入视频的加权特征向量。与大多数使用全局表示的现有深度学习方法不同,我们的方法专注于注意力分数。在两个基准数据集上的大量实验表明,我们的方法达到了最先进的性能。这是一份技术报告。
2018-10-26 cs.CV
Knowing What, Where and When to Look: Efficient Video Action Modeling with Attention
Samsung AI Centre(三星人工智能中心);University of Surrey(萨里大学)
由于无约束视频在时间和空间上具有丰富的冗余信息,因此注意视频建模对于无约束视频中的动作识别至关重要。然而,由于两个原因,在深度神经网络中引入注意力以进行动作识别是具有挑战性的。首先,一个有效的注意力模块需要学习什么(对象及其局部运动模式),在哪里(空间),以及何时(时间)关注。其次,视频注意力模块必须是有效的,因为现有的动作识别模型已经遭受高计算成本。为了解决这两个挑战,提出了一种新的What-Where-When(W3)视频注意模块。从现有的替代方案出发,我们的W3模块模型的所有三个方面的视频注意力联合。至关重要的是,它通过将高维视频特征数据分解为低维有意义的空间(“什么”的1D通道向量和“哪里”的2D空间张量),然后进行轻量级的时间注意力推理,效率非常高。大量的实验表明,我们的注意力模型带来了显着的改进,现有的动作识别模型,实现了新的国家的最先进的性能在一些基准。
2020-04-02 cs.CV
Transforming Multi-Concept Attention into Video Summarization
National Taiwan University(台湾大学);Carnegie Mellon University(卡内基梅隆大学)
视频摘要是计算机视觉中具有挑战性的任务之一,其目的是在冗长的视频输入中识别精彩帧或镜头。在本文中,我们提出了一种新的基于注意力的框架,视频摘要与复杂的视频数据。不同于以往的作品,只适用于注意力机制的帧之间的对应关系,我们的多概念视频自我注意力(MC-VSA)模型,以确定跨时间和概念视频特征,联合利用上下文的多样性随着时间和空间的摘要目的的信息区域。再加上我们框架中视频和摘要之间的一致性,我们的模型可以应用于标记和未标记的数据,使我们的方法更适合于现实世界的应用。在两个基准上进行的广泛而完整的实验证明了我们的模型在定量和定性上的有效性,并证实了其优于现有技术的优越性。
2020-06-03 cs.CV
Manipulation-skill Assessment from Videos with Spatial Attention Network
The University of Tokyo(东京大学);Hunan University(湖南大学)
计算机视觉的最新进展使从视频中自动评估人类执行任务的操作技能成为可能,这在健康康复和制造等领域孕育了许多重要的应用。以前的基于视频的技能评估方法没有考虑人类在评估视频时使用的注意力机制,限制了它们的性能,因为只有一小部分视频区域为技能评估提供信息。我们的动机是估计视频中的注意力,这有助于关注至关重要的视频区域,以更好地进行技能评估。特别是,我们提出了一种新的基于RNN的空间注意力模型,该模型考虑了先前帧的累积注意力状态以及有关正在进行的任务进展的高级知识。我们评估我们的方法上新收集的数据集的婴儿抓握任务和现有的四个数据集的手操作任务。实验结果表明,国家的最先进的性能,可以通过考虑在自动技能评估的注意。
2019-04-10 cs.CV
Convolutional Temporal Attention Model for Video-based Person Re-identification
University of Manitoba(曼尼托巴大学)
基于视频的人物重新识别的目标是匹配两个输入视频,使得如果两个视频包含同一个人,则两个视频的距离很小。一种常见的个人重新识别方法是首先提取视频中所有帧的图像特征,然后聚合所有特征以形成视频级特征。然后可以使用两个视频的视频级特征来计算两个视频的距离。在本文中,我们提出了一种时间注意力的方法,用于聚合帧级特征到视频级特征向量进行重新识别。我们的方法是出于这样一个事实,即不是所有的帧在一个视频是同样的信息。我们提出了一个完全卷积的时间注意力模型来生成注意力分数。全卷积网络(FCN)已广泛用于语义分割以生成2D输出图。在本文中,我们制定了基于视频的人的重新识别作为一个序列标记的问题,如语义分割。我们在它们之间建立了一个连接,并修改FCN来生成注意力分数,以表示每个帧的重要性。在三个不同的基准数据集(即iLIDS-VID,PRID-2011和SDU-VID)上的大量实验表明,我们提出的方法优于其他最先进的方法。
2019-04-10 cs.CV
The Pros and Cons: Rank-aware Temporal Attention for Skill Determination in Long Videos
University of Bristol(布里斯托大学)
我们提出了一个新的模型来确定相对技能的长视频,通过学习时间注意模块。技能确定被公式化为一个排名问题,使其适合于常见和通用的任务。然而,对于长视频,视频的部分与评估技能无关,并且在整个视频中展现的技能可能存在可变性。因此,我们提出了一种方法,它评估的相对整体水平的技能,在一个长视频出席其技能相关的部分。我们的方法训练时间注意模块,学习只有视频级的监督,使用一种新的排名感知损失函数。除了关注任务相关的视频部分之外,我们提出的损失联合训练两个注意力模块来分别关注表示较高(优点)和较低(缺点)技能的视频部分。我们在EPIC-Skills数据集上评估了我们的方法,并从YouTube视频中添加了一个更大的数据集,以确定五个以前未探索过的任务的技能。我们的方法在两个数据集上的成对准确率超过4%,在单个任务上的准确率高达12%,优于以前的方法和经典softmax attention。我们还展示了我们的模型的能力,参加排名感知部分的视频。
2019-04-10 cs.CV
Seeing Eye to AI: Comparing Human Gaze and Model Attention in Video Memorability
IIIT Hyderabad(印度信息技术与信息技术研究院海得拉巴分校);Cognitive Science Lab(认知科学实验室);CVIT(计算机视觉与图像处理中心)
本研究采用CNN+Transformer架构分析视频记忆性中的时空注意力,通过与人类眼动数据对比,发现模型注意力在空间模式、时间偏好及物体/背景分配上与人类注视高度相似。
2024-11-05 cs.CV
To Find Where You Talk: Temporal Sentence Localization in Video with Attention Based Location Regression
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学清华-伯克利深圳学院);JD AI Research(京东人工智能研究院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
给定一个未修剪的视频和一个句子描述,时间句子定位的目的是自动确定视频中所描述的句子的开始和结束点。这个问题具有挑战性,因为它需要对视频和句子的理解。现有的研究主要采用了一个昂贵的“扫描和本地化”的框架,忽略了全球视频上下文和句子中的具体细节,这是这个问题的关键问题。在本文中,我们提出了一种新的基于注意力的位置回归(ABLR)的方法来解决时间句子定位从全局的角度来看。具体来说,为了保留上下文信息,ABLR首先通过双向LSTM网络对视频和句子进行编码。然后,引入多模态协同注意力机制,不仅生成反映全局视频结构的视频注意力,还生成突出时间定位关键细节的句子注意力。最后,设计了一种新的基于注意力的位置回归网络,从先前的注意力预测句子查询的时间坐标。ABLR以端到端的方式进行联合培训。在ActivityNet Captions和TACoS数据集上的综合实验证明了所提出的ABLR方法的有效性和效率。
2018-11-03 cs.CV
Suspicious Object Recognition Method in Video Stream Based on Visual Attention
Fudan University(复旦大学)
我们提出了一种基于人类视觉注意力的智能对象识别和视频监控的最新方法。在感兴趣目标(显著图)的获取和目标识别过程中分别采用了自底向上的和自顶向下的注意。对4通道PFT方法进行了修正,使其具有自底向上的注意力,提高了速度和精度。利用返回抑制(IOR)来判断显著对象的弹出顺序.在判断目标是否匹配和可疑时,综合考虑了颜色分布的欧氏距离、目标中心坐标和速度。对视频和图像的大量测试表明,该方法在视频分析中具有较高的精度和较快的速度。该方法可应用于视频监控、安防等领域。
2013-08-23 cs.CV
Adaptive Compact Attention For Few-shot Video-to-video Translation
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出了一种自适应的紧凑注意力模型的Few-Shot视频到视频翻译。现有的研究方法只利用像素级注意力特征,没有考虑多幅参考图像之间的相关性,计算量大,但性能有限。因此,我们引入了一种新的自适应紧凑的注意力机制,以有效地提取上下文特征联合从多个参考图像,其中编码的视图相关和运动相关的信息可以显着有益于合成的现实视频。我们的核心思想是从所有参考图像中提取紧凑基集作为更高级别的表示。为了进一步提高可靠性,在推理阶段,我们还提出了一种基于德洛内三角剖分算法的参考文献自动选择方法。我们广泛评估我们的方法在大规模的说话头视频数据集和人类跳舞数据集;实验结果表明,我们的方法产生逼真的和时间一致的视频的优越性能,并大大改善了国家的最先进的方法。
2020-11-30 cs.CV
Relational Self-Attention: What's Missing in Attention for Video Understanding
POSTECH(浦项科技大学);Microsoft Research Asia(微软亚洲研究院)
卷积可以说是现代神经网络最重要的特征变换,导致了深度学习的进步。最近出现的Transformer网络用自注意块取代了卷积层,揭示了固定卷积核的局限性,并为动态特征变换时代打开了大门。然而,现有的动态变换,包括自注意,都局限于视频理解,其中空间和时间上的对应关系,即,运动信息对于有效表示是至关重要的。在这项工作中,我们引入了一个关系特征变换,称为关系自我注意力(RSA),利用丰富的时空关系的视频结构,动态生成关系内核和聚合关系上下文。我们的实验和消融研究表明,RSA网络的性能大大优于卷积和自我注意力,在视频动作识别的标准运动为中心的基准上达到了最先进的水平,例如Something-Something-V1 & V2,Diving 48和FineGym。
2021-11-02 cs.CV
Attention in Attention: Modeling Context Correlation for Efficient Video Classification
University of Science and Technology of China(中国科学技术大学);Wuhan Research Institute of Posts and Telecommunications(武汉邮电科学研究院);Hefei University of Technology(合肥工业大学);Wuhan Institute of Technology(武汉工程大学)
注意力机制利用视角上下文显著提高了视频分类神经网络的性能。然而,目前对视频注意力的研究通常集中在采用上下文的特定方面(例如,信道、空间/时间或全局上下文)来细化特征,并在计算注意力时忽略它们的潜在相关性。这导致不完全的上下文利用,从而承担有限的性能提高的弱点。为了解决这个问题,本文提出了一种有效的注意力(AIA)方法,用于元素特征细化,研究了将通道上下文插入时空注意力学习模块(称为CinST)及其反向变体(称为STinC)的可行性。具体来说,我们将视频特征上下文实例化为沿特定轴聚合的动态,具有全局平均和最大池化操作。AIA模块的工作流程是,第一注意力块使用一种上下文信息来指导针对另一上下文的第二注意力的选通权重计算。此外,注意单元中的所有计算操作都作用于池维,这导致相当少的计算成本增加($<$ 0.02\%)。为了验证我们的方法,我们密集地将其集成到两个经典的视频网络骨干,并在几个标准的视频分类基准上进行了广泛的实验。我们的AIA源代码可在\url{https://github.com/haoyanbin918/Attention-in-Attention}获得。
2022-04-20 cs.CV
Is Space-Time Attention All You Need for Video Understanding?
Facebook AI(脸书人工智能);Dartmouth College(达特茅斯学院)
我们提出了一种无卷积的视频分类方法,该方法完全基于空间和时间上的自我注意力。我们的方法,名为“TimeTransformer”,适应标准的Transformer架构的视频,使时空特征学习直接从帧级补丁的序列。我们的实验研究比较了不同的自我注意力方案,并表明,“分散注意力”,其中时间注意力和空间注意力分别适用于每个块,导致最好的视频分类精度之间的设计选择考虑。尽管采用了全新的设计,但TimeSmerer在几个动作识别基准测试中取得了最先进的结果,包括在Kinetics-400和Kinetics-600上报告的最佳准确性。最后,与3D卷积网络相比,我们的模型训练速度更快,可以实现更高的测试效率(精度略有下降),并且还可以应用于更长的视频剪辑(超过一分钟)。代码和模型可在https://github.com/facebookresearch/TimeSformer上获得。
2021-06-09 cs.CV
Learning Audio-guided Video Representation with Gated Attention for Video-Text Retrieval
POSTECH(浦项科技大学)
针对视频-文本检索中忽略音频及盲目利用音频导致表示次优的问题,提出基于门控注意力的音频引导视频表示学习框架AVIGATE,结合自适应边界对比损失优化视频-文本对齐,在所有公共基准上达到最先进性能。
2025-04-03 cs.CV