Spatio-Temporal Fusion Networks for Action Recognition
University of Central Florida(中佛罗里达大学)
基于视频的CNN工作集中于融合外观和运动网络的有效方法,但它们通常缺乏利用视频帧上的时间信息。在这项工作中,我们提出了一种新的时空融合网络(STFN),集成了整个视频的外观和运动信息的时间动态。然后,所捕获的时间动态信息被聚合以用于更好的视频级表示,并通过端到端训练来学习。时空融合网络由两组提取时间动态的残差初始块和用于外观和运动特征的融合连接组成。STFN的好处是:(a)它捕获补充数据的局部和全局时间动态,以学习视频范围的信息;(b)它适用于任何视频分类网络,以提高性能。我们探索了各种设计选择STFN和验证网络性能是如何随着消融研究而变化的。我们在两个具有挑战性的人类活动数据集UCF 101和HMDB 51上进行了实验,并使用最佳网络实现了最先进的结果。
2019-06-17 cs.CV
GCF-Net: Gated Clip Fusion Network for Video Action Recognition
InnoPeak Technology(英诺峰科技)
近年来,视频动作识别的大部分准确性增益来自新设计的CNN架构(例如,3D-CNN)。这些模型通过在固定时间长度的单个剪辑上应用深度CNN来训练。由于每个视频片段由3D-CNN模块单独处理,因此相应的剪辑描述符是本地的,并且剪辑间关系本质上是隐式的。由于缺乏能够提取和整合相关信息以表示视频的机制,直接平均剪辑级输出作为视频级预测的常见方法容易失败。在本文中,我们介绍了门控剪辑融合网络(GCF-Net),它可以大大提高现有的视频动作分类器的成本很小的计算开销。GCF-Net明确地对视频片段之间的相互依赖性进行建模,以加强本地片段描述符的接受域。此外,计算每个剪辑对动作事件的重要性,并相应地选择剪辑的相关子集用于视频级分析。在大型基准数据集(Kinetics-600)上,GCF-Net将现有动作分类器的准确率分别提高了11.49%(基于中心剪辑)和3.67%(基于密集采样剪辑)。
2021-02-02 cs.CV
Deep Image-to-Video Adaptation and Fusion Networks for Action Recognition
Sun Yat-Sen University(中山大学);Xidian University(西安电子科技大学);Northwestern Polytechnical University(西北工业大学)
现有的用于视频中动作识别的深度学习方法需要大量标记的视频进行训练,这是劳动密集型和耗时的。对于同一个动作,从不同媒体类型学习的知识,例如,视频和图像可以是相关的和互补的。然而,由于视频和图像之间的域转移和异构特征表示,在图像上训练的分类器的性能可能会显着下降时,直接部署到视频。在本文中,我们提出了一种名为深度图像到视频自适应和融合网络(DIVAFN)的新方法,通过使用视频关键帧作为桥梁从图像中传输知识来增强视频中的动作识别。DIVAFN是一个统一的深度学习模型,它将领域不变表示学习和跨模态特征融合集成到一个统一的优化框架中。具体来说,我们设计了一个有效的跨模态相似性度量,以减少图像,关键帧和视频之间的模态转移。然后,我们采用自动编码器架构,其隐藏层被约束为动作类名的语义表示。通过这种方式,当采用自编码器将来自不同域的学习特征投影到同一空间时,可以获得更紧凑、信息量更大且具有区分性的表示。最后,从这三个自编码器的学习语义特征表示的级联用于训练分类器,用于视频中的动作识别。在四个真实世界数据集上的综合实验表明,我们的方法优于一些最先进的领域自适应和动作识别方法。
2019-11-25 cs.CV
Clover: Towards A Unified Video-Language Alignment and Fusion Model
ByteDance Inc(字节跳动公司);Xiamen University(厦门大学)
建立一个通用的视频语言模型来解决各种视频理解任务(\emph{e.g.}、文本视频检索、视频问答)是对机器学习领域的一个公开挑战。为了实现这一目标,最近的作品建立的模型,通过堆叠单模态和跨模态的特征编码器和训练它与成对的对比预文本任务。虽然提供了有吸引力的通用性,所得到的模型必须在效率和性能之间进行折衷。它们大多采用不同的架构来处理不同的下游任务。我们发现这是因为成对训练不能很好地从不同的模态中提取\emph{align}和\emph{fuse}特征。然后,我们介绍了\textbf{Clover} \textemdash一个相关的视频语言预训练方法\textemdash对一个通用的视频语言模型解决多个视频理解任务,既没有性能也没有效率的妥协。它通过一种新的三模态对齐预训练任务改进了跨模态特征对齐和融合。此外,我们建议通过结合语义掩蔽样本的学习和新的成对排序损失来增强三模态对齐。Clover在多个下游任务上建立了新的技术水平,包括三个用于zero-shot和微调设置的检索任务,以及八个视频问答任务。代码和预训练模型将在\url{https://github.com/LeeYN-43/Clover}发布。
2022-12-20 cs.CV
Finite Automata Extraction: Low-data World Model Learning as Programs from Gameplay Video
Department of Computing Science, Alberta Machine Intelligence Institute (Amii), University of Alberta(计算科学系,阿尔伯塔机器智能研究所(Amii),阿尔伯塔大学)
本文提出了一种名为有限自动机提取(FAE)的方法,通过一种新的领域特定语言(DSL)Retro Coder,从游戏录像中学习神经符号世界模型,相较于以往的方法,FAE能够更精确地建模环境并生成更通用的代码。
2026-05-21 cs.AI
Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition
Fudan University(复旦大学);University of Oxford(牛津大学)
人类可以很容易地识别动作,只有几个例子,而现有的视频识别模型仍然严重依赖于大规模的标记数据输入。这一观察激发了越来越多的兴趣,在Few-Shot视频动作识别,其目的是学习新的动作,只有很少的标记样本。在本文中,我们提出了一个深度引导的自适应元融合网络的Few-Shot视频识别,这是被称为AMeFu-Net。具体来说,我们从三个方面解决了Few-Shot识别问题:首先,通过引入深度信息作为场景的载体,为模型带来额外的视觉信息,从而缓解了这一数据极度匮乏的问题;其次,我们将原始RGB剪辑的表示与通过我们的时间增强增强机制采样的多个非严格对应的深度剪辑相融合,第三,提出了一种新的深度引导自适应实例归一化(DGAdaIN)融合模块,有效地融合了两个流模态。此外,为了更好地模仿Few-Shot识别过程,我们的模型是在元学习的方式进行训练。在多个动作识别基准上的实验证明了该模型的有效性。
2020-10-20 cs.CV
Open-Vocabulary Video Relation Extraction
Fudan University(复旦大学);Zhejiang University of Technology(浙江工业大学);Zhejiang Lab(之江实验室)
针对视频理解忽视动作中参与者与关系的问题,提出开放词汇视频关系抽取任务,构建含18万视频的Moments-OVRE数据集,并设计跨模态映射模型生成关系三元组,完成基准测试。
2023-12-25 cs.CV
A Joint Sequence Fusion Model for Video Question Answering and Retrieval
Seoul National University(首尔国立大学)
我们提出了一种名为JSFusion(联合序列融合)的方法,可以测量任何对多模态序列数据(例如,视频剪辑和语言句子)之间的语义相似性。我们的多模态匹配网络由两个关键组件组成。首先,联合语义张量将两个序列数据的密集成对表示组成3D张量。然后,卷积分层解码器通过发现两个序列模态之间的隐藏分层匹配来计算它们的相似性得分。这两个模块都利用了分层的注意力机制,该机制学习促进良好匹配的表示模式,同时以自下而上的方式修剪掉不对齐的表示模式。虽然JSFusion是一个通用的模型,适用于任何多模态序列数据,这项工作的重点是视频语言的任务,包括多模态检索和视频QA。我们在LSMDC中的三个检索和VQA任务中评估了JSFusion模型,我们的模型达到了迄今为止报告的最佳性能。我们还为MSR-VTT数据集执行多项选择和电影检索任务,我们的方法优于许多最先进的方法。
2018-08-07 cs.CV
Convolutional Two-Stream Network Fusion for Video Action Recognition
Graz University of Technology(格拉茨技术大学);University of Oxford(牛津大学)
最近应用卷积神经网络(ConvNets)进行视频中的人类动作识别,提出了不同的解决方案,用于合并外观和运动信息。我们研究了多种在空间和时间上融合ConvNet塔的方法,以便最好地利用这种时空信息。我们得出以下发现:(i)空间和时间网络可以在卷积层融合,而不是在softmax层融合,而不会损失性能,但可以大幅节省参数;(ii)最好在最后一个卷积层空间融合此类网络比之前更好,并且在类别预测层进行额外融合可以提高准确性;最后(iii)在时空邻域上汇集抽象卷积特征进一步提高性能。基于这些研究,我们提出了一个新的ConvNet架构的时空融合的视频片段,并评估其性能的标准基准,该架构实现了最先进的结果。
2016-09-26 cs.CV
OMD-GraphRAG: Enhancing GraphRAG with Ontology-Guided Extraction, Multi-Dimensional Clustering and Dual-Channel Fusion
Data Science & Artificial Intelligence Research Institute(数据科学与人工智能研究院)
提出OMD-GraphRAG框架,通过本体引导知识提取、多维社区聚类和双通道图检索融合,提升GraphRAG在复杂推理和多跳查询中的性能。
2026-05-26 cs.AI cs.IR
Learning from Watching: Scalable Extraction of Manipulation Trajectories from Human Videos
本文提出结合大规模基础模型与点跟踪技术,从人类视频中提取操作轨迹,以实现更高效的数据收集和机器人学习。
2025-11-03 cs.CV cs.RO
The Joint Entity-Relation Extraction Model Based on Span and Interactive Fusion Representation for Chinese Medical Texts with Complex Semantics
School of Computer and Artificial Intelligence, Zhengzhou University(郑州大学计算机与人工智能学院);Cooperative Innovation Center of Internet Healthcare, Zhengzhou University(郑州大学互联网医疗协同创新中心);Fuwai Hospital, National Center for Cardiovascular Diseases, Chinese Academy of Medical Sciences and Peking Union Medical College(中国医学科学院北京协和医学院国家心血管病中心阜外医院);Department of Geriatrics, Beijing Friendship Hospital, Capital Medical University(首都医科大学附属北京友谊医院老年医学科)
针对中文复杂语义医疗文本的联合实体关系抽取研究不足问题,本文构建CH-DDI数据集,提出SEA模块和交互式融合表示模块,在CH-DDI和CoNLL04数据集上取得优异泛化性能,为医疗领域知识图谱构建提供支持。
2025-02-13 cs.AI cs.CL
Enhancing Complex Causality Extraction via Improved Subtask Interaction and Knowledge Fusion
Harbin Institute of Technology(哈尔滨工业大学);Huawei Cloud(华为云)
本文提出统一框架UniCE,通过子任务交互机制、双模态知识融合机制和独立解码器同时解决复杂因果关系抽取、子任务交互与知识融合三大挑战,在三个基准上超越ChatGPT至少30% F1,并可通过上下文学习提升ChatGPT性能。
2024-08-06 cs.AI cs.CL
Data Fusion for Multi-Task Learning of Building Extraction and Height Estimation
本文针对DFC23 Track 2城市重建任务,融合光学与雷达影像,在约束条件下分别实现建筑物提取与高度估计,显著提升了基线性能。
2023-08-05 cs.AI cs.CV cs.LG
TripleSumm: Adaptive Triple-Modality Fusion for Video Summarization
Seoul National University(首尔国立大学)
TripleSumm通过适应性三模态融合技术,在视频摘要任务中实现了最先进的性能,首次提出了多模态视频摘要的大型基准MoSu。
2026-03-01 cs.AI cs.CV cs.LG
MASTAF: A Model-Agnostic Spatio-Temporal Attention Fusion Network for Few-shot Video Classification
University of California Davis(加州大学戴维斯分校)
我们提出了MASTAF,一个模型无关的时空注意力融合网络的Few-Shot视频分类。MASTAF从一般视频空间和时间表示中获取输入,例如,使用2D CNN、3D CNN和视频Transformer。然后,为了充分利用这种表示,我们使用自我和交叉注意模型来突出关键的时空区域,以增加类间的变化,减少类内的变化。最后,MASTAF应用轻量级融合网络和最近邻分类器对每个查询视频进行分类。我们证明,MASTAF提高了三个Few-Shot视频分类基准(UCF 101,HMDB 51和Something-Something-V2)的最先进性能,例如,对于五路单镜头视频分类,分别高达91.6%,69.5%和60.7%。
2022-10-16 cs.CV cs.LG
Player Experience Extraction from Gameplay Video
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
为给定玩家的游戏过程提取游戏事件序列的能力传统上需要访问游戏的引擎或源代码。这对研究人员、开发人员和爱好者来说是一个障碍,他们可能会从这些游戏日志中受益。在本文中,我们提出了两种方法来获得游戏日志从游戏视频通过卷积神经网络和迁移学习。我们评估的方法在超级马里奥兄弟克隆,洛克人和天际。我们的结果表明,我们的方法优于随机森林和其他转移基线。
2018-09-06 cs.AI cs.CV cs.LG
Video Captioning with Aggregated Features Based on Dual Graphs and Gated Fusion
Nanjing Tech University(南京工业大学)
针对视频对象时空关系建模不足的问题,提出双图分别提取外观与运动特征并以门控融合聚合,在 MSVD 和 MSR-VTT 上达到最先进性能。
2023-08-13 cs.AI cs.CV
Loss Switching Fusion with Similarity Search for Video Classification
iCetana Pty Ltd(iCetana私人有限公司);The University of Western Australia(西澳大利亚大学)
从视频流到安全和监控应用,视频数据在我们今天的日常生活中发挥着重要作用。然而,管理大量的视频数据和检索对用户最有用的信息仍然是一项具有挑战性的任务。在本文中,我们提出了一种新的视频分类系统,将有利于场景理解任务。我们将我们的分类问题定义为对室外场景使用相同特征表示的背景和前景运动进行分类。这意味着特征表示需要足够鲁棒,并且能够适应不同的分类任务。我们提出了一个轻量级的损失切换融合网络(LSFNet)的融合时空描述符和软投票的相似性搜索方案,以提高分类性能。该系统具有各种潜在的应用,如基于内容的视频聚类,视频过滤等。两个私人行业数据集的评价结果表明,我们的系统是强大的,在不同的背景运动分类和检测人体运动从这些背景运动。
2019-06-27 cs.CV cs.LG
Bridging VideoQA and Video-Guided Agentic Tasks via Generalized Keyframe Extraction
提出VG-GUIBench基准和TASKER关键帧提取算法,联合考虑任务相关性和场景动态,在VideoQA和视频引导的GUI任务上提升性能。
2026-06-28 cs.AI cs.CV
QCaption: Video Captioning and Q&A through Fusion of Large Multimodal Models
Department of Computer Science and Engineering, Nanyang Technological University, Singapore(南洋理工大学计算机科学与工程系)
QCaption通过融合关键帧提取、多模态模型和语言模型,提升视频描述和问答任务的性能,实现44.2%和48.9%的改进。
2026-01-10 cs.AI cs.CV
Towards Good Practices for Multi-modal Fusion in Large-scale Video Classification
Bytedance AI Lab(字节跳动人工智能实验室)
利用视觉帧和音频已被实验证明有效地提高大规模视频分类。以往的视频分类研究主要集中在提取视频帧间的视觉内容分析及其时间特征聚合。相比之下,多模态数据融合是通过简单的运算符,如平均和级联。受双线性池在视觉和语言融合中的成功启发,我们引入多模态分解双线性池(MFB)来融合视觉和音频表示。我们结合MFB与不同的视频级功能,并探讨其在视频分类的有效性。在具有挑战性的Youtube-8 M v2数据集上的实验结果表明,MFB在大规模视频分类中的性能明显优于简单的融合方法。
2018-09-28 cs.CV
A Unified Solution to Video Fusion: From Multi-Frame Learning to Benchmarking
ETH Zürich(苏黎世联邦理工学院);Xi’an Jiaotong University(西安交通大学);Shanghai Jiao Tong University(上海交通大学);Nanjing University(南京大学)
针对现有图像融合忽视视频时间相关性的问题,提出统一框架 UniVF,并构建覆盖四类任务的 VF-Bench,实验显示其在所有任务上达到最先进性能。
2025-10-21 cs.CV
Efficient Audio-Visual Fusion for Video Classification
University of Surrey(萨里大学)
提出Attend-Fusion高效音视频融合方法,在YouTube-8M数据集上以更低模型复杂度实现与较大基线模型相当的性能。
2024-11-08 cs.CV
RPCA-KFE: Key Frame Extraction for Consumer Video based Robust Principal Component Analysis
本研究聚焦消费级视频关键帧提取问题,提出基于鲁棒主成分分析的RPCA-KFE方法,用于选取最具信息量的帧子集来概括视频内容。
2015-03-12 cs.CV
Driver Behavior Extraction from Videos in Naturalistic Driving Datasets with 3D ConvNets
University of Michigan(密歇根大学)
自然驾驶数据(NDD)是了解碰撞原因和人为因素以及进一步制定防撞对策的重要信息来源。在驾驶时记录的视频通常包括在这样的数据集中。虽然NDD中通常有大量的视频数据,但只有一小部分可以由人类编码人员注释并用于研究,这使得所有视频数据都没有得到充分利用。本文探索了一种计算机视觉方法来自动提取视频中的信息。更具体地说,我们开发了一种3D ConvNet算法,可以从视频中自动提取与手机相关的行为。实验表明,我们的方法可以从视频中提取块,其中大部分(约79%)包含自动标记的手机行为。结合对提取的块的人工审查,这种方法可以比简单地查看视频更有效地找到与手机相关的驾驶员行为。
2020-11-30 cs.AI cs.CV
Micro-expression Recognition Based on Dual-branch Feature Extraction and Fusion
China University of Petroleum (Beijing) Karamay Campus(中国石油大学(北京)克拉玛依校区)
本文提出双分支特征提取与融合网络,通过残差网络、Inception网络和自适应融合模块提升微表情识别准确率,实验显示在CASME II数据集上达到74.67%的准确率。
2026-02-27 cs.AI cs.CV
Improving Video Diffusion Transformer Training by Multi-Feature Fusion and Alignment from Self-Supervised Vision Encoders
提出Align4Gen,通过多特征融合与对齐自监督视觉编码器特征,改进视频扩散Transformer训练,提升视频生成质量。
2025-09-11 cs.AI cs.CV
SecurePose: Automated Face Blurring and Human Movement Kinematics Extraction from Videos Recorded in Clinical Settings
SecurePose是一个开源软件,利用OpenPose姿态估计在临床视频中自动识别患者并模糊面部,同时提取全身运动学信息,在116名脑瘫儿童步态视频上验证其去标识化准确性优于六种现有方法且速度提升91.08%。
2025-07-18 cs.AI cs.CV
Multimodal Learning for Fake News Detection in Short Videos Using Linguistically Verified Data and Heterogeneous Modality Fusion
Singapore University of Social Sciences(新加坡社会科学研究大学)
本文提出异构融合网络HFN,通过动态调整视频、音频、文本模态权重并构建VESV数据集,在短视频假新闻检测中较现有方法F1提升2.71%和4.14%。
2025-09-19 cs.AI cs.CV
Neural Video Compression Based on Deformable Temporal Alignment and Difference-aware Fusion
Google(谷歌);Nanjing University(南京大学)
针对神经视频压缩中时间上下文易受误差干扰的问题,提出结合可变形时间对齐与差异感知融合的方法,提升了率失真性能。
2026-09-04 cs.AI cs.CV
Rethinking Temporal Fusion for Video-based Person Re-identification on Semantic and Time Aspect
Tencent Youtu Lab(腾讯优图实验室);Sun Yat-sen University(中山大学);Southern University of Science and Technology(南方科技大学)
近年来,人物再识别(ReID)的研究兴趣逐渐转向基于视频的方法,该方法通过聚合整个视频的帧特征来获取人物表示。然而,现有的基于视频的ReID方法没有考虑不同网络阶段的输出所带来的语义差异,这潜在地损害了人特征的信息丰富性。此外,传统的方法忽略了帧间的重要关系,导致融合时沿时间轴的信息冗余。为了解决这些问题,我们提出了一种新的通用的时间融合框架聚合帧的语义方面和时间方面的功能。在语义方面,采用多级融合网络,融合多个语义层次的丰富帧特征,有效减少了传统单级融合带来的信息损失。在时间轴上,对现有的帧内关注方法进行了改进,增加了帧间关注模块,充分考虑了帧间的关系,有效地减少了时域融合中的信息冗余。实验结果表明,该方法能有效提高基于视频的重识别准确率,达到了最佳性能。
2019-11-28 cs.CV cs.LG eess.IV
Unsupervised video summarization framework using keyframe extraction and video skimming
University of Massachusetts(马萨诸塞大学);College of Information and Computer Science(信息与计算机科学学院)
视频是强大的信息来源之一,在过去几年中,在线和离线视频的消费达到了前所未有的水平。从视频中提取信息的一个基本挑战是观众必须通过完整的视频来理解上下文,而不是观众可以从单个帧中提取信息的图像。除了上下文理解之外,几乎不可能为每个人创建通用的摘要视频,因为每个人都有自己的关键帧偏好,例如;在足球比赛中,教练人员可能会考虑由球员位置,技术等信息组成的那些帧;然而,对足球比赛了解较少的人将更多地关注由目标和记分牌组成的帧。因此,如果我们要通过监督学习路径来解决视频摘要问题,则需要对数据进行广泛的个性化标记。在本文中,我们试图解决视频摘要通过无监督学习采用传统的基于视觉的算法方法,准确的特征提取从视频帧。我们还提出了一种基于深度学习的特征提取,然后采用多种聚类方法,以找到一种通过提取有趣的关键帧来总结视频的有效方法。我们在SumMe数据集上比较了这些方法的性能,并展示了使用基于深度学习的特征提取已被证明在动态视点视频的情况下表现更好。
2020-06-30 cs.CV cs.IR cs.LG
Appearance Fusion of Multiple Cues for Video Co-localization
Indraprastha Institute of Information Technology Delhi (IIIT Delhi)(德里因德拉普拉斯塔信息技术学院 (IIIT Delhi))
这项工作解决了在视频中的联合对象发现问题,同时利用多个对象相关的线索。与通常的空间融合方法不同,本文提出了一种新的外观融合方法。具体而言,本文提出了一种有效的融合过程中不同的GMM从多个线索到一个GMM。与任何融合策略一样,这种方法也需要一些指导。所提出的方法依赖于可靠性和共识现象的指导。作为一个案例研究,我们追求的“视频协同定位”的对象发现问题,提出我们的方法。我们在YouTube Objects和YouTube Co-localization数据集上的实验表明,所提出的外观融合方法无疑具有空间融合策略和当前最先进的视频协同定位方法的优势。
2020-07-18 cs.CV eess.IV
Video Affective Effects Prediction with Multi-modal Fusion and Shot-Long Temporal Context
Alibaba Group(阿里巴巴集团);South China University of Technology(华南理工大学)
使用机器学习预测视频的情感影响是一项具有挑战性的任务,考虑到各种形式,视频的复杂时间上下文以及情感状态的时间依赖性。特征提取、多模态融合和时间背景融合是预测情感影响中的效价和唤醒值的关键阶段,但尚未成功开发。在本文中,我们提出了一个全面的框架与新颖的设计的模态结构和多模态融合策略。我们分别为效价和唤醒任务选择最合适的模态,并使用大型通用数据集上特定于模态的预训练深度模型提取每个模态特征。两个时间尺度的结构,一个用于帧内剪辑和其他的帧间剪辑,提出了捕捉视频内容和情感状态的时间依赖性。为了结合多种模态的互补信息,提出了一种有效且高效的基于剩余的渐进训练策略。每个模态被逐步组合到多模态模型中,负责完成特征的缺失部分。通过上述所有这些改进,我们提出的预测框架在LIRIS-ACCEDE数据集上实现了更好的性能,与最先进的预测框架相比,具有更大的优势。
2019-09-01 cs.CV cs.LG
MambaVF: State Space Model for Efficient Video Fusion
Xi'an Jiaotong University(西安交通大学);Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
MambaVF通过基于状态空间模型的高效框架,实现了无需显式运动估计的视频融合,显著提升效率和性能。
2026-10-06 cs.CV
Multi scale Feature Extraction and Fusion for Online Knowledge Distillation
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Key Laboratory of Space-ground Interconnection and Convergence(北京天地互联与融合重点实验室)
在线知识蒸馏在所有学生模型之间进行知识转移,以减轻对预训练模型的依赖。然而,现有的在线方法严重依赖于预测分布,而忽略了对代表性知识的进一步探索。本文提出了一种新的多尺度特征提取与融合方法(MFEF)用于在线知识蒸馏,该方法包括三个关键部分:多尺度特征提取、双注意和特征融合,以生成更多信息的特征图用于提取。为了提高特征图的多尺度表示能力,提出了基于通道维分割拼接的多尺度特征提取方法。为了获得更准确的信息,我们设计了一个双注意力,以加强重要的通道和空间区域自适应。此外,我们通过特征融合对先前处理的特征图进行聚合和融合,以辅助学生模型的训练。在CIF AR-10、CIF AR-100和CINIC-10上的大量实验表明,MFEF传递了更多有益的表征知识,并且在各种网络结构中优于替代方法
2022-06-16 cs.CV
MambaOVSR: Multiscale Fusion with Global Motion Modeling for Chinese Opera Video Super-Resolution
本文针对中国戏曲视频超分辨率问题,构建大规模COVC数据集并提出MambaOVSR网络,通过全局运动建模与多尺度融合,在PSNR上比现有STVSR方法平均提升1.86 dB。
2025-11-09 cs.AI cs.CV
Deep Unsupervised Key Frame Extraction for Efficient Video Classification
ETH Zurich(苏黎世联邦理工学院);University of Trento(特伦托大学);Guangdong University of Petrochemical Technology(广东石油化工学院)
由于大量的视频(例如,Youtube、Hulu)每天都上传到网上。从视频中提取具有代表性的关键帧在视频处理和分析中非常重要,因为它大大减少了计算资源和时间。虽然近年来取得了很大的进展,大规模视频分类仍然是一个开放的问题,因为现有的方法没有很好地平衡的性能和效率同时。针对这一问题,本文提出了一种结合卷积神经网络(CNN)和时间段密度峰值聚类(TSDPC)的无监督关键帧检索方法。TSDPC是一个通用的、功能强大的框架,与以前的工作相比,它有两个优点,一是它可以自动计算关键帧的数量。另一个是它可以保持视频的时间信息。从而提高了视频分类的效率。此外,在CNN的顶部添加了长短期记忆网络(LSTM),以进一步提高分类性能。此外,不同的输入网络的权重融合策略,以提高性能。通过同时优化视频分类和关键帧提取,我们获得了更好的分类性能和更高的效率。我们在两个流行的数据集上评估我们的方法(即,HMDB51和UCF101)和实验结果一致表明,我们的策略实现了竞争力的性能和效率相比,国家的最先进的方法。
2022-11-12 cs.AI cs.CV
VideoFusion: A Spatio-Temporal Collaborative Network for Multi-modal Video Fusion
School of Robotics, Wuhan University, Wuhan, China(机器人学院,武汉大学,武汉,中国);Electronic Information School, Wuhan University, Wuhan, China(电子信息学院,武汉大学,武汉,中国);Southeast University, Nanjing, China(东南大学,南京,中国)
VideoFusion通过时空协作网络实现多模态视频融合,利用跨模态互补性和时间动态性提升视频一致性。
2026-03-02 cs.CV
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University(首尔国立大学)
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成,它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同,所提出的融合网络在原始分辨率下混合两个流,以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外,多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果,我们有一个像素级的概率分割图,它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分,我们最终获得视频序列的前景分割结果,而无需任何用户干预,即,我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能,也实现了近半监督的性能。
2019-12-03 cs.CV
TemCoCo: Temporally Consistent Multi-modal Video Fusion with Visual-Semantic Collaboration
Electronic Information School, Wuhan University, Wuhan 430072, China(武汉大学电子信息学院)
针对现有多模态视频融合方法忽略时间依赖性导致帧间不一致的问题,提出TemCoCo框架,通过视觉-语义协作模块(含语义/视觉分支及针对性蒸馏)、整合视频退化增强任务的时间协作模块及时间损失机制,实现视觉保真、语义准确和时间一致,实验效果优越。
2025-08-25 cs.CV
Lightweight Attentional Feature Fusion: A New Baseline for Text-to-Video Retrieval
Renmin University of China(中国人民大学);Zhejiang Gongshang University(浙江工商大学)
在本文中,我们重温特征融合,一个老式的话题,在新的文本到视频检索的背景下。与以往只考虑视频或文本一端特征融合的研究不同,我们的目标是在一个统一的框架内对两端进行特征融合。我们假设,优化凸组合的功能是首选的计算繁重的多头自我注意建模它们的相关性。我们提出了轻量级注意特征融合(LAFF)。LAFF在早期和后期以及视频和文本端都进行特征融合,使其成为利用不同(现成)特征的强大方法。LAFF的可解释性可用于特征选择。对五个公共基准集(MSR-VTT、MSVD、TGIF、VATEX和TRECVID AVS 2016-2020)进行的广泛实验证明LAFF可以作为文本到视频检索的新基线。
2022-07-27 cs.CV cs.MM
Extraction and Summarization of Explicit Video Content using Multi-Modal Deep Learning
University of Southern California(南加州大学)
提出一种基于多模态深度学习的自动化流水线,用于提取视频中的显式内容片段并生成文本摘要以判定年龄适宜性,最后通过标准指标验证了其有效性。
2023-11-21 cs.CL cs.CV cs.LG
Kaninfradet3D:A Road-side Camera-LiDAR Fusion 3D Perception Model based on Nonlinear Feature Extraction and Intrinsic Correlation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));School of Transportation, Southeast University(东南大学交通学院)
本文提出Kaninfradet3D路侧3D感知模型,通过KAN Layers优化特征提取与融合,并结合交叉注意力解决相机特征异常集中问题,在多个数据集上显著提升检测精度。
2024-10-21 cs.AI cs.CV
Online Adaptive Decision Fusion Framework Based on Entropic Projections onto Convex Sets with Application to Wildfire Detection in Video
Bilkent University(比尔肯特大学);Texas A&M University at Qatar(德州农工大学卡塔尔分校)
本文提出了一种基于熵泛函的在线自适应决策融合(EADF)框架,用于图像分析和计算机视觉应用。在这个框架中,假设复合算法由几个子算法组成,每个子算法产生自己的决策,作为以零为中心的实数,表示该特定子算法的置信水平。决策值与权值线性组合,权值根据一种基于熵投影到描述子算法的凸集上的主动融合方法在线更新。它是假设有一个预言家,通常是一个人的操作员,提供反馈的决策融合方法。一个基于视频的野火检测系统的开发,以评估该算法在处理数据顺序到达的问题的性能。在这种情况下,预言机是森林了望塔的安全警卫,验证组合算法的决定。仿真结果。EADF框架还使用标准数据集进行了测试。
2011-01-25 cs.CV cs.LG
COVID-VTS: Fact Extraction and Verification on Short Video Platforms
University of Maryland, College Park(马里兰大学帕克分校)
我们引入了一个新的基准,COVID-VTS,用于事实检查多模态信息,包括来自现实世界和机器生成的COVID 19聚焦信息的短时间视频。我们提出,TwtrDetective,一个有效的模型,将跨媒体一致性检查,以检测令牌级恶意篡改不同的方式,并生成解释。由于训练数据的稀缺性,我们还开发了一种高效且可扩展的方法,通过事件操作或对抗性匹配自动生成误导性视频帖子。我们调查了几个国家的最先进的模型,并证明了TwtrDetective的优越性。
2023-02-15 cs.AI cs.CV cs.MM
Improved Image Classification with Token Fusion
Seoul National University of Science and Technology(首尔国立科技大学);Ways1 Inc(Ways1公司)
本文提出了一种利用CNN和Transformer结构的融合来提高图像分类性能的方法。在CNN的情况下,可以很好地提取关于图像上的局部区域的信息,但是对全局信息的提取存在限制。另一方面,Transformer在相对全局的提取中具有优势,但是具有缺点,因为它需要大量的存储器用于局部特征值提取。在图像的情况下,通过CNN将其转换为特征图,并且每个特征图的像素被视为令牌。同时,图像被划分为小块区域,然后用Transformer方法进行融合,将它们视为令牌。针对两种不同特征的令牌融合,提出了三种方法:(1)并行结构的后期令牌融合,(2)早期令牌融合,(3)逐层令牌融合。在使用ImageNet 1k的实验中,该方法显示出最佳的分类性能。
2022-08-19 cs.AI cs.CV
Spatio-temporal Prompting Network for Robust Video Feature Extraction
Huawei UKRD(华为英国研发部);Imperial College London(伦敦帝国学院)
本文提出时空提示网络(STPN),通过动态调整输入特征并前置视频提示,高效提取鲁棒视频特征,在多个视频任务数据集上达到最先进性能。
2024-02-04 cs.CV cs.LG
Video Key Frame Extraction using Entropy value as Global and Local Feature
B.V. Bhoomraddi College of Engineering and Technology(B.V. 布姆拉迪工程技术学院)
关键帧在视频标注中起着重要的作用。它是广泛使用的视频抽象方法之一,因为这将有助于我们以更快的方式处理具有足够内容表示的大量视频数据。提出了一种基于熵值的关键帧提取方法。该方法以帧的熵值作为全局特征对帧进行分类,并从每一类中选取代表帧作为关键帧。该算法还利用熵值作为局部特征,从选定的关键帧中剔除冗余帧。已经提出了几个视频剪辑的方法的评价。实验结果表明,该算法能够有效地帮助标注者自动识别视频关键帧。
2016-05-28 cs.CV
EV9V: An Echocardiographic Video Benchmark with Uncertainty Guided View Classification
Department of Ultrasound, The First Affiliated Hospital of Chengdu Medical College, School of Clinical Medicine, Chengdu Medical College(成都医学院第一附属医院超声科,临床医学院);College of Computer Science, Sichuan University(四川大学计算机学院);Department of Medical Ultrasound, West China Hospital of Sichuan University(四川大学华西医院超声科);Cancer Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College(中国医学科学院北京协和医学院肿瘤医院)
针对超声心动图视图分类中数据稀缺、时空特征难以融合的问题,提出基于不确定性感知的CNN-LSTM双流融合模型,在最大公开数据集EV9V上取得竞争性能。
2026-11-03 cs.AI cs.CV
Multiple feature fusion-based video face tracking for IoT big data
Shandong Normal University(山东师范大学)
随着物联网和人工智能技术的进步,以及安防门禁、金融商务贸易等领域应用快速增长的需求,人脸信息处理已成为实现身份认证和信息安全的重要手段。提出了一种基于积分直方图的多特征融合算法和实时更新跟踪的粒子滤波模块。首先,提取人脸的边缘和颜色特征,采用加权方法对颜色直方图和边缘特征进行加权来描述人脸特征,并通过融合系数对颜色和边缘特征进行自适应融合以提高人脸跟踪的可靠性。然后,将积分直方图融入粒子滤波算法中,简化了复杂粒子的计算步骤。最后,根据当前模型和初始模型的粒子中心到边缘的平均距离的变化,实时的调整跟踪窗口大小,以减少漂移问题,实现对目标尺寸变化较大的稳定跟踪。实验结果表明,该算法提高了视频跟踪精度,简化了粒子运算复杂度,提高了速度,具有较好的抗干扰能力和鲁棒性。
2021-04-15 cs.CV cs.LG
Intensity Video Guided 4D Fusion for Improved Highly Dynamic 3D Reconstruction
Beihang University(北京航空航天大学);University of Edinburgh(爱丁堡大学)
高速3D视频传感器的可用性极大地促进了动态和可变形对象的3D形状获取,但是高帧速率3D重建总是由于空间噪声和时间波动而降级。本文提出了一种简单而强大的强度视频引导的多帧4D融合流水线。(移动和变形对象的)强度图像点的时间跟踪允许对应的3D数据点的配准,其3D噪声和波动然后通过时空多帧4D融合来减少。我们使用1000 fps的3D视频传感器对四个3D对象进行了模拟噪声测试和真实实验。实验结果表明,该算法能有效地抑制三维噪声,对强度噪声具有较强的鲁棒性。它优于现有的算法,具有良好的可扩展性的静态和动态对象。
2017-08-06 cs.CV
GL-Fusion: Global-Local Fusion Network for Multi-view Echocardiogram Video Segmentation
The Hong Kong University of Science and Technology(香港科技大学);Guangdong Cardiovascular Institute(广东省心血管病研究所);Southern Medical University(南方医科大学)
本文提出GL-Fusion网络,通过全局与局部多视图融合模块联合利用多视图超声心动图视频信息,并构建MvEVD数据集,首次实现多视图超声心动图视频分割,平均Dice分数达82.29%,较基线提升7.83%。
2023-09-20 cs.CV