Knowledge Fusion Transformers for Video Action Recognition
Indian Institute of Technology Dharwad(达瓦德印度理工学院);Indian Institute of Techonology Roorkee(鲁尔基印度理工学院);UltraInstinct AI(超本能人工智能公司)
我们介绍了知识融合Transformers的视频动作分类。我们提出了一个自我关注的特征增强器融合动作知识的三维初始基于时空背景的视频片段打算进行分类。我们展示了如何只使用一个流网络,并且很少或没有预训练,可以为接近当前最先进的性能铺平道路。此外,我们还展示了如何在网络的不同级别使用不同的自注意力架构,以增强特征表示。我们的架构在UCF-101和Charades数据集上进行了训练和评估,与最先进的技术相比具有竞争力。它也超过了没有或更少预训练的单流网络。
2020-09-30 cs.CV
Cross-Video Contextual Knowledge Exploration and Exploitation for Ambiguity Reduction in Weakly Supervised Temporal Action Localization
Zhejiang University(浙江大学)
针对弱监督时序动作定位中上下文不足导致的分类与定位歧义,本文提出含RMGCL和GKSA的端到端框架,利用跨视频知识构建语义结构并生成高置信伪标签,在三个基准上取得最优性能且易于集成。
2023-12-09 cs.CV
Learning a Deep Model for Human Action Recognition from Novel Viewpoints
The University of Western Australia(西澳大学);University of Central Florida(中佛罗里达大学)
从未知的和看不见的(新的)观点识别人类行为是一个具有挑战性的问题。本文从新颖的角度提出了一种用于人体动作识别的鲁棒非线性知识转移模型(R-NKTM)。所提出的R-NKTM是一个深度全连接的神经网络,通过找到连接视图的非线性虚通路,将人类行为的知识从任何未知视图转移到共享的高级虚拟视图。R-NKTM是从适合真实运动捕捉数据的合成3D人体模型的密集轨迹中学习的,并推广到人类动作的真实视频。我们的技术的优势在于,我们为所有动作和所有观点学习单个R-NKTM,用于任何真实人类动作视频的知识转移,而无需重新训练或微调模型。因此,R-NKTM可以有效地扩展以纳入新的操作类。R-NKTM是通过虚拟标签学习的,在任何阶段都不需要了解相机视点。在三个基准交叉视图人体动作数据集上的实验表明,我们的方法优于现有的最先进的。
2016-02-02 cs.CV
Generating Action-conditioned Prompts for Open-vocabulary Video Action Recognition
Xi’an Jiaotong University(西安交通大学);University of Technology Sydney(悉尼科技大学);Zhejiang University(浙江大学);SGIT AI Lab(SGIT人工智能实验室);Baidu Inc(百度公司)
本文提出利用大型语言模型生成动作条件提示以增强文本嵌入,并引入多模态动作知识对齐机制,在零样本、少样本和基类到新类泛化等设置下显著提升开放词汇视频动作识别性能,达到新SOTA并具备良好可解释性。
2023-12-04 cs.CV
Transferable Knowledge-Based Multi-Granularity Aggregation Network for Temporal Action Localization: Submission to ActivityNet Challenge 2021
SenseTime Research(商汤科技研究院);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shanghai AI Laboratory(上海人工智能实验室)
本技术报告概述了我们在提交2021 HACS时间动作本地化挑战赛时使用的解决方案,包括监督学习跟踪和弱监督学习跟踪。时间动作定位(TAL)不仅需要精确定位动作实例的时间边界,而且还需要将未修剪的视频准确分类到特定的类别中。然而,弱监督TAL指示仅使用视频级别的类标签来定位动作实例。为了训练一个有监督的时间动作定位器,本文采用时间上下文聚合网络(TCANet),通过“局部和全局”的时间上下文聚合和互补以及渐进的边界细化来生成高质量的动作建议。对于WSTAL,提出了一种新的框架来处理简单分类网络生成的CAS质量差的问题,该框架只能关注局部判别部分,而不能定位目标动作的整个区间。进一步受迁移学习方法的启发,我们还采用了一个额外的模块来将知识从修剪视频(HACS Clips数据集)转移到未修剪视频(HACS Segments数据集),旨在提高未修剪视频的分类性能。最后,我们采用了一个边界回归模块嵌入外部-内部-对比(OIC)的损失,自动预测边界的基础上增强的CAS。我们提出的方案实现了39.91和29.78平均mAP的挑战测试集的监督和弱监督的时间动作定位跟踪。
2021-07-27 cs.CV
Distilling Knowledge from CNN-Transformer Models for Enhanced Human Action Recognition
Iran University of Science and Technology(伊朗科技大学)
本文提出以 ConvNeXt 为教师、ViT 类 Transformer 为学生的知识蒸馏框架,融合局部与全局特征,在 Stanford 40 上显著提升动作识别准确率和 mAP。
2023-11-02 cs.CV
Language Knowledge-Assisted Representation Learning for Skeleton-Based Action Recognition
Xidian University(西安电子科技大学);Alibaba Group(阿里巴巴集团);Chongqing University of Posts and Telecommunications(重庆邮电大学)
本文提出LA-GCN图卷积网络,利用LLM知识构建先验全局关系和类别关系拓扑,结合多跳注意力图卷积加速收敛,在三个数据集上达到SOTA。
2023-05-21 cs.CV
Multimodal Knowledge Distillation for Egocentric Action Recognition Robust to Missing Modalities
I3A – University of Zaragoza(萨拉戈萨大学I3A研究中心);Technical University of Darmstadt, Department of Computer Science(达姆施塔特技术大学计算机科学系)
KARMMA通过多模态知识蒸馏实现抗缺失模态的自体视觉动作识别,以轻量模型提升机器人部署效率。
2026-02-27 cs.CV
Probabilistic Vision-Language Representation for Weakly Supervised Temporal Action Localization
Sejong University(世宗大学);Electronics and Telecommunications Research Institute(电子通信研究院)
针对弱监督时序动作定位中任务差异与细粒度运动捕捉难的问题,提出在概率嵌入空间对齐动作与VLP知识的框架,结合分布内外对比学习增强表示,性能超越现有最优方法。
2024-08-12 cs.CV
AU R-CNN: Encoding Expert Prior Knowledge into R-CNN for Action Unit Detection
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
检测人脸上的动作单元(AU)是具有挑战性的,因为不同的AU在不同尺度的不同区域上使面部外观发生微妙的变化。目前的作品试图通过强调重要区域来识别AU。然而,将专家先验知识结合到区域定义中仍然未得到充分利用,并且当前的AU检测方法不使用具有专家先验知识的区域卷积神经网络(R-CNN)来自适应地直接聚焦于AU相关区域。通过结合专家先验知识,我们提出了一种新的基于R-CNN的模型,称为AU R-CNN。所提出的解决方案提供了两个主要贡献:(1)AU R-CNN直接观察不同的面部区域,其中各种AU位于。具体来说,我们定义了一个AU分区规则,将专家先验知识编码到区域定义和ROI级标签定义中。这种设计产生比现有方法更好的检测性能。(2)我们将各种动态模型(包括卷积长短期记忆、双流网络、条件随机场和时间动作定位网络)集成到AU R-CNN中,然后调查和分析动态模型性能背后的原因。实验结果表明,\textit{only}静态RGB图像信息和基于无光流的AU R-CNN优于与动态模型融合的AU R-CNN。AU R-CNN也优于在不同图像分辨率上使用相同主干的传统CNN。实现了AU检测的最新识别性能。整个网络是端到端可训练的。在BP4D和DISFA数据集上的实验表明了该方法的有效性。实现代码可在线获取。
2019-08-25 cs.CV
PhysioAI: Clinical Knowledge-Guided Semantic Supervision for Skeleton-Based Physiotherapy Action Recognition
The University of Sydney(悉尼大学);James Cook University(詹姆斯·库克大学);Nepean Hospital(尼皮恩医院)
PhysioAI利用临床知识字典生成语义锚点,在训练时监督骨骼表示学习,提升物理治疗动作识别准确率,在多个基准上超越现有方法。
2026-09-14 cs.CV
HA-ViD: A Human Assembly Video Dataset for Comprehensive Assembly Knowledge Understanding
The University of Auckland(奥克兰大学)
该研究发布首个面向工业装配知识理解的人类装配视频数据集 HA-ViD,提供多视角多模态视频与丰富时空标注,并评测四类基础视频理解任务。
2023-07-09 cs.CV
Video-Specific Query-Key Attention Modeling for Weakly-Supervised Temporal Action Localization
Northwestern University(西北大学)
提出VQK-Net,通过视频特定查询-键注意力建模学习每个视频每个动作类别的独特查询,实现弱监督时间动作定位,在三个数据集上达到最先进性能。
2023-12-25 cs.CV
Weakly Supervised Temporal Action Localization via Representative Snippet Knowledge Propagation
The Chinese University of Hong Kong(香港中文大学);Centre for Perceptual and Interactive Intelligence(感知与智能交互中心);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
弱监督时间动作定位的目标是定位动作的时间边界,同时仅使用视频级别的类别标签来识别它们的类别。许多现有的方法试图生成伪标签,以弥合分类和本地化之间的差异,但通常只利用有限的上下文信息的伪标签生成。为了缓解这个问题,我们提出了一个代表性的片段摘要和传播框架。我们的方法旨在挖掘每个视频中的代表性片段,用于在视频片段之间传播信息,以生成更好的伪标签。对于每个视频,传播其自身的代表性片段和来自存储体的代表性片段,以视频内和视频间方式更新输入特征。伪标签是从更新特征的时间类激活图生成的,以纠正主分支的预测。我们的方法在两个基准测试,THUMOS 14和ActivityNet1.3,实现收益高达1.2%的平均mAP THUMOS 14相比,现有的方法获得了优异的性能。
2022-03-14 cs.CV
Long Activity Video Understanding using Functional Object-Oriented Network
University of South Florida(南佛罗里达大学)
视频理解是计算机视觉中最具挑战性的课题之一。在本文中,一个四阶段的视频理解流水线,同时认识到所有的原子动作和单一的正在进行的活动在一个视频。该管道使用来自视频的对象和运动以及基于图形的知识表示网络作为先验参考。训练两个深度网络来识别每个视频序列中与动作相关联的对象和运动。然后使用低级别图像特征来识别该视频序列中的感兴趣对象。置信度分数基于感兴趣对象在动作中的参与被分配给感兴趣对象,并且置信度分数基于来自深度神经网络的结果被分配给运动类,该深度神经网络将视频中的正在进行的动作分类为运动类。使用知识表示网络、对象置信度和运动置信度来为与动作相关联的每个候选功能单元计算置信度分数。因此,每个动作与功能单元相关联,并且进一步评估动作序列以识别视频中的单个正在进行的活动。在管道中使用的知识表示被称为功能面向对象的网络,这是一个基于图形的网络编码有关的操纵任务的知识有用。在烹饪视频数据集上进行了实验,以测试所提出的算法与动作推理和活动分类。实验表明,使用面向功能对象的网络,提高视频理解显着。
2018-07-03 cs.CV
Preserve Pre-trained Knowledge: Transfer Learning With Self-Distillation For Action Recognition
Zhejiang University-University of Illinois at Urbana-Champaign Institute, Zhejiang University(浙江大学伊利诺伊大学厄巴纳香槟校区联合学院,浙江大学)
基于视频的动作识别是计算机视觉研究的热点之一。随着自监督视频表示学习方法的最新进展,动作识别通常遵循两阶段训练框架,即,在大规模未标记集合上进行自监督预训练,在下游标记集合上进行迁移学习。然而,在动作识别的下游迁移学习中,对预先训练的知识的灾难性遗忘成为主要问题,导致次优解。在本文中,为了缓解上述问题,我们提出了一种新的迁移学习方法,该方法将自蒸馏与微调相结合,以保留从大规模数据集学习的预训练模型中的知识。具体来说,我们将来自最后一个时期的编码器固定为教师模型,以指导迁移学习中来自当前时期的编码器的训练。有了这样一个简单而有效的学习策略,我们在动作识别任务中广泛使用的UCF 101和HMDB 51数据集上的表现优于最先进的方法。
2022-05-01 cs.CV cs.LG
Disentangled Action Recognition with Knowledge Bases
University of California, Berkeley(加州大学伯克利分校);Amazon Alexa AI(亚马逊Alexa人工智能部门);Fujitsu Laboratories Ltd.(富士通实验室有限公司);Pennsylvania State University(宾夕法尼亚州立大学)
视频中的动作通常涉及人与物体的交互。动作标签通常由动词和名词的各种组合组成,但我们可能没有所有可能组合的训练数据。在本文中,我们的目标是提高合成动作识别模型的泛化能力,新的动词或新的名词是看不见的训练时间,通过利用知识图谱的力量。以前的工作利用动词-名词组成的动作节点的知识图谱,使其效率低下的规模,因为组成的动作节点的数量的增长二次方相对于动词和名词的数量。为了解决这个问题,我们提出了我们的方法:与知识库(DARK),它利用了固有的组合性的行动的分离动作识别。DARK首先提取动词和名词的分解特征表示,然后使用外部知识图谱中的关系预测分类权重,从而训练因子化模型。动词和名词之间的类型约束是从外部知识库中提取的,并最终应用于组合动作。DARK在对象和动词的数量方面具有更好的可扩展性,并在Charades数据集上实现了最先进的性能。我们进一步提出了一个新的基准分裂的基础上Epic-kitchen数据集,这是一个数量级更大的类和样本的数量级,并基准各种模型在这个基准。
2022-07-04 cs.AI cs.CL cs.CV
Bridging the gap between Human Action Recognition and Online Action Detection
École de Technologie Supérieure(高等工程学院)
动作识别、早期预测和在线动作检测是经常独立研究的互补学科。大多数在线动作检测网络使用预先训练的特征提取器,这可能不是新任务的最佳选择。我们解决了特定任务的特征提取与上述学科之间的师生框架,和一个新的训练策略。我们的网络,在线知识蒸馏行动检测网络(OKDAD),嵌入在线早期预测和在线时间段建议子网络并行。在教师培训期间,鼓励低班级间和高班级内的相似性。OKDAD网络的知识蒸馏是通过层重用和教师-学生特征向量之间的余弦相似性来保证的。层重用和相似性学习显着提高我们的基线,使用通用的特征提取器。我们评估了来自两个流行数据集的红外视频框架,即NTU RGB+D(动作识别、早期预测)和PKU MMD(动作检测)。与以前在这些数据集上的尝试不同,我们的学生网络在没有任何未来知识的情况下运行。即使增加了这一难度,我们也在两个数据集上获得了最先进的结果。此外,我们的网络使用来自RGB-D摄像头的红外线,据我们所知,我们是第一个将其用于在线动作检测的网络。
2021-01-21 cs.AI cs.CV
Knowledge Guided Learning: Towards Open Domain Egocentric Action Recognition with Zero Supervision
Oklahoma State University(俄克拉荷马州立大学)
深度学习的进步使得模型的开发成为可能,这些模型在识别甚至定位视频中的动作方面表现出了显着的趋势。然而,当他们面对初始训练环境之外的场景或示例时,他们往往会遇到错误。因此,他们无法适应新的领域,而没有大量的注释数据进行重要的再培训。在本文中,我们建议通过将识别和推理的想法解耦,从而进入开放世界环境,以克服这些限制。基于Grenander的模式理论形式主义提供的组成表示,我们表明注意力和常识知识可以用于在开放世界环境中实现自我中心视频中新动作的自我监督发现,其中来自观察环境(目标域)的数据是开放的,即,词汇表是部分已知的,并且训练样本(标记的和未标记的)不可用。我们表明,我们的方法可以推断和学习新的类开放的词汇分类以自我为中心的视频和新颖的目标检测与零监督。广泛的实验表明,它的竞争力的性能在两个公开可用的自我中心的动作识别数据集(GTEA凝视和GTEA凝视+)在开放世界条件下。
2022-03-12 cs.AI cs.CV
SkeFi: Cross-Modal Knowledge Transfer for Wireless Skeleton-Based Action Recognition
School of Electrical and Electronics Engineering, Nanyang Technological University, Singapore(南洋理工大学电子与电气工程学院)
SkeFi通过跨模态知识转移方法,利用无线传感器提升基于骨骼的动作识别性能,实现毫米波和LiDAR上的先进表现。
2026-01-18 cs.CV cs.MM
Knowledge Distillation for Human Action Anticipation
Stony Brook University(石溪大学)
我们考虑的任务是训练一个神经网络来预测视频中的人类动作。考虑到视频数据的复杂性、未来的随机性以及带注释的训练数据的有限量,该任务具有挑战性。在本文中,我们提出了一种新的知识蒸馏框架,使用一个动作识别网络来监督动作预测网络的训练,指导后者参加正确预测未来的行动所需的相关信息。这个框架是可能的,由于一个新的损失函数,以考虑在动态视频中的语义概念的位置转移。知识蒸馏框架是自监督学习的一种形式,它利用了未标记的数据。在JHMDB和EPIC-KITCHENS数据集上的实验结果表明了该方法的有效性。
2021-10-03 cs.CV
Multi-view knowledge distillation transformer for human action recognition
National Yang Ming Chiao Tung University(国立阳明交通大学)
最近,基于变换器的方法已被用于提高人类动作识别的性能。然而,大多数这些研究假设多视图数据是完整的,这可能并不总是在现实世界的情况下。因此,本文提出了一种新的多视图知识蒸馏Transformer(MKDT)框架,由教师网络和学生网络。该框架旨在处理现实世界应用中的不完整人类行为问题。具体而言,多视图知识蒸馏Transformer使用具有移位窗口的分层视觉Transformer来捕获更多的时空信息。实验结果表明,我们的框架优于基于CNN的方法在三个公共数据集。
2023-03-25 cs.CV
VicKAM: Visual Conceptual Knowledge Guided Action Map for Weakly Supervised Group Activity Recognition
School of Information Science and Technology, Beijing University of Technology(北京工业大学信息科学与技术学院);Institute of automation, Chinese Academy of Science(中国科学院自动化研究所)
针对现有弱监督群体活动识别方法忽略区域语义信息的问题,提出VicKAM框架,通过生成动作原型作为视觉概念知识引导动作图生成,并结合群体统计信息增强,在两个基准数据集上验证了有效性。
2025-02-14 cs.CV
Enhancing Action Recognition from Low-Quality Skeleton Data via Part-Level Knowledge Distillation
Shenyang Aerospace University(沈阳航空航天大学);Shenyang Aircraft Design and Research Institute(沈阳飞机设计研究所)
本文提出一种通用的知识蒸馏框架,利用教师-学生模型和基于部位的骨架匹配策略,通过部位矩阵与多样本对比损失实现从高质量到低质量骨架的知识转移,有效提升了低质量骨架数据的动作识别性能。
2024-04-28 cs.CV
Unlimited Knowledge Distillation for Action Recognition in the Dark
A*STAR, Institute for Infocomm Research(新加坡科技研究局资讯通信研究院);Nanyang Technological University (NTU)(南洋理工大学)
针对黑暗视频动作识别中多教师知识整合显存消耗过高的问题,提出UKD,以低显存整合不限数量教师模型的知识,并在ARID上使单流网络性能超过双流网络。
2023-08-18 cs.CV
Learning an Augmented RGB Representation with Cross-Modal Knowledge Distillation for Action Detection
Inria(法国国家信息与自动化研究所);Stony Brook University(石溪大学)
在视频理解中,大多数跨模态知识蒸馏(KD)方法都是针对分类任务定制的,专注于修剪视频的区分表示。然而,动作检测不仅需要对动作进行分类,还需要在未修剪的视频中定位它们。因此,转移有关时间关系的知识对于这项任务至关重要,这在以前的跨模态KD框架中是缺失的。为此,我们的目标是学习用于动作检测的增强RGB表示,通过KD在训练时利用额外的模态。我们提出了一个KD框架,包括两个层次的蒸馏。一方面,原子级蒸馏鼓励RGB学生以对比的方式从老师那里学习动作的子表示。另一方面,序列级蒸馏鼓励学生从教师那里学习时间知识,包括转移全局上下文关系和动作边界显著性。结果是增强RGB流,其可以实现与双流网络一样的竞争性能,同时在推理时仅使用RGB。大量的实验分析表明,我们提出的蒸馏框架是通用的,并优于其他流行的跨模态蒸馏方法在动作检测任务。
2021-08-08 cs.CV
MoAKE: Toward Unified All-in-One Action Quality Assessment via Mixture of Action Knowledge Experts
College of Computer and Data Science, Fuzhou University(福州大学计算机与数据科学学院);Fuzhou University(福州大学);Engineering Research Center of Big Data Intelligence, Ministry of Education(教育部大数据智能工程研究中心);School of Intelligence Science and Technology, University of Science and Technology Beijing(北京科技大学智能科学与技术学院);University of Science and Technology Beijing(北京科技大学)
研究一体化动作质量评估难题,提出MoAKE框架,通过学习互补专家、定制原型及建模时间动态来减轻知识转移,在多数据集实验中显著优于现有方法,实现了零/少样本评估下的一致泛化。
2026-07-23 cs.CV
Knowledge-Guided Recurrent Neural Network Learning for Task-Oriented Action Prediction
Sun Yat-Sen University(中山大学)
本文研究面向任务的动作预测,即,预测在特定场景下完成特定任务的动作序列,是计算机视觉研究中的一个新问题。主要的挑战在于如何建模特定于任务的知识,并将其整合到学习过程中。在这项工作中,我们提出训练一个循环的长短期记忆(LSTM)网络来处理这个问题,即,将场景图像(包括预先定位的对象)和指定的任务作为输入,并循环地预测动作序列。然而,训练这样的网络通常需要大量的注释样本来覆盖语义空间(例如,不同的动作分解和排序)。为了缓解这个问题,我们引入了一个时间与或图(AOG)的任务描述,分层表示成原子动作的任务。有了这个AOG表示,我们可以产生许多有效的样本(即,动作序列符合常识),用一小部分带注释的样本训练另一个辅助LSTM网络。并且这些生成的样本(即,面向任务的动作序列)有效地促进训练用于面向任务的动作预测的模型。在实验中,我们创建了一个包含不同日常任务的新数据集,并广泛评估了我们方法的有效性。
2017-07-15 cs.CV
Rich Action-semantic Consistent Knowledge for Early Action Prediction
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学)
针对早期动作预测,提出RACK网络,通过划分视频并挖掘部分视频间的动作语义一致性知识,利用教师-学生框架和双向/单向语义图及蒸馏损失,在三个基准上达到最先进性能。
2023-12-20 cs.CV
Transferring Knowledge from Text to Video: Zero-Shot Anticipation for Procedural Actions
University of Bonn(波恩大学);Indian Institute of Technology (ISM) Dhanbad(印度理工学院(印度矿业学院)丹巴德分校);National University of Singapore(新加坡国立大学)
我们能教会机器人识别和预测它以前从未见过的活动吗?我们通过从文本中学习视频模型来解决这个问题。本文提出了一种分层模型,从大规模的文本语料库中概括教学知识,并将知识转移到视频。给定教学视频的一部分,我们的模型识别并预测未来多个步骤的连贯和合理的动作,所有这些都是丰富的自然语言。为了证明我们的模型的能力,我们介绍了\emph{Tasty Videos Dataset V2},一个集合的4022食谱零样本学习,识别和预测。各种评估指标的广泛实验证明了我们的方法的泛化潜力,给定有限的视频数据的训练模型。
2022-11-05 cs.CV
Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition
Sun Yat-Sen University(中山大学);DMAI Co., Ltd(DMAI有限公司)
现有的基于视觉的动作识别容易受到遮挡和外观变化的影响,而可穿戴传感器可以通过一维时间序列信号捕获人体运动来缓解这些挑战。对于同一个动作,从视觉传感器和可穿戴传感器学习的知识可能是相关和互补的。然而,可穿戴传感器和视觉传感器获取的动作数据在数据维度、数据分布和固有信息量上存在着很大的模态差异。在本文中,我们提出了一种新的框架,名为语义感知的自适应知识蒸馏网络(SAKDN),以提高行动识别视觉传感器模态(视频)自适应地转移和提取的知识,从多个可穿戴传感器。SAKDN使用多个可穿戴传感器作为教师模式,并使用RGB视频作为学生模式。为了保持局部时间关系并便于使用视觉深度学习模型,我们通过设计一个基于Gramian角场的虚拟图像生成模型,将可穿戴传感器的一维时间序列信号转换为二维图像。然后,我们建立了一个新的保持相似性的自适应多模态融合模块,自适应地融合来自不同教师网络的中间表示知识。最后,为了充分利用多个训练有素的教师网络的知识并将其转移到学生网络,我们提出了一种新的图形引导的语义判别映射损失,它利用图形引导的消融分析来产生良好的视觉解释,突出显示跨模态的重要区域,同时保留原始数据的相互关系。在Berkeley-MHAD、UTD-MHAD和MMAct数据集上的实验结果很好地证明了我们提出的SAKDN的有效性。
2021-05-27 cs.CV
Explainable Video Action Reasoning via Prior Knowledge and State Transitions
National University of Singapore(新加坡国立大学);Shandong Computer Center (National Supercomputer Center in Jinan), Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院)山东计算中心(国家超级计算济南中心));Northwestern Polytechnical University(西北工业大学)
视频中人的行为分析和理解是一项重要而具有挑战性的任务。虽然在过去的几年里已经取得了实质性的进展,现有的方法的解释仍然是有限的。在这项工作中,我们提出了一个新的动作推理框架,使用先验知识来解释语义级的观察视频状态的变化。我们的方法利用了经典推理和现代深度学习方法。具体地,先验知识被定义为目标视频域的信息,包括目标视频域中的对象、属性和关系的集合,以及由时间属性和关系变化(即状态转换)定义的相关动作。给定一个视频序列,我们首先在每一帧上生成一个场景图来表示所关注的对象,属性和关系。然后,通过跨帧跟踪对象将这些场景图链接起来,以形成表示语义级视频状态的时空图(也称为视频图)。最后,通过顺序检查视频图中的每个状态转换,我们的方法可以检测和解释这些动作是如何使用先验知识执行的,就像人类的逻辑思维方式一样。与以前的作品相比,我们的方法的动作推理结果可以解释的逻辑规则和语义水平的观察视频内容的变化。此外,所提出的方法可以用来检测多个并发动作的详细信息,如谁(特定对象),何时(时间),在哪里(对象的位置)和如何(什么样的变化)。在重新标注的CAD-120数据集上的实验表明了该方法的有效性。
2019-08-28 cs.CV
Privileged Knowledge Distillation for Online Action Detection
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团);Huawei Inc.(华为公司);Huawei Cloud & AI(华为云与人工智能)
提出了视频中的在线动作检测(OAD)作为逐帧标记任务,以解决只能获得先前和当前视频帧的实时预测任务。本文提出了一种新的基于特权学习的在线动作检测框架,其中仅在训练阶段可观察到的未来帧被认为是特权信息的一种形式。采用知识蒸馏将特权信息从离线教师转移到在线学生。我们注意到,这种设置与传统KD不同,因为教师和学生模型之间的差异主要在于输入数据而不是网络架构。我们提出了一种新的知识蒸馏(PKD)方法,它(i)安排一个课程学习过程,(ii)在学生模型中插入辅助节点,以缩小信息差距和提高学习绩效。与其他明确预测未来帧的OAD方法相比,我们的方法避免了学习不可预测的不必要但不一致的视觉内容,并在两个流行的OAD基准测试TVSeries和THUMOS 14上实现了最先进的准确性。
2020-12-03 cs.CV
$Δ$VLA: Prior-Guided Vision-Language-Action Models via World Knowledge Variation
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Great Bay University(大湾大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Macao Polytechnic University(澳门理工学院)
$Δ$VLA通过建模世界知识变化,结合先验引导和潜在空间学习,提升机器人动作生成的效率和性能。
2026-03-09 cs.CV
ActionCOMET: A Zero-shot Approach to Learn Image-specific Commonsense Concepts about Actions
Arizona State University(亚利桑那州立大学)
本文提出零样本框架ActionCOMET,通过多模态任务从图像中学习动作的常识概念,并构建了包含8.5k图像和59.3k推断的数据集进行验证。
2024-10-17 cs.CV
FAN-Trans: Online Knowledge Distillation for Facial Action Unit Detection
University of Nottingham(诺丁汉大学);Imperial College London(帝国理工学院)
由于其在面部行为分析中的重要性,面部动作单元(AU)检测越来越受到研究界的关注。利用在线知识蒸馏框架,我们提出了AU检测的“FANTrans”方法。我们的模型由卷积和Transformer块的混合网络组成,用于学习每个AU的特征并对AU同现进行建模。该模型使用预先训练的人脸对齐网络作为特征提取器。在通过一个小的可学习的附加卷积子网进行进一步变换之后,每个AU的特征被馈送到Transformer块中以增强它们的表示。由于多个AU经常一起出现,我们提出了一个可学习的注意力下降机制,在Transformer块学习不同AU的功能之间的相关性。我们还设计了一个分类器,通过考虑所有AU的特征来预测AU的存在,以显式地捕获标签依赖性。最后,我们尝试在训练阶段采用在线知识蒸馏,进一步提高了模型的性能。在BP 4D和DISFA数据集上的实验证明了该方法的有效性。
2022-11-11 cs.CV
Paxion: Patching Action Knowledge in Video-Language Foundation Models
UIUC(伊利诺伊大学厄巴纳-香槟分校);UNC(北卡罗来纳大学)
针对视频-语言模型在动作知识理解上的缺陷,提出 Paxion 框架与 DVDM 目标,通过 Knowledge Patcher 和 Knowledge Fuser 修补动作知识,显著提升模型在动作相关任务上的性能。
2023-10-21 cs.CL cs.CV
MobiAct: Efficient MAV Action Recognition Using MobileNetV4 with Contrastive Learning and Knowledge Distillation
School of Aerospace Engineering, Engineering Campus, Universiti Sains Malaysia(航空航天工程学院,工程校区,马来西亚理科大学)
针对微型飞行器平台资源受限、动作识别精度与速度难以兼顾的问题,提出轻量级框架MobiAct,结合MobileNetV4、分阶段正交知识蒸馏等技术,在低能耗下实现了更快的高精度动作识别。
2025-10-22 cs.CV
Generative Model-based Feature Knowledge Distillation for Action Recognition
针对现有视频任务知识蒸馏方法忽略时空特征语义、模型压缩效果有限的问题,提出含特征表示与生成式特征蒸馏两阶段的生成模型知识蒸馏框架,在动作识别与检测任务上均取得性能提升。
2023-12-14 cs.CV
Denoise and Align: Diffusion-Driven Foreground Knowledge Prompting for Open-Vocabulary Temporal Action Detection
Institute of Information Engineering, Chinese Academy of Sciences School of Cyber Security, University of Chinese Academy of Sciences State Key Laboratory of Cyberspace Security Defense Beijing China;Institute of Information Engineering, Chinese Academy of Sciences Beijing China;Hangzhou Dianzi University Hangzhou China;Institute of Information Engineering, Chinese Academy of Sciences\ Key Laboratory of Cyberspace Security Defense Beijing China;Engineering, Zhejiang University Hangzhou China;Institute of Information Engineering, Chinese Academy of Sciences State Key Laboratory of Cyberspace Security Defense Beijing China;Institute of Information Engineering, Chinese Academy of Sciences School of Cyber Security, University of Chinese Academy of Sciences State Key Laboratory of Cyberspace Security Defense;Institute of Information Engineering, Chinese Academy of Sciences;Hangzhou Dianzi University;Institute of Information Engineering, Chinese Academy of Sciences\ Key Laboratory of Cyberspace Security Defense;Engineering, Zhejiang University;Institute of Information Engineering, Chinese Academy of Sciences State Key Laboratory of Cyberspace Security Defense
本文提出DFAlign框架,通过扩散去噪生成前景知识,解决开放词汇时序动作检测中语义不平衡问题,提升动作相关片段的判别性。
2026-04-20 cs.CV
Text-Derived Knowledge Helps Vision: A Simple Cross-modal Distillation for Video-based Action Anticipation
Stony Brook University(石溪大学)
预测视频中的未来动作对于许多自主和辅助技术都很有用。大多数先前的动作预测工作将其视为视觉模态问题,其中模型主要从动作预测数据集中的视频特征中学习任务信息。然而,关于动作序列的知识也可以从外部文本数据获得。在这项工作中,我们展示了如何在预训练的语言模型的知识可以适应和提炼成基于视觉的动作预测模型。我们表明,一个简单的蒸馏技术可以实现有效的知识转移,并提供一致的收益在一个强大的视觉模型(预期视觉Transformer)的两个动作预期数据集(3.5%的相对增益EGTEA-GAZE+和7.2%的相对增益EPIC-KITCHEN 55),给出了一个新的国家的最先进的结果。
2023-02-21 cs.CL cs.CV cs.LG
Knowledge-Spreader: Learning Facial Action Unit Dynamics with Extremely Limited Labels
State University of New York at Binghamton(纽约州立大学宾汉姆顿分校)
最近的研究自动检测面部动作单元(AU)广泛依赖于大尺寸的注释。然而,手动AU标记是困难的、耗时的和昂贵的。大多数现有的半监督作品忽略了来自时间域的信息线索,并且高度依赖于密集注释的视频,使得学习过程效率较低。为了缓解这些问题,我们提出了一个深度半监督框架知识传播器(KS),它在两个方面与传统方法不同。首先,KS不仅将人类知识编码为约束,还学习时空AU相关知识,以增强其分布外泛化能力。其次,我们通过在多个学生网络中交替动态地应用一致性正则化和伪标记来逼近KS。它将空间知识从标记帧传播到未标记数据,并完成部分标记视频片段的时间信息。因此,该设计允许KS从仅分配一个标签的视频剪辑中学习AU动态,这显著降低了使用注释的要求。大量的实验表明,所提出的KS实现竞争力的性能相比,在BP4D和DISFA上的标签仅使用2%的情况下,最先进的状态。此外,我们测试它在我们新开发的大规模综合情感数据库,其中包含相当多的样本在良好的同步和对齐的传感器模式,以缓解人类情感计算的注释和身份的稀缺问题。新数据库将向研究界公布。
2022-03-30 cs.CV
DL-KDD: Dual-Light Knowledge Distillation for Action Recognition in the Dark
National Yang Ming Chiao Tung University(国立阳明交通大学)
针对暗光视频动作识别中增强方法丢失信息与双流方法计算成本高的问题,提出DL-KDD师生框架,通过知识蒸馏让模型在训练时结合原始与增强视频,推理时仅需原始视频,在多个数据集上性能优于现有方法。
2024-06-04 cs.CV
Knowledge-Guided Short-Context Action Anticipation in Human-Centric Videos
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种将符号知识图谱赋予Transformer网络的方法,通过运行时增强注意力机制,利用短视频片段预测长期人类动作,在Breakfast和50Salads数据集上比现有方法提升最多9%。
2023-09-12 cs.AI cs.CV
KRAST: Knowledge-Augmented Robotic Action Recognition with Structured Text for Vision-Language Models
ETRI(韩国科学技术院)
本文提出KRAST方法,通过将结构化文本知识作为可学习提示注入冻结的视觉-语言模型,在仅用RGB视频输入的条件下于ETRI-Activity3D数据集上实现超过95%的动作识别准确率,超越现有最优方法。
2025-09-19 cs.AI cs.CV
LLM-enhanced Action-aware Multi-modal Prompt Tuning for Image-Text Matching
Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology, China(北京智能信息技术重点实验室,计算机科学与技术学院,北京理工大学,中国);Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University, China(广东机器感知与智能计算实验室,深圳MSU-BIT大学,中国);Beijing Research Center of Intelligent Equipment for Agriculture, China(北京智能农业设备研究中心,中国)
提出LLM增强的动作感知多模态提示微调方法,通过动作三元组与状态提示及自适应交互模块,赋予CLIP细粒度动作级理解能力,显著提升图文匹配性能。
2025-07-12 cs.CV
FSAR: Federated Skeleton-based Action Recognition with Adaptive Topology Structure and Knowledge Distillation
Peking University(北京大学);Queen Mary University of London(伦敦玛丽女王大学);Harbin Institute of Technology(哈尔滨工业大学);Nanyang Technological University(南洋理工大学)
针对联邦骨架动作识别中异质拓扑导致训练不稳定的问题,提出FSAR范式,通过自适应拓扑结构分离泛化与个性化,并采用多粒度知识蒸馏,在保护隐私的同时超越现有联邦方法。
2023-06-19 cs.CV
1st Place Solution to the EPIC-Kitchens Action Anticipation Challenge 2022
South China University of Technology(华南理工大学)
在本报告中,我们描述了我们提交给EPIC-Kitchener Action Anticipation Challenge 2022的技术细节。在这次比赛中,我们开发了以下两种方法。1)预测时间知识蒸馏,利用教师模型学习到的软标签作为知识,引导学生网络学习预测时间的信息; 2)动词-名词关系模块,用于建立动词和名词之间的关系。我们的方法在EPIC-Kittlewood Action Anticipation Challenge 2022的测试集上取得了最先进的结果。
2022-07-10 cs.CV
A Novel Self-Knowledge Distillation Approach with Siamese Representation Learning for Action Recognition
National Central University(国立中央大学);Thai Nguyen University(太原大学)
知识蒸馏是将知识从重网络(教师)有效地转移到小网络(学生),以提高学生的表现。自知识蒸馏,知识蒸馏的特殊情况下,已被提出删除大型教师网络的培训过程,同时保持学生的表现。本文介绍了一种新的自我知识蒸馏方法,通过连体表示学习,最小化来自给定样本的两个不同视图的两个表示向量之间的差异。我们提出的方法,SKD-SRL,利用软标签蒸馏和相似性的表示向量。因此,SKD-SRL可以在同一数据点的各种视图中生成更一致的预测和表示。我们的基准已经在各种标准数据集上进行了评估。实验结果表明,SKD-SRL显着提高了准确性相比,现有的监督学习和知识蒸馏方法,无论网络。
2022-09-03 cs.AI cs.CV
Knowledge Distillation for Action Anticipation via Label Smoothing
University of Padova(帕多瓦大学);University of Catania(卡塔尼亚大学)
人类通过视觉观察和非语言线索预测不久的将来的能力对于开发需要与人交互的智能系统至关重要。一些研究领域,如人机交互(HRI),辅助生活或自动驾驶,需要预见未来的事件,以避免碰撞或帮助人们。自我中心的场景是经典的例子,其中行动预期是由于其众多的应用程序。这种具有挑战性的任务需要捕获域的隐藏结构并对其建模,以减少预测的不确定性。由于多个行动可能同样发生在未来,我们把行动预期作为一个多标签的问题,缺少标签扩展标签平滑的概念。这个想法类似于知识蒸馏过程,因为有用的信息在训练期间被注入模型。我们实现了一个基于长短期记忆(LSTM)网络的多模态框架,以总结过去的观察结果并在不同的时间步长进行预测。我们在EPIC-Kitchener和EGTEA Gaze+数据集上进行了广泛的实验,分别包括2500多个和100多个动作类。实验表明,标签平滑系统地提高了最先进的动作预测模型的性能。
2020-12-18 cs.CV cs.LG
SynWorld: Virtual Scenario Synthesis for Agentic Action Knowledge Refinement
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Zhejiang Key Laboratory of Big Data Intelligent Computing(浙江省大数据智能计算重点实验室)
本文提出SynWorld框架,通过在动作空间内合成多步动作调用的虚拟场景并结合蒙特卡洛树搜索(MCTS)进行探索,有效帮助LLM智能体在新环境中自主学习和精炼动作知识。
2025-06-01 cs.AI cs.CL cs.CV
DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge
SJTU(上海交通大学);EIT(欧洲研究所);THU(清华大学);Galbot;PKU(北京大学);UIUC(伊利诺伊大学香槟分校);USTC(中国科学技术大学)
针对现有视觉-语言-动作模型在图像预测中存在冗余信息且缺乏全面世界知识的局限,提出DreamVLA框架,通过整合世界知识预测实现逆动力学建模,提升机器人操作任务的泛化性与推理能力。
2025-08-26 cs.CV cs.RO
COMEDIAN: Self-Supervised Learning and Knowledge Distillation for Action Spotting using Transformers
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能委员会);LIST(信息系统技术与软件实验室);Normandie Univ(诺曼底大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(信息技术与信息系统实验室)
本文提出COMEDIAN流程,通过自监督学习和知识蒸馏初始化时空Transformer用于动作定位,在SoccerNet-v2上取得最优性能并加速收敛。
2023-10-26 cs.AI cs.CV cs.LG
KnowIT VQA: Answering Knowledge-Based Questions about Videos
Osaka University(大阪大学);CyberAgent, Inc.(CyberAgent公司)
提出了一种新的视频理解任务,通过融合基于知识和视频问答。首先,我们介绍了KnowIT VQA,这是一个视频数据集,包含24,282个关于流行情景喜剧的人工问答对。该数据集结合了视觉,文本和时间的连贯性推理与基于知识的问题,这需要从观看系列获得的经验来回答。其次,我们提出了一个视频理解模型,结合视觉和文本的视频内容与特定的知识显示。我们的主要发现是:(i)知识的结合为视频中的VQA带来了显著的改进,以及(ii)KnowIT VQA的性能仍然远远落后于人类的准确性,这表明其对研究当前视频建模限制的有用性。
2019-12-24 cs.CL cs.CV