Exploring Stronger Feature for Temporal Action Localization
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）
时间动作定位的目的是确定动作的开始和结束时间。受GPU内存的限制，主流方法为每个视频预提取特征。因此，特征质量决定了检测性能的上限。在这份技术报告中，我们探讨了经典的基于卷积的主干和最近兴起的基于transformer的主干。我们发现，基于变换的方法可以实现更好的分类性能比基于卷积，但他们不能产生准确的行动建议。此外，提取具有更大帧分辨率的特征以减少空间信息的损失也可以有效地提高时间动作定位的性能。最后，我们通过一个简单的组合：BMN+TCANet，在具有单个SlowFast特征的验证集上实现了42.42%的mAP，比2020年的多模型集成结果高出1.87%。最后，我们在CVPR2021 HACS监督时间动作定位挑战赛中获得了第一名。
2021-06-24 cs.CV
Exploring Temporal Preservation Networks for Precise Temporal Action Localization
National Laboratory for Parallel and Distributed Processing（并行与分布式处理国家重点实验室）；National University of Defense Technology（国防科技大学）
时间动作定位是计算机视觉的一个重要任务。虽然已经提出了各种各样的方法，但如何精确地预测动作片段的时间边界仍然是一个悬而未决的问题。大多数作品使用段级分类器来选择由动作建议或密集滑动窗口预先确定的视频段。然而，为了实现更精确的动作边界，时间定位系统应该以细粒度进行密集预测。一项新提出的工作利用卷积-解卷积-卷积（CDC）滤波器对3D ConvNets的预测进行上采样，从而可以执行每帧动作预测，并在时间动作定位方面实现有希望的性能。然而，CDC网络部分地由于时间下采样操作而丢失时间信息。在本文中，我们提出了一个优雅而强大的时间保持卷积（TPC）网络，该网络为3D ConvNets配备了TPC过滤器。TPC网络可以完全保持时间分辨率，同时对空间分辨率进行下采样，从而实现帧级粒度动作定位。TPC网络可以以端到端的方式进行训练。在公开数据集上的实验结果表明，TPC网络在每帧动作预测方面取得了显着的改进，在片段级时间动作定位方面取得了竞争性的结果。
2017-09-11 cs.CV
Exploring Vision-Language Models for Open-Vocabulary Zero-Shot Action Segmentation
Purdue University（普渡大学）；Birla Institute of Technology and Science (BITS) Hyderabad（比拉理工学院和科学研究院（BITS）海得拉巴）
本文提出开放词汇零样本时间动作分割方法，利用视觉-语言模型的零样本能力，通过帧-动作嵌入相似性和相似性矩阵时间分割实现无需训练的分割任务，展示了其在结构化时间理解中的潜力。
2026-02-24 cs.CV
Looking into the Unknown: Exploring Action Discovery for Segmentation of Known and Unknown Actions
本文提出动作发现新设置及两步方法（GGSM与UASA），利用已知动作标注指导未知动作的时间与语义分割，在三个数据集上显著优于基线。
2025-08-07 cs.CV
Exploring the Temporal Consistency for Point-Level Weakly-Supervised Temporal Action Localization
University of Chinese Academy of Science, Beijing,100190, China（中国科学院大学）；Macquarie University（麦考瑞大学）
本文提出一种多任务学习框架，通过三个自监督任务提升点监督时间动作定位的模型时间理解能力，验证了在四个基准数据集上的有效性。
2026-09-16 cs.CV
Exploring Temporal Context and Human Movement Dynamics for Online Action Detection in Videos
National Technical University of Athens（雅典国家技术大学）
如今，人类与机器人之间的交互不断扩大，要求越来越多的人体运动识别应用程序能够实时的操作。然而，大多数关于时间动作检测和识别的工作都是以离线方式执行这些任务的，即时间分割的视频被分类为一个整体。在本文中，基于最近提出的时间递归网络的框架，我们探讨如何时间上下文和人体运动动态可以有效地用于在线动作检测。我们的方法使用各种最先进的架构，并适当地结合提取的特征，以提高动作检测。我们评估我们的方法上的一个具有挑战性的，但广泛使用的数据集的时间动作定位，THUMOS'14。我们的实验表明，与基线方法相比，我们的算法有了显著的改进，在THUMOS'14上获得了最先进的结果。
2021-06-26 cs.CV cs.HC cs.RO
Exploring Frame Segmentation Networks for Temporal Action Localization
National University of Defense Technology（国防科技大学）
时间动作定位是计算机视觉的一个重要任务。虽然已经提出了许多方法，但如何准确地预测动作片段的时间位置仍然是一个悬而未决的问题。大多数最先进的作品训练动作分类器的视频片段预先确定的行动建议。然而，最近的工作发现，一个理想的模型应该超越段级，并在时间上以细粒度进行密集预测，以确定精确的时间边界。在本文中，我们提出了一种帧分割网络（FSN），它将时间CNN放置在2D空间CNN之上。空间CNN负责在空间维度上抽象语义，而时间CNN负责引入时间上下文信息并执行密集预测。所提出的FSN可以使用空间和时间上下文信息在帧级对视频片段进行密集预测。FSN以端到端的方式进行训练，因此可以在空间和时间域联合优化模型。我们还调整了FSN以在弱监督场景（WFSN）中使用它，在弱监督场景中，训练时只提供视频级别标签。在公开数据集上的实验结果表明，FSN在帧级动作定位和时域动作定位方面都取得了较好的性能。
2019-02-14 cs.CV
Exploring Modulated Detection Transformer as a Tool for Action Recognition in Videos
Universidad Tecnológica Nacional（国立技术大学）；CONICET（国家科学技术研究委员会）
近年来Transformers架构越来越受欢迎。Modulated Detection Transformer（MDETR）是一种端到端的多模态理解模型，可执行相位接地、指称表达理解、指称表达分割和视觉问答等任务。该模型的一个显着方面是能够推断出以前没有训练过的类。在这项工作中，我们探索使用MDETR在一个新的任务，动作检测，没有任何以前的培训。我们使用原子视觉动作数据集获得定量结果。虽然该模型没有报告任务中的最佳性能，但我们认为这是一个有趣的发现。我们证明了使用多模态模型来处理它不是为之设计的任务是可能的。最后，我们相信这条研究路线可能会导致MDETR在其他下游任务中的推广。
2022-09-21 cs.CV cs.LG
Exploring Temporal Information for Improved Video Understanding
University of California, Merced（加州大学默塞德分校）
在这篇论文中，我提出了我的工作对探索时间信息更好的视频理解。具体来说，我研究了两个问题：动作识别和语义分割。对于动作识别，我提出了一个框架，称为隐藏的双流网络，学习一个最佳的运动表示，不需要计算的光流。我的框架阐述了视频分类中面临的几个挑战，如学习运动表示，实时推理，多帧率处理，对看不见的动作的概括性等。对于语义分割，我介绍了一个通用框架，使用视频预测模型来合成新的训练样本。通过扩大训练数据集，我训练的模型比以前的模型更准确和鲁棒，即使没有修改网络架构或目标函数。我相信视频有更大的挖掘潜力，而时间信息是机器更好地感知视觉世界的最重要线索之一。
2019-05-25 cs.CV
Exploring Adaptive Masked Reconstruction for Self-Supervised Skeleton-Based Action Recognition
Hefei University of Technology（合肥工业大学）；Jilin University（吉林大学）；Zhejiang Gongshang University（浙江工商大学）；University of Science and Technology of China（中国科学技术大学）
提出自适应掩码重建（AMR）框架，通过解耦编码器-解码器并引入自适应引导模块，加速预训练并提升下游动作识别精度，在多个数据集上超越现有方法。
2026-06-11 cs.CV
Exploring Adversarial Learning for Deep Semi-Supervised Facial Action Unit Recognition
University of Science and Technology of China（中国科学技术大学）
目前的工作制定面部动作单元（AU）识别作为一个监督学习的问题，在训练过程中需要完全AU标记的面部图像。为大量的面部图像提供AU注释是具有挑战性的，如果不是不可能的话。幸运的是，AU出现在所有面部图像上，无论是否手动标记，都满足潜在的解剖机制和人类行为习惯。在本文中，我们提出了一个深度半监督框架，用于从部分AU标记的面部图像中识别面部动作单元。具体来说，所提出的深度半监督AU识别方法由深度识别网络和CNOD组成。深度识别网络R从大规模面部图像学习面部表示，并从有限的地面真实AU标签学习AU分类器。引入了AR-3D以加强地面真实AU标签中固有的AU分布与来自标记和未标记面部图像的预测AU标签的分布之间的统计相似性。深度识别网络旨在最大限度地减少标记面部图像的识别损失，忠实地表示标记和未标记面部图像的固有AU分布，并混淆图像。在训练过程中，深度识别网络R和BND交替优化。因此，在训练期间，利用由潜在解剖机制引起的固有AU分布来从部分AU标记的数据构建更好的特征表示和AU分类器。在两个基准数据库上的实验表明，该方法通过对抗学习成功地捕获了AU分布，并优于最先进的AU识别工作。
2021-06-04 cs.CV
Exploring the Impact of Hand Pose and Shadow on Hand-washing Action Recognition
Elmore Family School of Electrical and Computer Engineering（埃尔莫尔家族电气与计算机工程学院）；Purdue University（普渡大学）
该研究针对洗手动作识别场景，探究手部姿态与阴影对分类器性能的影响，定义了性能崩溃点，发现阴影越重越大崩溃越早、姿态大变时准确率近零，并提出用适度偏离的非标准姿态数据缓解姿态引发的崩溃。
2024-06-19 cs.CV eess.IV
Exploring Timeline Control for Facial Motion Generation
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Tongyi Lab, Alibaba Group（阿里云实验室）
本文提出时间线控制信号用于面部运动生成，通过帧级标注和扩散模型实现精确时序控制，并利用ChatGPT支持文本引导，实验验证了标注准确性和生成对齐效果。
2025-05-27 cs.CV
Pixels to Keys: Exploring Spatial and Motion Cues in Gameplay Inverse Dynamics
NVIDIA（英伟达）
本研究在数据受限场景下探索游戏逆向动力学模型，分析空间运动特征、架构与训练目标的影响，发现架构和运动流提取关键，并揭示不平衡指标局限及动作歧义需显式建模。
2026-10-01 cs.AI cs.CV
Do Deep Neural Networks Forget Facial Action Units? -- Exploring the Effects of Transfer Learning in Health Related Facial Expression Recognition
Augsburg University（奥格斯堡大学）
在本文中，我们提出了一个过程，以调查的效果迁移学习的自动面部表情识别从情绪到痛苦。为此，我们首先训练一个VGG 16卷积神经网络来自动识别八种分类情绪。然后，我们连续微调该网络的较大部分，以学习自动疼痛识别任务的合适表示。随后，我们再次将这些微调的表示应用于情感识别的原始任务，以进一步研究模型之间的性能差异。在第二步中，我们使用逐层相关传播来分析模型的预测，这些预测以前被正确预测，但现在被错误分类。基于这种分析，我们依靠人类观察者的视觉检查来生成关于模型忘记了什么的假设。最后，我们利用概念嵌入分析方法对这些假设进行了定量检验。我们的研究结果表明，对于疼痛识别进行了充分微调的网络，确实对与表情识别相关但与疼痛识别无关的两个动作单位关注较少。
2022-03-16 cs.CV cs.LG
Exploring Facial Biomarkers for Detecting Depression through Temporal Analysis of Action Units
Machine Learning and Data Analytics Lab, Department Artificial Intelligence in Biomedical Engineering (AIBE), Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（机器学习与数据分析实验室，人工智能生物医学工程部门（AIBE），弗里德里希-亚历山大-埃森纳赫大学（FAU））；Department of Clinical Psychology and Psychotherapy, Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（临床心理学与心理治疗系，弗里德里希-亚历山大-埃森纳赫大学（FAU））；Chair of Visual Computing, Department of Computer Science, Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（视觉计算教授，计算机科学系，弗里德里希-亚历山大-埃森纳赫大学（FAU））；Translational Digital Health Group, Institute of AI for Health, Helmholtz Zentrum München – German Research Center for Environmental Health（转化数字健康组，人工智能与健康研究所，海德堡中心——德国环境健康研究研究中心）
本研究通过分析抑郁症与非抑郁症参与者的视频面部表情，提取动作单元特征并结合时间序列分类模型、PCA及聚类算法，发现两组间与悲伤和快乐相关的动作单元强度存在显著差异，证实面部分析可用于抑郁症检测。
2026-08-19 cs.CV
From Data to Action: Exploring AI and IoT-driven Solutions for Smarter Cities
School of Engineering, Polytechnic of Porto (ISEP/IPP)（波尔图理工学院工程学院）
本文提出一个基于AI与IoT的智能城市管理系统，通过交通分析、能耗优化和基础设施隐患检测三类数据驱动用例，并在阿威罗市验证其提升城市安全、能效与可持续性的效果。
2023-06-06 cs.CV cs.LG cs.SY
Exploring Self- and Cross-Triplet Correlations for Human-Object Interaction Detection
Harbin Institute of Technology（哈尔滨工业大学）；Chinese Academy of Science（中国科学院）；The University of Hong Kong（香港大学）
本文提出SCTC方法，通过图建模自三元组相关性并联合实例、语义和布局关系探索跨三元组依赖，结合CLIP知识蒸馏提升HOI检测性能。
2024-01-11 cs.CV
Advancing Vision-based Human Action Recognition: Exploring Vision-Language CLIP Model for Generalisation in Domain-Independent Tasks
Central University of Haryana（哈里亚纳中央大学）；University of New South Wales（新南威尔士大学）；Østfold University College（东福尔大学学院）；Norwegian University of Science and Technology（挪威科技大学）
本研究针对传统动作识别模型泛化能力不足的问题，在UCF-101数据集上评估CLIP模型在三类掩码策略下的性能，发现其存在误分类问题，进而提出引入类别特定噪声的改进方法，提升了准确率与置信度并降低偏差，为医疗场景动作识别泛化研究提供方向。
2025-07-30 cs.CV cs.LG
Learning from Weakly-labeled Web Videos via Exploring Sub-Concepts
Northeastern University（东北大学）；Google Cloud AI（谷歌云人工智能）
从大量弱标记的网络视频中学习视觉知识已经吸引了越来越多的研究兴趣，这要归功于互联网上大量易于访问的视频数据。然而，对于视频动作识别，感兴趣的动作可能只存在于未经修剪的网络视频的任意片段中，导致时间空间中的高标签噪声。为了解决这个问题，我们引入了一种新的方法，用于使用查询的Web视频预训练视频动作识别模型。而不是试图过滤掉，我们建议通过定义子伪标签（SPL）的概念，将这些查询视频中的潜在噪声转换为有用的监督信号。具体来说，SPL跨越了一组新的有意义的“中间地带”标签空间，通过外推原始的弱标签在视频查询和先验知识从教师模型中提取。因此，SPL为视频模型提供了丰富的监督，以学习更好的表示。SPL是相当简单和正交流行的教师-学生自我培训框架，没有额外的培训成本。我们在四个视频动作识别数据集和一个弱标记图像数据集上验证了该方法的有效性，以研究其泛化能力。实验表明，SPL优于几个现有的预训练策略使用伪标签和学习的表示导致竞争的结果时，微调HMDB-51和UCF-101相比，最近的预训练方法。
2021-01-11 cs.CV
Exploring the Limits of Vision-Language-Action Manipulations in Cross-task Generalization
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）
本文提出AGNOSTOS仿真基准评估VLA模型的跨任务零样本泛化，并用基于LLM与动力学引导演示选择的X-ICM显著提升未见操控任务性能。
2025-10-19 cs.CV cs.RO
Future Aspects in Human Action Recognition: Exploring Emerging Techniques and Ethical Influences
Democritus University of Thrace（色雷斯德谟克利特大学）；University of Maryland（马里兰大学）
本文探讨了基于视觉的人类动作识别在时间分析上的挑战，提出利用下一代硬件传感器数据和合成视频结合强化学习技术解决数据集限制，并强调了相关伦理问题。
2024-12-20 cs.CV cs.ET cs.RO
SeCo: Exploring Sequence Supervision for Unsupervised Representation Learning
JD AI Research（京东人工智能研究院）
创新和突破的稳定势头令人信服地推动了无监督图像表示学习的极限。与静态2D图像相比，视频多了一个维度（时间）。这种序列结构中存在的内在监督机制为建立无监督学习模型提供了肥沃的土壤。本文从空间、时空和序列三个角度探讨了序列中的基本监督和一般监督。我们通过确定一对样本是来自一个帧还是来自一个视频，以及样本的三元组是否处于正确的时间顺序来实现监控信号。我们独特地将信号作为对比学习的基础，并由此衍生出一种特殊的形式--序列对比学习（SeCo）。SeCo在动作识别（Kinetics）、未修剪活动识别（ActivityNet）和对象跟踪（OTB-100）的线性协议下显示出优异的结果。更值得注意的是，SeCo比最近的无监督预训练技术有了相当大的改进，在UCF 101和HMDB 51上的动作识别任务中，与完全监督的ImageNet预训练相比，准确率分别提高了2.96%和6.47%。源代码可从\url{https://github.com/YihengZhang-CV/SeCo-Sequence-Contrastive-Learning}获得。
2021-01-27 cs.CV
Exploring Self-supervised Skeleton-based Action Recognition in Occluded Environments
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Stuttgart（斯图加特大学）；Hunan University（湖南大学）
针对现有自监督骨架动作识别方法忽视人体遮挡的问题，提出IosPSTL框架，结合无聚类KNN填充器与OPSTL策略，在遮挡骨架序列预训练并填充缺失数据，在NTU-60/120遮挡数据集上实现SOTA性能。
2025-04-16 cs.CV cs.MM cs.RO
Exploring Missing Modality in Multimodal Egocentric Datasets
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Intelmatix（英特尔矩阵）
针对多模态第一人称视角视频中因各类因素导致的模态缺失问题，提出缺失模态令牌（MMT）概念，有效降低模态缺失带来的性能下降，适配多训练场景且优于现有方法，为鲁棒多模态系统提供新思路。
2024-04-17 cs.CV
Boosting Adversarial Transferability for Skeleton-based Action Recognition via Exploring the Model Posterior Space
本文针对基于骨架的动作识别对抗迁移性不足问题，提出训练后 Dual Bayesian 策略平滑损失景观并探索模型后验空间，同时以贝叶斯方式结合运动动力学生成对抗样本，在 HDM05 和 NTU 60 上显著提升迁移成功率。
2024-09-05 cs.CV
EgoVideo: Exploring Egocentric Foundation Model and Downstream Adaptation
Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University（南京大学）；Fudan University（复旦大学）；SIAT, CAS（中国科学院上海硅酸盐研究所）；Zhejiang University（浙江大学）；The University of Tokyo（东京大学）
本文提出面向以自我为中心视频的基础模型EgoVideo，并在Ego4D和EPIC-Kitchens多个挑战赛道上验证了其强大的表示能力与下游任务适配效果。
2024-07-01 cs.CV
Exploring AI-based Anonymization of Industrial Image and Video Data in the Context of Feature Preservation
Fraunhofer IPA（弗劳恩霍夫应用研究促进协会IPA研究所）
本文针对工业图像与视频中个人隐私保护且需保持数据可用性的问题，评估DeepPrivacy2生成人工身份的全身匿名化效果，并与传统方法比较身份质量、时间一致性及下游任务适用性。
2024-05-29 cs.CV
View-invariant action recognition
CRCV University of Central Florida（中佛罗里达大学计算机视觉研究中心）
人体动作识别是计算机视觉中的一个重要问题。它在监控、人机交互、增强现实、视频索引和检索等方面有着广泛的应用。由人类动作产生的时空外观的变化模式是识别所执行动作的关键。我们已经看到很多研究探索这种时空外观的动态，以学习人类行为的视觉表示。然而，大多数动作识别的研究都集中在一些共同的观点，这些方法并没有表现出良好的时，有一个改变的观点。人类动作在三维环境中执行，并且当从给定视点捕获为视频时被投影到二维空间。因此，一个动作从不同的视角看会有不同的时空表现。视点不变动作识别的研究就是为了解决这个问题，主要从看不见的视点来识别人的动作。
2020-09-01 cs.CV
Mutual Context Network for Jointly Estimating Egocentric Gaze and Actions
Hunan University（湖南大学）；The University of Tokyo（东京大学）；Beihang University（北京航空航天大学）
针对第一人称视角视频中注视点预测与动作识别的耦合关系，提出互上下文网络MCN端到端联合学习两类任务，在公开数据集上两个任务均达SOTA性能。
2020-06-30 cs.CV
