基于时间鲁棒性的单流多特征融合步态情绪识别
Single-Stream Multi-Feature Fusion with Temporal Robustness for Gait Emotion Recognition
浏览论文内容
中文总结 AI 辅助
针对步态情绪识别中标注成本高、数据稀缺及泛化差的问题，提出单流多特征融合框架SV-GCN，通过帧内相对运动特征和全局掩码引导模块实现时间鲁棒性，在E-Gait数据集上性能与最先进方法相当。
中文摘要 AI 辅助
基于3D骨骼的步态情绪识别面临标注成本高、数据稀缺以及在异构数据上泛化能力差的问题。本文提出SV-GCN，一种具有时间不变性的单流多特征融合框架。我们引入帧内相对运动特征以消除帧率敏感性，并在浅层嵌入异构线索，从而无需多流复杂性即可实现早期融合。针对变长序列，我们设计了一个全局掩码引导的有效帧时空图卷积模块，首次在该领域引入帧率不敏感性。在E-Gait数据集上，我们的方法取得了与最先进技术相当的性能，同时在不同序列长度和帧率下展现出强大的泛化能力，为在大规模基于骨骼的动作识别数据集上进行预训练提供了一条可行途径。
英文摘要
3D skeleton-based gait emotion recognition faces high annotation costs, data scarcity, and poor generalization on heterogeneous data. This paper proposes SV-GCN, a single-stream multi-feature fusion framework with temporal invariance. We introduce intra-frame relative motion features to eliminate frame-rate sensitivity and embed heterogeneous cues at shallow layers, enabling early fusion without multi-stream complexity. For variable-length sequences, we design a global mask-guided valid-frame spatio-temporal graph convolution module, introducing frame-rate insensitivity for the first time in this domain. On the E-Gait dataset, our method achieves performance comparable to state-of-the-art while demonstrating strong generalization across varying sequence lengths and frame rates, offering a viable pathway for pre-training on large-scale skeleton-based action recognition datasets.
发表机构
- College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
- College of Physical Science and Technology, Southwest University（西南大学物理科学与技术学院）
- Wisesoft Inc.（四川川大智胜软件股份有限公司）
机构由 AI 辅助整理，请以论文原文为准。
