探索 LLMs 在基于 IMU 的细粒度人类活动理解中的能力
Exploring the Capabilities of LLMs for IMU-based Fine-grained Human Activity Understanding
AI总结：
本文针对 LLMs 在细粒度人类活动识别中表现不佳的问题，提出通过微调与少样本学习结合自收集数据集，并设计基于编码器的流水线将 3D 数据映射为 2D 等效数据，在空中书写任务上实现了显著性能提升，确立了 LLMs 在细粒度 HAR 中的可行性。
摘要：
使用惯性测量单元（IMUs）的人类活动识别（HAR）越来越多地利用大型语言模型（LLMs），但现有方法侧重于步行或跑步等粗粒度活动。我们的初步研究表明，预训练的 LLMs 在细粒度 HAR 任务（如空中书写字母识别）上遭遇灾难性失败，准确率仅接近随机猜测。在这项工作中，我们首先弥合了平面书写场景中的这一差距：通过使用自收集数据集和少样本学习对 LLMs 进行微调，我们在 2D 数据上实现了高达 129 倍的提升。为了将其扩展到 3D 场景，我们设计了一个基于编码器的流水线，将 3D 数据映射为 2D 等效数据，以保留时空信息从而实现稳健的字母预测。我们的端到端流水线在空中书写场景下对最多 5 个字母的单词识别实现了 78% 的准确率，确立了 LLMs 作为细粒度 HAR 可行工具的地位。
英文摘要：
Human activity recognition (HAR) using inertial measurement units (IMUs) increasingly leverages large language models (LLMs), yet existing approaches focus on coarse activities like walking or running. Our preliminary study indicates that pretrained LLMs fail catastrophically on fine-grained HAR tasks such as air-written letter recognition, achieving only near-random guessing accuracy. In this work, we first bridge this gap for flat-surface writing scenarios: by fine-tuning LLMs with a self-collected dataset and few-shot learning, we achieved up to a 129x improvement on 2D data. To extend this to 3D scenarios, we designed an encoder-based pipeline that maps 3D data into 2D equivalents, preserving the spatiotemporal information for robust letter prediction. Our end-to-end pipeline achieves 78% accuracy on word recognition with up to 5 letters in mid-air writing scenarios, establishing LLMs as viable tools for fine-grained HAR.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
