CigTime: 通过逆向运动编辑生成纠正性指令
CigTime: Corrective Instruction Generation Through Inverse Motion Editing
AI总结：
针对运动技能学习等场景的逆向需求，该研究提出CigTime方法，通过大语言模型和现有运动框架构建三元组数据集，训练新型运动-语言模型生成纠正指令，性能优于基线，可用于指导用户修正动作。
摘要：
近期，连接自然语言与人体运动的模型取得了进展，在基于指令文本的运动生成与编辑领域展现出巨大潜力。受体育教练指导和运动技能学习应用的启发，我们研究了一个逆向问题：利用运动编辑与生成模型，生成纠正性的指令文本。我们提出了一种新方法，在给定用户当前运动（源运动）和目标运动的情况下，生成文本指令以引导用户完成目标运动。我们利用大语言模型生成纠正文本，并借助现有的运动生成与编辑框架构建由三元组（源运动、目标运动、纠正文本）组成的数据集。基于这些数据，我们提出了一种用于生成纠正指令的新型运动-语言模型。我们在多种应用场景中展示了定性和定量结果，性能大幅优于基线模型。我们的方法在指令场景中验证了有效性，可提供基于文本的指导，以纠正和提升用户表现。
英文摘要：
Recent advancements in models linking natural language with human motions have shown significant promise in motion generation and editing based on instructional text. Motivated by applications in sports coaching and motor skill learning, we investigate the inverse problem: generating corrective instructional text, leveraging motion editing and generation models. We introduce a novel approach that, given a user's current motion (source) and the desired motion (target), generates text instructions to guide the user towards achieving the target motion. We leverage large language models to generate corrective texts and utilize existing motion generation and editing frameworks to compile datasets of triplets (source motion, target motion, and corrective text). Using this data, we propose a new motion-language model for generating corrective instructions. We present both qualitative and quantitative results across a diverse range of applications that largely improve upon baselines. Our approach demonstrates its effectiveness in instructional scenarios, offering text-based guidance to correct and enhance user performance.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
