arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

动作名听不懂?阿里、北大给视频AI找来参考片段

作者:arXivDaily编辑部 论文中文资料arXiv 2610.12963 cs · cs.AI · cs.CV · cs.MM

论文导读

阿里巴巴、北京大学、中科大、浙江大学等机构提出MotionCoach,让一个多模态助手先寻找、检查并裁出专业动作参考,再指导视频编辑模型。314项任务上,Seedance 2.0的综合分从55.1升到65.6,MiniMax-H3从51.2升到64.5。视频模型保持冻结,助手补充的动作解释和参考片段改善了专业动作编辑。

动作名对了,动作却没做对

把视频里的骑行动作改成Stoppie,仅给一个动作名,模型可能把前轮抬起来。但这个动作需要抬起后轮,方向恰好相反。太极单鞭也可能被理解成一件真实的鞭子,生成结果改了道具,却没改对身体动作。

图:上排显示前轮抬起的错误动作,下排展示加入提示与参考片段后后轮抬起的对照过程。

这类任务难在专业词汇与连续动作之间的对应。画面好看、人物清晰,都不能证明动作符合要求。MotionCoach把动作名称拆成可检查的姿态、接触关系和先后顺序,再用实际参考片段给编辑模型补充信息。

先找片段,再核对动作

助手首先从用户指令里提取目标动作,搜索相关视频。它不会拿到搜索结果就直接使用,而是观看内容,检查这个片段是否真的包含目标动作。找到合适的区间后,再裁成短参考片段;如果裁剪结果缺少关键过程,继续核对并重新选择。

输出包括两部分:一段明确解释动作技术和时间结构的提示,以及一个经过检查的参考视频。文字告诉模型需要改变哪里,视频展示身体怎样连续运动。两种信息同时提供,编辑模型才有机会把陌生名字落实到具体动作。

这个助手以8B多模态模型为基础,先学习已经整理好的操作轨迹,再用生成结果和指导质量进行强化学习。原有视频编辑模型没有重新训练,改变的是前面负责找资料、构造指导的助手。

图:流程依次显示提取动作、搜索并检查参考、裁剪与自检、生成提示,再将两种指导传给视频编辑器。

综合分涨了,专业动作分也分开看

团队构建了VPMEBench,包含舞蹈、体育和武术共314项专业动作编辑任务。评估分别考虑动作专业性、物理合理性和视频质量,再汇总成综合分;自动评分使用多模态评审,并与人工比较进行了核对。

Seedance 2.0加上助手后,综合分从55.1到65.6,专业动作分从29.6到53.0。MiniMax-H3的综合分从51.2到64.5,专业动作分从16.2到33.1。这些都是100分制评分,不能把增加10.5分写成成功率增加10.5个百分点。

改善也不是每个维度都同步上涨。Seedance的总体视频质量分从77.1降到72.2,体育类别的质量变化更明显。论文证明指导能够提高动作符合要求的程度,没有证明所有画面指标都变好。

图:不同模型的视频帧按动作案例排列,红绿圆圈标出身体姿势与接触关系的比较位置。

有工具,还得学会怎么用

一个未训练的助手即使能搜索和裁视频,也未必带来稳定收益。论文中,直接添加工作流让Seedance综合分从55.1降到54.0;加入轨迹训练后达到62.3,再加强化学习达到65.6。工具可用和工具用对,是两件不同的事。

删掉自检步骤,两种视频模型的综合分都下降;把完整视频参考换成一张图片,结果也变差。专业动作的顺序和过渡不能由一张静态姿势完全说明。

团队还在未见过的动作和另一套视频编辑测试上检查迁移。在另一基准的主体动作子集上,MiniMax-H3总分从48.0升到53.8。论文案例展示了同一套找参考、看过程、写指导的办法如何用于新动作。

参考资料

https://arxiv.org/abs/2610.12963

↑